136. Elecciones 26J y prediciones electorales. ¿Error de la predicción o incertidumbre del suceso?

No dejo de preguntarme: si yo usé datos de Google Trends para hacer las previsiones electorales y no encuestas, ¿por qué fallé de modo tan parecido a las encuestas?  

Encuestas publicadas durante la campaña electoral (Electomanía)

Encuestas publicadas el día anterior y el mismo día de las elecciones (Electomanía)

Última previsión electoral que hice el 26/6, el mismo día de las elecciones. 

Mi previsión se basaba em la correlación entre búsquedas en Google con pasados resultados electorales pero también con las encuestas del CIS, de modo que , en cierto modo,  lo que yo calculaba era tanto los resultados de las elecciones como las previsiones de las encuestas CIS, pero lo cierto es que:

1.- NADIE daba al PP más de un 30%, y

2.- la mayoría daban a UP cerca del 25 % 

Media de encuestas desde enero de 2015 calculada por K. Llaneras

¿Y entonces?

Bien, la mayoría de los opinadores coincide en achacar lo ocurrido a tres tipos de causas.  

1.- Un sutil cambio sociopolítico del 20D al 26J no detectado. Tanto si usamos datos de Google como encuestas, con independencia de los métodos, usamos las correlaciones del pasado (la experiencia) para prever el futuro, pero en cierto modo estas fueron unas elecciones inéditas, a segunda vuelta, cosa que nunca se había dado y, por tanto, tanto los supuestos previos que traducían interés, simpatía o afinidad con voto no funcionaron. Lo que no se explica, no obstante, es porqué falló también (y tanto) el megasondeo a pie de urna de Sigma Dos (132.000 entrevistas, nada menos), pues aquí ya no estamos en la indeterminación de traducir un interés o intención (de votar) en una acción, sino en una simple encuesta sobre lo hecho. ¿Es que los votantes no solo cambiaron su opinión respecto del 20D sino que se volvieron más mentirosos? 

2.- El efecto manada, o efecto cascada, según el nombre que cada cual le quiera poner. En un juicio más severo no sería más que un chusco corta y pega, pero en un juicio más benévolo sería como el dicho de Newton: levantarse sobre los hombros de gigantes; el habitual proceso acumulativo con el que se capitaliza conocimiento. Yo mismo me basé en los datos de CIS, y es posible que todos en España sigan un poco al gran encuestador gubernativo. Sin embargo, tampoco explica todo lo ocurrido, pues por ejemplo, mi previsión para Cs se alejó tanto de los resultados como de las encuestas (salvo, de nuevo, del macrosondeo de 132.000 entrevistas a pie de urna de Sigma Dos, la famosa israelita para TVE, que daba a Cs apenas un 11%). 

3.- El error intrínseco de las encuestas. Lo que es algo así como decir que no siempre se acierta, o que las encuestas son probabilísticas, no determinísticas. Sin embargo, creo que aquí se confunde el error de la encuesta con la incertidumbre del suceso electoral para sumar un todo que no es. Por ejemplo, en la gráfica de medias de encuestas  que puse arriba, el valor medio es suavizado. La razón no solo es simular más certidumbre en el resultado como parecen decir aquí, sino lograr una mejor lectura de la tendencia general. 

Aquí lo vemos en la última de las gráficas de votos a partir de búsquedas en Google que fui publicando cada tres o cuatro semanas desde el 20D. Están suavizadas a 24 horas. 

Hora a hora, que es el paso con el que Google Trends da datos semanales, el aspecto de la gráfica de arriba es: 

Y no solo esto. Al dar los pronósticos, como el del 26J, no usé medias diarias sino medias semanales de medias diarias. La razón es bien sencilla: son los datos de mayor confianza. Pero esas fluctuaciones que se ven no son errores del medida, son debidas a la incertidumbre del suceso, que en este caso es el hecho de buscar pp o psoe o podemos en Google. Hay un claro ciclo diario de búsquedas comos e ve en la gráfica de abajo, y es posible que haya ciclos semanales, mensuales o estacionales... 

Hace años era recurrente en cada proceso electoral en Galicia discutir lo que influiría el hecho de que lloviese o no lloviese el día de elecciones.No tengo ninguna duda de que si las votaciones fueran en horario nocturno, los resultados cambiarían. También cambarían si fuese un día laboral, un sábado o un lunes, o en medio de un largo puente, en verano o en invierno.   

Yo contaba con un error del 8 % en mi previsión. Me separé de los resultados un 12 % pero no tengo claro que ese 4 % (al menos) sea un error estadístico del modelo o sea parte de la incertidumbre asiociada al suceso de votar. El 26J ocurrió una anomalía, pero tratar lo ocurrido como un error de las encuestas puede ser un error de juicio más general. Votar, elegir, decidir, es un suceso no determinista, con una incertidumbre asociada, irreductible a la encuesta, a toda monitorización. Quizá por eso, mientras que la técnica logra reducir los errores de todos los sistemas mecánicos, las encuestas siguen fallando con sorprendente regularidad. Quizá también habría que prestar menos atención a las causas de error de las encuestas y un poco más a las causas de la incertidumbre en los sucesos electorales. 

135. Discurso global y Clima global, I. Temperaturas y Ngram

La cuestión es sencilla. La razón hot/cold en los registros Ngram (English) correlaciona de forma apreciable (R2 de 0,51) con las series de temperaturas globales de la U. de Berkeley para el periodo 1800 a 2008. R2 mejora hasta 0,59 cuando se utilizan las temperaturas medias a cinco años.

Sigo en twitter a un estadístico que ha escrito un libro de absurdas y sorprendentes correlaciones temporales, por supuesto, tan significantes como espurias, es decir, aparentes, superficiales, todas ellas in-significativas para la ciencia. Las series de @TylerVigen no suelen muy largas, generalmente de una o dos decenas de años, aunque en ocasiones saca series de cuarenta o cincuenta años, pero siempre plantean relaciones absurdas, descabelladas, como lanzamientos de satélites no militares con doctorados en sociología o la edición de libros de ficción con el número de perritos calientes consumidos per cápita en los EEUU. Son relaciones tan disparatadas que parecen chistes, aunque son reales y presentan excelentes coeficientes de correlación, son estadísticamente robustas.  

Lo que Tyler Vigen hace es apelar a nuestro sentido común, es decir, a nuestro conocimiento apriorístico, para despertar nuestro sentido crítico. Es en muchos sentidos un juego paradójico. Tyler es un estadístico que juega con los datos para recordarnos que la estadística -en realidad, las matemáticas en su conjunto- es una herramienta de análisis, nunca de juicio. El caso es que no hay nada mal hecho o falso en las correlaciones de Tyler, solo lo son las conclusiones que institivamente construimos con las variables. Al ver dos variables juntas en la gráfica y unidas por su común sube y baja temporal, las asociamos y hacemos de ellas una misma cosa, o las relacionamos a una otra cosa-causa. Lo que Tyler hace es ligar dos variables tan extrañas entre sí que su unión despierta en nosotros suficiente sorpresa como para frenar todo automatismo mental e invitarnos a la reflexión. En efecto, estamos ante un truco, pero no es la estadística lo que nos engaña, sino nuestro pensar discursivo. 

Mediante el discurso entendemos que los que se aparecen físicamente próximos, en un mismo tiempo y lugar, como el frio y el color blanco en la nieve, o aquello que muestra un mismo o contrario vaivén, que va seguido, como el Sol y la Luna, deben de estar unidos. De esta forma tendemos a hacer los juicios comunes y a establecer las relaciones mundanas, basadas en las meras coincidencias biográficas o incluso postumas, como la de Shakespeare con Cervantes, emparejados para siempre por el azar histórico de su muerte en 1616 y su común destino de genios literarios del inglés y el español, aunque jamás se conocieran ni supiesen el uno del otro, . 

La lógica discursiva, regida por razones de proximidad y coincidencia (en su más estricto sentido) no es una buena intérprete de la estadística al uso, pero tampoco al revés. Las reglas del lenguaje -que las hay- son normas del común, del hábito, de la costumbre, están construidas por una concatenación de repeticiones significativas y significantes, pero no son reglas estrictas, pues dependen del contexto. Y peor aún, en el discurso, la anomalía y la excepción pueden ser tan significativas y válidas como la regla más general. La razón de esta aparente sinrazón es que el lenguaje con el que nos apropiamos del mundo entero definiéndolo, caracterizándolo, está construido sobre el error, el error de extrapolar lo dicho con lo hecho, el nombrar con el ser, el significante con el significado. Es el error acumulado y normalizando por la costumbre el que engendra las nuevas reglas de un discurso que no es más que un devenir, una permanente reasignación de significados y significantes, una constante resiginificación. Desde la primera palabra hasta el discurso más elaborado, el lenguaje está preñado de relaciones espurias, confusiones, equívocos, extrapolaciones injustificadas, asunciones injustificables, interpolaciones gratuitas, excepciones, de falta de rigor. 

Y sin embargo, la estadística no nos libra del juicio del discurso. ¿Cómo reconocemos que las correlaciones de Tyler son espurias? Pues en la pobre credibilidad de la retórica que construimos a partir de la correlación.

En las propuestas de Tyler, ni siquiera el recurso simple del Deus ex machina de nuestro tiempo, que es la causación económica, funciona. Por ejemplo, pudieramos discurrir que la economía produjese doctorandos y satélites porque crece, o porque se terciariza, o porque demanda conocimiento especializado (sea el que sea) o justificarlo con cualquier otro entimema economicista al uso, pero incluso estos relatos estadístico-económicos resultan endebles, banales, forzados. Y aún sería peor si quisiérmos armar una explicación mediante una serie de concatenaciones causales que, a cortos pasos, nos llevara (por ejemplo) de la sociología como ciencia a la técnica sociológica y de ahí a la tecnología espacial, o por cualquier otro camino. Entonces la retórica sonaría rocambolesca, atrabilaria, aún más increíble. 

Para expresar una verdadera matemática del lenguaje necesitaría una estadística basada en la anomalía y no construida contra el error, una estadística que no localice la verdad en el valor medio sino en toda la distribución y que no condicione la significación al mero tamaño sino al valor relativo, una estadística que considere la relevancia expresiva y significativa del accidente sobre la norma, que admita lo singular como paradigma y ejemplo para el común, lo sobresaliente que hay en el dato único.  

Tras esto ando.