Coautor del artículo: Tomás Olego
En un cafecito de Bethesda, Maryland, hace poco menos de un mes, un joven politólogo, graduado de una universidad norteamericana con especialización en métodos, le comentaba a uno de los autores de esta nota respecto de su nuevo trabajo en la casa matriz de Gallup de Estados Unidos: “Están medio desesperados”, decía, “por ahora no están haciendo encuestas para la campaña electoral del ‘16”. Después de tres elecciones consecutivas en las cuales los estimados fallaron miserablemente, Gallup tomó nota de que había llegado la hora de replantear su estrategia de muestreo, recolección y procesamiento de datos. No es casualidad que Nate Silver, el gurú electoral de fivethirtyeight, le diera a Gallup una nota de C+, lejos de la calificación esperada por una de las consultoras de mayor prestigio mundial. En la elección presidencial del 2012 las encuestas de Gallup desataron una tormenta, con predicciones muy sesgadas a favor de los republicanos y, consistentemente, a más de 7 puntos de distancia promedio de los resultados finales, tanto en elecciones locales como en las nacionales. Quizá les suena conocido a los votantes de nuestro país.
Los problemas para realizar encuestas certeras no son sólo argentinos. En la última década, la sobrepesca de encuestados, así como cambios en los patrones de uso y acceso a la información, han transformado el simple acto de preguntarle opiniones a la gente en un laberinto de decisiones metodológicas. Estas decisiones tienen consecuencias dramáticas sobre los estimados que reportan las encuestadoras y, por tanto, sobre las decisiones de quienes invierten recursos en medir la opinión pública. Estos problemas, frecuentes hace tiempo en Estados Unidos y Europa, simplemente tardaron más en ser importados a la Argentina, un país donde el número de encuestas es exiguo y donde, por ahora, la gente todavía tiene buena disposición para contestar el teléfono. Pero eso era antes. Ahora los problemas metodológicos del mundo desarrollado son también los nuestros. Y, para resolverlos, es necesaria una mayor inversión en personal calificado y en instrumentos de medición que pocas encuestadoras están dispuestos a pagar.
¿Porque Gallup no acierta?
Las fallas en la realización de encuestas no son obra del destino ni ocurren de modo aleatorio. Tampoco afectan a todas las encuestadoras en la misma medida. Son resultado de sesgos sistemáticos en el muestreo, captura y procesamiento de datos que tienen razones profundamente políticas.
En Estados Unidos, por ejemplo, el voto es opcional y no todos los ciudadanos tienen la misma probabilidad de ir a votar el martes de elecciones (si, se vota en día laboral). Dado que los sectores de mayor ingreso tienen mayor propensión a emitir su voto y que la intención de voto republicana es mayor entre estos sectores, uno de los principales problemas metodológicos es poder definir a un “votante probable”.
Si la compañía que realiza la encuesta asume una participación electoral por debajo de la que eventualmente es observada en las elecciones, sus pronósticos estarán sesgados hacia los republicanos. Si proyectan una participación demasiado alta, los demócratas parecieran picar en punta. Las diferencias no son triviales y producen estimados muy distintos. Claramente lo ideal sería que los propios encuestados informaran si tienen intención de votar o no en la próxima elección. Pero a menudo no es realista esperar una respuesta honesta o apropiada. Todos nosotros esperamos hacer cosas mañana que eventualmente no cumplimos. Y las intenciones, antes que sus realidades, son lo que las encuestas miden y reportan. Dado que la propensión a votar varía entre elecciones, también varía la evaluación del “votante probable” en Estados Unidos y el resultado final que anticipan las encuestas. El corolario de todas estas dificultades tiene consecuencias claras, comenzando por un nuevo trabajo en Gallup para nuestro estimado colega.
Una clase de estadística para una Argentina con clase
Si bien el voto en Argentina es obligatorio, lo cual simplifica mucho el trabajo de las consultoras, hemos visto en los últimos años una creciente estratificación social y territorial de las preferencias. Como muestra la Tabla 1, existen diferencias notables en la intención de voto de distintos sectores sociales de acuerdo con su nivel educativo (así también como de acuerdo con su clase social). Mientras que en los sectores de menor educación Scioli tenía una ventaja sobre Macri de 15 puntos, en los sectores de mayor educación Macri le ganaba a Scioli por más de 20 puntos. Una muestra con un menor número de votantes educados que los que efectivamente existen en la población, por tanto, sobreestima el voto a Scioli. Asimismo, una encuesta cuya muestra es en promedio más educada que la población, subestima el voto a Scioli. ¿Suena conocido el problema?
Las diferencias territoriales son igualmente dramáticas y fueron reportadas ampliamente por la prensa. Mientras que Scioli ganó 72 a 27 en Santiago del Estero, Macri ganó 71.5 a 28.5 en Córdoba. Esto quiere decir que en Santiago del Estero los votantes vivieron una elección completamente distinta que aquella de los votantes de Córdoba. Las diferencias también son dramáticas al interior de las provincias. En Buenos Aires, por ejemplo, Scioli ganó por 20 puntos en la tercera sección mientras que Macri ganó por 20 puntos en la quinta sección. El mundo peronista del Gran Buenos Aires se mostró completamente distinto al agro-ganadero de la quinta, más parecido en su distribución al voto SanCor.
La diferenciación territorial y por clase, por tanto, no es trivial a la hora de seleccionar la muestra. Esto a su vez impone mayores demandas técnicas a quienes realizan las encuestas. Las muestras tienen que ser más grandes o, en su defecto, los huecos en las poblaciones muestreadas tienen que ser cubiertos con un mayor número de presupuestos metodológicos.
Por supuesto que existe una solución relativamente sencilla que en estadística es conocida con el nombre de post-estratificación. Esto implica que uno ajuste los valores de los individuos en la encuesta para que cada uno de ellos refleje proporciones que existen en los totales nacionales de las distintas categorías. Por ejemplo, si tenemos menos personas con educación primaria que las que debería haber en la muestra, cada encuestado sin educación primaria tiene un peso mayor en el resultado. Si tenemos menos personas con educación universitaria, cada encuestado de ese grupo tiene mayor peso en el resultado. Este proceso requiere crear ponderadores para cambiar la importancia que distintos individuos tienen en la muestra. De ser posible, utilizando un proceso denominado “raking”, que fue el que implementaron los investigadores de PASCAL/UNSAM para estimar el voto.
Las diferencias entre usar la data “cruda” o post-estratificar son dramáticas. De acuerdo con una muestra de 3000 casos capturadas por PASCAL/UNSAM unas semanas antes de la elección, el macrismo ganaba cómodamente al considerar la data cruda mientras que perdía cuando se post-estratificaba de acuerdo con las frecuencias de educación, edad y región observadas en la población en general. Estos resultados, filtrados para su uso político durante la campaña, generaron revuelo y descrédito. Sin embargo, un buen estadístico siempre recomendaría post-estratificar si la muestra no se ajusta a la población. Pero si la muestra no se ajusta a la población, ¿fue realmente una muestra aleatoria?
El costo de ajustar la muestra
Cuando se post-estratifica una muestra se le está dando más peso a ciertos encuestados en detrimento de otros. Esta post-estratificación también disminuye el tamaño efectivo de la muestra, lo que genera mayores márgenes de error que aquellos reportados por la mayoría de las encuestadoras. Si estas encuestadoras no post-estratifican, sus resultados posiblemente estén lejos de los valores reales. Si post-estratifican, sus muestras son más chicas y el margen de error mayor.
A lo largo de la campaña los diarios consistentemente reportaron gran cantidad de encuestas con muestras de tan sólo 600 a 800 personas, números que no sólo no son representativos sino que son equivocados si están crudos o menos significativos si se post-estratifica. Una encuesta de 800 casos con post-estratificación tiene por lo general un margen de error de más de tres puntos para un lado y para otro. Es decir, si la encuesta dice que Macri obtendría 55% de los votos y Scioli un 45%, el resultado final puede ser 51/49 o 59/41. En el primer caso la ventaja es de 2 puntos mientras que en el segundo caso es de 16. Claramente ganar por 4 puntos de ventaja no es políticamente lo mismo que ganar por 16.
Dado la creciente importancia del voto de clase y las dificultades para muestrear a la población, ya sea cara-a-cara, por celular o por teléfono de línea, las muestras utilizadas en la Argentina tienden a tener márgenes de error considerablemente más altos que los que son reportados por quienes las hacen. Por supuesto, es difícil decirle a un cliente que los valores que están viendo pueden variar dramáticamente y, por ello, muchos encuestadores exageran la precisión de sus análisis. En esta elección, la mayoría de las encuestas consistentemente sobre-representaron a poblaciones de niveles educativos más altos y reportaron márgenes de error muy por debajo de los reales. Cuando la contienda electoral se define por menos de 4 puntos, por tanto, la mayoría de las encuestas pierden la capacidad de anticipar correctamente el resultado. Dado que el grado de precisión fue inflado, los votantes se preguntan: “¿que pasa con las encuestas que no le pegan al voto final?”
La Figura 1 y la Figura 2 muestran resultados con altos niveles de confianza, muestras grandes y con una alta precisión. De hecho, el resultado de la última muestra de UNSAM/PASCAL estuvo sólo medio punto alejado del resultado final. Sin embargo, hasta las mejores encuestas tienen márgenes de error que deben ser reportados y tomados en consideración. Mientras que la primera Figura presenta la evolución de la intención de voto sin intervalos de confianza, la segunda muestra la incertidumbre esperada en la estimación. Mientras que los votantes y políticos quieren ven el promedio esperado del voto y se concentran en las diferencias entre las líneas que hay en la Figura 1, el resultado esperado está mejor descripto por la Figura 2. Más allá de las certezas que quieren los votantes y los políticos, la mejor medición de que disponíamos la mañana del domingo 22 de noviembre era que la elección estaba inclinada hacia Macri pero podía también ser ganada por Scioli. Eso es lo que nos tienen que decir las mejores encuestas. Sin embargo, no necesariamente es eso lo que quieren escuchar los políticos y sus votantes.
A veces los paranoicos realmente tienen enemigos
A lo largo de la campaña, las preferencias de los votantes fueron cambiando. Por momentos Scioli pasó al frente y tuvo todo para ganarlo. Hacia el final de la carrera, Macri mantuvo una pequeña ventaja. Ya sea por variación estocástica de la muestra o por cambios en las preferencias. Los resultados conforme avanza una campaña van cambiando, en la medida en que los votantes internalizan la información que es difundida por los candidatos y actualizan sus aspiraciones. Dos elecciones realizadas en días concurrentes muy posiblemente mostrarían un escrutinio definitivo con distintos totales. Es por eso que la mejor encuesta realizada en esta elección, las PASO de agosto, no pudo predecir la pérdida de la provincia de Buenos Aires en octubre.
En una campaña larga e intensa, las necesidades de información son muchas y la ansiedad cala profundo, tanto entre políticos como entre ciudadanos. No es entonces extraño que se inviertan muchos recursos para informarse y para “administrar” las preferencias de los votantes. En efecto, las encuestas pueden ser utilizadas como una guía de campaña o como un instrumento de campaña. Pueden servir para informarle a los políticos sobre las preferencias de los votantes pero también pueden energizar a las bases militantes e incentivar el voto estratégico. La capacidad de utilizar a las encuestas como guía política y/0 como instrumento político hace que las proyecciones generen interés pero, a su vez, suspicacia. En toda elección siempre hay “alguien que tiene la posta”, ya que sabemos “que todas las encuestas que se dan a conocer son operaciones políticas”. Estas percepciones dan cuenta de los usos de las encuestas más que de la realidad.
Militantes y políticos usan la información de las encuestas para operar, para convencer, para asegurar que “estamos ahí de ganar y de ganar bien.” La existencia de una masa de información, cientos de encuestas, alimenta las fantasías de que alguien tiene la posta y de que alguna gente es participe privilegiado de estos datos. Esta creencia sobrevive porque cuando la política se satura de información, el resultado agregado de las encuestas tiende a estar cerca del resultado final. A fin de cuentas, las expectativas de la gente en esta elección no terminaron muy lejos del resultado final. Esas expectativas fueron informadas en gran medida por las encuestas. Dado que algunos votantes viven en Córdoba y otros en Santiago del Estero, nuestra pequeña esquina del mundo es a menudo incapaz de decirnos cuál va a ser el resultado final. Nuestras muestras personales están mucho más sezgadas que las encuestas.
Y, sin embargo, todos creemos lo que nos dicen nuestros amigos, nuestros vecinos, nuestros colegas. Todos anticipamos resultados que están girados algunos puntos en dirección a nuestro entorno. Por eso muchos macristas no entienden como se pudo ganar “tan sólo” por 2.8 puntos. Por eso muchos sciolistas todavía no entienden como pudo perderse esta elección cuando “todos los que nos rodean” votaron por Scioli. Incluso las encuestas mal hechas están a menudo más cerca del resultado final que las creencias de cada uno de nosotros. Pero eso nunca debería ser una excusa para hacerlas mal.