La IA todavía no puede reemplazar a las personas en las encuestas

Redacción Negocios Now

La inteligencia artificial (IA) puede responder preguntas, analizar grandes cantidades de información y simular diferentes perfiles humanos, pero todavía tiene dificultades para reproducir con precisión lo que piensa la población estadounidense.

Esa es una de las principales conclusiones de un nuevo experimento realizado por Pew Research Center, que comparó las respuestas de personas reales con las de modelos de inteligencia artificial que fueron configurados para actuar como si fueran participantes humanos en encuestas.

El estudio puso a prueba una tecnología que podría utilizarse para generar “muestras sintéticas” de población y reducir la necesidad de entrevistar directamente a personas. Sin embargo, los resultados mostraron diferencias importantes entre las respuestas generadas por IA y las obtenidas de participantes humanos.

La diferencia entre humanos y “personas sintéticas”

Para realizar el experimento, Pew tomó tres encuestas de su American Trends Panel, un panel nacional de adultos estadounidenses seleccionados mediante métodos probabilísticos.

Después, los investigadores crearon “gemelos digitales” de los participantes y pidieron a un modelo de IA que respondiera las mismas preguntas tomando como referencia las características y la información disponible sobre cada persona.

El modelo utilizado principalmente en el experimento fue Claude Opus 4.6, de Anthropic.

Los resultados fueron comparados con las respuestas de los participantes humanos. La diferencia promedio entre ambos grupos fue de 12.4 puntos porcentuales.

El margen de error fue todavía mayor para determinados grupos. Entre republicanos y personas que se inclinan por el Partido Republicano alcanzó un promedio de 16.1 puntos. Entre adultos negros fue de 15.1 puntos y entre hispanos llegó a 13.9 puntos.

La IA tiene problemas para reflejar la diversidad de opiniones

Uno de los problemas más importantes detectados por los investigadores fue que los modelos de IA no reprodujeron toda la variedad de respuestas que dieron los seres humanos.

Casi la mitad de las preguntas incluidas en el experimento tuvo al menos una opción de respuesta que no fue seleccionada por ninguno de los participantes sintéticos.

Esto puede resultar especialmente relevante cuando una encuesta intenta medir opiniones sobre asuntos controvertidos, porque una sociedad no suele dividirse únicamente entre las posiciones más populares.

Pew utilizó como ejemplo una pregunta sobre el aborto. El modelo consiguió aproximarse a la división general de la opinión pública sobre si debería ser legal, pero no logró reproducir adecuadamente las posiciones más firmes.

En la encuesta humana, el 23% de los adultos dijo que el aborto debería ser legal en todos los casos y el 11% consideró que debería ser ilegal en todos los casos. El modelo Claude estimó porcentajes considerablemente menores: 13% y 0%, respectivamente.

Los modelos de IA también muestran un exceso de certeza

Otra diferencia importante apareció cuando las preguntas permitían responder “no estoy seguro”.

Los participantes humanos utilizaron esta opción aproximadamente cuatro veces más que los encuestados generados por inteligencia artificial.

La diferencia fue particularmente evidente en preguntas que medían conocimientos generales.

Por ejemplo, el 52% de los estadounidenses respondió correctamente cuál de determinados derechos está protegido por la Primera Enmienda. Entre los participantes sintéticos, la cifra llegó al 98%.

En una pregunta sobre el principal objetivo de la OTAN, el 56% de los adultos respondió correctamente, frente al 99% de los participantes generados por IA.

También hubo una diferencia en una pregunta sobre Groenlandia: el 63% de los estadounidenses identificó correctamente el país al que pertenece el territorio, mientras que el porcentaje entre los participantes sintéticos llegó al 82%.

Los investigadores señalan que los modelos parecen tener dificultades para representar una característica común entre las personas: reconocer que no saben la respuesta.

El modelo utilizado también cambia el resultado

El estudio encontró además que no todas las inteligencias artificiales producen la misma imagen de la opinión pública.

Pew comparó las respuestas generadas por Claude Opus 4.6 y GPT-5.1 utilizando esencialmente el mismo procedimiento.

Las diferencias fueron considerables. En una pregunta sobre la dirección del país, el 69% de los estadounidenses reales dijo estar insatisfecho con la situación. Claude estimó un 70%, mientras que GPT llegó al 100%.

En otra pregunta, el 56% de los estadounidenses dijo que existen soluciones claras para la mayoría de los grandes problemas del país. GPT calculó un 57%, mientras que Claude estimó solo un 25%.

Esto significa que incluso utilizando el mismo conjunto de perfiles y preguntas, la elección del modelo de IA puede modificar considerablemente el retrato de la opinión pública.

La IA puede exagerar o moderar las opiniones

Los investigadores también observaron diferencias en la manera en que los modelos manejan las respuestas extremas.

GPT tendió a presentar a los estadounidenses como más propensos a posiciones extremas que en las encuestas reales. Claude, por el contrario, tendió a producir una población más inclinada hacia posiciones moderadas.

En las preguntas con respuestas ordenadas, los participantes humanos seleccionaron una opción intermedia aproximadamente el 45% de las veces. El porcentaje fue de 31% para GPT y de 56% para Claude.

La diferencia demuestra que la inteligencia artificial no solo puede equivocarse en el porcentaje de personas que sostiene una determinada opinión, sino también en la forma general en que representa la diversidad de actitudes dentro de la población.

Pew considera que los humanos siguen siendo indispensables

Después de realizar el experimento, Pew Research Center concluyó que las encuestas generadas mediante IA todavía no pueden sustituir a los métodos tradicionales basados en entrevistar a personas reales.

Los investigadores reconocen que se trata de un campo que evoluciona rápidamente y que la inteligencia artificial puede tener otras aplicaciones útiles dentro de la investigación de opinión pública.

Por ejemplo, puede ayudar a clasificar respuestas abiertas, analizar grandes volúmenes de información o escribir código para procesar los resultados.

Pero el estudio señala que sustituir completamente a los participantes humanos presenta problemas que van desde errores sistemáticos hasta resultados impredecibles y diferencias importantes dependiendo del modelo utilizado.

Para Pew, medir la opinión pública requiere que las personas tengan la oportunidad de expresar directamente sus propias experiencias, conocimientos, dudas y opiniones.

El experimento ofrece así una advertencia sobre uno de los posibles usos de la inteligencia artificial: una máquina puede simular cómo respondería una persona, pero esa simulación no necesariamente reproduce la complejidad y diversidad de lo que realmente piensa la población.