Estudios revelan que modelos de IA reproducen prejuicios sociales en Alemania, afectando a residentes del Este

Estudios recientes muestran cómo la inteligencia artificial refuerza prejuicios sociales en Alemania, afectando especialmente a los habitantes del Este del país.

Recientes estudios realizados por la Hochschule München revelan que los grandes modelos de lenguaje de inteligencia artificial (IA), como ChatGPT y LeoLM, no son neutrales, sino que reproducen y refuerzan prejuicios sociales y regionales en Alemania. En particular, estas IA tienden a asignar valores negativos y positivos de manera sistemática a los habitantes del este del país, especialmente en Sachsen-Anhalt, con resultados que reflejan prejuicios arraigados en la sociedad.

Las investigadoras Anna Kruspe y Mila Stillman analizaron cómo estos modelos asocian diferentes atributos a las 16 regiones alemanas. Los resultados muestran que la IA evalúa de manera negativa a los residentes del este en atributos como atractivo, simpatía y esfuerzo, al tiempo que asigna puntajes bajos a características negativas, generando en ocasiones evaluaciones contradictorias, como considerar a los habitantes del este menos trabajadores y menos perezosos al mismo tiempo.

Además, la evidencia indica que estos prejuicios se manifiestan incluso en atributos objetivos, como la temperatura corporal promedio. Las IA tienden a asignar valores inferiores a los habitantes del este en estas características, una tendencia que refleja la repetición rígida de patrones aprendidos en sus datos de entrenamiento. Este sesgo persiste incluso cuando se consultan atributos neutrales y no relacionados con la cultura o la región, lo que demuestra que la distorsión no resulta de las preguntas específicas, sino que está incorporada en el funcionamiento del modelo.

Estas conclusiones tienen implicaciones preocupantes, pues si estas IA se utilizan en procesos de selección laboral, evaluación crediticia u otros ámbitos donde influye el juicio humano, podrían reforzar automáticamente la discriminación y los prejuicios hacia los residentes del este. Kruspe y Stillman probaron distintas técnicas para reducir estos sesgos, como los llamados «debiasing prompts», que consisten en instrucciones explícitas para que la IA evite prejuicios relacionados con la región. Sin embargo, los resultados muestran que estos métodos son insuficientes, ya que los sesgos están profundamente arraigados en los patrones de aprendizaje del sistema y la simple instrucción no logra eliminarlos por completo.

Los investigadores advierten que, sin intervenciones más robustas, el uso indiscriminado de la IA en estos contextos podría perpetuar y agravar desigualdades sociales existentes, afectando injustamente a las personas del este de Alemania. A pesar de las regulaciones y directrices para garantizar un uso justo de la inteligencia artificial, la persistencia de estos prejuicios representa un desafío importante que requiere atención y soluciones maduras en el desarrollo y aplicación de estas tecnologías.