Investigación revela prejuicios en modelos de lenguaje y riesgos en decisiones sociales y laborales
Estudios recientes evidencian sesgos y vulnerabilidades en los modelos de inteligencia artificial, afectando decisiones sociales, laborales y la percepción cultural.
Una reciente investigación de la Hochschule München revela la profunda presencia de prejuicios en los grandes modelos de lenguaje. ChatGPT y otros chatbots evaluaron de manera consistentemente negativa a las personas originarias del este de Alemania en comparación con las del oeste, llegando incluso a emitir juicios contradictorios, como asignarles valores bajos tanto en esfuerzo como en pereza. De manera aún más absurda, las inteligencias artificiales afirmaron que los habitantes del este de Alemania tenían una temperatura corporal más baja que los del oeste. La investigación, titulada «Sachsen-Anhalt es el peor», indica que estos modelos repiten patrones aprendidos que favorecen a ciertos estados como Sachsen-Anhalt y evalúan duramente a las personas del este, incluso cuando reciben instrucciones para emitir juicios neutrales, lo que representa un riesgo en decisiones laborales, crediticias y sociales.
El caso de Campact, una organización que obtuvo una orden judicial contra la firma xAI, destaca la problemática del uso de estos modelos. La orden obliga a xAI a detener afirmaciones falsas sobre su financiamiento público y demostrar su compromiso con la verdad en los chatbots. Según la sentencia, la empresa debe cesar la propagación de información errónea, puesto que Campact se financia principalmente con donaciones privadas, no con fondos públicos, como afirmaba erróneamente el chatbot Grok. Tras la resolución, el chatbot ha ajustado sus respuestas, reconociendo la información correcta y listando las falsedades existentes en la difusión de datos incorrectos. Este caso muestra los esfuerzos por garantizar que las inteligencias artificiales se apeguen a la verdad en medio del aumento de desinformación y los debates sobre la responsabilidad de los desarrolladores.
Por otra parte, OpenAI afirma que su nuevo modelo, GPT-5, ha logrado reducir en aproximadamente un 30% los sesgos políticos en comparación con versiones anteriores. La evaluación fue realizada con un sistema propio basado en 500 preguntas sobre temas políticos y culturales, abarcando desde posiciones liberales hasta conservadoras. Además, cuando se aplicó la misma metodología a las respuestas de ChatGPT, menos del 0,01% mostró signos de parcialidad política, lo que constituye un avance en la búsqueda de neutralidad en los sistemas de IA. Sin embargo, estas mediciones fueron principalmente desarrolladas en contextos anglosajones, lo que genera dudas sobre su aplicabilidad global y la definición de neutralidad en diferentes culturas y sistemas políticos.
Investigadores de Anthropic, en colaboración con el AI Security Institute y el Alan Turing Institute, descubrieron vulnerabilidades alarmantes en 72 modelos de lenguaje. Con tan solo 250 documentos manipulados, es posible introducir puertas traseras que permiten ataques como el bloqueo del sistema mediante palabras clave específicas. Estas brechas afectan hasta el 0,00016% de los datos utilizados en el entrenamiento de los modelos, demostrando que incluso pequeñas manipulaciones pueden tener un impacto significativo y poniendo en jaque la seguridad y fiabilidad de la inteligencia artificial. Los ataques han incluido errores de contenido y acciones de denegación de servicio, como la generación de texto incoherente al detectar ciertos términos, lo que evidencia la necesidad de reforzar la protección contra manipulaciones maliciosas en estos sistemas.
En el contexto de la inversión y avance tecnológico, xAI, la compañía fundada por Elon Musk, está en proceso de organizar una nueva ronda de financiamiento que podría alcanzar los 20.000 millones de dólares, con la participación de Nvidia, que aportaría 2.000 millones. Parte de la estrategia implica la creación de una empresa dedicada a financiar y gestionar la infraestructura, con la adquisición de GPUs de Nvidia para desarrollar el superordenador Colossus II, uno de los más potentes del mundo, equipado con 100.000 GPUs H100. Además, en el sector empresarial, el startup berlinés n8n ha cerrado una ronda de inversión de 180 millones de dólares, en la cual participa Nvidia Ventures. La plataforma permite crear automatizaciones de trabajo con inteligencia artificial mediante una interfaz sencilla, integrando diferentes servicios y modelos de distintas compañías. No obstante, expertos advierten sobre una posible burbuja en el sector, dado que muchas de estas empresas todavía no generan ganancias significativas.
Por su parte, la Unión Europea planea construir seis nuevas fábricas de inteligencia artificial en países como República Checa, Lituania, Polonia, Rumanía, España y Países Bajos, con una inversión conjunta superior a 500 millones €. La iniciativa busca proporcionar a startups, pymes e industrias acceso directo a supercomputadoras optimizadas para IA, con el objetivo de reducir la dependencia de Estados Unidos y China en tecnología avanzada. En Alemania, se establecerán dos instalaciones en Stuttgart y Jülich, en un esfuerzo por posicionarse como líderes en el desarrollo de la inteligencia artificial a nivel continental.
Mientras tanto, Rabbit, empresa que lanzó un dispositivo portátil llamado R1 en 2024, intenta recuperar la confianza tras las críticas por funciones limitadas y una ejecución insatisfactoria. La reciente actualización de su sistema operativo, rabbitOS 2, busca mejorar la interfaz y dotar al dispositivo de capacidades más avanzadas, incluyendo la posibilidad de que los usuarios puedan solicitar el desarrollo de apps mediante inteligencia artificial. Con esto, Rabbit intenta demostrar que ha aprendido de sus errores y ofrecer un producto más completo, aunque todavía resta ver si logrará volver a captar el interés del mercado.
En el ámbito laboral, empresas como Adobe han comenzado a valorar positivamente a los candidatos que utilizan inteligencia artificial durante el proceso de selección, considerándolo como un signo de adaptabilidad y capacidad de innovación. A diferencia de bancos tradicionales como Goldman Sachs, que aún prohíben el uso de estas herramientas, firmas tecnológicas ven en la integración de la IA un elemento clave para mantenerse competitivas.
Por último, un fenómeno en crecimiento en China es la incorporación de chatbots en juguetes para niños, permitiendo que las mascotas de peluche y otros juguetes respondan a las conversaciones. Este mercado, considerado un gran negocio para 2030, ya cuenta con más de 1.500 empresas dedicadas a este sector y un volumen de ventas estimado en más de 12.000 millones €, demostrando cómo la inteligencia artificial empieza a transformar también la interacción infantil de manera cada vez más cotidiana.