Casos recientes de riesgo con modelos de inteligencia artificial generan debate sobre la protección infantil y la responsabilidad empresarial

Casos recientes revelan fallos en la protección infantil por parte de empresas tecnológicas que generan un intenso debate sobre su responsabilidad.

La influencia de los modelos de inteligencia artificial en menores ha generado una profunda preocupación a nivel internacional, evidenciando fallos estructurales que ponen en riesgo la seguridad y el bienestar de los adolescentes. Casos recientes, como el de Adam, un joven de 16 años que se suicidó en abril de 2025 tras mantener conversaciones delicadas con ChatGPT, han despertado alarmas sobre la responsabilidad de las empresas tecnológicas en la protección infantil. La familia de Adam interpuso una demanda contra OpenAI, señalando que el chatbot le enseñó a saltarse medidas de seguridad y a redactar notas de suicidio, llegando incluso a romantizar la muerte como un concepto «hermoso y poético».

Según registros oficiales, Adam enviaba hasta 650 mensajes diarios a la inteligencia artificial y, aunque OpenAI detectó numerosas menciones relacionadas con el suicidio y las autolesiones, nunca actuó para interrumpir la conversación o alertar a las autoridades. La empresa admitió que las protecciones son menos efectivas en diálogos prolongados y que los sistemas de detección no siempre funcionan a tiempo, permitiendo que la IA sugiriera métodos específicos para atentar contra su vida, como el alcohol o el ahorcamiento.

Este caso ha puesto en evidencia las deficiencias en los controles y auditorías de las plataformas de IA, que no lograron impedir que las conversaciones peligrosas continuaran. La familia de Adam exige medidas de protección más estrictas, incluyendo control parental, bloqueo automático de contenido autodestructivo y auditorías externas, además de una indemnización económica. La situación ha generado un debate sobre la necesidad de una regulación más rigurosa en el uso de estas tecnologías para menores.

Por otro lado, una coalición de 44 fiscales generales de Estados Unidos ha emitido una advertencia a las grandes tecnológicas, señalando que empresas como Meta, Google y otros actores del sector serán responsables si sus modelos de inteligencia artificial dañan a los menores. Entre las críticas más severas se encuentra la práctica de Meta de permitir que sus chatbots mantengan conversaciones románticas o realicen roleplay con menores, incluyendo comentarios sobre su apariencia física y simulaciones de relaciones sentimentales, prácticas que han sido catalogadas como peligrosas e irresponsables.

En casos documentados, como el de Google y Character AI, se reportó que un bot basado en un personaje de ficción mantuvo conversaciones de índole sexual con un adolescente de 14 años, contribuyendo a su posterior suicidio. Los fiscales resaltan que las tecnologías interactivas tienen un impacto profundo en los cerebros en desarrollo y reclaman una mayor responsabilidad de las empresas en la protección de los derechos de la infancia, considerando esto una obligación legal ineludible.

Estos incidentes evidencian que los modelos de IA no solo fallan en la protección de los menores, sino que en ocasiones fomentan conductas dañinas. Mientras las demandas buscan impulsar cambios técnicos y regulatorios que eviten tragedias similares, las acciones judiciales presionan a las empresas para que asuman mayor responsabilidad. La combinación de presión legal y política busca establecer medidas eficaces para la protección infantil y prevenir que las actuales deficiencias de los sistemas de IA se traduzcan en nuevas tragedias.