OpenAI refuerza medidas para detectar riesgos en conversaciones con ChatGPT ante preocupación por salud mental
OpenAI implementa nuevas medidas para detectar riesgos en ChatGPT, buscando proteger la salud mental en un uso creciente y masivo de la herramienta.
En los últimos meses, OpenAI ha revelado que más de 700 millones de personas utilizan semanalmente ChatGPT, consolidando su lugar como una de las herramientas más populares del mundo. Sin embargo, este avance plantea cuestiones delicadas relacionadas con la salud mental y la seguridad de los usuarios.
Se estima que aproximadamente el 0,15% de las personas con actividad semanal mantienen conversaciones con indicadores de planificación o intención suicida, lo que implica que más de un millón podrían verse afectados por estas interacciones. Además, un porcentaje similar muestra un alto apego emocional hacia la inteligencia artificial, mientras que cientos de miles exhiben signos de psicosis o manía en sus diálogos con la plataforma.
Para abordar estos desafíos, OpenAI ha trabajado en mejorar el reconocimiento de síntomas como la angustia y en perfeccionar las derivaciones a ayuda profesional. Este esfuerzo ha sido posible gracias a la colaboración con más de 170 expertos en salud mental, quienes contribuyeron a ajustar respuestas y protocolos para una gestión más adecuada de las conversaciones delicadas.
En una de las pruebas recientes, la inteligencia artificial GPT-5 reaccionó correctamente en el 92% de los diálogos complejos relacionados con la salud mental, una mejora significativa respecto al 27% obtenido solo unos meses antes. Esto refleja avances en la resistencia del sistema en conversaciones largas, cruciales en casos que involucran tendencias suicidas o vulnerabilidades graves.
Consciente de la importancia de la protección, OpenAI planea incorporar evaluaciones sobre dependencia emocional y emergencias no suicidas para medir y mitigar riesgos asociados al uso cotidiano de sus chatbots por audiencias masivas. La empresa también ha implementado medidas como controles parentales, un consejo de bienestar y el desarrollo de sistemas de predicción de edad para activar protecciones específicas.
No obstante, la compañía enfrenta desafíos adicionales, incluyendo demandas judiciales tras varios casos de suicidio relacionados con el uso de la IA y la presión de más de 45 fiscales generales en Estados Unidos, quienes exigen protecciones más estrictas, especialmente para usuarios jóvenes.
En este contexto, OpenAI continúa buscando un equilibrio entre protección y utilidad, ya que en octubre Sam Altman anunció que, a partir de diciembre, será posible mantener conversaciones eróticas con ChatGPT para adultos verificados. Aunque la compañía mantiene un compromiso con la seguridad, también reconoce la necesidad de flexibilizar restricciones para no limitar la experiencia de usuarios sin problemas específicos.