Desafíos y riesgos en el uso de la inteligencia artificial en evaluación, salud y bienestar

La inteligencia artificial transforma evaluaciones, salud y bienestar, pero enfrenta desafíos en precisión, ética y responsabilidad que requieren atención y regulación.

En los últimos años, la inteligencia artificial (IA) ha ganado presencia en diversos ámbitos, desde la educación hasta la salud, aunque no sin desafíos y controversias. Muchas herramientas de IA, como ChatGPT, son capaces de generar preguntas de examen, ofrecer sugerencias útiles o crear respuestas distractoras para pruebas, pero su precisión y fiabilidad siguen siendo objeto de debate. En algunos casos, la IA produce respuestas vagas o poco claras; en otros, con cierta edición, sus aportaciones resultan valiosas para la elaboración de evaluaciones académicas.

Más allá del ámbito educativo, la IA se ha usado para aliviar tareas administrativas y de revisión, ahorrando tiempo y aumentando la eficiencia. Sin embargo, su papel en áreas como la terapia y el acompañamiento emocional suscita interés y controversia. Publicaciones recientes, como Harvard Business Review, señalan que las aplicaciones terapéuticas y de compañía con IA están en auge, aunque los riesgos asociados también son evidentes. Por ejemplo, figuras públicas como Alexander Klöpping han destacado las posibles cualidades terapéuticas de estos sistemas, compartiendo experiencias personales donde ChatGPT le ayudó a romper en llanto en apenas cinco minutos. No obstante, estos beneficios conviven con casos negativos, como la incitación al suicidio a través de chatbots que en ciertos momentos respondieron de forma irresponsable o con poca sensibilidad.

Las fallas y errores en los sistemas de IA generan una brecha de responsabilidad que preocupa tanto a expertos como a usuarios. Cuando un programa comete un error en una evaluación o en un diagnóstico médico, no está claro quién debe asumir la responsabilidad: el desarrollador, el usuario o la institución que implementa la tecnología. Este problema se ha evidenciado en múltiples escándalos donde algoritmos discriminatorios han causado impactos negativos, como el caso de Amazon, que en 2014 se vio obligado a abandonar un sistema de selección de personal que excluía involuntariamente a mujeres debido a sesgos en los datos de entrenamiento.

Estos prejuicios también aparecen en otros sistemas utilizados por organismos públicos, como el Servicio de Educación y el Servicio de Impuestos Internos en Países Bajos, donde algoritmos discriminatorios han provocado controversia. La dificultad para eliminar sesgos en los datos de entrenamiento y la tendencia de los modelos a aprender patrones discriminatorios mantienen vigente el problema de la discriminación algorítmica.

Otro problema importante es que muchos modelos de IA funcionan como «cajas negras», lo que dificulta entender cómo toman decisiones. La falta de transparencia y explicabilidad afecta la confianza y la responsabilidad, especialmente en ámbitos sensibles como la educación y la salud. En la evaluación académica, por ejemplo, la ausencia de claridad sobre cómo un algoritmo llega a una calificación puede impedir que el alumnado impugne decisiones injustas o erróneas. A pesar de ello, la automatización de tareas de revisión y evaluación sigue siendo vista como una forma de reducir la carga laboral, aunque suponga pérdida de transparencia y la imposibilidad de determinar la causa exacta de un fallo.

En el sector sanitario, los algoritmos están ayudando a reducir reingresos hospitalarios y la duración de las estancias en unidades de cuidados intensivos, logrando disminuir en algunos casos hasta un 14% la tasa de reingresos y acortar un 4% el tiempo de recuperación. Sin embargo, este uso también presenta riesgos, sobre todo relacionados con la posible presencia de sesgos en los datos de entrenamiento y la interpretación de las predicciones, que pueden afectar decisiones críticas para la vida de las personas pacientes.

Como en otras áreas, en la medicina la transparencia no siempre ha sido una condición imprescindible para aplicar ciertos tratamientos, como las terapias EMDR, que aunque no siempre se comprenden completamente, siguen siendo efectivas. Sin embargo, en el ámbito de la IA la falta de claridad sobre cómo los algoritmos toman decisiones exige una reflexión profunda sobre la responsabilidad y el uso adecuado de estas tecnologías. La participación del personal profesional en la supervisión y decisión final sigue siendo clave para garantizar que las decisiones que afectan a las personas sean justas y responsables.

Finalmente, la relación entre usuarios y estos sistemas continúa evolucionando, generando experiencias tanto positivas como negativas. Algunos ejemplos incluyen personas usuarias que han desarrollado vínculos afectivos con chatbots o que comparan la interacción con IA con ver una película, mientras que la variedad de aplicaciones —desde detección de fraudes hasta asesoría en salud— muestra que la inteligencia artificial es un recurso polifacético y complejo. Por ello, expertas, expertos y organismos hacen un llamamiento a dialogar antes de implementar cualquier sistema algorítmico, poniendo sobre la mesa los posibles riesgos y responsabilidades, y promoviendo una mayor transparencia y control para evitar que las promesas se conviertan en nuevas fuentes de desigualdad o daño.