La revolución y crisis en el procesamiento del lenguaje natural tras la aparición de grandes modelos de lenguaje

La llegada de los grandes modelos de lenguaje ha generado una transformación y una crisis en el procesamiento del lenguaje natural, redefiniendo su futuro.

La inteligencia artificial ha transformado muchos ámbitos de la ciencia y la tecnología, pero pocos han sentido su impacto tan directamente como la lingüística computacional, especialmente en el procesamiento del lenguaje natural (PLN). Este campo, dedicado a hacer comprensible el lenguaje humano para las máquinas, vivió una auténtica revolución y una crisis existencial tras el lanzamiento de modelos como GPT-3 y, especialmente, ChatGPT.

Según el filósofo Thomas Kuhn, un paradigma científico es un conjunto de prácticas, teorías y métodos compartidos que definen una disciplina en un momento dado. Una «revolución científica» ocurre cuando ese marco resulta insostenible y es reemplazado por uno completamente nuevo. En el PLN, durante décadas, el enfoque dominante fue el basado en reglas lingüísticas, seguido por el aprendizaje automático supervisado, que requería grandes cantidades de datos etiquetados y modelos específicos para cada tarea, como traducción automática, análisis de sentimientos o extracción de entidades.

La llegada de los modelos de lenguaje grande (LLM) cambió radicalmente esta tendencia. En 2017, Google publicó un famoso paper introduciendo el modelo transformer, una innovación que, en su momento, parecía solo un avance más en inteligencia artificial. Sin embargo, pronto se convirtió en la base de los grandes modelos de lenguaje. En 2018, la aparición de BERT revolucionó el campo por sus impresionantes resultados en tareas lingüísticas, dando inicio a la llamada «bertología», una fiebre de publicaciones y mejoras que convirtió a los benchmarks en una verdadera competición en escalabilidad: más datos, más parámetros y mayor potencia.

Dos años después, en 2020, GPT-3 representó un antes y un después, con más de 100 veces la capacidad de su predecesor y habilidades sorprendentes para generar textos coherentes y resolver tareas con instrucciones en lenguaje natural. Esto llevó a muchos investigadores, como Christopher Callison-Burch, a pensar que sus años de trabajo podían ser replicados en minutos por estos modelos, alimentando un intenso debate sobre si estos modelos realmente «entienden» el significado. Emily Bender y Alexander Koller propusieron el «test del pulpo», argumentando que un modelo que solo imita patrones no puede comprender el significado, lo que generó divisiones en la comunidad entre quienes defendían su utilidad y quienes cuestionaban su comprensión profunda.

El 30 de noviembre de 2022, OpenAI lanzó ChatGPT, causando un impacto inmediato y profundo. En cuestión de días, la atención se centró en su capacidad para realizar tareas que antes requerían esfuerzos especializados, y algunos jóvenes investigadores vieron la necesidad de replantear sus proyectos de tesis. La popularidad de ChatGPT también trajo una avalancha mediática: investigadores que antes tenían un perfil más técnico comenzaron a ser entrevistados en televisión y citados en debates legislativos. Sin embargo, esto también reveló fracturas en la comunidad científica: mientras algunos veían en los LLM una herramienta útil, otros los consideraban una amenaza para la rigurosidad y reproducibilidad en la investigación.

En respuesta a la dominancia de grandes empresas tecnológicas como OpenAI, Google o Anthropic, surgieron iniciativas como Olmo, de AI2, con el objetivo de crear modelos abiertos. Pero la diferencia en recursos dejó en evidencia que el avance en esta área ya no está principalmente en instituciones académicas, sino en la inversión y liderazgo de empresas privadas. Muchos investigadores ahora se dedican a estudiar los propios modelos, cuestionando sus capacidades y limitaciones, como la falta de comprensión profunda, su propensión a «alucinar» respuestas incorrectas y su dependencia de datos históricos.

Las opiniones sobre el futuro y el impacto de estos avances continúan divididas. Algunos consideran que estamos ante un cambio de paradigma total, mientras otros creen que las preguntas centrales en el procesamiento del lenguaje natural aún deben responderse. Lo cierto es que muchas de las temáticas tradicionales en la investigación se han desplazado y el foco ha cambiado hacia entender el funcionamiento y las limitaciones de los propios modelos. A pesar de las dudas, la comunidad científica reconoce que estamos en un momento crucial que redefine las bases sobre las cuales se construirá el futuro de la inteligencia artificial y el procesamiento del lenguaje.