Meta lanza Llama 4, su nuevo modelo de lenguaje que redefine la inteligencia artificial

Meta ha revolucionado el panorama de la inteligencia artificial con Llama 4, un modelo de lenguaje que redefine estándares y desafía a la competencia.

Meta ha sorprendido al mundo de la inteligencia artificial con el lanzamiento de su nuevo modelo de lenguaje, Llama 4, el 5 de abril. Este lanzamiento se anticipó a la llegada del modelo Qwen3 de Alibaba, que se espera que sea presentado en las próximas semanas, y es posible que también haya sido una estrategia para estar un paso adelante en la competencia.

Llama 4 introduce una innovadora arquitectura basada en el modelo Sparse-Mixture-of-Experts, que permite diferentes tamaños y configuraciones. La serie cuenta con varios modelos, siendo Llama 4 Scout el más pequeño con 109 mil millones de parámetros en 16 expertos, lo que significa que solo 17 mil millones de parámetros están activos simultáneamente. En contraste, Llama 4 Maverick es mucho más grande, con 400 mil millones de parámetros en 128 expertos, manteniendo el mismo número de parámetros activos.

Uno de los aspectos más destacados es Llama 4 Behemoth, que actualmente está en desarrollo y se espera que tenga una impresionante capacidad de 2 billones de parámetros, de los cuales 288 mil millones estarán activos. Este modelo se plantea como el "Teacher-Modell" para sus compañeros Maverick y Scout y promete ser superior a otros modelos una vez completado, aunque todavía queda por determinar su nivel real de rendimiento.

Todos los modelos de Llama 4 han sido entrenados con una longitud de contexto excepcional de 10 millones de tokens, superando significativamente a otros modelos en el mercado, que generalmente están limitados a entre 128 mil y un millón de tokens. Sin embargo, este avance también introduce el desafío del problema de "Lost In the Middle", donde la información en la parte central del contexto se puede perder.

Meta ha implementado un proceso de entrenamiento supervisado junto con técnicas de precisión reducida (FP8), aunque no se ha especificado el tiempo exacto de uso de GPU requerido para este entrenamiento. Interesantemente, los modelos pueden ejecutarse en CPUs, especialmente en Mac, aunque requerirán una considerable cantidad de espacio de almacenamiento debido a su tamaño. Por ejemplo, el modelo Llama 4 Scout en formato cuantizado de 4 bits excede los 60 GB.

El lanzamiento de Llama 4 también comporta una adaptación importante para su uso, ya que ahora se almacena en Hugging Face en formato XET, diseñado para ser más eficiente que el formato Git tradicional. Meta pretende que esta nueva serie de modelos, aunque de gran tamaño, sea accesible y utilizable en diversas plataformas, incluidos dispositivos de consumo, siempre que se cumplan las condiciones adecuadas de hardware y espacio.

Con el surgimiento de Llama 4, Meta reafirma su posición en la vanguardia de la inteligencia artificial, no solo por sus innovaciones tecnológicas, sino también por su compromiso con una oferta que pueda competir con los líderes actuales del sector. La expectativa ahora se centra en cómo se comportarán estos modelos frente a sus competidores en escenarios del mundo real.