Redis lanza LangCache y conjuntos de vectores para mejorar el almacenamiento de respuestas de IA
Redis lanza LangCache y conjuntos de vectores, innovaciones que transformarán el almacenamiento de respuestas de inteligencia artificial y optimizarán el rendimiento en aplicaciones.
Redis, la compañía detrás de la popular base de datos en memoria clave-valor, está buscando reorientar las conversaciones en torno a su tecnología con el lanzamiento de dos nuevos productos centrados en inteligencia artificial, justo antes del lanzamiento de Redis 8 el 1 de mayo. Uno de estos productos es LangCache, una nueva herramienta de caché que permite a los desarrolladores almacenar respuestas de modelos de lenguaje grande (LLM), mejorando así el rendimiento y reduciendo los costos y la latencia en sus aplicaciones.
El CEO de Redis, Rowan Trollope, explicó en una entrevista que la visión de la empresa es posicionarse como la "memoria a corto plazo" para el "stack agentic", donde los microservicios utilizan LLMs. "Esa es la nueva estrategia de la compañía", comentó Trollope. La necesidad de almacenar en caché las respuestas de los LLM es similar a otros casos de uso de caché, aunque la naturaleza probabilística de estos modelos hace que el proceso sea diferente al de almacenar una consulta SQL convencional. LangCache utiliza un modelo de incrustación afinado que toma en cuenta el contexto de la consulta para crear una incrustación que lo refleje.
Trollope anticipa que el uso principal de LangCache será en agentes de IA, en lugar de conversaciones humano-chatbot, que tienden a ser más variables y, por ende, más difíciles de cachear. “Nuestra razón única de existir realmente se centra en el rendimiento y en ofrecer una API fácil de usar para los desarrolladores”, añadió. Para aquellos que buscan almacenar una gran cantidad de vectores en una base de datos sin preocuparse demasiado por la velocidad, Redis podría no ser la mejor opción. Sin embargo, en entornos en tiempo real donde la latencia es crucial, propone que su tecnología tendrá un papel cada vez más relevante.
El segundo producto lanzado, conocido como conjuntos de vectores, tiene como objetivo optimizar el almacenamiento y consulta de embeddings vectoriales. Salvatore “antirez” Sanfilippo, fundador del proyecto de código abierto Redis, regresó a la compañía el año pasado y expresó su interés en esta nueva forma de pensar sobre el almacenamiento de datos vectoriales. Trollope señaló que, a diferencia de otras bases de datos de vectores, Redis utilizará un formato más comprimido y optimizado, además de un nuevo algoritmo de búsqueda de similitud que debería resultar en una velocidad significativamente mayor.
Desde la perspectiva empresarial, Trollope mencionó que Redis está cerca de alcanzar un equilibrio financiero y que se está evaluando la posibilidad de una Oferta Pública Inicial (OPI) en el futuro. Sin embargo, su enfoque actual está centrado en invertir en las oportunidades de inteligencia artificial, priorizando el desarrollo de su tecnología sobre el proceso de OPI. "He estado hablando con banqueros que quieren que hagamos una OPI, pero no estoy tan interesado en eso en este momento. Creo que eventualmente llegaremos allí, pero la oportunidad de IA es demasiado grande", destacó.
Trollope concluyó que a medida que los desarrolladores creen nuevas aplicaciones y casos de uso, probablemente optarán por herramientas con las que están familiarizados. En una arquitectura agentic, el uso de microservicios que emplean LLMs elimina la necesidad de reglas lógicas y de negocio codificadas, por lo que se requiere una capa de orquestación y un almacenamiento de sesiones. En este sentido, Redis se presenta como la solución ideal para aquellos que buscan mantener el estado de sus agentes debido a su rapidez y durabilidad.