Investigadores del Laboratorio de Procesamiento del Lenguaje Natural (NLP) de XLang proponen Lemur los modelos de lenguaje grandes y pre-entrenados de última generación que equilibran las capacidades de texto y código abiertos.

El Laboratorio de Procesamiento del Lenguaje Natural de XLang propone Lemur, modelos de lenguaje pre-entrenados de última generación que equilibran texto y código abiertos.

En un mundo cada vez más impulsado por la intersección del lenguaje y la tecnología, la demanda de modelos de lenguaje versátiles y potentes nunca ha sido mayor. Los modelos de lenguaje grandes tradicionales (LLMs, por sus siglas en inglés) han destacado en la comprensión textual o en las tareas de codificación, pero rara vez han logrado encontrar un equilibrio armonioso entre ambas. Este desequilibrio ha dejado un vacío en el mercado para modelos que puedan navegar sin problemas entre el razonamiento textual y la competencia en codificación. Aquí es donde entran en juego Lemur y Lemur-chat, dos contribuciones innovadoras al ámbito de los LLMs preentrenados y supervisados finamente ajustados que buscan cerrar esta brecha.

Crear modelos de lenguaje que puedan manejar eficientemente tanto texto como código ha sido un desafío de larga data. Los LLMs existentes suelen estar especializados en la comprensión textual o en las tareas de codificación, pero rara vez en ambas. Esta especialización ha dejado a los desarrolladores e investigadores debatiéndose entre elegir modelos que se destacan en un área pero fallan en la otra. En consecuencia, ha surgido una necesidad apremiante de LLMs que puedan ofrecer un conjunto de habilidades multifacéticas que abarque la comprensión, el razonamiento, la planificación, la codificación y el contexto.

Aunque existen algunas soluciones en forma de LLMs tradicionales, sus limitaciones han quedado evidentes. La industria ha carecido de modelos que puedan equilibrar verdaderamente las demandas intrincadas tanto de las tareas relacionadas con el texto como del código. Esto ha creado un vacío en el panorama de los agentes de modelos de lenguaje, donde un enfoque integrado para la comprensión, el razonamiento y la codificación es esencial.

• Aceptando la Diversidad Neuronal Un Salto en la Eficiencia y Rendimiento de la IA
• El primer IA visual y de lenguaje de propósito general LLaVA
• Más allá de los tutoriales Aprendiendo análisis de datos con el agente de Pandas de LangChain

El proyecto Lemur, liderado por XLang Lab en colaboración con Salesforce Research, busca abordar esta brecha crítica en la tecnología de modelos de lenguaje. Lemur y Lemur-chat representan un esfuerzo pionero para desarrollar LLMs preentrenados y supervisados finamente ajustados, abiertos y que se destacan tanto en tareas de texto como de código. El fundamento de este proyecto es el preentrenamiento exhaustivo de Llama 2 en un vasto corpus de aproximadamente 100 mil millones de líneas de datos intensivos en código. Esta fase de preentrenamiento es seguida por un ajuste fino supervisado en aproximadamente 300,000 instancias de datos públicos de instrucción y diálogo. El resultado es un modelo de lenguaje con habilidades mejoradas en codificación y fundamentos, al tiempo que mantiene un rendimiento competitivo en razonamiento textual y conocimiento.

Las métricas de rendimiento de Lemur y Lemur-chat son un testimonio de su destreza. Lemur se destaca al superar a otros modelos de lenguaje de código abierto en pruebas de codificación, demostrando su competencia en codificación. Al mismo tiempo, mantiene su ventaja competitiva en tareas de razonamiento textual y basadas en el conocimiento, mostrando su conjunto de habilidades versátil. Mientras tanto, Lemur-chat supera significativamente a otros modelos supervisados finamente ajustados de código abierto en diversas dimensiones, lo que indica sus capacidades excepcionales para cerrar la brecha entre texto y código en contextos de conversación.

El proyecto Lemur representa un esfuerzo de investigación colaborativo con contribuciones tanto de XLang Lab como de Salesforce Research, con el apoyo de generosos donativos de Salesforce Research, Google Research y Amazon AWS. Si bien el camino hacia un modelo de lenguaje de código abierto equilibrado aún está en curso, las contribuciones de Lemur ya han comenzado a remodelar el panorama de la tecnología de modelos de lenguaje. Al ofrecer un modelo que destaca tanto en tareas de texto como de código, Lemur proporciona una herramienta poderosa para desarrolladores, investigadores y organizaciones que buscan navegar la intersección cada vez más intrincada del lenguaje y la tecnología.

En conclusión, el proyecto Lemur se erige como un faro de innovación en el mundo de los modelos de lenguaje. Su capacidad para equilibrar armoniosamente tareas relacionadas con el texto y el código ha abordado un desafío de larga data en el campo. A medida que Lemur continúa evolucionando y estableciendo nuevos puntos de referencia, promete impulsar una mayor investigación sobre los modelos de agentes y establecer una base más poderosa y equilibrada para los modelos de lenguaje de código abierto. Con Lemur, el futuro de la tecnología de modelos de lenguaje es más brillante y versátil que nunca antes.

We will continue to update Zepes; if you have any questions or suggestions, please contact us!