Investigadores de la Universidad de Boston lanzan la familia Platypus de LLMs afinados para lograr un refinamiento económico, rápido y potente de los LLMs base.

Investigadores de la Universidad de Boston lanzan la familia Platypus de LLMs para un refinamiento económico, rápido y potente.

Los Modelos de Lenguaje Grande (LLMs) han causado sensación en el mundo. Estos modelos súper efectivos y eficientes se erigen como las maravillas modernas de la Inteligencia Artificial. Con la capacidad de comprender el contexto, generar texto y conversar coherentemente, se han vuelto capaces de redefinir la comunicación entre humanos y máquinas. Los investigadores se han centrado en mejorar el rendimiento de los Modelos de Lenguaje Grande base con la ayuda de un procedimiento llamado ajuste eficiente de parámetros (PEFT), que implica optimizar LLMs en el conjunto de datos pequeño y potente de Open-Platypus.

Recientemente, un equipo de investigadores de la Universidad de Boston ha presentado Platypus, una familia única de Modelos de Lenguaje Grande mejorados y combinados que han alcanzado un rendimiento incomparable y actualmente ocupan el primer lugar en el Open LLM Leaderboard de HuggingFace. El conjunto de datos meticulosamente seleccionado conocido como Open-Platypus es uno de los pilares fundamentales, y este conjunto de datos se ha puesto a disposición del público después de ser cuidadosamente elegido entre una variedad de otros conjuntos de datos gratuitos. Es un subconjunto más pequeño de conjuntos de datos más grandes que se centra en elementos particulares que son cruciales para mejorar el rendimiento de los LLMs.

Al utilizar información específica del dominio, el objetivo del equipo es mantener el sólido conocimiento previo de los LLMs preentrenados y ajustar finamente y fusionar los módulos de LoRA. El modelo se puede adaptar a tareas particulares mediante el ajuste fino, al tiempo que se preserva el conocimiento más completo acumulado durante el entrenamiento inicial. Cuando se combinan los módulos de LoRA, se unen varios componentes para producir un LLM más sólido. El potencial oculto del modelo y el conocimiento especializado en un dominio pueden ser revelados gracias a la sinergia.

• IBM y NASA se unen para crear Earth Science GPT Descifrando los misterios de nuestro planeta
• Reconocimiento del lenguaje hablado en Mozilla Common Voice Transformaciones de audio.
• Conoce a PUG una nueva investigación de IA de Meta AI sobre conjuntos de datos fotorrealistas y semánticamente controlables utilizando Unreal Engine para una evaluación de modelos robusta

Un aspecto crucial del trabajo es el riguroso esfuerzo que se ha dedicado a verificar la integridad de los datos de prueba e identificar posibles contaminaciones en los datos de entrenamiento. Algunas comprobaciones exhaustivas respaldan la confiabilidad y precisión de la serie de modelos Platypus, y revelar el método de este procedimiento de verificación podría servir como una guía para investigaciones adicionales en el campo.

La familia de modelos Platypus, que abarca una variedad de tamaños de modelos, tiene un rendimiento excepcional en métricas cuantitativas de LLM. Se encuentra en la cima del Open LLM leaderboard a nivel mundial, un logro que atestigua la efectividad de la estrategia. El equipo ha compartido que su modelo tiene un rendimiento tan bueno como otros LLMs ajustados finamente de vanguardia, al utilizar solo una pequeña parte de los datos de ajuste fino y recursos computacionales. Por ejemplo, un modelo Platypus de 13B puede ser entrenado con éxito en impresionantes 5 horas utilizando solo una GPU A100 y solo 25k preguntas. Esta increíble eficiencia destaca la excelente calidad del conjunto de datos de Open-Platypus y allana el camino para desarrollos adicionales en el área.

Las contribuciones se pueden resumir de la siguiente manera: 

1. Se ha introducido Open-Platypus, un conjunto de datos compacto que comprende 11 conjuntos de datos de texto públicos, para mejorar el conocimiento de LLMs en STEM y lógica.

1. Este conjunto de datos, compuesto principalmente por preguntas diseñadas por humanos, proporciona un rendimiento sólido con un tiempo y coste mínimo de ajuste fino.

1. El equipo ha compartido la descripción del proceso para excluir datos similares con el fin de reducir el tamaño y la redundancia del conjunto de datos.

1. Se ha explorado el desafío de la contaminación de datos en los conjuntos de entrenamiento de LLM y el proceso de filtrado de datos. 

1. Se ha compartido una explicación del enfoque de selección y fusión de módulos de LoRA ajustados finamente y especializados, lo que contribuye a la mejora general del rendimiento de LLMs.

We will continue to update Zepes; if you have any questions or suggestions, please contact us!