Revolucionando el ajuste fino del modelo de lenguaje logrando ganancias sin precedentes con las incrustaciones ruidosas de NEFTune

Revolucionando el ajuste fino del modelo de lenguaje para lograr ganancias sin precedentes con las incrustaciones ruidosas de NEFTune

El ajuste fino de instrucciones es el proceso de entrenamiento de un LLM en un pequeño conjunto de datos de instrucciones curadas, lo que permite que el modelo alcance un alto rendimiento en tareas basadas en instrucciones. Ofrece numerosas ventajas, como una mejor interpretabilidad, reducción de sesgos y mejora del rendimiento en tareas. El ajuste fino de instrucciones es, por lo tanto, vital para aprovechar todo el potencial de los LLMs y, como tal, se vuelve esencial mejorar el resultado del proceso.

Los autores de este artículo de investigación han propuesto un nuevo método llamado NEFTune (Ajuste fino de instrucciones con incrustaciones ruidosas) para mejorar el rendimiento del modelo en tareas basadas en instrucciones. Han demostrado que al agregar ruido aleatorio a los vectores de incrustación de los datos de entrenamiento durante el pase hacia adelante del ajuste fino, se puede mejorar significativamente el rendimiento del modelo sin requerir recursos computacionales adicionales ni datos adicionales. NEFTune conduce a un aumento sorprendente en el rendimiento del LLM en tareas conversacionales y al mismo tiempo mantiene el rendimiento en preguntas y respuestas basadas en hechos.

Los investigadores realizaron la mayoría de sus experimentos utilizando LLMs con 7 mil millones de parámetros, como LLaMA-1, LLaMA-2 y OPT-6.7B, y utilizando conjuntos de datos de ajuste fino como Alpaca, ShareGPT, etc. Los resultados se evaluaron utilizando el conjunto de datos AplacaEval para calcular la Tasa de Ganancias, que es la tasa a la que se prefiere el LLM en comparación con el modelo Text-Davinci-003 de OpenAI, determinado por el evaluador, GPT-4.

• ¿Cómo pueden las representaciones visuales pre-entrenadas ayudar a resolver la manipulación a largo plazo? Conoce Universal Visual Decomposer (UVD) Un método listo para usar para identificar submetas a partir de videos.
• Esta investigación de IA presenta ‘RAFA’ un marco de inteligencia artificial basado en principios para agentes LLM autónomos con eficiencia de muestra demostrable.
• Revolucionando el análisis de documentos conozca DSG, el primer sistema entrenable de principio a fin para la extracción de estructuras jerárquicas

Los resultados muestran que el entrenamiento de estos modelos con NEFT aumenta significativamente la capacidad conversacional y la calidad de las respuestas. Cuando se ajusta fino con incrustaciones ruidosas, el rendimiento de LLaMA-2 7B aumentó considerablemente de 29.8% a 64.7%, y el rendimiento promedio de todos los modelos aumentó alrededor del 15%. Además de evaluar el rendimiento utilizando un LLM, los investigadores también utilizaron anotadores humanos. NEFT se prefirió en 88 ocasiones, y hubo 22 instancias de empate, lo que corresponde a una puntuación de victoria de alrededor del 74% para NEFT.

En uno de los experimentos, LLaMA-2 fue entrenado en Alpaca con y sin NEFT y se le hizo una pregunta sobre computación cuántica. La respuesta en la segunda etapa, es decir, utilizando incrustaciones ruidosas, fue mucho más fluida, explicando conceptos complejos como superposición y entrelazamiento cuántico de manera más clara.

Los investigadores plantean la hipótesis de que al introducir ruido en las incrustaciones durante el entrenamiento, el modelo se vuelve menos propenso al sobreajuste. En lugar de centrarse en la distribución exacta de la información, como detalles de formato, longitud del texto y palabras exactas, el modelo proporciona respuestas que abarcan el conocimiento y los comportamientos en el modelo base preentrenado.

Dado la importancia del ajuste fino de instrucciones, a lo largo de los años se han presentado muchos modelos y métodos por parte de los investigadores. NEFT no es el primer método para mejorar el rendimiento utilizando incrustaciones ruidosas. Sin embargo, puede mejorar significativamente el rendimiento de los LLMs en tareas conversacionales, proporcionando una explicación más detallada y clara de temas complejos como la computación cuántica. Lo más importante es que el método no requiere recursos computacionales adicionales, y los autores de este artículo lo han denominado “almuerzo gratis” para el ajuste fino de LLMs. NEFTune tiene el potencial de ser ampliamente utilizado en el futuro para desarrollar LLMs, convirtiéndose en una herramienta prometedora para el desarrollo futuro en mejorar las capacidades de los LLMs en una amplia gama de tareas del mundo real.

We will continue to update Zepes; if you have any questions or suggestions, please contact us!