Microsoft AI presenta Orca un modelo de 13 mil millones de parámetros que aprende a imitar el proceso de razonamiento de los LFM (modelos de fundación grandes).

Microsoft AI presenta Orca, modelo de 13 mil millones de parámetros que imita el razonamiento de los LFM.

Las notables capacidades de aprendizaje sin supervisión demostradas por modelos de base grandes (LFMs) como ChatGPT y GPT-4 han suscitado una pregunta: ¿Pueden estos modelos supervisar autónomamente su comportamiento u otros modelos con una intervención humana mínima? Para explorar esto, un equipo de investigadores de Microsoft presenta Orca, un modelo de 13 mil millones de parámetros que aprende trazas de explicación complejas y procesos de pensamiento paso a paso de GPT-4. Este enfoque innovador mejora significativamente el rendimiento de los modelos de ajuste de instrucciones de vanguardia existentes, abordando desafíos relacionados con la diversidad de tareas, la complejidad de las consultas y la escalabilidad de los datos.

Los investigadores reconocen que los pares de consulta y respuesta de GPT-4 pueden proporcionar una guía valiosa para los modelos de estudiantes. Por lo tanto, mejoran estos pares agregando respuestas detalladas que ofrecen una mejor comprensión del proceso de razonamiento utilizado por los maestros al generar sus respuestas. Al incorporar estas trazas de explicación, Orca equipa a los modelos de estudiantes con habilidades mejoradas de razonamiento y comprensión, lo que efectivamente reduce la brecha entre maestros y estudiantes.

El equipo de investigación utiliza la Colección Flan 2022 para mejorar aún más el proceso de aprendizaje de Orca. El equipo selecciona tareas de esta extensa colección para garantizar una mezcla diversa de desafíos. Luego, se submuestrean estas tareas para generar indicaciones complejas, que sirven como consultas para LFMs. Este enfoque crea un conjunto de entrenamiento diverso y rico que facilita un aprendizaje sólido para Orca, lo que le permite abordar efectivamente una amplia gama de tareas.

• 10 Cursos Cortos Gratuitos Para Dominar la Inteligencia Artificial Generativa
• FastAPI y Streamlit El dúo de Python que debes conocer.
• AVFormer Inyectando visión en modelos de habla congelados para la conversión automática de voz a texto sin entrenamiento previo (AV-ASR).

Los investigadores realizan evaluaciones exhaustivas para evaluar las capacidades de Orca, centrándose en capacidades generativas, de razonamiento y de comprensión. Comparan el rendimiento de Orca con fuertes líneas de base como Text-Davinci-003, ChatGPT, GPT-4 y Vicuna. Los resultados demuestran la superioridad de Orca sobre modelos de ajuste de instrucciones de vanguardia como Vicuna-13B, mostrando una mejora de más del 100% en BigBench Hard (BBH). Además, Orca exhibe un rendimiento competitivo en exámenes académicos en configuraciones de aprendizaje sin supervisión, lo que indica su potencial para aplicaciones del mundo real.

Los hallazgos de la investigación confirman el tremendo potencial del aprendizaje a partir de explicaciones paso a paso en la mejora del rendimiento del modelo. Al incorporar trazas de explicación detalladas y escalar tareas con indicaciones complejas, Orca logra avances significativos en los modelos de ajuste de instrucciones. Este enfoque no solo capacita a los modelos de estudiantes para mejorar sus habilidades de razonamiento y comprensión, sino que también les permite superar los puntos de referencia existentes.

La introducción de Orca y su aplicación exitosa en la mejora de los modelos de ajuste de instrucciones presentan perspectivas interesantes para la investigación futura. A medida que los LFMs continúan evolucionando, los mecanismos de aprendizaje auto supervisado y la capacidad de supervisar otros modelos con intervención humana mínima podrían revolucionar el campo de la inteligencia artificial. Al refinar el proceso de aprendizaje a partir de trazas de explicación complejas, los investigadores pueden continuar mejorando el rendimiento del modelo en diversas tareas, impulsando avances en el procesamiento del lenguaje natural.

En conclusión, la introducción de Orca, un modelo de 13 mil millones de parámetros que aprende trazas de explicación de GPT-4, representa un avance significativo en la mejora de los modelos de ajuste de instrucciones. Orca supera los modelos existentes a través del ajuste de explicaciones, la escala de tareas e instrucciones y la evaluación rigurosa, marcando un gran salto adelante en las capacidades del sistema de inteligencia artificial. La incorporación de explicaciones paso a paso en los procesos de entrenamiento promete desbloquear completamente el potencial de los modelos de base grandes y impulsar el progreso en el procesamiento del lenguaje natural.

We will continue to update Zepes; if you have any questions or suggestions, please contact us!