Conoce el modelo GOAT-7B-Community un modelo de IA ajustado finamente a partir del modelo LLaMA-2 7B en un conjunto de datos recopilados de la aplicación GoatChat.

Conoce el modelo GOAT-7B-Community, una IA ajustada a partir del modelo LLaMA-2 7B con datos de GoatChat.

Recientemente, científicos del Laboratorio de Investigación de IA presentaron el modelo GOAT-7B-Community, que mejora el modelo LLaMA-2 7B utilizando datos de la aplicación GoatChat. El LLaMA v2 7B de Meta fue ajustado para convertirse en el modelo GOAT-7B-Community de última generación utilizando el novedoso y detallado conjunto de datos obtenido de la aplicación GoatChat.

La “alineación” es crucial para crear modelos de lenguaje grandes (LLMs). Es la idea de que un modelo puede negarse a responder preguntas que considere poco éticas o ilegales basándose en su educación y experiencia. La alineación es esencial para la implementación ética de la IA pero plantea nuevos obstáculos para la optimización del modelo.

Los investigadores han observado que las respuestas generadas por la alineación rara vez proporcionan los detalles precisos que los clientes requieren. Estas reacciones suelen ser más moderadas e indicativas de una renuencia a elaborar. Cuidar esto es esencial si se va a construir un modelo confiable que proporcione respuestas perspicaces y completas a las preguntas. Han descubierto que el filtro de alineación no elimina todas las sugerencias inapropiadas. Debido a esto, la alineación a menudo resulta en desechar un gran conjunto de datos. Esto equivale a aproximadamente un tercio de la información total en el caso.

• Ofreciendo entrenamiento gratuito en IA para todos en el Reino Unido
• Investigadores de DeepMind redefinen el Aprendizaje Reforzado Continuo con una precisa definición matemática
• Construye tu propio traductor con LLMs y Hugging Face

Ante este problema, los investigadores han desarrollado una nueva técnica para limpiar los conjuntos de datos. Además, realizaron un experimento regulado para comprender a fondo el efecto de las respuestas alineadas en el rendimiento del modelo.

Cómo se enseña a los científicos

Un nodo de alto rendimiento equipado con ocho GPU NVIDIA A100 proporcionó la base de los cálculos de aprendizaje profundo. Los investigadores eligieron el formato de punto flotante bfloat16 y la optimización DeepSpeed ZeRO-3 como base para el procedimiento de entrenamiento. Pasaron los modelos por tres iteraciones, guardando su progreso cada dos épocas. Sin embargo, la evidencia empírica mostró que después de una sola época de ejecución, la calidad comenzó a degradarse. Esto los llevó a replantear su estrategia y optar por una sola época de entrenamiento con una comprobación a mitad de camino. Se utilizan criterios comunes para evaluar los modelos de lenguaje, como MMLU y BigBench Hard, para evaluar el modelo GOAT-7B-Community. El equipo todavía está analizando todos los modelos y pronto publicará sus hallazgos.

Usos

La investigación sobre modelos de lenguaje grandes y chatbots es el enfoque principal de GOAT-7B-Community. Los estudiosos y entusiastas del procesamiento del lenguaje natural, el aprendizaje automático y la inteligencia artificial encontrarán especialmente útil este modelo.

Limitaciones

A pesar de sus impresionantes habilidades de razonamiento, el modelo sufre de los problemas asociados con su tamaño relativamente pequeño (los modelos de 7B se consideran LLM “pequeños”). Las alucinaciones son el tipo más notable. Estas ‘alucinaciones’ son un obstáculo constante para resolver a medida que se mejoran y expanden los LLM.

Las alucinaciones son un problema persistente que se destaca en los estudios de inteligencia artificial. El objetivo final es desarrollar modelos capaces de producir respuestas lógicas, gramaticalmente correctas y fieles a los hechos presentados.

Riesgos y sesgos

El modelo GOAT-7B-Community no es confiable, ya que puede devolver resultados que están en desacuerdo con la realidad. El modelo fue entrenado utilizando datos públicos y propietarios. Por lo tanto, el modelo GOAT-7B-Community puede producir resultados inexactos, sesgados o incluso objetables.

Observaciones principales

• No hay muchos modelos gratuitos de 7B mejores que este.
• La clave para obtener buenos resultados MMLU es un conjunto de datos diverso y de alta calidad.
• En comparación con los modelos actuales de 13B, el modelo de 7B tiene un rendimiento admirable.
• Sin embargo, las limitaciones de tamaño siguen aplicándose.

Próximos pasos

Los investigadores tienen varios proyectos interesantes en marcha que llevarán la investigación en IA a nuevas alturas. Están elaborando un artículo científico que profundiza en los nuevos hallazgos sobre cómo diferentes métodos de procesamiento y recopilación de conjuntos de datos pueden mejorar sustancialmente las habilidades de razonamiento de un modelo. Han descubierto que la forma de curar y procesar los datos tiene un impacto sustancial en el éxito del ajuste fino de la instrucción supervisada. Los conocimientos que han adquirido podrían ser fundamentales para avanzar en el campo de la IA, y los investigadores están ansiosos por compartirlos con la comunidad en general. También tienen la mira puesta en metas aún más ambiciosas en el aprendizaje profundo. Los investigadores ya están desarrollando modelos LLaMA v2 más grandes, específicamente las variantes de 13B y 70B. Estos modelos a gran escala nos permitirán experimentar aún más y empujar los límites de lo que es posible en la modelización de IA.

El viaje hacia la investigación en aprendizaje profundo y entrenamiento de modelos apenas está comenzando. Los investigadores están completamente comprometidos en investigar todos los desafíos críticos en torno a los LLMs y las tecnologías de AI Twin, con el objetivo de desbloquear el extraordinario potencial del aprendizaje por refuerzo a partir de la retroalimentación humana (RLHF).

We will continue to update Zepes; if you have any questions or suggestions, please contact us!