Modelado del lenguaje a gran escala Gopher, consideraciones éticas y recuperación

Modelado de lenguaje a gran escala consideraciones éticas y recuperación.

El lenguaje y su papel en demostrar y facilitar la comprensión – o inteligencia – es una parte fundamental de ser humano. Le da a las personas la capacidad de comunicar pensamientos y conceptos, expresar ideas, crear recuerdos y construir entendimiento mutuo. Estas son partes fundamentales de la inteligencia social. Es por eso que nuestros equipos en DeepMind estudian aspectos del procesamiento del lenguaje y la comunicación, tanto en agentes artificiales como en humanos.

Como parte de un amplio portafolio de investigación en IA, creemos que el desarrollo y estudio de modelos de lenguaje más poderosos – sistemas que predicen y generan texto – tienen un tremendo potencial para construir sistemas de IA avanzados que se puedan utilizar de manera segura y eficiente para resumir información, proporcionar asesoramiento experto y seguir instrucciones a través del lenguaje natural. El desarrollo de modelos de lenguaje beneficiosos requiere investigar sus posibles impactos, incluidos los riesgos que plantean. Esto incluye la colaboración entre expertos de diversos campos para anticipar y abordar de manera reflexiva los desafíos que el entrenamiento de algoritmos en conjuntos de datos existentes puede generar.

Hoy lanzamos tres documentos sobre modelos de lenguaje que reflejan este enfoque interdisciplinario. Incluyen un estudio detallado de un modelo de lenguaje transformador llamado Gopher con 280 mil millones de parámetros, un estudio de los riesgos éticos y sociales asociados con los modelos de lenguaje grandes y un documento que investiga una nueva arquitectura con una mejor eficiencia de entrenamiento.

Gopher – Un modelo de lenguaje con 280 mil millones de parámetros

En la búsqueda de explorar modelos de lenguaje y desarrollar nuevos, entrenamos una serie de modelos de lenguaje transformador de diferentes tamaños, desde 44 millones de parámetros hasta 280 mil millones de parámetros (el modelo más grande que llamamos Gopher).

• La normatividad espuria mejora el aprendizaje del comportamiento de cumplimiento y aplicación en agentes artificiales.
• Modelos de Lenguaje de Red Teaming con Modelos de Lenguaje
• El primer paso de MuZero de la investigación al mundo real.

Nuestra investigación investigó las fortalezas y debilidades de esos modelos de diferentes tamaños, destacando áreas donde aumentar la escala de un modelo continúa mejorando el rendimiento, por ejemplo, en áreas como la comprensión de lectura, la verificación de hechos y la identificación de lenguaje tóxico. También presentamos resultados donde la escala del modelo no mejora significativamente los resultados, por ejemplo, en tareas de razonamiento lógico y sentido común.

En nuestra investigación, encontramos que las capacidades de Gopher superan a los modelos de lenguaje existentes en varias tareas clave. Esto incluye el benchmark de Comprensión del Lenguaje Multitarea Masiva (MMLU), donde Gopher demuestra un avance significativo hacia el rendimiento de expertos humanos en trabajos anteriores.

Además de la evaluación cuantitativa de Gopher, también exploramos el modelo a través de interacción directa. Entre nuestros hallazgos clave se encuentra que, cuando Gopher se dirige hacia una interacción de diálogo (como en un chat), el modelo a veces puede proporcionar coherencia sorprendente.

Aquí Gopher puede discutir biología celular y proporcionar una cita correcta a pesar de no haber sido ajustado específicamente para el diálogo. Sin embargo, nuestra investigación también detalló varios modos de falla que persisten en diferentes tamaños de modelo, entre ellos una tendencia a la repetición, la reflexión de sesgos estereotípicos y la propagación confiada de información incorrecta.

Este tipo de análisis es importante, porque comprender y documentar los modos de falla nos da una idea de cómo los modelos de lenguaje grandes podrían causar daños a largo plazo, y nos muestra dónde deben enfocarse los esfuerzos de mitigación en la investigación para abordar esos problemas.

Riesgos éticos y sociales de los modelos de lenguaje grandes

En nuestro segundo documento, anticipamos posibles riesgos éticos y sociales de los modelos de lenguaje y creamos una clasificación integral de estos riesgos y modos de falla, basándonos en investigaciones previas en esta área [Bommasani et al 2021, Bender et al 2021, Patterson et al 2021]. Esta visión sistemática es un paso esencial para comprender estos riesgos y mitigar posibles daños. Presentamos una taxonomía de los riesgos relacionados con los modelos de lenguaje, categorizados en seis áreas temáticas, y detallamos 21 riesgos en profundidad.

Tener una visión amplia de diferentes áreas de riesgo es esencial: como mostramos en el documento, un enfoque demasiado estrecho en un solo riesgo de forma aislada puede empeorar otros problemas. La taxonomía que presentamos sirve como base para que los expertos y el público en general construyan una visión compartida de las consideraciones éticas y sociales sobre los modelos de lenguaje, tomen decisiones responsables e intercambien enfoques para abordar los riesgos identificados.

Nuestra investigación encuentra que hay dos áreas en particular que requieren un mayor trabajo. En primer lugar, las herramientas de referencia actuales son insuficientes para evaluar algunos riesgos importantes, por ejemplo, cuando los modelos de lenguaje emiten información errónea y las personas confían en que esta información es verdadera. Evaluar riesgos como estos requiere un mayor escrutinio de la interacción humano-computadora con los modelos de lenguaje. En nuestro artículo, enumeramos varios riesgos que también requieren herramientas de análisis novedosas o más interdisciplinarias. En segundo lugar, se necesita más trabajo en la mitigación de riesgos. Por ejemplo, se sabe que los modelos de lenguaje reproducen estereotipos sociales perjudiciales, pero la investigación sobre este problema aún está en etapas iniciales, como mostró un reciente artículo de DeepMind.

Entrenamiento eficiente con recuperación a escala de Internet

Nuestro artículo final se basa en los fundamentos de Gopher y nuestra taxonomía de riesgos éticos y sociales, proponiendo una arquitectura mejorada del modelo de lenguaje que reduce el costo energético del entrenamiento y facilita rastrear las salidas del modelo hasta las fuentes dentro del corpus de entrenamiento.

El Transformador Mejorado con Recuperación (RETRO) se pre-entrena con un mecanismo de recuperación a escala de Internet. Inspirado en cómo el cerebro depende de mecanismos de memoria dedicados al aprender, RETRO consulta eficientemente pasajes de texto para mejorar sus predicciones. Al comparar los textos generados con los pasajes en los que RETRO se basó para la generación, podemos interpretar por qué el modelo hace ciertas predicciones y de dónde provienen. También observamos cómo el modelo obtiene un rendimiento comparable a un Transformador regular con un orden de magnitud menos parámetros, y obtiene un rendimiento de vanguardia en varios puntos de referencia de modelado del lenguaje.

Avanzando

Estos documentos sientan las bases para la investigación en lenguaje de DeepMind en el futuro, particularmente en áreas que tendrán un impacto en cómo se evalúan y despliegan estos modelos. Abordar estas áreas será fundamental para garantizar interacciones seguras con los agentes de IA, desde que las personas les digan a los agentes lo que quieren hasta que los agentes expliquen sus acciones a las personas. La investigación en la comunidad más amplia sobre el uso de la comunicación para la seguridad incluye explicaciones en lenguaje natural, el uso de la comunicación para reducir la incertidumbre y el uso del lenguaje para desglosar decisiones complejas en piezas como amplificación, debate y modelado de recompensas recursivas, todas áreas críticas de exploración.

A medida que continuamos nuestra investigación en modelos de lenguaje, DeepMind seguirá siendo cauteloso y reflexivo. Esto requiere dar un paso atrás para evaluar la situación en la que nos encontramos, mapear los riesgos potenciales e investigar mitigaciones. Nos esforzaremos por ser transparentes y abiertos acerca de las limitaciones de nuestros modelos y trabajaremos para mitigar los riesgos identificados. En cada paso, aprovechamos la amplitud de experiencia de nuestros equipos multidisciplinarios, incluidos nuestros equipos de Lenguaje, Aprendizaje Profundo, Ética y Seguridad. Este enfoque es clave para crear modelos de lenguaje grandes que sirvan a la sociedad, avanzando en nuestra misión de resolver la inteligencia para promover la ciencia y beneficiar a la humanidad.

We will continue to update Zepes; if you have any questions or suggestions, please contact us!