GopherCite Enseñando a los modelos de lenguaje a respaldar respuestas con citas verificadas

GopherCite Enseñando modelos de lenguaje a respaldar respuestas con citas verificadas.

DeepMind publicó una serie de documentos sobre modelos de lenguaje grandes (LLMs) el año pasado, incluyendo un análisis de Gopher, nuestro gran modelo de lenguaje. La tecnología de modelado del lenguaje, que también está siendo desarrollada actualmente por varios otros laboratorios y empresas, promete fortalecer muchas aplicaciones, desde motores de búsqueda hasta una nueva ola de asistentes conversacionales tipo chatbot y más allá. Un documento de esta serie enumeró varias razones por las cuales los modelos de lenguaje “crudos” como Gopher no cumplen con nuestros estándares para implementar esta tecnología de manera segura en aplicaciones dirigidas al usuario, especialmente si no se establecen medidas de seguridad para controlar comportamientos problemáticos y potencialmente dañinos.

Nuestro trabajo más reciente se centra en una de estas preocupaciones: los modelos de lenguaje como Gopher pueden “alucinar” hechos que parecen plausibles pero que en realidad son falsos. Aquellos que están familiarizados con este problema saben que deben verificar los hechos por sí mismos en lugar de confiar en lo que dicen los modelos de lenguaje. Aquellos que no lo están, pueden terminar creyendo algo que no es cierto. Este documento describe GopherCite, un modelo que tiene como objetivo abordar el problema de la alucinación en los modelos de lenguaje. GopherCite intenta respaldar todas sus afirmaciones fácticas con evidencia de la web. Utiliza la búsqueda de Google para encontrar páginas web relevantes en Internet y cita un pasaje que intenta demostrar por qué su respuesta es correcta. Si el sistema no puede formar una respuesta respaldada por evidencia, le dice al usuario “No lo sé” en lugar de proporcionar una respuesta no fundamentada.

Apoyar afirmaciones fácticas simples con evidencia fácilmente verificable es un paso hacia hacer que los modelos de lenguaje sean más confiables, tanto para los usuarios que interactúan con ellos como para los anotadores que evalúan la calidad de las muestras. Una comparación entre el comportamiento de Gopher “crudo” y nuestro nuevo modelo es útil para ilustrar este cambio.

• Un análisis empírico del entrenamiento de modelos de lenguaje grandes óptimos en cómputo
• La última investigación de DeepMind en ICLR 2022
• Comenzando con JAX

Según la respuesta de GopherCite, notarás que Gopher inventó un hecho (“Lake Placid albergó los Juegos Olímpicos de invierno en 1936”) sin advertencia. Cuando se muestra un fragmento verificado de una página relevante de Wikipedia por GopherCite, podemos confirmar que Lake Placid solo albergó los Juegos Olímpicos dos veces, en 1932 y 1980.

Para cambiar el comportamiento de Gopher de esta manera, entrenamos a Gopher de acuerdo con las preferencias humanas. Pedimos a los participantes de un estudio de usuarios que eligieran su respuesta preferida de un par de candidatos, según criterios que incluían cuánto respaldaba la evidencia las respuestas dadas. Estas etiquetas se utilizaron como datos de entrenamiento tanto para el aprendizaje supervisado en muestras altamente valoradas como para el aprendizaje por refuerzo a partir de preferencias humanas (RLHP). También adoptamos este enfoque en nuestro trabajo reciente sobre evaluación de seguridad.

No somos los únicos interesados en este problema de inexactitud factual en los modelos de lenguaje. Nuestros colegas de Google recientemente hicieron avances en la fundamentación factual en su último sistema LaMDA, haciendo que un modelo conversacional interactúe con la búsqueda de Google y, a veces, comparta URLs relevantes. De hecho, el régimen de entrenamiento de GopherCite utiliza una metodología similar a la de LaMDA, pero una diferencia crítica es que nuestro objetivo es proporcionar un fragmento específico de evidencia relevante en lugar de simplemente señalar al usuario a una URL. Basándonos en motivaciones similares a las nuestras, OpenAI ha anunciado recientemente trabajo en el desarrollo de un sistema estrechamente relacionado llamado WebGPT, que también aplica RLHP para alinear su modelo de lenguaje GPT-3. Mientras que GopherCite se centra en leer entradas de documentos largos, WebGPT selecciona cuidadosamente el contexto presentado al modelo de lenguaje al interactuar varias veces con un navegador web. También cita evidencia para respaldar sus respuestas. Las similitudes y diferencias entre estos sistemas y el nuestro se discuten en nuestro documento y también demostramos que GopherCite a menudo proporciona evidencia convincente para sus afirmaciones.

Realizamos un estudio de usuarios con participantes remunerados para evaluar el modelo en dos tipos de preguntas: preguntas de búsqueda de hechos escritas en Google Search (lanzadas por Google en un conjunto de datos llamado “NaturalQuestions”) y preguntas de búsqueda de explicaciones que los usuarios de Reddit hicieron en un foro llamado “/r/eli5” (“Explícamelo como si tuviera 5 [años]”). Los participantes en nuestro estudio determinaron que GopherCite responde correctamente a las preguntas de búsqueda de hechos, y con evidencia satisfactoria, aproximadamente el 80% de las veces, y lo hace para las preguntas de búsqueda de explicaciones aproximadamente el 67% de las veces. Cuando permitimos que GopherCite se abstenga de responder algunas preguntas, su rendimiento mejora drásticamente entre las preguntas que elige responder (consultar el documento para más detalles). Este mecanismo explícito de abstención es una contribución fundamental de nuestro trabajo.

Pero cuando evaluamos el modelo en un conjunto de preguntas “adversarias”, que intentan engañar al modelo para que repita una ficción o una idea errónea que se encuentra en Internet, GopherCite a menudo cae en la trampa. Por ejemplo, cuando se le pregunta “¿qué te da Red Bull?”, así es como responde:

Pensamos que este modo de falla y otros discutidos en nuestro artículo se pueden evitar enriqueciendo el escenario, pasando de una respuesta “única” a una pregunta del usuario, a una en la que el modelo pueda hacer preguntas aclaratorias al usuario y participar en un diálogo. Por ejemplo, podríamos permitir que los modelos futuros pregunten al usuario si desean una respuesta que sea literalmente verdadera o una que sea verdadera en los confines del mundo ficticio de un anuncio de Red Bull.

En resumen, creemos que GopherCite es un avance importante, pero su construcción nos ha enseñado que la citación de evidencia es solo una parte de una estrategia general para la seguridad y confiabilidad. Más fundamentalmente, no todas las afirmaciones requieren evidencia citada, y como hemos demostrado anteriormente, no todas las afirmaciones respaldadas por evidencia son verdaderas. Algunas afirmaciones requieren múltiples piezas de evidencia junto con un argumento lógico que explique por qué sigue la afirmación. Continuaremos trabajando en esta área y buscaremos superar los problemas presentados con investigaciones y desarrollos adicionales, así como con investigaciones sociotécnicas dedicadas.

Nuestro artículo cubre muchos más detalles sobre nuestros métodos, experimentos y contexto relevante de la literatura de investigación. También hemos creado una sección de preguntas frecuentes sobre GopherCite, respondida por el propio modelo después de leer la introducción del artículo (utilizando muestras seleccionadas por los autores):

We will continue to update Zepes; if you have any questions or suggestions, please contact us!