En conversación con la IA construyendo mejores modelos de lenguaje

'Conversando con IA para mejorar modelos de lenguaje'

Nueva investigación que se basa en la pragmática y la filosofía propone formas de alinear los agentes conversacionales con los valores humanos

El lenguaje es una característica esencial del ser humano y el principal medio por el cual comunicamos información, incluyendo pensamientos, intenciones y sentimientos. Los avances recientes en la investigación de IA han llevado a la creación de agentes conversacionales que pueden comunicarse con los humanos de manera matizada. Estos agentes están impulsados por grandes modelos de lenguaje, sistemas computacionales entrenados en amplias corpora de materiales basados en texto para predecir y producir texto utilizando técnicas estadísticas avanzadas.

Sin embargo, si bien modelos de lenguaje como InstructGPT, Gopher y LaMDA han logrado niveles récord de rendimiento en tareas como traducción, respuesta a preguntas y comprensión de lectura, también se ha demostrado que estos modelos exhiben una serie de posibles riesgos y modos de falla. Estos incluyen la producción de lenguaje tóxico o discriminatorio e información falsa o engañosa [1, 2, 3].

Estas deficiencias limitan el uso productivo de los agentes conversacionales en entornos aplicados y llaman la atención sobre la forma en que no cumplen ciertos ideales comunicativos. Hasta la fecha, la mayoría de los enfoques para la alineación de agentes conversacionales se han centrado en anticipar y reducir los riesgos de daños [4].

Nuestro nuevo artículo, En conversación con la IA: alineando modelos de lenguaje con valores humanos, adopta un enfoque diferente, explorando cómo podría ser una comunicación exitosa entre un humano y un agente conversacional artificial, y qué valores deberían guiar estas interacciones en diferentes dominios conversacionales.

• Mi viaje desde ser pasante de DeepMind hasta mentor
• Maximizando el impacto de nuestros avances
• Cómo nuestros principios ayudaron a definir el lanzamiento de AlphaFold

Ideas provenientes de la pragmática

Para abordar estos problemas, el artículo se basa en la pragmática, una tradición en lingüística y filosofía que sostiene que el propósito de una conversación, su contexto y un conjunto de normas relacionadas, forman parte esencial de una práctica conversacional adecuada.

Modelando la conversación como un esfuerzo cooperativo entre dos o más partes, el lingüista y filósofo Paul Grice sostuvo que los participantes deben:

• Hablar de manera informativa
• Decir la verdad
• Proporcionar información relevante
• Evitar declaraciones oscuras o ambiguas

Sin embargo, nuestro artículo demuestra que es necesario refinar aún más estos máximos antes de poder utilizarlos para evaluar agentes conversacionales, dada la variación en los objetivos y valores incorporados en diferentes dominios conversacionales.

Ideales discursivos

A modo de ilustración, la investigación y comunicación científica se orienta principalmente hacia la comprensión o predicción de fenómenos empíricos. Dados estos objetivos, un agente conversacional diseñado para asistir en la investigación científica idealmente solo haría afirmaciones cuya veracidad esté confirmada por suficiente evidencia empírica, o de lo contrario calificaría sus posiciones de acuerdo con intervalos de confianza relevantes.

Por ejemplo, un agente que informa que “A una distancia de 4.246 años luz, Próxima Centauri es la estrella más cercana a la Tierra”, solo debería hacerlo después de que el modelo subyacente lo haya verificado con los hechos.

Sin embargo, un agente conversacional que desempeña el papel de moderador en el discurso político público puede necesitar demostrar virtudes bastante diferentes. En este contexto, el objetivo es principalmente gestionar diferencias y facilitar una cooperación productiva en la vida de una comunidad. Por lo tanto, el agente deberá resaltar los valores democráticos de tolerancia, civismo y respeto [5].

Además, estos valores explican por qué la generación de discurso tóxico o prejuicioso por parte de los modelos de lenguaje a menudo es problemática: el lenguaje ofensivo no logra comunicar un respeto igualitario hacia los participantes de la conversación, algo que es un valor clave para el contexto en el que se implementan los modelos. Al mismo tiempo, las virtudes científicas, como la presentación exhaustiva de datos empíricos, pueden ser menos importantes en el contexto de la deliberación pública.

Finalmente, en el ámbito de la narración creativa, el intercambio comunicativo tiene como objetivo la novedad y la originalidad, valores que nuevamente difieren significativamente de los mencionados anteriormente. En este contexto, puede ser apropiada una mayor flexibilidad en cuanto a la ficción, aunque sigue siendo importante proteger a las comunidades contra contenido malicioso producido bajo el pretexto de “usos creativos”.

Caminos a seguir

Esta investigación tiene varias implicaciones prácticas para el desarrollo de agentes de IA conversacionales alineados. Para empezar, deberán encarnar diferentes características según los contextos en los que se implementen: no hay una cuenta única que se ajuste a todos los modelos de lenguaje. En cambio, el modo apropiado y los estándares evaluativos para un agente, incluidos los estándares de veracidad, variarán según el contexto y el propósito de un intercambio conversacional.

Además, los agentes conversacionales también pueden tener el potencial de cultivar conversaciones más sólidas y respetuosas con el tiempo, a través de un proceso al que nos referimos como construcción y elucidación de contexto. Incluso cuando una persona no está consciente de los valores que rigen una práctica conversacional determinada, el agente puede ayudar al humano a comprender estos valores al prefigurarlos en la conversación, haciendo que el curso de la comunicación sea más profundo y fructífero para el hablante humano.

We will continue to update Zepes; if you have any questions or suggestions, please contact us!