Un nuevo estudio de investigación de IA de Stanford explica el papel de las expresiones de exceso de confianza e incertidumbre en los modelos de lenguaje

Nuevo estudio de IA de Stanford sobre el papel de la confianza y la incertidumbre en los modelos de lenguaje.

A medida que los sistemas de lenguaje natural se vuelven cada vez más prevalentes en escenarios reales, estos sistemas deben comunicar adecuadamente las incertidumbres. Los seres humanos a menudo se basan en expresiones de incertidumbre para informar procesos de toma de decisiones, que van desde llevar un paraguas hasta comenzar un tratamiento de quimioterapia. Sin embargo, existe la necesidad de investigar cómo las incertidumbres lingüísticas interactúan con los sistemas de generación de lenguaje natural, lo que resulta en la necesidad de comprender este componente crítico de cómo los modelos interactúan con el lenguaje natural.

Trabajos recientes han explorado la capacidad de los modelos de lenguaje (LMs) para interpretar expresiones de incertidumbre y cómo su comportamiento cambia cuando se les entrena para emitir sus propias expresiones de incertidumbre. Las expresiones naturalísticas de incertidumbre pueden incluir señales de vacilación, atribución de información o reconocimiento de limitaciones, entre otros actos discursivos. Si bien investigaciones anteriores se han centrado en aprender la correspondencia entre las probabilidades internas de un modelo y una salida verbal o numérica ordinal, el trabajo actual busca incorporar características lingüísticas no unidimensionales, como atenuantes, marcadores epistémicos, verbos activos y marcadores de evidencia, en los modelos de generación de lenguaje natural.

El estudio examina el comportamiento de los modelos de lenguaje grandes (LMs) en la interpretación y generación de incertidumbre en preguntas en el contexto de tareas de pregunta-respuesta (QA). El estudio realizó experimentos en un entorno de cero disparos para aislar los efectos de la incertidumbre en la solicitud y en un escenario de aprendizaje en contexto para examinar cómo el aprendizaje para expresar incertidumbre afecta la generación en tareas de QA.

• Navegando la Curva de Aprendizaje La Lucha de la IA con la Retención de Memoria
• Completado de nubes de puntos con modelos de difusión preentrenados de texto a imagen
• Todo lo que necesitas saber sobre la Universidad LLM de Cohere

El estudio encontró que el uso de expresiones de alta certeza puede llevar a deficiencias tanto en la precisión como en la calibración. Específicamente, hubo pérdidas sistemáticas en la precisión cuando se utilizaron expresiones de certeza para fortalecer preposiciones. Además, enseñar al LM a emitir atenuantes en lugar de fortalecedores resultó en una mejor calibración sin sacrificar la precisión. El estudio introdujo una tipología de expresiones de incertidumbre para evaluar cómo las características lingüísticas afectan la generación de LM.

Los resultados sugieren que el diseño de modelos lingüísticamente calibrados es crucial, dadas las posibles desventajas de los modelos que emiten un lenguaje altamente seguro. Las contribuciones del estudio incluyen lo siguiente:

• Proporcionar un marco y análisis sobre cómo las expresiones de incertidumbre interactúan con los LMs.
• Introducir una tipología de expresiones de incertidumbre.
• Demostrar los problemas de precisión que surgen cuando los modelos usan expresiones de certeza o lenguaje idiomático.

Finalmente, el estudio sugiere que las expresiones de incertidumbre pueden llevar a una mejor calibración que las expresiones de certeza.

Conclusiones

El estudio analizó el impacto de las expresiones naturalísticas de incertidumbre en el comportamiento del modelo en la solicitud de cero disparos y en el aprendizaje en contexto. Los investigadores encontraron que el uso de expresiones naturalísticas de certeza, como fortalecedores y verbos activos, y modismos de incertidumbre numérica, como “100% seguro”, disminuyó la precisión en la solicitud de cero disparos. Sin embargo, enseñar a los modelos a expresar atenuantes en lugar de fortalecedores condujo a ganancias de calibración.

El estudio sugiere que puede ser una opción de diseño más segura para las interacciones entre humanos y computadoras enseñar a los modelos a emitir expresiones de incertidumbre solo cuando no estén seguros en lugar de cuando estén seguros. Esto se debe a que trabajos anteriores han demostrado que la toma de decisiones asistida por AI es peor que la toma de decisiones humanas por sí sola, lo que sugiere una dependencia excesiva de la IA. Enseñar a los modelos podría agravar esto al emitir expresiones de certeza, dada la mala calibración y fragilidad de los modelos.

Los investigadores recomiendan que la comunidad se centre en entrenar modelos para emitir expresiones de incertidumbre mientras se realiza un trabajo adicional para investigar cómo los humanos interpretan las expresiones naturalísticas generadas.

We will continue to update Zepes; if you have any questions or suggestions, please contact us!