Investigadores de Stanford innovan en el modelo de lenguaje de gran escala para la veracidad de los hechos Rankings de preferencia automáticos y avances en NLP para la reducción de errores

Investigadores de Stanford revolucionan el modelo de lenguaje a gran escala para mejorar la precisión de los rankings de preferencia automáticos y avanzan en NLP para reducir errores

Investigadores de la Universidad de Stanford y UNC Chapel Hill abordan el problema de las afirmaciones incorrectas en sentido factual, conocidas como alucinaciones, producidas por LLMs. Sin etiquetado humano, los investigadores ajustan finamente los LLMs para mejorar la precisión factual en entornos de generación abierta. Aprovechando las innovaciones recientes en NLP, emplean métodos para evaluar la factualidad a través de la consistencia con bases de conocimiento externas y utilizan el algoritmo de optimización de preferencia directa para ajuste fino. El enfoque mejora significativamente la factualidad en Llama-2, reduciendo sustancialmente las tasas de errores factuales en biografías y respuestas a preguntas médicas a gran escala (7B).

Existen diversas estrategias para mitigar los errores factuales en los modelos de lenguaje, incluyendo el uso de instrucciones, perturbación de la representación interna y métodos basados en recuperación. Existen desafíos en la resolución de conflictos y el mantenimiento de la factualidad, especialmente con el aumento del tamaño del modelo. La variante FactScore adopta la recuperación durante el entrenamiento para abordar la complejidad del tiempo de inferencia. El aprendizaje basado en preferencias a través del ajuste fino reduce efectivamente las afirmaciones incorrectas. La investigación introduce un método sin referencia, aprovechando la incertidumbre del modelo de lenguaje para estimar la veracidad. El aprendizaje de la factualidad a partir de pares de preferencias construidos automáticamente emerge como un enfoque rentable, mostrando mejoras potenciales sin intervención humana.

Centrándose en entornos de generación abierta, propone ajustar finamente los modelos de lenguaje para mejorar la factualidad sin etiquetado humano. Aprovechan las innovaciones recientes en NLP, como la evaluación de la factualidad a través de bases de conocimiento externas y el uso del algoritmo de optimización de preferencia directa. El enfoque implica aprender a partir de clasificaciones de preferencias de factualidad generadas automáticamente, demostrando reducciones sustanciales en las tasas de errores factuales al generar biografías y responder preguntas médicas en comparación con otras estrategias en conjuntos de datos de referencia.

• Incrustación de texto y recuperación de similitud de frases a gran escala con Amazon SageMaker JumpStart
• La nueva función de diseño de Amazon Textract introduce eficiencias en tareas de procesamiento de documentos de inteligencia artificial generales y generativos.
• Aprendizaje automático con MATLAB y Amazon SageMaker

El estudio actual incorpora la evaluación de la factualidad a través de la consistencia con bases de conocimiento externas o puntuaciones de confianza del modelo. Se utiliza el algoritmo de optimización de preferencia directa para ajuste fino, centrándose en objetivos más allá de la imitación supervisada. Se propone aprender a partir de clasificaciones de preferencias de factualidad generadas automáticamente a través de sistemas de recuperación existentes o un enfoque de recuperación sin referencia. La evaluación incluye métricas automatizadas como FactScore, evaluadores humanos y comparaciones con métodos como intervenciones en tiempo de inferencia y decodificación mediante capas contrastantes.

El enfoque demuestra la efectividad del aprendizaje a partir de clasificaciones de preferencias de factualidad generadas automáticamente en la mejora de la factualidad del modelo de lenguaje. El modelo Llama-2 ajustado finamente exhibe una reducción del 58% en la tasa de errores factuales para biografías y del 40% para preguntas médicas en comparación con las estrategias RLHF o de decodificación. Los evaluadores humanos califican el modelo FactTune-FS significativamente más alto que el modelo SFT. Las evaluaciones de GPT-4 y las puntuaciones de FactScore muestran una alta correlación, lo que indica el éxito de FactTune-FS en la reducción de errores factuales.

La investigación propuesta presenta estrategias efectivas para mejorar la factualidad del modelo de lenguaje, enfatizando las generaciones de texto largo. Se exploran dos enfoques: estimación de veracidad basada en referencias utilizando conocimiento externo y estimación sin referencia utilizando la incertidumbre del modelo. El ajuste fino del modelo de lenguaje con cualquiera de los métodos reduce consistentemente las afirmaciones incorrectas. El enfoque sin referencia ofrece una estrategia de auto-supervisión escalable para mejorar la factualidad sin requerir un corpus de referencia dorado. Los resultados experimentales indican direcciones prometedoras para futuras investigaciones, sugiriendo la exploración de métodos combinados de ajuste de factualidad y la ampliación del enfoque a modelos más grandes.

La investigación futura recomienda explorar combinaciones de ajuste de factualidad con métodos existentes, como el experimento de ajuste de factualidad DOLA. Se sugiere una mayor investigación sobre la combinación de técnicas de decodificación que mejoran la factualidad con el procedimiento de ajuste de factualidad para mejorar la factualidad. La evaluación de la efectividad de la combinación de diferentes enfoques, como el ajuste de factualidad y las intervenciones en tiempo de inferencia, puede proporcionar ideas sobre mecanismos complementarios. Se propone investigar enfoques más simples para extraer hechos atómicos y ampliar el enfoque de ajuste de factualidad a modelos más grandes, como GPT-4, para su exploración adicional.

We will continue to update Zepes; if you have any questions or suggestions, please contact us!