Investigadores de Google revelan la Consistencia Universal de Auto (USC) Un nuevo avance en las capacidades de los modelos de lenguaje para el rendimiento en tareas complejas

Investigadores de Google revelan la Consistencia Universal de Auto (USC) Un avance revolucionario en el rendimiento de los modelos de lenguaje en tareas complejas

El problema de seleccionar la respuesta más consistente entre múltiples candidatos para mejorar el rendimiento de una tarea, especialmente en tareas como el razonamiento matemático y la generación de código, ha sido abordado por investigadores de Google a través de su método de Autoconsistencia Universal (USC, por sus siglas en inglés). Este método utiliza LLMs y logra resultados comparables a la autoconsistencia estándar sin requerir formatos de respuesta idénticos o acceso a los resultados de ejecución.

El reposicionamiento mejora la generación de modelos de lenguaje mediante la muestra de salidas y la aplicación de criterios posteriores. Los LLM evalúan textos generados por el modelo sin referencias humanas. El método USC propuesto tiene un rendimiento comparable a la autoconsistencia estándar sin requerir datos etiquetados adicionales o un modelo de reposicionamiento externo.

Los LLM se destacan en tareas como el razonamiento matemático y la generación de código. Enfoques anteriores mejoran la calidad de la salida de los LLM mediante el muestreo y la selección basada en criterios. La autoconsistencia es efectiva para trabajos con respuestas únicas pero tiene dificultades en una era abierta. USC utiliza LLMs para seleccionar la respuesta más consistente entre múltiples candidatos. Como se demuestra en diversas pruebas, USC, al eliminar la extracción de respuestas, demuestra ser eficaz en la mejora de tareas de generación abiertas.

• Bard recibe su mayor actualización hasta ahora con Gemini
• Potenciando asistentes inteligentes de documentos basados en RAG utilizando extracción de entidades, consultas SQL y agentes con Amazon Bedrock
• Mitigar alucinaciones a través de la Generación Mejorada por Recuperación utilizando la base de datos de vectores de Pinecone y Llama-2 de Amazon SageMaker JumpStart

El método USC emplea LLMs para elegir la respuesta más consistente entre múltiples candidatos, eliminando la necesidad de extracción de respuestas. USC extiende la autoconsistencia a tareas de generación de formato libre, evaluadas en pruebas como el razonamiento matemático, la generación de código, la sumarización y las preguntas y respuestas abiertas. El enfoque genera múltiples muestras utilizando LLMs y selecciona la respuesta basándose en la consistencia.

El método USC demuestra su eficacia en tareas de generación de formato libre, superando las limitaciones del enfoque original de autoconsistencia. USC se iguala a la autoconsistencia estándar en tareas de razonamiento matemático con diferentes formatos de respuesta, e iguala a la autoconsistencia basada en la ejecución en tareas de generación de código sin ejecución de código. USC mejora consistentemente en pruebas de sumarización de un largo contexto y logra las puntuaciones más altas de veracidad e informatividad en la prueba de TruthfulQA. El rendimiento de USC es resistente a diferentes órdenes de respuesta, se beneficia de más muestras en ciertas tareas y se puede mejorar aún más con adaptaciones menores específicas de cada tarea.

En conclusión, el método USC ha demostrado ser altamente efectivo para tareas de generación de formato libre, superando consistentemente a las bases en tareas de sumarización de un largo contexto y preguntas y respuestas abiertas. Su uso de LLMs para seleccionar la respuesta más consistente entre múltiples candidatos ha mostrado mejoras significativas en diversas aplicaciones, incluyendo tareas de razonamiento matemático y generación de código, sin requerir formatos de respuesta similares o resultados de ejecución reales. USC es una herramienta valiosa para generar respuestas precisas y confiables en diversos contextos.

We will continue to update Zepes; if you have any questions or suggestions, please contact us!