Investigadores de Google DeepMind proponen Código de Cadena (CoC) una extensión simple pero sorprendentemente efectiva que mejora el razonamiento del Modelo de Lenguaje (LM) impulsado por código

Los investigadores de Google DeepMind proponen Código de Cadena (CoC), una extensión sorprendentemente efectiva que mejora el razonamiento del Modelo de Lenguaje (LM) impulsado por código

Investigadores de Google DeepMind, la Universidad de Stanford y la Universidad de California, Berkeley han desarrollado una Cadena de Código que aborda el problema de mejorar el razonamiento impulsado por código de los modelos de lenguaje. La Cadena de Código fomenta el formato de sub-tareas semánticas en un programa como pseudocódigo flexible que el intérprete puede captar explícitamente y transferir para simularlo con un modelo de lenguaje (como un “LMulador”). CoC funciona bien con modelos grandes y pequeños y amplía el alcance de las preguntas de razonamiento que los modelos de lenguaje pueden responder correctamente al pensar en código.

Trabajos como Chain of Thought, mínimos a máximos y ScratchPad han aprovechado la promoción para mejorar el razonamiento descomponiendo las tareas en pasos intermedios o manteniendo un rastro de resultados intermedios. Los modelos de lenguaje entrenados en Github han sido incitados a escribir y ejecutar código, lo que ayuda a resolver preguntas complejas que implican razonamiento numérico o simbólico.

Para resolver un problema dado, CoC genera subpasos de razonamiento en la estructura del código. Este código proporciona el marco para razonar a través del dolor y puede estar formado por código explícito, pseudocódigo o lenguaje natural. CoC permite el uso de código en regímenes totalmente nuevos al combinar las ventajas del código con el conocimiento semántico y del sentido común poderoso de los modelos de lenguaje, que pueden expresar fácilmente reglas que son desafiantes de expresar en código (por ejemplo, ¿cuáles alimentos son frutas?).

• Enseñando a la IA a jugar juegos de mesa
• Investigadores de UCLA y CMU presentan Stormer Una red neuronal Transformadora escalable para una pronóstico meteorológico de mediano alcance hábil y confiable.
• Mejores funciones de manipulación de datos en PySpark

Una contribución central de CoC no es solo la generación de código de razonamiento, sino cómo se ejecuta. Una vez escrito el código, se intenta ejecutar mediante un intérprete de código; en este trabajo, los investigadores consideran Python, pero el enfoque es general para cualquier intérprete. Si el código se ejecuta correctamente, se actualiza el estado del programa y la ejecución continúa. Si el código no es ejecutable o genera alguna excepción, en su lugar el modelo de lenguaje se utiliza para simular la ejecución. Las salidas del modelo de lenguaje actualizan el estado del programa y la ejecución continúa.

El rendimiento general del enfoque de CoC supera a otros métodos, superando la línea base humana en la cantidad de tareas que supera y la cantidad total que supera la línea base. CoC logra un rendimiento de vanguardia en varios estudios. Muestra mejoras en el rendimiento a medida que aumenta el tamaño del modelo, similar a la promoción de Chain of Thought. La promoción entre tareas resulta en una disminución en el rendimiento para todos los métodos, pero CoC todavía supera a Chain of Thought y la promoción directa a gran escala, acercándose al rendimiento promedio humano.

CoC es un enfoque hacia el razonamiento con modelos de lenguaje a través de la escritura y ejecución de código, ya sea con un intérprete o con un modelo de lenguaje que simula la ejecución si el código no es ejecutable. CoC puede aprovechar tanto la estructura expresiva del código como sus herramientas poderosas. Además, al simular la ejecución de código no ejecutable, CoC puede aplicarse a problemas nominalmente fuera del alcance del código (por ejemplo, problemas de razonamiento semántico).

We will continue to update Zepes; if you have any questions or suggestions, please contact us!