¿Pueden los modelos de lenguaje grandes realmente hacer matemáticas? Esta investigación de inteligencia artificial AI presenta MathGLM un modelo robusto para resolver problemas matemáticos sin una calculadora.

¿Los modelos de lenguaje grandes pueden hacer matemáticas? Presentamos MathGLM, un modelo AI para resolver problemas matemáticos sin calculadora.

Cuando se trata de tareas de procesamiento del lenguaje natural (NLP) posteriores, los grandes modelos de lenguaje (LLMs) han demostrado ser excepcionalmente efectivos. Para generar respuestas coherentes y contextualmente relevantes, modelos pioneros como GPT4 y ChatGPT se han entrenado con grandes volúmenes de datos de texto. Sus habilidades de comprensión y generación de texto los hacen extremadamente flexibles para su uso en una amplia gama de aplicaciones de NLP. Se cree comúnmente que los LLMs tienen dificultades para realizar procedimientos aritméticos complejos de manera precisa, como multiplicar números con más de ocho dígitos o realizar operaciones que involucren decimales o fracciones. Si bien GPT-4 ha demostrado capacidades sobresalientes en diversas tareas de NLP, es posible que no demuestre el mismo grado de competencia en el pensamiento matemático.

Investigadores de la Universidad de Tsinghua, TAL AI Lab y Zhipu.AI investigan las habilidades matemáticas de los LLMs en un esfuerzo por desmentir estas creencias falsas. Su trabajo reciente sugiere MathGLM, un modelo robusto cuidadosamente construido para ejecutar una amplia gama de operaciones aritméticas difíciles. Logra el mejor rendimiento comparable a los principales LLMs de la industria como GPT-4. La adición, sustracción, multiplicación, división y exponentiación son ejemplos de operaciones aritméticas, al igual que el uso de paréntesis para combinar varios tipos de aritmética. Llevan a cabo procedimientos de “1-operación atómica”, que se realizan individualmente, sin integrarse con otros procedimientos. Cabe destacar que MathGLM puede realizar fácilmente operaciones aritméticas con cualquier tipo de número, ya sean enteros, decimales, fracciones, porcentajes o incluso números negativos.

El conjunto de datos Ape210K recopila problemas matemáticos verbales de Internet y proporciona una fuente integral de dificultades matemáticas. Este conjunto de datos ayuda a entrenar a MathGLM porque tiene varios tipos de problemas. El conjunto de datos original es único en el sentido de que contiene respuestas que se calcularon explícitamente. Sin embargo, el equipo destaca que una posible consecuencia del enfoque sin adornos de MathGLM para presentar respuestas es que puede no reconocer importantes principios y patrones de cálculo subyacentes.

• ¿Pueden los robots cuadrúpedos de bajo costo dominar el parkour? Revelando un revolucionario sistema de aprendizaje para el movimiento ágil de robots
• ¿Ha terminado la espera por Jurassic Park? Este modelo de IA utiliza la traducción de imagen a imagen para dar vida a los antiguos fósiles
• El algoritmo de Reingold Tilford explicado, con explicación paso a paso

Los investigadores utilizan el enfoque paso a paso para reconstruir el conjunto de datos Ape210K y superar esta posible limitación y mejorar la capacidad de MathGLM para resolver problemas matemáticos verbales. MathGLM puede crear respuestas a problemas matemáticos verbales con alta precisión al descomponer el complejo proceso de cálculo aritmético en una serie de fases secuenciales.

Sus extensas pruebas y análisis en profundidad demuestran el razonamiento matemático superior de MathGLM sobre GPT-4. MathGLM ofrece una impresionante ganancia absoluta del 42,29% en la precisión de las respuestas en comparación con el ajuste fino en el conjunto de datos original. El rendimiento de MathGLM en un conjunto de datos de 5,000 problemas matemáticos verbales es muy similar al de GPT-4 después de ser ajustado fino desde el GLM-10B. Al descomponer los problemas aritméticos verbales en sus pasos constituyentes, MathGLM puede comprender completamente el intrincado proceso de cálculo, aprender las reglas de cálculo subyacentes y producir resultados más confiables.

Estos hallazgos desafían en gran medida la sabiduría convencional de que los LLMs no pueden manejar tareas aritméticas difíciles, revelando así su capacidad excepcional para prosperar en el pensamiento matemático.

We will continue to update Zepes; if you have any questions or suggestions, please contact us!