Investigadores de UC Berkeley presentan LLMCompiler Un compilador de LLM que optimiza el rendimiento de la llamada de funciones paralelas de LLMs

Los investigadores de UC Berkeley presentan LLMCompiler, un compilador de LLM que mejora el rendimiento de las funciones paralelas de LLMs

Las tareas de llamadas multifunción pueden ser lentas e inexactas cuando se utilizan LLM. Para abordar este problema, un equipo de investigadores de UC Berkeley, ICSI y LBNL ha desarrollado LLMCompiler, un marco diseñado para mejorar la eficiencia y la precisión de LLM en dichas tareas. LLMCompiler permite la ejecución paralela de las llamadas a funciones a través de sus componentes: LLM Planner, Task Fetching Unit y Executor.

LLMCompiler es un marco que permite a LLM realizar llamadas paralelas a funciones, mejorando la eficiencia y la precisión en tareas multifunción. Compuesto por un LLM Planner, una Task Fetching Unit y un Executor, LLMCompiler supera a ReAct y a la función de llamada paralela de OpenAI en las pruebas, mostrando una mejora constante en la velocidad de latencia y la precisión. Compatible con modelos de código abierto como LLaMA-2 y los modelos GPT de OpenAI, LLMCompiler aborda las limitaciones de LLM, como los límites de conocimiento y las habilidades aritméticas, proporcionando una solución optimizada para la ejecución de llamadas a funciones. El marco es de código abierto, lo que facilita la investigación y el desarrollo posterior.

Los avances recientes en LLM amplían sus capacidades más allá de la generación de contenido para ejecutar llamadas a funciones, superando las limitaciones inherentes. Con un LLM Planner, una Task Fetching Unit y un Executor, el LLMCompiler optimiza la orquestación de llamadas a funciones. Los resultados de las pruebas demuestran mejoras constantes en la latencia, el coste y la precisión en comparación con ReAct y la función de llamada paralela de OpenAI.

• Controversia en torno a Grok utiliza el código de OpenAI para entrenamiento
• Edge Computing Revolucionando el Procesamiento de Datos y la Conectividad
• Evitando la automatización para mantener tu empleo

LLMCompiler, un marco para la llamada paralela a funciones en LLM, consta de un LLM Planner, una Task Fetching Unit y un Executor. El LLM Planner formula estrategias de ejecución, la Task Fetching Unit despacha y actualiza tareas, y el Executor las ejecuta en paralelo. Compatible con modelos de código abierto como LLaMA-2 y el GPT de OpenAI, LLMCompiler muestra una aceleración de la latencia, ahorro de costes y mejora de la precisión en comparación con ReAct. Con soporte de replanificación dinámica para ejecución adaptativa, el marco de código abierto ofrece una orquestación eficiente de tareas de llamadas multifunción en LLM.

Benchmarked en varias tareas, incluyendo dependencias complejas y necesidades de replanificación dinámica, LLMCompiler superó consistentemente a ReAct, logrando una aceleración de la latencia de hasta 3,7 veces, un ahorro de costes de hasta 6,7 veces y una mejora de la precisión del 9%. En las pruebas del Juego del 24, LLMCompiler logró una aceleración de 2 veces en comparación con Tree-of-Thoughts y superó la función de llamada paralela de OpenAI con una ganancia de latencia de hasta 1,35 veces. El código de código abierto facilita la exploración y el desarrollo posterior.

En conclusión, LLMCompiler es un marco prometedor que mejora significativamente la eficiencia, el coste y la precisión en la llamada paralela a funciones en LLM. Supera las soluciones existentes y tiene el potencial de proporcionar una ejecución eficiente y precisa de tareas a gran escala en el desarrollo de software utilizando LLM. Su naturaleza de código abierto lo hace accesible a los desarrolladores que deseen aprovechar sus beneficios.

LLMCompiler debe ser explorado más a fondo centrándose en una perspectiva de sistemas operativos para LLM. Podría conducir a avances en el desarrollo de software a gran escala basado en LLM. Se recomienda investigar la aceleración alcanzable con LLMCompiler en comparación con ReAct, teniendo en cuenta las latencias tanto de planificación como de ejecución. La incorporación de la llamada paralela a funciones en LLMCompiler parece prometedora para ejecutar eficientemente tareas complejas utilizando LLM. El desarrollo y la exploración continuos de LLMCompiler pueden contribuir a la progresión del software basado en LLM.

We will continue to update Zepes; if you have any questions or suggestions, please contact us!