Explorando el Árbol de Pensamiento Promoviendo Cómo la IA puede aprender a razonar a través de la búsqueda

Exploración del Árbol de Pensamiento y el Aprendizaje de la IA a través de la Búsqueda

 

Puntos clave

 

• Un nuevo artículo propone un marco de “Árbol de Pensamientos” para permitir una resolución de problemas más deliberada
• Representa el proceso de razonamiento como una búsqueda en un árbol de “pensamientos” posibles
• Utiliza el propio LLM para generar y evaluar estos pensamientos
• Emplea algoritmos de búsqueda clásicos para guiar la exploración

 

• ¿Qué es la innatismo y importa para la inteligencia artificial? (Parte 2)
• Hacia una IA de nivel Dios desde una IA de nivel Perro
• ¿Dónde ocurre la IA?

Introducción

 

Recientemente, los modelos de lenguaje grandes (LLMs, por sus siglas en inglés) como GPT-3 han demostrado impresionantes habilidades en áreas como el razonamiento matemático y el conocimiento del sentido común. Sin embargo, su método básico de generación de texto, de izquierda a derecha y token por token, puede limitar la planificación estratégica y la exploración. El artículo muestra que este enfoque mejora significativamente las habilidades de resolución de problemas del LLM en desafíos como acertijos matemáticos y escritura creativa.

 

Discusión

 

Un reciente artículo, Árbol de Pensamientos: Resolución de problemas deliberada con modelos de lenguaje grandes — por Shunyu Yao, Dian Yu, Jeffrey Zhao, Izhak Shafran, Thomas L. Griffiths, Yuan Cao, Karthik Narasimhan — propone un nuevo marco llamado “Árbol de Pensamientos” (ToT, por sus siglas en inglés) para mejorar las habilidades de resolución de problemas de los modelos de lenguaje grandes (LLMs) como GPT-3 y GPT-4. Actualmente, los LLMs se limitan a la toma de decisiones a nivel de token de izquierda a derecha al generar texto, lo que puede quedar corto en tareas que requieren una planificación estratégica y exploración más avanzada.

ToT representa el proceso de resolución de problemas como una búsqueda en un árbol, donde cada nodo es un “pensamiento” — un fragmento coherente de texto que representa un paso intermedio de razonamiento. Esto permite que el LLM explore múltiples caminos de razonamiento y evalúe el progreso de diferentes pensamientos hacia la resolución del problema. Específicamente, el marco involucra:

1. Descomponer el problema en pasos de pensamiento coherentes basados en la estructura de la tarea.
2. Utilizar el LLM para generar múltiples candidatos de pensamiento en cada paso, ya sea de manera independiente o secuencialmente condicionados a pensamientos anteriores.
3. Hacer que el LLM evalúe la promesa de diferentes estados (soluciones parciales) a través de indicaciones de estimación de valor que evalúen el progreso hasta el momento.
4. Utilizar algoritmos de búsqueda clásicos como búsqueda en anchura o búsqueda en profundidad en el árbol, utilizando las estimaciones de valor del LLM para guiar la exploración y poda.

Esta búsqueda deliberada permite que el LLM mire hacia adelante, retroceda y tome decisiones más globales cuando sea necesario. El marco modular es agnóstico al modelo y puede adaptar de manera flexible sus componentes como el tamaño del pensamiento, generación, evaluación y búsqueda a la estructura del problema.

Los autores demuestran ToT en tres tareas novedosas — Juego del 24, Escritura Creativa y Mini Crucigramas. En todos los casos, ToT mejora significativamente el rendimiento de resolución de problemas de GPT-4 en comparación con los baselines de indicación estándar. Por ejemplo, en el Juego del 24, la tasa de éxito aumentó del 4% con la indicación de cadena de pensamiento al 74% con ToT.

En general, ToT ofrece una forma de integrar la planificación simbólica y los métodos de búsqueda de la IA clásica con los LLMs modernos. La interpretabilidad de sus pensamientos basados en el lenguaje y la deliberación también brindan oportunidades para una mejor alineación humana. Los autores lo proponen como una dirección nueva y emocionante para desarrollar capacidades de resolución de problemas más generales en los LLMs.

 

Preguntas y respuestas de investigación

  ¿Cómo se compara el enfoque de Árbol de Pensamientos con otros métodos que incorporan planificación simbólica o búsqueda con modelos neurales, como la decodificación NeuroLogic o el marco LLM+P?

El marco ToT difiere en que utiliza el propio LLM para proporcionar orientación heurística durante la búsqueda, en lugar de depender de un planificador clásico separado (LLM+P) o heurísticas codificadas (NeuroLogic). La representación de pensamientos basada en el lenguaje también es más flexible que los lenguajes de planificación simbólica. Sin embargo, ToT aún no logra el nivel de integración estrecha y comunicación bidireccional entre los componentes LLM y planificador que demuestra LLM+P.

  ¿Se podría aplicar el enfoque de Árbol de Pensamientos a tareas de lenguaje natural como el diálogo conversacional o la generación de historias, en lugar de solo tareas de razonamiento restringido?

Aunque el artículo actual se centra en tareas de razonamiento, el marco general de representar posibles continuaciones como pensamientos que se pueden deliberar parece aplicable a problemas de generación menos restringidos. Para el diálogo, los pensamientos podrían ser las siguientes expresiones candidatas a decir, mientras que para las historias podrían ser puntos de trama o acciones de personajes. Los desafíos clave serían definir pasos de pensamiento coherentes y desarrollar indicaciones de evaluación efectivas.

¿Qué hay de innovador en esta investigación?

La innovación clave es enmarcar la inferencia del modelo de lenguaje como una búsqueda en un árbol de ideas en lugar de solo generar tokens de izquierda a derecha. Esto permite una planificación más deliberada, exploración de alternativas y una visión general con capacidad de retroceso. La representación de las ideas como unidades semánticas coherentes también es innovadora en comparación con los métodos de búsqueda previos.

¿Cuáles son las implicaciones más amplias de esta investigación?

Esta investigación podría mejorar significativamente las capacidades de resolución de problemas y razonamiento de los LLM, permitiendo su uso en aplicaciones del mundo real más complejas como la codificación, el análisis de datos, la robótica, etc. También hace que las decisiones del modelo sean más interpretables. La integración de los métodos de búsqueda clásicos con los modelos neuronales es una dirección emocionante.

¿Cuáles son algunos problemas o descuidos potenciales de esta investigación presentada, si los hay?

Las tareas exploradas todavía son relativamente simples. Queda por ver si el enfoque se puede escalar a problemas más abiertos. Es probable que el proceso de búsqueda incurra en mayores costos de cómputo que el muestreo estándar. Las heurísticas para podar ramas subóptimas actualmente son imperfectas.

¿Cuáles son los siguientes pasos lógicos de investigación a partir de esta investigación?

Los siguientes pasos importantes son explorar ToT en tareas de planificación y toma de decisiones más complejas, integrarlo con la recuperación de conocimiento externo y estudiar si las variantes se pueden aprender de manera más eficiente en términos de muestras a través del metaaprendizaje o el aprendizaje por refuerzo en lugar de depender únicamente de un LLM preentrenado. Analizar la interacción entre el tamaño del pensamiento, el presupuesto de búsqueda y el rendimiento también es una pregunta abierta.

Conclusiones

• El paradigma del Árbol de Pensamientos demuestra cómo se pueden integrar técnicas de búsqueda clásicas con modelos modernos de redes neuronales.
• Permitir que los LLM exploren caminos de razonamiento alternativos hace que su toma de decisiones sea más interpretable.
• Esta dirección de investigación podría mejorar la aplicabilidad de los LLM a tareas complejas de planificación y análisis del mundo real.
• Los siguientes pasos clave son extender el enfoque a problemas menos restrictivos, mejorar la eficiencia de la búsqueda y estudiar cómo se pueden aprender estas habilidades.
• En general, el razonamiento deliberado y semántico del Árbol de Pensamientos ofrece una nueva y emocionante capacidad para los agentes artificiales.

Matthew Mayo (@mattmayo13) es un científico de datos y el Editor en Jefe de VoAGI, la principal fuente de recursos en línea de Ciencia de Datos y Aprendizaje Automático. Sus intereses se centran en el procesamiento de lenguaje natural, el diseño y la optimización de algoritmos, el aprendizaje no supervisado, las redes neuronales y los enfoques automatizados para el aprendizaje automático. Matthew tiene una maestría en ciencias de la computación y un diploma de posgrado en minería de datos. Puede contactarlo en editor1 en VoAGI[punto]com.

We will continue to update Zepes; if you have any questions or suggestions, please contact us!