ChatGPT y la ingeniería avanzada de instrucciones impulsando la evolución de la IA

ChatGPT y la ingeniería avanzada de instrucciones potenciando la IA

OpenAI ha sido fundamental en el desarrollo de herramientas revolucionarias como OpenAI Gym, diseñado para entrenar algoritmos de refuerzo, y los modelos GPT-n. También se destaca DALL-E, un modelo de IA que crea imágenes a partir de entradas de texto. Uno de los modelos que ha generado considerable atención es ChatGPT de OpenAI, un brillante ejemplo en el ámbito de los Grandes Modelos de Lenguaje.

GPT-4: Ingeniería de Consultas

ChatGPT ha transformado el panorama de los chatbots, ofreciendo respuestas similares a las de los humanos a las entradas de los usuarios y ampliando sus aplicaciones en diversos ámbitos, desde el desarrollo y prueba de software hasta la comunicación empresarial e incluso la creación de poesía.

En manos de empresas y particulares, GPT-4, por ejemplo, podría servir como un inagotable reservorio de conocimiento, experto en temas que van desde Matemáticas y Biología hasta Estudios Legales. Estos modelos de IA sofisticados y accesibles están a punto de redefinir el futuro del trabajo, el aprendizaje y la creatividad.

• Detecta cualquier cosa que desees con UniDetector
• Investigadores de la Universidad Nacional de Singapur proponen Mind-Video una nueva herramienta de IA que utiliza datos de fMRI del cerebro para recrear imágenes de video
• Investigadores de UT Austin y UC Berkeley presentan Ambient Diffusion un marco de inteligencia artificial para entrenar/ajustar modelos de difusión dados solo datos corruptos como entrada.

Modelos generativos como GPT-4 pueden generar nuevos datos basados en entradas existentes. Este atributo distintivo les permite realizar diversas tareas, incluyendo la generación de texto, imágenes, música y video.

En el contexto de ChatGPT y los modelos de OpenAI, una consulta es la entrada que los usuarios proporcionan a los modelos, generalmente en forma de texto. Las consultas son el principal medio para controlar la salida generada por estos modelos, lo que las hace cruciales para conversaciones exitosas y relevantes.

El Impacto de la Calidad de la Consulta

Utilizar consultas bien definidas es la clave para participar en conversaciones útiles y significativas con sistemas de IA. Las consultas mal definidas pueden resultar en una salida que no es útil para el usuario e incluso pueden conducir a contenido engañoso.

Para demostrar el impacto de la calidad de la consulta, comparemos dos consultas diferentes dadas a ChatGPT. La primera consulta, mal definida y asumiendo conocimiento previo, genera una respuesta potencialmente poco útil para el usuario. Por otro lado, la segunda consulta proporciona más contexto y ejemplos, asegurando una respuesta más relevante y comprensible.

Consulta 1: “Cuéntame sobre las Redes Neuronales Convolucionales.”

Respuesta 1: “Las Redes Neuronales Convolucionales (CNN) son redes de perceptrones multicapa que consisten en capas completamente conectadas y capas de agrupamiento. Se utilizan comúnmente en tareas de reconocimiento de imágenes. El proceso implica aplicar filtros a las imágenes de entrada y reducir su tamaño utilizando capas de agrupamiento.”

Consulta 2: “Quiero aprender sobre las Redes Neuronales Convolucionales, pero no tengo conocimientos previos sobre Redes Neuronales Artificiales. ¿Podrías proporcionar una explicación fácil de entender y un ejemplo de cómo se utilizan las CNN en el reconocimiento de imágenes?”

Respuesta 2: “Las Redes Neuronales Convolucionales (CNN) son un tipo de red neuronal utilizado principalmente para tareas de reconocimiento de imágenes. A diferencia de otras redes neuronales, utilizan capas de convolución y capas de agrupamiento para procesar imágenes. Imagina que tienes una imagen de un gato. Las CNN pueden identificar diferentes características en la imagen, como bigotes, orejas y cola, aplicando filtros y reduciendo el tamaño de la imagen utilizando capas de agrupamiento. Este proceso hace que las CNN sean altamente efectivas para reconocer objetos en imágenes.”

Al comparar las dos respuestas, es evidente que una consulta bien definida conduce a una respuesta más relevante y amigable para el usuario. El diseño y la ingeniería de consultas son disciplinas en crecimiento que buscan optimizar la calidad de la salida de modelos de IA como ChatGPT.

En las siguientes secciones de este artículo, profundizaremos en el ámbito de las metodologías avanzadas destinadas a refinar los Grandes Modelos de Lenguaje (LLMs), como las técnicas y tácticas de ingeniería de consultas. Estas incluyen el aprendizaje de pocos ejemplos, ReAct, cadena de pensamiento, RAG y más.

Técnicas de Ingeniería Avanzadas

Antes de continuar, es importante comprender un problema clave en los LLMs, conocido como ‘alucinación’. En el contexto de los LLMs, ‘alucinación’ significa la tendencia de estos modelos a generar salidas que pueden parecer razonables pero que no están fundamentadas en la realidad factual o el contexto de entrada proporcionado.

Este problema se destacó claramente en un reciente caso judicial en el que un abogado defensor utilizó ChatGPT para investigaciones legales. La herramienta de IA, debido a su problema de alucinación, citó casos legales inexistentes. Este error tuvo repercusiones significativas, causando confusión y socavando la credibilidad durante el proceso. Este incidente sirve como un recordatorio contundente de la necesidad urgente de abordar el problema de la ‘alucinación’ en los sistemas de IA.

Nuestra exploración de las técnicas de ingeniería de indicaciones tiene como objetivo mejorar estos aspectos de los LLMs. Al mejorar su eficiencia y seguridad, allanamos el camino para aplicaciones innovadoras como la extracción de información. Además, se abren puertas para integrar de manera fluida los LLMs con herramientas externas y fuentes de datos, ampliando el rango de sus posibles usos.

Aprendizaje de cero y pocos ejemplos: Optimización con ejemplos

El modelo Generative Pretrained Transformers (GPT-3) marcó un punto de inflexión importante en el desarrollo de modelos de IA generativos, ya que introdujo el concepto de “aprendizaje de pocos ejemplos“. Este método fue revolucionario debido a su capacidad de operar de manera efectiva sin necesidad de un ajuste fino completo. El marco de GPT-3 se discute en el artículo “Los modelos de lenguaje son aprendices de pocos ejemplos”, donde los autores demuestran cómo el modelo destaca en diversos casos de uso sin necesidad de conjuntos de datos personalizados o código.

A diferencia del ajuste fino, que requiere un esfuerzo continuo para resolver casos de uso variables, los modelos de pocos ejemplos demuestran una adaptabilidad más fácil a una variedad más amplia de aplicaciones. Si bien el ajuste fino puede proporcionar soluciones sólidas en algunos casos, puede ser costoso a gran escala, lo que hace que el uso de modelos de pocos ejemplos sea un enfoque más práctico, especialmente cuando se integra con la ingeniería de indicaciones.

Imagina que estás tratando de traducir del inglés al francés. En el aprendizaje de pocos ejemplos, proporcionarías a GPT-3 algunos ejemplos de traducción como “sea otter -> loutre de mer”. GPT-3, siendo el modelo avanzado que es, luego es capaz de continuar proporcionando traducciones precisas. En el aprendizaje de cero ejemplos, no proporcionarías ningún ejemplo y GPT-3 aún sería capaz de traducir del inglés al francés de manera efectiva.

El término “aprendizaje de pocos ejemplos” proviene de la idea de que se le da al modelo un número limitado de ejemplos para “aprender”. Es importante destacar que “aprender” en este contexto no implica actualizar los parámetros o pesos del modelo, sino que influye en el rendimiento del modelo.

Aprendizaje de pocos ejemplos demostrado en el artículo de GPT-3

El aprendizaje de cero ejemplos lleva este concepto un paso más allá. En el aprendizaje de cero ejemplos, no se proporcionan ejemplos de completar una tarea en el modelo. Se espera que el modelo tenga un buen rendimiento basado en su entrenamiento inicial, lo que hace que esta metodología sea ideal para escenarios de preguntas y respuestas de dominio abierto como ChatGPT.

En muchos casos, un modelo que domina el aprendizaje de cero ejemplos puede tener un buen rendimiento cuando se le proporcionan ejemplos de pocos ejemplos o incluso de un solo ejemplo. Esta capacidad de cambiar entre escenarios de aprendizaje de cero, uno y pocos ejemplos resalta la adaptabilidad de los modelos grandes, mejorando sus aplicaciones potenciales en diferentes dominios.

Los métodos de aprendizaje de cero ejemplos están cada vez más presentes. Estos métodos se caracterizan por su capacidad para reconocer objetos no vistos durante el entrenamiento. Aquí hay un ejemplo práctico de una indicación de pocos ejemplos:

"Traduce las siguientes frases en inglés al francés:

'sea otter' se traduce como 'loutre de mer' 'sky' se traduce como 'ciel' '¿Cómo se traduce 'cloud' al francés?'"

Al proporcionar al modelo algunos ejemplos y luego hacer una pregunta, podemos guiar eficazmente al modelo para generar la salida deseada. En este caso, es probable que GPT-3 traduzca correctamente ‘cloud’ como ‘nuage’ en francés.

Profundizaremos en las diversas sutilezas de la ingeniería de indicaciones y su papel esencial en la optimización del rendimiento del modelo durante la inferencia. También veremos cómo se puede utilizar de manera efectiva para crear soluciones rentables y escalables en una amplia variedad de casos de uso.

A medida que exploramos más a fondo la complejidad de las técnicas de ingeniería de indicaciones en los modelos GPT, es importante destacar nuestra publicación anterior ‘Guía esencial para la ingeniería de indicaciones en ChatGPT’. Esta guía proporciona información sobre las estrategias para instruir a los modelos de IA de manera efectiva en una gran cantidad de casos de uso.

En nuestras discusiones anteriores, nos adentramos en los métodos fundamentales de indicación para modelos de lenguaje grandes (LLMs), como el aprendizaje de cero y pocos ejemplos, así como la indicación de instrucciones. Dominar estas técnicas es crucial para enfrentar los desafíos más complejos de la ingeniería de indicaciones que exploraremos aquí.

El aprendizaje de pocos ejemplos puede estar limitado debido a la ventana de contexto restringida de la mayoría de los LLMs. Además, sin las salvaguardias adecuadas, los LLMs pueden ser inducidos a producir resultados potencialmente perjudiciales. Además, muchos modelos tienen dificultades con tareas de razonamiento o seguir instrucciones de varios pasos.

Dadas estas limitaciones, el desafío radica en aprovechar los LLMs para abordar tareas complejas. Una solución obvia podría ser desarrollar LLMs más avanzados o refinar los existentes, pero eso podría implicar un esfuerzo sustancial. Entonces, surge la pregunta: ¿cómo podemos optimizar los modelos actuales para mejorar la resolución de problemas?

Igualmente fascinante es la exploración de cómo esta técnica se relaciona con aplicaciones creativas en la guía concisa de Unite AI ‘Dominando el arte de la IA: Una guía concisa para la ingeniería intermedia y las consignas’, que describe cómo la fusión del arte y la IA puede resultar en arte impresionante.

Estimulación de cadena de pensamiento

La estimulación de cadena de pensamiento aprovecha las propiedades auto-regresivas inherentes de los grandes modelos de lenguaje (LLM), que sobresalen en predecir la siguiente palabra en una secuencia dada. Al estimular a un modelo para que aclare su proceso de pensamiento, se induce una generación más exhaustiva y metódica de ideas, que tiende a coincidir estrechamente con información precisa. Esta alineación se debe a la inclinación del modelo de procesar y entregar información de manera reflexiva y ordenada, similar a un experto humano que guía a un oyente a través de un concepto complejo. Una simple afirmación como “explícame paso a paso cómo…” a menudo es suficiente para desencadenar esta salida más detallada y detallada.

Estimulación de cadena de pensamiento sin entrenamiento

Mientras que la estimulación convencional de CoT requiere un pre-entrenamiento con demostraciones, un área emergente es la estimulación de CoT sin entrenamiento. Este enfoque, introducido por Kojima et al. (2022), agrega innovadoramente la frase “Pensemos paso a paso” a la consigna original.

Creemos una consigna avanzada donde se encargue a ChatGPT resumir los puntos clave de los documentos de investigación sobre IA y NLP.

En esta demostración, utilizaremos la capacidad del modelo para comprender y resumir información compleja de textos académicos. Utilizando el enfoque de aprendizaje de pocas muestras, enseñemos a ChatGPT a resumir los hallazgos clave de los documentos de investigación sobre IA y NLP:

1. Título del documento: "Attention Is All You Need" Punto clave: Introdujo el modelo de transformador, enfatizando la importancia de los mecanismos de atención sobre las capas recurrentes para tareas de transducción de secuencias.

2. Título del documento: "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding" Punto clave: Presentó BERT, demostrando la eficacia de la pre-entrenamiento de modelos bidireccionales profundos, logrando así resultados de vanguardia en varias tareas de NLP.

Ahora, con el contexto de estos ejemplos, resuma los hallazgos clave del siguiente documento:

Título del documento: "Ingeniería de consignas en modelos de lenguaje grandes: Un examen"

Esta consigna no solo mantiene una cadena de pensamiento clara, sino que también utiliza un enfoque de aprendizaje de pocas muestras para guiar al modelo. Se vincula a nuestras palabras clave al centrarse en los dominios de IA y NLP, y específicamente encargando a ChatGPT realizar una operación compleja relacionada con la ingeniería de consignas: resumir documentos de investigación.

Consigna ReAct

ReAct, o “Razonar y Actuar”, fue introducido por Google en el documento “ReAct: Synergizing Reasoning and Acting in Language Models”, y revolucionó la forma en que los modelos de lenguaje interactúan con una tarea, incitando al modelo a generar de manera dinámica tanto trazas de razonamiento verbal como acciones específicas de la tarea.

Imagina a un chef humano en la cocina: no solo realiza una serie de acciones (cortar verduras, hervir agua, revolver ingredientes) sino que también participa en razonamiento verbal o discurso interno (“ahora que las verduras están picadas, debo poner la olla en la estufa”). Este diálogo mental continuo ayuda a planificar el proceso, adaptarse a cambios repentinos (“me quedé sin aceite de oliva, usaré mantequilla en su lugar”) y recordar la secuencia de tareas. React imita esta capacidad humana, permitiendo que el modelo aprenda rápidamente nuevas tareas y tome decisiones sólidas, como lo haría un humano en circunstancias nuevas o inciertas.

React puede abordar la alucinación, un problema común en los sistemas de cadena de pensamiento (CoT). CoT, aunque una técnica efectiva, carece de la capacidad de interactuar con el mundo externo, lo que podría llevar potencialmente a la alucinación de hechos y a la propagación de errores. React, sin embargo, compensa esto interactuando con fuentes externas de información. Esta interacción permite que el sistema no solo valide su razonamiento, sino también actualice sus conocimientos en función de la información más reciente del mundo externo.

El funcionamiento fundamental de React se puede explicar a través de una instancia de HotpotQA, una tarea que requiere razonamiento de alto orden. Al recibir una pregunta, el modelo React descompone la pregunta en partes manejables y crea un plan de acción. El modelo genera una traza de razonamiento (pensamiento) e identifica una acción relevante. Puede decidir buscar información sobre el Apple Remote en una fuente externa, como Wikipedia (acción), y actualizar su comprensión en función de la información obtenida (observación). A través de múltiples pasos de pensamiento-acción-observación, ReAct puede recuperar información para respaldar su razonamiento mientras perfecciona lo que necesita recuperar a continuación.

Nota:

HotpotQA es un conjunto de datos, derivado de Wikipedia, compuesto por 113.000 pares de preguntas y respuestas diseñados para entrenar sistemas de IA en el razonamiento complejo, ya que las preguntas requieren razonamiento sobre múltiples documentos para responder. Por otro lado, CommonsenseQA 2.0, construido a través de la gamificación, incluye 14.343 preguntas de sí/no y está diseñado para desafiar la comprensión del sentido común de la IA, ya que las preguntas están intencionalmente elaboradas para engañar a los modelos de IA.

El proceso podría verse así:

1. Pensamiento: “Necesito buscar el Apple Remote y sus dispositivos compatibles”.
2. Acción: Busca “dispositivos compatibles con Apple Remote” en una fuente externa.
3. Observación: Obtiene una lista de dispositivos compatibles con Apple Remote a partir de los resultados de la búsqueda.
4. Pensamiento: “Según los resultados de la búsqueda, varios dispositivos, aparte del Apple Remote, pueden controlar el programa con el que fue diseñado originalmente para interactuar”.

El resultado es un proceso dinámico basado en el razonamiento que puede evolucionar en función de la información con la que interactúa, lo que lleva a respuestas más precisas y confiables.

Visualización comparativa de cuatro métodos de promoción: Estándar, Cadena de pensamiento, Sólo acción y ReAct, en la resolución de HotpotQA y AlfWorld (https://arxiv.org/pdf/2210.03629.pdf)

Diseñar agentes React es una tarea especializada, dada su capacidad para lograr objetivos intrincados. Por ejemplo, un agente de conversación, construido sobre el modelo React base, incorpora memoria conversacional para proporcionar interacciones más ricas. Sin embargo, la complejidad de esta tarea se simplifica mediante herramientas como Langchain, que se ha convertido en el estándar para diseñar estos agentes.

Promoción fiel al contexto

El artículo ‘Promoción fiel al contexto para modelos de lenguaje grandes’ destaca que si bien los modelos de lenguaje grandes (LLMs) han mostrado un éxito sustancial en tareas de procesamiento del lenguaje natural basadas en el conocimiento, su excesiva dependencia del conocimiento paramétrico puede llevarlos por mal camino en tareas sensibles al contexto. Por ejemplo, cuando un modelo de lenguaje se entrena con hechos desactualizados, puede producir respuestas incorrectas si pasa por alto las pistas contextuales.

Este problema es evidente en casos de conflicto de conocimiento, donde el contexto contiene hechos que difieren del conocimiento previo del LLM. Consideremos un caso en el que un modelo de lenguaje grande (LLM), entrenado con datos anteriores a la Copa Mundial de 2022, recibe un contexto que indica que Francia ganó el torneo. Sin embargo, el LLM, confiando en su conocimiento preentrenado, sigue afirmando que el ganador anterior, es decir, el equipo que ganó la Copa Mundial de 2018, sigue siendo el campeón reinante. Esto demuestra un caso clásico de “conflicto de conocimiento”.

En esencia, el conflicto de conocimiento en un LLM surge cuando la nueva información proporcionada en el contexto contradice el conocimiento preexistente en el que el modelo ha sido entrenado. La tendencia del modelo a apoyarse en su entrenamiento previo en lugar del contexto recién proporcionado puede resultar en salidas incorrectas. Por otro lado, la alucinación en los LLM es la generación de respuestas que pueden parecer plausibles pero no están fundamentadas en los datos de entrenamiento del modelo o en el contexto proporcionado.

Otro problema surge cuando el contexto proporcionado no contiene suficiente información para responder una pregunta con precisión, una situación conocida como predicción con abstención. Por ejemplo, si se le pregunta a un LLM sobre el fundador de Microsoft basado en un contexto que no proporciona esta información, idealmente debería abstenerse de adivinar.

Más ejemplos de conflicto de conocimiento y el poder de la abstención

Para mejorar la fidelidad contextual de los LLM en estos escenarios, los investigadores propusieron una variedad de estrategias de promoción. Estas estrategias tienen como objetivo hacer que las respuestas de los LLM estén más sintonizadas con el contexto en lugar de confiar en su conocimiento codificado.

Una de estas estrategias es formular las indicaciones como preguntas basadas en opiniones, donde el contexto se interpreta como una afirmación del narrador y la pregunta se refiere a la opinión de este narrador. Este enfoque redirige la atención del LLM al contexto presentado en lugar de recurrir a su conocimiento preexistente.

La adición de demostraciones contrafactuales a las indicaciones también se ha identificado como una forma efectiva de aumentar la fidelidad en casos de conflicto de conocimiento. Estas demostraciones presentan escenarios con hechos falsos, que guían al modelo a prestar mayor atención al contexto para proporcionar respuestas precisas.

Afinamiento de instrucciones

El afinamiento de instrucciones es una fase de aprendizaje supervisado que se aprovecha de proporcionar instrucciones específicas al modelo, por ejemplo, “Explica la diferencia entre un amanecer y un atardecer”. La instrucción se acompaña de una respuesta adecuada, algo como: “Un amanecer se refiere al momento en que el sol aparece sobre el horizonte por la mañana, mientras que un atardecer marca el punto en que el sol desaparece debajo del horizonte por la noche”. A través de este método, el modelo aprende cómo adherirse y ejecutar instrucciones.

Este enfoque influye significativamente en el proceso de generar comandos para los LLM, lo que conduce a un cambio radical en el estilo de los comandos. Un LLM afinado con instrucciones permite la ejecución inmediata de tareas sin entrenamiento, lo que proporciona un rendimiento de tarea fluido. Si el LLM aún no se ha afinado, puede ser necesario un enfoque de aprendizaje por pocos ejemplos, incorporando algunos ejemplos en su indicación para guiar al modelo hacia la respuesta deseada.

“Afinamiento de instrucciones con GPT-4″ discute el intento de utilizar GPT-4 para generar datos de seguimiento de instrucciones para el afinamiento de LLM. Utilizaron un conjunto de datos completo, que incluye 52,000 entradas únicas de seguimiento de instrucciones tanto en inglés como en chino.

El conjunto de datos juega un papel fundamental en el afinamiento de instrucciones de los modelos LLaMA, una serie de LLM de código abierto, lo que resulta en un rendimiento de cero entrenamiento mejorado en nuevas tareas. Proyectos destacados como Stanford Alpaca han empleado de manera efectiva el auto-ajuste de instrucciones, un método eficiente para alinear los LLM con la intención humana, aprovechando datos generados por modelos de enseñanza afinados con instrucciones avanzadas.

El objetivo principal de la investigación sobre el afinamiento de instrucciones es mejorar las habilidades de generalización de cero y pocos ejemplos de los LLM. La ampliación de datos y modelos puede proporcionar información valiosa. Con el tamaño actual de los datos de GPT-4 en 52K y el tamaño del modelo base de LLaMA en 7 mil millones de parámetros, existe un enorme potencial para recopilar más datos de seguimiento de instrucciones de GPT-4 y combinarlos con otras fuentes de datos para entrenar modelos LLaMA más grandes y obtener un rendimiento superior.

STaR: Reforzando el razonamiento con razonamiento

El potencial de los LLM es especialmente visible en tareas complejas de razonamiento, como las matemáticas o la respuesta a preguntas de sentido común. Sin embargo, el proceso de inducir a un modelo de lenguaje a generar fundamentos, una serie de justificaciones paso a paso o “cadena de pensamiento”, tiene sus desafíos. A menudo requiere la construcción de grandes conjuntos de datos de fundamentos o un sacrificio en la precisión debido a la dependencia de la inferencia por pocos ejemplos.

“Razonador autodidacta” (STaR) ofrece una solución innovadora a estos desafíos. Utiliza un bucle simple para mejorar continuamente la capacidad de razonamiento de un modelo. Este proceso iterativo comienza generando fundamentos para responder varias preguntas utilizando algunos ejemplos racionales. Si las respuestas generadas son incorrectas, el modelo intenta nuevamente generar un fundamento, esta vez dando la respuesta correcta. Luego, el modelo se ajusta en función de todos los fundamentos que dieron respuestas correctas y el proceso se repite.

Metodología STaR, que muestra su bucle de ajuste y una generación de fundamentos de muestra en el conjunto de datos de CommonsenseQA (https://arxiv.org/pdf/2203.14465.pdf)

Para ilustrar esto con un ejemplo práctico, consideremos la pregunta “¿Qué se puede usar para llevar un perro pequeño?” con opciones de respuesta que van desde una piscina hasta una cesta. El modelo STaR genera un fundamento que identifica que la respuesta debe ser algo capaz de llevar un perro pequeño y llega a la conclusión de que una cesta, diseñada para sostener cosas, es la respuesta correcta.

El enfoque de STaR es único en el sentido de que aprovecha la capacidad de razonamiento preexistente del modelo de lenguaje. Emplea un proceso de autogeneración y refinamiento de fundamentos, reforzando de forma iterativa las capacidades de razonamiento del modelo. Sin embargo, el bucle de STaR tiene sus limitaciones. El modelo puede fallar al resolver nuevos problemas en el conjunto de entrenamiento porque no recibe una señal de entrenamiento directa para los problemas que no logra resolver. Para abordar este problema, STaR introduce la racionalización. Para cada problema que el modelo no logra responder correctamente, genera un nuevo fundamento proporcionando al modelo la respuesta correcta, lo que le permite al modelo razonar hacia atrás.

STaR, por lo tanto, es un método escalable de arranque que permite que los modelos aprendan a generar sus propios fundamentos mientras aprenden a resolver problemas cada vez más difíciles. La aplicación de STaR ha mostrado resultados prometedores en tareas que involucran aritmética, problemas de matemáticas y razonamiento de sentido común. En CommonsenseQA, STaR mejoró tanto en comparación con una referencia de pocos ejemplos como con una referencia ajustada directamente para predecir respuestas, y tuvo un rendimiento comparable a un modelo 30 veces más grande.

Contexto Etiquetado

El concepto de ‘Contexto Etiquetado’ gira en torno a proporcionar al modelo de IA una capa adicional de contexto al etiquetar cierta información dentro de la entrada. Estas etiquetas actúan como señales para la IA, guiándola sobre cómo interpretar el contexto de manera precisa y generar una respuesta relevante y veraz.

Imagínate que estás teniendo una conversación con un amigo sobre un tema en particular, digamos ‘ajedrez’. Haces una afirmación y luego la etiquetas con una referencia, como ‘(fuente: Wikipedia)’. Ahora, tu amigo, que en este caso es el modelo de IA, sabe exactamente de dónde proviene tu información. Este enfoque tiene como objetivo hacer que las respuestas de la IA sean más confiables al reducir el riesgo de alucinaciones o la generación de datos falsos.

Un aspecto único de los contextos etiquetados es su potencial para mejorar la ‘inteligencia contextual’ de los modelos de IA. Por ejemplo, el documento demuestra esto utilizando un conjunto diverso de preguntas extraídas de múltiples fuentes, como resúmenes de artículos de Wikipedia sobre diversos temas y secciones de un libro recientemente publicado. Las preguntas están etiquetadas, lo que proporciona al modelo de IA un contexto adicional sobre la fuente de la información.

Esta capa adicional de contexto puede resultar increíblemente beneficiosa cuando se trata de generar respuestas que no solo sean precisas, sino que también se adhieran al contexto proporcionado, lo que hace que la salida de la IA sea más confiable y confiable.

Conclusión: Un Vistazo a Técnicas Prometedoras y Futuras Direcciones

ChatGPT de OpenAI muestra el potencial inexplorado de los Modelos de Lenguaje Grande (LLMs) para abordar tareas complejas con una eficiencia notable. Técnicas avanzadas como el aprendizaje con pocos ejemplos, la sugerencia ReAct, la cadena de pensamiento y STaR nos permiten aprovechar este potencial en una multitud de aplicaciones. A medida que profundizamos en los matices de estas metodologías, descubrimos cómo están dando forma al panorama de la IA, ofreciendo interacciones más ricas y seguras entre humanos y máquinas.

A pesar de los desafíos como el conflicto de conocimientos, la dependencia excesiva del conocimiento paramétrico y el potencial de alucinación, estos modelos de IA, con la ingeniería de instrucciones adecuada, han demostrado ser herramientas transformadoras. El ajuste fino de las instrucciones, la sugerencia fiel al contexto y la integración con fuentes de datos externas amplifican aún más su capacidad para razonar, aprender y adaptarse.

We will continue to update Zepes; if you have any questions or suggestions, please contact us!