6 Problemas de LLMs que LangChain está tratando de evaluar

6 Problemas de LLMs que LangChain está abordando

 

 

En el siempre cambiante panorama de la tecnología, el auge de los grandes modelos de lenguaje (LLMs, por sus siglas en inglés) no ha sido menos que una revolución. Herramientas como ChatGPT y Google BARD están en la vanguardia, mostrando el arte de lo posible en la interacción digital y el desarrollo de aplicaciones. 

El éxito de modelos como ChatGPT ha generado un aumento en el interés de las empresas por aprovechar las capacidades de estos avanzados modelos de lenguaje.

• Explorando Google Cloud Platform Una Visión General Completa de Servicios y Capacidades
• Detrás de Ghostbuster El nuevo método de la Universidad de Berkeley para detectar contenido generado por IA
• Optimizando el análisis de datos Integrando GitHub Copilot en Databricks

Sin embargo, el verdadero poder de los LLMs no solo reside en sus habilidades autónomas. 

Su potencial se amplifica cuando se integran con recursos computacionales adicionales y bases de conocimiento, creando aplicaciones que no solo son inteligentes y hábiles lingüísticamente, sino que también están enriquecidas por datos y poder de procesamiento.

Y esta integración es exactamente lo que LangChain intenta evaluar. 

LangChain es un marco innovador diseñado para liberar las capacidades completas de los LLMs, permitiendo una simbiosis fluida con otros sistemas y recursos. Es una herramienta que brinda a los profesionales de datos las claves para construir aplicaciones tan inteligentes como contextualmente conscientes, aprovechando el vasto mar de información y variedad computacional disponible en la actualidad.

No es solo una herramienta, es una fuerza transformadora que está remodelando el panorama tecnológico. 

Esto plantea la siguiente pregunta: 

¿Cómo redefinirá LangChain los límites de lo que los LLMs pueden lograr?

Acompáñame y descubrámoslo juntos. 

 

¿Qué es LangChain?

 

LangChain es un marco de código abierto construido en torno a los LLMs. Ofrece a los desarrolladores un arsenal de herramientas, componentes e interfaces que agilizan la arquitectura de aplicaciones impulsadas por LLM.

Sin embargo, no es solo otra herramienta.  

Trabajar con LLMs a veces puede sentirse como tratar de meter una pieza cuadrada en un agujero redondo. 

Hay algunos problemas comunes que apuesto a que la mayoría de ustedes ya han experimentado: 

• Cómo estandarizar las estructuras de las indicaciones. 
• Cómo asegurarse de que la salida del LLM se pueda utilizar en otros módulos o bibliotecas.
• Cómo cambiar fácilmente de un modelo LLM a otro. 
• Cómo mantener un registro de memoria cuando sea necesario. 
• Cómo manejar los datos. 

Todos estos problemas nos llevan a la siguiente pregunta:  

¿Cómo desarrollar una aplicación compleja completa estando seguro de que el modelo LLM se comportará como se espera?

 

Las indicaciones están llenas de estructuras y texto repetitivos, las respuestas son tan desestructuradas como la habitación de juegos de un niño pequeño, y ¿la memoria de estos modelos? Digamos que no es precisamente elefantina. 

Entonces… ¿cómo podemos trabajar con ellos?

Intentar desarrollar aplicaciones complejas con IA y LLMs puede ser un dolor de cabeza completo. 

Y aquí es donde LangChain entra como resolverdor de problemas.

En su núcleo, LangChain está compuesto por varios componentes ingeniosos que le permiten integrar fácilmente LLM en cualquier desarrollo. 

LangChain está generando entusiasmo por su capacidad para amplificar las capacidades de los potentes modelos de lenguaje mediante el otorgamiento de memoria y contexto. Esta adición permite simular procesos de “razonamiento”, lo que permite abordar tareas más intrincadas con mayor precisión.

Para los desarrolladores, el atractivo de LangChain radica en su enfoque innovador para crear interfaces de usuario. En lugar de confiar en métodos tradicionales como arrastrar y soltar o programación, los usuarios pueden expresar directamente sus necesidades y la interfaz se construye para acomodar esas solicitudes.

Es un marco diseñado para potenciar a los desarrolladores de software e ingenieros de datos con la capacidad de integrar sin problemas LLMs en sus aplicaciones y flujos de trabajo de datos. 

Entonces esto nos lleva a la siguiente pregunta…

 

¿Cómo está intentando LangChain resolver todos estos problemas?

 

Conociendo que los LLMs actuales presentan 6 problemas principales, ahora podemos ver cómo LangChain intenta evaluarlos. 

  

1. Los de los prompts son demasiado complejos ahora

Intentemos recordar cómo ha evolucionado rápidamente el concepto de prompt durante estos últimos meses.

Todo comenzó con una simple cadena que describe una tarea fácil de realizar:

¡Oye ChatGPT, puedes explicarme cómo graficar un diagrama de dispersión en Python, por favor?

Sin embargo, con el tiempo, la gente se dio cuenta de que esto era demasiado simple. No estábamos dando suficiente contexto a los LLMs para que entendieran su tarea principal.

Hoy en día, necesitamos decirles a los LLMs mucho más que simplemente describir la tarea principal a cumplir. Tenemos que describir el comportamiento de alto nivel de la IA, el estilo de escritura e incluir instrucciones para asegurarnos de que la respuesta sea precisa. Y cualquier otro detalle para dar una instrucción más contextualizada a nuestro modelo.

Así que hoy, en lugar de usar el primer prompt, enviaríamos algo más similar a:

¡Oye ChatGPT, imagina que eres un científico de datos. Eres bueno analizando datos y visualizándolos usando Python. ¿Puedes explicarme cómo generar un diagrama de dispersión usando la biblioteca Seaborn en Python?

¿Verdad?

Sin embargo, como la mayoría de ustedes ya se habrán dado cuenta, puedo pedir una tarea diferente pero aún mantener el mismo comportamiento de alto nivel del LLM. Esto significa que la mayoría de las partes del prompt pueden permanecer iguales.

Por eso deberíamos ser capaces de escribir esta parte solo una vez y luego agregarla a cualquier prompt que necesitemos.

LangChain soluciona este problema de texto repetitivo ofreciendo plantillas para prompts.

Estas plantillas mezclan los detalles específicos que necesitas para tu tarea (pidiendo exactamente el diagrama de dispersión) con el texto usual (como describir el comportamiento de alto nivel del modelo).

Así que nuestra plantilla de prompt final sería:

¡Oye ChatGPT, imaginemos que eres un científico de datos. Eres bueno analizando datos y visualizándolos usando Python. ¿Puedes explicarme cómo generar un  usando la  biblioteca en Python?

Con dos variables de entrada principales:

• tipo de gráfico
• librería de Python

2. Las respuestas son inherentemente no estructuradas

Los humanos interpretamos el texto fácilmente. Por eso, al chatear con cualquier chatbot impulsado por IA como ChatGPT, podemos lidiar fácilmente con texto sin formato.

Sin embargo, al utilizar estos mismos algoritmos de IA para aplicaciones o programas, estas respuestas deben proporcionarse en un formato establecido, como archivos CSV o JSON.

Nuevamente, podemos intentar crear prompts sofisticados que soliciten salidas estructuradas específicas. Pero no podemos estar 100% seguros de que esta salida se generará en una estructura que nos resulte útil.

Aquí es donde entran en juego los analizadores de salida de LangChain.

Esta clase nos permite analizar cualquier respuesta del LLM y generar una variable estructurada que se puede usar fácilmente. Olvídate de pedirle a ChatGPT que te responda en un JSON, LangChain ahora te permite analizar tu salida y generar tu propio JSON.

3. Los LLMs no tienen memoria, pero algunas aplicaciones podrían necesitarla.

Imagina que estás hablando con un chatbot de preguntas y respuestas de una empresa. Envías una descripción detallada de lo que necesitas, el chatbot responde correctamente y después de una segunda iteración… ¡todo ha desaparecido!

Esto es más o menos lo que sucede cuando se llama a cualquier LLM a través de una API. Cuando se usa GPT o cualquier otro chatbot de interfaz de usuario, el modelo de IA olvida cualquier parte de la conversación en el momento en que pasamos a nuestro siguiente turno.

No tienen, o apenas tienen, memoria.

Y esto puede llevar a respuestas confusas o incorrectas.

Como la mayoría de ustedes ya habrán adivinado, LangChain está nuevamente lista para ayudarnos.

LangChain ofrece una clase llamada memoria. Nos permite mantener al modelo con conciencia del contexto, ya sea manteniendo todo el historial de chat o solo un resumen para que no dé respuestas incorrectas.

 

4. ¿Por qué elegir un solo LLM cuando puedes tenerlos todos?

 

Todos sabemos que los modelos GPT de OpenAI aún se encuentran en el ámbito de los LLM (modelo de lenguaje de largo alcance, por sus siglas en inglés). Sin embargo… Hay muchas otras opciones disponibles, como Llama de Meta, Claude o los modelos de código abierto de Hugging Face Hub.

Si diseñas tu programa únicamente para el modelo de lenguaje de una compañía, quedarás limitado a sus herramientas y reglas.

Utilizar directamente la API nativa de un solo modelo te hace depender completamente de ellos.

Imagina si construyes las funciones de IA de tu aplicación con GPT, pero luego descubres que necesitas incorporar una característica que se evalúa mejor con Llama de Meta.

Te verías obligado a empezar desde cero… lo cual no es bueno en absoluto.

LangChain ofrece algo llamado una clase de LLM. Piensa en ello como una herramienta especial que facilita cambiar de un modelo de lenguaje a otro, o incluso usar varios modelos a la vez en tu aplicación.

Por eso, desarrollar directamente con LangChain te permite considerar múltiples modelos a la vez.

 

5. Pasar datos al LLM es complicado

 

Los modelos de lenguaje como GPT-4 están entrenados con enormes volúmenes de texto. Por eso, funcionan naturalmente con texto. Sin embargo, suelen tener dificultades cuando se trata de trabajar con datos.

¿Por qué? Te preguntarás.

Se pueden diferenciar dos problemas principales:

• Cuando trabajamos con datos, primero necesitamos saber cómo almacenar esos datos y seleccionar de manera efectiva los datos que queremos mostrar al modelo. LangChain ayuda en este aspecto utilizando algo llamado índices. Estos te permiten sacar datos de diferentes lugares como bases de datos o hojas de cálculo y configurarlos para que estén listos para ser enviados a la parte de IA de manera segmentada.

• Por otro lado, debemos decidir cómo insertar esos datos en la frase de entrada que le damos al modelo. La forma más sencilla es poner todos los datos directamente en la frase, pero también hay formas más inteligentes de hacerlo.

En este segundo caso, LangChain cuenta con herramientas especiales que utilizan diferentes métodos para dar los datos a la IA. Ya sea utilizando el relleno directo de la frase de entrada, que te permite poner todo el conjunto de datos directamente en la frase, o utilizando opciones más avanzadas como map-reduce, refinar o map-reordenar, LangChain facilita la forma en que enviamos datos a cualquier LLM.

 

6. Estandarizar las interfaces de desarrollo

 

Siempre resulta complicado integrar LLMs en sistemas o flujos de trabajo más grandes. Por ejemplo, es posible que necesites obtener información de una base de datos, darle esa información a la IA y luego usar la respuesta de la IA en otra parte del sistema.

LangChain tiene funciones especiales para este tipo de configuraciones.

• Las cadenas son como hilos que unen diferentes pasos en una línea recta y sencilla.
• Los agentes son más inteligentes y pueden tomar decisiones sobre qué hacer a continuación, en función de lo que dice la IA.

Además, LangChain simplifica esto al proporcionar interfaces estandarizadas que agilizan el proceso de desarrollo, facilitando la integración y la secuencia de llamadas a LLMs y otras utilidades, mejorando la experiencia global de desarrollo.

 

Conclusión

 

En esencia, LangChain ofrece una suite de herramientas y funciones que facilitan el desarrollo de aplicaciones con LLMs al abordar las complejidades de la creación de frases de entrada, la estructuración de las respuestas y la integración de modelos.

LangChain es más que un simple marco de trabajo, es un cambio de juego en el mundo de la ingeniería de datos y los LLMs.

Es el puente entre el complejo y a menudo caótico mundo de la IA y el enfoque estructurado y sistemático necesario en las aplicaciones de datos.

A medida que concluimos esta exploración, una cosa queda clara:

LangChain no solo está dando forma al futuro de los LLMs, sino también al futuro de la tecnología en sí misma.

[Josep Ferrer](https://www.linkedin.com/in/josep-ferrer-sanchez) es un ingeniero analista de Barcelona. Se graduó en ingeniería física y actualmente trabaja en el campo de la ciencia de datos aplicada a la movilidad humana. Es un creador de contenido a tiempo parcial centrado en la ciencia de datos y la tecnología. Puedes contactarlo en LinkedIn, Twitter o VoAGI.

We will continue to update Zepes; if you have any questions or suggestions, please contact us!