Aumentando LLMs con RAG

Potenciando tu estilo con RAG

Un ejemplo completo para ver qué tan bien un modelo LLM puede responder preguntas relacionadas con Amazon SageMaker

He escrito varios blogs en VoAGI sobre diferentes temas técnicos, y más específicamente sobre el alojamiento de modelos de aprendizaje automático (ML) en Amazon SageMaker. Recientemente también he desarrollado un interés por el creciente ecosistema de Modelos de Lenguaje Generativos (LLM) (como todos los demás de la industria, jaja).

Estas dos verticales diferentes me llevaron a una pregunta interesante. ¿Qué tan bueno son mis artículos de VoAGI para enseñar sobre Amazon SageMaker? Para responder a esto, decidí implementar una solución de IA generativa que utiliza Retrieval Augmented Generation (RAG) con acceso a algunos de mis artículos para ver qué tan bien podría responder a algunas preguntas relacionadas con SageMaker.

En este artículo echaremos un vistazo a cómo construir una solución completa de IA generativa y utilizaremos varias herramientas populares para operacionalizar este flujo de trabajo:

• LangChain: LangChain es un popular marco de trabajo en Python que ayuda a simplificar las aplicaciones de IA generativa proporcionando módulos listos para su uso que ayudan con la ingeniería de indicaciones, la implementación de RAG y la orquestación del flujo de trabajo de LLM.
• OpenAI: LangChain se encargará de la orquestación de nuestra aplicación de IA generativa, pero el modelo sigue siendo el cerebro. En este caso, utilizamos un LLM proporcionado por OpenAI, pero LangChain también se integra con diferentes fuentes de modelos como SageMaker Endpoints, Cohere, etc.

NOTA: Este artículo asume un entendimiento intermedio de Python y un entendimiento básico de LangChain en específico. Sugeriría seguir este artículo para comprender mejor LangChain y construir aplicaciones de IA generativa.

• Midjourney vs Diffusión Estable La Batalla de los Generadores de Imágenes de IA
• Apache SeaTunnel, Milvus y OpenAI mejoran la precisión y eficiencia de la búsqueda de similitud de títulos de libros’.
• Entendiendo las métricas de clasificación tu guía para evaluar la precisión del modelo

DISCLAIMER: Soy un Arquitecto de Aprendizaje Automático en AWS y mis opiniones son personales.

Descripción del problema

Los Modelos de Lenguaje Generativos (LLM) por sí solos son increíblemente poderosos y a menudo pueden responder muchas preguntas sin necesidad de ajuste fino u otro conocimiento/contexto adicional.

Sin embargo, esto puede convertirse en un cuello de botella cuando necesitas acceder a otras fuentes específicas de datos y especialmente a datos recientes. Por ejemplo, aunque OpenAI ha sido entrenado con un gran corpus de datos, no tiene conocimiento de mis datos recientes…

We will continue to update Zepes; if you have any questions or suggestions, please contact us!