Un enfoque de 3 pasos para evaluar un Retrieval Augmented Generation (RAG)

Un enfoque de 3 pasos para evaluar un Retrieval Augmented Generation (RAG)

Deja de seleccionar los parámetros de tu RAG al azar

Ajustar tu RAG para obtener un rendimiento óptimo lleva tiempo, ya que esto depende de varios parámetros interdependientes: tamaño del fragmento, superposición, cantidad superior de documentos recuperados, modelos de embedding, LLM, etc.

La mejor combinación a menudo depende de tus datos y de tu caso de uso: no puedes simplemente utilizar la configuración que usaste en el último proyecto y esperar los mismos resultados.

La mayoría de las personas no abordan este problema de manera adecuada y eligen los parámetros casi al azar. Si bien algunos se sienten cómodos con este enfoque, decidí abordar el problema de forma numérica.

Aquí es donde entra en juego la evaluación de tu RAG.

• Construye una Red Neuronal Convolucional desde cero utilizando Numpy
• Tu guía para AI y ML generativos en AWS reInvent 2023
• La instancia de Amazon EC2 DL2q para inferencia de IA rentable y de alto rendimiento ahora está disponible en general

En este artículo, te mostraré un método rápido de 3 pasos que puedes seguir para evaluar eficientemente tus RAG en dos tareas.

1. Recuperación
2. Generación

Al dominar este proceso de evaluación, puedes iterar, realizar múltiples experimentos, compararlos con métricas y, con suerte, llegar a la mejor configuración

Veamos cómo funciona esto 👇.

PD: En cada sección, se proporcionan fragmentos de código para ayudarte a comenzar a implementar estas ideas.

1 — Crea un conjunto de datos sintético

Evaluar un LLM a menudo requiere la anotación manual de un conjunto de pruebas. Esto lleva tiempo, requiere conocimientos especializados y es propenso a errores humanos.

Afortunadamente, los LLM pueden ayudarnos con esta tarea.

Muestrea N fragmentos de tus datos. Para cada fragmento, instruye a un LLM para generar K tuplas de preguntas y respuestas. Después de completar la generación, obtendrás un conjunto de datos de N*K tuplas, cada una de ellas con (pregunta, respuesta, contexto).

PD: El contexto aquí es el fragmento original y sus metadatos

En el siguiente ejemplo, consideraremos un párrafo que hace referencia a Sir Isaac Newton.

Isaac Newton es conocido principalmente por su teoría sobre la ley de la gravedad, pero su “Principia Mathematica” (1686) con sus tres leyes del movimiento tuvo un gran impacto en la Ilustración en Europa. Nacido en 1643 en Woolsthorpe, Inglaterra…

We will continue to update Zepes; if you have any questions or suggestions, please contact us!