LLMOps la próxima frontera de MLOps

LLMOps La próxima frontera de MLOps

Recientemente, Sahar Dolev-Blitental, VP de Marketing en Iguazio, se unió a nosotros para una entrevista exprés sobre LLMOps y la próxima frontera de MLOps. A lo largo de casi una hora, Sahar discutió muchos aspectos del campo emergente de LLMOps, desde la definición del campo hasta casos de uso y mejores prácticas. Sigue leyendo para conocer las ideas clave de la entrevista, o puedes ver el video completo aquí.

¿Qué son LLMOps?

“El ritmo rápido de [IA generativa] y el hecho de que todo el mundo esté hablando de ello hace que MLOps y LLMOps sean mucho más importantes que nunca”.

Los Modelos de Lenguaje Grandes (LLMs, por sus siglas en inglés) presentan sus propios desafíos y complejidades. Como señala Sahar, la escala de los LLMs requiere más GPUs y presenta diferentes riesgos. También hay un enfoque más fuerte en la eficiencia para compensar la cantidad aumentada de recursos requeridos por los LLMs. Sin embargo, Sahar explica que los fundamentos de MLOps y LLMOps son los mismos, lo que los diferencia es la escala de los modelos llevados a través de su ciclo de vida hasta su implementación.

• Una introducción a la ingeniería de análisis
• Equilibrando la innovación y la sostenibilidad Desentrañando el impacto ambiental de la IA generativa
• Equilibrando la urgencia vs. la sostenibilidad como equipo de análisis

Casos de uso de LLMOps

“Solo el 2% de las aplicaciones actuales son AI Generativo. Quiero decir, el 90% de la conversación está centrada en AI Generativa, pero en la práctica, solo aproximadamente el 2% de las aplicaciones son impulsadas por AI Generativa. Así que creo que todavía estamos en las primeras etapas…”

Aunque el campo aún está en sus etapas iniciales, los LLMOps se están utilizando para llevar aplicaciones de IA generativa a la producción. Durante la entrevista, Sahar exploró dos casos de uso: Expertos en la materia y Análisis de Centros de Llamadas.

Los Expertos en la materia a menudo se emplean en los campos de la salud y el comercio minorista y toman la forma de chatbots que son expertos en un tema designado. Por ejemplo, es posible encontrarlos incrustados en el sitio web para ayudar a los clientes directamente o en un rol de soporte para los equipos de éxito del cliente.

En el caso del análisis de centros de llamadas, estas aplicaciones se pueden utilizar para el análisis de sentimiento para profundizar en el tema discutido e identificar empleados que necesitan más apoyo. En ambos casos, estas aplicaciones se utilizan para ayudar a los empleados a desempeñar mejor su trabajo y aumentar la satisfacción.

Mejores prácticas

“El número 1 tipo de consejo es que no necesitas construir tu propio LLM”.

El último tema del que hablaremos son las mejores prácticas para las organizaciones más pequeñas que buscan implementar LLMs y para minimizar el sesgo en los modelos.

Para las organizaciones más pequeñas con preocupaciones de costos, Sahar recomienda buscar LLMs existentes en lugar de construir el propio desde cero. Esto puede reducir el costo de entrenamiento. En segundo lugar, sugiere mantener el alcance del caso de uso del LLM muy estrecho. Esto evita que el LLM desperdicie recursos en trabajo que no crea valor.

Para evitar el sesgo, Sarah destaca dos áreas muy importantes. En primer lugar, la preparación de datos es esencial. Si los datos tienen sesgos, el resultado también los tendrá. Hay varias formas de evitar un conjunto de datos sesgado:

• Crear un equipo diverso que represente una amplia gama de antecedentes diferentes
• Proporcionar un conjunto de datos diverso desde el principio
• Monitoreo constante y compromiso de volver a entrenar cuando se detecte sesgo.

Conclusión

Para aprender aún más sobre los LLMs y LLMOps, asegúrate de unirte a nosotros en ODSC West del 30 de octubre al 2 de noviembre. Con una pista completa dedicada a NLP y LLMs, disfrutarás de charlas, sesiones, eventos y más que se centran en este campo acelerado.

Las sesiones confirmadas de LLM incluyen:

• Personalizar LLMs con un Almacén de Características
• Técnicas de Evaluación para Modelos de Lenguaje Grandes
• Construir un Chatbot de Preguntas/Respuestas Expertas con Herramientas de Código Abierto y LLMs
• Entender el Paisaje de los Modelos Grandes
• Democratizar el Afinamiento de Modelos Grandes de Código Abierto con la Optimización Conjunta de Sistemas
• Construir Trabajadores de Conocimiento Alimentados por LLMs sobre tus Datos con LlamaIndex
• Aprendizaje Auto-supervisado General y Eficiente con data2vec
• Hacia LLMs Explicables y Agnósticos de Lenguaje
• Afinamiento de LLMs en Mensajes de Slack
• Más allá de las Demostraciones y Prototipos: Cómo Construir Aplicaciones Listas para la Producción Utilizando LLMs de Código Abierto
• Adoptar Modelos de Lenguaje Requiere de Gestión de Riesgos – Así es Cómo Hacerlo
• Conexión de Modelos de Lenguaje Grandes – Desafíos y Problemas Comunes
• Un Contexto en LLMs y una Introducción a PaLM 2: Un LLM Más Pequeño, Más Rápido y con Más Capacidad
• El SDK en Inglés para Apache Spark™
• Integrar Modelos de Lenguaje para Automatizar la Generación de Ingeniería de Características
• Cómo Entregar LLMs Contextualmente Precisos
• Recuperación Mejorada de Generación (RAG) 101: Construir un “ChatGPT para tus Datos” de Código Abierto con Llama 2, LangChain y Pinecone
• Construir Usando Llama 2
• Mejores Prácticas de LLM: Entrenamiento, Afinamiento y Trucos de Vanguardia de Investigación
• Gestión de Riesgos de IA Práctica: Utilizando el NIST A

We will continue to update Zepes; if you have any questions or suggestions, please contact us!