El Bucle de Retroalimentación de la IA Manteniendo la Calidad de Producción del Modelo en la Era del Contenido Generado por IA

Bucle de Retroalimentación de IA para mantener calidad de producción del modelo en la era del contenido generado por IA

Los modelos de IA implementados en producción necesitan un mecanismo robusto y continuo de evaluación de rendimiento. Aquí es donde se puede aplicar un ciclo de retroalimentación de IA para garantizar un rendimiento consistente del modelo.

Tomemos la opinión de Elon Musk:

“Creo que es muy importante tener un ciclo de retroalimentación, donde constantemente estés pensando en lo que has hecho y cómo podrías hacerlo mejor”.

Para todos los modelos de IA, el procedimiento estándar es implementar el modelo y luego reentrenarlo periódicamente con los últimos datos del mundo real para asegurarse de que su rendimiento no se deteriore. Sin embargo, con el ascenso meteórico de la IA generativa, el entrenamiento de modelos de IA se ha vuelto anómalo y propenso a errores. Esto se debe a que las fuentes de datos en línea (Internet) se están convirtiendo gradualmente en una mezcla de datos generados por humanos y datos generados por IA.

• Aprendizaje de múltiples tareas en sistemas de recomendación una introducción
• 10 Características de la Rica Biblioteca para Construir Increíbles Aplicaciones de Línea de Comando
• La historia del Titanic con hechos y cifras.

Por ejemplo, muchos blogs de hoy en día presentan texto generado por IA impulsado por LLMs (Módulos de Lenguaje Grande) como ChatGPT o GPT-4. Muchas fuentes de datos contienen imágenes generadas por IA creadas con DALL-E2 o Midjourney. Además, los investigadores de IA están utilizando datos sintéticos generados mediante IA generativa en sus flujos de entrenamiento de modelos.

Por lo tanto, necesitamos un mecanismo robusto para garantizar la calidad de los modelos de IA. Aquí es donde la necesidad de ciclos de retroalimentación de IA se ha vuelto más amplificada.

¿Qué es un ciclo de retroalimentación de IA?

Un ciclo de retroalimentación de IA es un proceso iterativo donde las decisiones y resultados de un modelo de IA se recopilan continuamente y se utilizan para mejorar o reentrenar el mismo modelo, lo que resulta en un aprendizaje, desarrollo y mejora continua del modelo. En este proceso, los datos de entrenamiento del sistema de IA, los parámetros del modelo y los algoritmos se actualizan y mejoran en función de la información generada desde el sistema.

Principalmente, existen dos tipos de ciclos de retroalimentación de IA:

1. Ciclos de Retroalimentación de IA Positivos: Cuando los modelos de IA generan resultados precisos que se alinean con las expectativas y preferencias de los usuarios, los usuarios brindan retroalimentación positiva a través de un ciclo de retroalimentación, lo que a su vez refuerza la precisión de los resultados futuros. Este tipo de ciclo de retroalimentación se denomina positivo.
2. Ciclos de Retroalimentación de IA Negativos: Cuando los modelos de IA generan resultados inexactos, los usuarios informan fallas a través de un ciclo de retroalimentación que busca mejorar la estabilidad del sistema corrigiendo las fallas. Este tipo de ciclo de retroalimentación se denomina negativo.

Ambos tipos de ciclos de retroalimentación de IA permiten el desarrollo continuo del modelo y la mejora del rendimiento con el tiempo. Y no se utilizan o aplican de forma aislada. Juntos, ayudan a los modelos de IA implementados en producción a saber qué es correcto o incorrecto.

Etapas de los ciclos de retroalimentación de IA

Ilustración de alto nivel del mecanismo de retroalimentación en los modelos de IA. Fuente

Comprender cómo funcionan los ciclos de retroalimentación de IA es importante para desbloquear todo el potencial del desarrollo de IA. Veamos las diferentes etapas de los ciclos de retroalimentación de IA a continuación.

1. Recopilación de Retroalimentación: Recopilar resultados relevantes del modelo para su evaluación. Por lo general, los usuarios brindan su retroalimentación sobre el resultado del modelo, que luego se utiliza para el reentrenamiento. O puede ser datos externos de la web seleccionados para ajustar el rendimiento del sistema.
2. Reentrenamiento del Modelo: Utilizando la información recopilada, se reentrena el sistema de IA para realizar mejores predicciones, proporcionar respuestas o llevar a cabo actividades específicas refinando los parámetros o pesos del modelo.
3. Integración y Pruebas de Retroalimentación: Después del reentrenamiento, se prueba y evalúa nuevamente el modelo. En esta etapa, también se incluye la retroalimentación de expertos en el tema para resaltar problemas más allá de los datos.
4. Implementación: El modelo se implementa nuevamente después de verificar los cambios. En esta etapa, el modelo debería mostrar un mejor rendimiento en nuevos datos del mundo real, lo que se traduce en una mejor experiencia de usuario.
5. Monitoreo: El modelo se monitorea continuamente utilizando métricas para identificar posibles deterioros, como el cambio. Y el ciclo de retroalimentación continúa.

Los problemas en los datos de producción y la salida del modelo de IA

La construcción de sistemas de IA robustos requiere una comprensión exhaustiva de los problemas potenciales en los datos de producción (datos del mundo real) y los resultados del modelo. Veamos algunos problemas que dificultan garantizar la precisión y confiabilidad de los sistemas de IA:

1. Desviación de Datos: Ocurre cuando el modelo comienza a recibir datos del mundo real de una distribución diferente en comparación con la distribución de los datos de entrenamiento del modelo.
2. Desviación del Modelo: Las capacidades predictivas y la eficiencia del modelo disminuyen con el tiempo debido a los cambios en los entornos del mundo real. Esto se conoce como desviación del modelo.
3. Salida del Modelo de IA frente a Decisiones del Mundo Real: Los modelos de IA producen resultados inexactos que no se alinean con las decisiones de los interesados del mundo real.
4. Parcialidad y Equidad: Los modelos de IA pueden desarrollar problemas de parcialidad y equidad. Por ejemplo, en una charla TED de Janelle Shane, ella describe la decisión de Amazon de dejar de trabajar en un algoritmo de clasificación de currículums debido a la discriminación de género.

Una vez que los modelos de IA comienzan a entrenar con contenido generado por IA, estos problemas pueden aumentar aún más. ¿Cómo? Veamos esto con más detalle.

Bucles de retroalimentación de IA en la era del contenido generado por IA

Después de la rápida adopción de la IA generativa, los investigadores han estudiado un fenómeno conocido como Colapso del Modelo. Definen el colapso del modelo como:

“Proceso degenerativo que afecta a generaciones de modelos generativos aprendidos, donde los datos generados terminan contaminando el conjunto de entrenamiento de la próxima generación de modelos; al ser entrenados con datos contaminados, luego perciben incorrectamente la realidad.”

El colapso del modelo consta de dos casos especiales:

• Colapso Temprano del Modelo ocurre cuando “el modelo comienza a perder información sobre las colas de la distribución”, es decir, los extremos extremos de la distribución de datos de entrenamiento.
• Colapso Tardío del Modelo ocurre cuando el “modelo entrelaza diferentes modos de las distribuciones originales y converge a una distribución que tiene poco parecido con la original, a menudo con una varianza muy pequeña”.

Causas del Colapso del Modelo

Para que los practicantes de IA aborden este problema, es esencial comprender las razones del colapso del modelo, agrupadas en dos categorías principales:

1. Error de Aproximación Estadística: Este es el error principal causado por el número finito de muestras, y desaparece a medida que el número de muestras se acerca a infinito.
2. Error de Aproximación Funcional: Este error se produce cuando los modelos, como las redes neuronales, no logran capturar la verdadera función subyacente que debe ser aprendida a partir de los datos.

Ejemplo de resultados del modelo para múltiples generaciones de modelos afectados por el colapso del modelo. Fuente

Cómo se ve afectado el bucle de retroalimentación de IA debido al contenido generado por IA

Cuando los modelos de IA se entrenan con contenido generado por IA, esto tiene un efecto destructivo en los bucles de retroalimentación de IA y puede causar muchos problemas para los modelos de IA reentrenados, como:

• Colapso del Modelo: Como se explicó anteriormente, el colapso del modelo es una posibilidad probable si el bucle de retroalimentación de IA contiene contenido generado por IA.
• Olvido Catastrófico: Un desafío típico en el aprendizaje continuo es que el modelo olvida las muestras anteriores cuando aprende nueva información. Esto se conoce como olvido catastrófico.
• Contaminación de Datos: Se refiere a alimentar datos sintéticos manipulados en el modelo de IA para comprometer el rendimiento, lo que lleva a producir resultados inexactos.

Cómo pueden las empresas crear un bucle de retroalimentación robusto para sus modelos de IA

Las empresas pueden beneficiarse utilizando bucles de retroalimentación en sus flujos de trabajo de IA. Siga los siguientes tres pasos principales para mejorar el rendimiento de sus modelos de IA.

• Retroalimentación de Expertos en el Tema: Los expertos en el tema son altamente conocedores en su campo y comprenden el uso de los modelos de IA. Pueden ofrecer ideas para aumentar la alineación del modelo con configuraciones del mundo real, lo que brinda una mayor probabilidad de resultados correctos. Además, pueden gobernar y gestionar mejor los datos generados por IA.
• Elige Métricas de Calidad de Modelo Relevantes: Elegir la métrica de evaluación correcta para la tarea correcta y monitorear el modelo en producción en función de estas métricas puede garantizar la calidad del modelo. Los practicantes de IA también emplean herramientas de MLOps para la evaluación y monitoreo automatizados para alertar a todas las partes interesadas si el rendimiento del modelo comienza a deteriorarse en producción.
• Curación Estricta de Datos: Como los modelos de producción se vuelven a entrenar con nuevos datos, pueden olvidar información pasada, por lo que es crucial curar datos de alta calidad que se alineen bien con el propósito del modelo. Estos datos se pueden utilizar para volver a entrenar el modelo en generaciones posteriores, junto con la retroalimentación del usuario para garantizar la calidad.

Para obtener más información sobre los avances en IA, visite Unite.ai.

We will continue to update Zepes; if you have any questions or suggestions, please contact us!