Conoce a PUG una nueva investigación de IA de Meta AI sobre conjuntos de datos fotorrealistas y semánticamente controlables utilizando Unreal Engine para una evaluación de modelos robusta

PUG nueva investigación de IA de Meta AI sobre conjuntos de datos fotorrealistas y controlables utilizando Unreal Engine para evaluación de modelos robusta

Aprender representaciones de datos que sean transferibles y aplicables en diferentes tareas es un objetivo ambicioso en el aprendizaje automático. La disponibilidad de grandes cantidades de datos controlables y realistas para la evaluación y el entrenamiento es crucial para lograr este objetivo y monitorear el progreso. Esto es especialmente importante al pensar en la robustez y equidad de los modelos de redes neuronales profundas, ambos son esenciales para los modelos utilizados en entornos prácticos además de su precisión. Sin embargo, es difícil obtener dicha información debido a preocupaciones sobre la privacidad, el sesgo y la infracción de derechos de autor. La mayoría de las bases de datos de imágenes disponibles públicamente son difíciles de editar más allá de las simples modificaciones de imagen y carecen de metadatos detallados.

La colección asociada de etiquetas de factores se puede obtener fácilmente utilizando datos de imágenes sintéticas en los que se controlan precisamente todos los parámetros que afectan la escena generada. De esta manera, se puede evaluar las capacidades completas de una red neuronal profunda entrenada, incluida su robustez. A pesar de su potencial, muchos conjuntos de datos de imágenes sintéticas existentes podrían ser mejores para la investigación general del aprendizaje de representaciones de imágenes debido a su falta de realismo y su alcance típicamente limitado.

Para abordar este problema, investigadores de Meta AI (FAIR), Mila-Quebec AI Institute y la Université de Montréal proporcionan una nueva colección de conjuntos de datos sintéticos de Gráficos Irreales Fotorealistas (PUG), creados pensando en la comunidad de investigación sobre aprendizaje de representaciones y que cuentan con imágenes mucho más realistas que las disponibles en el dominio público en la actualidad. Se utilizó el motor Unreal Engine [EpicGames] para crear los entornos, que es elogiado por su realismo y se utiliza ampliamente en los sectores de los videojuegos y el entretenimiento. También presentan el paquete Python TorchMultiverse, que, además de los conjuntos de datos de imágenes estáticas pre-renderizadas, proporciona una interfaz Python sencilla que permite la producción de conjuntos de datos controlados fácilmente a partir de cualquier entorno PUG dado. Utilizando estos métodos, añaden cuatro conjuntos de datos adicionales y demuestran su aplicabilidad en diversos campos de estudio:

• Investigadores de Salesforce presentan XGen-Image-1 un modelo de difusión latente de texto a imagen entrenado para reutilizar varios componentes preentrenados.
• Investigadores de UC Santa Cruz proponen una nueva herramienta de prueba de asociación de texto a imagen que cuantifica los estereotipos implícitos entre conceptos y valencia y los presentes en las imágenes
• Combinando los datos reales y las previsiones en una línea continua en Power BI

1. Animales para estudiar el espacio simbólico en el contexto de la investigación de modelos fundamentales y generalización OOD.
2. El conjunto completo de cambios de factores en ImageNet, incluyendo postura, fondo, tamaño, textura e iluminación, sirve como un conjunto adicional de pruebas de robustez para ImageNet.
3. SPAR para probar modelos de visión lingüística. Lo utilizan para mostrar cómo los datos artificiales pueden sortear los problemas de los benchmarks existentes.
4. También presentan PUG: AR4T, un benchmark para ajustar finamente los modelos de visión y lenguaje, y demuestran lo bien que complementa a PUG: SPAR.

Los conjuntos de datos PUG establecen colectivamente un nuevo estándar para el control y el fotorealismo de datos de imágenes artificiales.

We will continue to update Zepes; if you have any questions or suggestions, please contact us!