Abordando la brecha de generalización del AI Investigadores de University College London proponen Spawrious – una suite de referencia de clasificación de imágenes que contiene correlaciones espurias entre clases y fondos.

Researchers from University College London propose Spawrious, a suite of reference for image classification that addresses the AI generalization gap by containing spurious correlations between classes and backgrounds.

Con la creciente popularidad de la Inteligencia Artificial, cada día se lanzan nuevos modelos con características y capacidades de resolución de problemas completamente nuevas. Los investigadores en los últimos tiempos se han centrado en encontrar enfoques para fortalecer la resistencia de los modelos de IA a las distribuciones de prueba desconocidas y reducir su dependencia de características falsas. Considerando los ejemplos de los automóviles autónomos y los robots de cocina autónomos, aún no se han desplegado ampliamente debido a los desafíos planteados por su comportamiento en entornos de distribución fuera de datos (OOD), que se refieren a los escenarios que difieren significativamente de los datos de entrenamiento a los que los modelos estuvieron expuestos.

Numerosos estudios han investigado el problema de las correlaciones falsas (SC) y han sugerido métodos para reducir sus efectos negativos en el rendimiento del modelo. Se ha demostrado que los clasificadores entrenados en conjuntos de datos conocidos como ImageNet dependen de datos de fondo, que están falsamente vinculados con las etiquetas de clase pero no necesariamente predictivos de ellas. Aunque se ha progresado en el desarrollo de métodos para abordar el problema de SC, todavía es necesario abordar las limitaciones de los puntos de referencia existentes. Los puntos de referencia actuales, como Waterbirds y CelebA hair color, tienen limitaciones, una de las cuales es su enfoque en correlaciones falsas uno a uno (O2O) simplistas, cuando en realidad, las correlaciones falsas de muchos a muchos (M2M) son más comunes, involucrando grupos de clases y fondos.

Recientemente, un equipo de investigadores del University College London ha presentado un conjunto de pruebas de clasificación de imágenes llamado conjunto de datos Spawrious que contiene correlaciones falsas entre clases y fondos. Incluye tanto correlaciones falsas uno a uno (O2O) como de muchos a muchos (M2M), que se han categorizado en tres niveles de dificultad: Fácil, Medio y Difícil. El conjunto de datos consta de aproximadamente 152.000 imágenes fotorrealistas de alta calidad generadas utilizando un modelo de texto a imagen, y se ha utilizado un modelo de subtitulado de imagen para filtrar imágenes inadecuadas, lo que garantiza la calidad y relevancia del conjunto de datos.

• Revolutionizando la síntesis de texto a imagen investigadores de UC Berkeley utilizan modelos de lenguaje grandes en un proceso de generación de dos etapas para mejorar el razonamiento espacial y del sentido común.
• Investigadores de la Universidad de Surrey lanzan una herramienta revolucionaria de detección de objetos basada en bocetos en el aprendizaje automático.
• Investigadores de LinkedIn y UC Berkeley proponen un nuevo método para detectar fotos de perfil generadas por IA.

Al evaluar el conjunto de datos Spawrious, se ha demostrado un rendimiento increíble, ya que el conjunto de datos impuso desafíos para los enfoques de robustez de grupo del estado del arte actual (SOTA), como Hard-splits, lo que presentó un desafío significativo, sin que ninguno de los métodos probados lograra una precisión superior al 70% utilizando un modelo ResNet50 pre-entrenado en ImageNet. El equipo ha mencionado cómo las deficiencias de rendimiento de los modelos han sido causadas por su dependencia de fondos ficticios al observar las clasificaciones que realizaron incorrectamente. Esto demuestra cómo el conjunto de datos Spawrious fue capaz de probar con éxito los clasificadores y revelar sus debilidades ante correlaciones erróneas.

Para ilustrar la diferencia entre los puntos de referencia O2O y M2M, el equipo ha utilizado un ejemplo de recolectar datos de entrenamiento durante el verano, que consta de dos grupos de especies animales de dos ubicaciones distintas, y cada grupo de animales se asocia con un grupo de fondo específico. Sin embargo, a medida que cambian las estaciones y migran los animales, los grupos intercambian ubicaciones, lo que hace que las correlaciones falsas entre los grupos de animales y los fondos se inviertan de una manera que no se puede igualar en una relación uno a uno. Esto destaca la necesidad de capturar las complejas relaciones e interdependencias en las correlaciones falsas de muchos a muchos (M2M).

Spawrious parece ser un conjunto de pruebas prometedor para algoritmos de generalización de dominio OOD y para evaluar y mejorar la robustez de los modelos en presencia de características falsas.

We will continue to update Zepes; if you have any questions or suggestions, please contact us!