Rompiendo barreras en la segmentación de instancias en 3D Un enfoque de mundo abierto con mejora de pseudo-etiquetado y escenarios realistas

Rompiendo barreras en la segmentación de instancias en 3D un enfoque de mundo abierto con mejora de pseudo-etiquetado y escenarios realistas

Al proporcionar clasificación y etiquetado semántico a nivel de instancia de objeto, la segmentación semántica de instancia 3D intenta identificar elementos en una escena 3D dada representada por una nube de puntos o malla. Numerosas aplicaciones de visión, incluidos robots, realidad aumentada y conducción autónoma, dependen de la capacidad de segmentar objetos en el espacio 3D. A raíz de los avances en los sensores utilizados para recopilar datos de profundidad, se han descrito varios conjuntos de datos con anotaciones a nivel de instancia en la literatura. Recientemente, se han propuesto numerosas estrategias de segmentación de instancia 3D en vista de la disponibilidad de conjuntos de datos 3D a gran escala y los avances en técnicas de aprendizaje profundo.

Una desventaja significativa de la dependencia de los sistemas de segmentación de instancia 3D en conjuntos de datos de acceso público es aprender un conjunto de etiquetas de elementos predefinido (vocabulario). Sin embargo, hay muchas clases de objetos en el mundo real y la inferencia puede contener muchas clases no vistas o desconocidas. Las técnicas actuales ignoran las clases desconocidas que aprenden en un conjunto fijo y también las supervisan y les asignan la etiqueta de fondo. Esto hace imposible que los algoritmos de identificación inteligente reconozcan elementos no identificados o inusuales que no son elementos de fondo. Estudios recientes han investigado la configuración de aprendizaje de mundo abierto para la identificación de objetos en 2D debido a la importancia de detectar elementos desconocidos.

Se pretende que un modelo reconozca elementos desconocidos en un entorno de mundo abierto. Una vez que se etiquetan las nuevas clases, se prefiere que el nuevo conjunto se aprenda progresivamente sin necesidad de volver a entrenarlo. Si bien enfoques anteriores han sido recomendados principalmente para la identificación de objetos en 2D de mundo abierto, aún no se han investigado en el ámbito 3D. Comprender cómo se ven los objetos en 3D y separarlos del fondo y otras categorías de objetos presenta el mayor desafío. La segmentación de instancia 3D en el entorno abierto de la Fig. 1 proporciona más flexibilidad, lo que permite que el modelo reconozca objetos no identificados y solicite anotaciones de un oráculo para estas clases nuevas para su posterior entrenamiento.

• BrainChip presenta la plataforma Akida de segunda generación para avances de IA periférica
• El Diseño de las Cosas Cotidianas (IA)
• Segmentación de Imágenes Una Guía Detallada

Figura 1: Segmentación de instancia 3D en un entorno de mundo abierto. El modelo descubre nuevos elementos durante cada fase de aprendizaje iterativo y un operador humano asigna gradualmente etiquetas a algunos de ellos y los agrega a la base de conocimientos actual para su entrenamiento continuo.

Sin embargo, esta estrategia tiene varias desventajas: Se requieren técnicas de pseudomentación de calidad debido a tres factores: (i) la falta de anotaciones para clases desconocidas, (ii) la similitud de las características predichas de las clases conocidas y desconocidas, y (iii) la necesidad de un método de puntuación de objetividad más confiable para distinguir entre las máscaras predichas buenas y malas para nubes de puntos 3D. En este estudio, investigadores de la Universidad de Inteligencia Artificial Mohamed Bin Zayed (MBZUAI), la Universidad Aalto, la Universidad Nacional Australiana y la Universidad de Linköping analizan un problema único llamado segmentación de instancia 3D en interiores de mundo abierto, que intenta segmentar objetos de clases desconocidas mientras se agregan gradualmente nuevas clases. Construyen protocolos y divisiones prácticas para verificar la capacidad de las técnicas de segmentación de instancia 3D para reconocer objetos no identificados. Al igual que en la configuración de aprendizaje incremental, la configuración propuesta agrega etiquetas de elementos desconocidos a la lista de clases reconocidas. Proporcionan un identificador de elementos desconocidos corregido probabilísticamente que mejora el reconocimiento de objetos. Son los primeros investigadores, hasta donde saben, en investigar la segmentación de instancia 3D en un entorno de mundo abierto.

Su estudio realiza las siguientes contribuciones principales:

• Proponen el primer enfoque de segmentación de instancia en interiores 3D de mundo abierto con un mecanismo especial para identificar con precisión objetos 3D no identificados. Utilizan un enfoque de autoetiquetado para distinguir entre etiquetas de clases conocidas y no conocidas para generar pseudometas durante el entrenamiento. Modifican la probabilidad de las clases desconocidas en función de la distribución de los puntajes de objetividad para mejorar aún más la calidad de las pseudometas en la inferencia.

• Para una evaluación exhaustiva de la segmentación de interiores 3D de mundo abierto, presentan divisiones de mundo abierto cuidadosamente seleccionadas, con clases conocidas vs. desconocidas y aprendizaje incremental en más de 200 cursos. Sus divisiones sugeridas utilizan una variedad de circunstancias realistas, incluida la distribución innata de las clases de objetos (basada en la frecuencia), los diferentes tipos de clases descubiertas al explorar espacios interiores (basado en regiones) y la aleatorización de las clases de objetos en el mundo exterior. Numerosas pruebas demuestran el valor de las soluciones sugeridas para cerrar la brecha de rendimiento entre su técnica y el oráculo.

We will continue to update Zepes; if you have any questions or suggestions, please contact us!