Esta investigación de IA presenta PERF la transformación Panorámica NeRF que convierte imágenes individuales en escenas 3D explorables.

¡Descubre PERF la revolucionaria transformación Panorámica NeRF que convierte imágenes individuales en escenas 3D explorables!

NeRF significa Neural Radiance Fields, una técnica de aprendizaje profundo para la reconstrucción de escenas en 3D y la síntesis de vistas a partir de imágenes en 2D. Normalmente, se requieren varias imágenes o vistas de una escena para construir una representación en 3D de forma precisa. NeRF involucra un conjunto de imágenes de una misma escena tomadas desde diferentes puntos de vista. NeRF ha inspirado extensiones y mejoras, como NeRF-W, que tiene como objetivo hacerlo más eficiente, preciso y aplicable a diversos escenarios, incluyendo escenas dinámicas y aplicaciones en tiempo real. Sus variantes han tenido un impacto significativo en los campos de visión por computadora, gráficos por computadora y reconstrucción de escenas en 3D.

Sin embargo, si tienes una sola imagen y quieres incorporar conocimientos en 3D, es necesario mejorar la calidad de la reconstrucción en 3D. Las técnicas actuales limitan el campo de visión, lo que reduce considerablemente su escalabilidad en escenarios panorámicos del mundo real de 360 grados y con grandes tamaños. Los investigadores presentan un marco de trabajo de síntesis de vistas novedoso de 360 grados llamado PERF. Significa Panoramic Neural Radiance Field. Su marco de trabajo entrena un campo de radiancia neural panorámico a partir de un solo panorama.

Una imagen panorámica se crea capturando múltiples imágenes, a menudo de forma secuencial, y luego uniéndolas para formar una representación panorámica sin costuras y de gran angular de un paisaje, ciudad u cualquier otra escena. El equipo propone un método colaborativo de rellenado RGBD para completar imágenes RGB y mapas de profundidad de regiones visibles con una difusión estable entrenada para el rellenado de RGB. También entrenaron un estimador de profundidad monocular para la completación de profundidad, lo cual genera apariencias y formas en 3D novedosas que no son visibles desde el panorama de entrada.

• Nuevo trabajo de DeepMind revela semillas suprema de prompt para modelos de lenguaje
• La inflación de la inteligencia artificial ¿es siempre mejor tener más?
• Los datos nos dicen el qué y siempre buscamos el por qué.

Entrenar un campo de radiancia neuronal panorámico (NeRF) a partir de un solo panorama es un problema complicado debido a la falta de información en 3D, la oclusión de objetos de gran tamaño, los problemas acoplados en la reconstrucción y la generación, y el conflicto de geometría entre las regiones visibles e invisibles durante el rellenado. Para abordar estos problemas, PERF consiste en un proceso de tres pasos: 1) obtener entrenamiento de NeRF de una sola vista con supervisión de profundidad; 2) colaborar en el rellenado RGBD de la ROI; y 3) utilizar generación de rellenado y borrado progresivo.

Para optimizar el mapa de profundidad predicho de la ROI y hacerlo consistente con la escena panorámica global, proponen un método de rellenado y borrado, que rellena las regiones invisibles desde una vista aleatoria y borra las regiones de geometría en conflicto observadas desde otras vistas de referencia, obteniendo así una mejor completación de escenas en 3D.

Los investigadores experimentaron con los conjuntos de datos Replica y PERF-in-the-wild. Demuestran que PERF logra un nuevo estado del arte en el campo de campos de radiancia neuronal panorámicos de una sola vista. Afirman que PERF se puede aplicar a tareas de panorama a 3D, texto a 3D y estilización de escenas 3D para obtener resultados sorprendentes con varias aplicaciones prometedoras.

PERF mejora significativamente el rendimiento de NeRF de una sola toma, pero depende en gran medida de la precisión del estimador de profundidad y la difusión estable. Por lo tanto, el equipo menciona que el trabajo futuro incluirá mejorar la precisión del estimador de profundidad y del modelo de difusión estable.

We will continue to update Zepes; if you have any questions or suggestions, please contact us!