(Note ‘Inpainting’ is translated as ‘relleno de imágenes’ which means ‘image filling’)

El Arte del Relleno de Imágenes Una Técnica para Transformar tus Fotos

¿Cómo se pueden completar de manera efectiva las secciones faltantes de una captura 3D? Este artículo de investigación de Google Research y UC Berkeley presenta “NeRFiller”, un enfoque novedoso para el rellenado 3D, que aborda el desafío de reconstruir escenas o objetos 3D incompletos que a menudo faltan debido a fallas en la reconstrucción o falta de observaciones. Este enfoque permite completar escenas precisas y personalizables controlando el proceso de relleno a través de ejemplos de referencia. NeRFiller es un enfoque de relleno generativo 3D que mejora escenas u objetos en capturas 3D, lo que lo convierte en una solución efectiva para mejorar reconstrucciones 3D.

El estudio explora diversas metodologías para completar secciones faltantes en escenas 3D, que van desde el relleno 2D tradicional hasta técnicas avanzadas como LaMa para el relleno a gran escala. Se adentra en modelos de difusión probabilísticos y latentes, considerando enfoques de generación 3D que involucran texto o imágenes como entradas. Se enfatiza la relevancia de la configuración de eliminación de objetos y se evalúan diversas líneas de base y conjuntos de datos para el rellenado 3D. Si bien se abordan temas relacionados en la edición de video y escenas, se centra principalmente en la completación de escenas en el contexto de escenas 3D existentes.

La investigación aborda el desafío de completar e rellenar escenas 3D, enfatizando la importancia de un enfoque 3D consciente y consistente en múltiples vistas. Distintivamente entre completación de escenas y eliminación de objetos, el enfoque se centra en generar nuevo contenido dentro de escenas 3D. Se discuten las limitaciones de los modelos de relleno generativo 2D para imágenes 3D consistentes. El enfoque propuesto NeRFiller aprovecha el fenómeno de priorización de cuadrícula de los modelos de difusión de texto a imagen para mejorar la consistencia en las completaciones. También se discuten trabajos relacionados en la generación de escenas 3D y métodos de eliminación de objetos.

• Las investigaciones antropogénicas recientes revelan que puedes aumentar la capacidad de recuerdo de los LLMs en un 70% con una sola adición a tu estímulo Desatando el poder de Claude 2.1 a través de una motivación estratégica.
• Aprendizaje por Refuerzo Conveniente con Stable-Baselines3
• Conoce a Gemini el modelo de IA más grande y poderoso de Google

NeRFiller es un método que utiliza un modelo generativo de difusión 2D para el relleno antes de completar las regiones faltantes en escenas 3D. Aborda los desafíos de diversas estimaciones de relleno y la falta de consistencia 3D en modelos 2D. NeRFiller incorpora mecanismos de consolidación para resultados de relleno destacados y fomenta la característica 3D. Utiliza una optimización iterativa de escenas 3D, extendiendo el relleno de cuadrícula a una gran colección de imágenes. Se comparan líneas de base como Masked NeRF y LaMask, demostrando la efectividad de NeRFiller. La evaluación incluye comparaciones, métricas de vista novedosa, calidad de imagen y métricas de geometría.

NeRFiller destaca en la completación de escenas 3D, llenando regiones faltantes y eliminando elementos no deseados, demostrando consistencia y plausibilidad 3D. En comparación con las líneas de base de eliminación de objetos, NeRFiller supera en la completación de áreas faltantes. Las métricas de evaluación abarcan NeRF, vista novedosa, calidad de imagen MUSIQ y métricas de geometría, mostrando su eficacia en la generación de escenas 3D coherentes y realistas.

En conclusión, NeRFiller es una poderosa herramienta de relleno 3D que puede completar con precisión las partes faltantes en escenas 3D. Su capacidad para llenar espacios y eliminar elementos no deseados supera las líneas de base de eliminación de objetos. La introducción de Inpainting Conjunto Multi-Vista mejora aún más su consistencia al promediar las predicciones de ruido en múltiples imágenes. NeRFiller ha demostrado su efectividad al completar escenas 3D especificadas por el usuario al compararlas con las líneas de base de última generación. Ofrece un marco valioso para rellenar regiones faltantes en capturas 3D con especificaciones definidas por el usuario.

We will continue to update Zepes; if you have any questions or suggestions, please contact us!