Investigadores de Meta presentaron VR-NeRF un sistema avanzado de inteligencia artificial de extremo a extremo para la captura y renderización de espacios transitables de alta fidelidad en realidad virtual.

Investigadores de Meta presentaron VR-NeRF un sistema avanzado de inteligencia artificial que captura y renderiza espacios transitables de alta calidad en realidad virtual.

Con la llegada de la tecnología de realidad virtual (VR) asequible, ha habido un crecimiento significativo en los medios visuales altamente inmersivos, como la fotografía y el video VR realistas. Los enfoques existentes generalmente se dividen en las siguientes dos categorías:

• Síntesis de vistas de alta fidelidad con una pequeña caja de visualización de diámetro inferior a 1 m, lo que restringe el movimiento del usuario a un área pequeña.
• Síntesis de vistas de escala de escena con libertad de movimiento pero de menor calidad o velocidad de fotogramas, lo que permite a los usuarios moverse libremente pero con una calidad de imagen renderizada más baja.

Para abordar las limitaciones de los métodos existentes, los autores de este artículo han presentado VR-NeRF, un sistema capaz de crear experiencias de realidad virtual realistas donde los usuarios pueden caminar y explorar espacios del mundo real. El conjunto de datos utilizado por los investigadores consta de miles de imágenes HDR de 50 megapíxeles, con varios conjuntos de datos que superan los 100 gigapíxeles, lo que permite que su sistema logre una síntesis de vistas de alta fidelidad.

En los últimos tiempos, ha habido un crecimiento significativo en la popularidad de los campos de radiación neuronal (NeRFs) debido a su capacidad para generar síntesis de nuevas vistas de alta calidad. Sin embargo, los métodos de NeRF existentes no funcionan bien para escenas grandes y complejas.

• Este artículo de IA presenta RuLES un nuevo marco de aprendizaje automático para evaluar la adherencia a reglas en modelos de lenguaje grandes frente a ataques adversarios
• Esta investigación de IA de China presenta Consistent4D Un nuevo enfoque de inteligencia artificial para generar objetos dinámicos en 4D a partir de videos monocu
• Investigadores de la Universidad Johannes Kepler presentan GateLoop Avanzando en el modelado de secuencias con recurrencia lineal y transiciones de estado controladas por datos’.

El método propuesto por los investigadores, NeRF, está diseñado específicamente para el conjunto de datos de alta fidelidad que diseñaron, lo que le permite admitir la renderización de VR en tiempo real y con alta calidad. La plataforma de múltiples cámaras utilizada por los investigadores es un dispositivo único que captura numerosas fotos HDR distribuidas uniformemente de una escena.

VR-NeRF también incluye un renderizador personalizado de GPU que permite una renderización de alta fidelidad en VR. Además, el renderizador también se ejecuta a una velocidad de cuadro constante de 36 Hz, lo que da como resultado una experiencia de realidad virtual convincente. Los investigadores han ampliado los instant neural graphics primitives (NGPs) con algunas mejoras que les permiten producir imágenes con colores precisos y renderizar imágenes en diferentes niveles de detalle optimizando el equilibrio entre calidad y velocidad.

Los investigadores también demostraron la calidad de los resultados en sus desafiantes conjuntos de datos de alta fidelidad y compararon su método y conjuntos de datos con líneas de base existentes. Mostraron que su método fue capaz de producir renderizaciones de VR de alta calidad de espacios transitables con un amplio rango dinámico.

En conclusión, VR-NeRF es un enfoque integral para capturar, reconstruir y renderizar espacios transitables de alta fidelidad en VR. El método es capaz de lograr una mayor resolución, velocidad de fotogramas y fidelidad visual que permiten una experiencia de VR completa. El método propuesto por los investigadores tiene el potencial de abordar los problemas en las aplicaciones de VR ya existentes y permitir a los usuarios experimentar incluso escenas grandes y complejas con mayor detalle.

We will continue to update Zepes; if you have any questions or suggestions, please contact us!