¡Atención Industria del Gaming! No más espejos extraños con Mirror-NeRF

¡Atención Industria del Gaming! No más espejos extraños con Mirror-NeRF' -> '¡Atención Industria del Gaming! No más espejos extraños con Mirror-NeRF

Las NeRF o Campos de Radiancia Neurales utilizan una combinación de RNN y CNN para capturar las características físicas de un objeto, como la forma, el material y la textura. Pueden generar imágenes realistas de objetos en diferentes condiciones de iluminación. Han demostrado ser muy útiles en medicina, robótica y entretenimiento debido a su capacidad para crear imágenes de alta resolución.

La reconstrucción en 3D y la representación de escenas con espejos, que existen de forma ubicua en el mundo real, han sido un desafío de larga data en la visión por computadora. Al lidiar con las inconsistencias en la reconstrucción con espejos utilizando NeRF, los investigadores de la Universidad de Zhejiang están introduciendo Mirror-NeRF, que representa correctamente el reflejo en el espejo en un campo de radiancia unificado al enviar la probabilidad de reflexión y rastrear los rayos siguiendo el modelo de transporte de luz de Whitted Ray Tracing.

NeRF, RefNeRF y NeRFReN, los tres métodos generaron el reflejo en el espejo desde nuevos puntos de vista interpolando los reflejos previamente aprendidos. Sin embargo, tienen limitaciones en cuanto a la capacidad de inferir de manera confiable reflejos no vistos durante el entrenamiento y sintetizar reflejos para objetos o espejos recién introducidos en la escena. La técnica recientemente introducida Mirror-NeRF puede dibujar con precisión el reflejo en el espejo y servir para diversas aplicaciones de modificación de escenas al integrar el trazado de rayos físicos en el proceso de renderizado neuronal.

• Optimización del tamaño del archivo de salida en Apache Spark
• GANs (Redes Generativas Adversarias)
• La IA es crucial para la ciberseguridad en el ámbito de la salud

Se crearon cinco conjuntos de datos sintéticos y cuatro reales, y se realizaron comparaciones cuantitativas de la síntesis de vistas novedosas utilizando las métricas de relación señal-ruido pico (PSNR), índice de similitud estructural (SSIM) y similitud de parches de imagen perceptual aprendida (LPIPS). Debido a que la superficie irregular del espejo afecta en gran medida la calidad del reflejo, también se introdujeron varios términos de regularización en el proceso de optimización. Cuando se habilitaron todos los términos de regularización, se obtuvo con éxito el reflejo preciso en el espejo con la mayor calidad de imagen.

Los hallazgos mostraron que NeRF, Ref-NeRF y NeRFReN tuvieron dificultades para producir el reflejo de los objetos cuyo reflejo tiene variaciones de alta frecuencia en color, como la imagen colgante distorsionada en el espejo de la sala de reuniones, una cortina borrosa en el espejo de la oficina y la sala de estar, y una prenda “empañada” en el espejo de la tienda de ropa. Por otro lado, el nuevo método representó reflejos detallados de objetos mediante el rastreo de los rayos reflejados. Aunque ha habido un avance inmenso en el trabajo con espejos, los investigadores aún no han incorporado la refracción en el marco de trabajo.

En conclusión, este avance promete nuevas oportunidades en las industrias del juego y el cine. Los artistas pueden desear crear efectos visuales complejos y utilizar la manipulación de espejos, por ejemplo, sustituyendo los reflejos en el espejo con una escena diferente. Podemos sintetizar la vista fotorealista de la nueva escena en el espejo con consistencia de múltiples vistas.

We will continue to update Zepes; if you have any questions or suggestions, please contact us!