Tienes que ajustar esas dimensiones DreamEditor es un modelo de IA que edita escenas en 3D utilizando indicaciones de texto.

Debes ajustar las dimensiones. DreamEditor es un modelo de IA que edita escenas en 3D con instrucciones de texto.

El dominio de visión por computadora 3D se ha inundado de NeRF en los últimos años. Surgieron como una técnica innovadora y permitieron la reconstrucción y síntesis de nuevas vistas de una escena. Los NeRF capturan y modelan la geometría subyacente y la información de apariencia de una colección de imágenes de múltiples vistas.

Aprovechando las redes neuronales, los NeRF ofrecen un enfoque basado en datos que supera a los métodos tradicionales. Las redes neuronales en los NeRF aprenden a representar la compleja relación entre la geometría de la escena, la iluminación y la apariencia dependiente de la vista, lo que permite reconstrucciones de escenas altamente detalladas y realistas. La principal ventaja de los NeRF radica en su capacidad para generar imágenes fotorrealistas desde cualquier punto de vista deseado dentro de una escena, incluso en regiones que no fueron capturadas por el conjunto original de imágenes.

El éxito de los NeRF ha abierto nuevas posibilidades en gráficos por computadora, realidad virtual y realidad aumentada, permitiendo la creación de entornos virtuales inmersivos e interactivos que se asemejan estrechamente a escenas del mundo real. Por lo tanto, existe un interés serio en el dominio para avanzar aún más en los NeRF.

• NODO Árboles Neuronales Centrados en Tablas
• ¿Pueden los modelos de lenguaje pequeños ofrecer un alto rendimiento? Conoce a StableLM un modelo de lenguaje de código abierto que puede generar texto y código, brindando un alto rendimiento con un entrenamiento adecuado.
• ¿Qué son los Modelos de Lenguaje Grandes (LLMs)? Aplicaciones y Tipos de LLMs

Algunas desventajas de los NeRF limitan su aplicabilidad en escenarios del mundo real. Por ejemplo, la edición de campos neuronales es un desafío significativo debido a la codificación implícita de la información de forma y textura dentro de las características de alta dimensión de la red neuronal. Si bien algunos métodos han intentado abordar esto utilizando técnicas de edición exploradas, a menudo requieren una entrada extensa del usuario y tienen dificultades para lograr resultados precisos y de alta calidad. 

La capacidad de editar NeRF puede abrir posibilidades en aplicaciones del mundo real. Sin embargo, hasta ahora, todos los intentos no fueron lo suficientemente buenos como para resolver los problemas. Bueno, tenemos un nuevo jugador en el juego, y se llama DreamEditor.

DreamEditor es un marco fácil de usar que permite la modificación intuitiva y conveniente de campos neuronales utilizando indicaciones de texto. Al representar la escena con un campo neuronal basado en malla y emplear un marco de edición paso a paso, DreamEditor permite una amplia gama de efectos de edición, incluyendo el cambio de textura, la sustitución de objetos y la inserción de objetos.

La representación de malla facilita la edición local precisa mediante la conversión de máscaras de edición 2D en regiones de edición 3D al mismo tiempo que desentrelaza la geometría y la textura para evitar deformaciones excesivas. El marco paso a paso combina modelos de difusión preentrenados con muestreo de destilación de puntajes, lo que permite una edición eficiente y precisa basada en indicaciones de texto simples. 

DreamEditor sigue tres etapas clave para facilitar la edición intuitiva y precisa de escenas 3D guiadas por texto. En la etapa inicial, el campo de radiancia neural original se transforma en un campo neuronal basado en malla. Esta representación de malla permite la edición selectiva espacialmente. Después de la conversión, utiliza un modelo personalizado de Texto a Imagen (T2I) que se entrena en la escena específica para capturar las relaciones semánticas entre las palabras clave en las indicaciones de texto y el contenido visual de la escena. Finalmente, las modificaciones editadas se aplican al objeto objetivo dentro del campo neuronal utilizando el modo de difusión T2I.

DreamEditor puede editar de manera precisa y progresiva la escena en 3D manteniendo un alto nivel de fidelidad y realismo. Este enfoque paso a paso, desde la representación basada en mallas hasta la localización precisa y la edición controlada a través de modelos de difusión, permite que DreamEditor obtenga resultados de edición altamente realistas al minimizar modificaciones innecesarias en regiones irrelevantes.

We will continue to update Zepes; if you have any questions or suggestions, please contact us!