Conoce a TADA Un enfoque potente de IA para convertir descripciones verbales en un expresivo avatar 3D

TADA Un enfoque de IA para crear avatares 3D a partir de descripciones verbales.

El desarrollo de modelos de lenguaje grandes y modelos de difusión ha allanado el camino para fusionar modelos de texto a imagen con representaciones de escenas tridimensionales diferenciales neuronales, los mejores ejemplos de los cuales son DeepSDF, NeRF y DMTET. Estos han permitido la creación de modelos 3D precisos solo a partir de descripciones textuales. Aunque estos avances han traído un gran progreso en la comunidad de Inteligencia Artificial, en términos de forma y textura, los objetos o personajes generados suelen quedarse cortos a la hora de producir avatares 3D realistas de excelente calidad. Estos personajes también pueden no encajar en los flujos de trabajo convencionales de gráficos por computadora.

En una investigación reciente, un equipo de investigadores ha presentado TADA (Text to Animatable Digital Avatars), un método simple pero muy poderoso para convertir descripciones verbales en avatares 3D expresivos con geometría impactante y texturización realista. Estos avatares se pueden animar utilizando métodos gráficos tradicionales y son visualmente atractivos. Las técnicas existentes para generar personajes a partir de texto tienen problemas con la calidad de la geometría y la textura. Estas técnicas tienen dificultades para animar de manera realista debido a discrepancias en la geometría y la textura, especialmente en la cara. TADA aborda estos problemas formando una poderosa sinergia entre un modelo de difusión 2D y un modelo corporal paramétrico.

La creación de una representación de avatar sofisticada es clave para la invención de TADA. El equipo ha agregado una capa de desplazamiento y un mapa de textura al modelo corporal SMPL-X para mejorarlo. Como resultado, SMPL-X se ha producido en una forma de alta resolución que puede capturar texturas y características más finas. Se ha introducido un método de renderizado jerárquico, junto con muestreo de destilación de puntuación (SDS), para crear avatares 3D complicados y de alta calidad a partir de entradas de texto. Esta técnica garantiza las características detalladas y completas de los avatares.

• Aquí está lo que te estás perdiendo
• Métodos de aproximación de Monte Carlo ¿Cuál deberías elegir y cuándo?
• Cómo definir un problema de IA

Para alinear la geometría y la textura de los avatares, el equipo ha utilizado incrustaciones latentes de los personajes creados, imágenes normales y RGB renderizadas durante todo el proceso de optimización SDS. Los problemas de desalineación que afectaron a técnicas anteriores se han eliminado, especialmente en la región facial, mediante la implementación de la estrategia de alineación. Además, se ha hecho un esfuerzo para mantener las expresiones faciales y la semántica de los personajes consistentes utilizando varias expresiones durante el proceso de optimización. Este método garantiza que los avatares finales conserven la integridad semántica del modelo SMPL-X original, lo que permite una animación realista y alineada de forma orgánica.

TADA se ha utilizado mediante una técnica llamada Muestreo de Destilación de Puntuación (SDS). Las principales contribuciones son las siguientes:

1. Optimización Jerárquica con Representación de Malla Híbrida, que permite detalles de alta calidad, especialmente en la cara.

1. Alineación Coherente de Geometría y Textura, utilizando un proceso de optimización que deforma el personaje generado utilizando posturas corporales y expresiones faciales predefinidas del modelo corporal SMPL-X.

1. Consistencia Semántica y Animación, asegurando que el personaje generado mantenga la consistencia semántica con SMPL-X, lo que permite una animación fácil y precisa.

El equipo ha realizado ciertas evaluaciones, tanto cualitativas como cuantitativas, para evaluar cuánto mejor es TADA que las alternativas. Se observó que las capacidades de TADA van más allá de la producción de avatares; permite la construcción a gran escala de personajes digitales adecuados tanto para animación como para renderización. También proporciona edición guiada por texto, lo que brinda a los usuarios una gran cantidad de poder y personalización.

We will continue to update Zepes; if you have any questions or suggestions, please contact us!