Investigadores de ETH Zurich y Max Plank proponen HOOD un nuevo método que aprovecha redes neuronales gráficas, paso de mensajes multinivel y entrenamiento no supervisado para permitir la predicción eficiente de la dinámica realista de la ropa.

Researchers from ETH Zurich and Max Planck propose HOOD, a new method that leverages graphical neural networks, multilevel message passing, and unsupervised training to enable efficient prediction of realistic clothing dynamics.

La telepresencia, la prueba virtual, los videojuegos y muchas más aplicaciones que dependen de humanos digitales de alta fidelidad requieren la capacidad de simular un comportamiento atractivo y realista de la ropa. El uso de simulaciones basadas en leyes físicas es un método popular para producir movimientos dinámicos naturales. Si bien la simulación física puede proporcionar resultados increíbles, es costosa de calcular, sensible a las circunstancias iniciales y requiere animadores experimentados; los métodos de vanguardia no están diseñados para cumplir con los presupuestos computacionales rigurosos necesarios para aplicaciones en tiempo real. Las técnicas basadas en el aprendizaje profundo están comenzando a producir resultados eficientes y de alta calidad.

Sin embargo, hasta ahora, varias restricciones han impedido que tales métodos alcancen su máximo potencial. En primer lugar, las técnicas actuales calculan las deformaciones de la prenda en gran medida como una función de la postura del cuerpo y se basan en el esquema de fusión lineal. Si bien los planes basados en el esquema de fusión pueden proporcionar resultados impresionantes para prendas ajustadas como camisas y ropa deportiva, necesitan ayuda con vestidos, faldas y otras prendas holgadas que no imitan exactamente el movimiento del cuerpo. Es importante destacar que muchas técnicas de vanguardia basadas en el aprendizaje están específicas de la prenda y solo pueden prever deformaciones para el atuendo específico en el que se capturaron. La aplicación está limitada por la necesidad de volver a entrenar estas técnicas para cada prenda.

En este estudio, investigadores de ETH Zurich y el Instituto Max Planck para Sistemas Inteligentes presentan un método único para predecir deformaciones dinámicas de prendas utilizando redes neuronales gráficas (GNNs). A través de inferencia lógica sobre la relación entre deformaciones locales, presiones y aceleraciones, su enfoque aprende a anticipar el comportamiento de tejidos físicamente realistas. Su enfoque se generaliza directamente a formas corporales y movimientos arbitrarios debido a su localización, independiente de la estructura y forma general de la prenda. Aunque las GNNs han mostrado promesa en reemplazar la simulación basada en física, aplicar esta idea a la simulación de prendas produce resultados insatisfactorios. Los vectores de características de una malla dada para los vértices y su vecindario de anillos se transforman localmente utilizando GNNs (implementados como MLPs).

• Investigadores del MIT introducen la técnica de Restart Sampling para mejorar los procesos generativos.
• Microsoft Research presenta phi-1 un nuevo modelo de lenguaje grande especializado en la codificación de Python con un tamaño significativamente más pequeño que los modelos competidores.
• Investigadores de Princeton presentan Infinigen un generador procedural de escenas tridimensionales fotorrealistas del mundo natural.

Los mensajes de cada transformación se utilizan para actualizar los vectores de características. La recurrencia de este procedimiento permite que las señales se difundan por toda la malla. Sin embargo, un número predeterminado de etapas de paso de mensajes limita la transmisión de señales a un radio determinado. En la modelación de prendas, donde las ondas elásticas provocadas por el estiramiento fluyen rápidamente a través del material, esto resulta en un acoplamiento casi global e instantáneo a larga distancia entre vértices. Hay demasiadas pocas etapas, lo que ralentiza la transmisión de señales y causa artefactos incómodos de estiramiento excesivo, lo que le da a las prendas un aspecto antinatural y gomoso. El aumento del tiempo de computadora es el precio de aumentar estúpidamente las iteraciones.

El hecho de que el tamaño máximo y la resolución de las mallas de simulación sean desconocidos de antemano, lo que permitiría elegir un número de iteraciones conservador y adecuadamente alto, solo exacerba este problema. Sugieren un sistema de paso de mensajes en una red jerárquica que intercala fases de propagación en varios grados de resolución para resolver este problema. Esto permite el tratamiento efectivo de las ondas en movimiento rápido resultantes de modos de estiramiento rígidos en tamaños amplios, al tiempo que proporciona la clave necesaria para describir detalles locales, como pliegues y arrugas, en escalas más finas. A través de pruebas, demuestran cómo su representación gráfica mejora las predicciones para presupuestos computacionales comparables tanto a nivel cualitativo como cuantitativo.

Al adoptar un potencial incremental para el avance en el tiempo implícito como una función de pérdida, combinan las ideas de las redes neuronales basadas en gráficos con diferentes simulaciones para aumentar el potencial de generalización de su método. Debido a esta formulación, ya no requieren ninguna anotación de verdad fundamental (GT). Esto permite que su red se entrene completamente sin supervisión mientras aprende simultáneamente la dinámica de la ropa a múltiples escalas, la influencia de los parámetros del material, la reacción de colisión y el contacto friccional con el cuerpo subyacente. La formulación gráfica también nos permite simular el desabotonado de una camisa en movimiento y prendas con topologías variables y cambiantes.

Las redes neuronales gráficas, el reenvío de mensajes a varios niveles y el entrenamiento no supervisado se combinan en su enfoque HOOD, lo que permite la predicción en tiempo real de la dinámica realista de la ropa para diversos estilos de ropa y tipos de cuerpo. Experimentalmente demuestran que, en comparación con los métodos de vanguardia, su método ofrece ventajas estratégicas en cuanto a flexibilidad y generalidad. En particular, muestran que una única red entrenada:

1. Predice de manera efectiva el movimiento dinámico físicamente realista para una amplia gama de prendas.
2. Se generaliza a nuevos tipos y formas de prendas que no se vieron durante el entrenamiento.
3. Permite cambios en tiempo de ejecución en las propiedades del material y los tamaños de las prendas.
4. Admite cambios dinámicos en la topología, como abrir cremalleras o desabotonar camisas.

Los modelos y el código están disponibles para la investigación en GitHub.

We will continue to update Zepes; if you have any questions or suggestions, please contact us!