Investigadores de IA de Bytedance y la King Abdullah University of Science and Technology presentan un marco novedoso para animar el movimiento del cabello en fotos fijas de retratos

Analistas de Inteligencia Artificial de Bytedance y la Universidad King Abdullah de Ciencia y Tecnología presentan un innovador enfoque para animar el movimiento del cabello en fotografías estáticas de retratos

El cabello es una de las características más destacadas del cuerpo humano, impresionando con sus cualidades dinámicas que dan vida a escenas. Los estudios han demostrado consistentemente que los elementos dinámicos tienen un mayor atractivo y fascinación que las imágenes estáticas. Plataformas de redes sociales como TikTok e Instagram presencian el intercambio diario de vastas fotos de retratos, ya que las personas aspiran a que sus imágenes sean atractivas y artísticamente cautivadoras. Este impulso impulsa la exploración de los investigadores en el ámbito de animar el cabello humano dentro de imágenes estáticas, con el objetivo de ofrecer una experiencia visual vívida, estéticamente agradable y hermosa.

Los avances recientes en el campo han introducido métodos para infundir imágenes estáticas con elementos dinámicos, animando sustancias fluidas como agua, humo y fuego dentro del marco. Sin embargo, estos enfoques han pasado por alto en gran medida la naturaleza intrincada del cabello humano en fotografías de la vida real. Este artículo se centra en la transformación artística del cabello humano en la fotografía de retratos, que implica traducir la imagen en un cinemagraph.

Un cinemagraph representa un innovador formato de video corto que goza de popularidad entre fotógrafos profesionales, anunciantes y artistas. Encuentra utilidad en diversos VoAGIs digitales, incluidos anuncios digitales, publicaciones en redes sociales y páginas de destino. La fascinación por los cinemagraphs radica en su capacidad para combinar las fortalezas de las imágenes estáticas y los videos. Ciertas áreas dentro de un cinemagraph presentan movimientos sutiles y repetitivos en un ciclo corto, mientras que el resto permanece estático. Este contraste entre elementos estacionarios y en movimiento capta eficazmente la atención del espectador.

• Comparando técnicas de procesamiento de lenguaje natural RNNs, Transformers, BERT
• Desatando el potencial de la IA El auge de las GPU en la nube
• Descifrando la regulación génica con Deep Learning Un nuevo enfoque de IA para entender el empalme alternativo

A través de la transformación de una foto de retrato en un cinemagraph, completo con sutiles movimientos del cabello, la idea es mejorar el atractivo de la foto sin restar importancia al contenido estático, creando una experiencia visual más convincente y atractiva.

Existen técnicas y software comerciales desarrollados para generar cinemagraphs de alta fidelidad a partir de videos de entrada congelando selectivamente ciertas regiones del video. Desafortunadamente, estas herramientas no son adecuadas para procesar imágenes estáticas. En contraste, ha habido un creciente interés en la animación de imágenes estáticas. La mayoría de estos enfoques se han centrado en animar elementos fluidos como nubes, agua y humo. Sin embargo, el comportamiento dinámico del cabello humano, compuesto por materiales fibrosos, presenta un desafío distintivo en comparación con los elementos fluidos. A diferencia de la animación de elementos fluidos, que ha recibido una amplia atención, la animación del cabello humano en fotos de retratos reales ha sido relativamente inexplorada.

Animar el cabello en una foto de retrato estática es un desafío debido a la complejidad intrincada de las estructuras y la dinámica del cabello. A diferencia de las superficies lisas del cuerpo humano o la cara, el cabello está compuesto por cientos de miles de componentes individuales, lo que resulta en estructuras complejas y no uniformes. Esta complejidad conduce a patrones de movimiento intrincados dentro del cabello, incluidas interacciones con la cabeza. Si bien existen técnicas especializadas para el modelado del cabello, como el uso de conjuntos de cámaras densas y cámaras de alta velocidad, a menudo son costosas y llevan mucho tiempo, lo que limita su practicidad para la animación del cabello en el mundo real.

El artículo presentado en este artículo introduce un nuevo método de IA para animar automáticamente el cabello dentro de una foto de retrato estática, eliminando la necesidad de intervención del usuario o configuraciones de hardware complejas. La idea detrás de este enfoque radica en la sensibilidad reducida del sistema visual humano a las hebras de cabello individuales y sus movimientos en videos de retratos reales, en comparación con las hebras sintéticas dentro de un humano digitalizado en un entorno virtual. La solución propuesta es animar “mechones de cabello” en lugar de hebras individuales, creando una experiencia visualmente agradable. Para lograr esto, el artículo presenta un módulo de animación de mechones de cabello, que permite una solución eficiente y automatizada. A continuación, se ilustra una descripción general de este marco.

El desafío clave en este contexto es cómo extraer estos mechones de cabello. Si bien el trabajo relacionado, como el modelado del cabello, se ha centrado en la segmentación del cabello, estos enfoques se centran principalmente en la extracción de la región completa del cabello, que difiere del objetivo. Para extraer mechones de cabello significativos, los investigadores enmarcan innovadoramente la extracción de mechones de cabello como un problema de segmentación de instancias, donde un segmento individual dentro de una imagen estática corresponde a un mechón de cabello. Al adoptar esta definición del problema, los investigadores aprovechan las redes de segmentación de instancias para facilitar la extracción de mechones de cabello. Esto no solo simplifica el problema de extracción de mechones de cabello, sino que también permite el uso de redes avanzadas para una extracción efectiva. Además, el artículo presenta la creación de un conjunto de datos de mechones de cabello que contiene fotos de retratos reales para entrenar las redes, junto con un esquema de semi-anotación para producir anotaciones de referencia para los mechones de cabello identificados. Algunos resultados de muestra del artículo se informan en la figura a continuación en comparación con técnicas de vanguardia.

Este fue el resumen de un nuevo marco de inteligencia artificial diseñado para transformar retratos estáticos en cinemagraphs, animando mechones de cabello con agradables movimientos sin artefactos perceptibles. Si estás interesado y quieres aprender más al respecto, no dudes en consultar los enlaces citados a continuación.

We will continue to update Zepes; if you have any questions or suggestions, please contact us!