Investigadores de NTU Singapur proponen PointHPS Un marco de IA para la estimación precisa de la postura humana y la forma a partir de nubes de puntos 3D.

Investigadores de NTU Singapur proponen PointHPS, un marco de IA para estimar la postura y forma humanas a partir de nubes de puntos 3D.

Con varios avances en el campo de la Inteligencia Artificial, la estimación de la postura y forma humana (HPS, por sus siglas en inglés) se ha convertido en un área de investigación cada vez más importante en los últimos años. Con varias aplicaciones prácticas, como la captura de movimiento, la prueba virtual y la realidad mixta, recuperar cuerpos humanos en 3D se ha convertido en un desafío significativo. Estimar las posturas y cómo se organiza el cuerpo, junto con analizar las formas y las propiedades físicas del cuerpo de las personas en el espacio 3D, es un paso en este proceso. Un ejemplo es el uso de modelos humanos paramétricos, como el modelo SMPL, que representan los cuerpos humanos con características de forma y posición.

Predecir estos modelos paramétricos a partir de fotos en 2D se ha vuelto significativamente más fácil en los últimos años. Sin embargo, en algunas circunstancias, las imágenes en 2D presentan desventajas, como la ambigüedad de la profundidad y problemas de privacidad. Esta es la situación en la que resultan útiles los datos de la nube de puntos 3D. Estimar con precisión las posturas y formas humanas a partir de nubes de puntos 3D se ha vuelto posible gracias al avance de los sensores de profundidad y la accesibilidad a conjuntos de datos a gran escala.

En una investigación reciente, un equipo de investigadores ha presentado un marco metodológico llamado PointHPS para una precisa HPS en 3D a partir de nubes de puntos adquiridas en entornos del mundo real. PointHPS utiliza un diseño en cascada en el que las características de los puntos se refinan repetidamente en cada iteración. Utiliza un proceso de refinamiento iterativo en el que los datos de la nube de puntos de entrada se someten a una serie de técnicas de muestreo y sobremuestreo en diferentes etapas. Estos procesos buscan extraer de los datos tanto señales locales como globales.

• Investigadores del Laboratorio de Procesamiento del Lenguaje Natural (NLP) de XLang proponen Lemur los modelos de lenguaje grandes y pre-entrenados de última generación que equilibran las capacidades de texto y código abiertos.
• Aceptando la Diversidad Neuronal Un Salto en la Eficiencia y Rendimiento de la IA
• El primer IA visual y de lenguaje de propósito general LLaVA

Se han incluido dos módulos de vanguardia en PointHPS para mejorar el procedimiento de extracción de características. El primero es Cross-stage Feature Fusion (CFF), que es un módulo que permite la propagación de características a múltiples escalas, lo que facilita la transferencia eficiente de información entre las diferentes etapas de la red. Ayuda en la preservación del contexto y captura de información. El segundo es IFE (Intermediate Feature Enhancement), que se centra en recopilar características de manera consciente de la estructura del cuerpo humano. Después de cada etapa, se mejora la calidad de las características, lo que las hace más adecuadas para una estimación precisa de la postura y forma.

El equipo ha realizado pruebas en dos benchmarks significativos para proporcionar una evaluación exhaustiva en condiciones variadas –

1. Conjunto de datos del mundo real: Este conjunto de datos contiene una variedad de participantes y acciones que se grabaron en un entorno de laboratorio utilizando sensores comerciales genuinos. Representa un entorno más difícil y realista.

1. Generación de conjuntos de datos: Este conjunto de datos fue creado meticulosamente teniendo en cuenta condiciones reales, como personas vestidas en entornos exteriores concurridos. También se proporcionó control sobre una variedad de parámetros ambientales.

Las extensas pruebas han revelado que PointHPS supera a las técnicas de vanguardia en todas las medidas de evaluación con su enfoque robusto en la extracción y procesamiento de características de puntos. La eficacia de la arquitectura en cascada sugerida, mejorada por los módulos CFF y IFE, es respaldada aún más por investigaciones de ablación. El equipo tiene la intención de publicar sus modelos preentrenados, código y datos para su uso en investigaciones adicionales de HPS a partir de nubes de puntos. La investigación futura en esta área debería facilitarse, lo que también aumentará la capacidad de estimar con precisión la posición y forma humana en 3D a partir de datos de nubes de puntos del mundo real.

We will continue to update Zepes; if you have any questions or suggestions, please contact us!