Investigadores de Cambridge han desarrollado una aplicación de realidad virtual utilizando aprendizaje automático para dar a los usuarios la habilidad superhumana de abrir y controlar herramientas en realidad virtual.

Investigadores de Cambridge revolucionan la realidad virtual con una aplicación de aprendizaje automático que otorga a los usuarios habilidades superhumanas para abrir y controlar herramientas virtualmente.

Los atajos de teclado son combinaciones de teclas que se encuentran típicamente en aplicaciones de escritorio tradicionales. Un equipo de investigadores de la Universidad de Cambridge explora qué puede ser una alternativa adecuada a los atajos de teclado en un espacio de interacción 3D donde la entrada del teclado ya no es la única opción. Los científicos han creado un programa de realidad virtual que permite a los usuarios acceder y utilizar múltiples herramientas de modelado 3D con un simple movimiento de mano. El equipo de la Universidad de Cambridge utilizó el aprendizaje automático para crear un sistema llamado “HotGestures” que funciona de manera similar a las teclas de acceso directo en el escritorio de una computadora.

Los humanos son principalmente criaturas visuales. Por lo tanto, los gestos con las manos son una forma natural de transmitir información y establecer relaciones entre palabras. HotGestures permite a los usuarios acceder y utilizar herramientas virtuales rápidamente a través de gestos sencillos con las manos. Este método funciona bien en conjunto con la navegación de menú estándar. A través de dos pruebas realizadas a los usuarios, los investigadores pueden evaluar el potencial de HotGestures y descubrir que la técnica basada en gestos ofrece una selección y accesos directos rápidos y eficientes a las herramientas. HotGestures fue bien recibido por los participantes debido a su singularidad, velocidad y facilidad de uso, ya que complementaba la interacción basada en menús más tradicional. HotGestures permite a los usuarios construir figuras y formas de realidad virtual sin interactuar con un menú, lo que les permite mantener la atención sin distraerse.

A pesar de años de expectativas, el potencial de la realidad virtual (VR) y las aplicaciones asociadas aún no se ha realizado completamente fuera de la industria de los videojuegos. Los atajos de teclado, como ctrl+c y ctrl+v, son habituales para cualquiera que haya utilizado aplicaciones de escritorio. Estos atajos ahorran tiempo al eliminar la necesidad de buscar a través de menús la función deseada, pero solo son útiles si el usuario ya conoce el comando apropiado. El equipo de investigadores desarrolló el concepto de ‘HotGestures’ para reemplazar los atajos de teclado en entornos de realidad virtual 3D.

• Investigadores de Meta presentaron VR-NeRF un sistema avanzado de inteligencia artificial de extremo a extremo para la captura y renderización de espacios transitables de alta fidelidad en realidad virtual.
• Este artículo de IA presenta RuLES un nuevo marco de aprendizaje automático para evaluar la adherencia a reglas en modelos de lenguaje grandes frente a ataques adversarios
• Esta investigación de IA de China presenta Consistent4D Un nuevo enfoque de inteligencia artificial para generar objetos dinámicos en 4D a partir de videos monocu

Por ejemplo, la herramienta de tijeras se activa mediante un movimiento de cortar, y la lata de spray mediante un movimiento de rociado. El usuario puede acceder directamente a la función deseada sin tener que buscar en menús o memorizar atajos de teclado. Los usuarios pueden cambiar rápidamente de herramienta sin tener que detener lo que están haciendo para abrir un menú o presionar un botón en un controlador o teclado.

El estudio desarrolló un sistema de reconocimiento de gestos de redes neuronales que puede identificar gestos haciendo predicciones sobre una secuencia de datos que contiene las posiciones de las articulaciones de la mano del usuario. El software se desarrolló para recordar diez acciones distintas relacionadas con la creación de modelos 3D, incluyendo el uso de un lápiz, un cubo, un cilindro, una esfera, una paleta, un spray, cortar, escalar, duplicar y eliminar.

El grupo llevó a cabo dos pruebas preliminares con 30 participantes que utilizaron HotGestures, instrucciones de menú o ambos. El método basado en gestos permitió un acceso rápido y sencillo a las herramientas de uso frecuente. HotGestures fue bien recibido por los participantes debido a su singularidad, velocidad y facilidad de uso, ya que complementaba la interacción basada en menús más tradicional. Los investigadores aseguraron que no hubiera activaciones accidentales diseñando un sistema que pudiera distinguir entre comandos y movimientos naturales de la mano. En general, el sistema basado en gestos superó al basado en menús en términos de velocidad. Los investigadores han publicado el conjunto de datos y el código fuente acompañante para que los desarrolladores de aplicaciones de realidad virtual puedan incluirlo en sus proyectos.

We will continue to update Zepes; if you have any questions or suggestions, please contact us!