Utilizando el lenguaje para dar a los robots una mejor comprensión del mundo abierto

Utilizando el lenguaje para mejorar la comprensión del mundo abierto por parte de los robots

El método Feature Fields for Robotic Manipulation (F3RM) diseñado por investigadores del Instituto de Tecnología de Massachusetts ayuda a los robots a identificar y agarrar objetos cercanos mediante la formación de escenas tridimensionales a partir de imágenes bidimensionales y modelos de visión.

F3RM se puede aplicar en entornos del mundo real con miles de objetos interpretando instrucciones de texto abiertas por humanos utilizando lenguaje natural.

Una cámara montada en un palo de autofoto captura 50 imágenes bidimensionales en diferentes posiciones para construir un campo de radiancia neuronal, y el collage resultante representa un “doble digital” en 360 grados del entorno.

F3RM utiliza el modelo de visión Contrastive Language-Image Pre-training (CLIP) para mejorar la geometría con datos semánticos, reensamblar las características de CLIP en 2D para las imágenes capturadas por la cámara en una representación tridimensional.

• Algoritmo ayuda en la detección temprana de enfermedades oculares relacionadas con la edad
• Utilizando los complementos de Polars para aumentar la velocidad en 14 veces con Rust
• AI Coding ¿Es Google Bard un buen desarrollador de Python?

Después de algunas demostraciones, el robot, cuando se le indica, agarra objetos previamente desconocidos aplicando su conocimiento geométrico y semántico, eligiendo la opción con la puntuación más alta. De MIT News Ver artículo completo

Derechos de autor © 2023 SmithBucklin, Washington, D.C., EE. UU.

We will continue to update Zepes; if you have any questions or suggestions, please contact us!