Duck AI presenta DuckTrack un recolector de datos de interacción multimodal con computadoras.

Duck AI presenta DuckTrack un recolector de datos multimodal para la interacción con computadoras.

El seguimiento preciso y exacto de las interacciones del usuario constituye un pilar fundamental para avanzar en las capacidades de los agentes informáticos. Esta tarea desempeña un papel fundamental en el desarrollo y entrenamiento de sistemas inteligentes. La efectividad de estos sistemas, que tienen como objetivo imitar procesos cognitivos y realizar tareas de forma independiente, depende del examen cuidadoso y la grabación sistemática de las interacciones del usuario.

Los investigadores de Duck AI han desarrollado DuckTrack para grabar varios tipos de entradas con precisión para que los agentes informáticos puedan ser entrenados correctamente con los datos recopilados. DuckTrack ofrece una recopilación sincronizada de datos de ratón, teclado, video de pantalla y audio a través de una aplicación de escritorio fácil de usar compatible con los principales sistemas operativos.

También, DuckTrack ha iniciado una Iniciativa de Recopilación de Datos de la Comunidad. Este esfuerzo de código abierto invita a los contribuyentes a participar en la recopilación de diversos datos de interacción informática. DuckTrack funciona sin problemas en todos los principales sistemas operativos y está creado en Python. La Descripción de Funciones de DuckTrack muestra su capacidad para la grabación y reproducción precisa y exacta de acciones de ratón y teclado. Los investigadores mencionan que la integración de grabaciones de pantalla con OBS mejora aún más su versatilidad.

• Combina múltiples adaptadores LoRA para Llama 2
• Preguntas de entrevista de ingeniería de datos
• Evita el sobreajuste en las redes neuronales un análisis en profundidad

Para DeepTrack, el Índice de Similitud Estructural (SSIM) supera constantemente 0,9 en tareas de dibujo. Cada evento se registra con un margen de error bajo de 0.03 ms ± 0.4 ms, superando la precisión de los rastreadores existentes en el mercado. El compromiso de DuckTrack con la excelencia es evidente en sus métricas de rendimiento, lo que lo convierte en una opción confiable para los usuarios que buscan soluciones de seguimiento y reproducción de primer nivel.

Pero DuckTrack también tiene ciertas limitaciones. Realísticamente, imitar clics dobles o triples durante la reproducción representa un desafío, lo que afecta la precisión de estas acciones. Además, DuckTrack no puede grabar gestos de trackpad y tiene limitaciones al capturar entradas en escenarios que involucran información sin procesar, como los juegos. Los desarrolladores están trabajando activamente para abordar estas limitaciones y mejorar las capacidades de DuckTrack al seguir involucrando a la comunidad.

Los investigadores probaron DuckTrack en diferentes sistemas, incluido el M2 Pro MBP 14 con macOS Sonoma 14.0 y el Intel i7-10510U System76 Lemur Pro 9 con PopOS! 22.10 (basado en Ubuntu) y Windows 10 22H2. Probaron DuckTrack en la tarea ReCAPTCHA, un proxy para el movimiento similar al humano, y concluyeron que exhibía una tasa de éxito del 100% en diez pruebas. Si bien las variaciones de hardware pueden influir ligeramente en el rendimiento, la consistencia en la precisión en todos los sistemas operativos resalta la confiabilidad de DuckTrack.

Los investigadores anunciarán las pautas detalladas sobre cómo contribuir y configurar la recopilación de datos próximamente, fomentando un esfuerzo colectivo para refinar y evolucionar la funcionalidad de DuckTrack.

DuckTrack demuestra ser revolucionario en la recopilación de datos sobre interacciones informáticas. Con su dedicación a la precisión, la continua participación de la comunidad y el énfasis en la mejora, DuckTrack es la mejor opción para personas y empresas que buscan excelentes funciones de reproducción y seguimiento. DuckTrack está allanando el camino hacia una experiencia de interacción informática multimodal más sofisticada y sin problemas a medida que se desarrolla.

Descargue la aplicación preconstruida para su sistema aqui.

We will continue to update Zepes; if you have any questions or suggestions, please contact us!