Investigadores de Apple y CMU revelan el Aprendiz de IU Sin Fin Revolucionando la accesibilidad de las aplicaciones a través del Aprendizaje Automático Continuo

Investigadores de Apple y CMU revelan el revolucionario Aprendizaje Infinito de la IU, mejorando la accesibilidad de las aplicaciones mediante el Aprendizaje Automático Continuo

El aprendizaje automático se está integrando cada vez más en una amplia gama de campos. Su uso generalizado se extiende a todas las industrias, incluido el mundo de las interfaces de usuario (UI), donde es crucial para anticipar datos semánticos. Esta aplicación no solo mejora la accesibilidad y simplifica las pruebas, sino que también ayuda a automatizar tareas relacionadas con la UI, lo que resulta en aplicaciones más eficientes y con mejor fluidez.

Actualmente, muchos modelos se basan principalmente en conjuntos de datos de capturas de pantalla estáticas que los humanos han calificado. Pero este enfoque es costoso y expone inclinaciones no previstas hacia errores en algunas actividades. Debido a que no pueden interactuar con el elemento de UI en la aplicación en vivo para confirmar sus conclusiones, los anotadores humanos deben depender únicamente de las pistas visuales al evaluar si un elemento de UI es táctil a partir de una instantánea.

A pesar de las desventajas de usar conjuntos de datos que solo registran capturas de pantalla fijas de vistas de aplicaciones móviles, son costosos de usar y mantener. Sin embargo, debido a su abundancia de datos, estos conjuntos de datos siguen siendo invaluables para entrenar Redes Neuronales Profundas (DNNs).

• Revisión del Generador de Voz de WellSaid Labs AI (Octubre 2023)
• ¿Es verdaderamente seguro el IA multilingüe? Exponiendo las vulnerabilidades de los grandes modelos de lenguaje en idiomas con recursos limitados
• ¿Puede comprimir los documentos recuperados mejorar el rendimiento del modelo de lenguaje? Este artículo de IA presenta RECOMP Mejorando los modelos de lenguaje con recuperación y compresión selectiva.

Como resultado, los investigadores de Apple han desarrollado el sistema Never-Ending UI Learner AI en colaboración con la Universidad Carnegie Mellon. Este sistema interactúa continuamente con aplicaciones móviles reales, lo que le permite mejorar constantemente su comprensión de los patrones de diseño de UI y las nuevas tendencias. Descarga de forma autónoma aplicaciones de las tiendas de aplicaciones para dispositivos móviles y las investiga a fondo para encontrar escenarios de entrenamiento frescos y difíciles.

El Never-Ending UI Learner ha explorado más de 5,000 horas de dispositivo hasta ahora, realizando más de 500,000 acciones en más de 6,000 aplicaciones. Debido a esta interacción prolongada, se entrenarán tres modelos de visión por computadora diferentes: uno para predecir la capacidad de toque, otro para predecir la capacidad de arrastre y un tercero para determinar la similitud de pantalla.

Realiza numerosas interacciones, como toques y deslizamientos, en los componentes dentro de la interfaz de usuario de cada aplicación durante esta investigación. Los investigadores enfatizan que clasifica los elementos de UI utilizando heurísticas diseñadas, identificando características como si se puede tocar un botón o mover una imagen.

Con la ayuda de los datos recopilados, se entrenan modelos que pronostican la capacidad de toque y arrastre de los elementos de UI y la similitud de las pantallas vistas. El procedimiento de extremo a extremo no requiere más ejemplos etiquetados por humanos, incluso si el proceso puede comenzar con un modelo entrenado en datos etiquetados por humanos.

Los investigadores enfatizaron que este método de investigación activa de aplicaciones tiene un beneficio. Ayuda a la máquina a identificar circunstancias desafiantes que los conjuntos de datos típicos etiquetados por humanos podrían pasar por alto. A veces, las personas pueden no notar todo lo que se puede tocar en una pantalla porque las imágenes no siempre son muy claras. Sin embargo, el crawler puede tocar los elementos y observar de inmediato qué sucede, proporcionando información más clara y precisa.

Los investigadores demostraron cómo los modelos entrenados con estos datos mejoran con el tiempo, con una precisión de predicción de capacidad de toque del 86% después de cinco rondas de entrenamiento.

Los investigadores destacaron que las aplicaciones enfocadas en reparaciones de accesibilidad podrían beneficiarse de actualizaciones más frecuentes para detectar cambios sutiles. Por otro lado, podrían ser preferibles intervalos más largos que permitan la acumulación de cambios de UI más significativos para tareas como resumir o analizar patrones de diseño. Descubrir los mejores horarios para el entrenamiento y las actualizaciones requerirá más investigación.

Este trabajo destaca la posibilidad de un aprendizaje continuo, que permite a los sistemas adaptarse y avanzar a medida que absorben más datos de manera continua. Si bien el sistema actual se centra en modelar semánticas simples como la capacidad de toque, Apple espera aplicar principios similares para aprender representaciones más sofisticadas de UI móviles y patrones de interacción.

We will continue to update Zepes; if you have any questions or suggestions, please contact us!