Este artículo de IA presenta EdgeSAM Avanzando el aprendizaje automático para la segmentación de imágenes de alta velocidad y eficiente en dispositivos periféricos.

Avance de EdgeSAM Aprendizaje automático para una segmentación de imágenes rápida y eficiente en dispositivos periféricos

El Modelo Segment Anything (SAM) es un modelo alimentado por inteligencia artificial que segmenta imágenes para la detección y reconocimiento de objetos. Es una solución efectiva para diversas tareas de visión por computadora. Sin embargo, SAM no está optimizado para dispositivos de borde, lo que puede llevar a un rendimiento retardado y un alto consumo de recursos. Investigadores del S-Lab de la Universidad Tecnológica Nanyang y del Laboratorio de Inteligencia Artificial de Shanghai desarrollaron EdgeSAM para abordar este problema. Esta versión optimizada de SAM está diseñada para garantizar un rendimiento mejorado sin sacrificar la precisión en dispositivos de borde con recursos limitados.

El estudio se centra en el diseño eficiente de CNN y transformadores para el aprendizaje de representaciones visuales, una dirección explorada en investigaciones anteriores. Reconoce la aplicación de la destilación del conocimiento en tareas de predicción densa como la segmentación semántica y la detección de objetos en estudios anteriores. Los trabajos relacionados incluyen Mobile-SAM, que implementa la destilación de características píxel a píxel, y Fast-SAM, que entrena un modelo de segmentación de instancias basado en YOLACT. Se destacan estudios anteriores que abordan la segmentación eficiente dentro de dominios específicos y esfuerzos recientes que exploran modelos de segmentación adecuados para la implementación en dispositivos móviles.

La investigación aborda el desafío de implementar SAM, que requiere mucho poder de procesamiento, en dispositivos de borde como teléfonos inteligentes para la segmentación interactiva en tiempo real. Introduciendo EdgeSAM, una variante optimizada de SAM, se logra una operación en tiempo real en dispositivos de borde manteniendo la precisión. EdgeSAM utiliza un enfoque de destilación de conocimiento consciente de la sugerencia alineando las máscaras de salida de SAM e introduce sugerencias adaptadas para el decodificador de máscaras. Con una estructura basada únicamente en CNN adecuada para aceleradores de IA en dispositivos, EdgeSAM supera a Mobile-SAM, logrando un aumento significativo de velocidad sobre SAM original para implementación de borde en tiempo real.

• GPT-4.5 ¿Realidad o ficción? Esto es lo que sabemos
• Visualizando Modelos en Profundidad Una Guía para Grad-CAM en Aprendizaje Profundo
• Aumenta la productividad en Amazon SageMaker Studio Presentamos JupyterLab Spaces y herramientas de inteligencia artificial generativa

EdgeSAM está diseñado para una ejecución eficiente en dispositivos de borde sin comprometer significativamente el rendimiento. EdgeSAM destila el codificador de imagen SAM basado en ViT original en una arquitectura basada en CNN adecuada para dispositivos de borde. Para capturar plenamente el conocimiento de SAM, la investigación incorpora la destilación de los codificadores de sugerencias y decodificadores de máscaras con sugerencias de cajas y puntos en el proceso. Se agrega un módulo liviano para abordar problemas de sesgo en los conjuntos de datos. La evaluación incluye investigaciones sobre la destilación de conocimientos con sugerencias en el proceso y el impacto de una red de propuesta de región liviana con prioridades de granularidad a través de estudios de abstracción.

EdgeSAM logra un impresionante aumento de velocidad de 40 veces en comparación con SAM original, superando a Mobile-SAM 14 veces cuando se implementa en dispositivos de borde. Supera consistentemente a Mobile-SAM en diversas combinaciones de sugerencias y conjuntos de datos, demostrando su eficacia para aplicaciones del mundo real. EdgeSAM, optimizado para implementación en dispositivos de borde, es más de 40 veces más rápido en NVIDIA 2080 Ti y aproximadamente 14 veces más rápido en un iPhone 14 en comparación con SAM y MobileSAM, respectivamente. La introducción de la destilación de conocimiento con sugerencias en el proceso y una red de propuesta de región liviana mejoran significativamente el rendimiento.

En conclusión, los aspectos más destacados de la investigación se pueden resumir en los siguientes puntos:

• EdgeSAM es una variante optimizada de SAM.
• Está diseñado para implementarse en dispositivos de borde como teléfonos inteligentes en tiempo real.
• En comparación con SAM original, EdgeSAM es 40 veces más rápido.
• Supera Mobile-SAM 14 veces en dispositivos de borde.
• Mejora significativamente los mIoUs en los conjuntos de datos COCO y LVIS.
• EdgeSAM integra una estrategia dinámica de destilación de conocimiento con sugerencias y un módulo liviano para abordar el sesgo en los conjuntos de datos.
• El estudio explora varias configuraciones de entrenamiento, tipos de sugerencias y enfoques de congelación.
• También se introduce una red de propuesta de región liviana que aprovecha las prioridades de granularidad.

We will continue to update Zepes; if you have any questions or suggestions, please contact us!