Detección de objetos en tiempo real con SSD Detectores de cuadro único multibosque

Detección en tiempo real de objetos con SSD Detectores de cuadro único multibosque

Introducción

En la detección de objetos en tiempo real, el paradigma prevaleciente ha abrazado tradicionalmente metodologías de múltiples pasos, que incluyen la propuesta de cajas delimitadoras, remuestreo de píxeles o características, y aplicaciones de clasificadores de alta calidad. Si bien este enfoque ha logrado una alta precisión, sus demandas computacionales a menudo han dificultado su idoneidad para aplicaciones en tiempo real. Sin embargo, el Detector de Cajas Múltiples de Disparo Único (SSD, por sus siglas en inglés) representa un salto innovador en la detección de objetos basada en el aprendizaje profundo. SSD mantiene una precisión excepcional al mejorar sustancialmente la velocidad de detección al eliminar la necesidad de remuestrear píxeles o características en la etapa de propuesta de cajas delimitadoras. En su lugar, SSD predice directamente las categorías de los objetos y los desplazamientos de las cajas delimitadoras utilizando filtros convolucionales pequeños en mapas de características.

Los investigadores han intentado crear detectores más rápidos optimizando diferentes etapas de este proceso, pero generalmente esto resulta en una disminución de la precisión. Sin embargo, este artículo presenta un innovador detector de objetos basado en el aprendizaje profundo llamado SSD (Detector de Cajas Múltiples de Disparo Único) que mantiene la precisión al tiempo que mejora significativamente la velocidad. SSD logra esto al eliminar la necesidad de remuestrear píxeles o características para las propuestas de cajas delimitadoras. En cambio, predice directamente las categorías de los objetos y los desplazamientos de las cajas delimitadoras utilizando pequeños filtros convolucionales aplicados a mapas de características.

Objetivos de aprendizaje

• Comprender los principios y la arquitectura de SSD para la detección de objetos en imágenes y videos.
• Explorar las ventajas de SSD sobre los modelos tradicionales de detección de objetos en términos de velocidad y precisión.
• Comprender el concepto de cajas delimitadoras predeterminadas y su papel en la detección de objetos a varias escalas con SSD.
• Obtener información sobre las diversas aplicaciones e industrias que se benefician de las eficientes capacidades de detección de objetos de SSD.

Este artículo fue publicado como parte del Data Science Blogathon.

• ¿No hay ‘ciencia’ en la ciencia de datos?
• Cómo Reveal’s Logikcull utilizó Amazon Comprehend para detectar y redactar información de identificación personal (PII) de documentos legales a gran escala.
• Grupo de noticias dice que los chatbots de inteligencia artificial dependen en gran medida del contenido de noticias

¿Qué es un Detector de Cajas de Disparo Único (SSD)?

Un Detector de Cajas de Disparo Único (SSD) es un innovador algoritmo de detección de objetos en visión por computadora. Se destaca por su capacidad para detectar y localizar rápidamente y con precisión objetos en imágenes o cuadros de video. Lo que distingue a SSD es su capacidad para lograr esto en un solo paso de una red neuronal profunda, lo que lo hace excepcionalmente eficiente e ideal para aplicaciones en tiempo real.

SSD logra esto mediante el uso de cajas de anclaje de diferentes relaciones de aspecto en múltiples ubicaciones en mapas de características. Estas cajas de anclaje le permiten manejar objetos de diferentes tamaños y formas de manera efectiva. Además, SSD utiliza mapas de características a múltiples escalas para detectar objetos en varias escalas, asegurando que tanto los objetos pequeños como los grandes en la imagen sean identificados con precisión. Con su capacidad para detectar simultáneamente múltiples clases de objetos, SSD es una herramienta valiosa para tareas que involucran numerosas categorías de objetos en una sola imagen. Su equilibrio entre velocidad y precisión lo ha convertido en una opción popular en aplicaciones como la detección de peatones y vehículos, así como la detección de objetos más amplia en campos como la conducción autónoma, la vigilancia y la robótica.

SSD es conocido por su capacidad para realizar la detección de objetos en tiempo real y ha sido ampliamente adoptado en diversas aplicaciones, incluyendo la conducción autónoma, la vigilancia y la realidad aumentada.

Características clave de SSD

• Disparo Único: A diferencia de algunos modelos tradicionales de detección de objetos que utilizan un enfoque de dos etapas (primero proponiendo regiones de interés y luego clasificando esas regiones), SSD realiza la detección de objetos en un solo paso a través de la red. Predice directamente la presencia de objetos y las coordenadas de sus cajas delimitadoras en un solo disparo, lo que lo hace más rápido y eficiente.
• MultiBox: SSD utiliza un conjunto de cajas delimitadoras predeterminadas (cajas ancla) de diferentes escalas y relaciones de aspecto en múltiples ubicaciones en la imagen de entrada. Estas cajas predeterminadas sirven como conocimiento previo sobre dónde es probable que aparezcan los objetos. SSD predice ajustes a estas cajas predeterminadas para localizar objetos con precisión.
• Detección a Múltiples Escalas: SSD trabaja en múltiples mapas de características con diferentes resoluciones, lo que le permite detectar objetos de varios tamaños. Se realizan predicciones en diferentes escalas para capturar objetos en diferentes niveles de detalle.
• Puntuaciones de Clase: SSD no solo predice las coordenadas de las cajas delimitadoras, sino que también asigna puntuaciones de clase a cada caja predeterminada, indicando la probabilidad de que un objeto pertenezca a una categoría específica (por ejemplo, automóvil, peatón, bicicleta).
• Entrenamiento con Minería de Negativos Difíciles: Durante el entrenamiento, SSD utiliza la minería de negativos difíciles para centrarse en ejemplos desafiantes, mejorando la precisión del modelo.

¿Cuáles son los Conceptos Clave del SSD?

El Single Shot MultiBox Detector (SSD) es un modelo de detección de objetos complejo con varios conceptos clave que permiten su rendimiento eficiente y preciso. Aquí están los conceptos clave en SSD:

• Cajas delimitadoras predeterminadas (Anchor Boxes): SSD utiliza un conjunto predefinido de cajas de delimitación predeterminadas, también conocidas como cajas ancla. Estas cajas vienen en varias escalas y relaciones de aspecto, proporcionando conocimiento previo sobre dónde es probable que se encuentren los objetos en la imagen. SSD predice ajustes a estas cajas predeterminadas para localizar los objetos con precisión.

• Mapas de características a varias escalas: SSD opera en múltiples mapas de características a diferentes resoluciones. Se obtienen estos mapas de características aplicando capas convolucionales a la imagen de entrada en varias etapas. El uso de mapas de características a varias escalas permite a SSD detectar objetos de diferentes tamaños.
• Predicciones a varias escalas: Para cada caja de delimitación predeterminada, SSD realiza predicciones en múltiples capas de mapas de características con diferentes resoluciones. Esto permite que el modelo capture objetos de diversas escalas. Estas predicciones incluyen puntajes de clase para diferentes categorías de objetos y desplazamientos para ajustar las cajas predeterminadas a las posiciones de los objetos.
• Manejo de relaciones de aspecto: SSD utiliza predictores separados (filtros convolucionales) para diferentes relaciones de aspecto de cajas delimitadoras. Esto le permite adaptarse a objetos con formas y relaciones de aspecto variables.

Arquitectura del SSD

La arquitectura del Single Shot MultiBox Detector es una red neuronal convolucional profunda (CNN) para la detección de objetos en tiempo real. Combina varias capas para realizar la localización (predicción de cajas delimitadoras) y la clasificación (predicción de categoría de objetos) en un solo pase hacia adelante.

El Single Shot MultiBox Detector (SSD) es un framework de detección de objetos robusto basado en una red neuronal convolucional de alimentación directa (CNN). Se diseña la arquitectura de SSD para generar un conjunto fijo de cajas delimitadoras y puntajes asociados, indicando la presencia de instancias de clases de objetos en esas cajas.

Componentes y Características Críticas

A continuación se explica los componentes y características críticas del enfoque SSD:

Red Base (Truncada para la Clasificación): SSD comienza con una arquitectura de CNN estándar, que generalmente se utiliza para tareas de clasificación de imágenes de alta calidad. Sin embargo, en SSD, esta red base se trunca antes de cualquier capa de clasificación. La red base se encarga de extraer características esenciales de la imagen de entrada.

• Mapas de Características a Varias Escalas: Se agregan capas convolucionales adicionales a la red base truncada. Estas capas reducen progresivamente las dimensiones espaciales mientras aumentan el número de canales (canales de características). Este diseño permite que SSD produzca mapas de características a varias escalas. El mapa de características de cada escala es adecuado para detectar objetos de diferentes tamaños.

• Cajas delimitadoras predeterminadas (Anchor Boxes): SSD asocia un conjunto predefinido de cajas delimitadoras predeterminadas (cajas ancla) con cada celda de mapa de características. Estas cajas predeterminadas tienen diversas escalas y relaciones de aspecto. La ubicación de las cajas predeterminadas en relación a su celda correspondiente es fija y sigue un patrón de rejilla convolucional. Para cada celda de mapa de características, SSD predice los desplazamientos necesarios para ajustar estas cajas predeterminadas a los objetos y los puntajes de clase que indican la presencia de categorías de objetos específicas.

• Relaciones de Aspecto y Múltiples Mapas de Características: SSD emplea cajas delimitadoras predeterminadas con diferentes relaciones de aspecto y las utiliza en múltiples mapas de características con diversas resoluciones. Este enfoque captura eficientemente una gama de posibles formas y tamaños de objetos. A diferencia de otros modelos, SSD no depende de una capa totalmente conectada intermedia para predicciones, sino que utiliza filtros convolucionales directamente.

¿Cómo funciona SSD?

1. Abre el Cuaderno: Ve a Google Colab (colab.research.google.com) y abre el cuaderno.
2. Ve al Menú de Tiempo de Ejecución: Haz clic en la opción “Tiempo de Ejecución” en el menú de la parte superior.
3. Selecciona Cambiar tipo de tiempo de ejecución: Haz clic en “Cambiar tipo de tiempo de ejecución” en el menú desplegable.
4. Elige Acelerador de Hardware: Aparecerá una ventana emergente. En esta ventana, selecciona “GPU” en el menú desplegable “Acelerador de hardware”.
5. Guarda los Cambios: Haz clic en “GUARDAR” para aplicar los cambios.

%%bashpip install numpy scipy scikit-image matplotlib

Salida:

Modelo preentrenado: cargar un modelo SSD (Single Shot Multibox Detector) preentrenado en el conjunto de datos COCO utilizando un framework de aprendizaje profundo como TensorFlow o PyTorch requiere una implementación de código específica y acceso a las bibliotecas y repositorios de modelos respectivos.

import torchssd_model = torch.hub.load('NVIDIA/DeepLearningExamples:torchhub', 'nvidia_ssd')utils = torch.hub.load('NVIDIA/DeepLearningExamples:torchhub', 'nvidia_ssd_processing_utils')

Salida:

ssd_model.to('cuda')ssd_model.eval()

Carga de imagen: Para preparar las imágenes de entrada para la detección de objetos, deberás cargarlas, convertirlas a un formato compatible con el modelo de detección de objetos elegido, y luego realizar inferencias en esas imágenes.

urls =["https://farm5.staticflickr.com/4080/4951482119_0ecd88aa33_z.jpg"]inputs = [utils.prepare_input(uri) for uri in urls]tensor = utils.prepare_tensor(inputs)

Ejecutar el modelo: Ejecutar la red SSD para realizar la detección de objetos.

with torch.no_grad():    detections_batch = ssd_model(tensor)        results_per_input = utils.decode_results(detections_batch)best_results_per_input = [utils.pick_best(results, 0.40) for results in results_per_input]

Entrenar con una imagen: Para acceder a las anotaciones del conjunto de datos COCO y asignar identificadores de clase a nombres de objetos, puedes usar la API de COCO. La API de COCO te permite obtener información sobre el conjunto de datos COCO, incluyendo las categorías de objetos y sus etiquetas correspondientes.

classes_to_labels = utils.get_coco_object_dictionary()

Mostrar la prediccion: Para visualizar las detecciones en la imagen utilizando las etiquetas de categoría del conjunto de datos COCO.

from matplotlib import pyplot as pltimport matplotlib.patches as patchesfor image_idx in range(len(best_results_per_input)):    fig, ax = plt.subplots(1)    # Mostrar la imagen original desnormalizada    image = inputs[image_idx] / 2 + 0.5    ax.imshow(image)    # ... con detecciones    bboxes, classes, confidences = best_results_per_input[image_idx]    for idx in range(len(bboxes)):        left, bot, right, top = bboxes[idx]        x, y, w, h = [val * 300 for val in [left, bot, right - left, top - bot]]        rect = patches.Rectangle((x, y), w, h, linewidth=1, edgecolor='r',\         facecolor='none')        ax.add_patch(rect)        ax.text(x, y, "{} {:.0f}%".format(classes_to_labels[classes[idx] - 1],\         confidences[idx]*100), bbox=dict(facecolor='white', alpha=0.5))plt.show()

Salida:

Entrenamiento del Método SSD

• Asignación de la información de verdad fundamental: En SSD, asignamos la información de verdad fundamental, es decir, las ubicaciones y categorías reales de los objetos, a salidas específicas dentro del conjunto fijo de salidas del detector. Este proceso es crucial para entrenar al modelo para que reconozca los objetos correctamente.
• Estrategia de coincidencia: Durante el entrenamiento, SSD asigna cada caja de verdad fundamental a las cajas predeterminadas en función de la mejor superposición de Jaccard. La superposición de Jaccard mide cuánto se superpone la caja predicha con la caja de verdad fundamental. Cualquier caja predeterminada con una superposición de Jaccard mayor que un umbral (normalmente 0,5) con una caja de verdad fundamental se considera una coincidencia. A diferencia de otros métodos, como MultiBox, SSD permite que varias cajas predeterminadas coincidan con una sola caja de verdad fundamental si su superposición de Jaccard supera el umbral. Esto simplifica el problema de aprendizaje, ya que el modelo puede predecir altas puntuaciones para múltiples cajas predeterminadas superpuestas en lugar de verse obligado a seleccionar solo una.
• Objetivo de entrenamiento: El objetivo de entrenamiento para SSD se deriva del objetivo de MultiBox, pero se extiende para manejar múltiples categorías de objetos. Incluye tanto una pérdida de localización (loc) como una pérdida de confianza (conf):

Salidas del Detector

En SSD, la información de verdad (es decir, las ubicaciones y categorías reales del objeto) debe asignarse a salidas específicas en el conjunto fijo de salidas del detector.

• Pérdida de Localización (Lloc): Esta pérdida mide la diferencia entre los parámetros de la caja predicha (por ejemplo, las coordenadas de la caja) y los parámetros de verdad de la caja. Utiliza una función de pérdida Smooth L1.
• Pérdida de Confianza (Lconf): Calcula la pérdida de confianza utilizando una función de pérdida softmax para varias clases. Mide la diferencia entre las puntuaciones de clase predichas y las etiquetas de clase reales. La función de pérdida global es una suma ponderada de las pérdidas de localización y confianza.
• Minería de Negativos Difíciles: Para abordar el desequilibrio entre ejemplos positivos (coincidentes) y negativos (no coincidentes) durante el entrenamiento, SSD utiliza la minería negativa difícil. Se selecciona un subconjunto de ejemplos negativos en función de la pérdida de confianza más alta para cada caja predeterminada. El objetivo es mantener una proporción razonable entre negativos y positivos (normalmente alrededor de 3:1) para un entrenamiento más eficiente y estable.
• Aumento de Datos: Aplica aumento de datos para hacer que el modelo sea más robusto ante diferentes tamaños y formas de objetos de entrada. Durante el entrenamiento, cada imagen de entrada puede estar sujeta a múltiples transformaciones, incluyendo recorte, redimensionamiento y volteo horizontal. Estas mejoras ayudan al modelo a generalizar mejor a escenarios del mundo real.

En general, el proceso de entrenamiento de SSD implica asignar información de verdad a cajas predeterminadas, definir un objetivo de entrenamiento que incluya tanto pérdidas de localización como de confianza, seleccionar cuidadosamente las escalas y relaciones de aspecto de las cajas predeterminadas, manejar ejemplos positivos y negativos desequilibrados, y aumentar los datos para mejorar la robustez del modelo.

Comparaciones con Otros Modelos de Detección de Objetos

SSD se destaca por su rendimiento en tiempo real, simplicidad y un buen equilibrio entre precisión y velocidad. Es adecuado para muchas aplicaciones, especialmente aquellas que requieren detección eficiente de objetos en tiempo real o casi en tiempo real. Sin embargo, para tareas que exigen los niveles más altos de precisión, modelos como Faster R-CNN, RetinaNet o Cascade R-CNN pueden ser más adecuados a pesar de sus mayores requisitos computacionales. La elección del modelo depende de los requisitos y limitaciones específicas de la aplicación.

Aplicaciones de los SSD

• Vehículos Autónomos: Úselo para la detección de objetos en tiempo real en autos autónomos para identificar peatones, vehículos y obstáculos en la carretera.
• Sistemas de Vigilancia: Emplee sistemas de seguridad y vigilancia para detectar y rastrear intrusos o actividades sospechosas dentro de un área monitoreada.
• Analítica Minorista: Los minoristas utilizan SSD para monitorear los estantes de la tienda para la gestión de inventario, identificar el comportamiento del cliente y analizar los patrones de compra.
• Automatización Industrial: En entornos de fabricación, SSD ayuda en el control de calidad al identificar defectos en productos en la línea de producción.
• Aplicaciones de Drones: Los drones equipados con SSD pueden realizar tareas como operaciones de búsqueda y rescate, monitoreo agrícola e inspección de infraestructuras mediante la detección de objetos o anomalías desde el aire.

Desafíos y Limitaciones de los SSD

La principal limitación de SSD es su dificultad para detectar con precisión objetos pequeños, objetos fuertemente ocultos o objetos con relaciones de aspecto extremas, lo cual puede afectar su rendimiento en ciertos escenarios.

• Detección de Objetos Pequeños: Una de las limitaciones principales de SSD es su efectividad en la detección de objetos pequeños. Los objetos pequeños pueden plantear desafíos de precisión en la detección debido a que las cajas de anclaje no representan efectivamente su tamaño y forma dentro de las pirámides de características.
• Fondos Complejos: Los objetos colocados contra fondos complejos o desordenados pueden plantear desafíos para los SSD. El modelo podría generar falsos positivos o clasificar incorrectamente los objetos debido a información visual confusa en los alrededores.
• Un equilibrio entre Velocidad y Precisión: Si bien SSD se destaca en velocidad, lograr una precisión de primer nivel puede requerir sacrificios. En aplicaciones donde la precisión es crítica, sacrificar velocidad puede llevar a preferir métodos de detección de objetos alternativos y más precisos. Si deseamos una predicción rápida, se utiliza SSD, pero con menor precisión.
• Personalización Laboriosa: Ajustar los SSD para aplicaciones específicas puede requerir mucho tiempo y recursos. La personalización y optimización para adaptarse a casos de uso particulares pueden requerir experiencia en aprendizaje profundo.

Proyecto sobre SSD

Protección de manos para máquinas trituradoras: El uso de SSD (Single Shot MultiBox Detector, por sus siglas en inglés) en el proyecto es significativo, ya que forma la base del modelo de detección de objetos utilizado para identificar y rastrear las manos cerca de las máquinas trituradoras. Así es como se utiliza SSD en el proyecto:

Para obtener el código fuente del proyecto, clona el repositorio:

git clone https://github.com/NeHa77A/Shredder-Machine-Hand-Protection.git

• Detección de objetos: SSD se utiliza como el framework de detección de objetos para identificar y localizar manos en datos de video en tiempo real. Es especialmente adecuado para esta tarea, ya que ofrece alta precisión e inferencia eficiente, lo cual es crucial para detectar rápidamente las manos cerca de la trituradora.
• Procesamiento en tiempo real: Asegura que el sistema pueda reaccionar rápidamente ante posibles riesgos de seguridad. Permite la identificación rápida y precisa de manos, lo que permite que el sistema emita advertencias y active apagones en milisegundos.
• Personalización: Las SSD se pueden ajustar y personalizar según los requisitos específicos del proyecto. Al entrenar el modelo SSD con datos anotados de trabajadores que operan máquinas trituradoras, puede adaptarse a diversas condiciones de trabajo y diseños de máquinas.
• Precisión y precisión: SSD se destaca por proporcionar una detección precisa y precisa de objetos. Esto es crucial para distinguir las manos de otros objetos o elementos de fondo en la transmisión de video, asegurando que las medidas de seguridad se activen solo cuando sea necesario.
• Efficiencia: La eficiencia de SSD es esencial para mantener el rendimiento del sistema. Está optimizado para ejecutarse en diversas plataformas de hardware, lo que lo convierte en una opción ideal para implementarse en un entorno industrial.

En resumen, SSD es fundamental para el proyecto, ya que es la base del modelo de detección de objetos. Su capacidad de procesamiento en tiempo real, precisión y personalización permiten que el sistema de seguridad detecte y responda eficazmente a posibles lesiones en las manos cerca de las máquinas trituradoras.

Estudios de casos del mundo real

• Conducción autónoma: Los automóviles autónomos de Tesla utilizan SSD y otras técnicas de visión por computadora para detectar y clasificar objetos en la carretera, como peatones, vehículos y señales de tráfico. Esta tecnología es crucial para lograr capacidades avanzadas de asistencia al conductor y conducción completamente autónoma.
• Seguridad del aeropuerto: Los aeropuertos utilizan sistemas de vigilancia basados en SSD para monitorear a los pasajeros y el equipaje. SSD ayuda a identificar objetos sospechosos, equipaje abandonado y actividades inusuales, mejorando las medidas de seguridad.
• Gestión de inventario minorista: Los minoristas utilizan SSD para la gestión de inventario, lo que permite contar rápidamente y con precisión los productos en los estantes de la tienda. Ayuda a realizar un seguimiento de los niveles de stock y prevenir discrepancias en el inventario.
• Automatización industrial: Control de calidad en la fabricación: Las industrias manufactureras utilizan SSD para garantizar la calidad del producto. Se aplica en la inspección de productos en busca de defectos, verificación de la ubicación de etiquetas y detección de contaminación en la línea de producción.
• Líneas de ensamblaje robótico: En robótica, se utiliza SSD para identificar y ubicar objetos en entornos dinámicos. Esto es particularmente útil en operaciones de selección y colocación y otras tareas robóticas.

Estos ejemplos del mundo real demuestran la versatilidad y la importancia de las SSD en diversas industrias.

Conclusión

En conclusión, SSD es un modelo de detección de objetos innovador que combina velocidad y precisión. El uso innovador de SSD de predicciones de cuadros delimitadores convolucionales a múltiples escalas le permite capturar objetos de diferentes formas y tamaños de manera eficiente. Introducir una cantidad mayor de cuadros delimitadores predeterminados cuidadosamente seleccionados mejora su adaptabilidad y rendimiento.

SSD es una solución de detección de objetos versátil y autónoma, y una base para sistemas más grandes. Equilibra la velocidad y la precisión, lo que lo hace valioso para la detección, seguimiento y reconocimiento de objetos en tiempo real. En general, SSD representa un avance significativo en la visión por computadora, abordando eficientemente los desafíos de las aplicaciones modernas.

Puntos clave

• Los resultados empíricos demuestran que SSD a menudo supera a los modelos tradicionales de detección de objetos en términos de precisión y velocidad.
• SSD utiliza un enfoque a múltiples escalas, lo que le permite detectar objetos de varios tamaños dentro de la misma imagen de manera eficiente.
• SSD es una herramienta versátil para diversas aplicaciones de visión por computadora.
• SSD es reconocido por su capacidad de detección de objetos en tiempo real o casi en tiempo real.
• El uso de una cantidad mayor de cuadros predeterminados permite que SSD se adapte mejor a escenas complejas y variaciones de objetos desafiantes.

Preguntas frecuentes

Los medios mostrados en este artículo no son propiedad de Analytics Vidhya y se utilizan a discreción del autor.

We will continue to update Zepes; if you have any questions or suggestions, please contact us!