RepVGG Una explicación detallada para la reparametrización estructural

RepVGG Una explicación detallada sobre la reparametrización estructural

Desmitificando RepVGG: Revelando los Secretos de la Re-parametrización Estructural

— ¿Por qué estoy escribiendo este artículo sobre RepVGG cuando ya hay varios recursos excelentes disponibles?

— La respuesta radica en la perspectiva única que pretendo proporcionar.

— Mientras que otros artículos pueden tocar conceptos similares o mostrar la velocidad de inferencia del código, mi enfoque se centra en brindar una comprensión completa de la parametrización estructural a nivel conceptual.

Profundizaré en los detalles intrincados de cómo estas convoluciones de 1×1 se parametrizan aún más en convoluciones de 3×3 y cómo el atajo de identidad se transforma en una convolución de 1×1. Este artículo tiene como objetivo proporcionar una ilustración exhaustiva que cubra el vacío en las explicaciones existentes. En nuestra modificación de la arquitectura original de VGG, introdujimos ramas residuales y ramas convolucionales de 1×1. Estas adiciones se hicieron con la intención de permitir una re-parametrización estructural posterior en un único camino. Para facilitar esta transformación, ajustamos cuidadosamente la ubicación de estas ramas sin introducir conexiones entre capas. En términos generales, el modelo RepVGG utilizado en el entrenamiento consta de tres caminos: convoluciones convencionales (conv_3x3), convoluciones de 1×1 (conv_1x1) y un camino de identidad. Cada uno de estos caminos está acompañado de capas de normalización por lotes (BN). En las siguientes secciones, proporcionaremos una explicación detallada de cómo se fusionan estos tres caminos en una unidad de convolución unificada conv_3x3 durante la inferencia.

• Las Difusores de Hugging Face ahora pueden cargar correctamente LoRA
• Rompiendo barreras en la adaptación de dominio sin fuente el impacto de NOTELA en los dominios de bioacústica y visión
• ¿Cómo le explicarías el Aprendizaje Automático a un niño de 9 años?

Fusionando conv_1x1 y conv_3x3

Primero revisemos el proceso conv_3x3:

Solo para explicar en detalle, supongamos que el tamaño del mapa de características de entrada es (1, 2, 3, 3), lo que significa que el tamaño del lote es 1, el canal es 2 y la dimensión de la característica es 3 por 3. El tamaño del mapa de características de salida es igual al tamaño del mapa de características de entrada y la longitud del paso es…

We will continue to update Zepes; if you have any questions or suggestions, please contact us!