Investigadores de Apple presentan DeepPCR Un novedoso algoritmo de aprendizaje automático que paraleliza operaciones típicamente secuenciales para acelerar la inferencia y el entrenamiento de redes neuronales.

Investigadores de Apple presentan DeepPCR Un algoritmo de aprendizaje automático innovador que paraleliza operaciones secuenciales típicas para acelerar la inferencia y el entrenamiento de redes neuronales

Se han logrado varias innovaciones gracias a los avances en el campo de la Inteligencia Artificial y el Aprendizaje Profundo. Tareas complejas como la síntesis de texto o imágenes, la segmentación y la clasificación se gestionan con éxito con la ayuda de redes neuronales. Sin embargo, entrenar una red neuronal puede llevar días o semanas para obtener resultados adecuados debido a sus demandas computacionales. La inferencia en modelos pre-entrenados también puede ser lenta, especialmente para diseños complicados.

Técnicas de paralelización aceleran tanto el entrenamiento como la inferencia en redes neuronales profundas. Aunque se utilizan ampliamente estos métodos, algunas operaciones en las redes neuronales aún se realizan de forma secuencial. Los modelos de difusión generan resultados a través de una sucesión de etapas de eliminación de ruido, y los pases hacia adelante y hacia atrás ocurren capa por capa. A medida que aumenta el número de pasos, la ejecución secuencial de estos procesos se vuelve computacionalmente costosa, lo que puede resultar en un cuello de botella computacional.

Para abordar este problema, un equipo de investigadores de Apple ha introducido DeepPCR, un algoritmo único que busca acelerar el entrenamiento e inferencia de redes neuronales. DeepPCR funciona al percibir una serie de L pasos como la solución a un cierto conjunto de ecuaciones. El equipo ha utilizado el algoritmo PCR (Parallel Cyclic Reduction) para obtener esta solución. La principal ventaja de DeepPCR es reducir el costo computacional de los procesos secuenciales de O(L) a O(log2 L). Esto aumenta la velocidad, especialmente para valores altos de L.

• Benchmarking Rust Compiler Settings with Criterion’ – ‘Comparando la configuración del compilador Rust con Criterion
• ¿Cuántos datos necesitamos? Equilibrando el aprendizaje automático con consideraciones de seguridad
• Los adolescentes se esfuerzan por ampliar la alfabetización en IA

El equipo ha llevado a cabo experimentos para verificar las afirmaciones teóricas sobre la disminución de complejidad de DeepPCR y determinar las condiciones para una aceleración. Lograron aceleraciones de hasta 30× para el pase hacia adelante y 200× para el pase hacia atrás al aplicar DeepPCR para paralelizar el pase hacia adelante y hacia atrás en perceptrones multicapa.

El equipo también ha demostrado la adaptabilidad de DeepPCR utilizando el algoritmo para entrenar ResNets con 1024 capas. El entrenamiento puede completarse hasta 7 veces más rápido gracias a DeepPCR. La técnica se utiliza en la fase de generación de modelos de difusión, logrando una generación 11 veces más rápida que el enfoque secuencial.

El equipo ha resumido sus principales contribuciones de la siguiente manera.

1. Se ha introducido DeepPCR, un enfoque innovador para paralelizar procesos secuenciales en el entrenamiento e inferencia de redes neuronales. Su característica principal es su capacidad para reducir la complejidad computacional de O(L) a O(log2 L), donde L es la longitud de la secuencia.

1. Se ha utilizado DeepPCR para paralelizar los pases hacia adelante y hacia atrás en perceptrones multicapa (MLPs). También se ha realizado un análisis exhaustivo del rendimiento de la tecnología para identificar los regímenes de alto rendimiento del método teniendo en cuenta los parámetros de diseño básicos. El estudio también investiga los compromisos entre velocidad, corrección de la solución y uso de memoria.

1. Se ha utilizado DeepPCR para acelerar el entrenamiento de Deep ResNet en MNIST y la generación en modelos de difusión entrenados en conjuntos de datos de MNIST, CIFAR-10 y CelebA. Los resultados han demostrado que aunque DeepPCR muestra una aceleración significativa y mejora en la generación de datos hasta 7 veces más rápido para el entrenamiento de ResNet y 11 veces más rápido para la creación de modelos de difusión, aún produce resultados comparables a las técnicas secuenciales.

We will continue to update Zepes; if you have any questions or suggestions, please contact us!