Algoritmos de optimización Redes neuronales 101

Optimización con Algoritmos en Redes Neuronales 101

Cómo mejorar el entrenamiento más allá del algoritmo de descenso de gradiente “vanilla”

Antecedentes

En mi último artículo, discutimos cómo puedes mejorar el rendimiento de las redes neuronales a través de la afinación de hiperparámetros:

Afinación de hiperparámetros: Redes neuronales 101

Cómo puedes mejorar el “aprendizaje” y “entrenamiento” de las redes neuronales mediante la afinación de hiperparámetros

towardsdatascience.com

Este es un proceso mediante el cual se ajustan los mejores hiperparámetros, como la tasa de aprendizaje y el número de capas ocultas, para encontrar los más óptimos para nuestra red y mejorar su rendimiento.

• BARD de Google puede ahora ‘Ver y Responder Preguntas’ sobre los videos de YouTube
• Investigadores de NVIDIA AI proponen Tied-Lora un nuevo enfoque de inteligencia artificial que tiene como objetivo mejorar la eficiencia de los parámetros de los métodos de adaptación de baja clasificación (LoRA)
• Dominando los Constructores de Pop-up para un Marketing Efectivo

Desafortunadamente, este proceso de afinación para redes neuronales profundas grandes (aprendizaje profundo) es extremadamente lento. Una forma de mejorar esto es utilizar optimizadores más rápidos que el método tradicional de descenso de gradiente “vanilla”. En este artículo, nos sumergiremos en los optimizadores más populares y sus variantes de descenso de gradiente que pueden mejorar la velocidad de entrenamiento y también la convergencia, ¡y los compararemos en PyTorch!

Si estás disfrutando de este artículo, ¡asegúrate de suscribirte a mi canal de YouTube!

Haz clic en el enlace para ver tutoriales en video que te enseñan conceptos fundamentales de ciencia de datos de manera fácil de digerir.

Egor Howell

Científico de datos que actualmente vive en Londres. ¡Comparto tutoriales de ciencia de datos, consejos y temas generales de tecnología! Conéctate con…

www.youtube.com

Repaso: Descenso de gradiente

Antes de sumergirnos, repasemos rápidamente nuestro conocimiento sobre el descenso de gradiente y la teoría que lo respalda.

El objetivo del descenso de gradiente es actualizar los parámetros del modelo restando el gradiente (derivada parcial) del parámetro respecto a la función de pérdida. Una tasa de aprendizaje, α, sirve para regular este proceso y garantizar que la actualización de los parámetros se realice en una escala razonable y no se sobrepase o se quede corta del valor óptimo.

• θ son los parámetros del modelo.

We will continue to update Zepes; if you have any questions or suggestions, please contact us!