Funciones de Activación y No Linealidad Redes Neuronales 101

Fundamentos de las Funciones de Activación y No Linealidad en Redes Neuronales

Explicando por qué las redes neuronales pueden aprender (casi) cualquier cosa

Antecedentes

En mi artículo anterior, presentamos el perceptrón multicapa (MLP), que es simplemente un conjunto de perceptrones interconectados apilados. Le recomiendo encarecidamente que consulte mi publicación anterior si no está familiarizado con el perceptrón y MLP, ya que los discutiremos bastante en este artículo:

Introducción, Perceptrón y Arquitectura: Redes Neuronales 101

Una introducción a las redes neuronales y sus bloques de construcción

levelup.gitconnected.com

A continuación se muestra un ejemplo MLP con dos capas ocultas:

• El Equilibrio entre la Complejidad y la Verdad Absoluta en la Inteligencia Artificial Lo que Necesitas Saber
• Esta investigación de IA propone SMPLer-X Un modelo de base generalista para captura de movimiento humano en 3D/4D a partir de entradas monoculares.
• Dominando la integración de datos de los sistemas SAP con ingeniería rápida

Sin embargo, el problema con el MLP es que solo puede ajustar un clasificador lineal. Esto se debe a que los perceptrones individuales tienen una función escalón como su función de activación, que es lineal:

Entonces, aunque apilar nuestros perceptrones puede parecer una red neuronal moderna, ¡sigue siendo un clasificador lineal y no difiere mucho de la regresión lineal regular!

Otro problema es que no es completamente diferenciable en todo el rango del dominio.

Entonces, ¿qué hacemos al respecto?

¡Funciones de activación no lineales!

¿Por qué necesitamos no linealidad?

¿Qué es la linealidad?

Vamos a establecer rápidamente lo que significa linealidad para generar contexto. Matemáticamente, una función se considera lineal si cumple la siguiente condición:

También existe otra condición:

Pero, trabajaremos con la ecuación anterior para esta demostración.

Tomemos este caso muy simple:

We will continue to update Zepes; if you have any questions or suggestions, please contact us!