Una nueva investigación de AI de Apple y Equall AI revela redundancias en la arquitectura de Transformer Cómo optimizar la red de avance de alimentación mejora la eficiencia y la precisión

Investigación AI de Apple y Equall AI descubre redundancias en la arquitectura de Transformer y cómo optimizar la red de avance de alimentación para mejorar eficiencia y precisión.

El diseño del Transformer que se ha vuelto popular recientemente ha tomado el control como el método estándar para las actividades de Procesamiento del Lenguaje Natural (NLP), especialmente la Traducción Automática (MT). Esta arquitectura ha mostrado impresionantes cualidades de escalabilidad, lo que significa que agregar más parámetros del modelo resulta en un mejor rendimiento en una variedad de tareas de NLP. Varios estudios e investigaciones han validado esta observación. Aunque los transformers destacan en términos de escalabilidad, también hay un movimiento paralelo para hacer que estos modelos sean más efectivos y desplegables en el mundo real. Esto implica solucionar problemas de latencia, uso de memoria y espacio en disco.

Los investigadores han estado investigando activamente métodos para abordar estos problemas, incluyendo la reducción de componentes, compartir parámetros y reducción de dimensionalidad. La arquitectura del Transformer ampliamente utilizada consta de varias partes esenciales, de las cuales dos de las más importantes son la Red Neuronal de Alimentación Directa (FFN) y la Atención.

1. Atención – El mecanismo de Atención permite que el modelo capture las relaciones y dependencias entre las palabras en una oración, independientemente de sus posiciones. Funciona como una especie de mecanismo para ayudar al modelo a determinar qué partes del texto de entrada son más pertinentes para cada palabra que está analizando en ese momento. La comprensión del contexto y las conexiones entre las palabras en una frase depende de esto.

1. Red Neuronal de Alimentación Directa (FFN): El FFN se encarga de transformar no linealmente cada token de entrada de manera independiente. Agrega complejidad y expresividad a la comprensión del modelo de cada palabra al realizar operaciones matemáticas específicas en la representación de cada palabra.

En una investigación reciente, un equipo de investigadores se ha centrado en investigar el papel del FFN dentro de la arquitectura del Transformer. Han descubierto que el FFN muestra un alto nivel de redundancia siendo un componente grande del modelo y consumiendo un número significativo de parámetros. Han encontrado que podrían reducir la cantidad de parámetros del modelo sin comprometer significativamente la precisión. Han logrado esto eliminando el FFN de las capas del decodificador y en su lugar utilizando un solo FFN compartido en las capas del codificador.

• 10 Mejores Herramientas de Extracción de Datos (Septiembre 2023)
• Datos de satélite, incendios forestales y IA Protegiendo la industria vitivinícola ante los desafíos climáticos
• Cómo crear gráficos de mapas con Plotly

1. Capas de Decodificador: Cada codificador y decodificador en un modelo Transformer estándar tiene su propio FFN. Los investigadores eliminaron el FFN de las capas del decodificador.

1. Capas de Codificador: Utilizaron un solo FFN que era compartido por todas las capas del codificador en lugar de tener FFNs individuales para cada capa del codificador.

Los investigadores han compartido los beneficios que han acompañado a este enfoque, que son los siguientes.

1. Reducción de Parámetros: Han reducido drásticamente la cantidad de parámetros en el modelo al eliminar y compartir los componentes del FFN.

1. La precisión del modelo solo disminuyó en una cantidad modesta a pesar de eliminar una cantidad considerable de sus parámetros. Esto demuestra que los numerosos FFNs del codificador y el FFN del decodificador tienen cierto grado de redundancia funcional.

1. Reducción: Ampliaron la dimensión oculta del FFN compartido para restaurar la arquitectura a su tamaño anterior, manteniendo o incluso mejorando el rendimiento del modelo. En comparación con el modelo Transformer a gran escala anterior, esto resultó en mejoras considerablemente en la precisión y la velocidad de procesamiento del modelo, es decir, la latencia.

En conclusión, esta investigación muestra que la Red Neuronal de Alimentación Directa en el diseño del Transformer, especialmente en los niveles del decodificador, puede ser simplificada y compartida sin afectar significativamente el rendimiento del modelo. Esto no solo reduce la carga computacional del modelo, sino que también mejora su eficacia y aplicabilidad para diversas aplicaciones de NLP.

We will continue to update Zepes; if you have any questions or suggestions, please contact us!