GPT – Explicado de manera intuitiva y exhaustiva

GPT - Una explicación intuitiva y exhaustiva

Procesamiento del Lenguaje Natural | Aprendizaje Automático | Chat GPT

Explorando la arquitectura de los Transformers Generativos Previo al Entrenamiento de OpenAI.

En este artículo exploraremos la evolución de los modelos GPT de OpenAI. Hablaremos brevemente sobre el transformer, describiremos las variaciones del transformer que dieron lugar al primer modelo GPT, luego pasaremos por GPT1, GPT2, GPT3 y GPT4 para construir una comprensión conceptual completa del estado del arte.

¿Para quién es útil? Cualquier persona interesada en el procesamiento del lenguaje natural (NLP, por sus siglas en inglés) o los avances en IA de vanguardia.

¿Qué tan avanzado es este artículo? No es un artículo complejo, principalmente es conceptual. Dicho esto, hay muchos conceptos, por lo que puede parecer intimidante para científicos de datos menos experimentados.

Prerrequisitos: En este artículo hablaré brevemente sobre los transformers, pero puedes consultar mi artículo dedicado al tema para obtener más información.

• Creando Modelos Predictivos Regresión Logística en Python
• Construyendo Chatbots Inteligentes con Streamlit, OpenAI y Elasticsearch
• Curso gratuito de MIT TinyML y cómputo eficiente de aprendizaje profundo

Transformers: Explicados de manera intuitiva y exhaustiva

Explorando la ola moderna del aprendizaje automático: desmontando el transformer paso a paso

towardsdatascience.com

Una breve introducción a los Transformers

Antes de adentrarnos en GPT, quiero explicar brevemente qué es el transformer. En su sentido más básico, el transformer es un modelo de estilo codificador-decodificador.

<img alt="Un transformer trabajando en una tarea de traducción. La entrada (Soy un gerente) se comprime en una representación abstracta que codifica el significado de toda la entrada. El decodificador trabaja de forma recurrente, alimentándose a sí mismo, para construir la salida. De mi artículo sobre transformers

El codificador convierte una entrada en una representación abstracta que el decodificador utiliza para generar iterativamente la salida.

<img alt="Representación de alto nivel de cómo se relaciona la salida del codificador con el decodificador. El decodificador hace referencia a la entrada codificada en cada bucle recursivo de la salida. De mi artículo sobre transformers

Tanto el codificador como el decodificador utilizan representaciones abstractas del texto que se crean mediante la auto-atención con múltiples cabezas.

We will continue to update Zepes; if you have any questions or suggestions, please contact us!