Usa Deep Learning para generar nombres de personajes de fantasía Construye un modelo de lenguaje desde cero

Usa Deep Learning para generar nombres de personajes de fantasía y construye un modelo de lenguaje desde cero.

¿Puede un modelo de lenguaje inventar nombres de personajes de fantasía únicos? Vamos a construirlo desde cero

Para comprender verdaderamente las complejidades de los Modelos de Lenguaje (ML) y familiarizarnos con sus principios subyacentes, no hay otra forma que ponerse manos a la obra y empezar a escribir código. En este artículo, presento la creación de una Red Neuronal Recurrente (RNN) construida completamente desde cero, sin la ayuda de ninguna biblioteca de aprendizaje profundo.

Tensorflow, Keras, Pytorch hacen que la construcción de redes neuronales profundas y complejas sea sencilla. Sin duda, esta es una gran ventaja para los practicantes de Aprendizaje Automático, sin embargo, este enfoque tiene la desventaja masiva de dejar el funcionamiento de esas redes poco claro, ya que ocurren “bajo el capó”.

Por esta razón, hoy realizaremos el inspirador ejercicio de construir un Modelo de Lenguaje utilizando solo la biblioteca Numpy de Python.

Entendiendo las Redes Neuronales Recurrentes y los Modelos de Lenguaje

Las redes neuronales completamente conectadas estándar no son adecuadas para tareas de Procesamiento del Lenguaje Natural (PLN) como la generación de texto. Las principales razones son:

• Explorando qué hace que una caja de herramientas de ética de IA funcione
• ¿Cómo crear un gráfico de cascada en Excel?
• Los Juegos Olímpicos de la IA Evaluando los Sistemas de Aprendizaje Automático

• Para tareas de PLN, las entradas y salidas pueden tener diferentes formas y dimensiones.
• Las redes neuronales estándar no utilizan simultáneamente características aprendidas en diferentes pasos de la red.

El avance principal en la aplicación de IA dentro del campo de PLN está indudablemente representado por las Redes Neuronales Recurrentes (RNN).

Las RNN son una clase de redes neuronales artificiales especialmente adecuadas para tareas de PLN y generación de texto. La razón de su eficacia radica en su capacidad para capturar dependencias secuenciales en los datos. El lenguaje humano depende en gran medida de considerar el contexto y vincular las primeras palabras de una oración con las últimas. Considera estas oraciones:

1. Él dijo: “Teddy Roosevelt fue el presidente de los Estados Unidos”.
2. Él dijo: “¡Los osos de peluche están en oferta!”

La palabra “Teddy” tiene un significado completamente diferente en las dos oraciones. Nosotros los humanos entendemos fácilmente eso al considerar el contexto y las palabras…

We will continue to update Zepes; if you have any questions or suggestions, please contact us!