Un punto de entrada a HuggingFace
Una introducción a HuggingFace
Una guía paso a paso de los conceptos básicos para principiantes
HuggingFace puede ser complejo y complicado si no sabes por dónde empezar a aprenderlo. Un punto de entrada en el repositorio de HuggingFace son los scripts run_mlm.py y run_clm.py.
En este artículo, vamos a revisar el script run_mlm.py. Este script elige un modelo de lenguaje enmascarado de HuggingFace y lo ajusta finamente en un conjunto de datos (o lo entrena desde cero). Si eres un principiante y tienes muy poca experiencia con los códigos de HuggingFace, este artículo te ayudará a comprender los conceptos básicos.
Elegiremos un modelo de lenguaje enmascarado, cargaremos un conjunto de datos de HuggingFace y ajustaremos el modelo en el conjunto de datos. Al final, evaluaremos el modelo. Todo esto es para comprender la estructura del código, por lo que no nos enfocaremos en ningún caso de uso específico.
¡Empecemos!
- Distil-Whisper Avances en Tecnología de Voz a Texto de IA
- Forjando tu carrera en IA con Aleksa Gordić
- Investigadores de UC Berkeley proponen CRATE un novedoso Transformador de Caja Blanca para la compresión y esparsificación eficientes de datos en el Aprendizaje Profundo
Unas pocas palabras sobre el ajuste fino
El ajuste fino es una técnica común en el aprendizaje profundo para tomar un modelo de red neuronal pre-entrenado y modificarlo para adaptarlo mejor a un nuevo conjunto de datos o tarea.
El ajuste fino funciona bien cuando tu conjunto de datos no es lo suficientemente grande como para entrenar un modelo profundo desde cero. Por lo tanto, partes de un modelo base ya aprendido.
En el ajuste fino, tomas un modelo pre-entrenado en una fuente de datos grande (por ejemplo, ImageNet para imágenes o BooksCorpus para PLN), luego continúas entrenándolo en tu conjunto de datos para adaptar el modelo a tu tarea. Esto requiere menos datos adicionales y épocas de entrenamiento que hacerlo desde pesos aleatorios.
Ajuste Fino en HuggingFace
HuggingFace (HF) tiene muchas funciones incorporadas que nos permiten ajustar finamente un modelo pre-entrenado en pocas líneas de código. Los pasos principales son los siguientes:
- cargar el modelo pre-entrenado
- cargar el tokenizador pre-entrenado
- cargar el conjunto de datos que deseas utilizar para el ajuste fino
- tokenizar el conjunto de datos anterior utilizando el tokenizador
- utilizar el objeto Trainer para entrenar el modelo pre-entrenado en el conjunto de datos tokenizado
Veamos cada paso en código. De manera intencional, vamos a omitir muchos detalles para dar una visión general de cómo se ve la estructura general.
We will continue to update Zepes; if you have any questions or suggestions, please contact us!
Was this article helpful?
93 out of 132 found this helpful
Related articles
- Meta Research presenta System 2 Attention (S2A) una técnica de IA que permite a un LLM decidir sobre las partes importantes del contexto de entrada para generar respuestas adecuadas.
- Revelando realidades ocultas Iluminando la trata de personas en Alberta
- Investigadores de Stanford presentan BLASTNet el primer conjunto de datos de aprendizaje automático grande para la dinámica fundamental de fluidos
- Ve este nuevo sistema de IA llamado Estudiante de Juegos (SoG) que es capaz de vencer a los humanos en una variedad de juegos y aprender a jugar nuevos’.
- Conoce snnTorch Un paquete de Python de código abierto para realizar aprendizaje basado en gradientes con redes neuronales de disparo.
- Conoce a HyperHuman Un nuevo marco de IA para la generación hiperrealista de humanos con difusión estructural latente.
- Lo largo y corto de ello La relevancia basada en la proporción para capturar la semántica del documento de principio a fin
