Combina múltiples adaptadores LoRA para Llama 2

Combina múltiples adaptadores LoRA para Llama 2 y multiplica tus opciones de conectividad

Agrega habilidades a tu LLM sin afinar nuevos adaptadores

Afinar por completo un modelo de lenguaje grande pre-entrenado (LLM) para diferentes tareas es muy costoso. En cambio, podemos congelar los parámetros del LLM y solo afinar unos pocos millones de parámetros entrenables agregados a través de un adaptador LoRA.

En otras palabras, solo necesitamos afinar un adaptador para que el modelo realice una tarea objetivo. Por ejemplo, si queremos convertir un LLM pre-entrenado en un modelo de traducción, afinaremos un adaptador para la traducción. Podemos afinar un adaptador para cada tarea que queramos que el LLM realice.

Pero ¿podemos combinar varios adaptadores para obtener un único adaptador multitarea?

Por ejemplo, si tenemos un adaptador para la traducción y otro adaptador para la resumenización, ¿podemos combinar ambos para que el LLM pueda hacer traducción y resumenización?

• Evita el sobreajuste en las redes neuronales un análisis en profundidad
• Operacionalizar la evaluación de LLM a gran escala utilizando los servicios de Amazon SageMaker Clarify y MLOps
• Pika 1.0 Un nuevo modelo de IA para la creación de videos

En este artículo, muestro cómo combinar múltiples adaptadores LoRA en un único adaptador multitarea. Veremos que es muy simple y que el adaptador resultante puede ser tan bueno como los adaptadores utilizados para la combinación.

Usando Llama 2 7B, veremos cómo combinar un adaptador afinado para la traducción con otro adaptador afinado para el chat. Con el adaptador resultante, podremos hacer un Llama 2 que pueda traducir y chatear.

También he implementado un cuaderno que puede ejecutar todo el código explicado en este artículo. Puedes encontrarlo aquí:

Obtén el cuaderno (#30)

Agregar Múltiples Adaptadores a Llama 2

Antes de combinar adaptadores, debemos agregarlos al LLM base.

Debemos asegurarnos de que el adaptador que queremos agregar haya sido afinado para nuestro LLM base, es decir, Llama 2 7B. Puedes encontrar esta información en el archivo “adapter_config.json” que se encuentra en el directorio del adaptador. Por ejemplo, para kaitchup/Llama-2-7B-oasstguanaco-adapter (licencia MIT), el adapter_config.json contiene los siguientes datos:

{  "auto_mapping": null,  "base_model_name_or_path": "meta-llama/Llama-2-7b-hf",  "bias": "none",  "fan_in_fan_out": false,  "inference_mode": true,  "init_lora_weights": true,  "layers_pattern": null…

We will continue to update Zepes; if you have any questions or suggestions, please contact us!