¿Se puede entrenar a un Chatbot impulsado por Llama 2 en una CPU?

¿Es posible entrenar un Chatbot impulsado por Llama 2 en una CPU?

Construyendo un Chatbot local con Llama2, LangChain y Streamlit en una CPU

Introducción

La llegada de los modelos locales ha sido bien recibida por las empresas que buscan construir sus propias aplicaciones personalizadas de LLM. Permiten a los desarrolladores construir soluciones que pueden ejecutarse sin conexión y cumplir con sus requisitos de privacidad y seguridad.

Tales LLMs originalmente eran enormes y en su mayoría destinados a empresas que tienen los recursos y fondos para provisionar GPUs y entrenar modelos con grandes volúmenes de datos.

Sin embargo, ahora se encuentran disponibles LLMs locales de tamaños mucho más pequeños, lo que plantea la pregunta: ¿es posible que las personas con CPUs básicas aprovechen estas mismas herramientas y tecnologías?

Es una pregunta que vale la pena considerar, ya que los usuarios pueden beneficiarse al construir sus propios chatbots personales y locales que pueden realizar tareas sin conexión.

• Impulsando la innovación herramientas clave para mejorar la Inteligencia Artificial generativa en las casas de datos del lago
• Encuentra tus soluciones de IA en la Exposición de IA de ODSC West
• Revisión de Aragon AI ¿El generador definitivo de fotos de perfil con IA en 2023?

Aquí, exploramos esta posibilidad construyendo un chatbot de código cerrado utilizando Llama2 de Meta en una CPU y evaluamos su rendimiento como una herramienta confiable para individuos.

Estudio de caso

Para probar la viabilidad de construir un chatbot local que pueda ejecutarse sin conexión en una computadora personal, realicemos un estudio de caso.

El objetivo es construir un chatbot utilizando una versión cuantizada de Llama2 de Meta (7B parámetros). El modelo se utilizará para construir una aplicación LangChain que facilite la generación de respuestas, la cual se puede acceder con una interfaz de usuario que permite a las personas interactuar con la aplicación.

El chatbot se entrenará con dos documentos PDF (ambos accesibles con la API de arXiv):

1. Una revisión exhaustiva de la Visión por Computadora en Deportes: Cuestiones abiertas, Tendencias Futuras y Direcciones de Investigación
2. Una Encuesta sobre el Aprendizaje Profundo en Aplicaciones Deportivas: Percepción, Comprensión y Toma de Decisiones

Para tener en cuenta, este bot será entrenado en una computadora con las siguientes especificaciones:

• Sistema Operativo: Windows 10

We will continue to update Zepes; if you have any questions or suggestions, please contact us!