Presentamos OpenLLM Biblioteca de código abierto para LLMs

OpenLLM Biblioteca de código abierto para LLMs

 

En este punto, todos estamos pensando lo mismo. ¿Está realmente dominando el mundo de los LLMs? Algunos de ustedes pueden haber esperado que la expectativa se estabilice, pero sigue en constante aumento. Se están destinando más recursos a los LLMs, ya que han mostrado una gran demanda.

No solo el rendimiento de los LLMs ha sido exitoso, sino también su versatilidad para adaptarse a diversas tareas de procesamiento del lenguaje natural, como la traducción y el análisis de sentimientos. El ajuste fino de los LLMs pre-entrenados ha facilitado mucho las tareas específicas, lo que hace menos costoso computacionalmente construir un modelo desde cero. Los LLMs se han implementado rápidamente en diversas aplicaciones del mundo real, aumentando la cantidad de investigación y desarrollo.

Los modelos de código abierto también han sido una gran ventaja con los LLMs, ya que la disponibilidad de modelos de código abierto ha permitido a los investigadores y organizaciones mejorar continuamente los modelos existentes y cómo se pueden integrar de manera segura en la sociedad.

• Construyendo un panel interactivo de ML en Panel
• Cómo construí una canalización de datos en cascada basada en AWS
• 4-bit Cuantización con GPTQ

 

¿Qué es OpenLLM?

 

OpenLLM es una plataforma abierta para operar LLMs en producción. Usando OpenLLM, puedes ejecutar inferencias en cualquier LLM de código abierto, ajustarlos, desplegarlos y construir aplicaciones de IA potentes con facilidad.

OpenLLM contiene LLMs de última generación, como StableLM, Dolly, ChatGLM, StarCoder y más, todos ellos respaldados por soporte incorporado. También tienes la libertad de construir tu propia aplicación de IA, ya que OpenLLM no es solo un producto independiente y admite LangChain, BentoML y Hugging Face.

¿Todas estas características y además es de código abierto? Suena un poco loco, ¿verdad?

Y para colmo, es fácil de instalar y usar.

 

¿Cómo usar OpenLLM?

 

Para usar LLM, necesitarás tener al menos Python 3.8, así como también pip instalado en tu sistema. Para evitar conflictos entre paquetes, se recomienda usar un entorno virtual.

1. Una vez que tengas todo listo, puedes instalar OpenLLM fácilmente usando el siguiente comando:

pip install open-llm

 

1. Para asegurarte de que se haya instalado correctamente, puedes ejecutar el siguiente comando:

$ openllm -h

Uso: openllm [OPCIONES] COMANDO [ARGUMENTOS]...

   ██████╗ ██████╗ ███████╗███╗   ██╗██╗     ██╗     ███╗   ███╗
  ██╔═══██╗██╔══██╗██╔════╝████╗  ██║██║     ██║     ████╗ ████║
  ██║   ██║██████╔╝█████╗  ██╔██╗ ██║██║     ██║     ██╔████╔██║
  ██║   ██║██╔═══╝ ██╔══╝  ██║╚██╗██║██║     ██║     ██║╚██╔╝██║
  ╚██████╔╝██║     ███████╗██║ ╚████║███████╗███████╗██║ ╚═╝ ██║
   ╚═════╝ ╚═╝     ╚══════╝╚═╝  ╚═══╝╚══════╝╚══════╝╚═╝     ╚═╝

  Una plataforma abierta para operar grandes modelos de lenguaje en producción.
  Ajusta, sirve, despliega y monitorea cualquier LLM con facilidad.

 

1. Para iniciar un servidor LLM, usa el siguiente comando incluyendo el modelo de tu elección:

openllm start

 

Por ejemplo, si quieres iniciar un servidor OPT, haz lo siguiente:

openllm start opt

 

Modelos compatibles

 

Se admiten 10 modelos en OpenLLM. También puedes encontrar los comandos de instalación a continuación:

1. chatglm

pip install "openllm[chatglm]"

 

Este modelo requiere una GPU.

1. Dolly-v2

pip install openllm

 

Este modelo se puede utilizar tanto en CPU como en GPU.

1. falcon

pip install "openllm[falcon]"

 

Este modelo requiere una GPU.

1. flan-t5

pip install "openllm[flan-t5]"

 

Este modelo se puede utilizar tanto en CPU como en GPU.

1. gpt-neox

pip install openllm

 

Este modelo requiere una GPU.

1. mpt

pip install "openllm[mpt]"

 

Este modelo se puede utilizar tanto en CPU como en GPU.

1. opt

pip install "openllm[opt]"

 

Este modelo se puede utilizar tanto en CPU como en GPU.

1. stablelm

pip install openllm

 

Este modelo se puede utilizar tanto en CPU como en GPU.

1. starcoder

pip install "openllm[starcoder]"

 

Este modelo requiere una GPU.

1. baichuan

pip install "openllm[baichuan]"

 

Este modelo requiere una GPU.

Para obtener más información sobre implementaciones en tiempo de ejecución, soporte de ajuste fino, integración de un nuevo modelo y despliegue en producción, consulta aquí la que se ajuste a tus necesidades.

 

Conclusión

 

Si estás interesado en utilizar OpenLLM o necesitas ayuda, puedes unirte a su comunidad en Discord y Slack. También puedes contribuir al código de OpenLLM utilizando su Guía para Desarrolladores.

¿Alguien lo ha probado ya? Si es así, ¡cuéntanos qué opinas en los comentarios!     Nisha Arya es una científica de datos, escritora técnica independiente y administradora de comunidades en VoAGI. Le interesa especialmente brindar consejos o tutoriales sobre carreras en Ciencia de Datos y conocimientos teóricos en torno a la Ciencia de Datos. También desea explorar las diferentes formas en que la Inteligencia Artificial puede beneficiar la longevidad de la vida humana. Una ávida aprendiz, busca ampliar sus conocimientos tecnológicos y habilidades de escritura, al tiempo que ayuda a guiar a los demás.

We will continue to update Zepes; if you have any questions or suggestions, please contact us!