Toma el control NVIDIA NeMo SteerLM permite a las empresas personalizar las respuestas de un modelo durante la inferencia

Controla tu modelo con NVIDIA NeMo SteerLM personaliza las respuestas de forma inteligente durante la inferencia empresarial

Los desarrolladores tienen un nuevo volante de conducción asistida por IA para ayudarles a mantenerse en la carretera mientras utilizan modelos de lenguaje potentes (LLMs) y los llevan a sus destinos deseados.

NVIDIA NeMo SteerLM permite a las empresas definir perillas para ajustar las respuestas de un modelo mientras se está ejecutando en producción, un proceso llamado inferencia. A diferencia de los métodos actuales para personalizar un LLM, permite que una sola ejecución de entrenamiento cree un modelo que puede servir a docenas o incluso cientos de casos de uso, ahorrando tiempo y dinero.

Los investigadores de NVIDIA crearon SteerLM para enseñar a los modelos de IA lo que los usuarios consideran importante, como las señales de tráfico a seguir en sus casos de uso o mercados específicos. Estos atributos definidos por el usuario pueden evaluar casi cualquier cosa, por ejemplo, el grado de utilidad o humor en las respuestas del modelo.

Un Modelo, Muchos Usos

El resultado es un nuevo nivel de flexibilidad.

• Los estados están pidiendo más clases de ciencias de la computación. Ahora necesitan maestros
• Geoffrey Hinton sobre la Promesa y los Riesgos de la IA Avanzada
• IA y Eficiencia Energética Una Revolución Sostenible

Con SteerLM, los usuarios definen todos los atributos que desean e incorporan en un solo modelo. Luego pueden elegir la combinación que necesiten para un caso de uso específico mientras el modelo está en ejecución.

Por ejemplo, ahora se puede ajustar un modelo personalizado durante la inferencia a las necesidades únicas de un departamento de contabilidad, ventas o ingeniería, o de un mercado vertical.

Este método también permite un ciclo de mejora continua. Las respuestas de un modelo personalizado pueden servir como datos para una futura ejecución de entrenamiento que ajuste el modelo a nuevos niveles de utilidad.

Ahorro de Tiempo y Dinero

Hasta ahora, ajustar un modelo de IA generativo a las necesidades de una aplicación específica ha sido equivalente a reconstruir la transmisión de un motor. Los desarrolladores tuvieron que etiquetar conjuntos de datos minuciosamente, escribir mucho código nuevo, ajustar los hiperparámetros de la red neuronal y volver a entrenar el modelo varias veces.

SteerLM sustituye esos procesos complejos y que consumen mucho tiempo con tres simples pasos:

• Utilizando un conjunto básico de indicaciones, respuestas y atributos deseados, personalizar un modelo de IA que prediga cómo se comportarán esos atributos.
• Generar automáticamente un conjunto de datos utilizando este modelo.
• Entrenar el modelo con el conjunto de datos utilizando técnicas estándar de ajuste supervisado.

Muchos Casos de Uso Empresariales

Los desarrolladores pueden adaptar SteerLM a casi cualquier caso de uso empresarial que requiera generar texto.

Con SteerLM, una empresa podría producir un solo chatbot que pueda adaptarse en tiempo real a los cambios de actitudes, demografía o circunstancias de los clientes en los diversos mercados verticales o geografías en los que opera.

SteerLM también permite que un solo LLM actúe como un co-piloto de escritura flexible para una corporación completa.

Por ejemplo, los abogados pueden modificar su modelo durante la inferencia para adoptar un estilo formal en sus comunicaciones legales. O el personal de marketing puede ajustar un estilo más conversacional para su audiencia.

Juega con SteerLM

Para demostrar el potencial de SteerLM, NVIDIA lo ha demostrado en una de sus aplicaciones clásicas: los videojuegos (ver el video a continuación).

Hoy en día, algunos juegos incluyen docenas de personajes no jugables, que repiten mecánicamente textos pregrabados, independientemente del usuario o la situación.

SteerLM hace que estos personajes cobren vida, respondiendo con más personalidad y emoción a las indicaciones de los jugadores. Es una herramienta que los desarrolladores de juegos pueden utilizar para ofrecer nuevas experiencias únicas a cada jugador.

El Origen de SteerLM

El concepto detrás de este nuevo método llegó de forma inesperada.

“Me desperté temprano una mañana con esta idea, así que me levanté y la anoté”, recordó Yi Dong, científico de investigación aplicada de NVIDIA y autor de SteerLM.

Mientras construía un prototipo, se dio cuenta de que una técnica popular de condicionamiento de modelos también podría formar parte de este método. Una vez que todas las piezas se ensamblaron y su experimento funcionó, el equipo ayudó a articular el método en cuatro simples pasos.

Se trata del último avance en la personalización de modelos, un campo de investigación candente en IA.

“Es un campo desafiante, una especie de Santo Grial para hacer que la IA refleje más de cerca la perspectiva humana, y me encanta un nuevo desafío”, dijo el investigador, que obtuvo un doctorado en neurociencia computacional en la Universidad Johns Hopkins, trabajó en algoritmos de aprendizaje automático en finanzas antes de unirse a NVIDIA.

Toma las riendas del volante

SteerLM está disponible como software de código abierto para que los desarrolladores lo prueben hoy. También pueden obtener detalles sobre cómo experimentar con un modelo Llama-2-13b personalizado utilizando el método SteerLM.

Para los usuarios que deseen seguridad y soporte empresarial completos, SteerLM se integrará en NVIDIA NeMo, un marco completo para construir, personalizar e implementar modelos de IA generativos grandes.

El método SteerLM funciona en todos los modelos compatibles con NeMo, incluidos los LLM precargados preentrenados populares de la comunidad, como Llama-2 y BLOOM.

Lee un blog técnico para obtener más información sobre SteerLM.

Consulta el aviso para obtener información sobre el producto de software.

We will continue to update Zepes; if you have any questions or suggestions, please contact us!