NVIDIA AI presenta SteerLM un nuevo método de inteligencia artificial que permite a los usuarios personalizar las respuestas de los grandes modelos de lenguaje (LLMs) durante la inferencia.

NVIDIA AI presenta SteerLM Un nuevo método de IA que permite personalizar respuestas de LLMs durante la inferencia

En el siempre cambiante panorama de la inteligencia artificial, ha habido desde hace mucho tiempo un desafío que afecta tanto a los desarrolladores como a los usuarios: la necesidad de respuestas más personalizadas y matizadas por parte de los modelos de lenguaje amplio. Si bien estos modelos, como Llama 2, pueden generar texto similar al humano, a menudo necesitan proporcionar respuestas realmente adaptadas a los requisitos únicos de los usuarios individuales. Los enfoques existentes, como el ajuste fino supervisado (AFS) y el aprendizaje por refuerzo a partir de comentarios humanos (ARFH), tienen sus limitaciones, lo que lleva a respuestas que podrían ser más mecánicas y complejas.

NVIDIA Research ha presentado SteerLM, una técnica revolucionaria que promete abordar estos desafíos. SteerLM ofrece un enfoque novedoso y centrado en el usuario para personalizar las respuestas de los modelos de lenguaje amplio, ofreciendo mayor control sobre sus resultados al permitir a los usuarios definir atributos clave que guían el comportamiento del modelo.

SteerLM funciona a través de un proceso de ajuste fino supervisado de cuatro pasos que simplifica la personalización de los modelos de lenguaje amplio. Primero, entrena un Modelo de Predicción de Atributos utilizando conjuntos de datos anotados por humanos para evaluar cualidades como la utilidad, el humor y la creatividad. Luego, utiliza este modelo para anotar conjuntos de datos diversos, mejorando la variedad de datos accesibles para el modelo de lenguaje. Luego, SteerLM utiliza el ajuste fino supervisado condicionado por atributos, entrenando al modelo para generar respuestas basadas en atributos especificados, como la calidad percibida. Finalmente, perfecciona el modelo a través del entrenamiento de refuerzo, generando respuestas diversas y ajustándose finamente para lograr una alineación óptima.

• Regresión Softmax completamente explicada para etiqueta de multiclase con Python
• El algoritmo de búsqueda a gran escala de Facebook reutilizado para navegar eficientemente los datos proteómicos
• Este artículo de investigación en IA propone un método de mapeo basado en NeRF que permite una reconstrucción de mayor calidad y capacidad en tiempo real, incluso en computadoras de bordes.

Una de las características destacadas de SteerLM es su capacidad de ajuste en tiempo real, lo que permite a los usuarios ajustar finamente los atributos durante la inferencia, adaptándose a sus necesidades específicas sobre la marcha. Esta notable flexibilidad abre la puerta a diversas aplicaciones potenciales, desde juegos y educación hasta accesibilidad. Con SteerLM, las empresas pueden brindar capacidades personalizadas a múltiples equipos desde un solo modelo, evitando la necesidad de reconstruir modelos para cada aplicación distinta.

La simplicidad y facilidad de uso de SteerLM son evidentes en sus métricas y rendimiento. SteerLM 43B superó a modelos ARFH existentes como ChatGPT-3.5 y Llama 30B ARFH en el banco de pruebas Vicuna en experimentos. Al ofrecer un proceso de ajuste fino sencillo que requiere cambios mínimos en la infraestructura y el código, SteerLM ofrece resultados excepcionales con menos problemas, lo que lo convierte en un avance formidable en el campo de la personalización de la IA.

NVIDIA da un paso significativo hacia la democratización de la personalización avanzada al lanzar SteerLM como software de código abierto dentro de su marco NVIDIA NeMo. Ahora, los desarrolladores tienen la oportunidad de acceder al código y probar esta técnica con un modelo Llama 2 de 13B personalizado, disponible en plataformas como Hugging Face. También se proporcionan instrucciones detalladas para aquellos interesados en entrenar su propio modelo SteerLM.

A medida que los modelos de lenguaje amplio continúan evolucionando, la necesidad de soluciones como SteerLM se vuelve cada vez más esencial para ofrecer IA que no solo sea inteligente, sino también verdaderamente útil y alineada con los valores del usuario. Con SteerLM, la comunidad de IA da un paso significativo en la búsqueda de sistemas de IA más personalizados y adaptables, inaugurando una nueva era de inteligencia artificial a medida.

We will continue to update Zepes; if you have any questions or suggestions, please contact us!