Conoce LMSYS-Chat-1M Un conjunto de datos a gran escala que contiene un millón de conversaciones del mundo real con 25 LLM de última generación.

Descubre LMSYS-Chat-1M un conjunto de datos a gran escala que incluye un millón de conversaciones del mundo real con 25 modelos de lenguaje multilingües de última generación.

Los grandes modelos de lenguaje (LLMs) se han vuelto fundamentales para diversas aplicaciones de IA, desde asistentes virtuales hasta generación de código. Los usuarios adaptan su comportamiento al interactuar con LLMs, utilizando consultas específicas y formatos de preguntas para diferentes propósitos. Estudiar estos patrones puede proporcionar información sobre las expectativas y la confianza del usuario en diversos LLMs. Además, comprender el rango de preguntas, desde hechos simples hasta consultas complejas con mucho contexto, puede ayudar a mejorar los LLMs para brindar un mejor servicio a los usuarios, prevenir su mal uso y mejorar la seguridad de la IA. Podría decirse que:

• Los altos costos operativos asociados con la ejecución de servicios de modelos de lenguaje grandes representan un desafío financiero para muchas organizaciones a la hora de recopilar datos reales de preguntas de los usuarios.
• Las empresas que poseen conjuntos de datos sustanciales de preguntas de usuarios se muestran reacias a compartirlos debido a preocupaciones sobre el revelar sus ventajas competitivas y la voluntad de mantener la privacidad de los datos.
• Estimular a los usuarios para que interactúen con modelos de lenguaje abiertos es un desafío debido a que estos modelos a menudo no funcionan tan bien como los desarrollados por grandes empresas.
• Esta dificultad para involucrar a los usuarios con modelos abiertos dificulta compilar un conjunto de datos sustancial que refleje con precisión las interacciones reales de los usuarios con estos modelos con fines de investigación.

Para abordar esta brecha, este artículo de investigación presenta un nuevo conjunto de datos a gran escala y del mundo real llamado LMSYS-Chat-1M. Este conjunto de datos fue cuidadosamente seleccionado a partir de una extensa colección de interacciones reales entre grandes modelos de lenguaje (LLMs) y usuarios. Estas interacciones se recopilaron durante un período de cinco meses al brindar un servicio en línea gratuito de LLM que proporcionaba acceso a 25 LLMs populares, que incluían tanto modelos de código abierto como propietarios. El servicio requirió importantes recursos informáticos, incluyendo varias miles de horas de A100.

Para mantener el interés de los usuarios a lo largo del tiempo, los autores implementaron un elemento competitivo conocido como “arena de chatbots” e incentivaron a los usuarios a utilizar el servicio actualizando regularmente los rankings y las tablas de líderes de los LLMs populares. En consecuencia, LMSYS-Chat-1M comprende más de un millón de conversaciones de usuarios, mostrando una amplia variedad de idiomas y temas. Los usuarios dieron su consentimiento para que sus interacciones fueran utilizadas en este conjunto de datos a través de la sección de “Términos de uso” en el sitio web de recopilación de datos.

• Nuevas subvenciones de Google.org para presentar a 300,000 estudiantes a la robótica y la IA
• Cartografía con la herramienta de análisis de datos avanzados de GPT-4 Un ejemplo completo
• Lo que debes saber sobre la limitación de velocidad

Este conjunto de datos se recolectó de la demostración de Vicuna y el sitio web de la Arena de Chatbots entre abril y agosto de 2023. El sitio web ofrece a los usuarios tres opciones de interfaz de chat: un chat con un solo modelo, una arena de chatbots donde los chatbots compiten y una arena de chatbots que permite a los usuarios comparar dos chatbots uno al lado del otro. Esta plataforma es completamente gratuita, y los usuarios no reciben compensación ni se les imponen tarifas por utilizarla.

En este artículo, los autores exploran las posibles aplicaciones de LMSYS-Chat-1M en cuatro casos de uso diferentes. Demuestran que LMSYS-Chat-1M puede ajustar de manera efectiva los pequeños modelos de lenguaje para que funcionen como poderosos moderadores de contenido, logrando un rendimiento similar al de GPT-4. Además, a pesar de las medidas de seguridad en algunos modelos servidos, LMSYS-Chat-1M aún contiene conversaciones que pueden desafiar las salvaguardias de los principales modelos de lenguaje, ofreciendo un nuevo punto de referencia para estudiar la solidez y seguridad de los modelos.

Además, el conjunto de datos incluye diálogos de alta calidad entre usuarios y modelos de lenguaje adecuados para el ajuste fino de instrucciones. Mediante el uso de un subconjunto de estos diálogos, los autores muestran que los modelos Llama-2 pueden lograr niveles de rendimiento comparables a Vicuna y Llama2 Chat en pruebas específicas. Por último, la amplia cobertura de temas y tareas de LMSYS-Chat-1M lo convierte en un recurso valioso para generar nuevas preguntas de referencia para modelos de lenguaje.

We will continue to update Zepes; if you have any questions or suggestions, please contact us!