Investigadores de la Universidad de Washington y Princeton presentan un conjunto de datos de detección de datos de entrenamiento previo WIKIMIA y un nuevo enfoque de aprendizaje automático MIN-K% PROB.

Investigadores de la Universidad de Washington y Princeton presentan un conjunto de datos de detección de entrenamiento previo WIKIMIA y un nuevo enfoque de aprendizaje automático MIN-K% PROB para el análisis de datos.

Los Modelos de Lenguaje Grandes (LLM) son modelos potentes capaces de procesar grandes volúmenes de datos textuales. Se entrenan en un corpus masivo de textos que van desde varios cientos de GB hasta incluso TB. Dada la escala de estos datos, resulta esencial saber si los datos de entrenamiento contienen textos problemáticos como material con derechos de autor o información personalmente identificable. Además, debido a la velocidad a la que ha crecido el corpus de entrenamiento, los desarrolladores de estos LLM ahora son más reacios a revelar la composición completa de sus datos.

En este artículo, un grupo de investigadores de la Universidad de Washington y la Universidad de Princeton han estudiado el problema mencionado anteriormente. Dado un fragmento de texto y acceso opaco a un LLM, los investigadores han intentado determinar si el modelo se entrenó con el texto proporcionado. Han introducido un punto de referencia llamado WIKIMIA que incluye tanto datos de preentrenamiento como datos sin preentrenamiento para respaldar la verdad de oro. También han introducido un nuevo método de detección llamado MIN-K% PROB que identifica palabras atípicas con bajas probabilidades bajo el LLM.

Tener un punto de referencia confiable es esencial para abordar los desafíos de identificar texto problemático en el entrenamiento. WIKIMIA es un punto de referencia dinámico que evalúa automáticamente los métodos de detección en cualquier LLM preentrenado recién lanzado. El método MIN-K% PROB se basa en la hipótesis de que es más probable que el texto no visto contenga palabras que el LLM no conozca bien, y MIN-K% PROB calcula la probabilidad promedio de estas palabras atípicas.

• 50+ Nuevas Herramientas de Inteligencia Artificial (IA) de Vanguardia (noviembre de 2023)
• 2 formas sencillas de detectar respuestas generadas por inteligencia artificial
• Dominando la Optimización y Despliegue de IA con la herramienta OpenVINO de Intel

La forma en que MIN-K% PROB funciona es la siguiente. Supongamos que tenemos un texto X y tenemos que determinar si el LLM se entrenó con X. El método usa el LLM para calcular las probabilidades de cada token en el texto proporcionado. Luego selecciona el k% de tokens con las probabilidades mínimas y luego calcula su log-verosimilitud promedio. Un valor más alto del mismo indica que es probable que el texto X esté en los datos de preentrenamiento.

Los investigadores aplicaron el método en tres escenarios de la vida real: detección de libros con derechos de autor, detección de ejemplos contaminados en derivaciones y auditoría de privacidad de eliminación de aprendizaje automático. Tomaron un conjunto de prueba de 10,000 fragmentos de texto de 100 libros con derechos de autor y encontraron que alrededor del 90% tenía una tasa de contaminación superior al 50%. Según sus hallazgos, el modelo GPT-3 tenía texto de 20 libros con derechos de autor.

Para eliminar información personal y datos con derechos de autor de los LLM, utilizamos el método de eliminación de aprendizaje automático. Los investigadores utilizaron el método MIN-K% PROB y encontraron que los LLM aún pueden generar contenido con derechos de autor similar incluso después de haber eliminado los libros con derechos de autor de su aprendizaje.

En conclusión, MIN-K% PROB es un nuevo método para determinar si un LLM ha sido entrenado con datos con derechos de autor y personales. Los investigadores verificaron la efectividad de sus métodos utilizando estudios de casos del mundo real y encontraron fuertes pruebas de que es posible que el modelo GPT-3 se haya entrenado con libros con derechos de autor. Encontraron que este método es consistentemente efectivo para detectar texto problemático en el entrenamiento, y marca un paso significativo hacia una mayor transparencia y responsabilidad del modelo.

We will continue to update Zepes; if you have any questions or suggestions, please contact us!