¡Gol! El equipo de NVIDIA se lleva el trofeo en Sistemas de Recomendación

¡Gol! NVIDIA gana el trofeo en Sistemas de Recomendación

Un equipo de cinco expertos en aprendizaje automático de NVIDIA, repartidos en cuatro continentes, ganó las tres tareas en una competencia prestigiosa y reñida para construir sistemas de recomendación de última generación.

Los resultados reflejan la habilidad del grupo al aplicar la plataforma de IA de NVIDIA a desafíos del mundo real para estos motores de la economía digital. Los sistemas de recomendación ofrecen billones de resultados de búsqueda, anuncios, productos, música e historias de noticias a miles de millones de personas todos los días.

Más de 450 equipos de científicos de datos compitieron en la Copa KDD de Amazon ’23. El desafío de tres meses tuvo sus momentos de giros y vueltas, y un final de infarto.

Acelerando al Máximo

• Los fabricantes de chips apilan ‘chiplets’ como bloques de Lego para impulsar la IA
• El mundo natural potencia el futuro de la visión por computadora
• Dentro del acalorado centro del pesimismo de la IA

En las primeras 10 semanas de la competencia, el equipo tenía una ventaja cómoda. Pero en la fase final, los organizadores cambiaron a nuevos conjuntos de datos de prueba y otros equipos se adelantaron.

Los miembros de NVIDIA aceleraron al máximo, trabajando noches y fines de semana para ponerse al día. Dejaron un rastro de mensajes de Slack las 24 horas del día de los miembros del equipo que viven en ciudades desde Berlín hasta Tokio.

“Trabajamos sin parar, fue muy emocionante”, dijo Chris Deotte, un miembro del equipo en San Diego.

Un Producto por Otro Nombre

La última de las tres tareas fue la más difícil.

Los participantes tuvieron que predecir qué productos comprarían los usuarios en base a los datos de sus sesiones de navegación. Pero los datos de entrenamiento no incluían los nombres de marca de muchas opciones posibles.

“Desde el principio supe que sería una prueba muy, muy difícil”, dijo Gilberto “Giba” Titericz.

KGMON al Rescate

Con sede en Curitiba, Brasil, Titericz fue uno de los cuatro miembros del equipo clasificados como maestros principales en las competencias de Kaggle, los Juegos Olímpicos en línea de la ciencia de datos. Son parte de un equipo de ninjas de aprendizaje automático que han ganado docenas de competiciones. El fundador y CEO de NVIDIA, Jensen Huang, los llama KGMON (Kaggle Grandmasters of NVIDIA), una versión lúdica de Pokémon.

En docenas de experimentos, Titericz utilizó modelos de lenguaje grandes (LLMs) para construir IA generativas que predijeran nombres de productos, pero ninguno funcionó.

En un destello creativo, el equipo descubrió una solución alternativa. Las predicciones utilizando su nuevo modelo híbrido de clasificación/ordenación fueron exactas.

Hasta el Final

En las últimas horas de la competencia, el equipo se apresuró a empaquetar todos sus modelos juntos para unas últimas presentaciones. Habían estado ejecutando experimentos durante la noche en hasta 40 computadoras.

Kazuki Onodera, un KGMON en Tokio, estaba nervioso. “Realmente no sabía si nuestras puntuaciones reales coincidirían con lo que estábamos estimando”, dijo.

Deotte, también un KGMON, lo recordó como “algo así como 100 modelos diferentes trabajando juntos para producir una única salida… lo enviamos al marcador de posiciones, ¡y ZAS!”

El equipo se adelantó a su rival más cercano en el equivalente de IA de una foto de llegada.

El Poder del Aprendizaje por Transferencia

En otra tarea, el equipo tuvo que aplicar las lecciones aprendidas de conjuntos de datos grandes en inglés, alemán y japonés a conjuntos de datos escasos que tenían una décima parte del tamaño en francés, italiano y español. Es el tipo de desafío del mundo real al que muchas empresas se enfrentan a medida que expanden su presencia digital en todo el mundo.

Jean-François Puget, un tres veces maestro principal de Kaggle con sede en París, conocía un enfoque eficaz para el aprendizaje por transferencia. Utilizó un modelo multilingüe preentrenado para codificar los nombres de los productos y luego ajustó los codificados.

“El uso del aprendizaje por transferencia mejoró enormemente las puntuaciones en el marcador de posiciones”, dijo.

Combina Sabiduría y Software Inteligente

Los esfuerzos de KGMON demuestran que el campo conocido como recsys es a veces más arte que ciencia, una práctica que combina intuición e iteración.

Es una experiencia que se codifica en productos de software como NVIDIA Merlin, una plataforma que ayuda a los usuarios a construir rápidamente sus propios sistemas de recomendación.

Benedikt Schifferer, un compañero de equipo con sede en Berlín que ayuda a diseñar Merlin, utilizó el software para entrenar modelos transformadores que superaron la tarea clásica de recsys de la competencia.

“Merlin ofrece excelentes resultados desde el principio, y el diseño flexible me permite personalizar los modelos para el desafío específico”, dijo él.

Montando el RAPIDS

Al igual que sus compañeros de equipo, también utilizó RAPIDS, un conjunto de bibliotecas de código abierto para acelerar la ciencia de datos en las GPUs.

Por ejemplo, Deotte accedió al código de NGC, el centro de NVIDIA para software acelerado. Llamado DASK XGBoost, el código ayudó a distribuir una tarea grande y compleja en ocho GPUs y su memoria.

Por su parte, Titericz utilizó una biblioteca de RAPIDS llamada cuML para buscar a través de millones de comparaciones de productos en cuestión de segundos.

El equipo se centró en recomendadores basados en sesiones que no requieren datos de múltiples visitas de usuario. Es una práctica recomendada en estos días cuando muchos usuarios desean proteger su privacidad.

Para obtener más información:

• Mira una sesión de GTC sobre cómo construir recomendadores basados en sesiones con Merlin.
• Toma un curso de recsys del NVIDIA Deep Learning Institute.
• Consulta el flujo de trabajo de predicción del siguiente elemento que forma parte de NVIDIA AI Enterprise, un conjunto completo de software con la seguridad y el soporte que las empresas requieren.
• Y mira el video a continuación.

 

 

We will continue to update Zepes; if you have any questions or suggestions, please contact us!