Hacia una AI Verde Cómo hacer que los modelos de Aprendizaje Profundo sean más eficientes en producción

AI Verde Mejorando la eficiencia de los modelos de Aprendizaje Profundo en producción

Los Planos de Kaggle

De la Academia a la Industria: Encontrando el mejor equilibrio entre rendimiento predictivo y tiempo de inferencia para la sostenibilidad en prácticas de Aprendizaje Automático

Este artículo fue originalmente publicado en Kaggle como una entrada al concurso “Informe AI de Kaggle 2023” el 5 de julio de 2023, en el cual obtuvo el primer lugar en la categoría de “competiciones de Kaggle”. Al revisar las descripciones de las competiciones de Kaggle, esta es una edición especial de la serie “Los Planos de Kaggle”.

Introducción

“Creo que estamos al final de la era en la que se trataba de estos modelos gigantes, gigantes. […] Los mejoraremos de otras formas”, dijo Sam Altman, CEO de OpenAI, poco después del lanzamiento de GPT-4. Esta declaración sorprendió a muchos, ya que se estima que GPT-4 es diez veces más grande (1,76 billones de parámetros) que su predecesor, GPT-3 (175 mil millones de parámetros).

“Creo que estamos al final de la era en la que se trataba de estos modelos gigantes, gigantes. […] Los mejoraremos de otras formas.” — Sam Altman

En 2019, Strubell et al. [1] estimaron que entrenar un pipeline de procesamiento de lenguaje natural (NLP), incluyendo ajuste y experimentación, produce alrededor de 35 toneladas de dióxido de carbono equivalente, más del doble del consumo anual promedio de un ciudadano estadounidense.

• Masterizando las pruebas A/B para las entrevistas de Ciencia de Datos Introducción a las pruebas A/B
• Descodificación de Auto-GPT
• Reorganización de las conferencias de fútbol universitario – node2vec

Veámoslo desde otra perspectiva: Se informó que las tecnologías de la información produjeron el 3,7% de las emisiones globales de CO2 en 2019. ¡Eso es más que la aviación global (1,9%) y el transporte marítimo (1,7%) combinados!

Los modelos de Aprendizaje Profundo han estado mejorando el rendimiento en diferentes áreas. Estos avances en el rendimiento son a menudo el resultado de modelos más grandes. Pero construir modelos más grandes requiere más cálculos tanto en la etapa de entrenamiento como en la etapa de inferencia. Y más cálculos requieren hardware más grande y más electricidad, lo que resulta en una mayor emisión de CO2 y una huella de carbono más grande, lo cual es perjudicial para el medio ambiente.

We will continue to update Zepes; if you have any questions or suggestions, please contact us!