Equilibrando la innovación y la sostenibilidad Desentrañando el impacto ambiental de la IA generativa

Equilibrando la innovación y la sostenibilidad Analizando el impacto ambiental de la IA generativa

Una mirada más cercana a la huella de carbono de los modelos de lenguaje y soluciones sostenibles.

La asociación francesa Data for Good publicó un libro blanco que explora los problemas sociales y ambientales que rodean a la IA generativa. Me interesó especialmente el impacto ambiental de los modelos de lenguaje, que se cubre menos que los aspectos éticos. Estas son las principales cosas que aprendí:

TL;DR

• Contexto: los líderes mundiales se han comprometido a reducir nuestras emisiones a menos de 2°C para 2050. Esto implica reducir nuestras emisiones en un 43% entre 2020 y 2030 (para limitar el calentamiento a 1.5°C, ver sección C.1.1 del informe del IPCC). Sin embargo, en el espacio digital, las emisiones no están disminuyendo, sino que aumentan de un 2 a un 7% anualmente.
• La formación del GPT-3 emitió unas impresionantes 2200 toneladas de CO2 equivalente, comparable a 1600 vuelos de ida y vuelta entre París y Nueva York.
• Con 13 millones de usuarios, el uso mensual del ChatGPT equivale a 10 000 toneladas de CO2. Contribuiría con un 0.1% a la huella de carbono anual de las personas en Francia/Reino Unido si todos lo usaran hoy en día y con un 0.5% de nuestra huella objetivo en 2050.
• El impacto del ChatGPT+, basado en el GPT-4, podría ser de 10 a 100 veces mayor, llegando a agregar hasta un 10% a nuestra huella de carbono anual actual… o el 50% de nuestra huella objetivo.
• Existen muchas formas de reducir el impacto de usar estos modelos: utilizarlos de manera razonable y optar por servicios en la nube con un rendimiento ambiental comprobado.

Contexto

Para evaluar el impacto ambiental de cualquier cosa, podemos estimar su huella de carbono: esto mide las emisiones totales de gases de efecto invernadero causadas directa e indirectamente por una persona, organización o producto, expresadas en toneladas equivalentes de dióxido de carbono (CO2e). Para ponerlo en perspectiva, la huella de carbono promedio anual es de aproximadamente 8-13 toneladas por persona en el Reino Unido o en Francia, 21 toneladas en Estados Unidos y 6 toneladas a nivel mundial. Consideraré que nuestra huella actual es de 10 toneladas.

Algunos ejemplos (con fuentes):

• Un vuelo de ida y vuelta de París a Nueva York equivale a 1.4 toneladas de CO2e. La aviación representa un 10% de la huella de carbono promedio anual de un ciudadano del Reino Unido (las emisiones totales anuales de aviación en el Reino Unido de 80 millones de toneladas CO2 equivalen aproximadamente al 10% de las emisiones totales anuales de gases de efecto invernadero del Reino Unido, que son de 770 millones de toneladas).
• Ver 3 horas de video todos los días del año equivale a: (0.4kWh *
  2. * 3h * 0.26kgCO2eq/kWh * 365 días = 228kgCO2eq por año, aproximadamente el 2% de la huella de carbono anual promedio de un ciudadano del Reino Unido.

Para mantener el aumento de la temperatura global por debajo de 2 grados, debemos apuntar a reducir nuestra huella de carbono global a 2 toneladas por persona para el año 2050. Hay mucho trabajo por hacer para reducir nuestras emisiones en un 80 o 90%, y el aumento continuo de la demanda de servicios digitales que supera las mejoras de eficiencia no está ayudando. ¿Cómo encaja la IA generativa en esta ecuación y qué podemos hacer para alinear nuestros avances digitales con nuestros objetivos medioambientales?

• Google Cloud se compromete a proteger a los clientes mediante indemnización de IA generativa
• Google AI presenta PaLI-3 un modelo de lenguaje de visión (VLM) más pequeño, rápido y potente que se compara favorablemente con modelos similares que son 10 veces más grandes.
• Investigadores de UCSD y Microsoft presentan ColDeco una herramienta de inspección sin código para columnas calculadas.

Impacto del entrenamiento:

En la fase de entrenamiento, alimentamos a los modelos de lenguaje con datos seleccionados para que puedan aprender de ellos y ser capaces de responder a nuestras solicitudes.

El estudio analizó dos grandes modelos de lenguaje: 1. Bloom de código abierto2. GPT-3 propietario de OpenAI

Conclusiones clave: – Huella de carbono de Bloom: Inicialmente estimada en 30 toneladas, fue revisada a 120 toneladas después de un análisis exhaustivo.- Huella de carbono de GPT-3: Se estima en 2200 toneladas, equivalente a 1600 vuelos de ida y vuelta de París a Nueva York.

Un punto de vista común es que está bien que estos modelos tengan altos costos de entrenamiento porque son utilizados extensivamente por muchos usuarios.

Impacto de la inferencia

La inferencia en el Aprendizaje Automático es cuando usamos un modelo entrenado para hacer predicciones sobre datos en vivo. Ahora estamos examinando el impacto de la ejecución de ChatGPT.

Basado en la suposición de que ChatGPT tiene 13 millones de usuarios activos que realizan un promedio de 15 solicitudes, la huella de carbono mensual es de 10 000 toneladas de CO2. Y la lección clave para mí es que esto es mucho más grande que el impacto del entrenamiento.

Para un usuario, la adición a la huella de carbono anual es de 12 meses * 10 000 toneladas / 13 millones de usuarios = 9 kilos de CO2eq por año por usuario, equivalente al 0.1% de la huella de carbono anual promedio actual, o al 0.5% de nuestra huella objetivo.

Pero, ¿qué pasa si esa persona usa ChatGPT junto con GPT-4? La huella de carbono de GPT-4 es de 10 a 100 veces más grande que la de GPT-3. Esta huella equivale entre 100 kilos de CO2e y 1 tonelada extra, hasta el 10% de la huella de carbono de un ciudadano francés, y el doble si estás haciendo todo lo posible para reducirla. Si consideramos nuestra huella objetivo para 2050, ¡eso representa un 50%! Eso es terrible.

Y ¿qué pasa si, algún día, cada interacción que tengas con una aplicación en tu vida hace solicitudes a modelos de lenguaje? Es una idea aterradora.

La buena noticia es que usar la API de gpt4 de manera extensiva es tan costoso que no podemos permitir que nuestros usuarios realicen 15 solicitudes al día, a menos que estén dispuestos a pagar una suscripción mensual de 100$+, lo cual mi mercado objetivo en el producto que estoy construyendo (un asistente personal para la meditación) no está dispuesto a hacer. Y no solo las pequeñas empresas no pueden permitírselo: Google y Microsoft tampoco pueden permitirse reemplazar sus motores de búsqueda con un modelo del tamaño de GPT4, lo que aumentaría en 100 veces el costo de sus consultas.

Recomendaciones

Las recomendaciones son las siguientes:

• Mantén la sobriedad: Puede ser tentador reemplazar todo un proyecto de TI con ChatGPT-4, pero en su lugar, podemos cuestionar la utilidad del proyecto, la verdadera necesidad de usar un modelo de lenguaje y limitar su uso a casos específicos que realmente lo requieran. Usa un modelo mucho más pequeño que GPT-4 siempre que puedas. Piénsalo dos veces antes de usar (o usar en exceso) ChatGPT+.
• Optimiza el entrenamiento y el uso: En este punto, las técnicas son numerosas, constantemente evolucionando, y los científicos de datos deberían usarlas ya… para reducir costos. Principalmente consisten en reducir el uso de infraestructura, lo cual a su vez reduce el consumo de electricidad y, por lo tanto, las emisiones de carbono. En esencia, solo entrenamos un modelo si es necesario; si lo hacemos, lo planificamos para evitar desperdiciar recursos. Y usamos el modelo más pequeño que satisfaga las necesidades de manera satisfactoria.
• Selecciona el país principal para alojar tu servidor en función de la huella de carbono de su energía. Y aquí viene el orgullo francés: la huella de carbono de nuestra energía nuclear primaria es 7 veces menor que en Estados Unidos. Sin embargo, supongamos que todos comienzan a alojar sus modelos de lenguaje aquí: en ese caso, probablemente importaremos la energía de carbón de nuestros queridos vecinos 🔥.
• Selecciona el mejor servicio en la nube en función de su rendimiento ambiental (estos datos a veces son públicos; de lo contrario, hay herramientas para medir/estimar como https://mlco2.github.io/impact/) — favorece los servicios en la nube que utilizan sus servidores durante más tiempo (sin embargo, los hiperescaladores tienden a mantener su hardware por no más de 4 años) y los centros de datos con alto nivel de compartición.

¿Estás interesado en reducir tu impacto?

Ya sea que seas un individuo o una corporación, existen recursos y expertos disponibles para guiarte por un camino sostenible.

A nivel individual:- Si deseas evaluar tu huella de carbono, hay muchas herramientas en línea. A título personal, medir mi huella de carbono fue revelador, lo que me llevó a explorar formas de generar un impacto positivo. Si vives en el Reino Unido, verifica https://footprint.wwf.org.uk/– Para obtener un curso rápido de 3 horas sobre la ciencia fundamental del cambio climático: https://climatefresk.org/– Para investigar las acciones que puedes realizar y estimar cuánto reducirías tu huella, otro taller de 3 horas: https://en.2tonnes.org/

A nivel corporativo: Muchas empresas están explorando estos problemas y aquí te mostramos lo que pueden hacer:

• educar a sus empleados (con los talleres sugeridos anteriormente),
• realizar auditorías y medir su huella de carbono,
• establecer estrategias para mejorar sus puntajes ESG (Medioambiental, Social y de Gobernanza corporativa).

Me enteré de este brillante estudio gracias a algunas personas fantásticas que conocí recientemente, de Toovalu y Wavestone. ¡Mira lo que hacen!

Por favor, comenta si encontraste algún error en mis estimaciones o si deseas agregar tus pensamientos y comparte si te pareció interesante.

🙌 Gracias por tomarte el tiempo de leer este artículo, ¡espero que haya sido esclarecedor! Muchas gracias a Thibaut, Léo, Benoit y Diane por sus valiosos comentarios y contribuciones a este artículo 🙏.

Y si quieres mantenerte actualizado sobre la Inteligencia Artificial Generativa y el Aprendizaje Automático responsable, sígueme en Linkedin 👋.

We will continue to update Zepes; if you have any questions or suggestions, please contact us!