Acelerando la ciencia de la fusión a través del control de plasma aprendido

'Acelerando la fusión científica con control de plasma aprendido'

Controlando con éxito el plasma de fusión nuclear en un tokamak con aprendizaje por refuerzo profundo

Para resolver la crisis energética global, los investigadores han buscado durante mucho tiempo una fuente de energía limpia e ilimitada. La fusión nuclear, la reacción que alimenta a las estrellas del universo, es una de las candidatas. Al chocar y fusionar hidrógeno, un elemento común del agua de mar, el proceso poderoso libera grandes cantidades de energía. Aquí en la Tierra, una forma en que los científicos han recreado estas condiciones extremas es mediante el uso de un tokamak, un vacío en forma de rosquilla rodeado de bobinas magnéticas, que se utiliza para contener un plasma de hidrógeno más caliente que el núcleo del Sol. Sin embargo, los plasmas en estas máquinas son inherentemente inestables, lo que hace que mantener el proceso necesario para la fusión nuclear sea un desafío complejo. Por ejemplo, se necesita un sistema de control para coordinar las numerosas bobinas magnéticas del tokamak y ajustar su voltaje miles de veces por segundo para asegurarse de que el plasma nunca toque las paredes del recipiente, lo que resultaría en pérdida de calor y posiblemente daños. Para ayudar a resolver este problema y como parte de la misión de DeepMind de avanzar en la ciencia, colaboramos con el Centro de Plasma de Suiza en la EPFL para desarrollar el primer sistema de aprendizaje por refuerzo profundo (RL) para descubrir de manera autónoma cómo controlar estas bobinas y contener con éxito el plasma en un tokamak, abriendo nuevas vías para avanzar en la investigación de la fusión nuclear.

En un artículo publicado hoy en Nature , describimos cómo podemos controlar con éxito el plasma de fusión nuclear construyendo y ejecutando controladores en el Tokamak de Configuración Variable (TCV) en Lausana, Suiza. Utilizando una arquitectura de aprendizaje que combina RL profundo y un entorno simulado, produjimos controladores que pueden mantener el plasma estable y ser utilizados para darle forma de manera precisa. Este “esculpido de plasma” demuestra que el sistema RL ha controlado con éxito la materia sobrecalentada y, lo que es importante, permite a los científicos investigar cómo reacciona el plasma en diferentes condiciones, mejorando nuestra comprensión de los reactores de fusión.

“En los últimos dos años, DeepMind ha demostrado el potencial de la IA para acelerar el progreso científico y abrir nuevas vías de investigación en biología, química, matemáticas y ahora física.” Demis Hassabis, cofundador y CEO de DeepMind

• Prediciendo el pasado con Ithaca
• GopherCite Enseñando a los modelos de lenguaje a respaldar respuestas con citas verificadas
• Un análisis empírico del entrenamiento de modelos de lenguaje grandes óptimos en cómputo

Este trabajo es otro ejemplo poderoso de cómo el aprendizaje automático y las comunidades expertas pueden unirse para abordar grandes desafíos y acelerar el descubrimiento científico. Nuestro equipo está trabajando arduamente para aplicar este enfoque en campos tan diversos como la química cuántica, las matemáticas puras, el diseño de materiales, la predicción del clima y más, para resolver problemas fundamentales y asegurar que la IA beneficie a la humanidad.

Fotos del Tokamak de Configuración Variable (TCV) en la EPFL visto desde el exterior (izquierda, crédito: SPC/EPFL) y desde el interior (derecha, crédito: Alain Herzog / EPFL) y un modelo en 3D del TCV con el recipiente y las bobinas de control (centro, crédito: DeepMind y SPC/EPFL):

Aprendiendo cuando los datos son difíciles de adquirir

La investigación sobre fusión nuclear está limitada actualmente por la capacidad de los investigadores para realizar experimentos. Si bien existen docenas de tokamaks activos en todo el mundo, son máquinas costosas y muy demandadas. Por ejemplo, el TCV solo puede mantener el plasma en un solo experimento durante tres segundos, después de lo cual necesita 15 minutos para enfriarse y reiniciarse antes del siguiente intento. Además, varios grupos de investigación a menudo comparten el uso del tokamak, lo que limita aún más el tiempo disponible para los experimentos.

Dadas las dificultades actuales para acceder a un tokamak, los investigadores han recurrido a simuladores para ayudar a avanzar en la investigación. Por ejemplo, nuestros colaboradores en la EPFL han desarrollado un conjunto poderoso de herramientas de simulación que modelan la dinámica de los tokamaks. Pudimos utilizar estas herramientas para permitir que nuestro sistema RL aprendiera a controlar el TCV en simulación y luego validar nuestros resultados en el TCV real, demostrando que pudimos darle forma al plasma en las formas deseadas. Aunque esta es una forma más económica y conveniente de entrenar nuestros controladores, aún tuvimos que superar muchas barreras. Por ejemplo, los simuladores de plasma son lentos y requieren muchas horas de tiempo de computadora para simular un segundo de tiempo real. Además, las condiciones del TCV pueden cambiar de un día para otro, lo que nos obligó a desarrollar mejoras algorítmicas, tanto físicas como simuladas, y adaptarnos a las realidades del hardware.

Éxito al priorizar la simplicidad y la flexibilidad

Los sistemas de control de plasma existentes son complejos, requieren controladores separados para cada una de las 19 bobinas magnéticas del TCV. Cada controlador utiliza algoritmos para estimar las propiedades del plasma en tiempo real y ajustar el voltaje de los imanes en consecuencia. En contraste, nuestra arquitectura utiliza una sola red neuronal para controlar todas las bobinas a la vez, aprendiendo automáticamente qué voltajes son los mejores para lograr una configuración de plasma directamente de los sensores.

Como demostración, primero mostramos que podíamos manipular muchos aspectos del plasma con un solo controlador.

En el video de arriba, vemos el plasma en la parte superior del TCV en el instante en que nuestro sistema toma el control. Nuestro controlador primero da forma al plasma según la forma solicitada, luego desplaza el plasma hacia abajo y lo separa de las paredes, suspendiéndolo en el centro del recipiente sobre dos patas. El plasma se mantiene estacionario, como sería necesario para medir las propiedades del plasma. Luego, finalmente, el plasma se dirige de nuevo a la parte superior del recipiente y se destruye de manera segura.

Luego creamos una variedad de formas de plasma que están siendo estudiadas por físicos de plasma por su utilidad en la generación de energía. Por ejemplo, creamos una forma de “copo de nieve” con muchas “patas” que podrían ayudar a reducir el costo de enfriamiento al distribuir la energía de escape en diferentes puntos de contacto en las paredes del recipiente. También demostramos una forma cercana a la propuesta para ITER, el tokamak de próxima generación en construcción, ya que EPFL estaba realizando experimentos para predecir el comportamiento de los plasmas en ITER. Incluso hicimos algo que nunca se había hecho antes en TCV al estabilizar una “gota” donde hay dos plasmas dentro del recipiente simultáneamente. Nuestro sistema único pudo encontrar controladores para todas estas diferentes condiciones. Simplemente cambiamos la meta que solicitamos, y nuestro algoritmo encontró de manera autónoma un controlador adecuado.

El futuro de la fusión y más allá

Similar al progreso que hemos visto al aplicar IA a otros campos científicos, nuestra exitosa demostración del control de tokamak muestra el poder de la IA para acelerar y ayudar a la ciencia de la fusión, y esperamos una mayor sofisticación en el uso de la IA en el futuro. Esta capacidad de crear controladores de manera autónoma podría usarse para diseñar nuevos tipos de tokamaks al mismo tiempo que se diseñan sus controladores. Nuestro trabajo también apunta a un futuro prometedor para el aprendizaje por refuerzo en el control de máquinas complejas. Es especialmente emocionante considerar campos donde la IA podría complementar la experiencia humana, sirviendo como una herramienta para descubrir enfoques nuevos y creativos para problemas difíciles del mundo real. Predecimos que el aprendizaje por refuerzo será una tecnología transformadora para aplicaciones de control industrial y científico en los próximos años, con aplicaciones que van desde la eficiencia energética hasta la medicina personalizada.

We will continue to update Zepes; if you have any questions or suggestions, please contact us!