O mais recente sucesso do grupo de IA do Google: controle de reator de fusão

Enquanto o mundo espera para construir o maior reator de fusão até hoje, chamado ITER, reatores menores Com projetos semelhantes ainda em execução. Esses reatores, chamados tokamaks, nos ajudam a testar hardware e software. O teste de hardware nos ajuda a melhorar coisas como os materiais usados ​​nas paredes do recipiente ou a forma e a localização dos ímãs de controle.

Mas pode-se dizer que o programa é o mais importante. Para permitir a fusão, o software de controle do tokamak deve monitorar o estado do plasma que ele contém e responder a quaisquer alterações fazendo ajustes em tempo real nos ímãs do sistema. Não fazer isso pode resultar em qualquer coisa, desde baixa energia (resultando em qualquer falha de fusão) até ver o plasma vazando da contenção (e queimando as paredes do recipiente).

A obtenção do programa de controle correto requer uma compreensão detalhada do ímã de controle e do plasma que o ímã manipula. Ou seria mais preciso dizer, acerte este software de controle você pode perguntar. Porque hoje, a equipe DeepMind AI do Google anuncia que seu software foi treinado com sucesso para controlar o tokamak.

fora de controle

O desenvolvimento de software de controle para tokamak é um processo complexo. Com base na experiência anterior com projetos semelhantes, os engenheiros podem obter alguns dos princípios básicos necessários para executar o software, como quais entradas de sensores devem ser lidas e como responder a mudanças nelas. Mas sempre há peculiaridades que dependem do design dos dispositivos e das energias do plasma utilizado. Portanto, tende a haver um processo iterativo de dimensionamento e modelagem, seguido de ajustes no processo de controle, mantendo desempenho suficiente para ajustes quase em tempo real.

O programa de controle resultante tende a ser um tanto especializado. Se os pesquisadores quiserem experimentar uma geometria de plasma completamente diferente no tokamak, uma grande revisão do programa pode ser necessária.

Pesquisadores dessa área já haviam identificado a inteligência artificial como uma possível solução. Dê exemplos suficientes que sejam adequados para inteligência artificial, e eles podem dizer quais configurações de controle produzem as propriedades desejadas no plasma. Isso liberará as pessoas para se concentrarem no estado final desejado que desejam e, em seguida, deixarão que o software o produza para que possam estudá-lo. A IA também deve ser mais flexível; Uma vez treinado em como controlar o sistema, ele deve ser capaz de produzir configurações de plasma muito diferentes para estudo sem a necessidade de reprogramação.

Para avançar com essa ideia, tudo o que precisávamos eram especialistas em IA e tokamak. Para o novo trabalho de pesquisa, a equipe de IA veio da divisão DeepMind do Google, conhecida por desenvolver softwares capazes de lidar com tudo. dobramento de proteínas para StarCraft. Tokamak vem cortesia Centro Suíço de Plasma Na EPFL em Lausanne.

praticar fusão

Como colocar IA em hardware real durante o processo de treinamento pode ser um desastre, a equipe começou com uma simulação de tokamak específica para o hardware do Swiss Plasma Center. Isso foi bastante preciso, e eles programaram um limite na IA que a impedia de direcionar plasmas para a configuração onde o simulador produziria resultados imprecisos. A DeepMind então treinou seu software de aprendizado profundo para acessar uma variedade de configurações de plasma, permitindo que eles controlassem o simulador.

Durante o treinamento, uma camada sobreposta do software forneceu uma função de recompensa indicando quão próximas as propriedades do plasma estavam do estado desejado. Outro algoritmo, chamado Critic, aprendeu as recompensas esperadas para várias mudanças no ímã de controle do tokamak. Estes foram usados ​​pela rede neural de controle real para saber quais ações tomar.

A crítica era elaborada e computacionalmente cara, mas era usada apenas durante a parte de treinamento. Quando treinado, o algoritmo de controle aprendia quais ações tomar para alcançar uma variedade de situações, e o crítico poderia ser ignorado.

Para permitir o desempenho em tempo real, o console treinado foi compilado como um executável. Um programa de controle padrão será usado para ativar o tokamak e levar o plasma a altas energias. Uma vez que o plasma estava estável, passei o controle para a IA.

está funcionando!

O software resultante executou praticamente o que você gostaria que fosse ao colocá-lo no hardware real. O software poderia controlar execuções experimentais que visavam diferentes condições ao longo do tempo – em um caso de teste, ele aumentou a potência, manteve o plasma estável, depois mudou a geometria do plasma e moveu o plasma para dentro do tokamak antes de aumentar a potência novamente. Em outro caso, continha duas estruturas separadas de plasma no mesmo tokamak simultaneamente.

O artigo que descreve este trabalho contém uma grande lista de coisas que os autores precisam. Esta lista inclui um simulador de tokamak que é detalhado o suficiente para ser preciso, mas compacto o suficiente para fornecer feedback rápido o suficiente para possibilitar o aprendizado por reforço. O conjunto de treinamento deve incluir condições comuns semelhantes a onde o controle foi entregue e condições incomuns que permitem aprender como transferir essas configurações para configurações experimentais. Além disso, os pesquisadores precisavam desenvolver um software detalhado o suficiente para avaliar uma ampla gama de opções de controle em potencial, mas também ser capaz de treinar um controlador de desempenho rápido que pudesse ser compilado em um arquivo executável.

As pessoas por trás deste trabalho também estão empolgadas com o que pode pressagiar trabalhos futuros. Em vez de apenas limitar as coisas à modelagem de dispositivos existentes, eles sugerem que deve ser possível fornecer a este programa a configuração necessária do plasma e permitir que ele determine a arquitetura de hardware que permitirá que ele crie isso. Como alternativa, pode melhorar o desempenho dos dispositivos existentes.

Agora só precisamos esperar por um reator de fusão digno de IA.

Natureza, 2022. DOI: 10.1038 / s41586-021-04301-9 (Sobre DOIs).