O treinamento do Memristor reduz os custos de energia da IA

Pesquisadores chineses aproveitam atualizações probabilísticas em hardware de memristor para reduzir o uso de energia de treinamento de IA em ordens de grandeza, abrindo caminho para eletrônicos ultraeficientes.



Cientistas chineses revelaram um avanço no treinamento de modelos de IA que consomem muita energia usando hardware memristor, reduzindo o consumo de energia em quase seis ordens de magnitude em comparação com o treinamento convencional baseado em GPU.Sua nova abordagem aborda um desafio de longa data de incompatibilidade de hardware-software em redes neurais baseadas em memristores e pode remodelar perfis de energia para a próxima geração de eletrônicos de IA.

No centro do avanço está um algoritmo de atualização probabilística com reconhecimento de erro (EaPU) que alinha o comportamento ruidoso e imprevisível dos dispositivos memristores com as atualizações de peso baseadas em gradiente usadas no treinamento de redes neurais.A retropropagação tradicional faz ajustes pequenos e precisos nos pesos do modelo, mas os dispositivos memristores analógicos que combinam armazenamento e processamento sofrem com ruído de gravação e desvios que inundam essas mudanças refinadas.Em vez de combater esse ruído, a estratégia EaPU adota a estocasticidade: ela aplica probabilisticamente maiores mudanças de peso enquanto ignora atualizações abaixo do limite de ruído do dispositivo, reduzindo o número de gravações em mais de 99% e reduzindo drasticamente o uso de energia.

A equipe validou seu método em um arranjo experimental de memristores de 180 nm, treinando redes para remoção de ruído de imagem e super-resolução com qualidade igual ou melhor que os métodos de treinamento convencionais, mas usando apenas uma pequena fração da energia.Redes maiores, incluindo ResNets de 152 camadas e Vision Transformers, foram testadas em simulação, mostrando ganhos de precisão superiores a 60% em hardware ruidoso em comparação com abordagens padrão.

Além da economia de energia, a frequência de atualização reduzida prolonga a vida útil do dispositivo em cerca de 1.000×, aliviando um obstáculo importante para sistemas de memristores comerciais.Comparado com esquemas de treinamento de memristor anteriores, o EaPU reduz a energia de treinamento em aproximadamente 50× e cerca de 13× em comparação com o melhor algoritmo otimizado existente.

Os pesquisadores veem amplas aplicações para sua técnica, potencialmente estendendo-a a outras tecnologias de memória, como transistores ferroelétricos e RAM magnetorresistiva, e até mesmo a clusters de treinamento de IA em grande escala, onde os custos de energia são uma preocupação estratégica.Se dimensionado e comercializado, este trabalho poderá ajudar a tornar a eletrónica de IA sustentável e energeticamente eficiente uma realidade prática.