Reinforcement Learning for Battery Operation: Energy Arbitrage Considering Battery Degradation

Os sistemas de armazenamento de energia (BESS) proporcionam aos seus proprietários maior controlo sobre o uso de energia. Realizando arbitragem de energia (EA), os proprietários conseguem reduzir as suas despesas energéticas. Contudo, a maioria carece do conhecimento necessário para optimizar estes sistemas para EA. Neste tipo de ambientes de sistema de energia dinâmicos, a aprendizagem por reforço (RL) destaca-se como uma poderosa ferramenta de tomada de decisão, capaz de maximizar os lucros alcançáveis por EA.

Todavia, o desempenho de uma bateria é inconstante, porque a sua capacidade diminui progressivamente. É fundamental tomar em conta esta degradação da bateria para obter resultados fiavéis, pois pode prejudicar potenciais lucros de EA, talvez mais ainda se for desconsiderada.

Este trabalho utiliza RL para encontrar a forma ideal de operar uma bateria que fornece serviços de EA residencial, considerando a degradação da bateria prevista por um modelo de aprendizagem semi-supervisionada. Analisam-se três cenários: um onde o algoritmo é treinado numa bateria com capacidade máxima constante irrealista, um que considera a capacidade real ao longo da vida da bateria e calcula o verdadeiro resultado das decisões tomadas no primeiro cenário, e um onde o algoritmo é treinado numa bateria com capacidade real decrescente.

Os resultados mostram que, se a degradação for desconsiderada durante a operação da bateria, os custos de degradação reduzem potenciais lucros em 13%. Se considerada, esta percentagem cai para 4%. Ter em conta a degradação pode também aumentar a vida da bateria em 20%, adiando a sua substituição e investimentos associados.