Towards Real-World NILM: analytical and empirical procedures for assessing comparability and reproducibility

João Pedro Rodrigues Gois

Key information

Authors:

João Pedro Rodrigues Gois (João Pedro Rodrigues Gois)

Supervisors:

Amâncio Lucas de Sousa Pereira (Amâncio Lucas de Sousa Pereira); Duarte Nuno Jardim Nunes (Duarte Nuno Jardim Nunes)

Published in

November 26, 2025

Abstract

O setor da construção registou um aumento significativo nas emissões de carbono devido ao crescimento do consumo de eletricidade, tornando-se um alvo-chave de ações climáticas. A desagregação de cargas tornou-se uma abordagem eficaz para combater o uso ineficiente de eletricidade nos edifícios, combinando baixos custos de infraestrutura com privacidade do utilizador. Contudo, alguns desafios inerentes a comparabilidade e a reprodutibilidade ainda dificultam a aceitação desta abordagem em aplicações práticas. A falta de padronização entre problemas de desagregação de cargas, devido a aspetos dos dados, configurações experimentais e métricas de avaliação, dificulta a comparação do desempenho dos algoritmos, replicação de experiências e validação da consistência dos resultados entre diferentes estudos. Esta tese aborda a comparabilidade e reprodutibilidade na desagregação de cargas, dividida em aspetos de dados e avaliação de desempenho. Ao nível dos dados, são analisadas a deteção e similaridade dos padrões de uso de aparelhos, fatores socioeconómicos e nıveis de ruido. Os métodos propostos permitem avaliar o seu impacto no desempenho da desagregação, permitindo aos investigadores uma análise da desagregação mais orientada aos dados. Para avaliação de desempenho, a seleção de métricas e estudada analiticamente e empiricamente. Ambas as abordagens permitem maior precisão e fiabilidade na seleção de métricas em experiências de desagregação. Por fim, a seleção de Hiper parâmetros de algoritmos e analisada considerando os aspetos dos dados previamente estudados, como o ruído, potencializando a otimização do desempenho dos algoritmos. Assim, esta tese melhora o estado da arte da desagregação de cargas referente à análise de dados e avaliação de desempenho, contribuindo para a implementação em larga escala desta tecnologia. The building sector has seen a significant increase in carbon emissions due to electricity consumption growth, becoming a key target for climate action. Load disaggregation has become a suitable approach to tackle inefficient electricity use in buildings, combining low infrastructure costs with user privacy. However, some challenges still hinder load disaggregation’s acceptance in real-world applications, such as those concerning comparability and reproducibility. The lack of standardized conditions between load disaggregation problems, such as dataset aspects, experimental setups, and evaluation metrics, makes it difficult to compare algorithm performances, replicate experiments, and validate the consistency of findings between different studies. This thesis addresses comparability and reproducibility topics in load disaggregation, divided into data aspects and performance evaluation. The data aspects analyzed are the detection and similarity analysis of appliance usage patterns, socioeconomic factors, and noise levels. Methods were proposed for each of these topics to assess their impact on disaggregation performance, providing researchers with a set of tools for a more data-oriented analysis of load disaggregation. For performance evaluation, the selection of metrics for evaluating the quality of disaggregation is studied using both analytical and empirical approaches. Both analyses for performance evaluation enable the accurate selection of metrics, improving the reliability of disaggregation experiments. Finally, the selection of algorithm hyperparameters is further analyzed considering the methods developed for the data aspects, such as noise, showing the opportunity for algorithm optimization. Therefore, this thesis improves the current state-of-the-art of load disaggregation on dataset analysis and performance evaluation, leading to relevant advances for the worldwide implementation of this technology.