Deep reinforcement learning for optimal building energy system operation

Schreiber, Thomas Bruno; Hagenmeyer, Veit; Müller, Dirk

doi:10.18154/RWTH-2024-05587

Deep reinforcement learning for optimal building energy system operation = Deep Reinforcement Learning für den optimalen Betrieb von Gebäudeenergiesystemen

Schreiber, Thomas Bruno^RWTH*

2024

Verantwortlichkeitsangabevorgelegt von Thomas Bruno Schreiber

ImpressumAachen : RWTH Aachen University 2024

Umfang1 Online-Ressource : Illustrationen

Dissertation, Rheinisch-Westfälische Technische Hochschule Aachen, 2024

Veröffentlicht auf dem Publikationsserver der RWTH Aachen University

Genehmigende Fakultät
Fak04

Hauptberichter/Gutachter
Müller, Dirk (Thesis advisor)^RWTH* ; Hagenmeyer, Veit (Thesis advisor)

Tag der mündlichen Prüfung/Habilitation
2024-05-24

Online
DOI: 10.18154/RWTH-2024-05587
URL: https://publications.rwth-aachen.de/record/987315/files/987315.pdf

Einrichtungen

Inhaltliche Beschreibung (Schlagwörter)
artificial intelligence (frei) ; building automation (frei) ; demand response (frei) ; energy systems (frei) ; optimal control (frei) ; reinforcement learning (frei)

Thematische Einordnung (Klassifikation)
DDC: 620

Kurzfassung
Internationale Klimaschutzziele machen die Entwicklung skalierbarer Methoden notwendig, um Effizienz und Nachhaltigkeit von Energiesystemen zu erhöhen. Gleichzeitig schreitet die Digitale Revolution weiter voran und Algorithmen aus dem Bereich der Künstlichen Intelligenz halten Einzug in immer mehr Lebensbereichen. Deep Reinforcement Learning (DRL) ist eine Klasse von Algorithmen für die Lösung sequenzieller Entscheidungsprobleme unter Verwendung Neuronaler Netze, welche in den vergangenen Jahren für vielfältige Problemklassen erfolgreich demonstriert wurde. Hierdurch motiviert, wird in dieser Arbeit die Anwendbarkeit für Optimierungsprobleme aus der Gebäudetechnik untersucht. Es werden relevante Fragestellungen herausgearbeitet und die Vor- und Nachteile gegenüber der populären Modellprädiktiven Regelung diskutiert. Auf Basis der Einführung wird ein Workflow für die Entwicklung DRL unterstützter Gebäudeautomation vorgestellt. Das Workflow-Kapitel schließt mit der Vorstellung einer kollaborativen Arbeit ab, in der ein DRL-Algorithmus gegen weitere neuartige Regelungsverfahren verglichen und diskutiert wird. Die Anwendungsszenarien des Anwendungskapitels wurden aus aktuellen Forschungsprojekten zur Betriebsoptimierung von Gebäudeenergiesystemen ausgewählt. Der vorgeschlagene Workflow wird demonstriert; hierbei werden Fragen zu Algorithmusvergleichen, praktikablen Trainingszeiten, Nutzung von Monitoringdaten beim Training, Auswahl von Hyper-Parametern, Dateninfrastrukturen und Anwendbarkeit simulationsbasiert trainierter Algorithmen auf reale Regelungsprobleme, behandelt. Im anschließenden Diskussionskapitel werden die Chancen und Herausforderungen der Algorithmen sowie die im Zuge der Arbeit gemachten Erfahrungen detailliert diskutiert. Die Ergebnisse der Arbeit lassen sich wie folgt zusammenfassen. DRL-Algorithmen besitzen vielversprechende Eigenschaften und können in ihrer Leistungsfähigkeit mit konkurrierenden Verfahren mithalten, allerdings ist der technische Aufwand für die Implementierung nicht zu unterschätzen. Die Vorteile liegen in der inhärenten Anpassungsfähigkeit an variable Umweltbedingungen, dem geringen Rechenaufwand nach dem Training und dem Potenzial, große stochastische Probleme performant zu verarbeiten. Die Nachteile liegen in der schwierigen Interpretierbarkeit, dem datenintensiven Training und der Unvermeidbarkeit von stochastischen Aktionen. Dennoch wird ein großes Potenzial darin gesehen, für wiederkehrende Optimierungsaufgaben vortrainierte Algorithmen zu veröffentlichen und in der Produktentwicklung als Expertensysteme einzusetzen. Insbesondere, da Entwicklung, Implementierung und Training dann einmalige Prozesse sind, lohnt sich der Aufwand. Schließlich kann das Ergebnis ein sich selbst optimierendes Softwaremodul sein, das sich zusammen mit dem technischen System in seiner Einsatzumgebung immer weiter verbessert.

International climate protection targets make the development of scalable methods for increasing the efficiency and sustainability of energy systems a necessity. At the same time, the digital revolution continues to advance and algorithms from the field of artificial intelligence are finding their way into more and more areas of life. Deep Reinforcement Learning (DRL) is a class of algorithms designed to solve sequential decision-making problems using neural networks, which has been successfully demonstrated for a variety of problem classes in recent years. Motivated by this, the applicability for optimization problems in building engineering is investigated in this dissertation. Relevant research questions are identified and the advantages and disadvantages compared to the popular Model Predictive Control approach are discussed. Based on the introduction, a workflow for the development of DRL-supported building automation is presented. The workflow chapter concludes with the presentation of a collaborative work in which a DRL algorithm is compared and discussed with other novel control methods. The application scenarios in the application chapter are selected from current research projects on the operation optimization of building energy systems. The proposed workflow is demonstrated, addressing questions of algorithm comparisons, practicable training times, use of monitoring data for training, selection of hyper-parameters, data infrastructures, and applicability of simulation-based trained algorithms to real control problems. In the subsequent discussion chapter, the opportunities and challenges of the algorithms and the experiences gained in the course of the work are discussed in detail. The results of the work can be summarized as follows. DRL algorithms have promising properties and can compete with other novel approaches in terms of performance, but the technical effort required for implementation should not be underestimated. The advantages lie in the inherent adaptability to variable environmental conditions, the low computational costs after training, and the potential to process large stochastic problems with high performance. The disadvantages lie in the difficult interpretability, the data-intensive training, and the unavoidability of stochastic actions. Nevertheless, great potential is seen in publishing pre-trained algorithms for recurring optimization tasks and using them as expert systems in product development. In particular, since development, implementation, and training are one-time processes, the effort is worthwhile. Ultimately, the result can be a self-optimizing software module that continues to improve along with the technical system in its operational environment.

OpenAccess:
PDF
(additional files)