Reinforcement Learning in automobilen In-the-loop-Anwendungen

Koch, Lucas; Andert, Jakob Lukas; Koch, Charles Robert

doi:HT031220869

Reinforcement Learning in automobilen In-the-loop-Anwendungen = Reinforcement learning in automotive in-the-loop applications

Koch, Lucas^RWTH*

2025

Verantwortlichkeitsangabevorgelegt von Lucas Koch

ImpressumAachen : RWTH Aachen University 2025

Umfang1 Online-Ressource : Illustrationen

Dissertation, Rheinisch-Westfälische Technische Hochschule Aachen, 2025

Veröffentlicht auf dem Publikationsserver der RWTH Aachen University

Genehmigende Fakultät
Fak04

Hauptberichter/Gutachter
Andert, Jakob Lukas (Thesis advisor)^RWTH* ; Koch, Charles Robert (Thesis advisor)

Tag der mündlichen Prüfung/Habilitation
2025-06-13

Online
DOI: 10.18154/RWTH-2025-06226
URL: http://publications.rwth-aachen.de/record/1015151/files/1015151.pdf

Einrichtungen

Projekte

EFRE-0800354 - Hy-Nets4all: Ganzheitliche Entwicklungs- und Validierungsumgebung zur Optimierung des elektrifizierten Fahrens im urbanen Raum (0800354) (0800354)

Inhaltliche Beschreibung (Schlagwörter)
Regelungstechnik (frei) ; Softwareentwicklung (frei) ; X-in-the-Loop (frei) ; künstliche Intelligenz (frei) ; reinforcement learning (frei)

Thematische Einordnung (Klassifikation)
DDC: 620

Kurzfassung
Durch die steigende Komplexität und dem damit verbundenen, hohen Entwicklungsaufwand automobiler Software bei stagnierender Produktivität konventioneller Entwicklungsprozesse besteht ein zunehmender Bedarf an automatisierten Entwicklungsmethoden. Das Potential von Reinforcement Learning (RL) zum selbstständigen Erlernen von Lösungen für komplexe, automobile Regelungsprobleme wurde bereits in diversen Literaturquellen nachgewiesen und macht RL zu einem vielversprechenden Kandidaten zur Automatisierung der manuellen Implementierung und Kalibrierung von Software-Funktionen. Der Mangel an einer einheitlichen, zum aktuellen Entwicklungsprozess kompatiblen Trainingsmethodik sowie der zumeist fehlende Bezug zur realen Anwendung haben eine Nutzung in der Automobilindustrie bislang jedoch erschwert. Im Rahmen dieser Arbeit wird daher ein Prozess vorgeschlagen, mit dem RL-basierte Software-Funktionen in Analogie zur konventionellen Software-Entwicklung unter Nutzung von X-in-the-Loop-(XiL)-Simulationen automatisiert gelernt werden können. Das Training wird dabei schrittweise entlang mehrerer Virtualisierungsebenen von rein virtuellen in reale Umgebungen durchgeführt. Zur Unterstützung des vorgeschlagenen Prozesses wird eine Softwarelösung entwickelt, mit der RL-Agenten unter Nutzung von in der automobilen Software-Entwicklung etablierten Entwicklungswerkzeugen flexibel zwischen bestehenden XiL-Umgebungen ausgetauscht werden können. Die entwickelte Methodik wird anhand von zwei für die automobile Software-Entwicklung exemplarischen Anwendungsfällen, einer adaptiven Geschwindigkeitsregelung und einer Regelungsfunktion eines Abgasrückführungsventils, demonstriert. Dabei liegt der Fokus darauf, Agenten möglichst effizient für den Einsatz in der realen Anwendung zu trainieren und die dort erzielte Performance im Vergleich zu einer jeweils konventionell entwickelten Software-Funktion zu evaluieren. So konnte durch den Transfer eines über 150 Trainingsiterationen simulativ vortrainierten Agenten in die reale Anwendung ohne Nachteile in der Performance eine Reduktion der gesamten Trainingszeit von 42% nachgewiesen werden. Weiterhin konnten in beiden Anwendungsfällen Software-Funktionen automatisiert erlernt werden, die im realen System verschiedene, Pareto-optimale Ergebnisse erzielen und gegenüber den jeweiligen, manuell entwickelten Referenzfunktionen in einzelnen Zielgrößen eine Verbesserung um bis zu 28% aufweisen. Durch den generischen Aufbau des vorgeschlagenen Prozesses und der unterstützenden Software kann somit ein wichtiger Beitrag zur Effizienzsteigerung in der automobilen Software-Entwicklung geleistet werden.

Due to the increasing complexity and the associated high effort of automotive software development, combined with stagnating productivity of conventional development processes, a growing demand for automated methods is perceived. The potential of Reinforcement Learning (RL) to automatically learn solutions for complex automotive control problems has been demonstrated extensively in literature, making RL a promising candidate for automating the manual implementation and calibration of software functions. However, the lack of a standardized training procedure compatible with automotive development processes, as well as limited real-world application has hindered its utilisation in the automotive industry until now. Therefore, a process in which RL-based software functions are learned automatically, in accordance with conventional software development, using X-in-the-Loop (XiL) simulations is proposed in this work. Training is conducted progressively across multiple virtualization levels, transitioning from purely virtual to real environments. Furthermore, a generic software solution is developed to support the process by enabling RL agents to be flexibly exchanged between existing XiL environments integrating tools established in automotive software development. The developed methodology is demonstrated using two exemplary applications, an adaptive cruise control system and a control function for an exhaust gas recirculation valve. Here, the main focus is on establishing an efficient training procedure for generating agents capable of real-world control and evaluating their performance compared to conventionally developed software functions in real-world applications. By transferring an agent pre-trained in simulation over 150 training iterations to its real-world target application, a 42% reduction of the total training time was achieved without any drawbacks in performance. Furthermore, in both exemplary applications, the learned software functions achieved different Pareto-optimal results in the real-world application, outperforming their respective manually developed reference functions by up to 28% in certain performance metrics. Due to the generic structure of the proposed process and the supporting software, this work provides a significant contribution to increasing efficiency in automotive software development.

OpenAccess:
PDF
(zusätzliche Dateien)