guest ::
Rocket engine control with deep reinforcement learning = Regelung von Raketentriebwerken mit Deep Reinforcement Learning
2025
Dissertation, Rheinisch-Westfälische Technische Hochschule Aachen, 2025
Veröffentlicht auf dem Publikationsserver der RWTH Aachen University
Genehmigende Fakultät
Fak04
Hauptberichter/Gutachter
;
Tag der mündlichen Prüfung/Habilitation
2025-04-09
Online
DOI: 10.18154/RWTH-2025-05076
DOI: 10.57676/bwbm-p528
URL: https://publications.rwth-aachen.de/record/1012640/files/1012640.pdf
Einrichtungen
Inhaltliche Beschreibung (Schlagwörter)
EcosimPro (frei) ; LUMEN (frei) ; deep reinforcement learning (frei) ; liquid propellant rocket engine (frei) ; reusability (frei) ; rocket engine control (frei)
Thematische Einordnung (Klassifikation)
DDC: 620
Kurzfassung
Die Raumfahrtindustrie vollzieht derzeit einen Wandel hin zu wiederverwendbaren und kostengünstigen Trägersystemen. Dies stellt neue Anforderungen an die Auslegung und den Betrieb zukünftiger Flüssigkeitsraketentriebwerke. Wiederverwendbare Trägersysteme erfordern für Landemanöver eine präzise und schnelle Schubregelung über einen weiten Drosselbereich. Eine weitere Herausforderung besteht darin, dass sich Triebwerkseigenschaften aufgrund von Alterungseffekten von Flug zu Flug ändern. Darüber hinaus führt der zunehmende Einsatz kostengünstiger additiver Fertigungsverfahren zu größeren Fertigungstoleranzen und damit zu weiteren Unsicherheiten. Die bevorstehende Einführung von effizienteren, aber komplexeren Triebwerkszyklen wie der gestuften Verbrennung sowie der Einsatz von Triebwerksclustern erhöhen die Anforderungen an den Betrieb zusätzlich. Vor diesem Hintergrund besteht ein Bedarf an neuen, fortschrittlichen Regelungskonzepten, die auf die spezifischen Anforderungen wiederverwendbarer Flüssigkeitsraketenantriebe zugeschnitten sind. Der Einsatz klassischer Regelalgorithmen ist jedoch mit Herausforderungen verbunden. Mehrere gekoppelte Größen wie Schub und Mischungsverhältnis müssen gleichzeitig geregelt werden und weltraumtaugliche Prozessoren haben nur eine begrenzte Rechenkapazität. Neuronale Netze, die mittels Deep Reinforcement Learning anhand von Simulationsmodellen des Triebwerks trainiert werden, stellen hier eine vielversprechende Alternative dar. Sie benötigen im Betrieb nur minimale Rechenleistung und sind in der Lage, optimale Regelstrategien für komplexe, nichtlineare Systeme zu erlernen. Ziel dieser Arbeit ist es, die Eignung von Deep Reinforcement Learning für die Triebwerksregelung anhand des am Deutschen Zentrum für Luft- und Raumfahrt entwickelten LOX/LNG-Triebwerks LUMEN in zwei repräsentativen Testfällen zu untersuchen und mit einer modellprädiktiven Regelung zu vergleichen. Die Testfälle decken verschiedene Herausforderungen ab, wie zum Beispiel die Schubregelung über einen weiten Drosselbereich, die Berücksichtigung von Zwangsbedingungen oder die Maximierung des Triebwerkswirkungsgrades. Durch experimentelle Tests am Prüfstand P8.3 konnte die Eignung des Ansatzes am realen System mit einer Regelgenauigkeit von 1.3 % nachgewiesen werden. In der Arbeit werden weiterhin Stabilitäts- und Robustheitsbetrachtungen für zukünftige Flugtriebwerksregelsysteme diskutiert, bei denen Sicherheit und Zuverlässigkeit von höchster Bedeutung sind.The space industry is transitioning to reusable and cost-efficient launch vehicles. This significant transformation creates new operational challenges for liquid propellant rocket engines. Reusable launch vehicles require precise and fast thrust control over a wide throttling range, while component aging with each flight can lead to changes in engine system dynamics due to wear and tear. In addition, the increasing use of low-cost additive manufacturing introduces variability in hardware geometry, creating additional uncertainties. The transition to more efficient but more complex engine cycles, such as staged combustion, and the use of clustered engine configurations further complicate operations. Closed-loop control systems offer a promising solution by providing accurate thrust control even as system dynamics change due to engine reuse and manufacturing variability. However, designing classical controllers for liquid propellant rocket engines is challenging because it requires the simultaneous control of multiple coupled variables, while the computational power of space-qualified processors is limited. As a result, there is a growing need for new advanced control algorithms suitable for reusable engines. One promising solution is to use neural network-based controllers trained with deep reinforcement learning on a simulation model of the engine: They require minimal computational power during deployment and can learn optimal control policies for complex nonlinear systems. This thesis therefore investigates the suitability of deep reinforcement learning for liquid rocket engine control and compares the results with state-of-the-art model predictive control. Two test cases around the LOX/LNG expander-bleed LUMEN engine are studied, each presenting different control challenges, including thrust control over a wide throttling range, constraint handling, and maximizing engine efficiency. A controller is also being experimentally tested at the P8.3 test facility in Lampoldshausen, Germany. The controller achieved promising accuracy in controlling multiple variables simultaneously with an average error of only 1.3 %, demonstrating the viability of the approach. This work also discusses stability and robustness considerations for future engine control systems, where safety and reliability are paramount.
OpenAccess: 
PDF
(additional files)
Dokumenttyp
Dissertation / PhD Thesis/Book
Format
online
Sprache
English
Externe Identnummern
HBZ: HT031174939
Interne Identnummern
RWTH-2025-05076
Datensatz-ID: 1012640
Beteiligte Länder
Germany
; 
|
The record appears in these collections: |