Automatic tuning of control engineering algorithms with Bayesian optimization

Stenger, David; Abel, Dirk; Trimpe, Johann Sebastian

doi:42663

Automatic tuning of control engineering algorithms with Bayesian optimization = Automatisiertes Tuning Regelungstechnischer Algorithmen mit Bayes’scher Optimierung

Stenger, David^RWTH*

2023

Verantwortlichkeitsangabevorgelegt von David Stenger

ImpressumAachen : RWTH Aachen University 2023

Umfang1 Online-Ressource : Illustrationen, Diagramme

Dissertation, Rheinisch-Westfälische Technische Hochschule Aachen, 2023

Veröffentlicht auf dem Publikationsserver der RWTH Aachen University

Genehmigende Fakultät
Fak04

Hauptberichter/Gutachter
Abel, Dirk (Thesis advisor)^RWTH* ; Trimpe, Johann Sebastian (Thesis advisor)^RWTH*

Tag der mündlichen Prüfung/Habilitation
2023-07-14

Online
DOI: 10.18154/RWTH-2023-09801
URL: https://publications.rwth-aachen.de/record/971795/files/971795.pdf

Einrichtungen

Lehrstuhl und Institut für Regelungstechnik (416610)

Inhaltliche Beschreibung (Schlagwörter)
Bayesian optimization (frei) ; automatic tuning (frei) ; control engineering (frei) ; parameter optimization (frei)

Thematische Einordnung (Klassifikation)
DDC: 620

Kurzfassung
Die korrekte Wahl von Tuningparametern regelungstechnischer Algorithmen ist entscheidend für die Güte des geschlossenen Regelkreises. Hierfür können manuelles Tuning mühsam und heuristische Verfahren suboptimal sein. Analytische Einstellregeln beruhen hingegen oft auf idealisierten Annahmen, die in der Praxis nur eingeschränkt gelten. In dieser Arbeit wird die Tuningaufgabe durch ein episodisches Black-Box Optimierungsproblem formalisiert, und näherungsweise mit Bayes’scher Optimierung (BO) gelöst. So kann der geschlossene Regelkreis für beliebige Gütekriterien mit Hilfe weniger, möglichst ideal parametrierten, Experimenten optimiert werden. Für BO werden drei methodische Beiträge präsentiert und evaluiert. (1) BO wird mit dem Parameterraumverfahren kombiniert, um bestehendes Modellwissen für eine sichere Exploration zu nutzen (BO-PSA). (2) Virtuelle Datenpunkte werden eingeführt, um fehlgeschlagene Experimente (Crash Constraints) in Kombination mit Nebenbedingungen und mehreren Zielen zu berücksichtigen (BO-VDP). (3) Verschiedene Methoden werdenfür beschränkte Optimierung mit Crash Constraints, verschiedenen Arbeitspunkten und unbekannten Parametergrenzen kombiniert (PC-CMES). Eine umfassende Evaluation der Sampleeffizienz von BO in der Regelungstechnik wurde bis jetzt nicht durchgeführt. Daher vergleicht diese Arbeit elf BO-Varianten mit sieben anderen Black-Box-Optimierern anhand von zehn simulativen, deterministischen und unbeschränkten Tuningaufgaben. Pattern Search (PS) ist am effizientesten für eine Problemdimensionalität d von d = 2. Für 3 ≤ d ≤ 5 ist Bayesian Adptive Direct Search(BADS), eine Kombination aus BO und PS, am effizientesten. PS und BADS führen zu, im Schnitt um 6,6% und bis zu 16%, besseren Ergebnissen, als zufälliges Sampling. Abschließend wird die Praktikabilität von BO in sieben Fallstudien aus der angewandtenregelungstechnischen Forschung demonstriert. Verschiedene Algorithmen wie z. B. modellprädiktiveRegelung und Kalman Filter werden anhand divers strukturierter Optimierungsprobleme getunt. Zum Beispiel wird PC-CMES an einem realen Dreitankdemonstriert. Außerdem werden Fehlerdiagnose und Navigationsfilter offline anhand experimenteller Daten optimiert. Für ein Unterwasserfahrzeug wird simulativ gezeigt, dass die simultane Optimierung von Zustandsschätzung, Pfadplanung und Regelung deren gegenseitige Abhängigkeiten auflösen kann. Zusammengefasst zeigen die Fallstudien, dass BO effektiv eine Vielzahl von Herausforderungen des automatisierten Reglertunings adressiert und dabei oft effizienter als konkurrierende Optimierer ist.

Control engineering algorithms typically rely on various tuning parameters. Correctly setting these is critical to the performance of the closed control loop. However, manual tuning can be tedious, heuristics sub-optimal, and analytical tuning rules are typically based on idealized assumptions that often do not hold in practice. Instead, this thesis formalizes the tuning task by formulating an episodic black-box optimization problem that is approximately solved using Bayesian optimization (BO). This way, the closed loop is optimized w.r.t. arbitrary high-level performance criteria in a sample-efficient manner, i.e., requiring only a few possibly expensive or time-consuming experiments. Three methodological contributions are proposed in the context of BO for control: First, BO-PSA combines BO with the parameter space approach leveraging model knowledge to achieve safe exploration. Second, BO-VDP introduces virtual data points to address failed experiments (crash constraints) in combination with other challenges, such as constraints and multiple objectives. Third, PC-CMES combines multiple approaches to address constrained optimization for various operating conditions (contextual optimization), crash constraints, and dynamic domain extension. A comprehensive benchmark of the sample efficiency of BO for control has not been performed yet. Therefore, this thesis compares eleven variants of BO (including BO-VDP) with seven other black-box optimizers on ten simulative, deterministic, and unconstrained control engineering tasks. Pattern search (PS) is observed to be the most sample efficient for a problem dimensionality d of d = 2. In contrast, for 3 ≤ d ≤ 5, Bayesian adaptive direct search (BADS), a combination of BO and PS, is the most sample efficient. Using PS and BADS outperforms random sampling by, on average, 6.6% and up to 16%. The practical impact of BO on control is demonstrated in seven case studies from different areas of applied control engineering research. Parameters are optimized automatically for various algorithms, e.g., model predictive control and Kalman filter, while addressing different optimization problem structures. For example, PC-CMES is demonstrated experimentally on a physical three-tank system. Furthermore, fault diagnosis and navigation filters are optimized offline using experimental data. Additionally, it is shown in simulations for an underwater vehicle that simultaneously optimizing state estimation, path planning, and control can resolve the dependencies between the different algorithms. In summary, BO effectively addresses various challenges in the practical tuning of controlengineering algorithms while often outperforming competing optimizers.

OpenAccess:
PDF
(additional files)