2025
Dissertation, Rheinisch-Westfälische Technische Hochschule Aachen, 2025
Veröffentlicht auf dem Publikationsserver der RWTH Aachen University
Genehmigende Fakultät
Fak04
Hauptberichter/Gutachter
;
Tag der mündlichen Prüfung/Habilitation
2025-09-24
Online
DOI: 10.18154/RWTH-2025-08453
URL: https://publications.rwth-aachen.de/record/1019610/files/1019610.pdf
Einrichtungen
Projekte
Thematische Einordnung (Klassifikation)
DDC: 620
Kurzfassung
Der Trend zu kleineren Losgrößen, individualisierten Produkten und der Zusammenarbeit zwischen Menschen und Robotern stellt neue Herausforderungen für die roboterbasierte Produktion dar. Um diesen Anforderungen gerecht zu werden, müssen Roboter zukünftig in der Lage sein, komplexe Aufgaben in sich verändernden und unsicheren Umgebungen zu bewältigen. Reinforcement Learning (RL) stellt einen vielversprechenden Ansatz dar, indem es Roboter befähigt, Regelungsstrategien durch direkte Interaktion mit der Umgebung zu erlernen. Die reale Welt stellt jedoch bislang erhebliche Hürden für die Anwendung von RL-Algorithmen dar. Zu den wesentlichen Hindernissen zählen die Effizienz und Sicherheit der Datenerfassung, die Komplexität und Unvorhersehbarkeit realer Umgebungen sowie die Nutzbarkeit und Akzeptanz für Anwender im Produktionskontext. Die zentrale Zielsetzung dieser Dissertation besteht darin, die Lücke zwischen bestehenden RL-Methoden und den praktischen Anforderungen der industriellen Produktion zu verringern. Als ersten Beitrag wird eine neue Metrik zur Bewertung von spatial Autoencodern (SAE) vorgestellt, einer speziellen Art von neuronalen Netzen, um Objektpositionen aus Bildern zu extrahieren. Die entwickelte Metrik ermöglicht es, zu quantifizieren, wie gut ein trainierter Autoencoder in der Lage ist, Objekte auf den Bildern über mehrere Zeitschritte zu verfolgen. Die vorgeschlagene Metrik wird genutzt, um verschiedene SAE-Architekturen zu bewerten. Darüber hinaus ermöglicht die Metrik eine effiziente Vorhersage der nachgeschalteten RL-Performance, wodurch sie sich als praktisches Werkzeug zur Auswahl geeigneter Autoencoder-Modelle für robotische RL-Aufgaben etabliert. Im nächsten Schritt wird der Algorithmus Contextualized Hybrid Ensemble Q-learning (CHEQ) entwickelt, ein neuartiger adaptiver hybrider RL-Ansatz. Der Algorithmus kombiniert die Aktionen eines RL-Agenten mit der einer klassischen Regelung. Die Gewichtung zwischen beiden Teilen wird basierend auf den aktuellen Fähigkeiten des RL-Agenten angepasst. Im Vergleich zu aktuellen adaptiven hybriden RL-Methoden zeigt CHEQ (i) eine höhere Dateneffizienz, (ii) ein sichereres Explorationsverhalten und (iii) eine verbesserte Übertragbarkeit auf unbekannte Szenarien. Abschließend wird die Praktikabilität des CHEQ-Algorithmus am Anwendungsfall des roboterbasierten Polierens untersucht, einer kontaktreichen und dynamischen Manipulationsaufgabe, die exemplarisch für die Herausforderungen in der industriellen Automatisierung steht. In der Simulation ist CHEQ in der Lage, gutes Polierverhalten zu erlernen und gleichzeitig sicheres Explorationsverhalten zu gewährleisten. Aufbauend darauf wird CHEQ erfolgreich auf realer Hardware eingesetzt. Das Training direkt auf Hardware berücksichtigt reale Unsicherheiten und Instationaritäten und stellt hohe Anforderungen an Effizienz und Sicherheit. CHEQ meistert diese Herausforderungen und bestätigt damit seine Eignung für industrielle Automatisierungsaufgaben.This dissertation envisions a future of robotic production capable of solving complex tasks in changing and uncertain environments. Such capabilities are critical as production trends shift toward smaller lot sizes, individualised products, and human-robot collaboration. Reinforcement learning (RL) methods hold promises for solving such challenges as they learn behaviours through interaction with their surrounding environments and ideally generalise to new unseen scenarios. However, realising this promise in real-world settings has been challenging. Key barriers include data collection efficiency and safety, the complexity and unpredictability of real-world dynamics, and usability challenges for domain experts with limited machine learning experience. The central challenge addressed in this dissertation lies in bridging the gap between existing RL methods and the challenges posed by real-world production. It proposes novel methods to improve data collection regarding safety and efficiency, consider changing and uncertain environments, and improve user interpretability and acceptance. As a first contribution, we introduce a novel metric for evaluating the performance of spatial autoencoders, a neural network extracting spatial features from images. By quantifying how well such autoencoders track objects in a 3D space, we address key challenges in using image-based state representations in RL, particularly in unstructured environments. The proposed metric is applied to assess various spatial autoencoder architectures and their ability to track object positions. We show that this ability correlates with downstream RL performance. As a result, the developed evaluation metric offers a lightweight, computationally efficient method for predicting RL performance, providing a practical tool for selecting trained models in robotic RL tasks. Next, we develop the Contextualized Hybrid Ensemble Q-learning (CHEQ) algorithm, a novel adaptive hybrid RL method. The algorithm blends the action from an RL agent with a classical model-based controller and dynamically adjusts the weighting between both based on the RL agent's current capabilities. CHEQ is evaluated on a simulated car racing task that requires precise control near stability limits. Compared to state-of-the-art adaptive hybrid RL methods, CHEQ demonstrates (i) enhanced data efficiency, (ii) safer exploration, and (iii) improved zero-shot transferability to unseen scenarios. Lastly, this thesis explores the application of RL to robotic polishing, a contact-rich and dynamic task that exemplifies the complexities of manipulation and other contact-rich problems in industrial automation. In this context, the CHEQ algorithm is applied to learn variable impedance gains and path-following for polishing a 3D workpiece. In simulation, we demonstrate the potential of CHEQ to learn suitable gains while maintaining safe exploration behaviour. Building on this, we successfully deploy CHEQ on hardware. Direct hardware training introduces environment uncertainties and nonstationarities, as well as practical requirements for sample efficiency and safety. CHEQ effectively addresses these challenges, confirming its suitability for real-world industrial automation tasks.
OpenAccess:
PDF
(additional files)
Dokumenttyp
Dissertation / PhD Thesis
Format
online
Sprache
English
Externe Identnummern
HBZ: HT031292792
Interne Identnummern
RWTH-2025-08453
Datensatz-ID: 1019610
Beteiligte Länder
Germany
|
The record appears in these collections: |