Sim2Real-Framework für KI-basierte Robotik in der Montage mittels synthetischer Datenerzeugung

Petrovic, Oliver; Brecher, Christian; Krüger, Jörg

doi:HT031515712

Sim2Real-Framework für KI-basierte Robotik in der Montage mittels synthetischer Datenerzeugung = Sim2real-framework for AI-based robotics in assembly using synthetic data generation

Petrovic, Oliver^RWTH*

2026

Verantwortlichkeitsangabevorgelegt von Oliver Petrovic

ImpressumAachen : RWTH Aachen University 2026

Umfang1 Online-Ressource : Illustrationen

Dissertation, Rheinisch-Westfälische Technische Hochschule Aachen, 2026

Veröffentlicht auf dem Publikationsserver der RWTH Aachen University

Genehmigende Fakultät
Fak04

Hauptberichter/Gutachter
Brecher, Christian (Thesis advisor)^RWTH* ; Krüger, Jörg (Thesis advisor)

Tag der mündlichen Prüfung/Habilitation
2026-05-22

Online
DOI: 10.18154/RWTH-2026-05839
URL: https://publications.rwth-aachen.de/record/1037084/files/1037084.pdf

Einrichtungen

Inhaltliche Beschreibung (Schlagwörter)
artificial intelligence (frei) ; assembly automation (frei) ; computer vision (frei) ; robotics (frei) ; sim2real (frei) ; synthetic data (frei)

Thematische Einordnung (Klassifikation)
DDC: 620

Kurzfassung
Die industrielle Montage befindet sich infolge zunehmender Produktvariantenvielfalt, verkürzter Entwicklungszyklen und eines wachsenden Fachkräftemangels in einem tiefgreifenden Wandel. KI-basierte Robotik bietet das Potenzial, diese Herausforderungen zu adressieren und Flexibilität, Effizienz sowie Resilienz von Produktionssystemen nachhaltig zu steigern. Der flächendeckende Einsatz wird jedoch bislang durch die unzureichende Verfügbarkeit qualitativ hochwertiger Trainingsdaten und den hohen Aufwand datengetriebener Modellierung begrenzt. Die Erzeugung synthetischer Daten und das Training in physikalischen Simulationsumgebungen gelten daher als vielversprechende Ansätze zur Überwindung dieser Limitierungen. Zentrale Herausforderung bleibt dabei der sogenannte Sim2Real-Transfer, also die Übertragbarkeit zwischen virtueller und realer Domäne. Die vorliegende Arbeit adressiert diese Problemstellung durch die Entwicklung eines Sim2Real-Frameworks für KI-basierte Robotik in der Montage. Hierzu wird das modulare Framework Sim2Rob konzipiert, das Engineering-Daten, physikalisches Domänenwissen und synthetische Datenerzeugung in einem konsistenten Prozess integriert. Das Framework ermöglicht die automatisierte Erstellung, Parametrierung und Validierung von Simulationsszenarien zur Erzeugung synthetischer Trainingsdaten für Objektdetektion, 6D-Posenabschätzung und kraftbasierte Fügeoperationen. Zur Bewertung der entwickelten Ansätze werden Methoden zur Quantifizierung der Generalisierbarkeit und Robustheit trainierter Modelle implementiert. Die experimentelle Validierung an einer industrienahen Referenzanwendung zeigt, dass durch gezielte Simulationsparametrierung, den Einsatz von Sim2Real-Transfer-Methoden und modellbasiertes Training eine signifikante Verbesserung der Übertragungsleistung er-zielt werden kann. Damit leistet die Arbeit einen Beitrag zur systematischen Nutzung synthetischer Daten und virtueller Simulationsumgebungen für die Entwicklung robuster, KI-basierter Robotersysteme in der industriellen Montage.

Industrial assembly is undergoing fundamental transformation due to increasing product variety, shorter development cycles, and a growing shortage of skilled labor. AI-based robotics offers considerable potential to address these challenges and to enhance the flexibility, efficiency and resilience of production systems. However, wide-spread adoption is still limited by the lack of high-quality training data and the substantial effort required for data-driven model development. The generation of synthetic data and the training of algorithms within physical simulation environments are considered promising approaches to overcome these limitations. The central challenge lies in the so-called Sim2Real transfer, i.e., the transferability between virtual and real domains. This dissertation addresses this challenge through the development of a Sim2Real-framework for AI-based robotics in assembly. For this purpose, the modular Sim2Rob framework is designed, integrating engineering data, domain knowledge, and synthetic data generation into a consistent process. The framework enables the automated creation, configuration, and validation of simulation scenarios for generating synthetic training data for object detection, 6D pose estimation, and force-based assembly operations. To evaluate the developed concepts, methods for quantifying the generalizability and robustness of trained models are implemented. Experimental validation using an industrial reference application demonstrates that targeted simulation parameterization, the use of Sim2Real-transfer-methods, and model-based training significantly improve transfer performance. The presented work thus contributes to the systematic utilization of synthetic data and virtual simulation environments for the development of robust AI-based robotic systems in industrial assembly.

OpenAccess:
PDF
(additional files)