AI-driven integrated online layout planning and scheduling in flexible assembly systems

Kaven, Lea; Schmitt, Robert H.; Johansson, Björn

doi:HT031172788

AI-driven integrated online layout planning and scheduling in flexible assembly systems = KI-gestützte integrierte online Layout- und Ablaufplanung von flexiblen Montagesystemen

Kaven, Lea^RWTH*

2025

Verantwortlichkeitsangabevorgelegt von Lea Kaven geb. Grahn

ImpressumAachen : RWTH Aachen University 2025

Umfang1 Online-Ressource : Illustrationen

Dissertation, Rheinisch-Westfälische Technische Hochschule Aachen, 2025

Veröffentlicht auf dem Publikationsserver der RWTH Aachen University

Genehmigende Fakultät
Fak04

Hauptberichter/Gutachter
Schmitt, Robert H. (Thesis advisor)^RWTH* ; Johansson, Björn (Thesis advisor)

Tag der mündlichen Prüfung/Habilitation
2025-04-29

Online
DOI: 10.18154/RWTH-2025-05211
URL: https://publications.rwth-aachen.de/record/1012849/files/1012849.pdf

Einrichtungen

Inhaltliche Beschreibung (Schlagwörter)
MARL (frei) ; digital twin (frei) ; flexible assembly (frei) ; layout planning (frei) ; reinforcement learning (frei) ; scheduling (frei)

Thematische Einordnung (Klassifikation)
DDC: 620

Kurzfassung
Produktionssysteme unterliegen systematischen Veränderungen, bei denen ein Gleichgewicht zwischen den Kundenbedürfnissen und wirtschaftlichen sowie ökologischen Anforderungen gefunden werden muss. Insbesondere Montagesysteme müssen dabei flexibler werden, um sich an die Vielzahl an Produktgenerationen und unvorhersehbare Material- und Nachfrageschwankungen anzupassen. Flexible Montagesysteme setzen daher individuelle Job-Routen und Layout-Rekonfigurationen während des Betriebs durch beweglich Mehrzweck-Ressourcen und flexible Transportsysteme um. Simulationsstudien zeigen, dass solche Systeme die Skalierbarkeit und Reaktionsfähigkeit auf interne und externe Störungen verbessern, was die Mitarbeiterauslastung erheblich erhöht, die Arbeitskosten senkt und die Durchlaufzeit sowie den Durchsatzunter dynamischen Bedingungen optimiert. Die effektive Steuerung dieser flexiblen Systeme bleibt jedoch eine offene Forschungsfrage. Insbesondere die Planung individueller Job-Routen und dynamischer Layoutanpassungen für mobile Stationen ist nicht gelöst. Traditionelle Methoden, die diese Planungsprobleme offline und separat behandeln sind häufig ineffizient und erfordern exponentiell zunehmende Rechenkapazitäten mit wachsender Problemgröße. Multi-Agenten-Reinforcement-Learning begegnet diesen Herausforderungen und ermöglicht mehreren Agenten, in dynamischen Umgebungen zu lernen. Es stellt damit eine potenzielle Lösung zur effizienten Integration beider Optimierungsprobleme dar. Diese Dissertation stellt ein Rahmenwerk für die integrierte online Layout- und Ablaufplanung in flexiblen Montagesystemen mit mobilen Ressourcen vor, wobei ein Multi-Agenten-Reinforcement-Learning-Algorithmus im Mittelpunkt steht. Das Rahmenwerk umfasst die Phasen der Modellierung des digitalen Zwillings, das Training und die Hyperparameter-Optimierung der Agenten, den Anlauf und Betrieb. Mehrere Softwaremodule interagieren dafür: Eine GUI und ein digitales Zwillingsmodell ermöglichen die interoperable Kommunikation mit Benutzern und nachgelagerten Systemen. Eine ereignisdiskrete Simulation und ein automatischer Szenariengenerator ermöglichen das Training und die Bewertung verschiedener Szenarien. Der Algorithmus umfasst einen Graph-Neural-Network-Encoder und zwei Entscheidungsagenten, die Beschreibungen von Systemzuständen unterschiedlicher Größe ermöglichen. Die Dissertation beschreibt das Training dieser Module mit realen Daten sowie die erfolgreiche Verifizierung und Validierung mittels etablierter Methoden. Sensitivitätsanalysen bestätigten ein plausibles Algorithmusverhalten. Die Leistungsverbesserungen variierten jedoch je nach Systemcharakteristik im Vergleich zu einem Zufallsagenten und einem gemischtganzzahligen mathematischen Modell.

Manufacturing systems are undergoing systematic changes, balancing the trade-off between customer needs and economic and ecological pressures. Assembly systems, in particular, must become more flexible to adapt to resulting multiple product generations and unpredictable fluctuations in materials and demand. Therefore, flexible assembly systems employ individual job routes and layout reconfigurations during operation through movable multi purpose resources and flexible transportation systems. Simulation studies indicate that such systems enhance scalability and responsiveness to internal and external disturbances, significantly improving employee utilization, reducing labor costs, and optimizing makespan and throughput under dynamic conditions. However, effective control of these flexible systems remains an open research question. Critical tasks include planning individual job routes and dynamic layout changes for mobile stations. Traditional methods, which treat these planning problems offline and separately, often lead to inefficiencies. Additionally, these control tasks demand exponentially increasing computational capacities as problem sizes grow. Emerging machine learning techniques, especially reinforcement learning, can address these challenges. Moreover, multi-agent reinforcement learning can enable multiple agents to learn and adapt in dynamic environments, offering a potential solution for integrating both optimization problems. Consequently, this dissertation introduces a framework for integrated online layout planning and scheduling in flexible assembly systems with mobile resources, emphasizing a multi-agent reinforcement learning algorithm. The framework comprises digital twin modeling, training and hyperparameter optimization, ramp-up, and operation. Several software modules interact within these phases: A GUI and digital twin model facilitate communication with users and subsequent systems. A discrete event simulation and an automatic scenario generator enable the training and evaluation of different scenarios. The algorithm comprises a graph neural network encoder and two decision agents, allowing for various-sized system state descriptions. The thesis details training these modules with real-world data and successful verification and validation using established methods. Sensitivity analyses confirmed plausible algorithm behavior. However, performance improvements varied depending on system characteristics compared to a random agent and a mixed-integer mathematical model.

OpenAccess:
PDF
(additional files)