Deep reinforcement learning for ad-hoc optimization on process and manufacturing level

Samsonov, Vladimir; Schmitt, Robert H.; Meisen, Tobias

doi:HT021475974

Deep reinforcement learning for ad-hoc optimization on process and manufacturing level = Deep Reinforcement Learning für die Ad-Hoc-Optimierung auf Prozess- und Fertigungsebene

Samsonov, Vladimir^RWTH*

2022

Verantwortlichkeitsangabevorgelegt von Vladimir Samsonov

ImpressumAachen : RWTH Aachen University 2022

Umfang1 Online-Ressource : Illustrationen, Diagramme

Dissertation, Rheinisch-Westfälische Technische Hochschule Aachen, 2022

Veröffentlicht auf dem Publikationsserver der RWTH Aachen University

Genehmigende Fakultät
Fak04

Hauptberichter/Gutachter
Schmitt, Robert H. (Thesis advisor)^RWTH* ; Meisen, Tobias (Thesis advisor)

Tag der mündlichen Prüfung/Habilitation
2022-07-12

Online
DOI: 10.18154/RWTH-2022-08469
URL: https://publications.rwth-aachen.de/record/852921/files/852921.pdf

Einrichtungen

Inhaltliche Beschreibung (Schlagwörter)
Job-Shop-Planung (frei) ; Optimierung der Aufspannposition von Werkstücken (frei) ; Prozessoptimierung (frei) ; Rahmenwerk für Benchmarking (frei) ; Reinforcement Learning (frei) ; benchmarking framework (frei) ; combinatorial optimization (frei) ; job shop scheduling (frei) ; kombinatorische Optimierung (frei) ; process optimization (frei) ; reinforcement learning (frei) ; workpiece setup optimization (frei)

Thematische Einordnung (Klassifikation)
DDC: 620

Kurzfassung
Heutzutage reicht es nicht mehr aus, eine einmalige Einrichtung und Feinstimmung der Produktion vorzunehmen, um im Wettbewerb auf den globalen Märkten konkurrieren zu können und die immer strengeren Nachhaltigkeitsvorschriften zu erfüllen. Um gut funktionierende Prozesse auf allen Ebenen der Produktion zu erreichen, müssen Optimierungsprobleme mit ständig wechselnden konkurrierenden Zielen gelöst werden, die von den aktuellen Zielvorstellungen und Herausforderungen des jeweiligen Produktionsunternehmens abhängen. Daraus ergibt sich der Bedarf an automatisierten Optimierungsansätzen, die auf verschiedenen Ebenen der Produktionskette eingesetzt werden und in der Lage sind aus Erfahrungen zu lernen, sich immer wieder ändernden Problemstellungen anzupassen, und Lösungen mit einer Geschwindigkeit zu aktualisieren, die das Tempo der Veränderungen im Produktionssystem übersteigt. Diese Arbeit untersucht die Fähigkeiten neuer Optimierungsmethoden, die sich auf Deep Reinforcement Learning (DRL) stützen, um ein hohes Maß an Effizienz und Flexibilität in der Fertigung zu gewährleisten. Im Rahmen der Arbeit werden zwei praktische Anwendungsfälle betrachtet, welche Optimierungsaufgaben unterschiedlicher Art in der Fertigung darstellen: Auftragsfreigabe und Sequenzierung in einer Werkstattfertigung und Werkstückspannung bei der 5-Achs Bearbeitung. Die daraus resultierenden DRL-basierten Lösungen dienen zur Demonstration des Leistungsniveaus, der Flexibilität und der Produktionstauglichkeit solcher Methoden. Im Rahmen dieser Arbeit wird eine Reihe neuartiger Lösungen für den Aktionsraum, den Zustandsraum und die Belohnungsgestaltung entwickelt, um in beiden Anwendungen eine State-of-the-Art Leistung zu erzielen. Die resultierende DRL-Lösung für Reihenfolgeplanung und Auftragsfreigabe erlernt Lösungsstrategien, die in der Lage sind, auf große Probleminstanzen zu skalieren, während sie gleichzeitig die Fähigkeit demonstriert innerhalb von Sekunden neue Lösungen zu generieren und somit schnell auf Produktionsabweichungen zu reagieren. Die für die Optimierung der Werkstückspannung entwickelte DRL-basierte Lösung ist in der Lage mit komplexen 3D-Konzepten in Bezug auf die Frässtrategie und die resultierende Werkstückgeometrie zu arbeiten. Sie zeigt die Fähigkeit, innerhalb weniger Minuten Rechenzeit nahezu optimale Lösungen zu generieren und damit den Einrichtungsprozess für komplexe Fräsanwendungen zu beschleunigen. Um die in dieser Dissertation durchgeführte Arbeit zu erleichtern und die zukünftige Forschung zu fördern, wurde ein experimentelles Meta-Framework entwickelt, welches die Vergleichbarkeit zwischen mehreren Studien mit erheblichen Unterschieden bei den Bewertungsverfahren, Testinstanzen und Leistungsmetriken gewährleistet. Damit leistet diese Arbeit einen Beitrag zum systematischen Verständnis möglicher Vorteile, Herausforderungen und Umsetzungsansätze für die lernbasierte Optimierung in der Fertigung. Eine Reihe von gut strukturierten Implementierungen mit isolierten Designelementen können als Bausteine für zukünftige Optimierungsmethoden in der Fertigungsdomäne dienen und den Transfer von DRL-basierten Lösungen für neue Optimierungskontexte in der Fertigung erleichtern.

Nowadays, it is not enough to set up and fine-tune manufacturing once to keep an edge in competition on global markets and satisfy increasingly strict sustainability regulations. Well-working processes on all production levels turn into constantly moving competing targets conditioned on the current goals and challenges of the given manufacturing company. This brings the need for automated optimization approaches deployed on different levels of the manufacturing chain, capable of learning from the experience, accommodating repeatedly changing problem conditions, and updating solutions at speed surpassing the pace of changes in the manufacturing system. This thesis investigates the capabilities of new optimization methods relying on Deep Reinforcement Learning (DRL) for ensuring high levels of manufacturing efficiency and flexibility. Two practical Use Cases (UCs) representing optimization tasks of different nature in manufacturing are considered: order release and sequencing in a job shop manufacturing and workpiece setup for 5-axis milling. Resulting DRL-based solutions serve as a demonstration of performance levels such methods are capable of, their flexibility, and production readiness. Within this work, a number of novel action-space, state-space, and reward design solutions are developed to achieve state-of-the-art performance in both applications. The resulting DRL solution for scheduling and order release is demonstrated to learn solution strategies capable of scaling to much larger problem instances than the ones used for training while demonstrating the ability to quickly generate new solutions within seconds and, therefore, giving the possibility to react to production deviations quickly. The DRL-based optimization method developed for the workpiece setup optimization is capable of working with complex 3D concepts related to the milling strategy and resulting workpiece geometry. It can generate near-optimal solutions within a few minutes of computation time for unseen workpieces, demonstrating the ability to speed up the setup process for complex milling applications. To facilitate the work conducted in this thesis and foster future research, an experimentation meta-framework is developed aimed to ensure the comparability between multiple studies with considerable differences in reported evaluation procedures, test problems, and performance metrics. As a result, this work contributes towards the systematic understanding of possible advantages, challenges, and implementation approaches for learning-based optimization in manufacturing. A set of well-structured implementations with isolated design elements can serve as building blocks for future optimization methods in the manufacturing domain and facilitate the transfer of DRL-based solutions to new optimization contexts in manufacturing.

OpenAccess:
PDF
(additional files)