Machine learning methods for injection optimization at the cooler synchrotron COSY

Awal, Awal; Pretz, Jörg; Erdmann, Johannes

doi:10.18154/RWTH-2025-06535

Machine learning methods for injection optimization at the cooler synchrotron COSY

Awal, Awal^RWTH*

2025

Verantwortlichkeitsangabevorgelegt von Awal Awal, M.Sc. aus Katar

ImpressumAachen : RWTH Aachen University 2025

Umfang1 Online-Ressource : Illustrationen

Dissertation, RWTH Aachen University, 2025

Veröffentlicht auf dem Publikationsserver der RWTH Aachen University

Genehmigende Fakultät
Fak01

Hauptberichter/Gutachter
Pretz, Jörg (Thesis advisor)^RWTH* ; Erdmann, Johannes (Thesis advisor)^RWTH*

Tag der mündlichen Prüfung/Habilitation
2025-06-17

Online
DOI: 10.18154/RWTH-2025-06535
URL: https://publications.rwth-aachen.de/record/1015696/files/1015696.pdf

Einrichtungen

Inhaltliche Beschreibung (Schlagwörter)
Bayesian optimization (frei) ; COSY (frei) ; injection optimization (frei) ; machine learning (frei) ; reinforcement learning (frei)

Thematische Einordnung (Klassifikation)
DDC: 530

Kurzfassung
Teilchenbeschleuniger sind Schlüsselinstrumente der modernen Physik und haben viele Fortschritte in der Teilchenphysik, Materialwissenschaft und medizinischen Behandlungen ermöglicht. Die Optimierung ihrer betrieblichen Aspekte, insbesondere des Injektionsprozesses, bleibt jedoch eine komplexe und herausfordernde Aufgabe. Diese Dissertation untersucht die Anwendung von Methoden des maschinellen Lernens, speziell Bayessche Optimierung und Reinforcement Learning (RL), zur Verbesserung der Optimierung der Injektionsstrahlführung (IBL) an der Cooler Synchrotron (COSY) Anlage. Bayessche Optimierung wird in einem geplanten Aufbau eingesetzt, um die Optimierung der Live-IBL mit Unterstützung eines Simulationsmodells zu automatisieren und die Optimierung zu beschleunigen. In den Live-Experimentalläufen gelang es der Bayesschen Optimierung, Strahlintensität und -stabilität innerhalb relativ kurzer Zeit zu verbessern. Die experimentelle Studie zeigt, dass die Aufschlüsselung hochdimensionaler Optimierungsprobleme in kleinere Teilprobleme die Konvergenz und Ergebnisse verbessert. Die Fähigkeit der Methode, schnell an verschiedene Optimierungsziele angepasst zu werden, macht sie zu einem robusten Werkzeug für verschiedene Betriebsszenarien bei COSY. Reinforcement Learning wird als Rahmenwerk zur Optimierung des Injektionsprozesses eingeführt, bei dem der RL-Agent ausschließlich in einer simulierten Umgebung mit Domain Randomization trainiert wird. Der RL-Agent, der darauf trainiert wurde, den transversalen Raum des Strahls am Injektionspunkt zu optimieren, überträgt erfolgreich seine erlernte Strategie auf den Live-Betrieb, indem er die Leistung eines menschlichen Bedieners erreicht, aber die Aufgaben in weniger Zeit abschließt. Eine empirische Studie der verschiedenen Architekturkomponenten bewertete die Bedeutung von Domain Randomization, Beobachtungsrauschen, Historie und dichten Schichten für die Leistung des Agenten. Sowohl Bayessche Optimierung als auch RL haben einzigartige Stärken und potenzielle Anwendungen im Betrieb von Teilchenbeschleunigern. Bayessche Optimierung eignet sich für Szenarien, die Flexibilität und schnelle Anpassungen erfordern, während RL schnelle und konsistente Optimierung durch gezielte Exploration bietet. Die Erkenntnisse bieten einen Rahmen für die Anwendung dieser Methoden auf andere Beschleunigeranlagen, wie die FAIR-Beschleunigeranlage in Darmstadt.

Particle accelerators are key tools in modern physics and have enabled many advancements in particle physics, material science, and medical treatments. However, optimizing their operational aspects, particularly the injection process, remains a complex and challenging task. This thesis investigates the application of machine learning methods, specifically Bayesian optimization and reinforcement learning (RL), to enhance the optimization of the Injection Beam Line (IBL) at the Cooler Synchrotron (COSY) facility. Bayesian optimization is employed in a planned setup to automate the optimization of the live IBL with the assistance of a simulation model to speed up the optimization. In the live experimental runs, Bayesian optimization managed to improve beam intensity and stability within a relatively short time. The experimental study shows that breaking down high-dimensional optimization problems into smaller sub-problems enhances convergence and results. The method's ability to be quickly adjusted to different optimization targets makes it a robust tool for various operation scenarios at COSY. Reinforcement learning is introduced as a framework for optimizing the injection process in which the RL agent is trained exclusively in a simulated environment with domain randomization. The RL agent, trained to optimize the beam's transverse space at the injection point, successfully transfers its learned policy to live operations by matching the performance to that of a human operator but completes the tasks in less time. An empirical study of the different architecture components evaluated the importance of domain randomization, observation noise, history, and dense layers in the agent's performance. Both Bayesian optimization and RL have unique strengths and potential applications in particle accelerator operations. Bayesian optimization is suited for scenarios requiring flexibility and quick adjustments, while RL offers fast and consistent optimization through targeted exploration. The findings provide a framework for applying these methods to other accelerator facilities, such as the FAIR accelerator facility in Darmstadt.

OpenAccess:
PDF
(additional files)