Refining weakly supervised anomaly detection for new physics searches

Hein, Marie Louise; Erdmann, Martin; Krämer, Michael

doi:45622

Refining weakly supervised anomaly detection for new physics searches

Hein, Marie Louise^RWTH*

2026

Verantwortlichkeitsangabevorgelegt von Marie Louise Hein, M. Sc.

ImpressumAachen : RWTH Aachen University 2026

Umfang1 Online-Ressource : Illustrationen

Dissertation, RWTH Aachen University, 2026

Veröffentlicht auf dem Publikationsserver der RWTH Aachen University

Genehmigende Fakultät
Fak01

Hauptberichter/Gutachter
Krämer, Michael (Thesis advisor)^RWTH* ; Erdmann, Martin (Thesis advisor)^RWTH*

Tag der mündlichen Prüfung/Habilitation
2026-07-17

Online
DOI: 10.18154/RWTH-2026-07000
URL: https://publications.rwth-aachen.de/record/1039165/files/1039165.pdf

Einrichtungen

Projekte

Inhaltliche Beschreibung (Schlagwörter)
anomaly detection (frei) ; jet physics (frei) ; machine learning (frei) ; new physics searches (frei)

Thematische Einordnung (Klassifikation)
DDC: 530

Kurzfassung
Seit der Entdeckung des Higgs-Bosons wurden am Large Hadron Collider zahlreiche Suchen nach Physik jenseits des Standardmodells durchgeführt, bislang jedoch ohne Erfolg. Dies hat die Entwicklung neuartiger, modellunabhängiger Suchstrategien vorangetrieben. Insbesondere durch die Anwendung von maschinellem Lernen wurde die Entwicklung hochsensibler Methoden zur Anomalie Erkennung ermöglicht. Besonders die schwach überwachte Anomalie Erkennung hat sich als vielversprechend erwiesen, da hierbei ein klar definierter, kontrollierbarer Anomalie-Score ermittelt wird, indem ein Klassifikator auf zwei gemischten Datensätzen trainiert wird: einer Signalregion (SR), der Untergrund und Signal enthalten kann, und einem reinen Untergrunddatensatz, der sogenannten "Background Template" (BT). In dieser Arbeit konzentrieren wir uns darauf, sowohl die Leistungsfähigkeit als auch das Verständnis der schwach überwachten Anomalie Erkennung zu verbessern. Dabei untersuchen wir zwei Aspekte einer solchen Suche im Detail: den Klassifikator selbst und die Bestimmung der Signifikanzen. Zunächst ersetzen wir das in frühen Proof-of-Concept-Studien verwendete Multi-Layer Perceptron (MLP) durch einen Gradient-Boosted Decision Tree (GBDT). Der GBDT erreicht eine hohe Trennung von Untergrund und Signal auf für die schwach überwachte Anomalie Erkennung üblichen High-Level-Feature-Sets und reduziert gleichzeitig die Anfälligkeit des Klassifikators gegenüber irrelevanten Merkmalen im Feature-Set. Darüber hinaus zeigen wir, dass eine datengetriebene Optimierung von Anomalieerkennungsanalysen möglich ist. Dazu untersuchen wir eine Reihe von Optimierungsaufgaben, darunter die Auswahl der besten Epochen, die Hyperparameteroptimierung, die Architekturauswahl und die Feature-Selektion. Solche datengesteuerten Entscheidungen werden durch die Einführung der neuen ARGOS-Metrik (Above Random Gain of SIC) ermöglicht, die stark mit der durch einen Klassifikator erreichten Signifikanzverbesserung korreliert. Weiterhin stellen wir eine neue Methode zur Bestimmung der Signifikanz einer potenziellen Entdeckung in schwach überwachten Analysen vor. Bisher stützten sich Resonanzsuchen mit Anomalie Erkennung auf Fits des Untergrundmassenspektrums, was sie anfällig für Verzerrungen dieses Spektrums macht. Unsere "Direct Background Estimation" vergleicht stattdessen einfach die Anzahl der ausgewählten Ereignisse in BT und SR nach einem Cut auf den Anomalie-Score, wodurch ein Fit vermieden wird. Systematische Verschiebungen infolge nicht perfekter BTs werden sowohl mittels Simulation als auch mittels datengesteuerter Methoden berücksichtigt. Abschließend untersuchen wir das statistische Verhalten von Anomalie Detektoren, um sicherzustellen, dass die Signifikanzen korrekt kalibriert sind. Insbesondere untersuchen wir, ob bei Anomalie Detektoren, die darauf trainiert sind, Ereignisse aus einem großen Phasenraum auszuwählen, ein Look-elsewhere-Effekt auftritt. Durch die Untersuchung von Fehlkalibrierungen der p-Werte und deren Auswirkungen auf die Sensitivität geben wir Handlungsempfehlungen für zukünftige Analysen.

Since the discovery of the Higgs boson, numerous searches for physics beyond the Standard Model have been conducted at the Large Hadron Collider, so far without success. This has motivated the development of novel, model-agnostic search strategies. In particular, machine learning has allowed for the development of highly sensitive anomaly detection methods. Among these, weakly supervised anomaly detection has shown great promise as it provides a well-defined, controllable anomaly score by training a classifier on two mixed data sets: a Signal Region (SR), which may contain background and signal, and a background-only Background Template (BT). In this thesis, we focus on improving both the performance and our understanding of weakly supervised anomaly detection. We explore two parts of a weakly supervised search in detail, namely the classifier and how significances are obtained. First, we replace the Multi-Layer Perceptron (MLP), which was used in early proof-of-concept studies, with a Gradient-Boosted Decision Tree (GBDT). The GBDT performs well for the high-level feature sets typically used in weakly supervised anomaly detection and limits the classifier's susceptibility to irrelevant features in the classification feature set. Second, we show that optimizing an anomaly detection analysis in a data-driven manner is possible. For this, we explore a number of optimization tasks, namely the selection of the best epochs, hyperparameter optimization, architecture choice, and feature selection. Such data-driven choices are made possible by the introduction of the new ARGOS (Above Random Gain of SIC) metric, which is strongly correlated with the significance improvement of a classifier. We also introduce a new method to obtain the significance of a potential discovery in a weakly supervised analysis. Previous weakly supervised resonant analyses have relied on fits to the background mass spectrum. This has made them vulnerable to the sculpting of the resonant mass spectrum. Our "direct background estimation" instead simply compares the selected event numbers in the BT and SR after a cut on the anomaly detector, thereby avoiding a fit. We account for systematic biases from imperfect BTs using both simulation and data-driven methods. Lastly, we explore the statistical behavior of anomaly detectors to ensure that significances are calibrated correctly. In particular, we investigate whether a look-elsewhere effect is incurred by anomaly detectors trained to select events from a large phase space. By analyzing miscalibrations of p-values and their effect on sensitivity, we provide practical guidance for future analyses.

OpenAccess:
PDF
(additional files)