Machine learning for domain generation algorithm classification

Drichel, Arthur; Desmet, Lieven; Meyer, Ulrike Michaela

doi:44670

Machine learning for domain generation algorithm classification

Drichel, Arthur^RWTH*

2025

Verantwortlichkeitsangabevorgelegt von Arthur Drichel, M. Sc. RWTH

ImpressumAachen : RWTH Aachen University 2025

Umfang1 Online-Ressource : Illustrationen

Dissertation, RWTH Aachen University, 2025

Veröffentlicht auf dem Publikationsserver der RWTH Aachen University

Genehmigende Fakultät
Fak01

Hauptberichter/Gutachter
Meyer, Ulrike Michaela (Thesis advisor)^RWTH* ; Desmet, Lieven (Thesis advisor)

Tag der mündlichen Prüfung/Habilitation
2025-09-10

Online
DOI: 10.18154/RWTH-2025-07743
URL: https://publications.rwth-aachen.de/record/1018190/files/1018190.pdf

Einrichtungen

Projekte

SAPPAN - Sharing and Automation for Privacy Preserving Attack Neutralization (833418) (833418)

Inhaltliche Beschreibung (Schlagwörter)
DNS security (frei) ; botnets (frei) ; domain generation algorithms (frei) ; intrusion detection (frei) ; machine learning (frei) ; network security (frei)

Thematische Einordnung (Klassifikation)
DDC: 004

Kurzfassung
Botnetze stellen eine erhebliche Bedrohung für die Cybersicherheit dar, da sie eine breite Palette von bösartigen Aktivitäten, einschließlich Distributed Denial-of-Service (DDoS) Angriffen und Spam-Kampagnen, ermöglichen. Die zunehmende Verwendung von Domain Generation Algorithms (DGAs) durch moderne Botnetze, um Verbindungen zu ihren Command and Control (C&C) Servern herzustellen, verkompliziert Eindämmungsmaßnahmen erheblich und schafft eine ausgeprägte Asymmetrie, bei der die Verteidiger alle generierten Domains blockieren müssen, während die Angreifer nur eine einzige nicht blockierte Domain benötigen, um die Kontrolle aufrechtzuerhalten. Ein vielversprechender Ansatz zur Bekämpfung von DGA-basierten Botnetzen besteht in der Implementierung von Machine Learning (ML) Klassifikatoren, die speziell trainiert werden, um Anfragen an potenzielle C&C Domains zu erkennen und effektiv zu blockieren. Dies bietet einen erheblichen Vorteil gegenüber herkömmlichen Blocklisten, da diese neue Domains erkennen können, die nicht in den Trainingsdaten enthalten waren, und so die Erkennung selbst noch unbekannter DGAs ermöglichen. Insbesondere Deep Learning (DL) basierte Klassifikatoren haben eine beispiellose Genauigkeit bei der Erkennung von DGAs gezeigt, weisen jedoch auch erhebliche Nachteile im Zusammenhang mit Erklärbarkeit, Robustheit und Datenschutz auf. Diese Dissertation bietet eine umfassende Analyse der Anwendbarkeit von ML für die DGA-Erkennung und konzentriert sich auf die Herausforderungen, die den erfolgreichen Einsatz von ML-basierten DGA-Klassifikatoren in der Praxis behindern. In einer umfassenden Studie quantifizieren wir zunächst systematisch die aktuelle Bedrohungslage, zeigen die Unzulänglichkeiten bestehender Eindämmungsmaßnahmen auf und unterstreichen die Notwendigkeit verbesserter Gegenmaßnahmen zur wirksamen Bekämpfung der anhaltenden Bedrohung durch Botnetze. In diesem Zusammenhang schlagen wir eine Reihe neuartiger Klassifizierungsmodelle vor, die die Klassifizierungsleistung über den Stand der Technik hinaus erheblich verbessern, einschließlich ihrer Fähigkeit, bisher unbekannte DGAs zu erkennen. Außerdem untersuchen wir das Klassenungleichgewicht und die Verallgemeinerbarkeit von DGA-Klassifikatoren bei Netzwerkverkehrsänderungen, um die Datenauswahl und Umschulungsstrategien zu optimieren und die langfristige Effektivität der DGA-Klassifikatoren zu gewährleisten. Weiterhin führen wir eine umfassende Studie zum kollaborativen ML durch und zeigen, dass dies die Klassifizierungsleistung deutlich verbessern kann. Gleichzeitig untersuchen wir die damit verbundenen Auswirkungen auf den Datenschutz und erforschen die Machbarkeit eines datenschutzfreundlichen Classification-as-a-Service (CaaS). In unserer Studie zur Erklärbarkeit führen wir eine kritische Analyse der Merkmale durch, die bei der DL-basierten DGA-Erkennung verwendet werden, und decken mehrere Verzerrungen auf, die DGA-Klassifikatoren innewohnen und von einem Angreifer leicht ausgenutzt werden können, um die Erkennung zu umgehen. Um diese Probleme zu entschärfen, schlagen wir ein Klassifizierungssystem vor, das diese Verzerrungen ohne Einbußen bei der Erkennungsleistung beseitigt, und ergänzen es mit visuellen Analysesystemen, die eine fundierte Entscheidungsfindung erleichtern, indem sie Einblicke in die Klassifizierungsprozesse geben. Darüber hinaus untersuchen wir kritisch die Widerstandsfähigkeit von DGA-Klassifikatoren gegenüber adversarial attacks und schlagen einen neuartigen Härtungsansatz vor um ihre Robustheit erheblich zu verbessern. Schließlich schlagen wir ein Erkennungssystem vor, das unsere Forschungsergebnisse integriert, und demonstrieren dessen Effektivität in einer realen Netzwerkumgebung.

Botnets pose a significant threat to cybersecurity as they enable various malicious activities such as Distributed Denial-of-Service (DDoS) attacks and spam campaigns. The growing adoption of Domain Generation Algorithms (DGAs) by modern botnets to establish connections with their Command and Control (C&C) servers complicates containment measures, creating a pronounced asymmetry where defenders must block all generated domains, while attackers require only a single unblocked domain to maintain control. A promising approach to combat DGA-based botnets involves utilizing Machine Learning (ML) classifiers, which can be trained to detect and block queries to potential C&C domains, offering a significant advantage over traditional blocklists as they generalize to detect new domains not seen during training, thereby enabling the detection of even yet unknown DGAs. Especially, Deep Learning (DL) based classifiers have demonstrated unprecedented accuracy in detecting DGAs, yet they also exhibit notable drawbacks, including issues related to explainability, robustness, and privacy. This dissertation provides a comprehensive analysis of the applicability of ML for DGA detection, focusing on addressing the challenges that hinder the successful deployment of ML-based DGA classifiers in practice, thereby presenting a holistic view of the DGA detection problem and exploring solutions to bridge the gap between theoretical advancements and real-world applicability. In a comprehensive, large-scale study we first systematically quantify the current threat posed by DGA-based botnets, highlight the shortcomings of existing containment measures, and underscore the need for enhanced countermeasures to effectively combat the persistent and ongoing threat posed by botnets. In this dissertation, we propose a range of novel classification models that substantially improve the classification performance beyond the state of the art, including their ability to detect previously unknown DGAs. We also address the problem of class imbalance resulting from the significant disparity in available training samples across different DGAs and examine the models' generalizability in response to temporal and environmental changes. These aspects are critical factors that guide data selection and retraining strategies, thereby ensuring the long-term effectiveness of DGA classifiers in real-world deployments. To further improve classification performance, we conduct a comprehensive study on collaborative ML for DGA detection and demonstrate its potential to substantially reduce the False Positive Rate (FPR).At the same time, we investigate the associated privacy implications and explore the feasibility of privacy-preserving Classification-as-a-Service (CaaS).In our study on explainability, we conduct a critical analysis of the features used in DL-based DGA detection and reveal several biases inherent in state-of-the-art DGA classifier which can easily be exploited by an adversary to evade detection. To mitigate these issues, we propose a bias-reduced classification system that effectively addresses these biases while maintaining state-of-the-art detection performance, and introduce visual analytics systems that facilitate informed decision-making by providing insights into a classifier's reasoning. Moreover, we critically examine the robustness of DGA detection classifiers against adversarial attacks and propose a novel hardening approach that leverages adversarial latent space vectors and discretized adversarial domains to substantially improve their robustness.Finally, to bridge the gap between research and practical application, we propose a detection system that integrates our research findings and demonstrate its effectiveness and feasibility through a comprehensive case study in which we deploy the system to classify the DNS network traffic within a real-world network.

OpenAccess:
PDF
(additional files)