Towards generalized machine learning models for dislocation image analysis: a parametric based synthetic data approach

Govind, Kishan; Sandfeld, Stefan; Mayer, Joachim

doi:HT031299131

Towards generalized machine learning models for dislocation image analysis: a parametric based synthetic data approach

Govind, Kishan^RWTH*

2025 & 2026

Verantwortlichkeitsangabevorgelegt von Kishan Govind, M. Sc.

ImpressumAachen : RWTH Aachen University 2025

Umfang1 Online-Ressource : Illustrationen

Dissertation, Rheinisch-Westfälische Technische Hochschule Aachen, 2025

Veröffentlicht auf dem Publikationsserver der RWTH Aachen University 2026

Genehmigende Fakultät
Fak05

Hauptberichter/Gutachter
Sandfeld, Stefan (Thesis advisor)^RWTH* ; Mayer, Joachim (Thesis advisor)^RWTH*

Tag der mündlichen Prüfung/Habilitation
2025-05-07

Online
DOI: 10.18154/RWTH-2025-08373
URL: https://publications.rwth-aachen.de/record/1019389/files/1019389.pdf

Einrichtungen

Projekte

MuDiLingo - A Multiscale Dislocation Language for Data-Driven Materials Science (759419) (759419)

Inhaltliche Beschreibung (Schlagwörter)
AI (frei) ; TEM images (frei) ; data driven (frei) ; dislocations (frei) ; instance segmentation (frei) ; segmentation (frei)

Thematische Einordnung (Klassifikation)
DDC: 620

Kurzfassung
Seit der ersten Beobachtung von Versetzungen Mitte der 1950er Jahre, als die Elektronenmikroskopie zur Sichtbarmachung dieser Defekte eingesetzt wurde, gab es erhebliche Fortschritte bei den Mikroskopietechniken, die die Erfassung hochwertiger, hochauflösender Versetzungsbilddaten ermöglichten. Heute ist es sogar möglich, mechanische Prüfungen vor Ort durchzuführen, um die Entwicklung der Mikrostruktur von Versetzungen während der plastischen Verformung von Werkstoffen zu beobachten. Die bei solchen Versuchen erzeugten Versetzungsbilddaten müssen quantitativ untersucht werden, um sinnvolle Berechnungen zu ermöglichen und die zugrunde liegenden Mechanismen zu verstehen. Deep-Learning-Methoden, insbesondere die Bildsegmentierung auf der Grundlage von neuronalen Faltungsnetzen, sind ein leistungsstarkes Werkzeug zur Identifizierung von Versetzungslinien. Diese können dann verwendet werden, um Versetzungen als Splines zu rekonstruieren, was quantitative Studien ermöglicht. Für diese Methoden sind jedoch große Mengen an beschrifteten Trainingsdaten erforderlich, so dass eine große Anzahl von Experimenten und eine arbeitsintensive manuelle Beschriftung der Versetzungslinien durchgeführt werden müssen. Der Mangel an qualitativ hochwertigen Trainingsdaten in großen Mengen stellt eine große Herausforderung für die Anwendung moderner Deep-Learning-Modelle auf Versetzungsbilddaten dar. Diese Arbeit befasst sich mit dieser Herausforderung. In dieser Arbeit stellen wir ein neuartiges parametrisches Modell zur Erzeugung synthetischer Daten vor, das die Erstellung synthetischer Datensätze für die Deep-Learning-basierte Analyse von TEM-Bildern von Versetzungsmikrostrukturen ermöglicht. Das in dieser Arbeit vorgeschlagene Modell zur Erzeugung synthetischer Daten wurde entwickelt, um Trainingsdaten so zu erzeugen, dass nicht nur der Hintergrund von TEM-Bildern nachgebildet wird, sondern auch komplexe Versetzungsmikrostrukturen wiedergegeben werden - ein wesentlicher Aspekt für die Analyse komplexer Mikroskopiebilder in der Materialwissenschaft. Für die Erzeugung synthetischer Bildhintergründe werden zwei verschiedene Methoden verwendet. Die erste Methode nutzt das so genannte Perlin-Rauschen in Kombination mit weißem Rauschen, um einen rein synthetischen Hintergrund zu erzeugen, der eine kontrollierte Umgebung für die Wiedergabe von Versetzungen bietet. Die zweite Methode, die wesentlich realistischer ist, verwendet segmentierte Bereiche von echten TEM-Hintergrundbildern und setzt sie zu realistisch wirkenden Hintergründen zusammen. Dieser Ansatz spiegelt die Komplexität und Variabilität echter TEM-Bilder wider und bietet einen genaueren Kontext für die synthetischen Versetzungsstrukturen. Eine weitere Innovation dieser Arbeit liegt in der Modellierung von Versetzungsmikrostrukturen für synthetische Trainingsdaten. Wir beginnen mit einer Versetzungslinie und modellieren sie als kubischen Spline, indem wir Stützpunkte für den Spline bereitstellen. Durch die Darstellung von Versetzungen als glatte, mathematische Kurve erreicht das Modell eine hohe Wiedergabetreue bei der Simulation realistisch aussehender Versetzungsmuster, wie z. B. Versetzungsanhäufungen. Diese Stützpunkte können durch zwei Methoden ermittelt werden: polynomiale Annäherung von Versetzungslinien und manuelle Auswahl von Schlüsselpunkten mit Hilfe von Bildbeschriftungstools wie Labelme auf Versetzungen in echten TEM-Bildern. Diese Flexibilität ermöglicht die Erstellung einer Vielzahl von Versetzungsmikrostrukturen, die aus einer breiten Palette von Konfigurationen mit unterschiedlichen Positionen, Längen, Ausrichtungen und „Krümmungen“ bestehen. Darüber hinaus werden zwei weitere Strukturen - Schlupfspuren und Korngrenzen - in die Mikrostruktur integriert, die als Linie modelliert werden, was maschinelle Lernmodelle beim Erlernen der Eigenschaften von TEM-Bildern weiter unterstützt und die Vorhersagegenauigkeit verbessert. Die Fähigkeit, komplexe Versetzungsstrukturen zu erzeugen, von denen einige in tatsächlichen TEM-Bildern nur schwer oder gar nicht zu beobachten sind, ist besonders wichtig. Nach der Generierung der synthetischen Trainingsdaten geht es im nächsten Schritt darum, Modelle für maschinelles Lernen zu trainieren. In dieser Arbeit untersuchen wir drei verschiedene Ansätze des maschinellen Lernens. Die ersten beiden Ansätze, Multi-Label-Segmentierung und Instanzsegmentierung, sagen einzelne Versetzungen als binäre Masken voraus, die nachbearbeitet werden müssen, um die Versetzungen als Splines darzustellen. Der dritte Ansatz ist ein direkterer Ansatz, der die Spline-Stützpunkte auf den Versetzungen schätzt, um die Versetzungssplines direkt darzustellen. Wir führen umfangreiche Studien durch, um die Verwendung der synthetischen Daten zu demonstrieren und zu zeigen, wie sie als Alternative zu echten experimentellen Daten oder zusammen mit echten Daten verwendet werden können. Diese Forschungsarbeit stellt einen wichtigen Schritt zur Entwicklung verallgemeinerter maschineller Lernmodelle für die Versetzungsanalyse dar, indem synthetische Daten genutzt werden. Die Entwicklung eines neuartigen, parametrisch basierten Modells zur Erzeugung synthetischer Daten geht auf die Notwendigkeit ein, qualitativ hochwertige Trainingsdaten für maschinelle Lernmodelle zu erhalten, insbesondere für die TEM-Bildanalyse. Dieses Modell ermöglicht die Erstellung synthetischer Bilder, die realen TEM-Bildern sehr ähnlich sind und gleichzeitig komplexe Versetzungsstrukturen erfassen. Durch die Erzeugung vielfältiger und realistischer Trainingsdatensätze eröffnet diese Forschung neue Möglichkeiten für die Anwendung fortschrittlicher Deep-Learning-Methoden, wie U-Net und Mask R-CNN, auf die Segmentierung und Analyse von Versetzungen. Darüber hinaus demonstriert die Studie die Effektivität der Verwendung von Modellen des maschinellen Lernens, die auf synthetischen Daten trainiert wurden, um quantitative Analysen an realen experimentellen Daten durchzuführen. Dies unterstreicht die praktische Anwendbarkeit dieser Methoden in der materialwissenschaftlichen Forschung und bietet wertvolle Einblicke in die Mechanismen der plastischen Verformung, was zu unserem Verständnis des Materialverhaltens beiträgt.

Since the first observation of dislocations in the mid 1950s, when electron microscopy was used to visualize these defects, there have been significant advancements in microscopy techniques, allowing for the acquisition of high-quality, high-resolution dislocation image data. Today, it is even possible to perform in-situ mechanical testing, enabling the observation of dislocation microstructure evolution during the plastic deformation of materials. The dislocation image data generated in such experiments need to be studied quantitatively to facilitate meaningful calculations and to understand the underlying mechanisms. Deep learning methods, particularly image segmentation based on convolutional neural networks like U-Net, offer a powerful tool for segmenting dislocation lines which can provide us a way to represent the dislocations as splines to perform quantitative studies. However, these methods require substantial amounts of labeled training data, requiring us to perform many more experiments and labor-intensive manual labeling of dislocation lines. Lack of high quality, large quantity training data presents a significant challenge to applying state-of-the-art deep learning models to dislocation image data. This work addresses that challenge. In this work, we introduce a novel parametric-based synthetic data generation model, which enables the creation of synthetic training datasets for deep learning-based training of Transmission Electron Microscopy (TEM) images of dislocation microstructures. The synthetic data generation model proposed in this work is designed to generate training data in a way that not only replicates the background of TEM images but also renders complex dislocation microstructures—an essential aspect of materials science research. Two distinct methods are used for generating synthetic image backgrounds. The first method leverages Perlin noise, combined with random white noise, to create a purely synthetic background, offering a controlled environment for dislocation rendering. The second method, which is much more realistic, uses patches of backgrounds from real TEM images, reassembling them to form realistic-looking backgrounds. This approach mirrors the complexity and variability present in real TEM images, providing a more accurate context for the synthetic dislocation structures. The core innovation of this work lies in the modeling of dislocation microstructures for synthetic training data. We start with dislocation line and model it as a spline by providing support points for the spline. By representing dislocations as splines, the model achieves high fidelity in simulating dislocation patterns, such as dislocation pileups. These support points can be obtained through two methods: polynomial approximation of dislocation lines or manual selection of key points using image annotation tools like Labelme on dislocations in real TEM images. This flexibility allows for the creation of diverse range of dislocation microstructures consisting of a wide range of configurations, such as dislocation pileups, with varying slip widths, directions, and dislocation counts. Additionally, two more structures—slip trace lines and grain boundaries—are incorporated into the microstructure which are modelled as a line, further aiding machine learning models in learning the characteristics of dislocations and improving predictive accuracy. The ability to generate complex dislocation structures, some of which are challenging or even impossible to observe in actual TEM images, is particularly significant. After generating the synthetic training data, the next step involves training machine learning models. In this work, we explore three different machine learning approaches. The first two approaches, multi-label segmentation and instance segmentation, predict individual dislocations as binary masks, which need to be post-processed to represent dislocations as splines and obtain digital representation of the image. Third approach is a more direct approach which estimates the spline support points on the dislocations to represent the dislocation splines directly. We conduct extensive studies to demonstrate the use of the synthetic data and show how it can be used as an alternate to real experimental data or along with real data. This research represents an important step toward developing generalized machine learning models for dislocation analysis by leveraging synthetic data. The development of a novel parametric-based synthetic data generation model addresses the need of obtaining high-quality training data for machine learning models, particularly for TEM image analysis. The synthetic data generation model enables the creation of synthetic images that closely resemble real TEM images while capturing complex dislocation structures. By generating diverse and realistic training datasets, this research opens up new possibilities for applying advanced deep learning methods, such as U-Net and Mask R-CNN, to the segmentation and analysis of dislocations enabling high throughout studies. Furthermore, the study demonstrates the effectiveness of using machine learning models trained on synthetic data to perform quantitative analysis on real experimental data, reinforcing the practical applicability of these methods in material science research and offers valuable insights into the mechanisms of plastic deformation, further contributing to our understanding of material behavior.

OpenAccess:
PDF
(additional files)