Joint exit wave reconstruction and multimodal registration of transmission electron microscopy image series

Doberstein, Christian; Berkels, Benjamin; Melcher, Christof

doi:10.18154/RWTH-2020-06672

Joint exit wave reconstruction and multimodal registration of transmission electron microscopy image series = Simultane Exit Wave Rekonstruktion und multimodale Registrierung von Transmissionselektronenmikroskop Bildserien

Doberstein, Christian^RWTH*

2020

Verantwortlichkeitsangabevorgelegt von Master of Science Christian Doberstein

ImpressumAachen 2020

Umfang1 Online-Ressource (VIII, 148 Seiten) : Illustrationen, Diagramme

Dissertation, RWTH Aachen University, 2020

Veröffentlicht auf dem Publikationsserver der RWTH Aachen University

Genehmigende Fakultät
Fak01

Hauptberichter/Gutachter
Berkels, Benjamin (Thesis advisor)^RWTH* ; Melcher, Christof (Thesis advisor)^RWTH*

Tag der mündlichen Prüfung/Habilitation
2020-06-19

Online
DOI: 10.18154/RWTH-2020-06672
URL: https://publications.rwth-aachen.de/record/793143/files/793143.pdf

Einrichtungen

Projekte

GSC 111: Aachen Institute for Advanced Study in Computational Engineering Science (AICES) (24613455) (24613455)

Inhaltliche Beschreibung (Schlagwörter)
cross correlation (frei) ; exit wave reconstruction (frei) ; functional analysis (frei) ; inverse problem (frei) ; joint optimization (frei) ; transmission electron microscopy (frei)

Thematische Einordnung (Klassifikation)
DDC: 510

Kurzfassung
Mikroskopaufnahmen, die mit einem Transmissionselektronenmikroskop (TEM) erstellt wurden, können Informationen bis zu der Größenordnung von einzelnen Atomen enthalten. Die in einem TEM Bild enthaltenen Informationen sind allerdings durch Abbildungsfehler der Objektivlinse und die partielle Kohärenz des Elektronenstrahls verschwommen. Dazu kommt, dass die Bilder der quadrierten Amplitude der Elektronenwelle in der Bildebene entsprechen, sodass die Phase der Elektronenwelle verloren geht. Durch die Rekonstruktion der Exit Wave wird versucht diese Probleme zu lösen, indem die Elektronenwelle an der Austrittsebene der Probe, die sogenannte Exit Wave, aus einer Bildserie mit variablem Fokus rekonstruiert wird. Die Bildserie wirft allerdings das Problem der Bildregistrierung auf, welches für eine erfolgreiche Exit Wave Rekonstruktion gelöst werden muss. Ein möglicher Ansatz zur Exit Wave Rekonstruktion beinhaltet die Minimierung eines Fehlerquadratfunktionals, welches den Abstand von simulierten und experimentellen Bildern misst und in den etablierten MIMAP und MAL Algorithmen implementiert ist. Hierbei lösen die MIMAP und MAL Algorithmen das Registrierungsproblem durch eine alternierende Optimierung der Exit Wave und der Registrierung. In dieser Arbeit wird ein neues Funktional $E_\sigma$ für die gleichzeitige Optimierung von Exit Wave und Registrierung vorgestellt. Die Eigenschaften des Vorwärtsmodells der Simulation von TEM Bildern, welches durch eine gewichtete Autokorrelation der Exit Wave beschrieben wird, werden anhand der gewichteten Kreuzkorrelation und dem neuartigen Konzept von $\star$-separablen Gewichten untersucht. Die wichtigsten Gewichtsfunktionen in der Transmissionselektronenmikroskopie werden analysiert und in einen gemeinsamen Rahmen eingeordnet. Das inverse Problem wird basierend auf den Ergebnissen zu dem Vorwärtsmodell untersucht. Dabei stellt sich heraus, dass der Datenterm von $E_\sigma$ für $\star$-separable Gewichtsfunktionen nicht koerziv ist, was insbesondere zeigt, dass das MAL Funktional nicht koerziv ist. Eines der Hauptergebnisse ist die Existenz von Minimierern von $E_\sigma$, welches mithilfe der direkten Methode der Variationsrechnung gezeigt wird. Weiterhin wird gezeigt, dass das Funktional $E_\sigma$ im Allgemeinen nicht konvex ist. Diese Ergebnisse werden durch eine numerische Analyse ergänzt, welche die Diskretisierung sowie mehrere Probleme in Bezug auf die numerische Minimierung von $E_\sigma$ einschließt. Ein neuartiger Vorkonditionierer für die Exit Wave wird vorgestellt, der die Anzahl der für die Minimierung von $E_\sigma$ benötigten Iteration reduzieren kann. Die Fehlerquadratsumme in dem Datenterm des Funktionals $E_\sigma$ wird üblicherweise berechnet, indem die quadrierten Differenzen der simulierten und experimentellen Bilder über denselben Bereich summiert werden. Eine neue Methode für die dynamische Anpassung dieser Summationsbereiche basierend auf der aktuellen Schätzung der Registrierung wird vorgestellt, welche es ermöglicht die vollständigen Bilddaten auszunutzen und gleichzeitig eine Fortsetzung der Bilder überflüssig macht. Schließlich werden numerische Experimente beschrieben, welche den Nutzen des neuen Vorkonditionierers aufzeigen und das alternierende Optimierungsfahren mit der simultanen Optimierung vergleichen. Zuletzt wird die Rekonstruktion der Exit Wave mit dem Funktional $E_\sigma$ für eine reale TEM Bildserie durchgeführt.

Images generated with a transmission electron microscope (TEM) can reveal information up to the scale of individual atoms. However, the information contained in a TEM image is blurred by aberrations and the partial coherence of the electron beam. Furthermore, the images correspond to the squared amplitude of the image plane electron wave and are thus missing valuable information about the phase. Exit wave reconstruction attempts to solve these problems by reconstructing the electron wave at the exit plane of the specimen, the so-called exit wave, from a series of images recorded with varying focus of the objective lens. This introduces the additional problem of aligning the image series, which is crucial for a successful reconstruction of the exit wave. One possible approach to reconstructing the exit wave involves the minimization of a least squares functional, which is implemented by the well-known MIMAP and MAL algorithms. The MIMAP and MAL algorithms solve the registration problem by alternatingly optimizing the exit wave and the registration. In this thesis, a novel objective functional $E_\sigma$ for the joint optimization of the exit wave and the registration is proposed. The properties of the forward model of TEM image simulation, which is given by a weighted autocorrelation of the exit wave, are investigated on the basis of the weighted cross-correlation and the novel notion of $\star$-separable weights. The most important weight functions (commonly called transmission cross-coefficients, TCCs) for TEM image simulation are analyzed and integrated into the present framework. The results regarding the forward model are then used for the analysis of the inverse problem. It is shown that the data term of $E_\sigma$ is not coercive for $\star$-separable TCCs, which in particular implies that the MAL functional is not coercive. One of the main results is the existence of minimizers of the objective functional $E_\sigma$, which is shown with the direct method. Additionally, it is shown that the objective functional is not convex in general. These results are complemented by a numerical analysis, which includes the discretization of the objective functional and the treatment of several problems regarding the numerical minimization of $E_\sigma$. A novel preconditioner for the exit wave is proposed, showing a reduction of the number of iterations for a given residual energy. The least squares sum in the data term of the objective functional is usually calculated by summing the squared differences of the simulated and experimental images over the same domain for each image. A novel method for the dynamic adjustment of these domains based on the current estimate for the registration is proposed, which allows to use the full image data for the reconstruction while at the same time avoiding the need for a continuation of the images. Numerical experiments are presented that evaluate the utility of the preconditioner and compare the alternating optimization approach with the joint optimization of the exit wave and the registration. Finally, a numerical experiment shows the result of reconstructing the exit wave for a real image series.

OpenAccess:
PDF
(additional files)