Derivative-informed Bayesian inference for trainable geological modeling - in modern machine-learning framework

Liang, Zhouji; Ghattas, Omar; Wellmann, Jan Florian

doi:10.18154/RWTH-2024-02206

Derivative-informed Bayesian inference for trainable geological modeling - in modern machine-learning framework

Liang, Zhouji^RWTH*

2023 & 2024

Verantwortlichkeitsangabesubmitted by Zhouji Liang, M.Sc.

ImpressumAachen : RWTH Aachen University 2023

Umfang1 Online-Ressource : Illustrationen

Dissertation, RWTH Aachen University, 2023

Veröffentlicht auf dem Publikationsserver der RWTH Aachen University 2024

Genehmigende Fakultät
Fak05

Hauptberichter/Gutachter
Wellmann, Jan Florian (Thesis advisor)^RWTH* ; Ghattas, Omar (Thesis advisor)

Tag der mündlichen Prüfung/Habilitation
2023-06-02

Online
DOI: 10.18154/RWTH-2024-02206
URL: https://publications.rwth-aachen.de/record/980351/files/980351.pdf

Einrichtungen

Projekte

GRK 2379 - GRK 2379: Hierarchische und hybride Ansätze für moderne inverse Probleme (333849990) (333849990)

Thematische Einordnung (Klassifikation)
DDC: 550

Kurzfassung
Der Untergrund der Erde ist nach wie vor die wichtigste Energie- und Mineralienquelle für die Menschheit. Diese unterirdischen Ressourcen können jedoch nicht ohne ein umfassendes Verständnis dessen, was unter unseren Füßen liegt, gewonnen werden. Geowissenschaftler haben erhebliche Anstrengungen unternommen, den Untergrund zu charakterisieren, um Entscheidungen über die Erschließung von Ressourcen zu treffen, und haben sich dabei zunehmend auf Computermodellierungssoftware verlassen. Ein geologisches 3D-Strukturmodell dient als ein solches Werkzeug, das das Wissen der Geowissenschaftler bündelt und eine effiziente Visualisierung, Kommunikation und fortschrittliche Analyse ermöglicht. Die Sicherstellung einer getreuen Darstellung des Untergrunds ist eine entscheidende Aufgabe für das geologische Modell, sowohl aus finanzieller Sicht als auch aus Sicherheitsgründen. Üblicherweise wird ein einzelnes Modell auf der Grundlage des besten Wissens des Modellierers entwickelt. Jedes Kriterium, auf das sich das Modell über die tatsächliche Beobachtung hinaus stützt, ist jedoch mit gewissen Unsicherheiten behaftet, z. B. die Eingangsdaten, die Interpolation und das fehlende Wissen. Eine gute Quantifizierung dieser Unsicherheiten ist von grundlegender Bedeutung für den Erfolg der Anwendung von geologischen Modellen. Der Bayes'sche Rahmen bietet einen systematischen Ansatz zur gleichzeitigen Berücksichtigung der Unsicherheiten im Vorwissen und zusätzlicher Beobachtungen innerhalb der Wahrscheinlichkeitsfunktion. Die abgeleitete Wahrscheinlichkeit unter Berücksichtigung zusätzlicher Beobachtungen wird als Posteriorwahrscheinlichkeit bezeichnet. Dieses Inferenzproblem kann oft nicht analytisch gelöst werden. Die Bewertung der Posterior-Verteilung ist gleichbedeutend mit der Erkundung des Posterior-Raums und wird häufig mit Markov Chain Monte Carlo Methoden (MCMC) gelöst. In den Geowissenschaften werden geophysikalische Daten in großem Umfang zur Charakterisierung des Untergrunds durch die Erfassung physikalischer Signale verwendet. Das angesammelte wissenschaftliche Fachwissen und die gesammelten geophysikalischen Erhebungen machen geophysikalische Daten zu einem attraktiven Kandidaten für die Quantifizierung der Unsicherheit. Die Integration geophysikalischer Beobachtungen in den Bayes'schen Rahmen ist jedoch eine Herausforderung, da es schwierig ist, verkettete Ableitungen von geologischen Daten zu berechnen, gefolgt von geophysikalischen Simulationen. In dieser Arbeit wird eine End-to-End-Methode vorgestellt, um das Problem der Integration potenzieller Felddaten, insbesondere der Gravimetrie, in den Bayes'schen Inferenzrahmen zu lösen, indem fortschrittliche abgeleitete Inferenzmethoden genutzt werden, die in einer Software für maschinelles Lernen - TensorFlow - implementiert sind.Zunächst werden Methoden zur Simulation von Schwerfelddaten aus einem geologischen Modell unter Verwendung der impliziten Modellierungsmethode vorgestellt. Die vorgeschlagenen Kernel-Methoden für die Schwerfeldsimulation nutzen den Vorteil des Wertes, der an jeder beliebigen Position im Raum auf der Grundlage der impliziten Modellierungsmethoden abgefragt werden kann, um eine effizientere Schwerberechnung zu erreichen. Darüber hinaus wird eine Verfeinerungsstrategie vorgeschlagen, um eine bessere Genauigkeit im Rahmen der probabilistischen Modellierung zu erreichen.Anschließend werden Methoden zur Erstellung trainierbarer geologischer Modelle vorgestellt. Die vorgeschlagenen Methoden führen eine glatte Steigungsfunktion ein, um Ableitungsdiskontinuitäten zwischen geologischer Modellierung und Schwerfeldsimulation zu überbrücken. Die vorgeschlagene Methode ermöglicht die Berechnung aussagekräftiger Ableitungen aus einer geologischen Inversion, um die Anwendung fortgeschrittener Inferenzmethoden zu ermöglichen. Eine Visualisierungsmethode, die die Technik der Ordnungsreduktion verwendet, wird zur Visualisierung des trainierbaren Posteriorraums eingesetzt.Durch die Kombination der vorgestellten Schwerfeldsimulationsmethoden und der trainierbaren geologischen Modellierung ist diese Studie der erste Versuch, fortgeschrittene Inferenzmethoden zu verwenden, darunter die Hessian-informierte MCMC (generalisierte vorkonditionierte Crank-Nicolson, gpCN) und gradienteninformierte Variationsmethode (Stein Variational Gradient Descent, SVGD) für die Anwendung probabilistischergeologischen Modellierung. Es wird ein Ansatz zur effizienten Auswertung des Hessian-Matrix Informationen auf der Grundlage des trainierbaren geologischen Konzepts vorgestellt. Die vorgeschlagene Methodik mit gpCN führt zu einer überlegenen Posterior-Exploration im Vergleich zur State-of-the-Art MCMC-Methode sowohl in synthetischen Beispielen als auch in realen Fallstudien und zeigt das Potenzial für kompliziertere Szenarien. Der SVGD Algorithmus wird vorgeschlagen, um das multimodale Posterior zu bewältigen, was eine Herausforderung für viele MCMC Algorithmen darstellt. Das vorläufige Ergebnis zeigt, dass der Posteriorraum bei der geologischen Inversion mit Schwer als Wahrscheinlichkeit komplex sein könnte und die multimodale Verteilung in der aktuellen Konfiguration schwer aufzulösen ist. Dies zeigt, dass diese Methode weiter verbessert werden muss. Der SVGD-Algorithmus wird vorgeschlagen, um das multimodale Posterior zu bewältigen, was für viele MCMC-Algorithmen eine Herausforderung darstellt. Vorläufige Ergebnisse zeigen, dass der Posterior-Raum bei der geologischen Inversion mit Schwer als Wahrscheinlichkeit komplex sein könnte und dass die multimodale Verteilung in der aktuellen Konfiguration schwer zu lösen ist. Dies soll die Möglichkeit der Anwendung von SVGD zur Lösung des modellbasierten Inversionsproblems aufzeigen und auf die Notwendigkeit einer weiteren Verbesserung hinweisen.

Earth’s subsurface remains the most vital source of energy and minerals for humankind. However, these subsurface resources cannot be extracted without a comprehensive understanding of what lies beneath our feet. Geoscientists have dedicated significant efforts characterizing the subsurface to guide resource development decisions and have increasingly relied on computer modeling software. A 3D structural geological model serves as such a tool that encapsulates the knowledge of geoscientists and provides an efficient visualization, communication, and advanced analysis. Ensuring a faithful representation of the subsurface is a crucial task for the geological model, both from the financial point of view and for safety reasons. Conventionally, a single model is developed based on the modeler’s best knowledge. Yet, any criteria the model was based on beyond our actual observation is subject to certain uncertainties, for example, the input data, the interpolation, and the missing knowledge. A good quantification of these uncertainties is fundamental for the success of the application of geological models. The Bayesian framework offers a systematic approach to simultaneously consider the uncertainties in the prior knowledge and additional observations within the likelihood function. The inferred probability with the consideration of additional observations is referred to as the posterior probability. This inference problem often cannot be solved analytically. Evaluating the posterior distribution is equivalent to the exploration of the posterior space and is often solved using Markov Chain Monte Carlo (MCMC) methods. In the geosciences, geophysical data is widely used to characterize the subsurface through collection of observations of physical signals. The accumulated scientific expertise and collected geophysical surveys make geophysical data an attractive candidate for uncertainty quantification. However, integrating geophysical observations in the Bayesian Framework is challenging due to difficulties in calculating chained derivatives of geological followed by geophysical simulations. This thesis presents an end-to-end methodology to solve the problem of integrating potential field data, specifically gravity, into the Bayesian inference framework by leveraging advanced derivative-informed inference methods, implemented in a Machine Learning framework - TensorFlow. First, methods are introduced to simulate gravity data from a geological model using the implicit modeling method. The proposed kernel methods for gravity simulation take advantage of the value that can be queried at any position in space based on the implicit modeling methods to achieve a more efficient gravity calculation. In addition, a refinement strategy is proposed to achieve better accuracy in the probabilistic modeling framework. Then, methods to create trainable geological models are introduced. The proposed methods introduce a smooth slope function to bridge derivative discontinuities between geological modeling and gravity simulation. The proposed method enables meaningful derivatives to be calculated from a geological inversion to allow the application of advanced inference methods. A visualization method using the order-reduction technique is adopted to visualize the trainable posterior space. Finally, by combining the introduced gravity simulation methods and trainable geological modeling technique, this study is the first attempt to adopt advanced inference methods, including the Hessian-informed MCMC (generalized preconditioned Crank-Nicolson, gpCN) and gradient-informed variational method (Stein Variational Gradient Descent, SVGD) to the application of probabilistic geological modeling. The approach to efficiently evaluate Hessian information based on the trainable geological concept is introduced. The proposed methodology using gpCN has demonstrated the superior performance of posterior exploration compared to the state-of-the-art MCMC method in both synthetic examples and real case studies and shows the potential for more complex scenarios. The SVGD algorithm is proposed in an attempt to tackle the multimodal posterior, which is a challenge for many MCMC-type algorithms. Preliminary results show that the posterior space in geological inversion with gravity as the likelihood could be complex, and the multimodal distribution is difficult to resolve in the current configuration. This is intended to show the possibility of applying SVGD to solve the model-based inversion problem and indicates the need for further improvement.

OpenAccess:
PDF
(additional files)