Lattice-Boltzmann based approach for multiphysics simulations on heterogeneous high-performance computers

Waldmann, Moritz; Kowalski, Julia; Schröder, Wolfgang

doi:10.18154/RWTH-2023-10896

Lattice-Boltzmann based approach for multiphysics simulations on heterogeneous high-performance computers = Gitter-Boltzmann basierter Ansatz für multiphysikalische Simulationen auf heterogenen Hochleistungsrechnern

Waldmann, Moritz^RWTH*

2023

Verantwortlichkeitsangabevorgelegt von Moritz Waldmann

ImpressumAachen : RWTH Aachen University 2023

Umfang1 Online-Ressource : Illustrationen

Dissertation, Rheinisch-Westfälische Technische Hochschule Aachen, 2023

Retraction. Aus rechtlichen Gründen kann der Zugriff nicht gewährt werden.

Genehmigende Fakultät
Fak04

Hauptberichter/Gutachter
Schröder, Wolfgang (Thesis advisor)^RWTH* ; Kowalski, Julia (Thesis advisor)^RWTH*

Tag der mündlichen Prüfung/Habilitation
2023-09-20

Online
DOI: 10.18154/RWTH-2023-10896
URL: https://publications.rwth-aachen.de/record/973603/files/973603_RETRACTION.pdf

Einrichtungen

Lehrstuhl für Strömungslehre und Aerodynamisches Institut (415110)

Thematische Einordnung (Klassifikation)
DDC: 620

Kurzfassung
Viele physikalische Prozesse und Anwendungen sind nicht auf einen Zweig der Physik beschränkt. Sie sind von multiphysikalischer Natur und kombinieren verschiedene wissenschaftliche Disziplinen. Die Kopplung zwischen ihnen kann je nach Anwendung variieren. Oft besteht das Problem aus Teilproblemen, für die die multiphysikalische Kopplung vernachlässigbar ist. In diesen Fällen ist es ausreichend, die physikalischen Prozesse getrennt zu untersuchen. Wenn dies jedoch nicht mehr der Fall ist, muss das System als Ganzes betrachtet werden. Dies gilt beispielsweise für das Feld der Biofluidmechanik. In der medizinischen Diagnostik ist die Analyse von Biofluid-Strömungen essentiell. Strömungsvariablen wie der Druckverlust oder Wandschubspannungen können dem Arzt Aufschluss über das Wohlbefinden des Patienten geben. Da das Messen dieser Variablen oft mit erheblichem Aufwand verbunden oder sogar unmöglich ist, eignen sich auf den Patienten zugeschnittene, hochaufgelöste Simulationen sehr gut als Ergänzung der bisherigen Diagnostik. Aus diesem Grund werden in dieser Arbeit numerische Methoden für multiphysikalische Simulationen entwickelt, welche die effiziente Ausführung auf modernen Hochleitungsrechnersystemen (HPC) erlauben. Der Kern des Simulationscodes ist ein CPU-basierter lattice-Boltzmann-Löser (LB). Er wird auf Grafikprozessoren (GPUs) portiert und mit Solvern gekoppelt, die auf der Level-Set- und der Finite-Cell-Methode basieren. Darüber hinaus werden mehrere Erweiterungen des Lattice-Boltzmann-Solvers vorgestellt, die es erlauben, neben den Massen- und Impulserhaltungsgleichungen auch die Energieerhaltungsgleichung zu lösen. Die entwickelten Methoden werden anhand verschiedener Benchmark-Testfälle validiert. Die GPU-Portierung des LB-Lösers wird analysiert, indem seine Leistung auf verschiedenen CPU-basierten HPC-Systemen mit der Leistung auf Nvidias Ampere 100 GPU verglichen wird. Die Ergebnisse zeigen, dass durch die Portierung eine Beschleunigung der Simulation erreicht wird. Dadurch steigt der Einfluss der Kommunikation, und ihr Anteil an der Gesamtsimulationszeit wird dominant. So zeigen sogenannte Strong- und Weak-Scaling Experimente des GPU-portierten Codes, dass er auf einer großen Anzahl von GPUs nicht so effizient arbeiten kann wie auf einer großen Anzahl von CPUs. Simulationen mit einem rechenintensiveren Kollisionsmodell zeigen jedoch auch, dass sich die Beschleunigung und Effizienz des Codes verbessern, wenn die Komplexität der Berechnungen zunimmt. Abschließend werden die entwickelten Methoden zur Simulation einer realen Anwendung verwendet, in der die Atmung von zwei Patienten untersucht wird. Die Simulationen zeigen, dass einer der Patienten eine gesunde Nasenhöhle hat. Der andere leidet an einem Knochensporn und einer Nasenscheidewandverkrümmung. Durch die Beseitigung beider Probleme mithilfe einer virtuellen Operation wird demonstriert, dass Simulationen des Atemtrackts erfolgreich für die Planung und Beurteilung von Operationen eingesetzt werden können.

Many physical processes and applications are not limited to one branch of physics. They are multiphysical in nature and combine different scientific disciplines. The coupling between them can vary depending on the application. Often, the problem divides into subproblems for which the multiphysics coupling is neglectable. In these cases, it is sufficient to study the physical processes separately. However, if this is no longer the case, the system must be considered a whole. This applies, for example, to the field of biofluid mechanics. In medical diagnostics, the analysis of biofluid flows is essential. Flow variables such as pressure drop or wall shear stresses can inform the physician about the patient’s condition. Since measuring these variables often requires considerable effort or is even impossible, highly-resolved simulations tailored to the patient are well-suited to complement existing diagnostics. For this purpose, numerical methods for multiphysics simulations are developed in this thesis, allowing efficient execution on modern, heterogeneous high-performance computing (HPC) systems. The core of the simulation code is a CPU-based lattice-Boltzmann (LB) solver. It is ported to graphic processing units (GPUs) and coupled with solvers based on the level-set and finite cell method. Furthermore, several extensions of the lattice-Boltzmann solver are presented, which allow solving the energy conservation equation besides the mass and momentum conservation equations. The developed methods are validated using various benchmark test cases. The GPU porting of the LB solver is analyzed by comparing its performance on different CPU-based HPC systems with its performance on Nvidia’s Ampere 100 GPU. The results show that the porting achieves an acceleration of the simulation. Due to the acceleration, the influence of the communication increases, and its portion of the total simulation time becomes dominant. Strong and weak scaling experiments of the GPU-ported code show that it does not run as efficiently on large numbers of GPUs as on large numbers of CPUs. However, simulations using a more computation-intense collision model reveal that the code’s acceleration and efficiency improve if the complexity of the calculations increases. The developed methods are used to simulate a realistic application. That is, the respiratory flow of two patients is investigated. The simulations show that one of the patients has a healthy nasal cavity. The other one suffers from a bone spur and a deviated septum. Both issues are removed by virtual surgery, demonstrating that respiratory flow simulations can successfully be used for surgery planning and evaluation.

OpenAccess:
PDF
(additional files)