Automated surgery planning for improved nasal breathing

Rüttgers, Mario; Schröder, Wolfgang; Trimpe, Johann Sebastian

doi:42893

Automated surgery planning for improved nasal breathing = Automatisierte Operationsplanung für eine verbesserte Nasenatmung

Rüttgers, Mario^RWTH*

2023 & 2024

Verantwortlichkeitsangabevorgelegt von Mario Rüttgers

ImpressumAachen : RWTH Aachen University 2023

Umfang1 Online-Ressource : Illustrationen

Dissertation, Rheinisch-Westfälische Technische Hochschule Aachen, 2023

Veröffentlicht auf dem Publikationsserver der RWTH Aachen University 2024

Genehmigende Fakultät
Fak04

Hauptberichter/Gutachter
Schröder, Wolfgang (Thesis advisor)^RWTH* ; Trimpe, Johann Sebastian (Thesis advisor)^RWTH*

Tag der mündlichen Prüfung/Habilitation
2023-12-18

Online
DOI: 10.18154/RWTH-2024-00009
URL: https://publications.rwth-aachen.de/record/976135/files/976135.pdf

Einrichtungen

Inhaltliche Beschreibung (Schlagwörter)
computational fluid dynamics (frei) ; machine learning (frei) ; reinforcement learning (frei) ; respiratory flow (frei) ; septum deviation (frei) ; super resolution (frei)

Thematische Einordnung (Klassifikation)
DDC: 620

Kurzfassung
Numerische Strömungssimulationen werden in verschiedenen Disziplinen zur Untersuchung von Strömungsfeldern eingesetzt. Allerdings kann das Vorbereiten und Durchführen solcher Simulationen je nach Komplexität eines Problems bzw. der gewünschten Genauigkeit zeitaufwändig und teuer sein. In der Vergangenheit haben Techniken des maschinellen Lernens großes Potenzial in der Automatisierung von Strömungsapplikationen gezeigt. In dieser Arbeit werden Kombinationen aus maschinellem Lernen und numerischen Strömungssimulationen an einem Beispiel aus dem Bereich Life Science untersucht. In dem Beispiel wird eine auf Computertomographiedaten basierte automatisierte Datenpipeline entwickelt, die zum Planen von operativen Eingriffen in den oberen Atemwegen eingesetzt werden kann. Zunächst werden in der Pipeline unteraufgelöste Computertomographiebilder durch die Anwendung eines Super-Resolution Netzwerkes standardisiert, so dass sich Bilder mit einer für zuverlässige numerische Simulationen ausreichend hohen Auflösung ergeben. Natürlich ist dieser Schritt nur notwendig, falls die originale Auflösung der medizinischen Bilder zu niedrig ist. Die Notwendigkeit einer solchen Standardisierung wird durch eine Gegenüberstellung von Simulationsergebnissen basierend auf hochaufgelösten, unteraufgelösten, interpolierten und netzwerk-generierten Bildern hervorgehoben. Im zweiten Schritt der Pipeline werden die oberen Atemwege mit Hilfe von Convolutional Neural Networks aus Computertomographiebildern extrahiert und in verschiedene Bereiche unterteilt. Dank dieser Unterteilung kann eine automatische Zuteilung von Randbedingungen bei den numerischen Simulationen erfolgen. Dies macht manuelle Schritte zur Vorbereitung von Simulationen überflüssig und vereinfacht somit die Durchführung von numerischen Simulationen für klinisches Personal. Auf Basis der unterteilten Bereiche werden mit Hilfe des Strömungslösers multiphysics-Aerodynamisches Institut Aachen automatisch Gitter erzeugt und Strömungsfelder berechnet. Im dritten Schritt wird ein künstliches neuronales Netzwerk zur Erkennung von Pathologien in Computertomographiebildern eingesetzt. Eine solche automatisierte Detektierung unterstützt Chirurg:innen dabei einen ersten Eindruck der Patient:innen zu erhalten. Es wird zusätzlich gezeigt, wie die Hinzunahme von Strömungssimulationsdaten zum Input des neuronalen Netzwerks die Detektionsfähigkeit verbessert. Im letzten Schritt wird ein Reinforcement Learning Algorithmus mit dem Strömungslöser gekoppelt, um die Veränderungen der oberen Atemwege zu finden, die zu einer verbesserten Atmung führen. Nach jeder Veränderung erhält der Algorithmus eine Rückmeldung in Form von strömungsmechanischen Größen, die aus Simulationsergebnissen extrahiert werden. Es wird gezeigt, wie der Algorithmus Chirurg:innen dabei helfen kann operative Eingriffe zu planen, die durch strömungsmechanische Kenngrößen gestützt werden. Weiterhin wird analysiert, welche Auswirkungen unterschiedliche Gewichtungen verschiedener Kenngrößen haben. Solche Gewichtungsfaktoren können sich an den Präferenzen der Chirurg:innen oder Patient:innen orientieren.

Computational fluid dynamics is widely employed in various disciplines to investigate flow fields. However, depending on the complexity of a problem or the desired accuracy, setting up and employing such simulations can be time consuming and costly. Recently, machine learning techniques have shown great potential in automated workflows for flow applications. In this work, the potential for combining machine learning and flow simulations is studied for an example from life sciences. The example focuses on an automated data-processing pipeline for planning surgical interventions in the respiratory tract based on computed tomography images. First, the pipeline standardizes medical images with low resolutions by employing a super-resolution network that outputs sufficiently resolved images for reliable flow simulations. Of course, such a step is only needed if the resolution of the original recordings is too low. The necessity of the step is highlighted by comparing flow simulations based on fine medical data with simulations based on coarse data, interpolated data, and data generated by the super-resolution network. Second, the nasal cavity surface is extracted and subdivided into different boundaries with the help of convolutional neural networks. Based in this subdivision, boundary conditions can be assigned automatically to each boundary when performing the simulations. This step makes manual pre-processing obsolete and eases the usage of flow solvers in clinical environments for users without knowledge about preparing numerical simulations. The surfaces are then used to generate a grid and compute the flow field with the multiphysics-Aerodynamisches Institut Aachen flowsolver. Third, an object detection network is trained to localize and classify nasal obstructions in computed tomography recordings. Such a detection assists a surgeon in finding pathologies efficiently. Furthermore, it is shown, how the inclusion of computational fluid dynamics data to the network input improves detections. Finally, a reinforcement learning algorithm is coupled to the flow solver to find those modifications of the nasal airway that yield favorable breathing conditions. After each modification, the algorithm receives feedback in terms of fluid mechanical quantities that are extracted from simulation results. It is shown how the algorithm can help a surgeon to plan a surgery by suggesting interventions that are backed up by fluid mechanical quantities. Additionally, the importance of different fluid mechanical parameters can be adjusted according to a surgeon’s or patient’s preferences by the choice of weighting factors. Overall, the findings of this thesis reveal the enormous potential of the developed pipeline for a widespread usage in clinical environments to improve the success rate of surgical interventions in Otorhinolaryngology. It lays the foundation for future studies aiming at reducing the number of follow up surgeries that must often be conducted to satisfy a patient’s breathing conditions.

OpenAccess:
PDF
(additional files)