Predicting tumor properties from diagnostic pathology whole slide images using weakly supervised deep learning methods

Ghaffari Laleh, Narmin; Schulz, Volkmar Adolf; Kather, Jakob Nikolas; Matuszynska, Anna Barbara

doi:43175

Predicting tumor properties from diagnostic pathology whole slide images using weakly supervised deep learning methods

Ghaffari Laleh, Narmin^RWTH*

2024

Verantwortlichkeitsangabevorgelegt von Narmin Ghaffari Laleh, M.Sc.

ImpressumAachen : RWTH Aachen University 2024

Umfang1 Online-Ressource : Illustrationen

Dissertation, RWTH Aachen University, 2024

Veröffentlicht auf dem Publikationsserver der RWTH Aachen University

Genehmigende Fakultät
Fak01

Hauptberichter/Gutachter
Schulz, Volkmar Adolf (Thesis advisor)^RWTH* ; Kather, Jakob Nikolas (Thesis advisor) ; Matuszynska, Anna Barbara (Thesis advisor)^RWTH*

Tag der mündlichen Prüfung/Habilitation
2024-03-20

Online
DOI: 10.18154/RWTH-2024-03766
URL: https://publications.rwth-aachen.de/record/983920/files/983920.pdf

Einrichtungen

Projekte

G:(DE-82)Stiftung-Deutsche-Krebshilfe-70113864 - Max-Eder-Nachwuchsgruppenprogramm - Optimierung von Immuntherapie-Strategien bei gastrointestinalen Tumoren mit prädiktiven und mechanistischen Computermodellen (Stiftung-Deutsche-Krebshilfe-70113864) (Stiftung-Deutsche-Krebshilfe-70113864)

Thematische Einordnung (Klassifikation)
DDC: 530

Kurzfassung
Die personalisierte Onkologie bietet Krebspatienten Behandlungen, die auf ihr einzigartiges genetisches und molekulares Profil zugeschnitten sind, und kann so die klinischen Ergebnisse verbessern und die Nebenwirkungen verringern. Die Einführung innovativer Technologien ist eines der grundlegenden Instrumente für die Verfeinerung der personalisierten Onkologie. Ein bemerkenswertes Werkzeug in diesem Bereich ist deep learning, eine Facette der künstlichen Intelligenz. Deep Learning (DL) hat das Potenzial, die digitale Pathologie zu revolutionieren, indem es die Diagnose verbessert und klinische Biomarker aus routinemäßigen extrahiert. Bevor DL jedoch in der klinischen Pathologie in vollem Umfang eingesetzt werden kann, müssen wir Herausforderungen wie die Notwendigkeit spezifischer Datensatzgrößen für das DL-Training und Bedenken hinsichtlich seiner Verallgemeinerbarkeit und Anfälligkeit angehen. Diese Studie befasst sich mit den Möglichkeiten und Herausforderungen von DL im Bereich der computergestützten Pathologie. Im ersten Teil unserer Studie haben wir Deep-Learning-Techniken eingesetzt, um Mikrosatelliteninstabilit ät (MSI) /Mismatch-Reparatur-Defizite direkt anhand von H ämatoxylin- und Eosin (H&E) -gefärbten Objektträgerbildern bei kolorektalem Krebs zu erkennen. Unsere Ergebnisse zeigten, dass DL-basierte MSI-Detektoren die klinische Leistung übertrafen, ohne dass manuelle Anmerkungen erforderlich waren. Außerdem konnte unser DL-Ansatz kolorektalem Krebs Patienten mit Mikrosatellitenstabilität in etwa 50% der Fälle genau identifizieren. Diese Fähigkeit hat das Potenzial, den Kosten- und Zeitaufwand zu senken, der normalerweise mit der molekularen Profilerstellung verbunden ist. Darüber hinaus untersuchten und verglichen wir verschiedene DL-basierte, schwach überwachte Methoden zur Klassifizierung von whole slide images in der Computerpathologie. Unsere Ergebnisse zeigten, dass klassische, schwach überwachte Arbeitsabläufe/Analyse-Pipelines, auf Multiple Instance Learning (MIL) basierende Methoden, übertreffen. Dies gilt insbesondere bei der Mutationsvorhersage für Darm-, Magen- und Blasenkrebs. Dies unterstreicht die Bedeutung des Vergleichs neuer DL-basierter Bildanalyse-Pipelines mit klassischen, schwach überwachten Ansätzen. Schließlich untersuchten wir die Anfälligkeit von DL-Techniken, insbesondere im Zusammenhang mit adversarial attacks bei schwach überwachten Klassifizierungsaufgaben. Unsere Beobachtungen ergaben, dass Vision Transformers (ViT) im Vergleich zu Convolutional Neural Networks (CNN) sowohl gegen über White-Box- (mit Zugriff auf die Modellparameter) als auch Black-Box-Angriffen (ohne Zugriff auf die Modellparameter) deutlich robuster sind. Dieser Ergebnisse sprechen dafür, dass ViTs für groß angelegte Einsätze in der computergestützten Pathologie, aufgrund ihres inhärenten Schutzes gegen Datenstörungen, eine sicherere Wahl als CNNs darstellen könnten. Zusammenfassend lässt sich sagen, dass diese Arbeit das Potenzial und die Herausforderungen der Implementierung von DL in der computergestützten Pathologie für den breiten klinischen Einsatz aufzeigt. Unsere Ergebnisse veranschaulichen die Vielseitigkeit von DL-Methoden über verschiedene Patientenkohorten hinweg, und unterstreichen auch die Effektivität und Widerstandsfähigkeit fortschrittlicher DL-Techniken bei zentralen Tätigkeiten in der computer-basierten Bildauswertung in der Pathologie.

Personalized oncology provides cancer patients treatments tailored to their unique genetic and molecular profiles, which can improve clinical outcome and reduce side effects. The adoption of innovative technologies is one of the fundamental tools for refining and advancing personalized oncology. A noteworthy tool within this field is that of deep learning (DL), a facet of artificial intelligence (AI). DL has the potential to revolutionize digital pathology by enhancing diagnosis and extracting clinical biomarkers from standard diagnostic slides. However, before DL can be fully adopted in clinical pathology, we must address challenges such as the need for specific dataset sizes for DL training and concerns over its generalizability and vulnerabilities. This study delves into the capabilities and challenges of DL in the field of computational pathology. In the first part of our study, we utilized DL techniques to detect microsatellite instability (MSI) / mismatch repair deficiency (dMMR) directly from Hematoxylin and Eosin (H&E)-stained whole slide image (WSI) of colorectal cancer (CRC). Our results indicated that the DL-based MSI detectors outperformed clinical-grade performance without requiring any manual annotations. Furthermore, our DL approach could accurately identify CRC patients with microsatellite stability (MSS) in approximately 50% of cases. This ability has the potential to cut the costs and time typically associated with molecular profiling. We furthermore explored and compared various DL-based weakly supervised methods for classifying WSIs in computational pathology. Our findings indicated that classical weakly supervised workflows consistently outperformed multiple instance learning (MIL)-based methods, especially in mutation prediction for colorectal, gastric, and bladder cancers. This emphasizes the importance of comparing new DL-based image analysis pipelines with classical weakly supervised approaches. Lastly, we examined the vulnerability of DL techniques, specifically in the context of adversarial attacks in weakly supervised classification tasks. Our observations revealed that vision transformer (ViT) architectures are significantly more robust to both white-box (with model parameter access) and black-box (without model parameter access) adversarial attacks compared to convolutional neural network (CNN). Given these insights, it is suggested that for large- scale deployments in computational pathology, ViTs may offer a safer choice than CNNs due to their inherent protection against data perturbations. In conclusion, this thesis highlights the potential and challenges of implementing DL in computational pathology for broad clinical use. Our findings not only illustrate the versatility of DL methods across diverse patient cohorts but also emphasize the effectiveness and resilience of advanced DL techniques in fundamental computational pathology tasks.

OpenAccess:
PDF
(additional files)