guest ::
Improving deep learning-based instance segmentation and generative approaches for 3D microscopy image data
2024
Dissertation, Rheinisch-Westfälische Technische Hochschule Aachen, 2024
Veröffentlicht auf dem Publikationsserver der RWTH Aachen University
Genehmigende Fakultät
Fak06
Hauptberichter/Gutachter
;
Tag der mündlichen Prüfung/Habilitation
2024-06-05
Online
DOI: 10.18154/RWTH-2024-09006
URL: https://publications.rwth-aachen.de/record/993832/files/993832.pdf
Einrichtungen
Projekte
Inhaltliche Beschreibung (Schlagwörter)
3D microscopy (frei) ; deep learning (frei) ; image generation (frei) ; instance segmentation (frei)
Thematische Einordnung (Klassifikation)
DDC: 621.3
Kurzfassung
Neueste Entwicklungen in der Mikroskopie haben die Fähigkeit zur Erfassung hochdetaillierter Bilddaten erheblich verbessert. Diese Fähigkeit hat Biologen in die Lage versetzt, immer mehr aufschlussreiche Experimente durchzuführen, was zu einem sprunghaften Anstieg sowohl des Volumens als auch der Größe der zu verarbeitenden Mikroskopie Bilddaten geführt hat. Folglich ist die Nachfrage nach automatisierten Ansätzen erheblich gestiegen, wobei moderne Deep Learning Ansätze hervorstechen, da durch die präzisen Ergebnisse klassische Techniken übertroffen werden. Diese Deep Learning Ansätze erfordern in der Regel große annotierte Datensätze, um optimal anwendbar zu sein. Leider stellt der allgemeine Mangel an solchen annotierten Datensätzen ein Problem dar, welches die Leistung und die breitere Anwendbarkeit dieser Verfahren einschränkt. Jedoch ist die manuelle Annotation sehr mühsam, und insbesondere im Zusammenhang mit 3D-Bilddaten äußerst zeitaufwändig und oft unpraktisch, was eine weitere Herausforderung bei der Bewältigung des allgemeinen Mangels an Annotationen darstellt. Daher erfordert der Wechsel von klassischen Verfahren zu Deep Learning basierten Ansätzen die Entwicklung neuer Verarbeitungspipelines, die entweder mit dem Mangel an Annotationen umgehen oder Lösungen zur Überwindung dieses Mangels anbieten. Folglich konzentrieren sich die Hauptbeiträge dieser Arbeit auf die Entwicklung von robusten Instanzensegmentierungsansätzen und den Entwurf von generativen Pipelines, die dazu beitragen, die oben erwähnte Annotationsknappheit zu mildern. Letztendlich zielen die vorgeschlagenen Ansätze darauf ab, die Anwendbarkeit moderner, auf Deep Learning basierender Segmentierungsansätze für eine Vielzahl von Mikroskopiedatensätzen zu verbessern, und perspektivisch die Notwendigkeit manuell erstellter Annotationen gänzlich zu eliminieren. In diesem Zusammenhang wurden Ansätze zur Instanzensegmentierung entwickelt, um die Robustheit und Generalisierbarkeit zu verbessern und letztlich die Effizienz bestehender annotierter Datensätze zu erhöhen. Es wurden drei verschiedene Ansätze zur Instanzensegmentierung vorgeschlagen, die sich jeweils auf unterschiedliche Aspekte der Robustheit konzentrieren. Diese reichen von der Generierung intuitiver Zwischenergebnisse für die weitere Verarbeitung, über die Ausnutzung von Redundanz aufgrund der Informationsdichte, bis hin zur Nutzung von Modellwissen. Darüber hinaus wurden Diversifizierungs- und generative Pipelines entwickelt, um den Bedarf an manuell annotierten Datensätzen direkt zu adressieren. Eine Technik zur Diversifizierung, die sich auf lokale Bildstatistiken stützt, wurde eingesetzt um verschiedene Bildvariationen zu erzeugen, die es ermöglichen, bestehende Datensätze künstlich zu vergrößern, ohne die bestehenden Annotationen durch die inhärente Erhaltung lokaler Strukturen zu beeinträchtigen. Experimente mit einer generativen Pipeline und Simulationsansätzen haben die Grundlage geschaffen und entscheidende Anforderungen für die Einrichtung optimierter Generierungspipelines ermittelt. Dazu gehören Ansätze, die auf adversarialen Trainingskonzepten und Diffusionsmodellen basieren, die sich beide auf die Generierung realistischer synthetischer Datensätze auf der Grundlage bestehender oder simulierter Annotationen konzentrieren, und ein unterschiedliches Maß an Kontrolle und Intuitivität bieten. Wichtig ist, dass sich diese generierten Datensätze nachweislich für das Training von Segmentierungsansätzen eignen, wodurch die Abhängigkeit von manuellen Annotationen entfällt. Um eine breite Zugänglichkeit zu gewährleisten, wurde die Software für diese Ansätze auf verschiedenen Wegen öffentlich zugänglich gemacht, sodass Forscher mit unterschiedlichen Programmierkenntnissen und -hintergründen angesprochen werden. Schließlich wurden in Zusammenarbeit mit Kollaborationspartnern mehrere reale Anwendungsszenarien durchgeführt, die die Anpassungsfähigkeit und Praxistauglichkeit der entwickelten Methoden unterstreichen sollen.Recent developments in microscopy imaging techniques have significantly enhanced the capacity to capture highly detailed image data. This capability has empowered biological experts to conduct an increasing range of insightful experiments, resulting in a surge of both the volume and the size of microscopy image data that necessitate processing. As a consequence, the demand for automated approaches has grown substantially, with modern deep learning-based approaches taking the lead in offering precise results that surpass the outcomes achieved by classical techniques. These deep learning-based approaches usually require large annotated datasets for optimal performance. Unfortunately, the general scarcity of such annotated datasets serves as a bottleneck, constraining the performance and broader applicability of these techniques. Furthermore, the tedious process of manual annotation, particularly in the context of 3D image data, is exceedingly time-consuming and often impractical, presenting another challenge in addressing the overall shortage of annotations. Therefore, the shift from classical to deep learning-based approaches necessitates the design of new processing pipelines that either deal with the scarcity of annotations or pose solutions to overcome it. Consequently, the major contributions of this thesis focus on the development of robust instance segmentation approaches and the design of generative pipelines that help to mitigate the aforementioned annotation scarcity. Ultimately, the proposed approaches strive towards enhancing the applicability of modern deep learning-based segmentation approaches to a diverse range of microscopy datasets, with the vision to eliminate the need for manually generated annotations.In this context, instance segmentation approaches have been designed to enhance robustness and generalizability, ultimately improving the efficiency of existing annotated datasets. Three distinct instance segmentation approaches have been proposed, each concentrating on different aspects of robustness. These range from generating intuitive results for further processing, to exploiting redundancy from information density and to leveraging model knowledge.Moreover, data enrichment and generative pipelines have been developed to directly address the vital need for manually annotated datasets. A data enrichment technique that relies on local image statistics has been employed to create diverse image variations, which allows to diversify existing datasets without compromising existing annotations by inherently preserving local structures. Experiments involving a data generation pipeline and simulation approaches have laid the groundwork and determined crucial requirements for setting up optimized generation pipelines. Those include approaches based on adversarial training concepts and diffusion models, which both focus on the generation of realistic synthetic datasets based on existing or simulated annotations, andoffer different levels of control and intuitiveness. Importantly, these generated datasets have been proven to be suitable for training segmentation approaches, eliminating the reliance on manual annotation efforts. To ensure broad accessibility, software for these approaches has been made publicly available through different ways, accommodating researchers with a range for programming experience levels and backgrounds. Lastly, several real-world application scenarios have been conducted in collaboration with fellow researchers, which serve to emphasize the adaptability and practicality of the proposed methods.
OpenAccess: 
PDF
(additional files)
Dokumenttyp
Dissertation / PhD Thesis
Format
online
Sprache
English
Externe Identnummern
HBZ: HT030859901
Interne Identnummern
RWTH-2024-09006
Datensatz-ID: 993832
Beteiligte Länder
Germany
|
The record appears in these collections: |