Mumford–Shah type models for unsupervised hyperspectral image segmentation

Cohrs, Jan-Christopher; Berkels, Benjamin; Grasedyck, Lars

doi:44896

Mumford–Shah type models for unsupervised hyperspectral image segmentation

Cohrs, Jan-Christopher^RWTH*

2025 & 2026

Verantwortlichkeitsangabevorgelegt von Master of Science Jan-Christopher Cohrs

ImpressumAachen : RWTH Aachen University 2025

Umfang1 Online-Ressource : Illustrationen

Dissertation, RWTH Aachen University, 2025

Veröffentlicht auf dem Publikationsserver der RWTH Aachen University 2026

Genehmigende Fakultät
Fak01

Hauptberichter/Gutachter
Berkels, Benjamin (Thesis advisor)^RWTH* ; Grasedyck, Lars (Thesis advisor)^RWTH*

Tag der mündlichen Prüfung/Habilitation
2025-12-08

Online
DOI: 10.18154/RWTH-2025-10634
URL: https://publications.rwth-aachen.de/record/1023351/files/1023351.pdf

Einrichtungen

Projekte

GRK 2379 - GRK 2379: Hierarchische und hybride Ansätze für moderne inverse Probleme (333849990) (333849990)

Inhaltliche Beschreibung (Schlagwörter)
Mumford-Shah (MS) (frei) ; Segmentierung (frei) ; hyperspectral imaging (frei) ; hyperspektrale Bildgebung (frei) ; segmentation (frei) ; spectral variability (frei) ; spektrale Variabilität (frei) ; total variation (frei) ; totale Variation (frei) ; unsupervised (frei) ; unüberwacht (frei)

Thematische Einordnung (Klassifikation)
DDC: 510

Kurzfassung
Hyperspektralsensoren liefern Bilder, die durch genaues Auflösen der einfallenden Spektren mit einer hohen Abtastrate reich an Informationen sind. Die Idee ist, dass durch eine Auflösung der Spektren mit einem hinreichend hohen Detailgrad jeder Bestandteil der aufgenommenen Szene oder Probe durch seinen eindeutigen spektralen Fingerabdruck, die sogenannte spektrale Signatur, identifiziert werden kann. Dies erlaubt eine Unterscheidung der beitragenden Bestandteile auf Pixelebene und führt folglich zu qualitativ hochwertigen Bildsegmentierungen. Einige spezielle Charakteristika von Hyperspektralbildern wie starkes Rauschen und die spektrale Variabilität haben allerdings einen negativen Einfluss auf die Qualität der Segmentierung solcher Bilder. Diverse Methoden zur Segmentierung von Hyperspektralbildern wurden vorgeschlagen. Eine Schwachstelle von überwachten Methoden ist, dass der Prozess der Generierung von gekennzeichneten Trainingsdaten teuer und zeitaufwendig ist, was unüberwachte Methoden zu einem wichtigen Werkzeug zur Lösung des Problems der hyperspektralen Segmentierung macht. Auch wenn unterschiedliche Methoden zur unüberwachten hyperspektralen Bildsegmentierung vorgeschlagen wurden, bleibt die genaue Beschreibung der Hyperspektraldaten aufgrund der spektralen Variabilität und des Rauschens eine entscheidende Herausforderung. In dieser Dissertation werden ein neuer Segmentierungsframework sowie drei neue Modelle zur unüberwachten hyperspektralen Bildsegmentierung vorgeschlagen und untersucht. Das Framework umfasst eine Vorverarbeitung zur Rausch- und Dimensionsreduktion durch die Minimum-Noise-Fraction-Transformation, einen alternierenden Optimierungsansatz zur Minimierung des Zielfunktionals und ein Abbruchkriterium. Die drei eingeführten Modelle, $\epsilon$AMS, $\phi$AMS und kMS, basieren auf dem Mumford-Shah-Segmentierungsfunktional. Die Modelle $\epsilon$AMS und $\phi$AMS zielen darauf ab, die Spektren direkt mit Statistiken erster und zweiter Ordnung zu modellieren, während kMS die Spektren in einen höher-dimensionalen Hilbertraum abbildet, um die Daten dort zu beschreiben. Um sicherzustellen, dass $\epsilon$AMS und $\phi$AMS stets durchführbar sind, schlagen wir für jedes der beiden Modelle eine Regularisierung der Kovarianzmatrizen vor. Des Weiteren beweisen wir für beide Modelle die Existenz von Minimierern. Zusätzlich führen wir eine rigorose Untersuchung der Bedeutung des Regularisierungsparameters des Modells $\epsilon$AMS durch: Wir beweisen die $\Gamma$-Konvergenz des zugehörigen Funktionals gegen einen $\Gamma$-Grenzwert und sehen mithilfe eines Gegenbeispiels, dass wir die Garantie eines Minimierers im Grenzwert verlieren. Um das Fehlen geschlossener Lösungsformeln zur Optimierung der modellspezifischen Parameter von $\epsilon$AMS und $\phi$AMS zu lösen, schlagen wir Fixpunktiterationen vor. Außerdem leiten wir eine geschlossene Lösungsformel für die modellspezifischen Parameter von kMS her. Umfangreiche numerische Experimente auf vier öffentlich verfügbaren Datensätzen zeigen das große Potential dieser drei Methoden. Insbesondere $\epsilon$AMS und $\phi$AMS zeigen durchgehend die besten Ergebnisse und liefern Segmentierungen von der höchsten Qualität unter allen verglichenen Methoden, die auch State-of-the-art-Methoden für unüberwachte hyperspektrale Bildsegmentierung enthalten. Eine Evaluierung des Einflusses der Vorverarbeitung durch die Minimum-Noise-Fraction-Transformation auf die Segmentierungsresultate zeigt, dass die Vorverarbeitung einen klaren positiven Effekt hat, der Hauptbeitrag zu den Segmentierungsergebnissen allerdings von den Modellen selbst kommt. Abschließend testen wir $\epsilon$AMS auch auf multispektralen Sentinel-2-Daten, die über der Arktisregion aufgenommen wurden, und finden heraus, dass das Modell fähig ist, aus diesen Bildern komplexe Meereiszustände abzuleiten. Die in dieser Dissertation präsentierten Modelle sind in der Lage, Segmentierungen von hoher Qualität zu produzieren, und haben das große Potential, in der Praxis genutzte Techniken, die hyperspektrale Segmentierungsmethoden anwenden, zu verbessern. Zusätzlich liefert die theoretische Analyse ein solides Verständnis dieser Modelle und bietet Anhaltspunkte für weitere Verbesserungen.

Hyperspectral sensors provide images that are rich in information by accurately resolving the incoming spectra with a high sampling rate. The idea is that, by resolving the spectra with a sufficiently high level of detail, each constituent in the captured scene or specimen can be identified by its unique spectral fingerprint, the so-called spectral signature. This allows for a differentiation of the contributing constituents on a pixel level and, thus, leads to high quality image segmentations. However, some special characteristic properties of hyperspectral images like the strong noise and the spectral variability adversely affect the quality of the segmentations of such images. Several approaches for hyperspectral image segmentation have been proposed. A shortcoming of supervised methods is that the process of generating labeled training data is expensive and time-consuming, making unsupervised methods an important tool to solve the hyperspectral segmentation task. While different methods for unsupervised hyperspectral image segmentation have been introduced, an accurate description of the data despite the spectral variability and noise remains a decisive challenge. In this thesis, we propose and investigate a novel segmentation framework and three new models for unsupervised hyperspectral image segmentation. The framework comprises a preprocessing for noise and dimensionality reduction by the minimum noise fraction transform, an alternating optimization approach to minimize the objective functional and a stopping criterion. The three introduced models, $\epsilon$AMS, $\phi$AMS and kMS, are based on the Mumford-Shah segmentation functional. The models $\epsilon$AMS and $\phi$AMS aim to directly model the spectra with first- and second-order statistics, while kMS maps the spectra into a higher-dimensional Hilbert space to describe the data there. To ensure that $\epsilon$AMS and $\phi$AMS remain always feasible, we propose a regularization of the covariance matrices for each of the models. Furthermore, we prove the existence of minimizers for both models. Additionally, we investigate the importance of the regularization parameter of $\epsilon$AMS rigorously: we prove the $\Gamma$-convergence of the corresponding functional to a $\Gamma$-limit and see that we lose the guarantee of a minimizer in the limit with a counterexample. We solve the problem of the lack of closed-form solutions for the model-specific parameters of $\epsilon$AMS and $\phi$AMS for optimization by introducing fixed point iteration schemes. Furthermore, we derive a closed-form solution for the model-specific parameters of kMS. Extensive numerical experiments on four publicly available datasets show the great potential of all three methods. In particular, $\epsilon$AMS and $\phi$AMS show consistently the best performances and provide segmentations of the highest qualities among all competing methods, which include state-of-the-art methods for unsupervised hyperspectral image segmentation. An evaluation of the effect of the preprocessing by the minimum noise fraction transform on the segmentation results shows that the preprocessing has a clear positive effect but the main contribution comes from the models themselves. Finally, we test $\epsilon$AMS also on multispectral Sentinel-2 data taken over the Arctic region and find out that the model is able to derive complex sea ice states from these images. The models presented in this thesis are able to produce segmentations of high quality and have a great potential to enhance techniques used in practice that apply hyperspectral segmentation methods. Additionally, the theoretical analysis of the models provides a solid understanding of them and yields starting points for further improvements.

OpenAccess:
PDF
(additional files)