Segmentation of color images for interactive 3D object retrieval

Alvarado Moya, José Pablo; Kraiss, Karl-Friedrich

doi:HT014090485

Segmentation of color images for interactive 3D object retrieval

Alvarado Moya, José Pablo (Author)

2004

Verantwortlichkeitsangabevorgelegt von José Pablo Alvarado Moya

ImpressumAachen : Publikationsserver der RWTH Aachen University 2004

UmfangXVI, 188 S. Ill., graph. Darst.

Aachen, Techn. Hochsch., Diss., 2004

Genehmigende Fakultät
Fak06

Hauptberichter/Gutachter
Kraiss, Karl-Friedrich (Thesis advisor)

Tag der mündlichen Prüfung/Habilitation
2004-07-02

Online
URN: urn:nbn:de:hbz:82-opus-8582
URL: https://publications.rwth-aachen.de/record/52525/files/Alvarado_Moya_Jose.pdf

Einrichtungen

Fakultät für Elektrotechnik und Informationstechnik (600000)

Inhaltliche Beschreibung (Schlagwörter)
Objekterkennung (Genormte SW) ; Dreidimensionale Rekonstruktion (Genormte SW) ; Farbbildverarbeitung (Genormte SW) ; Bildsegmentierung (Genormte SW) ; Information Retrieval (Genormte SW) ; Genetischer Algorithmus (Genormte SW) ; Informatik (frei) ; Image Segmentation (frei) ; Pareto Front Evaluation (frei) ; Appearance-based Object Recognition (frei) ; Location Detection (frei) ; Color Zooming (frei) ; Bayesian Belief Networks (frei)

Thematische Einordnung (Klassifikation)
DDC: 004

Kurzfassung
Die visuelle Erkennung dreidimensionaler Objekte ist eine grundlegende Aufgabe in Anwendungen zur inhaltsbasierten Informationssuche anhand von Beispielen. Sie unterstützt den komfortablen und effizienten Zugriff auf Datenbanken mittels visueller Beschreibung der Objekte. Die Entwicklung effektiver und effizienter Objekterkennungssysteme wird wegen der wachsenden Verbreitung von Produkt- und Objektdatenbanken immer wichtiger. Eines der zu lösenden Probleme in der visuellen Erkennung ist die Bildsegmentierung, d. h. das Aufteilen eines Bildes in Bereiche die realen Objekten entsprechen. Diese Aufgabe ist nicht eindeutig, da im Prinzip das Bild eine beliebig große Menge von unterschiedlichen Szenen darstellen kann (das Problem ist „ill-posed”). Aus diesem Grund kann eine Lösung nur dann gefunden werden, wenn zusätzliche, im Bild nicht enthaltene Informationen berücksichtigt werden. Diese Arbeit stellt ein Konzept zur Segmentierung vor, das auf einem allgemeinen Modell zur Verarbeitung visueller Informationen basiert. Dabei wird ein dreistufiger Ansatz verwandt, der Wissen auf jeweils unterschiedlichen Abstraktionsniveaus berücksichtigt. Die Bild-basierte Segmentierung sucht nach homogenen Regionen unter ausschließlicher Berücksichtigung von Bilddaten. Die Oberflächen-basierte Segmentierung nutzt Wissen über die Szenenkonfiguration, um Regionen zu finden, die erwarteten Oberflächen entsprechen. Die Objekt-basierte Segmentierung identifiziert Regionen als Teile bekannter Objekte. Diese Aufgabe wird durch die Interaktion mit unterschiedlichen Erkennungsprozessen ermöglicht, welche die notwendigen Zusatzinformationen über die Objekte liefern. Ein genetischer Algorithmus zur Optimierung mehrerer Zielfunktionen wird eingesetzt, um die ersten zwei Segmentierungsstufen zu evaluieren. Dieses Konzept ermöglicht, einen quantitativen Vergleich optimaler Parametrisierungen mehrerer Segmentierungsalgorithmen durchzuführen, wobei das Optimalitätskriterium durch eine Zusammenstellung von Gütefunktionen gegeben ist, das unterschiedliche Aspekte eines Segmentierungsergebnisses berücksichtigt. Die Erkennungsraten des kompletten Erkennungssystems dienen als indirektes Maß zur Auswertung der Objekt-basierten Segmentierung. Das Gesamtkonzept zur Segmentierung wurde mit Testmengen von bis zu 200 Objekten getestet. In der algorithmischen Umsetzung des Segmentierungskonzeptes sind moderne Methoden zur Bildverarbeitung und Bildanalyse kombiniert und erweitert worden. Unter anderem befasst sich die Arbeit mit Clustering in mehrdimensionalen Merkmalsräumen, Farbkonstrast-basierter Kantendetektion, Watershed-Transformation in Farbbildern, Adjazenzgraphen-basierten „split-and-merge” Methoden, einem auf der Whitening-Transformation basierten Farb-Zooming Ansatz, der Kombination unterschiedlicher Informationsquellen mit Bayes'schen Belief Netzwerken, und der Detektion auffälliger Stellen im Bild basierend auf der Maßstabsraum-Theorie. Das dreistufige Konzept gestattet, die Optimierung der Segmentierung auf verschiedene Aspekten der Algorithmen zu konzentrieren. Dadurch wird die Robustheit erhöht und die Teil- und Endergebnisse verbessert.

Visual recognition of three-dimensional objects is a fundamental task in content-based retrieval applications that follow a query-by-example approach. It helps to provide comfortable and efficient ways to access databases via visual descriptions of objects. As the role of product and object databases steadily increases, the development of effective and efficient recognition systems gains in importance. One of the problems to be solved in visual recognition is the image segmentation, whose goal is to find an image partition composed of regions that have a correspondence to real objects. As a general vision problem, the segmentation task is ill-posed, and can only be solved under consideration of additional information that is not contained in the images. This work presents a segmentation framework based on a general model of visual processing. The task is split into three stages, each dealing with knowledge at different levels of abstraction. The image-based segmentation stage exclusively considers low-level image information to detect homogeneous regions. The surface-based stage incorporates knowledge about the scene composition in order to find segments that correspond to expected surfaces. The object-based stage identifies regions as parts of the objects known to the application. This is achieved through the interaction with different recognition processes that provide the necessary additional information about the objects. A multi-objective optimization algorithm is employed to evaluate the first two segmentation stages. This evaluation concept allows to quantitatively compare optimal parameterizations for each algorithm, where the optimality criterion is given through an aggregate fitness measure that considers several aspects of the segmentation result simultaneously. The object-based segmentation stage can be indirectly evaluated using the recognition rates of the complete retrieval system. The proposed framework is tested with object sets containing up to 200 objects. Modern image processing techniques have been combined and enhanced in the algorithmic specification of the framework. These include feature-space clustering, color edgeness detection based on color contrast techniques, watershed transform for color images, split and merge methods based on adjacency graph image representations, a color zooming approach relying on the whitening transformation, combination of several information sources using Bayesian Belief Networks, and the detection of relevant image locations by means of a scale-space analysis. The optimization process used in the evaluation of the algorithms relies on an evolutionary approach that finds a front of optimal parameterizations for a given reference set. It allows to objectively verify the adequateness of the proposed methods over several state-of-the-art algorithms. Additionally, the three-staged segmentation framework permits to concentrate the optimization of the segmentation into different aspects of the algorithms, which increases the robustness and improves the results.

OpenAccess:
PDF
(additional files)