Optimized feature space learning and binary hashing for image retrieval

Jose, Abin; Ohm, Jens-Rainer; Stegmaier, Johannes

doi:41103

Optimized feature space learning and binary hashing for image retrieval

Jose, Abin^RWTH*

2021 & 2022

Verantwortlichkeitsangabevorgelegt von Abin Jose, M.Sc.

ImpressumAachen : RWTH Aachen University 2021

Umfang1 Online-Ressource : Illustrationen

Dissertation, Rheinisch-Westfälische Technische Hochschule Aachen, 2021

Veröffentlicht auf dem Publikationsserver der RWTH Aachen University 2022

Genehmigende Fakultät
Fak06

Hauptberichter/Gutachter
Ohm, Jens-Rainer (Thesis advisor)^RWTH* ; Stegmaier, Johannes (Thesis advisor)^RWTH*

Tag der mündlichen Prüfung/Habilitation
2021-11-24

Online
DOI: 10.18154/RWTH-2022-01898
URL: https://publications.rwth-aachen.de/record/841668/files/841668.pdf

Einrichtungen

Lehrstuhl und Institut für Nachrichtentechnik (613210)

Inhaltliche Beschreibung (Schlagwörter)
binary hashing (frei) ; canonical correlation analysis (frei) ; feature space (frei) ; hamming distance (frei) ; image retrieval (frei) ; linear discriminant analysis (frei)

Thematische Einordnung (Klassifikation)
DDC: 621.3

Kurzfassung
Bilder vermitteln uns oft einen visuellen Eindruck einer Szene oder erfassen die in einer Szene vorhandenen Objekte und vermitteln Informationen, die Worte im Allgemeinen nicht ausdrücken können. Wenn wir zum Beispiel berühmte Gemälde wie Van Goghs „Die Sternennacht“ oder die schöne Regenszene in einem Tal sehen, es ist immer einfacher, den Inhalt eines Bildes zu sehen und wahrzunehmen, als ihn mit Worten zu beschrieben. Im Zeitalter von Digitalkameras und Smartphones ist es einfach, Bilder aufzunehmen und zu teilen. Dies hat zu einem enormen Anstieg der Anzahl von Bildern geführt, die verwaltet und effizient abgerufen werden müssen. Es wird beispielsweise geschätzt, dass täglich mehr als 100 Millionen Bilder auf die Social-Media-Plattform Instagram hochgeladen werden. Daraus hat sich ein großes Forschungsfeld im Bereich Computer Vision entwickelt, das Content-based Image Retrieval (CBIR). Ähnlich wie bei CBIR müssen Bilder, die einem Abfragebild entsprechen, aus Datenbanken abgerufen werden, die Millionen von Bildern enthalten können. Lokale Merkmalsdeskriptoren werden üblicherweise verwendet, um den Inhalt der Bilder darzustellen. Das Hauptproblem besteht darin, dass diese eine große Anzahl von Werten und Deskriptoren erfordern. Sowohl die Extraktion als auch die Suche werden rechnerisch komplex und speicherintensiv. Es wurden zahlreiche Ansätze zur Lösung dieses Problems entwickelt, z. B. kompakte Merkmalsvektoren basierend auf Scale Invariant Feature Transform (SIFT). In jüngster Zeit hat sich gezeigt, dass Convolutional Neural Networks (CNNs) die konventionellen Ansätze nicht nur bei der Klassifizierung, sondern auch im Bereich des CBIR übertreffen können. Die Arbeit konzentriert sich hauptsächlich darauf, wie der von den neuronalen Netzen erzeugte Merkmalsraum so optimiert werden kann, dass semantisch ähnliche Bilder näher beieinander und unähnliche Bilder weiter auseinanderliegen. Dies wird durch den Einsatz eines Siamese Neural Network (SNN) erreicht. Die Ausgabe der Merkmalsvektoren der beiden Zweige, die den entsprechenden Antwortbildern entspreche, wird als Eingabe eingespeist. Darüber hinaus werden die Merkmalsvektoren in einen kompakten binären Zahlencode umgewandelt, so dass der Abfrage schneller wird, indem Hamming-Distanzen anstelle von euklidischen Distanzen verwendet werden, um die generierten Abfrageergebnisse einzuordnen. Ein Binärisierungsschema mit einem End-to-End-Hashing-Ansatz mit Hash-Zentren, die während des Trainings dynamisch aktualisiert werden, ist ein weiterer wichtiger Beitrag dieser Arbeit.

Images often give us a visual impression of a scene or capture the objects present in a sceneand convey information that words generally cannot express. For example if weSee famous paintings like Van Gogh's The Starry Night or the beautiful Rain Scene in a Valley,it is always easier to see and perceive the content of an image than to describe it in words.In the age of digital cameras and smartphones, it's easy to take and share pictures. This has resulted in a huge increase in the number of images that need to be managed and managed efficientlyretrieved. For example, it is estimated that more than 100 million images are uploaded to theSocial media platform Instagram, daily. Thus, a large research field in the field of computersVision has evolved which is Content-based Image Retrieval (CBIR). Similar in CBIRImages corresponding to a query image must be retrieved from databases that may be includedmillion pictures. Local feature descriptors are commonly used to represent the content ofthe pictures. The main problem is that these require a large number of values and descriptors. Both extraction and retrieval search become computationally complex and memory intensive. Numerous approaches to overcome this problem have been developed, e.g. b.Compact feature vectors based on Scale Invariant Feature Transform (SIFT). MoreRecently, convolutional neural networks (CNNs) have been shown to outperformthe conventional approaches not only for classification, but also in the area of CBIR. The work mainly focuses on how the feature space generated by the neural networks can beoptimized so that semantically similar images are closer together and dissimilar imagesare further apart. This is achieved through the use of a Siamese Neural Network (SNN). The output of the feature vectors of the two branches corresponding to the correspondingResponse images fed in as input. Furthermore, the feature vectors are converted into a compact binary numberCodes so that retrieval is faster by using Hamming distances instead of Euclidean distances to rank the generated retrieval results. A binarization scheme with aEnd-to-end hashing approach with hash centers dynamically updated during training is aanother important contribution of this work.

OpenAccess:
PDF
(additional files)