guest ::
Localized control over the latent space of neural networks
2023 & 2024
Dissertation, RWTH Aachen University, 2023
Veröffentlicht auf dem Publikationsserver der RWTH Aachen University 2024
Genehmigende Fakultät
Fak01
Hauptberichter/Gutachter
;
Tag der mündlichen Prüfung/Habilitation
2023-12-22
Online
DOI: 10.18154/RWTH-2024-02081
URL: https://publications.rwth-aachen.de/record/980084/files/980084.pdf
Einrichtungen
- Lehrstuhl für Computergraphik, Geometrie und Multimedia (Informatik 8) (122310)
- Fachgruppe Informatik (120000)
Projekte
Inhaltliche Beschreibung (Schlagwörter)
computer graphics (frei) ; deep learning (frei)
Thematische Einordnung (Klassifikation)
DDC: 004
Kurzfassung
Neuronale Netze (NNs) sind heute weit verbreitet, wenn es darum geht, Daten in allen möglichen Modalitäten (Text, Bilder, 3D-Objekte etc.) zu analysieren (klassifizieren, segmentieren, Objekt Erkennung etc.) oder zu generieren. Sie sind in diesen Bereichen so nützlich, weil sie eine große Ausdrucksstärke haben, gleichzeitig aber leicht zu optimieren sind und auf unbekannte Daten gut generalisieren. Allerdings sind sie aufgrund ihrer Komplexität schwer zu interpretieren und zu modifizieren. Neuronale Netze werden in der Regel verwendet, um eine Abbildung zwischen dem Datenraum und einem sogenannten latenten Raum zu berechnen. Oft sind wir an den lokalen Eigenschaften solch einer Abbildung interessiert. Z.B. würden wir gerne in der Lage sein die Einbettung eines Datenpunkts geringfügig zu ändern, um eine andere Klassifizierung zu erreichen. Derartige lokale Modifikationen sind jedoch schwierig, da NNs in der Regel nur globale Änderungen erlauben. In dieser Arbeit führen wir Methoden ein um dieses Problem zu umgehen. Insbesondere ist lokaler Einfluss bei der Darstellung von 3D Objekten von Bedeutung. Es hat sich gezeigt, dass NNs gut geeignet sind, diese zum Beispiel als parametrische oder implizite Funktionen darzustellen. Wenn allerdings eine globale Funktion verwendet wird, ist es schwierig lokalen Einfluss zu nehmen. Stattdessen verleihen wir dem latenten Raum von funktionalen Repräsentationen zusätzliche Struktur, was die Darstellung einfacher zu handhaben und ausdrucksstärker macht. Wir zeigen, dass eine solche strukturierte Darstellung hilfreich für viele nachgelagerte Aufgaben ist, da wir hinsichtlich der darstellbaren Objekte vielseitiger sind, die reguläre Struktur für das Design unserer Netzwerke nutzen können und sie eine komprimierte Kodierung ermöglicht, die den Speicherverbrauch reduzieren kann. Unser Fokus liegt allgemein auf der Generierung von Objekten, aber wir werden auch spezifischere Anwendungen wie Objektvervollständigung sowie das Erhöhen der Voxelauflösung vorstellen. Hier gehören die Ergebnisse, die mit unseren Ansätzen erzielt werden, zum Stand der Technik, sowohl was bisherige verwendete Qualitätsmetriken angeht als auch bei einer von uns, speziell für diesen Zweck, eingeführten Metrik.Neural networks (NNs) are prevalent today when it comes to analyzing (classifying, segmenting, detecting, etc.) or generating data in all kinds of modalities (text, images, 3D shapes, etc.). They are so useful in these areas, because they have great representation power, while being easy to optimize and generalizing well to unseen data. However, their complexity makes them hard to interpret and modify. Neural networks are usually used to compute a mapping between the data space and a so-called latent space. Often we are interested in local properties of such a mapping. For example, we might want to slightly change the embedding of a data point to achieve a different classification. Such local modifications however are difficult, as NNs usually have globally entangled properties. In this work we willpropose ideas how to deal with this problem. Local control is especially of importance for shape representations. It has been shown that NNs are well suited to represent these e.g. as parametric or implicit functions. However, when a global function is used, local supervision is hard to model. We therefore impose additional structure on the latent space of functional representations, making them easier to work with and more expressive. Such a structured representation makes downstream tasks easier, as we are more versatile regarding the shapes we can represent, we can make use of its regularity for the network design, and it allows a compressed encoding that can help to reduce memory consumption. Our focus will be on general shape generation, but we will also present more specific applications like shape completion or super-resolution among others. Our approaches set the state-of-the-art among generative models both in previously used metrics and a newly introduced measure we adapt for this purpose.
OpenAccess: 
PDF
(additional files)
Dokumenttyp
Dissertation / PhD Thesis
Format
online
Sprache
English
Externe Identnummern
HBZ: HT030716069
Interne Identnummern
RWTH-2024-02081
Datensatz-ID: 980084
Beteiligte Länder
Germany
