Interactive data annotation for virtual reality applications

Pick, Sebastian; Preim, Bernhard; Kuhlen, Torsten

doi:10.18154/RWTH-2019-11071

Interactive data annotation for virtual reality applications = Interaktive Datenannotation für Anwendungen der Virtuellen Realität

Pick, Sebastian^RWTH*

2019 & 2020

Verantwortlichkeitsangabevorgelegt von Dipl.-Inform. Sebastian Pick

ImpressumAachen 2019

Umfang1 Online-Ressource (ii, 178 Seiten) : Illustrationen, Diagramme

Dissertation, Rheinisch-Westfälische Technische Hochschule Aachen, 2019

Veröffentlicht auf dem Publikationsserver der RWTH Aachen University 2020

Genehmigende Fakultät
Fak01

Hauptberichter/Gutachter
Kuhlen, Torsten (Thesis advisor)^RWTH* ; Preim, Bernhard (Thesis advisor)

Tag der mündlichen Prüfung/Habilitation
2019-07-15

Online
DOI: 10.18154/RWTH-2019-11071
URL: https://publications.rwth-aachen.de/record/773368/files/773368.pdf

Einrichtungen

Inhaltliche Beschreibung (Schlagwörter)
VR (frei) ; data annotation (frei) ; virtual reality (frei)

Thematische Einordnung (Klassifikation)
DDC: 004

Kurzfassung
Virtuelle Realität (VR) bietet die einzigartige Möglichkeit Datensätze auf eine höchst immersive und interaktive Art zu explorieren. Ein Kernaspekt des Explorationsprozesses ist der Erwerb von Einblicken und Erkenntnissen bzgl. der involvierten Daten. Hierbei ist es die Aufgabe sogenannter Annotationssysteme es seinen Nutzern zu ermöglichen diese Erkenntnisse festzuhalten und zu einem späteren Zeitpunkt wieder abzurufen. Obwohl VR-basierte Annotationssysteme über viele Jahre hinweg ein Gegenstand der Forschung waren, bleiben wichtige Probleme ungelöst. Viele Interaktionslösungen fokussieren sich auf isolierte Probleme bei nur begrenzter Anwendbarkeit. Auch werden Designs ganzheitlicher Arbeitsabläufe, welche essenziell für eine einheitliche Bereitstellung aller relevanter Operationen sind, nicht behandelt. Parallel dazu sind verfügbare Präsentationsansätze für den Einsatz in immersiven virtuellen Umgebungen (IVU) gar nicht oder nur partiell geeignet. Letztendlich wird das Design von Annotationssystemen zumeist dadurch verkompliziert, dass sie im Kontext von Anwendungsszenarien, welche unterschiedliche oder veränderliche Anforderungen aufweisen, zum Einsatz kommen sollen. In dieser Arbeit ist es mein Ziel die genannten Probleme zu adressieren. Dazu stelle ich ein Annotations-Framework vor, welches explizit dafür entworfen wurde, entsprechend der wechselnden Anforderungen unterschiedlicher Anwendungsszenarien konfigurier- und erweiterbar zu sein. Es basiert auf einem speziellen Datenmodell, welches nicht nur die Integration der von Annotationen benötigten Datentypen ermöglicht, sondern auch die Integration von Techniken um diese aufzeichnen und darstellen zu können. Ich verwende dieses Datenmodell, um eine flexible Lösung für das Design ganzheitlicher Interaktionsabläufe zu entwickeln. Sie deckt alle wichtigen Operationen zur Erstellung, Modifikation und Begutachtung beliebiger Annotationstypen innerhalb einer IVU ab. Um einsatzbereite Interaktionstechniken zur Aufzeichnung von Annotationsinhalten bereitstellen zu können, identifiziere ich die wichtigsten Datentypen und entwerfe darauf aufbauend geeignete Interaktionskonzepte. Zudem führe ich eine zweistufige Präsentationsstrategie für den Zugriff auf und die Anzeige von beliebigen Annotationsinhalten ein. Während die erste Stufe den Zugang zu einer Auswahl an Inhalten über eine frei wählbare Darstellungsform ermöglicht, erlaubt die zweite Stufe den Zugriff auf alle Annotationsinhalte auf einheitliche Art und Weise. Darüber hinaus stelle ich einen neuartigen Layout-Ansatz für Annotationen vor, welcher Verdeckungen durch oder von Annotationen verhindert, um den visuellen Zugriff auf diese wie auch auf die eigentlichen Daten sicherzustellen. Um die Praktikabilität meiner Lösungen zu untersuchen, behandle ich eine Reihe technischer Analysen und Nutzerstudien. Diese werden durch die Besprechung konkreter Anwendungsbeispiele abgerundet, welche unterschiedliche Teilmengen von Techniken verwenden und dadurch die Nützlichkeit und Flexibilität meines Frameworks veranschaulichen.

Virtual Reality (VR) offers the unique possibility to explore data sets in a highly immersive and interactive fashion. A key aspect of this exploration process is the acquisition of insights and findings concerning the involved data. In this context, it becomes the task of so-called annotation systems to enable users to preserve said findings and review them at a later time. Even though the design of VR-based annotation systems has been a research topic for many years, crucial challenges remain unresolved. Many interaction solutions focus on isolated issues and are rather limited in scope. Additionally, they usually forgo holistic workflow designs that are vital for covering all relevant annotation operations in a consistent fashion. Similarly, available annotation presentation techniques are usually inappropriate for use within immersive virtual environments (IVEs) or they perform sub-optimally. Lastly, the design of annotation systems is usually further complicated if they are to be reused in context of other usage scenarios that impose a different and varying set of requirements on them. In this thesis, I set out to address the aforementioned issues. To this end, I present an annotation framework that was specifically designed to be configurable and extensible in accordance to the changing requirements of different application scenarios. It is grounded in a specialized data model that facilitates the integration not only of required data types, which are used to describe annotations, but also techniques to capture and present them. I employ this model to develop a flexible solution to the design of holistic interaction workflows. My design approach covers all essential operations, including the creation, modification, and review of arbitrary types of annotations from within IVEs. To provide a set of ready-to-use interaction techniques to acquire annotation contents, I identify the most relevant data types and devise appropriate interaction concepts. Similarly, I present a generalized two-tier presentation strategy that facilitates the access to and review of arbitrary annotation contents. While the tier one representation provides basic access to a selection of contents in a customizable form, the tier two representation allows for access to all contents in a generalized manner. I furthermore introduce a novel automated annotation layout approach that prevents occlusions of and by annotations to maintain visual access to them and the original data. In order to determine the viability of my approaches, I cover a series of technical analyses and user studies. They are rounded off by a presentation of concrete application examples that utilize varying subsets of techniques to demonstrate the usefulness and flexibility of my framework.

OpenAccess:
PDF
(additional files)