Mobile augmented reality for semantic 3D models : a smartphone-based approach with CityGML

Blut, Christoph Henning; Blankenbach, Jörg; van Treeck, Christoph Alban

doi:10.18154/RWTH-2019-06237

Mobile augmented reality for semantic 3D models : a smartphone-based approach with CityGML = Mobile erweiterte Realität für semantische 3D-Modelle - Ein Smartphone-basierter Ansatz mit CityGML

Blut, Christoph Henning^RWTH*

2019

VerantwortlichkeitsangabeChristoph Henning Blut

ImpressumAachen 2019

Umfang1 Online-Ressource (XXVI, 270 Seiten) : Illustrationen, Diagramme

ReiheVeröffentlichung des Geodätischen Instituts der Rheinisch-Westfälischen Technischen Hochschule Aachen ; 70

Dissertation, Rheinisch-Westfälische Technische Hochschule Aachen, 2019

Veröffentlicht auf dem Publikationsserver der RWTH Aachen University

Genehmigende Fakultät
Fak03

Hauptberichter/Gutachter
Blankenbach, Jörg (Thesis advisor)^RWTH* ; van Treeck, Christoph Alban (Thesis advisor)^RWTH*

Tag der mündlichen Prüfung/Habilitation
2019-05-24

Online
DOI: 10.18154/RWTH-2019-06237
URL: http://publications.rwth-aachen.de/record/763311/files/763311.pdf

Einrichtungen

Lehrstuhl für Bauinformatik und Geoinformationssysteme und Geodätisches Institut (316210)

Inhaltliche Beschreibung (Schlagwörter)
CityGML (frei) ; android (frei) ; augmented reality (frei) ; computer vision (frei) ; pose tracking (frei) ; real-time rendering (frei) ; smartphone (frei)

Thematische Einordnung (Klassifikation)
DDC: 624

Kurzfassung
Die zunehmende Popularität von Smartphones über die vergangenen 10 Jahre hat die mobile Technologie entscheidend vorangetrieben und ermöglicht innovative Anwendungen und Erfahrungen, wie zum Beispiel in Form von mobiler Virtual Reality (VR) und mobiler Augmented Reality (AR). Wurden zuvor für mobile AR-Systeme noch eine Vielzahl von großen und teuren externen Komponenten benötigt, die in sperrigen und schweren Rucksäcken transportiert wurden, reichen heute preiswerte, handelsübliche mobile Geräte, wie Smartphones, aus, da diese bereits alle erforderlichen Technologien beinhalten. Die Realisierung hochgenauer und performanter Systeme auf Basis solcher Geräte stellt jedoch eine Herausforderung dar, da die kostengünstigen Komponenten (z.B. Sensoren) oft zu Ungenauigkeiten neigen. Vorrangig werden mobile AR-Systeme für den Entertainment-bereich entwickelt, mobile AR hat jedoch auch ein vielversprechendes Potential in anderen Bereichen, wie beispielsweise der Archäologie, Bildung, Medizin oder dem Militär. Auch im Bauwesen und in der Stadtplanung ist mobile AR äußerst vielversprechend, da es zur Optimierung einiger typischer Arbeitsabläufe und Planungsprozesse verwendet werden könnte. Ein Beispiel für eine reale Anwendung ist die Visualisierung von geplanten Bauwerksteilen, um Planungs-prozesse zu vereinfachen und die Kommunikation zwischen den beteiligten Entscheidungsträgern zu optimieren. In dieser Arbeit wird ein Konzept für ein AR-System vorgestellt, implementiert und evaluiert, das auf die genannten Szenarien abzielt. Dazu sind einerseits ein geeignetes mobiles AR-System und andererseits entsprechende Daten notwendig. Problematisch sind die benötigten, jedoch häufig fehlenden räumlichen Bezüge der digitalen 3D-Gebäudedaten und fehlende wesentliche attributive Daten, wie Semantik oder Topologie. Einige Ausnahmen finden sich im Bau- und Geoinformationssektor mit dem IFC- und CityGML-Format. Während der Fokus von IFC in erster Linie auf einzelnen, hochdetaillierten Gebäudemodellen liegt, legt CityGML den Schwerpunkt auf allgemeinere, weniger detaillierte Modelle in einem breiteren Kontext und ermöglicht so Visualisierungen im Stadt- und Raummaßstab. Ein Demonstrator wurde auf einem Android-basierten Smartphone und mit entsprechenden CityGML-Modellen realisiert. Dieser ist vollständig autark und funktioniert ohne externe Infrastrukturen. Zur Verarbeitung der CityGML-Daten wurde eine mobile Daten-verarbeitungskomponente implementiert, die aus einer SpatiaLite-Datenbank, einem Datenimporter und einer Datenselektionsmethode besteht. Der Importer basiert auf einem XML Pull-Parser, der CityGML 1.0- und CityGML 2.0-Daten liest und in die SpatiaLite-basierte CityGML-Datenbank schreibt, die nach dem CityGML-Schema modelliert ist. Der Selektionsalgorithmus ermöglicht ein effizientes Filtern der Daten abhängig von der aktuellen Position des Nutzers, sodass nur relevante Daten aus der Datenbank exportiert werden. Für die Visualisierung der Daten und Bereitstellung der Objektinformationen wurde eine spezialisierte Rendering-Lösung implementiert, die es ermöglicht die Objektinformationen zu erhalten, aber gleichzeitig die Rendering-Leistung zu maximieren. Zur Vorbereitung der Geometriedaten für das Rendering wurde ein angepasster Polygontriangulationsalgorithmus, basierend auf der Ear-Clipping Methode, implementiert. Um die physischen Objekte mit diesen virtuellen Elementen zu überlagern, wurde ein Lagebestimmungssystem, unter Verwendung einer Kombination von bildbasierten und inertialen Messverfahren, implementiert. Die inertiale Messeinheit (IMU) wird verwendet, um erste grobe Posen zu ermitteln, die nachfolgend durch die CityGML-Modell-basierten optischen Verfahren optimiert werden. Dafür wurden ein 2D-bildbasierter Türdetektor und ein 3D-Eckenextraktions-verfahren implementiert, um die Ecken der entsprechenden Tür präzise zurückzugeben und für die Lageschätzung zu verwenden.Schließlich wurde das mobile CityGML-AR-System in Bezug auf die Datenverarbeitungs- und Datenvisualisierungsleistung und die Genauigkeit/Stabilität des Lagebestimmungssystems evaluiert. Die Ergebnisse zeigen, dass kostengünstige Standard-Mobilgeräte wie Smartphones ausreichen, um ein vollwertiges, autarkes, standort-basiertes mobiles AR-System zu realisieren, das für zahlreiche AR-Szenarien, wie das zuvor beschriebene, geeignet ist.

The increasing popularity of smartphones over the past 10 years has drastically propelled mobile technology forward, enabling innovative applications and experiences, as for example in form of mobile virtual reality (VR) and mobile augmented reality (AR). While in earlier days mobile AR systems were constructed using multiple large and costly external components carried in bulky and heavy backpacks, today low-cost off-the-shelf mobile devices, such as smartphones, are sufficient, since these provide all the necessary technology right out-of-the-box. However, the realization of highly accurate and performant systems on such devices poses a challenge, since the inexpensive parts (e.g. sensors) are often prone to inaccuracies. Many AR systems are developed for entertainment purposes, but mobile AR potentially also has further beneficial applications in more serious fields, such as archaeology, education, medicine, military, etc. For civil engineering and city planning, mobile AR is also promising, as it could be used to enhance some typical workflows and planning processes. A real-life example application is the visualization of planed building parts, to simplify planning processes and to optimize the communication between the participating decision makers. In this thesis, a concept for a mobile AR system aimed at the mentioned scenarios is presented, implemented and evaluated. For this, on the one side a suitable mobile AR system and on the other some appropriate data are necessary. A problem is that much digital 3D building data typically lacks the required spatial referencing and important additional information, like semantics or topology. Some exceptions can be found in the construction sector and in the geographic information domain with the IFC and CityGML format. While the focus of IFC primarily lies on particular highly detailed building models, CityGML emphasizes more general, less detailed models in a broader context, thus, enabling city and room scale visualizations. A proof-of-concept system was realized on an Android-based smartphone using CityGML models. It is fully self-sufficient and operates without external infrastructures. To process the CityGML data, a mobile data processing unit consisting of a SpatiaLite database, a data importer and a data selection method, was implemented. The importer is based on a XML Pull parser which reads CityGML 1.0 and CityGML 2.0 data and writes it into the SpatiaLite-based CityGML database that is modelled according to the CityGML schema. The selection algorithm enables efficiently filtering the data that is relevant to the user at his current location from the entirety of data in the database. To visualize the data and make the information of each object accessible, a customized rendering solution was implemented that aims at preserving the object information while maximizing the rendering performance. For preparing the geometry data for rendering, a customized polygon triangulation algorithm was implemented, based on the ear-clipping method. To superimpose the physical objects with these virtual elements, a fine-grained (indoor) pose tracking system was implemented, using a combination of image- and inertial measurement unit (IMU)-based methods. The IMU is utilized to determine initial coarse pose estimates which then are optimized by the CityGML model-based optical pose estimation methods. For this, a 2D image-based door detector and a 3D corner extraction method that return accurate corners of the door were implemented. These corners are then used for the pose estimations. Lastly, the mobile CityGML AR system was evaluated in terms of data processing/visualization performance and accuracy/stability of the pose tracking solution. The results show that off-the-shelf low-cost mobile devices, such as smartphones, are sufficient to realize a fully-fledged self-sufficient location-based mobile AR system that qualifies for numerous AR scenarios, like the earlier described one.

OpenAccess:
PDF
(additional files)