guest ::
Using facial tracking for expressive mobile device interactions
2024
Dissertation, RWTH Aachen University, 2024
Veröffentlicht auf dem Publikationsserver der RWTH Aachen University
Genehmigende Fakultät
Fak01
Hauptberichter/Gutachter
;
Tag der mündlichen Prüfung/Habilitation
2024-10-30
Online
DOI: 10.18154/RWTH-2024-10352
URL: https://publications.rwth-aachen.de/record/996056/files/996056.pdf
Einrichtungen
- Lehrstuhl für Medieninformatik und Mensch-Computer-Interaktion (Informatik 10) (122710)
- Fachgruppe Informatik (120000)
Inhaltliche Beschreibung (Schlagwörter)
HCI (frei) ; attentive notifications (frei) ; eye tracking (frei) ; facial tracking (frei) ; interaction techniques (frei) ; mobile devices (frei) ; user-aware rendering (frei)
Thematische Einordnung (Klassifikation)
DDC: 004
Kurzfassung
Seit über 40 Jahren fokussieren sich Benutzeroberflächen auf Zeigereingaben, bspw. mit Maus oder Touchscreen. Aus Sicht des Computers reduzieren Zeigegeräte folglich den Menschen zu einem Bildschirmpixel. Während die zwischenmenschliche Kommunikation auf die Interpretation von Augenkontakt und Gestik aufbaut, ignorieren Zeigegeräte billigend den sie bedienenden Menschen. Die Grenzen der Zeigereingabe werden bei der einhändigen Verwendung von Mobilgeräten besonders offensichtlich, da Nutzer ihren Daumen nicht frei über den ganzen Bildschirm bewegen können. In dieser Arbeit stellen wir Interaktionstechniken vor, die durch ihre explizite oder auch implizite Verwendung von Gesichtstracking dem Nutzer mehr Ausdrucksstärke verleihen und somit Effizienz und Ergonomie verbessern. Drei dieser Interaktionstechniken bedienen sich dem Eye-Tracking. Unsere Attentive Notifications verringern Verdeckungsprobleme und versehentliche Aktivierungen von Mitteilungsbannern auf mobilen Betriebssystemen. Diese neue Art von Mitteilungen erscheint am jeweiligen Bildschirmrand der am weitesten von dem Punkt entfernt ist, auf den der Nutzer zum Zeitpunkt der Benachrichtigung schaut. Wir zeigen außerdem wie Eye-Tracking die Wahrnehmung von Inhalten in Augmented Reality verbessern kann. Unser User-Aware Rendering hilft Nutzern bei der Tiefenwahrnehmung des virtuellen Inhalts und Übersichtlichkeit bei der Exploration eben jenes. Weil Blicke eines Nutzers alles in der Umgebung erreichen können, eignet sich die Blickerfassung auch zur Stärkung der Zusammenarbeit in ad-hoc Mehrgeräteumgebungen. Beispielsweise können Nutzer in unserem Konzept GazeConduits durch ihren Blick Meetingteilnehmer oder anderen Geräte spezifizieren, mit denen sie interagieren möchten. Schwächen von Eye-Tracking sind Genauigkeitsprobleme bei sich bewegenden Nutzern und das Midas-Touch-Problem. Zwei unserer Interaktionstechniken überwinden diese Schwächen durch die Verwendung von Head-Tracking. Mit unserer Head + Touch Zeigersteuerung erweitern wir die Reichweite des Daumens bei einhändiger Smartphone-Nutzung mit einem Overhead von unter 100ms. Mit unserer Headbang-Technik erfolgen auch Menüauswahlen schneller als mit Touch.For four decades, user interfaces have been mainly designed for pointing input, either with a mouse or a touchscreen. Pointing input abstracts from the human to a location on the screen. Especially visual cues that make human-to-human communication effective – like eye contact or head nodding – are ignored in this abstraction. Mobile devices, in particular, suffer from the limits of pointing input, as users cannot comfortably reach everything on the screen when using the device one-handedly. We present implicit and explicit usages of facial tracking to make mobile interactions more expressive and ergonomic. We show the advantages of eye tracking using three interaction techniques. First, our Attentive Notifications remove occlusion issues and accidental activations in mobile interfaces. They determine a suitable screen edge for displaying notifications by blocking the area around the user’s gaze at the moment of notification delivery. Second, we show that eye tracking can enhance the perception of content in augmented reality with our User-Aware Rendering. This technique provides enhanced depth perception with good performance in scene exploration. Third, interfaces can exploit that gaze input can reach anything nearby. Our GazeConduits concept fosters collaboration in ad-hoc multi-device environments. This enables users to interact with devices or meeting collaborators by looking at them. However, eye tracking often comes with accuracy issues, especially when people are moving, and suffers from the Midas touch problem. To overcome these challenges, two of our interaction techniques use head tracking instead. We present a Head + Touch controlled cursor that increases the thumb’s reach during one-handed smartphone use. This significantly reduces the overhead of touch-based reachability techniques to under 100 ms. With our Headbang technique, menu selections are also faster than with touch input.
OpenAccess: 
PDF
(additional files)
Dokumenttyp
Dissertation / PhD Thesis
Format
online
Sprache
English
Externe Identnummern
HBZ: HT030903404
Interne Identnummern
RWTH-2024-10352
Datensatz-ID: 996056
Beteiligte Länder
Germany
|
The record appears in these collections: |