Use the force: how force touch improves input on handheld touchscreens

Corsten, Christian Leonhard; Borchers, Jan Oliver; Brewster, Stephen

doi:39254

Use the force: how force touch improves input on handheld touchscreens

Corsten, Christian Leonhard^RWTH*

2020

Verantwortlichkeitsangabevorgelegt von Christian Leonhard Maria Corsten, M.Sc.

ImpressumAachen 2020

Umfang1 Online-Ressource (xxvii, 240 Seiten) : Illustrationen, Diagramme

Dissertation, RWTH Aachen University, 2020

Veröffentlicht auf dem Publikationsserver der RWTH Aachen University

Genehmigende Fakultät
Fak01

Hauptberichter/Gutachter
Borchers, Jan Oliver (Thesis advisor)^RWTH* ; Brewster, Stephen (Thesis advisor)

Tag der mündlichen Prüfung/Habilitation
2020-03-10

Online
DOI: 10.18154/RWTH-2020-05126
URL: https://publications.rwth-aachen.de/record/789294/files/789294.pdf

Einrichtungen

Inhaltliche Beschreibung (Schlagwörter)
3D-Touch (frei) ; force input (frei) ; interaction (frei) ; mobile (frei) ; touch (frei) ; touchscreen (frei)

Thematische Einordnung (Klassifikation)
DDC: 004

Kurzfassung
Mobilgeräte mit Touchscreen, z.B. Smartphones, haben sich zu unseren Alltagswerkzeugen entwickelt. Wir kommunizieren, navigieren, oder machen Fotos mit ihnen. Unabhängig vom Nutzen interagieren wir mit dem Mobilgerät durch Berührung des Touchscreens. Diese Berührung mit dem Finger ist jedoch wenig reichhaltig; es wird lediglich die Position der Berührung zur Eingabe genutzt. Eine reichhaltigere Eigenschaft ist die Intensität der Berührung, d.h. mit welchem Druck der Finger auf den Touchscreen trifft. Diese Doktorarbeit erforscht neue Techniken, die aufzeigen, wie die Druckeingabe dem Nutzer eine neugewonnene Ausdrucksstärke zur Verfügung stellt, mit der er effizienter mit Mobilgeräten interagieren kann. Hält man das Gerät beidhändig quer, so können die meisten Finger nicht zur Interaktion genutzt werden, da sie auf der Geräterückseite aufliegen, um das Gerät festzuhalten. Wir stellen die Technik BackXPress vor, die es mittels Druckeingabe erlaubt diese Finger zur Steuerung von Menüs oder Kurzbefehlen zu nutzen, ohne die Grifffestigkeit einzubüßen. Wenn eine einhändige Interaktion gewünscht ist, kann lediglich der Daumen auf der Vorderseite genutzt werden und dabei nicht einmal den gesamten Bereich des Touchscreens ohne Umgreifen des Geräts erreichen. Unsere virtuelle Daumen-Erweiterung ForceRay lässt den Nutzer entfernte Ziele auf dem Touchscreen mittels eines Cursors erreichen, der abhängig vom Daumendruck entlang der Erweiterung wandert. Insbesondere Menüs oder Navigations-Buttons am Rand des Gerätebildschirms sind auf diese Weise schnell und ergonomisch zu erreichen, während das Gerät dabei stabil in der Hand liegt. Druckeingabe hilft ebenfalls, Werte aus langen, geordneten Listen effizient auszuwählen. Mit unserem Force Picker iteriert der Nutzer durch den Wertebereich mit unterschiedlicher Geschwindigkeit, die mittels Daumendruck gesteuert wird. Ein vorheriges Rollen des Daumens legt die Iterationsrichtung fest. Verglichen mit konventioneller Touch-Eingabe spart unser Force Picker Zeit und Bildschirmplatz bei der Selektion der Werte. Auch wenn sich Nutzer anfangs an die Druckeingabe gewöhnen müssen, so konnten wir in unseren Studien zeigen, dass Übung und der Einsatz von algorithmischen Optimierungen die Druckeingabe besser beherrschbar machen und unsere Nutzer so von der gewonnenen Ausdrucksstärke auf Mobilgeräten profitieren.

Handheld devices, such as smartphones, have become essential tools in our everyday life. We use them, e.g., to contact people, browse the web, or take pictures. For whatever use, to interact with the handheld device, we hold it with one or two hands and touch with our fingers on the built-in touchscreen. However, this interaction is often constrained to simple contact between the finger and the flat display glass, although touch offers further, richer properties. One such rich property is the intensity of a touch, i.e., its force, that the user applies with every tap to the touchscreen. Incorporating this property into the user’s interaction with the handheld device enables her to become more expressive with every single touch. In this thesis, we present a series of interaction techniques that take advantage of force touch input to make handheld interaction more efficient: When holding the device with two hands in landscape orientation, most of the fingers are unavailable for interaction, since they rest at the back of the device (BoD), holding it in place. Using BoD force input, we can make efficient use of these fingers without sacrificing stability of the device grip. Our technique, BackXPress, enables quick access to shortcuts and menus to augment users’ touch interaction with the frontal screen. For single-handed device use, users can only use their thumb to interact with the frontal touchscreen but cannot reach everywhere without re-grasping the device. Our virtual thumb extension, ForceRay, lets the user cast a ray at unreachable targets and control a cursor on that ray that moves closer to these targets the more force is applied. The technique is ergonomic for the thumb and enables users to maintain a steady device grip. Targets located at the screen edges, like menus and navigation buttons, are acquired quickly. Selection of values from long ordered lists, such as picking a date or time, can also be sped up when using force input. With our Force Picker, users scroll through the value range at various speeds, with the speed being coupled to the force exerted by the thumb. Prior rolling of the thumb to the left or right sets the scrolling direction. Compared to touch-based pickers, our Force Picker not only makes selection faster, but also only consumes little screen space since the gesture footprint for force input is much smaller. While controlling force via fingers requires practice, we show that with training and algorithmic optimizations, users become quickly familiar with force input and gain the benefits of the added expressiveness for handheld interaction.

OpenAccess:
PDF
(additional files)