Supporting multi-device iteraction in the wild by exposing application state

Diehl, Jonathan; Borchers, Jan Oliver

doi:32683

Supporting multi-device iteraction in the wild by exposing application state = Unterstützung der Interaktion mit mehreren Geräten im Alltag durch die Exposition des Zustands von Anwendungen

Diehl, Jonathan (Author)

2013 & 2014

Verantwortlichkeitsangabevorgelegt von Jonathan Diehl

ImpressumAachen : Publikationsserver der RWTH Aachen University 2013

UmfangXII, 205 S. : Ill., graph. Darst.

Aachen, Techn. Hochsch., Diss., 2013

Prüfungsjahr: 2013. - Publikationsjahr: 2014

Genehmigende Fakultät
Fak01

Hauptberichter/Gutachter
Borchers, Jan Oliver (Thesis advisor)

Tag der mündlichen Prüfung/Habilitation
2013-11-19

Online
URN: urn:nbn:de:hbz:82-opus-48821
URL: https://publications.rwth-aachen.de/record/229054/files/4882.pdf

Einrichtungen

Inhaltliche Beschreibung (Schlagwörter)
Dialogsystem (Genormte SW) ; Mensch-Maschine-Kommunikation (Genormte SW) ; Informatik (frei) ; human-compute interaction (frei) ; distributed systems (frei) ; multi-device interaction (frei)

Thematische Einordnung (Klassifikation)
DDC: 004

Kurzfassung
Wir leben am Rande einer Welt, in der der Computer allgegenwärtig geworden ist. Diese Welt besteht jedoch nicht wie erwartet aus Computern die in alltägliche Objekte integriert werden um sie intelligent zu machen, sondern aus einer Vielzahl an portablen interaktiven Geräten die von Menschen alltäglich mit sich getragen werden. Daher hat sich ein Bedarf an neuen Wegen der Interaktion mit mehreren Geräten im Alltag ergeben, um diese intelligent zu kombinieren und vielseitige Aufgaben zu bewältigen. Das Ziel dieser Dissertation ist es auf die einzigartigen Eigenschaften dieses Mehr-Geräte-Betriebs im Alltag aufmerksam zu machen und auf die Abweichungen der momentanen Anstrengungen von Industrie und Akademia gegenüber diesen Eigenschaften hinzuweisen. Dazu wird der Mehr-Geräte-Betrieb in logische Klassen unterteilt (simultane und sequentielle Nutzung für einen gemeinsamen oder unterschiedliche Aufgaben). Damit Computersysteme dieses neue verhalten effektiv unterstützen können, müssen sie auf die Eigenheiten des Alltags eingehen und opportunistische Änderungen mit robusten Transitionen in ad-hoc Situationen unterstützen. Im zweiten Teil der Dissertation wird erörtert wie Application State als konzeptuelles Modell für den Entwurf und die Bedienung von Systemen für Mehr-Geräte-Betrieb im Alltag dienen kann. Das Konzept führt eine Repräsentation des Zustands einer Anwendung als interaktives Objekt ein, welches ähnlich wie die Datei für Daten zur Organisation und Verteilung von laufenden Anwendungen genutzt werden kann. Die dadurch entstandene Trennung zwischen Aufgaben und der Organisation und Verteilung von Aufgaben, erlaubt eine vielseitige Nutzung von Application State und dadurch auch den Einsatz im Alltag. Der letzte Teil der Dissertation erklärt wie Application State in heutige interaktiven Systeme integriert werden kann. Hierzu wurde eine Schnittstelle definiert, welche die Erzeugung von Application State von der Organisation trennt: Anwendungen implementieren die notwendige Funktionalität um ihren momentanen Zustand in einen persistenten Behälter zu speichern oder aus einem solchen zu laden; externe Anwendungen nutzen dann die Schnittstelle um diese Behälter auszulesen und zwischen verschiedenen Geräten zu verteilen. Diese Schnittstelle wird im Rahmen der State Exchange Architektur genauer beschrieben. Im Anschluss werden verschiedene Ansätze vorgestellt um die vorgestellte Architektur in existierende Systeme zu integrieren, bis hin zur vollständig anwendungsunabhängigen Implementierung. Eine solche Automatisierung führt jedoch zu einer Zustandsrepräsentation die nur noch wenig semantische Bedeutung in sich hat, was Nachteile bei dem Transfer von Application State zwischen unterschiedlichen Anwendungen und Geräten mit sich bringt.

We are at the verge of living in a world where computing has become ubiquitous. However, ubiquitous computing has not developed as expected, where computing devices are embedded in the things that surround us making them smart. Instead, computing capabilities are accessed ubiquitously through a manifold of small interactive devices that people carry with them at all times and use and combine opportunistically. In consequence, the need to interact with multiple devices arises in unexpected ways, or as called in this thesis "in the wild". The main goal of this thesis is to raise awareness of the unique properties of multi-device interaction in the wild and the misalignment between these properties and current efforts in academia and industry. To this end, the thesis classifies possible types of multi-device interaction as simultaneous or sequential use towards a common or distinct tasks. To support these types of interaction in the wild, systems must enable the opportunistic rearrangement of devices where transitions are robust and can be performed in ad-hoc situations. The second part of the thesis explores how application state can serve as a conceptual model for users and designers to enable multi-device interaction in the wild. The concept supplies users with a first-class interactive object representing the state of applications, similar to how the file represents the state of information, which can be manipulated with tools that are separated from the task. It is this separation that allows application state to be used in unexpected situations, making it a good fit for multi-device interaction in the wild. The final part of the thesis elaborates on how the concept of application state can be integrated into current interactive systems. A simple programming interface was developed that separates state extraction from state sharing: The task applications provide the functionality needed to extract and restore their state into a standardized container, which is then managed and shared through designated state management tools. After describing the state exchange system architecture, the thesis explores how to support legacy applications in implementing state extraction and restoration up to complete automation. There is, however, a trade-off between automating state extraction and providing a semantically meaningful state that can be shared between different applications of the same type to transition tasks between device classes.

Fulltext:
PDF