About multimodal information processing and the relation of proximal and distal action effects

Ladwig, Stefan; Müsseler, Jochen; Sutter, Christine

doi:34344

About multimodal information processing and the relation of proximal and distal action effects = Über multimodale Informationsverarbeitung und die Relation zwischen proximalen und distalen Handlungseffekten

Ladwig, Stefan

2014 & 2015

Verantwortlichkeitsangabevorgelegt von Stefan Ladwig

ImpressumAachen : Publikationsserver der RWTH Aachen University 2014

UmfangVII, 50 Bl. : graph. Darst.

Aachen, Techn. Hochsch., Diss., 2014

Prüfungsjahr: 2014. - Publikationsjahr: 2015

Genehmigende Fakultät
Fak07

Hauptberichter/Gutachter
Sutter, Christine (Thesis advisor) ; Müsseler, Jochen (Thesis advisor)^RWTH*

Tag der mündlichen Prüfung/Habilitation
2014-11-24

Online
URN: urn:nbn:de:hbz:82-opus-53200
URL: https://publications.rwth-aachen.de/record/465409/files/5320.pdf

Einrichtungen

Lehr- und Forschungsgebiet Arbeits- und Kognitionspsychologie (721220)

Inhaltliche Beschreibung (Schlagwörter)
Werkzeuggebrauch (Genormte SW) ; Wahrnehmung (Genormte SW) ; Handlung (Genormte SW) ; Informationsverarbeitung (Genormte SW) ; Psychologie (frei) ; multimodale Informationsverarbeitung (frei) ; Wahrnehmung und Handlung (frei) ; perception (frei) ; tool use (frei) ; information processing (frei) ; action perception (frei)

Thematische Einordnung (Klassifikation)
DDC: 150

Kurzfassung
Im alltäglichen Werkzeuggebrauch stellen Divergenzen zwischen proximalen und distalen Handlungseffekten - etwa die Bedienung eines Automobil-Navigationssystems und die resultierenden Effekte auf dem dazugehörigen Bildschirm - hohe Anforderungen an das menschliche Informationsverarbeitungssystem. Somit sieht sich der Mensch als Akteur im Kontext des Werkzeuggebrauchs oftmals mit mehr oder weniger entkoppelten Handlungseffekten konfrontiert, die zum einen durch körpereigene Effekte und zum anderen durch resultierende Werkzeugeffekte hervorgerufen werden. Eine erfolgreiche Bedienung bedarf jedoch unweigerlich der Kombination und Integration beider Effekte. Umso interessanter scheint der Aspekt, dass die Zieleingabe bei der Handhabung eines Automobil-Navigationssystems oftmals nicht problemlos funktioniert. Eine sich hieraus ergebenden Frage könnte sein, wie das menschliche Informationsverarbeitungssystem derart konfligierende Situationen erfolgreich löst oder, im Falle der Nichtlösung, warum nicht. In Anlehnung an derzeit gültige common coding Theorien wird in der vorliegenden Dissertation die Annahme entwickelt und fokussiert, dass sowohl propriozeptive als auch visuelle Informationen in ein und derselben kognitiven Domäne repräsentiert sind und hier einen Kontext finden, in welchem sie sich gegenseitig beeinflussen können. Unter dieser Prämisse wurden zwei wissenschaftliche Studien durchgeführt, die im Folgenden kurz skizziert werden. Die erste Studie untersucht die generelle Rolle proximaler und distaler Handlungseffekte unter Bezug auf sensumotorische Kontrollaspekte im Rahmen eines Regelkreis-Szenarios. Besonders interessant ist hierbei die Applikation diverser Verzerrungsfaktoren, welche eine systematische Perturbation der Relationen zwischen verdeckten Handbewegungen auf einem digitalen Medium und hieraus resultierenden Zeigerbewegungen auf einem Bildschirm induzieren. Darüber hinaus bietet das Szenario eine weitere Transformationsebene, in Form einer systematischen Rotation der visuellen Rückmeldung. Die Ergebnisse werden vor dem Hintergrund der Theorien gemeinsamer Repräsentation handlungsrelevanter Parameter interpretiert sowie mit Blick auf begünstigende wie auch destruktive Effekte einer etwaigen Merkmalsüberlappung diskutiert. Wenn Probanden etwa gefragt wurden, ihre initiale Handbewegung ohne die Darbietung visueller Rückmeldung zu replizieren, variierten die resultierenden Handamplituden im Einklang mit den zuvor gesehen Zeigeramplituden auf dem Bildschirm. Sobald eine weitere Transformationsebene hinzugefügt wurde (Experiment 1 (2): 90° (180°) Rotation der visuellen Rückmeldung), reduzierten sich die Nacheffekte, wenn die Diskrepanz zwischen Hand- und Zeigeramplitude besonders offensichtlich war. Zusammenfassend lässt sich sagen, dass sich distale Handlungseffekte durchaus proximalen Handlungseffekten annähern, wenn die propriozeptive Rückmeldung eine starke Merkmalsüberlappung mit zuvor präsentierten visuellen Bewegungen auf einem Bildschirm aufweisen. Da die erste Studie vornehmlich Auswirkungen visuell verzerrter Handlungseffekte auf proximale Handlungseffekte unter Verwendung eines intra-modalen Designs untersucht, adressiert die zweite Studie die inverse Fragestellung unter Verwendung eines intra- sowie inter-modalen Designs. Somit werden die Probanden hier zusätzlich angehalten, neben dem Abruf propriozeptiver Informationen zur Replikation zuvor gezeichneter Amplituden auch visuelle Informationen abzurufen, um jene Amplituden visuell zu replizieren, die sie zuvor gesehen haben. Zunächst einmal scheint der Mechanismus der menschlichen Informationsverarbeitung von der handlungsausführenden Modalität abzuhängen. Das bedeutet, visuelle Handlungseffekte zeigen einen Einfluss auf die motorische Modalität während propriozeptive Handlungseffekte keinen Einfluss auf die visuelle Modalität haben. Nichtsdestoweniger scheint die inter-modale Informationsverarbeitung – unabhängig von der handlungsausführenden Modalität - generell eine höhere Störanfälligkeit aufzuweisen. Desweiteren weist der Ort einer induzierten Verzerrung für die motorische Modalität keinen gesonderten Effekt auf. Mit Blick auf die visuelle Modalität hingegen zeigt die gezielte Verzerrung durchzuführender Handamplituden eine Reduktion des erwarteten Cross talks. Zusammenfassend verfolgt die vorliegende Arbeit das Ziel, den gegenwärtigen Forschungstand im Themenverbund multimodaler Informationsverarbeitung zu erweitern sowie anhand eines Arbeitsmodells und hier vor dem Hintergrund elaborierter psychologischer Theorien zu diskutieren. Darüber hinaus sollen relevante Phänomene im Forschungszweig des menschlichen Werkzeuggebrauchs demonstriert und nicht zuletzt neuartige Aspekte für zukünftige Forschungsvorhaben herausgearbeitet werden.

In everyday cases of tool use, proximal action effects (i.e. operating the navigation system of vehicle via a multi-functional control button) and distal action effects (i.e. resulting effects on the medium´s display) often diverge or are even conflicting. In other words, the human information processing system is often confronted with more or less distinct action effects, like bodily related consequences of manual actions vs. medium related action effects. Nevertheless - referring to the navigation system example - in some cases the destination selection process seems to operate flawlessly, whereas in some cases it does not. Due to this phenomenon the question on how the human information processing system solves these kinds of scenarios may arise. According to theories of common coding, the present work considers proprioceptive as well as visual information to be represented within a common cognitive domain. It is assumed that both sources of information interact on this domain. The following sections provide a brief overview of the studies comprised in this dissertation. Experiments reported in study 1 examine the role of proximal and distal action effects in a closed loop task of sensorimotor control. Particularly interesting in this study is the introduction of different gain factors that systematically perturb the relation between covert hand movements on a digitizer tablet and resulting cursor movements on a screen. This scenario comes along with a second perturbation in the form of rotated visual feedback. Results were discussed with respect to theories of common coding and against the background of beneficial or detrimental effects of feature overlap. For instance, when participants are asked to replicate an initial hand movement without visual feedback, hand amplitudes vary in accordance with predecessing display amplitudes. Adding a second perturbation (Experiment 1(2): 90° (180°) rotation of visual feedback) reduces these aftereffects only when the discrepancy between hand and display movement is obvious. In summary, distal action effects do assimilate proximal action effects when the proprioceptive/tactile feedback show feature overlap with former presented visual feedback on the display. Since the first study examines the effects of perturbed visual action effects on proximal action effects by employing a motor replication task, experiments reported in study 2 attempt to assess the inverse question by introducing conditions containing a motor replication task on the one hand and a visual replication task on the other hand. Herein, ask about intra- and inter-modal recall of either proprioceptive or visual information, and whether there are any differences between proximal and distal action effects. At first, mechanisms of information processing seem to depend on the output modality. That is, both, proprioceptive and visual action effects interfere with the motor modality whilst visual but not proprioceptive action effects exhibit effects on the visual modality. Second, however, inter-modal information processing shows higher susceptibility to interference, which seems to depend on the output modality. In a nutshell, the results provide useful implications for tool use, since the optimized processing of conflicting action effects is a precondition for successful tool use. This work generally aims at extending the present body of research on multimodal information processing in tool use by referring to a working model which will guide through this thesis and practically illustrate complex coherencies in the field of multimodal information processing.

Fulltext:
PDF