Visual processing of naturalistic images: free viewing, guided visual searching, and memorization

Kiefer, Christian Matthias; Steland, Ansgar; Shah, Nadim Joni; Grün, Sonja Annemarie

doi:42609

Visual processing of naturalistic images: free viewing, guided visual searching, and memorization = Visuelle Verarbeitung von naturalistischen Bildern: Freies Betrachten, visuelle Suche und Merken

Kiefer, Christian Matthias^RWTH*

2023

Verantwortlichkeitsangabevorgelegt von Christian Matthias Kiefer Master of Science

ImpressumAachen : RWTH Aachen University 2023

Umfang1 Online-Ressource : Illustrationen, Diagramme

Dissertation, RWTH Aachen University, 2023

Veröffentlicht auf dem Publikationsserver der RWTH Aachen University

Genehmigende Fakultät
Fak01

Hauptberichter/Gutachter
Shah, Nadim Joni (Thesis advisor)^RWTH* ; Grün, Sonja Annemarie (Thesis advisor)^RWTH* ; Steland, Ansgar (Thesis advisor)^RWTH*

Tag der mündlichen Prüfung/Habilitation
2023-08-28

Online
DOI: 10.18154/RWTH-2023-08679
URL: https://publications.rwth-aachen.de/record/968610/files/968610.pdf

Einrichtungen

Projekte

Inhaltliche Beschreibung (Schlagwörter)
active vision (frei) ; granger causality (frei) ; guided visual search (frei) ; magnetoencephalography (frei) ; multivariate time series classification (frei)

Thematische Einordnung (Klassifikation)
DDC: 530

Kurzfassung
Unter natürlichen Bedingungen werden Augenbewegungen dazu genutzt, um aktiv visuelle Informationen über die Umgebung zu sammeln. Dieser Prozess wird auch „aktives Sehen“ („active vision“) genannt. Obwohl solche Augenbewegungen die Basis für das Sehen im Alltag bilden, hat sich die Forschung in der Vergangenheit oft auf vereinfachte, künstliche Szenarien mit eingeschränkten Augenbewegungen konzentriert. Die Mechanismen des aktiven Sehens sind daher im Vergleich noch weitgehend unerforscht. Insbesondere ist es noch unklar, wie zielgerichtetes Verhalten, z.B. im Rahmen der Suche nach einem bestimmten Objekt, die visuelle Verarbeitung beeinflusst. In dieser Dissertation wurden in einer Studie mit 31 Probanden drei Arten des aktiven Sehens untersucht: eine zielgerichtete Suche, eine Gedächtnisaufgabe und das freie Betrachten. Für alle drei Aufgaben wurden den Probanden lebensnahe Bilder mit eingebetteten Objekten präsentiert. Um die Frage, wie zielgerichtetes Verhalten die visuelle Verarbeitung beeinflusst, zu beantworten, wurden die kausalen Verbindungen im Gehirn für die Suchaufgabe und das freie Betrachten bestimmt. Die so entstandenen Netzwerke wurden anschließend miteinander verglichen. Zunächst wurden dafür Regionen mit signifikanter, Fixations-bezogener evozierter Aktivität mittels „spatiotemporal cluster permutation testing“ bestimmt. Anschließend wurden zwischen diesen Regionen Netzwerke von direktionalen Verbindungen mittels „generalized partial directed coherence“ berechnet. Vier Regionen, der Gyrus supramarginalis, der Gyrus temporalis superior, die Gyri temporali transversi, und die hintere Inselrinde, formten zusammen während des freien Betrachtens einen Cluster in beiden Hemisphären, welcher äußerst stark vernetzt war. Ein nahezu identischer Cluster entstand ebenfalls während der Suchaufgabe in der rechten Hemisphäre, wobei der Gyrus supramarginalis einen zentralen Knotenpunkt in den Netzwerken bildete. Basierend auf diesen Ergebnissen ist es wahrscheinlich, dass alle vier Regionen an der Steuerung der Aufmerksamkeit und an der visuellen Verarbeitung beteiligt sind. Insbesondere könnte der rechte Gyrus supramarginalis für die Integration von visuellen, Objekt-bezogenen Informationen zuständig sein. Des Weiteren könnte eine Verbindung darauf hinweisen, dass der rechte Gyrus supramarginalis das supplementäre Augenfeld mit Informationen versorgt, um die Prioritätskarte, welche die Augenbewegungen zum Zielobjekt leitet, zu aktualisieren. Zum Abschluss wurde der auf Zeitreihen basierende „random convolutional kernel transformation” (ROCKET) Klassifikator auf die Fixations-bezogene evozierte Aktivität von Objektfixationen, welche während der Gedächtnisaufgabe und während des freien Betrachtens durchgeführt wurden, angewandt. Zuvor ungesehene Fixationsdaten konnten mit einer Genauigkeit von 93 % erfolgreich klassifiziert werden. Mit der gleichen Methode konnten die Ruhemessungen von verschiedenen Probanden ebenfalls mit einer Genauigkeit von 93 % voneinander unterschieden werden. Dies scheint der erste Machbarkeitsnachweis für neuronale Fingerabdrücke basierend auf Zeitreihen mittels ROCKET zu sein.

Under natural conditions, eye movements are used to actively gather visual information from the environment, a process referred to as ‘active vision’. Despite active vision forming the basis for visual exploration in everyday life, research has often focused on simplified, artificial scenarios with restricted eye movements. As a result, the mechanisms underlying active vision remain comparatively unexplored. Particularly, it is unclear how goal-directed behavior such as during the search for a particular object influences the visual processing during active vision. In this dissertation, three distinct modes of active vision were investigated in a study of 31 subjects: performing a guided visual search and memorizing objects were compared to the free viewing of naturalistic images. Magnetoencephalography was used in conjunction with an eye-tracking system to simultaneously record the brain activity and the eye movements during the tasks while the subjects were viewing naturalistic images with embedded objects. To answer the question of how visual processing is affected by goal-directed behavior, causal interactions in the brain were compared for the free viewing and the visual searching tasks. First, regions of interest exhibiting significant fixation-related evoked activity were determined using spatiotemporal cluster permutation testing. Then, using generalized partial directed coherence, the whole-brain causality networks between these regions were computed. Four regions, namely the supramarginal gyrus, the superior temporal gyrus, the transverse temporal gyri, and the posterior insula, formed during free viewing a cluster in both hemispheres that was highly inter-connected. A near-identical cluster emerged during searching in the right hemisphere with the right supramarginal gyrus as a central node in the network. Based on the results, all four regions are likely involved in guiding attention and visual processing. Specifically, the right supramarginal gyrus might be involved in the integration of visual input related to objects. Furthermore, it might provide the supplementary eye field with information for the purpose of updating the search priority map, which guides the eye movements towards the search target. Finally, the random convolutional kernel transformation (ROCKET) classifier for time series was applied to the fixation-related evoked activity of object fixations performed during the memorization and the free viewing tasks. It was possible to classify unseen fixation data based on the task with 93% accuracy. Furthermore, with the same method it was also possible to differentiate between subjects based on resting-state recordings with 93% accuracy. This appears to be the first proof of concept that neuronal fingerprinting can be achieved directly on time series data using ROCKET.

OpenAccess:
PDF
(additional files)