h1

h2

h3

h4

h5
h6

DFG project G:(GEPRIS)444724862

Kognitive Leistungen beim Zuhören in komplexen audiovisuellen Kommunikationssituationen mit virtuellen Agenten: Untersuchungen zu Aufmerksamkeit, Erinnerungsleistung und Höranstrengung (exAMPLE)

CoordinatorProfessorin Dr.-Ing. Janina Fels ; Professor Dr. Torsten Wolfgang Kuhlen ; Professorin Dr. Sabine Janina Schlittmeier
Grant period2020 -
Funding bodyDeutsche Forschungsgemeinschaft
 DFG
IdentifierG:(GEPRIS)444724862

⇧ SPP 2236: Auditive Kognition in interaktiven virtuellen Umgebungen – AUDICTIVE ⇧

Note: Von Angesicht zu Angesicht zu kommunizieren ist die häufigste Form des verbalen Informationsaustauschs. Dabei stehen Zuhörer*innen bei Gesprächen zwischen mehreren Sprecher*innen in komplexen und dynamischen Umgebungen wie Großraumbüros oder belebten Bars vor besonderen Herausforderungen: Diese Umgebungen sind akustisch komplex, multisensorisch vielfältig und dynamischer Natur. Welche Auswirkungen diese Einflussfaktoren auf das Verstehen und Erinnern inhaltlicher Fakten von Gesprächen zwischen zwei oder mehr Sprecher*innen haben und inwieweit das Anfertigen von Gesprächsnotizen die kognitive Zuhörleistung unterstützen kann, ist noch weitgehend unerforscht. Das Ziel dieses Forschungsvorhabens ist es, audiovisuelle Variationen realistischer Hörsituationen in Virtueller Realität (VR) zu untersuchen und ihre Auswirkungen auf die Aufmerksamkeit der Zuhörer*innen, die Sprachverständlichkeit, das Hörverstehen sowie das Gedächtnis für Gesprächsinhalte und andere sprecherbezogene Aspekte (z.B. wer etwas gesagt hat) zu untersuchen. Aufbauend auf unserem Vorgängerprojekt geht dieses Projekt weg von vereinfachten und hin zu komplexen audiovisuellen, immersiven Umgebungen mit vielfältigen und lebhaften audiovisuellen Szenarien. Zusätzlich erweitern wir den Umfang der betrachteten kognitiven Leistungen vom Verstehen und Erinnern von Gesprächsinhalten auf das Anfertigen von angeleiteten Notizen sowie um das Erinnern zusätzlicher Gesprächsaspekte und die Aufmerksamkeitszuwendung und -lenkung zu den Sprecher*innen. Hierfür entwickeln wir immersive und interaktive audiovisuelle virtuelle Umgebungen, in denen die Zuhörer*innen an Gesprächen zwischen zwei oder mehr Sprecher*innen teilnehmen, die als virtuelle Agent*innen dargestellt werden. Anschließend wird die Erinnerungsleistung für gehörte Gesprächsinhalte und weitere gesprächsbezogene Aspekte erfasst. Dazu wird das Heard Text Recall (HTR) Paradigma aus unserem Vorgängerprojekt entsprechend erweitert und angepasst, um auch sprecherbezogene Aspekte (TR) abzufragen und das Anfertigen von Notizen (NT) während des Zuhörens zu operationalisieren. Damit werden die erweiterten Zuhöraufgaben HTR-TR und HTR-NT entwickelt. Durch die Untersuchung der Effekte verschiedener Merkmale der audiovisuellen VR auf die oben genannten kognitiven Leistungen möchten wir wichtige Erkenntnisse für die Schaffung realistischer und immersiver verbaler sozialer Interaktionen gewinnen und somit zur aktuellen VR-basierten Kognitionsforschung beitragen.
   

Recent Publications

All known publications ...
Download: BibTeX | EndNote XML,  Text | RIS | 

http://join2-wiki.gsi.de/foswiki/pub/Main/Artwork/join2_logo100x88.png Contribution to a conference proceedings  ;
Remembering spoken information: how noise impacts listeners’ content and source memory
SPIN2026 – 17th Speech in Noise Workshop : Programme and abstract booklet of the 17th Speech in Noise Workshop (SPIN2026) 12-13 January 2026, Paris, France/ Cabrera, Laurianne (Editor) ; Varnet, Léo2, Heinrich, Antje (Editor) ; James, Chris (Editor) ; Tuomainen, Outi (Editor) ; Whitmer, William M (Editor) ; Kovačić, Damir (Editor) ; Nuttall, Helen Stewart, Hannah (Editor) ; Gaudrain, Etienne (Editor) ; Koelewijn, Thomas (Editor) ;
17. Speech in Noise Workshop, SPIN 2026, ParisParis, France, 12 Jan 2026 - 13 Jan 20262026-01-122026-01-13 P22, 32-32 ()  GO  Download fulltext Files  Download fulltextHomepage of book BibTeX | EndNote: XML, Text | RIS

http://join2-wiki.gsi.de/foswiki/pub/Main/Artwork/join2_logo100x88.png Poster  ;
Simulating real-world aspects of communication situations
53. Erlangen Colloquium for audiological research and development, ErlangenErlangen, Germany,  GO BibTeX | EndNote: XML, Text | RIS

http://join2-wiki.gsi.de/foswiki/pub/Main/Artwork/join2_logo100x88.png Journal Article (Review Article)  ;  ;  ;  ;
Heard-text recall and listening effort under irrelevant speech and pseudo-speech in virtual reality
Acta acustica united with acustica 10, 7 () [10.1051/aacus/2026003]  GO BibTeX | EndNote: XML, Text | RIS

http://join2-wiki.gsi.de/foswiki/pub/Main/Artwork/join2_logo100x88.png Journal Article (Review Article)  ;  ;  ;  ;  ;  ;
Beyond words: The impact of static and animated faces as visual cues on memory performance and listening effort during two-talker conversations
Acta psychologica 263, 106295 () [10.1016/j.actpsy.2026.106295]  GO DBCoverage BibTeX | EndNote: XML, Text | RIS

http://join2-wiki.gsi.de/foswiki/pub/Main/Artwork/join2_logo100x88.png Abstract/Contribution to a book/Contribution to a conference proceedings  ;  ;  ;  ;  ;  ;  ;
Memory and listening effort in conversations: The role of spatial position, visual cues, and cognitive functions
TeaP 2025 Frankfurt: Book of Abstracts / Editors: Melissa Lê-Hoa Võ, Christian Fiebach, Yee Lee Shing, Daniela Sammler, Sabine Windmann, Jochen Kaiser
Tagung experimentell arbeitender Psycholog*innen | Conference of Experimental Psychologists, TeaP, Frankfurt/M.Frankfurt/M., Germany, 9 Mar 2025 - 12 Mar 20252025-03-092025-03-12 229 pp. ()  GO   Download fulltextHomepage of book BibTeX | EndNote: XML, Text | RIS

http://join2-wiki.gsi.de/foswiki/pub/Main/Artwork/join2_logo100x88.png Poster  ;
Bringing real-life into the lab: Investigating speech in virtual auditory environments
Workshop in Communication in Hearing Science, LyngeLynge, Denmark, 19 Aug 2025 - 19 Aug 20252025-08-192025-08-19  GO BibTeX | EndNote: XML, Text | RIS

http://join2-wiki.gsi.de/foswiki/pub/Main/Artwork/join2_logo100x88.png Conference Presentation (Other)  ;  ;  ;  ;  ;  ;
Poster: Listening Effort In Populated Audiovisual Scenes Under Plausible Room Acoustic Conditions
International Symposium on Auditory and Audiological Research, ISAAR, NyborgNyborg, Denmark, 20 Aug 2025 - 22 Aug 20252025-08-202025-08-22  GO BibTeX | EndNote: XML, Text | RIS

http://join2-wiki.gsi.de/foswiki/pub/Main/Artwork/join2_logo100x88.png Conference Presentation (Invited)  ;
What did you say? On the impact of noise on listeners’ memory for heard information
Workshop Adverse listening conditions in language acquisition and language processing, OldenburgOldenburg, Germany, 12 May 2025 - 13 May 20252025-05-122025-05-13  GO BibTeX | EndNote: XML, Text | RIS

http://join2-wiki.gsi.de/foswiki/pub/Main/Artwork/join2_logo100x88.png Conference Presentation (After Call)  ;
Wer hat was gesagt? Effekte von moderatem Lärm in Zuhörsituationen auf das Erinnern von Gesprächsinhalten und Sprecheridentität
14. Arbeits-, Organisations- und Wirtschaftspsychologie sowie Ingenieurpsychologie (AOWI) Fachgruppentagung 2025, AOWI 2025, LüneburgLüneburg, Germany, 9 Sep 2025 - 12 Sep 20252025-09-092025-09-12  GO BibTeX | EndNote: XML, Text | RIS

http://join2-wiki.gsi.de/foswiki/pub/Main/Artwork/join2_logo100x88.png Journal Article  ;  ;  ;  ;  ;
Serial recall in spatial acoustic environments: irrelevant sound effect and spatial source alternations
Scientific reports 15(1), 32473 () [10.1038/s41598-025-18592-9]  GO OpenAccess  Download fulltext Files BibTeX | EndNote: XML, Text | RIS

All known publications ...
Download: BibTeX | EndNote XML,  Text | RIS | 

 Record created 2023-01-20, last modified 2025-02-25
Similar records



Rate this document:

Rate this document:
1
2
3
4
5
 
(Not yet reviewed)