h1

h2

h3

h4

h5
h6

DFG project G:(GEPRIS)444724862

Kognitive Leistungen beim Zuhören in komplexen audiovisuellen Kommunikationssituationen mit virtuellen Agenten: Untersuchungen zu Aufmerksamkeit, Erinnerungsleistung und Höranstrengung (exAMPLE)

CoordinatorProfessorin Dr.-Ing. Janina Fels ; Professor Dr. Torsten Wolfgang Kuhlen ; Professorin Dr. Sabine Janina Schlittmeier
Grant period2020 -
Funding bodyDeutsche Forschungsgemeinschaft
 DFG
IdentifierG:(GEPRIS)444724862

⇧ SPP 2236: Auditive Kognition in interaktiven virtuellen Umgebungen – AUDICTIVE ⇧

Note: Von Angesicht zu Angesicht zu kommunizieren ist die häufigste Form des verbalen Informationsaustauschs. Dabei stehen Zuhörer*innen bei Gesprächen zwischen mehreren Sprecher*innen in komplexen und dynamischen Umgebungen wie Großraumbüros oder belebten Bars vor besonderen Herausforderungen: Diese Umgebungen sind akustisch komplex, multisensorisch vielfältig und dynamischer Natur. Welche Auswirkungen diese Einflussfaktoren auf das Verstehen und Erinnern inhaltlicher Fakten von Gesprächen zwischen zwei oder mehr Sprecher*innen haben und inwieweit das Anfertigen von Gesprächsnotizen die kognitive Zuhörleistung unterstützen kann, ist noch weitgehend unerforscht. Das Ziel dieses Forschungsvorhabens ist es, audiovisuelle Variationen realistischer Hörsituationen in Virtueller Realität (VR) zu untersuchen und ihre Auswirkungen auf die Aufmerksamkeit der Zuhörer*innen, die Sprachverständlichkeit, das Hörverstehen sowie das Gedächtnis für Gesprächsinhalte und andere sprecherbezogene Aspekte (z.B. wer etwas gesagt hat) zu untersuchen. Aufbauend auf unserem Vorgängerprojekt geht dieses Projekt weg von vereinfachten und hin zu komplexen audiovisuellen, immersiven Umgebungen mit vielfältigen und lebhaften audiovisuellen Szenarien. Zusätzlich erweitern wir den Umfang der betrachteten kognitiven Leistungen vom Verstehen und Erinnern von Gesprächsinhalten auf das Anfertigen von angeleiteten Notizen sowie um das Erinnern zusätzlicher Gesprächsaspekte und die Aufmerksamkeitszuwendung und -lenkung zu den Sprecher*innen. Hierfür entwickeln wir immersive und interaktive audiovisuelle virtuelle Umgebungen, in denen die Zuhörer*innen an Gesprächen zwischen zwei oder mehr Sprecher*innen teilnehmen, die als virtuelle Agent*innen dargestellt werden. Anschließend wird die Erinnerungsleistung für gehörte Gesprächsinhalte und weitere gesprächsbezogene Aspekte erfasst. Dazu wird das Heard Text Recall (HTR) Paradigma aus unserem Vorgängerprojekt entsprechend erweitert und angepasst, um auch sprecherbezogene Aspekte (TR) abzufragen und das Anfertigen von Notizen (NT) während des Zuhörens zu operationalisieren. Damit werden die erweiterten Zuhöraufgaben HTR-TR und HTR-NT entwickelt. Durch die Untersuchung der Effekte verschiedener Merkmale der audiovisuellen VR auf die oben genannten kognitiven Leistungen möchten wir wichtige Erkenntnisse für die Schaffung realistischer und immersiver verbaler sozialer Interaktionen gewinnen und somit zur aktuellen VR-basierten Kognitionsforschung beitragen.
   

Recent Publications

All known publications ...
Download: BibTeX | EndNote XML,  Text | RIS | 

http://join2-wiki.gsi.de/foswiki/pub/Main/Artwork/join2_logo100x88.png Journal Article  ;  ;  ;  ;  ;  ;  ;
Audiovisual angle and voice incongruence do not affect audiovisual verbal short-term memory in virtual reality
PLOS ONE 20(8), e0330693 () [10.1371/journal.pone.0330693]  GO DBCoverage BibTeX | EndNote: XML, Text | RIS

http://join2-wiki.gsi.de/foswiki/pub/Main/Artwork/join2_logo100x88.png Abstract/Journal Article  ;  ;  ;
The impact of coverbal visual cues on speech intelligibility and cognitive load in virtual reality environments
188. Meeting of the Acoustical Society of America, ASA 2025, New OrleansNew Orleans, USA, 18 May 2025 - 23 May 20252025-05-182025-05-23
25. International Congress on Acoustics, ICA 2025, New OrleansNew Orleans, USA, 18 May 2025 - 23 May 20252025-05-182025-05-23 The journal of the Acoustical Society of America : JASA-O 157(4_Supplement), A159 () [10.1121/10.0037748]  GO BibTeX | EndNote: XML, Text | RIS

http://join2-wiki.gsi.de/foswiki/pub/Main/Artwork/join2_logo100x88.png Contribution to a book/Contribution to a conference proceedings (Invited)  ;  ;  ;  ;  ;  ;
Influence of (non-) intelligible background speech on memory and listening effort in conversational situations
Proceedings of DAS/DAGA 2025 : 51st Annual Meeting on Acoustics : March 17-20, 2025, Copenhagen / editor: Deutsche Gesellschaft für Akustik e.V. (DEGA) ; scientific edition: Torsten Dau, Bastian Epp
51. Annual Meeting on Acoustics, DAS|DAGA 2025, KopenhagenKopenhagen, Denmark, 17 Mar 2025 - 20 Mar 20252025-03-172025-03-20 Berlin : Deutsche Gesellschaft für Akustik e.V. (DEGA) 159-160 () [10.71568/dasdaga2025.145]  GO  Download fulltext Files  Download fulltextHomepage of book BibTeX | EndNote: XML, Text | RIS

http://join2-wiki.gsi.de/foswiki/pub/Main/Artwork/join2_logo100x88.png Journal Article (Review Article)  ;  ;  ;  ;
Exploring short-term memory and listening effort in two-talker conversations: The influence of soft and moderate background noise
PLOS ONE / Public Library of Science 20(2), e0318821 () [10.1371/journal.pone.0318821]  GO OpenAccess  Download fulltext Files BibTeX | EndNote: XML, Text | RIS

http://join2-wiki.gsi.de/foswiki/pub/Main/Artwork/join2_logo100x88.png Journal Article (Review Article)  ;  ;
Listening to two-talker conversations in quiet settings: the role of listeners’ cognitive processing capabilities for memory and listening effort
Scientific reports 14, 22764 () [10.1038/s41598-024-74085-1]  GO OpenAccess  Download fulltext Files BibTeX | EndNote: XML, Text | RIS

http://join2-wiki.gsi.de/foswiki/pub/Main/Artwork/join2_logo100x88.png Contribution to a book/Contribution to a conference proceedings (Other)  ;  ;  ;  ;
StudyFramework : Comfortably Setting up and Conducting Factorial-Design Studies Using the Unreal Engine
2024 IEEE Conference on Virtual Reality and 3D User Interfaces Abstracts and Workshops : VRW 2024 : 16-21 March 2024, Orlando, Florida : proceedings
Workshop on Capturing and Logging Ecological Virtual Experiences and Reality, CLEVER, Orlando, FLOrlando, FL, USA, 16 Mar 2024 - 16 Mar 20242024-03-162024-03-16
31. IEEE Conference on Virtual Reality and 3D User Interfaces, VRW, Orlando, FLOrlando, FL, USA, 16 Mar 2024 - 21 Mar 20242024-03-162024-03-21 Piscataway, NJ : IEEE 442-449 () [10.1109/VRW62533.2024.00087]  GO  Download fulltext Files BibTeX | EndNote: XML, Text | RIS

http://join2-wiki.gsi.de/foswiki/pub/Main/Artwork/join2_logo100x88.png Contribution to a book/Contribution to a conference proceedings (Invited)  ;  ;  ;  ;  ;  ;  ;
Who's next? Integrating Non-Verbal Turn-Taking Cues for Embodied Conversational Agents
Proceedings of the 23rd ACM International Conference on Intelligent Virtual Agents : 19th - 22nd September 2023, Würzburg, Germany / General Chairs: Birgit Lugrin, Marc Latoschik, Sebastian von Mammen, Program Chairs: Stefan Kopp, Florian Pécune, Catherine Pelachaud
23. ACM International Conference on Intelligent Virtual Agents, IVA 2023, WürzburgWürzburg, Germany, 19 Sep 2023 - 22 Sep 20232023-09-192023-09-22 New York, NY : ACM, Association for Computing Machinery 27, 8 Seiten () [10.1145/3570945.3607312]  GO OpenAccess  Download fulltext Files  Download fulltextAdditional information BibTeX | EndNote: XML, Text | RIS

http://join2-wiki.gsi.de/foswiki/pub/Main/Artwork/join2_logo100x88.png Poster  ;  ;  ;  ;  ;
Memory and Listening Effort in Two-Talker Conversations: Does Face Visibility Help Us Remember?
23. Conference of the European Society for Cognitive Psychology, ESCoP 2023, PortoPorto, Portugal, 6 Sep 2023 - 9 Sep 20232023-09-062023-09-09 [10.18154/RWTH-2023-08097]  GO OpenAccess  Download fulltext Files BibTeX | EndNote: XML, Text | RIS

http://join2-wiki.gsi.de/foswiki/pub/Main/Artwork/join2_logo100x88.png Abstract/Contribution to a conference proceedings  ;  ;  ;  ;  ;
Memory and Listening Effort in Conversations: The Role of Spatial Cues and Cognitive Functions
Abstracts of the 65th TeaP : Tagung experimentell arbeitender Psycholog:innen, Conference of Experimental Psychologists / edited by Simon Merz, Christian Frings, Bettina Leuchtenberg, Birte Moeller, Stefanie Mueller, Roland Neumann, Bernhard Pastötter, Leah Pingen, Gabriel Schui
65. Tagung experimentell arbeitender Psycholog:innen, TeaP 2023, TrierTrier, Germany, 26 Mar 2023 - 29 Mar 20232023-03-262023-03-29 Trier : ZPID (Leibniz Institute for Psychology) 252-252 () [10.18154/RWTH-2023-05305]  GO OpenAccess  Download fulltext Files  Download fulltextHomepage of book BibTeX | EndNote: XML, Text | RIS

http://join2-wiki.gsi.de/foswiki/pub/Main/Artwork/join2_logo100x88.png Dataset  ;  ;  ;
Measuring text comprehension and memory: A comprehensive database for Heard Text Recall (HTR) and Read Text Recall (RTR) paradigms, with optional note-taking and graphical displays
[10.18154/RWTH-2023-05285]  GO OpenAccess  Download fulltext Files BibTeX | EndNote: XML, Text | RIS

All known publications ...
Download: BibTeX | EndNote XML,  Text | RIS | 

 Record created 2023-01-20, last modified 2025-02-25
Similar records



Rate this document:

Rate this document:
1
2
3
4
5
 
(Not yet reviewed)