h1

000712821 001__ 712821
000712821 005__ 20230408005414.0
000712821 0247_ $$2HBZ$$aHT019578935
000712821 0247_ $$2Laufende Nummer$$a36790
000712821 0247_ $$2datacite_doi$$a10.18154/RWTH-2018-00740
000712821 037__ $$aRWTH-2018-00740
000712821 041__ $$aEnglish
000712821 082__ $$a150
000712821 1001_ $$0P:(DE-588)1151671827$$aSchäffner, Simone$$b0$$urwth
000712821 245__ $$aModality-specific effects in linguistic multitasking$$cvorgelegt von Simone Schäffner M.Sc.$$honline
000712821 246_3 $$aModalitätsspezifische Effekte im linguistischen Multitasking
000712821 260__ $$aAachen$$c2018
000712821 300__ $$a1 Online-Ressource (XIV, 202) : Illustrationen
000712821 3367_ $$02$$2EndNote$$aThesis
000712821 3367_ $$0PUB:(DE-HGF)11$$2PUB:(DE-HGF)$$aDissertation / PhD Thesis$$bphd$$mphd
000712821 3367_ $$2BibTeX$$aPHDTHESIS
000712821 3367_ $$2DRIVER$$adoctoralThesis
000712821 3367_ $$2DataCite$$aOutput Types/Dissertation
000712821 3367_ $$2ORCID$$aDISSERTATION
000712821 502__ $$aDissertation, RWTH Aachen University, 2018$$bDissertation$$cRWTH Aachen University$$d2018$$gFak07$$o2018-01-19
000712821 500__ $$aVeröffentlicht auf dem Publikationsserver der RWTH Aachen University
000712821 5203_ $$aDas Wechseln zwischen verschiedenen Modalitäten spielt eine wichtige Rolle in der Sprachverarbeitung, da wir Sprache sowohl auditiv als auch visuell wahrnehmen können und sowohl vokal als auch manuell produzieren können. Während eines Telefonats beispielsweise, hören wir Sprache auditiv und reagieren darauf vokal. Empfangen wir eine E-Mail, kommt es zu visueller Sprachperzeption, die gegebenenfalls mit manuellem Output (d.h. Schreiben) beantwortet wird. Entsprechend besteht Sprachverarbeitung häufig aus einem komplexen Zusammenspiel verschiedener sensomotorischer Prozesse. Doch inwiefern beeinflusst die Verwendung ver-schiedener Modalitäten die sprachliche Leistung? Hauptgegenstand der vorliegenden Dissertation ist die Untersuchung von Modalitätseffekten während des sprachlichen Multitaskings. Zwei verschiedene Forschungslinien geben Aufschluss über modalitätsspezifische Einflüsse auf kognitive Kontrollmechanismen während der Verarbeitung sprachlicher Informationen - einmal im monolingualen und einmal im bilingualen Kontext. Multitasking im monolingualen Kontext bezieht sich dabei auf sprachliche Situationen, in denen wir zwischen verschiedenen Modalitäten wechseln. Insbesondere geht es hierbei um die Frage nach Einflüssen von „Modalitätskompatibilität“ (d.h. Kompatibilität zwischen Input und Output, die dann vorliegt, wenn die Modalität des Inputs der Modalität des sensorischen Effekts des Outputs entspricht). Erfordert ein Wechsel zwischen kompatiblen Input-Output-Modalitätskombinationen (d.h. auditiv-vokal und visuell-manuell) während der Sprachverarbeitung ein geringeres Maß an kognitiver Kontrolle (gemessen anhand von Modalitätswechselkosten) als das Wechseln zwischen inkompatiblen Kombinationen (d.h. auditiv-manuell und visuell-vokal)? Studie I der vorliegenden Dissertation (Schaeffner, Koch, & Philipp, 2016a) zeigte erstmals geringere Modalitätswechselkosten für das Wechseln zwischen kompatiblen gegenüber inkompatiblen Modalitätskombinationen während der Verarbeitung sprachlicher Informationen. Eine Reihe weiterer Studien bestätigte, dass es sich dabei um einen sehr stabilen Effekt handelt, der unabhängig von semantischen Einflüssen ist (siehe Schaeffner, Koch, & Philipp, 2016b; Schaeffner, Koch, & Philipp, 2017a).Ein Erklärungsansatz hierfür besteht in der Annahme von Priming-Prozessen zwischen Input und Output, wie sie bereits in Modalitätswechselstudien mit räumlichen Kategorisierungsaufgaben beschrieben wurden (z.B. Stephan & Koch, 2010). Es wird vermutet, dass die sensorische Verarbeitung des Inputs zu einer Art Priming des kompatiblen Outputs führt, da die Modalität des Inputs in diesem Fall mit der Modalität des sensorischen Effekts des Outputs übereinstimmt. Dadurch wird das Wechseln zwischen kompatiblen Kombinationen erleichtert und das Wechseln zwischen inkompatiblen Kombinationen erschwert. Ein erster direkter Vergleich von Kompatibilitätseffekten während sprachlicher versus nichtsprachlicher Verarbeitung in Studie IV (siehe Schaeffner, Koch, & Philipp, 2017b) zeigt jedoch, dass sprachlicher Input zu stärkeren Effekten von Modalitätskompatibilität führt als die Verarbeitung von nichtsprachlichem Input. Dies spricht erstmals für eine zusätzliche Variabilität in der Kompatibilitätsbeziehung zwischen Input und Output, die über eine rein dichotome Unterscheidung von „kompatibel“ versus „inkompatibel“ hinausgeht. So scheint die Kompatibilität zwischen Input und Output - und somit die Stärke der zugrunde liegenden Priming-Prozesse - in auditiv-vokalen und visuell-manuellen Modalitätskombinationen während der Sprachverarbeitung höher zu sein als während der Verarbeitung bestimmter nichtsprachlicher Informationen.Sprachliches Multitasking im bilingualen Kontext bezieht sich auf Situationen, in denen es zu einem Wechsel zwischen Sprachen kommt. Die Untersuchung modalitätsspezifischer Effekte im bilingualen Kontext soll Aufschluss darüber geben, ob ein Sprachwechsel weniger kognitive Kontrolle erfordert (gemessen anhand von Sprachwechselkosten), wenn die Sprachen unterschiedlichen Modalitäten zugeordnet sind. Frühere Studien haben gezeigt, dass das Wechseln zwischen einer Vokal- und einer Gebärdensprache (bimodaler Sprachwechsel) zu geringeren Sprachwechselkosten führt als das Wechseln zwischen zwei Vokalsprachen (unimodaler Sprachwechsel; siehe Kaufmann, Mittelberg, Koch, & Philipp, 2017). In Studie V der vorliegenden Dissertation (Schaeffner, Fibla, & Philipp, 2017) wurden hierzu erstmals Personen untersucht, die keine Erfahrung mit Gebärdensprache hatten und erst kurz vor dem Experiment einzelne Gebärden lernten. Auch sie zeigten geringere Sprachwechselkosten für bimodales Wechseln. Bestand bimodales Wechseln jedoch aus einem Wechsel zwischen zwei Vokalsprachen (z.B. gesprochene deutsche Antworten und getippte englische Antworten), unterschieden sich die Sprachwechselkosten zwischen unimodalem und bimodalem Wechseln nicht signifikant. Folglich kann ein geringeres Maß an kognitiver Kontrolle bei einem Wechsel zwischen Vokal- und Gebärdensprache nicht länger allein auf die Zuweisung der Sprachen zu unterschiedlichen Modalitäten zurückgeführt werden. Vielmehr scheint der Grad an phonologischer Überlappung zwischen den Sprachen einen entscheidenden Einflussfaktor für das Auftreten von modalitätsspezifischen Effekten darzustellen.Insgesamt konnte im Rahmen der vorliegenden Dissertahttps://github.com/pulls/assignedtion gezeigt werden, dass kognitive Kontrollprozesse während der Sprachverarbeitung modalitätsspezifischen Einflüssen unterliegen. Während Untersuchungen im monolingualen Kontext starke Einflüsse von Modalitätskompatibilität auf den Modalitätswechsel nachweisen, zeigen die Ergebnisse der zweiten Forschungslinie, dass die Verwendung verschiedener Modalitäten unter bestimmten Umständen auch das Wechseln zwischen Sprachen beeinflusst. Beide Forschungslinien unterstreichen damit die Wichtigkeit der Berücksichtigung von modalitätsspezifischen Einflüssen in Untersuchungen zur Sprachverarbeitung sowie in der Konzeption von Sprachverarbeitungsmodellen.$$lger
000712821 520__ $$aSwitching between different sensory and motor modalities plays an important role in language processing because we perceive language either auditorily or visually and produce language vocally or manually. Imagine, for example, a telephone conversation. In this case, we perceive language auditorily and answer vocally. In contrast, when we receive an email, we perceive language visually and respond to it manually by typewriting. That is, language processing often represents a complex interplay of different sensory-motor processes. So far, however, it has been largely unknown to which extent language processing is influenced by modality-specific effects. The main aim of the present dissertation is the investigation of modality-specific effects in linguistic multitasking. Two different lines of research provide insights into modality-specific influences on cognitive control mechanisms in language processing - once in monolingual contexts and once in bilingual contexts.The investigation of modality-specific effects in monolingual contexts refers to situations in which we switch between different modalities while monolingual language processing. The main question of this line of research is the question of whether cognitive control in language processing is influenced by modality-compatibility effects (i.e., by the compatibility between sensory input and motor output when the modality of sensory input matches the modality of the sensory consequences of motor output). Are cognitive control demands in language processing reduced for switching between compatible modality mappings (i.e., auditory-vocal and visual-manual) compared to switching between incompatible mappings (i.e., auditory-manual and visual-vocal)? Study I of the present dissertation (Schaeffner, Koch, & Philipp, 2016a) indicated for the first time that modality switch costs (which are seen as a marker for cognitive control) are reduced for switching between compatible compared to incompatible modality mappings while language processing. A series of studies further confirmed this effect and, moreover, demonstrated that modality-compatibility effects on cognitive control in language processing are not affected by semantic influences (cf. Schaeffner, Koch, & Philipp, 2016b; Schaeffner, Koch, & Philipp, 2017a). In line with previous research about modality switching in spatial categorizations (e.g., Stephan & Koch, 2010), we argued that modality-compatibility effects are due to priming processes between sensory input and motor output. It is assumed that sensory processing leads to priming of compatible motor output because the modality of sensory input corresponds to the modality of the sensory effect of compatible motor output. Thus, switching between compatible mappings is facilitated, whereas switching between incompatible mappings gets more difficult. A first comparison of modality switching in more nonverbal to verbal processing in Study IV (Schaeffner, Koch, & Philipp, 2017b), however, revealed stronger modality-compatibility effects for verbal input compared to nonverbal input. This represents a novel finding, indicating for the first time additional variability in the compatibility relation between input and output that goes beyond a strictly dichotomous differentiation between “compatible” versus “incompatible”. The compatibility of auditory-vocal and visual-manual processing - and thus the strength of priming processes between sensory input and compatible motor output - seems to be more pronounced for verbal processing than for specific types of nonverbal processing. Linguistic multitasking in bilingual contexts refers to situations in which we switch between different languages. The investigation of modality-specific effects in bilingual contexts was aimed at clarifying the question of whether there are reduced demands on cognitive control (i.e., reduced language switch costs) in language switching when the two languages are assigned to distinct motor modalities. Previous language-switching studies provide first evidence that switching between a spoken language and a sign language (bimodal language switching) leads to reduced language switch costs compared to switching between two spoken languages (unimodal language switching; cf. Kaufmann, Mittelberg, Koch, & Philipp, 2017). Study V of the present dissertation (Schaeffner, Fibla, & Philipp, 2017) represents a first transfer from these previous findings into the non-signing population: originally non-signers (who learned some signs just at the beginning of the experiment) showed a similar reduction of language switch costs in bimodal language switching as bimodal bilinguals. Bimodal switching between two originally spoken languages (e.g., producing German vocally and English manually by typewriting), however, did not reveal any reduction of language switch costs. Consequently, switch-costs differences between unimodal and bimodal language switching can no longer be seen as purely modality-specific effects. Obviously, it is not the assignment of the languages to distinct motor modalities per se that leads to reduced demands on cognitive control. Rather, the degree of phonological overlap between the two languages seems to be an additional crucial factor for the occurrence of modality-specific effects in language switching.Taken together, the findings obtained within the scope of the present dissertation demonstrate that cognitive control in language processing is influenced by modality-specific aspects. Results of the first line of research provide strong evidence for an influence of modality compatibility on the effectiveness of modality switching in language processing. The second line of research shows that modality-specific aspects also play a role for the effectiveness of language switching - at least under specific circumstances. Thus, the results of both lines of research highlight the importance of considering modality-specific effects in investigations regarding language processing as well as in the conception of new language-processing models.$$leng
000712821 588__ $$aDataset connected to Lobid/HBZ
000712821 591__ $$aGermany
000712821 653_7 $$ainput modality
000712821 653_7 $$alanguage processing
000712821 653_7 $$aoutput modality
000712821 653_7 $$atask switching
000712821 7001_ $$0P:(DE-82)000043$$aHuestegge, Lynn$$b2$$eThesis advisor
000712821 7001_ $$0P:(DE-82)IDM01033$$aKoch, Iring$$b1$$eThesis advisor$$urwth
000712821 8564_ $$uhttps://publications.rwth-aachen.de/record/712821/files/712821.pdf$$yOpenAccess
000712821 8564_ $$uhttps://publications.rwth-aachen.de/record/712821/files/712821_source.docx$$yRestricted
000712821 8564_ $$uhttps://publications.rwth-aachen.de/record/712821/files/712821.gif?subformat=icon$$xicon$$yOpenAccess
000712821 8564_ $$uhttps://publications.rwth-aachen.de/record/712821/files/712821.jpg?subformat=icon-1440$$xicon-1440$$yOpenAccess
000712821 8564_ $$uhttps://publications.rwth-aachen.de/record/712821/files/712821.jpg?subformat=icon-180$$xicon-180$$yOpenAccess
000712821 8564_ $$uhttps://publications.rwth-aachen.de/record/712821/files/712821.jpg?subformat=icon-640$$xicon-640$$yOpenAccess
000712821 8564_ $$uhttps://publications.rwth-aachen.de/record/712821/files/712821.jpg?subformat=icon-700$$xicon-700$$yOpenAccess
000712821 909CO $$ooai:publications.rwth-aachen.de:712821$$pdnbdelivery$$pdriver$$pVDB$$popen_access$$popenaire
000712821 915__ $$0StatID:(DE-HGF)0510$$2StatID$$aOpenAccess
000712821 9141_ $$y2018
000712821 9101_ $$0I:(DE-588b)36225-6$$6P:(DE-588)1151671827$$aRWTH Aachen$$b0$$kRWTH
000712821 9101_ $$0I:(DE-588b)36225-6$$6P:(DE-82)IDM01033$$aRWTH Aachen$$b1$$kRWTH
000712821 9201_ $$0I:(DE-82)721110_20140620$$k721110$$lLehrstuhl und Institut für Psychologie$$x0
000712821 961__ $$c2018-02-02T11:54:42.689302$$x2018-01-24T14:47:48.858171$$z2018-02-02T11:54:42.689302
000712821 9801_ $$aFullTexts
000712821 980__ $$aI:(DE-82)721110_20140620
000712821 980__ $$aUNRESTRICTED
000712821 980__ $$aVDB
000712821 980__ $$aphd