Exploring teaching and learning in virtual reality: challenges and opportunities with multimodal learning analytics

Heinemann, Birte; Schroeder, Ulrik; Spannagel, Christian

doi:44575

Exploring teaching and learning in virtual reality: challenges and opportunities with multimodal learning analytics

Heinemann, Birte^RWTH*

2025

Verantwortlichkeitsangabevorgelegt von Birte Heinemann, M. Sc.

ImpressumAachen : RWTH Aachen University 2025

Umfang1 Online-Ressource : Illustrationen

Dissertation, RWTH Aachen University, 2025

Veröffentlicht auf dem Publikationsserver der RWTH Aachen University

Genehmigende Fakultät
Fak01

Hauptberichter/Gutachter
Schroeder, Ulrik (Thesis advisor)^RWTH* ; Spannagel, Christian (Thesis advisor)

Tag der mündlichen Prüfung/Habilitation
2025-07-28

Online
DOI: 10.18154/RWTH-2025-06448
URL: https://publications.rwth-aachen.de/record/1015570/files/1015570.pdf

Einrichtungen

Inhaltliche Beschreibung (Schlagwörter)
computer graphics education (frei) ; education (frei) ; immersive learning (frei) ; lab-based learning (frei) ; learning analytics (frei) ; multimodal learning analytics (frei) ; teacher education (frei) ; technology enhanced learning (frei) ; virtual reality (frei)

Thematische Einordnung (Klassifikation)
DDC: 004

Kurzfassung
Virtuelle Realität (VR) bietet vielversprechende Möglichkeiten zur Gestaltung immersiver und interaktiver Lernumgebungen für die Bildung. Mit dem wachsenden Interesse an VR richtet sich die Forschung auf die Frage, unter welchen Bedingungen Lernen in VR besonders effektiv ist. Dabei geht es nicht nur um die Inhalte, die in VR vermittelt werden können, sondern auch darum, wie immersive Merkmale – etwa Interaktivität, Präsenz und räumliche Metaphern – Lernprozesse beeinflussen. Gleichzeitig bestehen weiterhin Herausforderungen bei der systematischen Evaluation von VR-Lernszenarien und beim Aufbau skalierbarer, wiederverwendbarer Infrastrukturen für die Bildungsforschung. Zentrale offene Fragen sind: Welche Merkmale von VR fördern das Lernen besonders? Wie lässt sich Onboarding und Usability für unterschiedliche Zielgruppen optimieren? Und wie kann multimodale Lernanalytik (MMLA) Lernende und Lehrende bei datenbasierten Entscheidungen unterstützen? Diese Dissertation befasst sich mit diesen Fragen durch die Konzeption, Implementierung und Evaluierung von drei VR-Lernprojekten, die durch eine modulare Analytik-Infrastruktur unterstützt werden: (1) simulationsbasiertes Lehrkräftetraining mit Teach-R, (2) immersives Lernen der Rendering-Pipeline mit RePiX VR sowie (3) interdisziplinäre Laborlernsettings. Diese Anwendungsfälle zeigen exemplarisch, wie MMLA sinnvoll in VR integriert werden kann – sowohl zur Forschung als auch zur praktischen Nutzung im Bildungskontext. Methodisch folgt die Arbeit einem iterativen, agilen Ansatz, der den Prinzipien der designbasierten Forschung (DBR) und nutzerzentrierter Gestaltung folgt, sowie auf unterster Ebene Design-Make-Learn-Zyklen nutzt. Für Teach-R und RePiX VR wurden mehrere empirische Studien im Pretest-Intervention-Posttest-Design durchgeführt; der dritte Anwendungsfall diente der Weiterentwicklung und Generalisierung der Infrastruktur. Zu den wichtigsten Beiträgen gehören (1) eine wiederverwendbare, xAPI-basierte Infrastruktur für Lernanalytik in VR, (2) empirische Erkenntnisse zur Gestaltung von Onboarding, Präsenz und Usability, (3) zwei beispielhafte VR-Lernanwendungen für die Lehrerausbildung und Computergrafik, (4) Dashboards und Visualisierungen zur Reflexionsunterstützung und curriculären Weiterentwicklung. Diese Beiträge sind in bestehende Forschung der Bildungstechnologien sowie der Mensch-Computer-Interaktion eingebettet und wurden mit aktuellen Methoden und dem xAPI-Standard validiert. Durch die Abkehr von traditionellen Medienvergleichsstudien vermeidet die Arbeit Fallstricke wie Neuheitseffekte und Störvariablen und konzentriert sich darauf, wie und wann Lernen in VR unterstützt wird. Sie zeigt, dass VR – in Kombination mit multimodalen Learning Analytics – das Lehren und Lernen bereichern kann. Diese Dissertation liefert pädagogische Erkenntnisse und technische Lösungen für skalierbare, datengestützte Bildungsinnovationen.

Virtual Reality (VR) in education offers promising opportunities to design immersive and interactive learning environments. As interest in VR grows, research focuses on the conditions under which learning in VR becomes effective. Beyond exploring what can be taught in VR, it is essential to investigate how immersive features—such as interactivity, presence, and spatial metaphors—shape learning processes. At the same time, challenges persist in systematically evaluating VR learning scenarios and in developing scalable, reusable infrastructures for educational research. Open key questions include: Which VR features are most beneficial for learning? How can onboarding and usability be optimized for diverse learners? And how can multimodal learning analytics (MMLA) support both learners and educators in making data-informed decisions? This dissertation addresses these questions through the design, implementation, and evaluation of three VR learning projects, each supported by a modular analytics infrastructure: (1) simulation-based teacher training in classroom management using Teach-R, (2) immersive learning of the rendering pipeline with RePiX VR, and (3) interdisciplinary lab-based learning scenarios. Together, these cases demonstrate how MMLA can be meaningfully integrated into VR for both research and educational practice. Methodologically, the work follows an iterative, agile approach, combining design-based research (DBR), human-centred design, and design-make-learn cycles. Empirical studies using pre-test, intervention, and post-test designs were conducted for Teach-R and RePiX VR, while the third case contributed to infrastructure development and conceptual generalization. Key contributions include (1) a reusable, xAPI-based infrastructure for learning analytics in VR; (2) empirical insights into onboarding, presence, and usability; (3) two exemplary VR applications for teacher education and computer graphics; and (4) dashboards and visualizations that support reflection and curriculum development. These contributions are grounded in existing research across educational technology, learning sciences, and human-computer interaction and are validated against state-of-the-art methods and the xAPI specification. By shifting away from traditional media comparison studies, the work avoids pitfalls such as novelty effects and confounding variables, instead focusing on how and when learning in VR works. It shows that VR — when paired with multimodal analytics — can meaningfully enhance teaching and learning. This dissertation provides pedagogical insights, and technical solutions for scalable, data-informed educational innovation.

OpenAccess:
PDF
(additional files)