Designing effective mixed reality learning experiences: structuring insights with knowledge graphs and large language models

Hensen, Benedikt; Decker, Stefan Josef; Klemke, Roland

doi:HT031311042

Designing effective mixed reality learning experiences: structuring insights with knowledge graphs and large language models

Hensen, Benedikt^RWTH*

2025

Verantwortlichkeitsangabevorgelegt von Benedikt Hensen, M. Sc.

ImpressumAachen : RWTH Aachen University 2025

Umfang1 Online-Ressource : Illustrationen

Dissertation, Rheinisch-Westfälische Technische Hochschule Aachen, 2025

Veröffentlicht auf dem Publikationsserver der RWTH Aachen University

Genehmigende Fakultät
Fak09

Hauptberichter/Gutachter
Decker, Stefan Josef (Thesis advisor)^RWTH* ; Klemke, Roland (Thesis advisor)

Tag der mündlichen Prüfung/Habilitation
2025-10-23

Online
DOI: 10.18154/RWTH-2025-09217
URL: https://publications.rwth-aachen.de/record/1020761/files/1020761.pdf

Einrichtungen

Lehrstuhl für Informationssysteme und Datenbanken (Informatik 5) (124510)

Projekte

BMBF 16DHB2213 - Verbundprojekt: Personalisierte Kompetenzentwicklung und hybrides KI-Mentoring - tech4compKI; Teilvorhaben: Verteilte Datenanalyse zur Bestimmung von Personmerkmalen (16DHB2213) (16DHB2213)

Inhaltliche Beschreibung (Schlagwörter)
augmented reality (frei) ; knowledge graphs (frei) ; large language models (frei) ; learning technologies (frei) ; mixed reality (frei) ; virtual reality (frei)

Thematische Einordnung (Klassifikation)
DDC: 004

Kurzfassung
Mixed Reality (MR) kombiniert Elemente aus der physischen und digitalen Welt und hat somit das Potenzial, das Lernen zu verbessern, indem immersive 3D-Umgebungen geschaffen werden können. Komplexe Arbeitsabläufe und nahtlose kollaborative Interaktionen können so in MR verwirklicht werden. Allerdings enthält die Literatur hauptsächlich Einzelstudien, die individuelle Anwendungsfälle untersuchen. Da die dort getroffenen Aussagen nur für ähnliche Lernszenarien übertragbar sind, verdeutlicht dies den Bedarf einer strukturierten Wissensbasis, in der Erkenntnisse systematisch semantisch gespeichert werden. Bei Beachtung der Limitierungen können Aussagen so gezielt gefiltert werden, die auf die eigene Lehr- bzw. Lernsituation zutreffen und dadurch Vorteile von MR zum Lernen genutzt werden. Das Ziel dieser Dissertation besteht darin, diese Lücke systematisch zu erforschen, indem verschiedene Ansätze zur Integration von MR in Lernumgebungen untersucht werden und die daraus resultierenden Erkenntnisse strukturiert abrufbar in einem Wissensgraphen dokumentiert werden. Gemäß der Design Science Research Methodologie wurden gezielt verschiedene Artefakte als MR-Lernanwendungen erarbeitet. Das Dissertationsprojekt besteht aus verschiedenen aufeinander aufbauenden Schritten, die in einer Wissensdatenbank resultieren. Beginnend mit einer umfassenden Literaturstudie, wurde der zu erforschende Lösungsraum bezüglich dem Lerndesign, der Technologie und dem Lernszenario identifiziert. Nach der Konstruktion einer modularen Infrastruktur wurden MR-Artefakte iterativ erstellt und ausgewertet. Zur Strukturierung der Ergebnisse wurde eine Ontologie formuliert, die die Design Rationale und Erkenntnisse aus den Studien ausdrücken kann und anschließend die Resultate in dem Wissensgraphen erfasst. Diese Ergebnisse wurden in einem skalierbaren, innovativen Prozess erreicht mittels einer Kollaboration zwischen einem Menschen und einem Large Language Model (LLM). Mit einem lokalen LLM, das auf handelsüblicher Hardware ausgeführt werden kann, wurde die Argumentation zu der Design Rationale aus der Menge eigener Studien und aus den untersuchten Publikationen extrahiert und in diesen Wissensgraph übertragen. Der LLM-generierte Graph lässt sich jederzeit überprüfen und anpassen. Diese bereitgestellte Wissensdatenbank bietet Lehrenden und Studierenden eine umfassende Expertise des aktuellen Forschungsstandes. Sie können für die Einbindung von MR-Anwendungen in die Lehre relevante Entscheidungen treffen, die zu einem effektiven Einsatz führen. Der in dem Graphen reflektierte Forschungsstand kann durch das Hinzufügen neu veröffentlichter Publikationen über die LLM-Pipeline kontinuierlich aktualisiert werden. Durch das flexible Anfragesystem der Wissensdatenbank lassen sich die Ergebnisse dann wieder so gezielt filtern, dass die ausgegebenen Informationen relevant und zutreffend sind für die jeweils vorliegende Lernsituation.

Mixed Reality (MR), a technology that merges the digital and real world, offers significant opportunities to enhance learning experiences by providing immersive 3D environments, visualizing complex workflow processes and enabling seamless collaborative interactions. However, the literature mainly contains isolated, context-specific case studies about a certain topic and course, limiting the applicability of insights about MR-enhanced learning for diverse educational scenarios. Instead, granular considerations are helpful that take into account factors about the learning setting like the number of students, the characteristics of the course, the theoretical or practical focus of the learning goals, a remote or co-located setting, etc. Consequently, there exists a need for educators and students to utilize a structured knowledge base that guides them in integrating MR into learning. While navigating around its limitations, they can then benefit from the strength and opportunities of the MR technology. This dissertation aims to address this gap by systematically exploring approaches to integrate MR into learning and documenting the findings in a knowledge graph. By following the design science research methodology, solutions are developed for educators which can be incorporated into their existing practices. The process consists of several steps that build up to the final knowledge base. The methodology starts with a comprehensive literature review that defines the solution space based on the characteristics of MR learning applications. Then, an infrastructure is established that enables efficient development of MR artifacts. These MR learning artifacts are constructed and evaluated in iterations. Finally, an MR learning ontology is formulated to structure the gathered information, and the insights from the studies are recorded in a knowledge graph. The outcomes are achieved in a scalable, innovative process using an Artificial Intelligence (AI)-in-the loop process. A locally hosted Large Language Model (LLM) on consumer-grade hardware extracts the argumentations about design rationale from the numerous own research studies and from examined publications and adds them to an editable knowledge graph which can be adjusted by a human author. By providing a knowledge base that reflects the expertise, it enables effective decision-making for educators and students about integrating MR in learning activities. The knowledge base can be updated with the same LLM-driven process to continuously reflect state-of-the-art data. With the results of the dissertation, educators and students can benefit from a flexible query system on the knowledge base that provides the filtered information according to their use case characteristics.

OpenAccess:
PDF
(zusätzliche Dateien)