Thermal imaging and artificial intelligence for preventive road safety: a digital traffic shadow approach to conflict detection

Pettirsch, Arnd; García-Hernandez, Alvaro; Oeser, Markus

doi:45165

Thermal imaging and artificial intelligence for preventive road safety: a digital traffic shadow approach to conflict detection

Pettirsch, Arnd^RWTH*

2026

Verantwortlichkeitsangabevorgelegt von Arnd Pettirsch

ImpressumAachen : RWTH Aachen University 2026

Umfang1 Online-Ressource : Illustrationen

Dissertation, Rheinisch-Westfälische Technische Hochschule Aachen, 2026

Veröffentlicht auf dem Publikationsserver der RWTH Aachen University

Genehmigende Fakultät
Fak03

Hauptberichter/Gutachter
García-Hernandez, Alvaro (Thesis advisor)^RWTH* ; Oeser, Markus (Thesis advisor)^RWTH*

Tag der mündlichen Prüfung/Habilitation
2026-03-06

Online
DOI: 10.18154/RWTH-2026-03195
URL: https://publications.rwth-aachen.de/record/1031936/files/1031936.pdf

Einrichtungen

Lehrstuhl und Institut für Straßenwesen (313410)

Projekte

Thematische Einordnung (Klassifikation)
DDC: 624

Kurzfassung
Die Verkehrssicherheitsplanung stützt sich überwiegend auf retrospektive Unfalldaten, ein reaktiver Ansatz, der statistisch begrenzt ist und latente Risiken nur unzureichend erfasst. Proaktive Sicherheitsüberwachung mittels Videoanalyse wird durch die Schwächen von RGB-Bilddaten (eingeschränkte Robustheit unter bestimmten Wetter- und Beleuchtungsbedingungen) sowie durch Datenschutzbedenken limitiert. Zudem mangelt es den verwendeten Ersatzmaßen für die Verkehrssicherheit häufig an der für technische Entscheidungen erforderlichen Interpretierbarkeit. Diese Dissertation stellt einen datenschutzkonformen Systemansatz zur präventiven Verkehrssicherheitsanalyse auf Basis von Wärmebildtechnik vor. Ziel ist die Entwicklung eines digitalen Schattens des Verkehrs, einer dynamischen 3D-Repräsentation, die rohe Wärmebildvideos in entscheidungsunterstützende, interpretierbare Sicherheitserkenntnisse überführt. Die Arbeit adressiert hierfür drei methodische Herausforderungen in der maschinellen Wahrnehmung, der 3D-Rekonstruktion und der semantischen Konfliktinterpretation. Zunächst wird eine schwach überwachte, inkrementelle Lernmethodik entwickelt, um den Mangel an annotierten Wärmebilddaten zu überwinden und eine robuste, skalierbare Objekterkennung unter heterogenen Kameraperspektiven zu ermöglichen. Zweitens wird ein Verfahren zur monokularen 3D-Rekonstruktion vorgestellt. Durch die Integration eines effizienten neuronalen Netzes mit einem geometrischen Strahl-Ebenen-Schnittmodell liefert das System präzise 3D-Positionen und Orientierungen von Verkehrsteilnehmern in Echtzeit. Drittens werden die extrahierten Trajektorien in das Knowledge PET3D System eingebettet. Dieses erweitert klassische Ersatzmaße der Verkehrssicherheit, indem es kinematische Indikatoren mit semantischem Kontext anreichert. Durch 3D-Interaktionsanalyse, regelbasierte Bewertung von Vorfahrtsbeziehungen und den Einsatz eines Transformer-basierten Modells zur Anomalie-Erkennung liefert das System interpretierbare, videoverifizierte Bewertungen von Beinaheunfällen, die sich direkt für die ingenieurwissenschaftliche Praxis eignen. Insgesamt zeigen die Ergebnisse, dass maschinelle Wahrnehmung im Wärmebild, 3D-Rekonstruktion und wissensbasierte Interpretation zu einer robusten Prozesskette integriert werden können. Diese ermöglicht eine kontinuierliche, datenschutzkonforme Überwachung unter vielfältigen Umweltbedingungen. Der entwickelte digitale Schatten des Verkehrs schafft die Grundlage für automatisierte, erklärbare und skalierbare Verkehrssicherheitsaudits und trägt zur Entwicklung intelligenter Infrastruktursysteme bei, die ein proaktives Verkehrssicherheitsmanagement unterstützen.

Road safety planning has predominantly relied on retrospective accident data, a reactive approach that is statistically limited and fails to adequately capture latent risks present in everyday traffic. Proactive safety monitoring using video analysis is constrained by the weaknesses of RGB image data, including reduced robustness under certain weather and lighting conditions, as well as by significant data privacy concerns. Furthermore, the surrogate safety measures commonly employed often lack the level of interpretability required for engineering decision-making. This dissertation presents a data privacy-compliant system approach for preventive road safety analysis based on thermal imaging technology. The dissertation culminates in the development of a Digital Traffic Shadow, a dynamic 3D virtual representation that transforms raw thermal video data into operationally relevant and interpretable safety insights. The work addresses three methodological challenges through a cumulative series of studies covering machine perception, 3D reconstruction, and semantic conflict interpretation. First, a weakly supervised, incremental learning methodology is developed to overcome the lack of annotated thermal data and to enable robust, scalable object detection under heterogeneous camera perspectives. Second, the dissertation proposes a method for monocular 3D reconstruction. By integrating an efficient neural network with a geometric ray–plane intersection model, the system delivers precise 3D positions and orientations of road users in real time. Third, the extracted trajectories are embedded into the Knowledge PET3D system. This system extends classical surrogate safety measures by enriching kinematic indicators with semantic context. Through 3D interaction analysis, rule-based assessment of right-of-way relationships, and the use of a Transformer-based model for anomaly detection, the system provides interpretable evaluations of near-misses supported by linked video evidence and suitable for direct use in engineering practice. Overall, the results demonstrate that thermal imaging-based machine perception, 3D reconstruction, and knowledge-based interpretation can be integrated into a robust process chain. This enables continuous, data privacy-compliant monitoring under diverse environmental conditions. The developed Digital Traffic Shadow provides a foundation for automated, explainable, and scalable road safety audits, contributing to the development of intelligent infrastructure systems that support proactive traffic safety management.

OpenAccess:
PDF
(additional files)