Generative AI-enhanced road distress identification and quantification under data-scarce and complex environmental conditions

Hu, Yuanyuan; Oeser, Markus; Liu, Pengfei

doi:10.18154/RWTH-2025-09376

Generative AI-enhanced road distress identification and quantification under data-scarce and complex environmental conditions

Hu, Yuanyuan^RWTH*

2025

Verantwortlichkeitsangabevorgelegt von Yuanyuan Hu

ImpressumAachen : RWTH Aachen University 2025

Umfang1 Online-Ressource : Illustrationen

Dissertation, Rheinisch-Westfälische Technische Hochschule Aachen, 2025

Veröffentlicht auf dem Publikationsserver der RWTH Aachen University

Genehmigende Fakultät
Fak03

Hauptberichter/Gutachter
Liu, Pengfei (Thesis advisor)^RWTH* ; Oeser, Markus (Thesis advisor)^RWTH*

Tag der mündlichen Prüfung/Habilitation
2025-10-31

Online
DOI: 10.18154/RWTH-2025-09376
URL: https://publications.rwth-aachen.de/record/1020982/files/1020982.pdf

Einrichtungen

Lehrstuhl und Institut für Straßenwesen (313410)

Thematische Einordnung (Klassifikation)
DDC: 624

Kurzfassung
Eine effektive Erkennung und Quantifizierung von Straßenschäden ist entscheidend für die Gewährleistung der Verkehrssicherheit, die Optimierung der Instandhaltung der Infrastruktur und die Verlängerung der Lebensdauer von Straßennetzen. Bestehende automatisierte Systeme weisen jedoch erhebliche Einschränkungen auf, die auf unzureichend annotierte Daten, eine geringe Anpassungsfähigkeit unter komplexen Umweltbedingungen, eine unzureichende Recheneffizienz auf mobilen Plattformen sowie ungenaue physikalische Messungen von Schadensmerkmalen zurückzuführen sind. Um diese Einschränkungen zu überwinden, wird in dieser Dissertation ein generatives, KI-basiertes Rahmenwerk vorgeschlagen, das Datengenerierung, Umweltanpassung, effiziente mobile Implementierung und dreidimensionale Quantifizierung kombiniert, um eine integrierte und feldeinsatzfähige Bewertung von Straßenschäden zu ermöglichen. Um Datenknappheit und die Kosten für Annotationen zu verringern, wurde ein diffusionsbasiertes Generierungsmodell, RoadDiffBox, entwickelt, das vielfältige und klassenkontrollierbare Straßenschadensbilder mit automatischen Bounding-Box-Annotationen synthetisiert. Dadurch wird das Training von Objekterkennungsmodellen ohne manuelle Beschriftung ermöglicht, wobei ein mAP@50 von 0,95 und ein F1-Score von 0,91 erreicht werden. Experimentelle Ergebnisse zeigen eine verbesserte Datensatzvielfalt und nachgelagerte Leistung mit stabiler Generalisierung über geografische Regionen und Anwendungsdomänen hinweg. Um die Erkennungsrobustheit bei schwachen Lichtverhältnissen zu verbessern, die häufig mit ungünstigen Umweltbedingungen einhergehen, wurde IllumiShiftNet vorgeschlagen. Dieses Modell führt eine Echtzeit-Umwandlung von Nacht- zu Tagesaufnahmen unter Verwendung nicht gepaarter Daten und einer schadensorientierten Verlustfunktion durch, wodurch eine präzise Schadensidentifikation ohne nachtbezogenes Training ermöglicht wird. Es erreicht eine hohe Rekonstruktionsqualität mit einem Peak Signal-to-Noise Ratio von 28,5 und einem Structural Similarity Index Measure von 0,78, während die Erkennungsleistung über variable Beleuchtungsniveaus und Wetterbedingungen hinweg aufrechterhalten wird. Aufgrund der Rechenbeschränkungen mobiler Plattformen wurde MobiLiteNet als leichtgewichtiges Detektionsframework entwickelt, das für die Echtzeit-Inferenz auf Smartphones und Mixed-Reality-Systemen optimiert ist. Das Framework integriert effiziente Kanalaufmerksamkeit, strukturelle Verfeinerung, spärliche Wissensdistillation, strukturiertes Pruning und Quantisierung, um die Erkennungsgenauigkeit mit der Recheneffizienz in Einklang zu bringen. Dadurch werden die Verarbeitungszeiten auf Smartphones um 71,8 % und auf Mixed-Reality-Systemen um 86,1 % reduziert. Für eine präzise dimensionale Quantifizierung wurde MonoCrackDepthNet entwickelt, das eine gleichzeitige Risssegmentierung und monokulare Tiefenschätzung durchführt. Dieses Framework ermöglicht eine 3D-Oberflächenrekonstruktion und die Extraktion physikalischer Dimensionen aus einzelnen RGB-Bildern, wodurch externe Kalibriergeräte oder Multisensorsysteme überflüssig werden. Es erreicht eine konkurrenzfähige Segmentierungsgenauigkeit und Messpräzision mit einem mittleren relativen Fehler von 8,75 % in physikalischen Quantifizierungsevaluierungen. Zusammenfassend etabliert diese Dissertation eine integrierte, skalierbare und feldeinsatzfähige Lösung für die Identifikation und Quantifizierung von Straßenschäden unter realen Bedingungen, die durch begrenzte Datenverfügbarkeit und Umweltvariabilität gekennzeichnet sind. Das vorgeschlagene Rahmenwerk treibt den Stand der automatisierten Straßenoberflächeninspektion voran, indem es die Abhängigkeit von manueller Datenerfassung reduziert, die Umweltrobustheit erhöht, die mobile Implementierung unterstützt und eine präzise physikalische Messung ermöglicht. Dadurch werden Echtzeit- und integrierte Lösungen innerhalb intelligenter Transportsysteme erleichtert.

Effective road distress detection and quantification are essential for ensuring transportation safety, optimizing infrastructure maintenance, and extending the service life of road networks. However, current automated systems face significant limitations due to insufficient annotated data, poor adaptability under complex environmental conditions, computational inefficiency on mobile platforms, and inaccurate physical measurement of distress features. To address these limitations, this dissertation proposes a generative AI-based framework that combines data generation, environmental adaptation, efficient mobile deployment, and three-dimensional quantification to enable integrated and field-ready road distress assessment. To mitigate data scarcity and annotation cost, a diffusion-based generative model, RoadDiffBox, was developed to synthesize diverse and class-controllable road distress images with automatic bounding-box annotations, supporting object detection training without manual labeling and achieving a mAP@50 of 0.95 with an F1-score of 0.91. Experimental results show improved dataset diversity and downstream performance, with stable generalization across geographic regions and application domains. To improve detection robustness in low-light scenarios, which often coincide with adverse environmental conditions, IllumiShiftNet was proposed. This model performs real-time nighttime-to-daytime image translation using unpaired data and a distress-focused loss function, thereby enabling accurate distress identification without requiring nighttime-specific training. It achieves high reconstruction quality, with a peak signal-to-noise ratio of 28.5 and a structural similarity index measure of 0.78, while maintaining detection performance across variable illumination levels and weather conditions. Due to the computational constraints of mobile platforms, MobiLiteNet was developed as a lightweight detection framework optimized for real-time inference on smartphones and mixed reality systems. The framework incorporates efficient channel attention, structural refinement, sparse knowledge distillation, structured pruning, and quantization to balance detection accuracy with computational efficiency, achieving processing time reductions of 71.8% on smartphones and 86.1% on mixed reality systems. For accurate dimensional quantification, MonoCrackDepthNet was developed to perform simultaneous crack segmentation and monocular depth estimation. This framework enables 3D surface reconstruction and extraction of physical dimensions from single RGB images, eliminating the need for external calibration devices or multi-sensor setups. It achieves competitive segmentation accuracy and dimensional measurement precision, with a mean relative error of 8.75% in physical quantification evaluations. In summary, this dissertation establishes an integrated, scalable, and field-deployable solution for road distress identification and quantification under real-world conditions characterized by limited data availability and environmental variability. The proposed framework advances the state of automated pavement inspection by reducing reliance on manual data collection, enhancing environmental robustness, supporting mobile deployment, and enabling accurate physical measurement, thus facilitating real-time, integrated solutions within intelligent transportation systems.

OpenAccess:
PDF
(additional files)