Beyond benchmarks: towards robust artificial intelligence bone segmentation in socio-technical systems

Xie, Kunpeng; Truhn, Daniel; Hölzle, Frank

doi:HT031530846

Beyond benchmarks: towards robust artificial intelligence bone segmentation in socio-technical systems

Xie, Kunpeng^RWTH*

2026

Verantwortlichkeitsangabevorgelegt von Kunpeng Xie

ImpressumAachen : RWTH Aachen University 2026

Umfang1 Online-Ressource : Illustrationen

Dissertation, Rheinisch-Westfälische Technische Hochschule Aachen, 2026

Veröffentlicht auf dem Publikationsserver der RWTH Aachen University

Genehmigende Fakultät
Fak10

Hauptberichter/Gutachter
Hölzle, Frank (Thesis advisor)^RWTH* ; Truhn, Daniel (Thesis advisor)^RWTH*

Tag der mündlichen Prüfung/Habilitation
2026-06-29

Online
DOI: 10.18154/RWTH-2026-06407
URL: https://publications.rwth-aachen.de/record/1038263/files/1038263.pdf

Einrichtungen

Klinik und Lehrstuhl für Mund-, Kiefer- und Gesichtschirurgie (938010)

Inhaltliche Beschreibung (Schlagwörter)
X-Ray computed (frei) ; artificial intelligence (frei) ; computer-assisted (frei) ; image processing (frei) ; imaging (frei) ; mandible segmentation (frei) ; practice guideline (frei) ; three-dimensional (frei) ; tomography (frei)

Thematische Einordnung (Klassifikation)
DDC: 610

Kurzfassung
Trotz der Fortschritte in der automatisierten medizinischen Bildsegmentierung weisen KI-Modelle in verschiedenen klinischen Umgebungen immer noch eine unterdurchschnittliche Leistung auf, was die Integration in reale Arbeitsabläufe erschwert. In dieser vorab registrierten prospektiven multizentrischen Auswertung haben wir 20 hochmoderne Modelle zur Unterkiefersegmentierung anhand von 19.218 Segmentierungen von 1.000 klinisch neu gesampelten CT/CBCT-Scans analysiert. Unsere Ergebnisse deuten darauf hin, dass bei einem bestimmten Modell die Segmentierungsgenauigkeit um bis zu 25 % im Dice-Score variieren kann, wenn sich sozio-technische Faktoren wie Voxelgröße, Knochenausrichtung und Patientenbedingungen (z. B. Osteosynthese oder Pathologie) von vorteilhaft zu nachteilig verschieben. Höhere Schärfe, isotropisch kleinere Voxel und neutrale Ausrichtung verbesserten die Ergebnisse signifikant, während metallische Osteosynthese und anatomische Komplexität zu einer signifikanten Verschlechterung führten. Unsere Ergebnisse stellen die gängige Auffassung von KI-Modellen als „Plug-and-Play”-Tools in Frage und liefern evidenzbasierte Optimierungsempfehlungen sowohl für Kliniker als auch für Entwickler. Dies wird wiederum die Integration von KI-Segmentierungswerkzeugen in die routinemäßige Gesundheitsversorgung fördern.

Despite the advances in automated medical image segmentation, AI models still underperform in various clinical settings, posing challenges for integration into real-world workflows. In this pre-registered prospective multicenter evaluation, we analyzed 20 state-of-the-art mandibular segmentation models across 19,218 segmentations of 1,000 clinically resampled CT/CBCT scans. Our results suggest that for a given model, segmentation accuracy can vary by up to 25% in Dice score as socio-technical factors such as voxel size, bone orientation, and patient conditions (e.g., osteosynthesis or pathology) shift from favorable to adverse. Higher sharpness, isotropic smaller voxels, and neutral orientation significantly improved results, while metallic osteosynthesis and anatomical complexity led to significant degradation. Our findings challenge the common view of AI models as “plug-and-play” tools and suggest evidence-based optimization recommendations for both clinicians and developers. This will in turn boost the integration of AI segmentation tools in routine healthcare.

OpenAccess:
PDF
(additional files)