Metrologically interpretable feature extraction using generative AI for industrial machine vision

Wolfschläger, Dominik; Schmitt, Robert H.; Krüger, Jörg

doi:10.18154/RWTH-2024-09085

Metrologically interpretable feature extraction using generative AI for industrial machine vision = Metrologisch interpretierbare Merkmalsextraktion mithilfe generativer KI für die industrielle Bildverarbeitung

Wolfschläger, Dominik^RWTH*

2024

Verantwortlichkeitsangabevorgelegt von Dominik Wolfschläger

ImpressumAachen : RWTH Aachen University 2024

Umfang1 Online-Ressource : Illustrationen

Dissertation, Rheinisch-Westfälische Technische Hochschule Aachen, 2024

Veröffentlicht auf dem Publikationsserver der RWTH Aachen University

Genehmigende Fakultät
Fak04

Hauptberichter/Gutachter
Schmitt, Robert H. (Thesis advisor)^RWTH* ; Krüger, Jörg (Thesis advisor)

Tag der mündlichen Prüfung/Habilitation
2024-09-13

Online
DOI: 10.18154/RWTH-2024-09085
URL: https://publications.rwth-aachen.de/record/994094/files/994094.pdf

Einrichtungen

Thematische Einordnung (Klassifikation)
DDC: 620

Kurzfassung
Industrie 5.0 bezeichnet die europäische Vision einer menschenorientierten Transformation der Industrie, um die mit dem Klima- und demografischen Wandel verbundenen sozialen und wirtschaftlichen Folgen zu adressieren. Die automatisierte Qualitätskontrolle (AQK) ist ein erster Schritt zu einer nachhaltigen und ressourceneffizienten Fertigung. Eine Voraussetzung für vertrauenswürdige Entscheidungen in der AQK sind valide Daten aus Messungen. Bildverarbeitungssysteme sind eine vielversprechende Wahl für die Umsetzung von AQK. Die Extraktion messbarer Größen aus Bildern mittels herkömmlicher Bildverarbeitung (BV) ist jedoch eine anspruchsvolle Aufgabe. Deep Learning basierte BV-Algorithmen lernen zwar die charakteristischen Merkmale eines gegebenen Datensatzes, sind aber attributive Black-Box-Modelle, die keine Interpretation ihrer Entscheidungen in Bezug auf die Bildeigenschaften im Sinne von Industrie 5.0 zulassen.Diese Arbeit stellt ein neues messtechnisch interpretierbares Verfahren zur Merkmalsextraktion für die industrielle Bildverarbeitung unter Verwendung von Generativer KI (GenAI) vor. GenAI Modelle können die zugrundeliegende Verteilung eines Datensatzes erlernen und anschließend verwenden, um fotorealistische Bilder mit gewünschten Eigenschaften zu erzeugen, die von einem sogenannten Merkmalsraum gebildet werden. Unter Verwendung der Design Science Research-Methodik wird in dieser Arbeit untersucht, ob die erlernten Merkmalsdarstellungen von GenAI Modellen Qualitäts-relevante Merkmale repräsentieren und sich nach erfolgter Interpretation für Messungen in der industriellen BV eignen. Zunächst wird ein Verfahren entwickelt, welches den Generationsprozess von GenAI invertiert und damit die Nutzung zur Merkmalsextraktion für die industrielle BV ermöglicht. Ein heuristischer Bewertungsrahmen wird entwickelt, um die Dimensionalität des Merkmalsraums als entscheidenden Parameter für die Darstellungsfähigkeit von GenAI Modellen zu bestimmen. Für die Interpretation der implizit gelernten Merkmalsdarstellungen durch Qualitäts-relevante Merkmale wird ein Vorgehen entwickelt, das den Merkmalsraum erkundet, um die Darstellungen zu identifizieren und dann zu visualisieren. Zuletzt werden die metrologischen Eigenschaften der extrahierten Merkmale untersucht. Das vorgestellte Merkmalsextraktionsverfahren wird anhand von Definitionen aus dem Vocabulary of Metrology (VIM) interpretiert und eine Methode zur Messung der interpretierten Größen im Merkmalsraum entwickelt. Die Evaluierung des entwickelten Verfahrens erfolgt an zwei industriellen BV-Datensätzen. Drei Arten von Bildeigenschaften werden mit dem Verfahren extrahiert. Die entwickelte Methode ermöglicht die Extraktion und Messung von Größen für die industrielle BV, die derzeit mit traditionellen BV-Algorithmen nicht zugänglich sind.

Industry 5.0 is Europe's vision for the human-centered transformation of the industry to address the social and economic consequences of climate and demographic change. Automated Quality Control (AQC) is the first step towards achieving sustainable and resource-efficient manufacturing. A prerequisite for trustworthy decisions in AQC is valid data provided by measurements. Machine Vision Systems (MVS) are an attractive choice for implementing AQC. However, extracting measurable features from images using traditional Machine Vision algorithms is a challenging task. Machine Vision algorithms based on Deep Learning learn the characteristic properties of a given dataset implicitly. However, they are often attributive black-box models that do not allow for an interpretation of decisions in terms of properties of the input image in the vision of Industry 5.0.This thesis introduces a novel metrologically interpretable feature extraction method for industrial Machine Vision using Generative AI (GenAI). GenAI models can learn the underlying distribution of a dataset and can be used to generate photorealistic images with desired properties from representations formed in a latent space. Using the Design Science Research methodology, this work investigates whether the representations learned in the latent space of GenAI models can be interpreted in terms of quality characteristics and subsequently used to conduct measurements for industrial Machine Vision applications. First, a framework is designed that inverts the generation process of Generative AI models to use them for feature extraction in industrial Machine Vision. A heuristic evaluation framework is developed to determine an appropriate latent space dimensionality, which is a crucial parameter for the representational capabilities of Generative AI models. To achieve an interpretation of the implicitly learned representations by means of quality characteristics, a workflow that uses latent space exploration techniques to identify and visualize the extracted latent space representations is developed. In the last step, the metrological properties of the extracted features are investigated. An interpretation of the proposed feature extraction method in terms of definitions from the Vocabulary of Metrology (VIM) is conducted and a method for conducting measurements in the latent space based on the interpreted quantities is presented. The evaluation of the developed method is performed on two industrial Machine Vision datasets. Three types of image properties are extracted with the framework. The developed method allows the extraction and measurement of quantities for industrial Machine Vision applications, which are currently not accessible using traditional Machine Vision algorithms.

OpenAccess:
PDF
(additional files)