Interpreting black-box machine learning models with decision rules and knowledge graph reasoning

Karim, Md. Rezaul; Rebholz-Schuhmann, Dietrich; Decker, Stefan Josef

doi:10.18154/RWTH-2022-07610

Interpreting black-box machine learning models with decision rules and knowledge graph reasoning = Interpretation von Black-Box-Modellen für maschinelles Lernen mit Entscheidungsregeln Regeln und Knowledge Graph Reasoning

Karim, Md. Rezaul

2022

Verantwortlichkeitsangabevorgelegt von Md. Rezaul Karim, M.Eng.

ImpressumAachen : RWTH Aachen University 2022

Umfang1 Online-Ressource : Illustrationen, Diagramme

Dissertation, RWTH Aachen University, 2022

Veröffentlicht auf dem Publikationsserver der RWTH Aachen University

Genehmigende Fakultät
Fak01

Hauptberichter/Gutachter
Decker, Stefan Josef (Thesis advisor)^RWTH* ; Rebholz-Schuhmann, Dietrich (Thesis advisor)

Tag der mündlichen Prüfung/Habilitation
2022-06-28

Online
DOI: 10.18154/RWTH-2022-07610
URL: https://publications.rwth-aachen.de/record/850613/files/850613.pdf

Einrichtungen

Inhaltliche Beschreibung (Schlagwörter)
bioinformatics (frei) ; deep learning (frei) ; explainable AI (frei) ; interpretability (frei) ; knowledge graphs (frei) ; machine learning (frei)

Thematische Einordnung (Klassifikation)
DDC: 004

Kurzfassung
Algorithmen des maschinellen Lernens (ML) werden zunehmend zur Lösung komplexer Probleme eingesetzt, die eine hohe Genauigkeit aufweisen. Aufgrund des hohen Anteils nichtlinearer und übergeordneter Wechselwirkungen zwischen Merkmalen sind komplexe ML-Modelle jedoch tendenziell weniger interpretierbar und werden zunehmend zu Blackboxen, was einen klaren Kompromiss zwischen Genauigkeit und Interpretierbarkeit darstellt. Außerdem wissen wir bei der Verwendung eines Blackbox-Modells nicht, wie und warum die Eingaben letztendlich zu bestimmten Entscheidungen führen. Dies kann in vielen Situationen nicht akzeptabel sein (z. B. in klinischen Situationen, in denen KI erhebliche Auswirkungen auf das Leben von Menschen haben kann). Infolgedessen hat sich die Rechtslandschaft in europäischen und nordamerikanischen Ländern rasant entwickelt, z. B. mit der EU-GDPR. Erklärbarkeit, Transparenz und Fairness sind nicht nur wünschenswerte Eigenschaften der KI, sondern werden auch zu rechtlichen Anforderungen. Ein interpretierbares ML-Modell hingegen kann durch die Identifizierung statistisch signifikanter Merkmale aufzeigen, wie Eingabeinstanzen auf bestimmte Ausgaben abgebildet werden. Zieldieser Arbeit ist es, die Interpretierbarkeit und Erklärbarkeit von Black-Box-ML-Modellen zu verbessern, ohne dabei die Vorhersagegenauigkeit zu beeinträchtigen. Zunächst bettet ein Black-Box Multimodal Convolutional Autoencoder (MCAE) durch den Einsatz verschiedener Repräsentationslerntechniken multimodale Daten in einen gemeinsamen latenten Raum ein. Die erlernten Repräsentationen werden dann für die Klassifikationsaufgabe verwendet. Um die Interpretierbarkeit des Black-Box-Modells zu verbessern, werden verschiedene interpretierbare ML-Methoden wie Sondierungs-, Störungs- und Modellsurrogationstechniken angewendet. Außerdem wird ein interpretierbares Ersatzmodell trainiert, um das Verhalten des Backbox-Modells zu approximieren. Das Surrogatmodell wird anschließend verwendet, um Erklärungen in Form von Entscheidungsregeln und kontrafaktischen Daten zu liefern. Um sicherzustellen, dass die Modelle gegenüber Angreifern robust sind und sich wie beabsichtigt verhalten, wird zur Identifizierung von Angreifereingaben ein adversariales Retraining durchgeführt. Da ein widerstandsfähiges Modell in der Lage ist, einigermaßen konsistente und verlässliche Vorhersagen zu erstellen, wird die Robustheit als eine Eigenschaft formuliert, die sicherstellt, dass die Vorhersagen gegenüber kleinen Variationen in der Eingabe stabil bleiben, so dass ein kleines unsichtbares Rauschen durch Hinzufügen einer geringfügigen Störung zur gelieferten Eingabe die Vorhersage nicht in einen völlig anderen Krebstyp verwandeln sollte. Um ein konnektionistisches Modell um die Fähigkeit zum symbolischen Schließen zu erweitern, wird eindomänenspezifischer Wissensgraph (KG) erstellt, indem Wissen und Fakten aus der wissenschaftlichen Literatur und domänenspezifischen Ontologien integriert werden. Ein semantischer Reasoner wird dann verwendet, um die Assoziation signifikanter Merkmale mit verschiedenen Klassen auf der Grundlage von Beziehungen zu validieren, die er aus dem KG gelernt hat. Schließlich werden evidenzbasierte Entscheidungsregeln durch die Kombination von Entscheidungsregeln, kontrafaktischen Daten und Argumentation, um Vorhersageverzerrungen abzuschwächen. Außerdem wurde eine Webanwendung entwickelt, mit der sich die Qualität der Erklärungen im Hinblick auf die Systemkausalität, den Umfang und die Angemessenheit über eine benutzerfreundliche Schnittstelle bewerten lässt. Die quantitative Evaluierung zeigt, dass unser Ansatz bei der Auswertung von Testreihen, die nicht veröffentlicht werden, die bestehenden Ansätze deutlich übertrifft, was auf geringe Verzerrungen und eine potenziell hohe Verallgemeinerbarkeit hindeutet.

Machine learning (ML) algorithms are increasingly used to solve complex problems yielding high accuracy. However, due to high non-linear and higher-order interactions between features, complex ML models tend to be less interpretable and increasingly become black-boxes, exposing a clear trade-off between accuracy and interpretability. Further, using a black-box model, we don’t know how and why inputs are ultimately mapped to certain decisions. This may not be acceptable in many situations (e.g., in clinical situations where AI may significantly impact human lives). Consequently, legal landscapes have been fast-moving in European and North American countries, e.g., with the EU GDPR, explainability, adversarial robustness, transparency, and fairness are only some desirable properties of AI but also become legal requirements. An interpretable ML model, on the other hand, can outline how input instances are mapped into certain outputs by identifying statistically significant features. This thesis aims to improve the interpretability and explainability of black-box ML models without sacrificing significant predictive accuracy. First, by employing different representation learning techniques, a black-box multimodal convolutional auto encoder (MCAE) embeds multimodal data into a joint latent space. Learned representations are then used for the classification task. To improve interpretability of the black-box model, different interpretable ML methods such as probing, perturbing, and model surrogation techniques are applied. Further, an interpretable surrogate model is trained to approximate the behavior of the back-box model. The surrogate model is subsequently used to provide explanations in terms of decision rules and counterfactuals. To ensure the models are robust to adversaries and behaves as intended, adversarial retraining is performed for the identification of adversarial inputs. Since an adversarially robust model will be able to generate moderately consistent and reliable predictions, the robustness is formulated as a property to make sure that the predictions remain stable to small variations in the input so that a small invisible noise by addinga minor perturbation to the supplied input should not flip the prediction to a completely different cancer type. To add symbolic reasoning capability to a connectionist model (either black-box MCAE model or surrogate), a domain-specific knowledge graph (KG) is constructed by integrating knowledge and facts from scientific literature and domain-specific ontologies. A semantic reasoner is then used to validate the association of significant features w.r.t different classes based on relations it learned from the KG. Finally, evidence-based decision rules are generated by combining decision rules, counterfactuals, and reasoning to mitigate prediction biases. Besides, a web application is developed to ease assess the quality of explanations in terms of system causality scale, comprehensiveness, and sufficiency via a user-friendly interface. Quantitative evaluation shows that our approach significantly outperformed existing approaches when evaluated on held-out test set, indicating low biases and potentially high generalizability.

OpenAccess:
PDF
(zusätzliche Dateien)