Ethical investigations of AI in medical diagnostics

Kempt, Hendrik; Nagel, Saskia K.; Nyholm, Sven

doi:HT030044343

Ethical investigations of AI in medical diagnostics

Kempt, Hendrik^RWTH*

2023

Verantwortlichkeitsangabevorgelegt von Hendrik Kempt

ImpressumAachen : RWTH Aachen University 2023

Umfang1 Online-Ressource

Dissertation, Rheinisch-Westfälische Technische Hochschule Aachen, 2023

Veröffentlicht auf dem Publikationsserver der RWTH Aachen University

Genehmigende Fakultät
Fak07

Hauptberichter/Gutachter
Nagel, Saskia K. (Thesis advisor)^RWTH* ; Nyholm, Sven (Thesis advisor)

Tag der mündlichen Prüfung/Habilitation
2023-06-09

Online
DOI: 10.18154/RWTH-2023-05683
URL: https://publications.rwth-aachen.de/record/959574/files/959574.pdf

Einrichtungen

Lehr- und Forschungsgebiet Angewandte Ethik (711120)

Projekte

BMBF 01GP1910A - Verbundprojekt - Teilprojekt Umfragen, Interviews (BMBF-01GP1910A) (BMBF-01GP1910A)

Inhaltliche Beschreibung (Schlagwörter)
AI ethics (frei) ; diagnostics (frei) ; medical ethics (frei)

Thematische Einordnung (Klassifikation)
DDC: 100

Kurzfassung
Durch die Fortschritte in der maschinen-gelernten künstlichen Intelligenz haben die Möglichkeiten der Automatisierung klinischer Prozesse und Entscheidungen neue, bisher unerreichbare Dimensionen erreicht. Die folgende Arbeit zielt darauf ab, ethische Analysen zu den Fragen des Einsatzes medizinischer KI für verschiedene diagnostische Zwecke zu liefern. Zur Motivation und Kontextualisierung dieser Artikel wird zunächst ein kurzer Überblick über die Entwicklungen der medizinischen Diagnose-KI und die damit verbundene ethische Debatte gegeben. Anschließend wird der methodische Ansatz erläutert, der drei verschiedene Wirkungsebenen einführt. Diese dienen als Orientierung zur Erarbeitung von Regeln, die ein reflektierendes Gleichgewicht (reflective equilibrium) produzieren und so gerechtfertigt werden könne. Diese umfassen 1) KI als Assistenz für menschliche Ärzt*innen und Patient*innen, 2) als Ersatz für die Arbeit von Ärzt*innen und die Entscheidungsfindung von Patient*innen und 3) als Einfluss auf Normen und Erwartungen, die die Ärzt*innen-Patient*innen-Verhältnisse bestimmen. Der Hauptteil der Dissertation besteht aus sechs Beiträgen, die sich mit begrifflichen Klärungen befassen, normative Vorschläge für den Einsatz von KI in diagnostischen Kontexten unterbreiten und das Feld um Überlegungen zu Gerechtigkeit und Ärzt*innen-Patient*innen-Beziehungen erweitern. Da die beschreibende Terminologie von Technologie bereits gewisse normative Dimensionen dieser Technologie präsupponieren oder auch verschleiern kann, ist es relevant, wie Technologie semantisch charakterisiert wird. Deswegen ist eine philosophische Genauigkeit einerseits und eine diskursive Aufmerksamkeit andererseits notwendig, um ein gemeinsames Verständnis zu finden und philosophische Unterscheidungen für klinische Belange anwendbar zu machen. Der erste Beitrag "Responsibility, second opinions and peer-disagreement: ethical and epistemological challenges of using AI in clinical diagnostic contexts" erörtert mehrere dieser konzeptionellen und normativen Fragen und macht einen Vorschlag zur Lösung eines spezifischen Anwendungsfalls von KI als potenzieller Anbieter von medizinischen Zweitmeinungen. Das Papier beginnt mit einer Taxonomie von Zweitmeinungen, da eine solche strukturierte Übersicht in der Literatur bisher fehlt. Mit einem Überblick über die Konzepte der Verantwortlichkeit, der Erklärbarkeit und der Peer-Disagreements weist dieser Beitrag auf eine pragmatische und zugleich normativ begründete Lösung hin, die es KI-DSS ermöglicht, so viele Aufgaben in diagnostischen Prozessen wie möglich zu übernehmen: als bejahende Zweitmeinung fungiert sie als hinreichende Evidenz, als nicht übereinstimmende Zweitmeinung fungiert sie als Indikator, dass weitere menschliche Begutachtung eines Falles nötig ist. Wir nennen dies die "Regel der Uneinigkeit“ (rule of disagreement). Der zweite Beitrag "I'm afraid I can't let you do that, Doctor - Meaningful Disagreement with AI in Medical Contexts" baut direkt auf den Ergebnissen dieses ersten Beitrags auf und befasst sich mit der Frage, wie man einer KI-DSS widersprechen kann. Ärzt*innen, die zu anderen diagnostischen Schlussfolgerungen kommen als eine KI, werden einer doppelten Herausforderung ausgesetzt, bei der sie einerseits die KI als Beweismittel nutzen sollen, andererseits aber auch das Urteil der KI als Beweismittel akzeptieren müssen. Indem wir eine Parallele zur "sinnvollen menschlichen Kontrolle“ (meaningful human control) als Standard für die Beurteilung der ethischen Zulässigkeit kooperativer Systeme in medizinischen Prozessen ziehen, schlagen wir "sinnvolle Meinungsverschiedenheiten" (meaningful disagreements) als Marker für ethisch begründete Meinungsverschiedenheiten zwischen Ärzt*innen und KI vor. Ähnlich wie die Fragen, die im ersten Beitrag aufgeworfen und im zweiten beantwortet wurden, bietet der Beitrag "Relative Explainability and Double Standards in Medical Decision-Making" eine Untersuchung der Debatte über Erklärbarkeit und Genauigkeit. Aus den Gründen, warum die Erklärbarkeit von Technologie für die technologisch vermittelte Entscheidungsfindung relevant sein kann, lässt sich ein Argument für die Rolle von Erklärbarkeit im Allgemeinen ableiten. Um die unterschiedlichen Standards medizinischer Erklärungen als in Abhängigkeit von der Qualität des medizinischen Personals stehend zu bewerten, wird die Unterscheidung zwischen "absoluter" und "relativer Erklärbarkeit" eingeführt. Damit lässt sich argumentieren, dass medizinische KI nicht an höheren, absoluten Maßstäben gemessen werden sollte (was einen ungerechtfertigten Doppelstandard mit sich bringt), sondern dass sie vielmehr an der Tiefe und Länge der von Menschen gemachten Erklärungen gemessen werden sollte. Mit dem Rückgriff auf eine angemessene Risikobewertung durch Zertifizierung ("Zertifizierbarkeit") und den Verweis auf die Expertise des Arztes bei der Übertragung der KI-basierten Diagnose auf den Patienten ("Interpretierbarkeit") wird argumentiert, die Relevanz der Erklärbarkeit insgesamt zu reduzieren. Der folgende Beitrag befasst sich mit Gerechtigkeitsüberlegungen für Standards globaler KI-Governance in der medizinischen KI ("Justice and the Normative Standards of Explainability In Healthcare, in Philosophy & Technology") und stellt die Normativität dieser ansonsten implizit angenommenen weltweiten Konformität von Standards in Frage. Er führt eine zusätzliche Unterscheidung zwischen lokalen und globalen Standards der Erklärbarkeit ein und baut damit auf der Unterscheidung des vorherigen Papiers auf. Ziel ist es, die Aufmerksamkeit auf den Konflikt zwischen der berechtigten Selbstbestimmung von Gemeinschaften, die keine hohen Standards der Erklärbarkeit benötigen, und den globalen Bemühungen, die oft von reicheren Ländern mit hohem Lebensstandard angeführt werden, die Regeln der KI zu bestimmen, zu lenken. Der nächste Beitrag befasst sich mit der Verwendung von KI-Diagnoseinstrumenten als Placebos in klinischen Kontexten: "Placebos, Physician-Patient Relationships, and AI". Die Verwendung von Placebos als tatsächliche Behandlung ist umstritten, und a fortiori der Einsatz von KI zu diesem Zweck. Allerdings kann die KI bei der Anwendung von Placebos zwei neue Funktionen übernehmen, die eine Neubewertung von Placebos nötig machen können: Erstens kann sie als Instrument eingesetzt werden, um herauszufinden, welchem Patienten mit welcher Krankheit am besten mit einer Placebobehandlung geholfen werden kann, wodurch unnötige Behandlungen eingespart werden können. Und zweitens kann die KI eingesetzt werden, um selbst Placebodiagnosen und -behandlungen durchzuführen, wobei sie sich die Wahrnehmung der Technologie als besonders vertrauenswürdig zunutze macht. Beide Optionen erfordern jedoch einen ausgereiften Vertrauensbegriff, und insbesondere unter Einbeziehung von Normen des Ärzt*innen-Patient*innen-Verhältnisses müssen die ethisch rechtfertigbaren Möglichkeiten eingeschränkt werden. Der letzte Beitrag befasst sich mit der Frage, welchen Beitrag KI zu Fragen der medizinischen Notwendigkeit leisten kann („Should clinical decision-support systems contribute to medical necessity judgments?“). Da zu diesem Thema bisher wenig ethische Forschung vorliegt, werden einige grundlegende Unterscheidungen zwischen der Beurteilung einer medizinischen Intervention als notwendig und der sozialen Form der "medizinischen Notwendigkeit" als das vereinbarte Minimum dessen, was ein Gesundheitsdienstleister bezahlen muss, dargelegt. Unter Bezugnahme auf frühere Arbeiten zur Verantwortung (Kempt & Nagel 2021) und zur Erklärbarkeit (Kempt, Heilinger & Nagel 2022b) wird argumentiert, dass die Beurteilung der medizinischen Notwendigkeit mehr als nur die Anpassung von Mitteln an einen Zweck erfordert, sondern auch andere Arten von Urteilen. Da KI-Anwendungen solche Urteile nicht liefern können, können sie auch keine menschlichen Ärzt*innen bei der Beurteilung der medizinischen Notwendigkeit ersetzen. Die folgende Diskussion zeigt, wie sowohl die zugrundeliegende Methode und die Wirkungsebenen als auch die in dieser Arbeit vorgebrachten Argumente es ermöglichen, weitere Fragen zu stellen und die bereits gegebenen Antworten zu erweitern. Die Unterscheidungen, die in der Debatte über die Erklärbarkeit angeboten werden, erlauben es, sich diesem Thema aus einer Perspektive der Gerechtigkeit und nicht der klinischen Interaktionen zu nähern; das Prinzip der Uneinigkeit legt Anwendungsfälle für neue Formen von Ärzt*innen-Technik-Teams nahe, und Fragen zu Placebos und medizinischer Notwendigkeit verdeutlichen die Notwendigkeit, die Ärzt*innen-Patient*innen-Beziehungen in durchtechnisierten Arztpraxen zu reflektieren.

Since the advent of machine learning as an artificial intelligence paradigm, opportunities for automating clinical processes and decision-making have emerged that were previously considered unattainable. This dissertation aims to develop ethical analyses of the issues surrounding the use of "medical AI" for various diagnostic purposes. To motivate and contextualize the articles, a brief overview of the developments of artificial intelligence in medical diagnostics and the related ethical debate is first presented. For this endeavor, three different levels are presented against which diagnostic AI can be analyzed in terms of its intent and function. The first level concerns the role of AI as a decision support system. In this role, AI is primarily understood according to the assistance of physicians and patients in the decision-making process. The requirements for AI in this role are thus to compensate for human limitations. At the same time, such assistance can not only support decisions, but also make new decisions possible in the first place. The second level assumes that AI can replace human decisions, i.e. those of both physicians and patients. In this view, AI applications for diagnostic purposes become successful when they exceed the benchmarks of human decision-making. As a third level, the influence of AI on medical practice is examined. Here, the role of AI as an assistant or replacement is less important than the consequences that the use of such AI may have for other medical processes. This concerns, for example, norms of the doctor-patient relationship. This level allows for an analysis of the impact of AI on medical norms that goes beyond the analysis of the technology. The first paper discusses several of these conceptual and normative issues and proposes a solution to a specific use case of AI for the provision of second medical opinions. To this end, a previously unavailable taxonomy of types of clinical second opinions is first undertaken. With an overview of the concepts of responsibility, explainability, and peer disagreements, this paper points to a pragmatic yet normative solution that allows AI-based decision support systems to take on as many tasks in diagnostic processes as possible: In the case of a second opinion of an AI confirming the initial diagnosis, this can be considered sufficient evidence for a diagnosis; should such a second opinion deviate from the initial diagnosis of the treating physician, this must be considered as an indicator that a further, human assessment of that case is necessary. This norm is referred to here as the "rule of disagreement". The second paper builds on these findings and addresses the question of how decision support systems can be disagreed with in clinical contexts. Physicians who come to different diagnostic conclusions than an AI they use as such a decision support system face a double challenge: on the one hand, the AI's diagnostic proposal is evidence that needs to be taken into account; on the other hand, the decision for a diagnosis is in the hands of physicians, and a rejection of the evidence produced by the AI requires further, alternative justifications that are not readily available. To this end, we first distinguish the forms of conflict between physicians and technology: malfunctions, mistakes, and disagreements. Starting from the notion of Meaningful Human Control (MHC) as a normative standard for assessing the ethical permissibility of cooperative systems in clinical processes, the notion of meaningful disagreement is introduced and elaborated. In the third part, the notion of explainability of AI-generated diagnoses is normatively examined. To this end, the various goods that explainability of AI diagnoses may entail are first described. Through the conceptual distinction between "absolute" and "relative" explainability, a normative distinction is then also introduced to examine the standards against which the explanations of an AI diagnosis are measured. Insofar as such explanations are understood in comparison to human standards ("relative") of diagnoses rather than absolute, higher claims for AI diagnoses cannot be held. Last, it is shown that the goods of explainability presented at the beginning can be replaced without loss by recourse to appropriate risk assessment through certification ("certifiability") and reference to the physician's expertise in translating the AI-based diagnosis to the patient’s understanding ("interpretability"). The fourth paper continues the distinctions made in the third regarding the relative and absolute explainability of AI diagnoses and transfers them to the context of global standardizations of AI systems and therefore additionally distinguishes between local and global standards of explainability. High standards of explainable diagnoses in countries with high medical standards create a risk that AIs developed in these countries may not be approved globally due to insufficient standards of explainability; to avoid regions with a lack of experts in explaining diagnoses being unable to use these AIs, it is suggested that the decision to set standards should be left to the communities themselves. The fifth part examines the extent to which AI diagnostic tools should be used as placebos. For this purpose, the debate about placebos in clinical contexts is first examined and a distinction is made between seven different forms of placebo effect eliciting tools. An analysis of doctor-patient relationships as an intimate relationship of trust and the resulting "normative entanglement" establishes the permissibility of placebos. The next step is to examine the skill of AI applications as placebos. Since an AI cannot replace the normative entanglement of doctors and patients, its admissibility is examined solely in the context of trusting doctor-patient treatments. In the sixth part, the question is answered whether an AI should make judgments of medical interventions as "medically necessary". To this end, we first introduce the distinction between medical necessity as a judgment about the instrumental necessity of an intervention and as a judgment about the socially justifiable minimum of medical services ("social medical necessity"). By focusing on the first distinction, questions of judgment are raised by AIs. Since these judgments always include judgments about the goals of an intervention, which are socially and morally agreed upon, a skeptical position of AI as a judge of interventions as medically necessary is taken. This is followed by a discussion of both the findings of these papers and the prospect of further research questions in this context. The approach of assessing the uses and influences of AI according to the three levels allows for a problem-oriented, pragmatic view of the use of AI, but also allows for the setting of clear boundaries and the introduction of sharp ethical distinctions. Through these distinctions and the theses connected to them, further issues also emerge, such as the question of democratizing standards of explicability, global AI regulations and growing inequalities in healthcare, new attributions of responsibility in physician-AI collaborations, and changes in clinical work and care environments.

OpenAccess:
PDF
(additional files)