KI in der Medizin – Ärztliche Letztverantwortung bleibt bestehen

Die Entwicklung KI-gestützter Diagnose- und Entscheidungsunterstützungssysteme in der Medizin schreitet voran. Welche Folgen das Vordringen künstlicher Intelligenz in die medizinische Versorgung hat und möglicherweise noch haben wird, war Thema eines Symposiums der Ärztekammer Nordrhein.

von Thomas Gerst

Das könnte man ein gutes Timing nennen. Am selben Tag, an dem das EU-Parlament in Straßburg mit großer Mehrheit für das weltweit erste Gesetz zur Regelung des Umgangs mit künstlicher Intelligenz (KI) stimmte,  ging es am 13. März beim Online-Symposium der Ärztekammer Nordrhein abends um die Frage „Entscheidungsfindung mit KI in der Medizin – Fortschritt ohne Risiko?“ Beim 4. Update-Ethik, moderiert von der Geschäftsführenden Ärztin der Kammer, Professorin Dr. Susanne Schwalen, sollten insbesondere ethische Aspekte beim Einsatz von KI in der Medizin in den Fokus gerückt werden – ein Thema, das offenbar bei den Kammermitgliedern auf großes Interesse stieß; deutlich mehr als 500 Ärztinnen und Ärzte nahmen an der Veranstaltung teil. 
Unbestritten scheint mittlerweile, dass der KI-Einsatz zunehmend Ärztinnen und Ärzte bei der medizinischen Versorgung von Patientinnen und Patienten und bei der Bewältigung von Routineaufgaben unterstützen kann. Gleichzeitig muss man sich aber damit auseinandersetzen, welche ethischen Probleme daraus resultieren, dass automatisierte KI-Systeme in das geschützte Arzt-Patienten-Verhältnis eindringen. Auch stellt sich die Frage, ob künstliche Intelligenz zur Mitwirkung in eher ethisch aufgeladenen Versorgungssituationen befähigt werden kann oder soll, etwa bei der Patientenaufklärung oder der Ermittlung des mutmaßlichen Patientenwillens.
In der Diskussion um den KI-Einsatz in der Medizindiagnostik haben sich Problemfelder herauskristallisiert, die mit den Begriffen „Automation Bias“, „Deskilling“ und „Verantwortungsdiffusion“ kurz beschrieben werden. Professor Dr. Dr. med. dent. Dr. phil. Dominik Groß, Leiter des Instituts für Geschichte, Theorie und Ethik der Medizin der RWTH Aachen, wies auf die Gefahr hin, die aus einem übermäßigen Vertrauen in automatisierte Hilfsmittel und Entscheidungsunterstützungssysteme resultieren kann. Diesem „Automation Bias“ müsse auf ärztlicher Seite entgegengewirkt werden durch die Sicherstellung einer eigenen methodischen Expertise zur Einordnung der Ergebnisse und durch sorgfältige Plausibilitätsprüfung „maschineller“ Resultate, so wie dies auch vom Deutschen Ethikrat in seiner Stellungnahme im März 2023 gefordert worden sei.

Automatisierte KI-Prozesse könnten dazu führen, dass das haptisch-praktische Erfahrungswissen und damit verbundene diagnostische Fähigkeiten bei Ärzten verloren gehen, betonte Groß. Dieses „Deskilling“ bedeute, dass zum Beispiel Ärzte immer weniger in der Lage sein werden, mittels Stethoskop oder Palpation des Körpers zu einer diagnostischen Einschätzung zu kommen. In komplexen Systemen mit neuen Schnittstellen zwischen Menschen und KI-gesteuerten Systemen werde es zudem zunehmend schwierig, Verantwortung eindeutig zuzuweisen. Groß sieht hier das Risiko einer Verantwortungsdiffusion. Bei der Zuschreibung von Verantwortung, beispielsweise bei klinischen Entscheidungsunterstützungssystemen, trete an die Stelle des einfachen Arzt-Patienten-Verhältnisses ein Nebeneinander von Hersteller, Programmierer, Regulierungsbehörde, medizinischem Anwender und Patient. Klar ist, dass die künstliche Intelligenz selbst nicht für Fehler zur Verantwortung gezogen werden kann. Zunächst müsse der Hersteller für eine sichere und verantwortungsvolle Nutzung des Systems sorgen, betonte Groß. Er sieht aber auch die Patienten in der Pflicht. Sie sollten zumindest in Grundzügen den Mechanismus der KI beim Einsatz von Entscheidungsunterstützungssystemen nachvollziehen können; denn nur so könne es den Informed Consent zu einer Maßnahme geben. Aber: „Die moralische und rechtliche Letztverantwortung bei komplexen KI-gestützten Anwendungen liegt trotz Verantwortungsdiffusion bei der behandelnden Fachperson.“ Ärzte sollten laut Groß in der Lage sein, den der KI-Anwendung zugrundeliegenden Algorithmus grundsätzlich zu verstehen. Und als Letztverantwortliche sollten sie eine Risikoeinschätzung bei Nutzung eines KI-Systems vornehmen können.
Zentral für den Behandlungserfolg bleibt aber weiterhin die Arzt-Patienten-Beziehung. „Patienten können in KI-Anwendungen kein Vertrauen entwickeln, das dem Vertrauen in ihren Behandler vergleichbar ist“, führte Groß aus. Für eine vertrauensbasierte Beziehung sei die Rolle des Arztes weiterhin essenziell. Deshalb dürfe es auch nicht das Ziel des Einsatzes von KI in der Medizin sein, medizinisches Fachpersonal zu ersetzen, sondern es gehe darum, den Behandlungsprozess zu unterstützen.

KI-freies Backup sicherstellen

Mit einer gewissen Skepsis beurteilte Professor Dr. Wolfram Henn, Leiter der Genetischen Beratungsstelle der Universität des Saarlandes, das Vermögen von Ärzten, KI-generierte medizinische Ergebnisse nachvollziehen oder erklären zu können. Anders als bei der konventionellen medizinischen Diagnostik stehe der Arzt hier vor einer Art „Black Box“, die mit Daten gefüttert werde und auf dieser Grundlage „ein Ergebnis ausspucke“. Studien zum Einsatz von KI in der Dermatologie oder Histopathologie zeigten, dass die selbstlernenden Algorithmen zu besseren Ergebnissen kommen als konventionelle Verfahren. Aber: „Die Nutzer (Ärzte) wissen nicht, wie ein Ergebnis zustande gekommen ist, die Adressaten (Patienten) wissen nicht, von wem ihr Ergebnis stammt, die Entwickler wissen nicht, ob das Einzelergebnis stimmt.“ Dem Problem des „Übervertrauens“ in systemgenerierte Ergebnisse und der Gefahr des Übersehens atypischer Fallkonstellationen kann nach Einschätzung von Henn nur begegnet werden durch menschliche Plausibilitätskontrollen als Standard Operating Procedure, durch die haftungsrechtliche Letztverantwortung des Arztes und die Möglichkeit einer manuellen Korrektur. Auch für Henn stellt der Verlust „personaler ärztlicher Kompetenzen“ als Folge des Einsatzes von KI-Diagnostik ein relevantes Problem dar. So gut die KI-gestützte Diagnostik auch sein mag, stets müssten KI-freie Backup-Kompetenzen und KI-freie Backup-Ressourcen sichergestellt werden. In der ärztlichen Aus- und Weiterbildung müsse für den Erhalt KI-freier Kompetenzen gesorgt werden. Ziel des KI-Einsatzes dürfe nicht die ökonomische Effizienzsteigerung sein. „Der Verlockung der Personaleinsparung muss entgegengewirkt werden“, forderte Henn. Ganz entscheidend auch für ihn ist die Wahrung der personalen Arzt-Patienten-Vertrauensbeziehung.

Nicht mehr nur Werkzeug

Wie die Verwendung künstlicher Intelligenz jenseits ethischer Erwägungen nach dem Arztvertrags- und Arztberufsrecht zu bewerten ist, war Schwerpunkt der Ausführungen von Prof. Dr. iur. Jan Eichelberger vom Lehrstuhl für Bürgerliches Recht, Immaterialgüterrecht und IT-Recht, Institut für Rechtsinformatik der Leibniz Universität Hannover. Ausgehend von der ärztlichen Therapiefreiheit sieht Eichelberger keine grundsätzlichen Hinderungsgründe, die gegen den KI-Einsatz sprechen würden. „Auch der Einsatz von KI als Neulandmethode ist nicht per se pflichtwidrig – es gäbe sonst keinen medizinischen Fortschritt in der Praxis. Einen Einsatz darf es aber nur geben, wenn eine verantwortliche medizinische Abwägung die Anwendung der neuen Methode rechtfertigt.“ Hinsichtlich der Patientenaufklärung müsse unterschieden werden zwischen einer KI-Anwendung als bereits eingeführtem Standard oder als Neulandmethode. In letzterem Fall müsse eine Aufklärung darüber erfolgen, dass beim Einsatz einer neuen Methode unbekannte Risiken nicht auszuschließen seien. Der Patient sollte auf dieser Grundlage sorgfältig abwägen können, ob er die in Aussicht gestellten Vorteile der neuen Methode um den Preis der noch nicht in jeder Hinsicht bekannten Gefahren in Kauf nimmt oder aber nach der herkömmlichen Methode mit bekannten Risiken behandelt werden möchte.

Als hoch spannend bezeichnete Eichelberger die aktuelle Diskussion darüber, ob der Einsatz von künstlicher Intelligenz als eine unzulässige Delegation an Nichtärzte zu werten sei. Mit zunehmender Autonomie eines KI-Systems verringere sich der Einfluss des Arztes auf den konkreten Behandlungsvorgang, die Steuerung des Behandlungsgeschehens gehe auf die KI über. Diese wäre dann nicht mehr nur ein Werkzeug, dessen sich der Arzt bedient. Im Grunde wäre eine solche Delegation ärztlicher Leistung an ein autonom arbeitendes System berufsrechtlich unzulässig. Hier müssten noch rechtskonforme Lösungen gefunden werden, etwa auf dem Wege der Zertifizierung und partiellen Gleichstellung der KI mit dem Arzt, um eine unzulässige Delegation auszuschließen.
Zukunftsmusik ist für Eichelberger derzeit noch der Einsatz von KI bei der Patientenaufklärung. Gemäß § 630e BGB müsse die Aufklärung mündlich durch den Behandelnden oder eine Person erfolgen, die über die zur Durchführung der Maßnahme notwendige Ausbildung verfügt. Vorgesehen sei ein vertrauensvolles Gespräch zwischen Arzt und Patient mit der Möglichkeit zu Rückfragen und zur Überprüfung, ob alles verstanden wurde. Demzufolge sei die Aufklärung durch KI derzeit noch ausgeschlossen.

KI-gestützte Aufklärung

Das heißt aber nicht, dass dazu nicht bereits geforscht wird. Für Professor Dr. Dr. phil. Sabine Salloch, Leiterin des Instituts für Ethik, Geschichte und Philosophie der Medizin, Medizinische Hochschule Hannover, hat der Einsatz von KI ethisch sensible Entscheidungen bereits erreicht oder wird im Hinblick auf unterschiedliche Handlungsfelder diskutiert. Nicht nur die klinische Entscheidungsfindung in unterschiedlichsten medizinischen Handlungsfeldern, sondern auch ethisch aufgeladene Aspekte der Versorgung könnten potenziell durch KI-Verfahren unterstützt werden. Beispielhaft ging sie auf zwei dieser Felder ein: die Patientenaufklärung durch KI sowie den Ansatz einer KI-gestützten Ermittlung des Patientenwillens. Hinsichtlich der Patientenaufklärung verwies sie auf einen kürzlich im Journal of Medical Ethics erschienenen Beitrag, in dem die Anwendung KI-gestützter generativer Sprachmodelle bei der Patientenaufklärung diskutiert wird. Die Autoren kommen zu dem Ergebnis, dass die KI-gestützte Aufklärung vor bestimmten Eingriffen der Aufklärung durch junge unerfahrene Ärzte, wie sie oftmals durchgeführt werde, überlegen sei. Noch visionärer erscheint derzeit eine mögliche weitere KI-Anwendung. Dabei geht es um die Vorhersage von Behandlungspräferenzen nichteinwilligungsfähiger Patienten, etwa in der Intensivmedizin, bei fortgeschrittener Demenz oder psychischer Erkrankung. Hier werde gerade darüber diskutiert, sagte Salloch, inwieweit mithilfe von KI eine Verknüpfung sozialdemografischer Charakteristika und personenspezifischer Informationen mit persönlichen Behandlungspräferenzen ermöglicht werden könnte.