Wenn eine KI-Empfehlung daneben liegt: Fünf Kontrollen, die die Ärztliche Direktion vorhalten muss

Anfang Mai 2026, im Direktions-Büro einer Misch-Klinik in Süddeutschland. Auf dem Tisch liegt der zweite Pilot-Beschluss des Quartals — diesmal eine KI-gestützte Aufnahme-Triage. Daneben ein Stapel mit drei laufenden KI-Anwendungen: Sprach-Doku auf Station, Codier-Assistenz im Medizincontrolling, Bild-Pre-Read in der Radiologie. Die Ärztliche Direktorin liest die Pitch-Folie zur Aufnahme-Triage und bleibt an einer Frage hängen, die im Anbieter-Material in einer Zeile abgehandelt ist: Was passiert eigentlich, wenn eine Empfehlung dieser Anwendung in der Patientenversorgung zu einer Fehlentscheidung führt? Die Frage ist nicht hypothetisch. Sie wird vor jedem zweiten Pilot-Beschluss kurz gestellt und selten vor dem Pilot-Beschluss strukturell beantwortet — sondern erst, wenn der erste Fall auf dem Tisch liegt. Im Folgenden steht keine Rechtsauslegung. Was hier steht, ist die operative Mechanik der geteilten Verantwortung — und die fünf Kontrollen, die die Ärztliche Direktion vor dem Pilot-Beschluss in der eigenen Klinik vorhalten muss.

Die EU-AI-Act-Logik: Provider und Deployer tragen je einen Anteil

Die Verordnung (EU) 2024/1689 — der EU AI Act — unterscheidet beim Einsatz von Hochrisiko-KI zwei Rollen: den Provider, also den Hersteller oder Anbieter eines KI-Systems, und den Deployer, also den Betreiber, der das System in einem konkreten Anwendungs-Kontext einsetzt. Eine Klinik, die eine zertifizierte KI-Anwendung im Behandlungspfad nutzt, ist in dieser Logik Deployer. Artikel 26 der Verordnung beschreibt die Pflichten der Betreiber von Hochrisiko-KI-Systemen: die KI-Anwendung gemäß Gebrauchsanweisung nutzen, eine wirksame menschliche Aufsicht sicherstellen, die Eingabedaten kontrollieren, das System im Betrieb überwachen, Aufzeichnungen führen, betroffene Personen informieren. Die Pflichten sind nicht gleichbedeutend mit der Pflicht des Providers — der trägt nach demselben Verordnungs-Rahmen Konformitäts-Bewertung, Risiko-Management, technische Dokumentation und Markt-Beobachtung. Beide Anteile bestehen nebeneinander; der eine ersetzt nicht den anderen.

Für bestimmte Betreiber-Kategorien — definiert in Artikel 27 der Verordnung — kommt eine Grundrechte-Folgenabschätzung vor dem Einsatz hinzu. Der Anwendungsbereich ist nicht universell für jede Klinik; er trifft definierte öffentliche und sicherheits-relevante Stellen. Eine private Misch-Klinik prüft im Einzelnen, ob sie in eine dieser Kategorien fällt — die Frage ist organisatorisch im Datenschutz-Beauftragten-Kreis und in der Compliance-Stelle aufgehoben, nicht ärztlich. Was hier ärztlich zählt, bleibt Artikel 26: die Deployer-Pflichten, die in der eigenen Behandlungs-Kette sichtbar gemacht werden müssen.

Die deutschen Anschluss-Pfeiler: Behandlungsvertrag, Trägerhaftung, Berufsrecht

Im deutschen Klinik-Kontext schließt an die EU-Verordnung der Behandlungsvertrag an. § 630a Bürgerliches Gesetzbuch (BGB) bestimmt, dass Behandelnde die Behandlung nach den zum Zeitpunkt der Behandlung allgemein anerkannten fachlichen Standards schulden. Eine KI-gestützte Empfehlung wird in dieser Logik nicht zum Standard, weil sie technisch verfügbar ist; sie wird in dem Maße Teil des Standards, in dem die einschlägigen Fachgesellschaften und Leitlinien sie als solchen aufnehmen — oder eben nicht. Parallel besteht die Krankenhaus-Trägerhaftung, die das Haus für die organisatorische Vorhalte-Pflicht in die Pflicht nimmt. Und das Berufsrecht trägt die Letzt-Verantwortung der Ärzt:innen — die Bundesärztekammer (BÄK) empfiehlt in ihren Hinweisen, die ärztliche Letzt-Verantwortung für Diagnose- und Therapie-Entscheidungen erhalten zu lassen, KI-Systeme also als unterstützend, nicht als ersetzend zu führen. Die drei Pfeiler — Behandlungsvertrag, Trägerhaftung, Berufsrecht — wirken nebeneinander; in einer konkreten Fall-Frage werden sie alle drei aufgerufen.

Beiträge im Deutschen Ärzteblatt 2024–2025 diskutieren die Verschiebungen, die der KI-Einsatz im Sorgfalts-Maßstab und in der Beweis-Lage mit sich bringen kann — als Übersichts-Beiträge, nicht als Auslegung im Einzelfall. Was operativ bleibt, ist die ärztliche Aufgabe: Aufklärung, Dokumentation, Kontrolle. Welche Leitlinien einschlägig sind, hängt an der Fach-Disziplin und am Anwendungs-Fall — die Leitlinien-Sammlung der Arbeitsgemeinschaft der Wissenschaftlichen Medizinischen Fachgesellschaften (AWMF) trägt den Stand der Wissenschaft, gegen den der § 630a-Standard gemessen wird. Wer eine KI-Anwendung pilotiert, fragt also nicht nur den Provider nach seiner Konformität, sondern die einschlägige Leitlinie nach ihrer Aussage zum KI-Einsatz in genau diesem Behandlungs-Schritt. Trägt die Leitlinie keine Aussage, ist die KI-Anwendung in der Lese-Disziplin der Ärztlichen Direktion eine ergänzende Ressource, kein Teil-Standard.

Die fünf operativen Kontrollen, die organisatorisch sichtbar sein müssen

Die fünf Deployer-Kontrollen aus Artikel 26 lassen sich für die Ärztliche Direktion in fünf operative Vorhalte-Punkte übersetzen — nicht als Rechts-Hilfs-Argumente, sondern als organisatorische Inventur, die im eigenen Haus sichtbar sein muss. Erstens — bestimmungsgemäße Verwendung. Die Provider-Dokumentation beschreibt, wofür die KI-Anwendung zugelassen ist: Zielpopulation, Indikation, Eingabedaten-Profil, Ergebnis-Klasse. Die Klinik dokumentiert, wofür sie die Anwendung tatsächlich einsetzt. Beide Beschreibungen müssen nachvollziehbar zueinander stehen. Eine Bild-Pre-Read-Anwendung, die für die Mammographie-Triage zugelassen ist, ist nicht stillschweigend für die Mamma-MRT-Bewertung verwendbar — und der Schritt vom einen zum anderen ist eine Entscheidung der Ärztlichen Direktion, die organisatorisch fest-gehalten wird, nicht eine Anpassung im Anbieter-Pitch. Zweitens — menschliche Aufsicht ärztlich verankert. Welche Aussagen werden ärztlich überprüft, bevor sie in die Patientenakte oder in Therapie-Entscheidungen eingehen? Die Aufsicht ist nicht „durchgewinkt-und-unterschrieben“; sie ist eine ärztliche Entscheidungs-Qualität. In der Einarbeitung der Ärzt:innen wird das spürbar — wer den KI-Vorschlag im laufenden Betrieb überprüft, hat im Schulungs-Plan eine eigene Position.

Drittens — Eingabedaten-Disziplin auf Klinik-Seite. Welche Vorbefunde, Bilder, Anamnesen, Stamm-Daten gehen in die KI-Anwendung? Datenqualität ist nicht erst beim KI-Ergebnis relevant; sie ist eine Eingabe-Frage, die in der Doku-Kette aufgehoben sein muss. Eine schwache Eingabedaten-Lage ergibt eine schwache Empfehlung — und die Verantwortung dafür wandert nicht stillschweigend zum Provider, weil der Pitch eine andere Eingabedaten-Lage angenommen hatte. Die Eingabedaten-Disziplin ist eine Klinik-Aufgabe; sie wird in der Aufnahme- und Doku-Prozess-Anpassung sichtbar. Viertens — Überwachung im laufenden Betrieb. Wer beobachtet, ob die KI-Empfehlungen sich im Verlauf ändern, ob es Drift gibt, ob bestimmte Patient:innen-Gruppen schlechter abgebildet werden? Das ist eine Klinik-Klärungs-Stelle, keine Anbieter-Selbst-Auskunft. Die Stelle braucht Zugriff auf die Empfehlungs-Historie, eine Mess-Disziplin und einen Klinik-Termin pro Quartal, an dem die Beobachtungen besprochen werden.

Fünftens — Aufzeichnungen und Information. Was wurde wann von welcher KI-Anwendung empfohlen, was wurde ärztlich übernommen, was wurde abgewichen? Die Aufzeichnungs-Disziplin ist im Sanity-Anteil der KI-Pflicht aus Artikel 26 ausdrücklich genannt; sie schließt im deutschen Klinik-Kontext an die ohnehin bestehende Behandlungs-Dokumentations-Pflicht an. Patient:innen werden über den KI-Einsatz informiert — die Form der Information richtet sich nach Anwendungs-Klasse und Behandlungs-Schritt. Eine generische Klinik-Einwilligungs-Erklärung trägt nicht; eine indikations-spezifische, situations-bezogene Information schon eher. Die Klinik-interne Aufzeichnung trägt im Beschwerde-Fall — sie zeigt, was tatsächlich im Behandlungs-Schritt entschieden wurde und auf welcher Grundlage.

Was vor dem Pilot-Beschluss am eigenen Haus geprüft wird

Die fünf Kontrollen prüft die Ärztliche Direktion am eigenen Haus, nicht am Anbieter-Pitch. Die Provider-Konformität ist eine Eintritts-Voraussetzung; sie ersetzt nicht die Deployer-Vorhalte-Pflicht. In der praktischen Sequenz heißt das: Vor dem Pilot-Beschluss steht eine kurze Klinik-interne Aufstellung, die für jede der fünf Kontrollen festhält, wer im Haus dafür zuständig ist, wo die Kontrolle dokumentiert wird, und wann sie überprüft wird. Eine solche Aufstellung ersetzt keine juristische Beratung im Einzelfall, und sie ist auch nicht ihr Vorläufer — sie ist eine organisatorische Inventur, die die Deployer-Pflichten in die eigene Klinik-Struktur einsortiert. Wer sie nicht hat, prüft im Beschwerde-Fall in der Akut-Schicht, was im Pilot-Beschluss in einer Vor-Sitzung eingerichtet sein müsste.

Eine nüchterne Beobachtung am Rand: in keinem der drei laufenden Pitch-Decks auf dem Tisch der Ärztlichen Direktorin steht eine Tabelle, die die fünf Deployer-Kontrollen zur eigenen Klinik in Beziehung setzt. Das ist kein Vorwurf an die Anbieter — die Aufstellung ist nicht ihre Aufgabe. Sie ist die Aufgabe des Hauses, das die Anwendung einsetzt. Die Frage „Wer haftet, wenn eine KI-Empfehlung daneben liegt?“ trägt nicht als Anbieter-Frage. Sie trägt als organisatorische Frage des eigenen Hauses an sich selbst — und die Antwort entsteht nicht im Beschwerde-Fall, sondern in der Vor-Sitzung zum Pilot-Beschluss. Die Verantwortung der Ärztlichen Direktion für KI-Fehlentscheidungen ist keine juristische Zuschreibung, sondern eine organisatorische Vorhalte-Pflicht. Wer sie als solche aufstellt, hat im konkreten Fall die Inventur, die das Beschwerde-Verfahren ohnehin verlangen wird — und vorher die Fragen, die sich vor dem Pilot-Beschluss stellen, nicht erst in der Akut-Schicht im Oktober.