Grundsätze ohne Praxis: eine sorgfältige Lektüre des Reviews zu verantwortungsvoller KI-Governance

Keine Organisation argumentiert gegen verantwortungsvolle künstliche Intelligenz. Verantwortlichkeit, Fairness, menschliche Aufsicht, Datenschutz, Robustheit, Transparenz: Diese Grundsätze werden so breit unterschrieben, dass die Unterschrift fast nichts mehr aussagt. Interessant wird die Frage erst danach — ob ein Krankenhaus, das sich auf eine Selbstverpflichtung zu verantwortungsvoller KI festgelegt hat, auch tatsächlich handeln kann, wenn ein System an einem Dienstagabend unerwartet reagiert. Um genau diesen Abstand zwischen der Selbstverpflichtung und dem Dienstag geht es in diesem Review.

Die Arbeit ist ein Scoping-Review von Emmanouil Papagiannidis, Patrick Mikalef und Kieran Conboy, erschienen im Journal of Strategic Information Systems: Responsible artificial intelligence governance: A review and research framework. Ihr Gegenstand ist eine Lücke, die die Autor:innen klar benennen: Während viele Gremien Grundsätze veröffentlicht haben, bleibt das Verständnis, wie sich diese Grundsätze über den gesamten Lebenszyklus eines KI-Systems hinweg operationalisieren lassen — von der Gestaltung über die Überwachung bis zur Bewertung —, dünn und verstreut. Man sollte sich vor Augen führen, welche Art von Evidenz das ist, bevor man die Schlüsse übernimmt.

Was es ist — und was das bringt

Es handelt sich um ein Review und einen konzeptuellen Rahmen, nicht um eine Studie zu Endpunkten. Die Autor:innen haben die bestehende Literatur zu verantwortungsvoller KI gesichtet — mehrere Dutzend Arbeiten, überwiegend aus europäischen und US-amerikanischen Kontexten — und daraus eine Ordnungsstruktur gebaut. Es gibt keine Primärdaten, keine Intervention, keinen gemessenen Effekt. Das ist keine Schwäche, solange man es als das liest, was es ist: eine Landkarte eines unübersichtlichen Feldes und ein Vokabular, um präziser darüber zu sprechen — kein Beleg dafür, dass eine bestimmte Governance-Architektur ein bestimmtes Ergebnis verbessert.

Der nützlichste Schritt der Arbeit ist, zwei Dinge zu trennen, die routinemäßig vermengt werden. Grundsätze verantwortungsvoller KI beschreiben einen Sollzustand — sei fair, sei verantwortlich, sei transparent. Governance ist die Mechanik, die einen Grundsatz verbindlich macht: wer entscheidet, in welchem Prozess, mit welchem Eskalationsweg, wenn die Antwort falsch ist. Die meiste öffentliche Debatte und die meisten KI-Selbstverpflichtungen leben ganz auf der Seite der Grundsätze. Das Argument der Arbeit lautet: Grundsätze ohne Governance sind Absichtserklärungen — und die Literatur hat die Governance grob unterbestimmt gelassen.

Der Rahmen: Struktur, Prozess, Beziehung

Die Autor:innen ordnen Governance drei Arten von Praktiken zu. Strukturelle Praktiken beantworten, wer die Entscheidungsbefugnis hat: Wer sitzt im KI-Aufsichtsgremium, wer verantwortet welche Phase des Lebenszyklus, welchen Eskalationsweg gibt es, wenn ein Modell etwas produziert, das es nicht sollte. Prozedurale Praktiken sind das Wie: Wie wird Verzerrung in Trainingsdaten erkannt, nach welchen Kriterien wird ein Modell für den klinischen Einsatz freigegeben, was geschieht — und was wird gelernt —, wenn es einen Fall falsch beurteilt, wie werden regulatorische Pflichten fortlaufend statt einmalig geprüft. Relationale Praktiken sind die menschliche Ebene: Wie wird abteilungsübergreifende Zusammenarbeit organisiert, wie werden die Menschen, die ein System nutzen, in dessen Gestaltung einbezogen, wie wird auf allen Ebenen einer Einrichtung die Fähigkeit aufgebaut, das System zu hinterfragen.

Die relationale Dimension geht am leichtesten verloren und zählt am Krankenbett am meisten. Ein:e Assistenzärzt:in, der oder die aus täglicher Nutzung weiß, dass ein KI-Dokumentationssystem eine bestimmte Diagnose systematisch falsch kodiert, aber keine klare Meldestelle kennt, ist nicht Teil eines Governance-Systems. Er oder sie ist der Beleg für dessen Fehlen. Governance, die nur als Dokument existiert und nicht als Weg, den eine besorgte Fachkraft tatsächlich gehen kann, ist Governance nur dem Namen nach.

Was die Evidenz nicht belegt

Weil es keine Primärdaten gibt, kann der Rahmen nicht sagen, dass seine Anwendung zu sichererer oder fairerer KI führt. Er ist ein Gerüst für bessere Fragen, kein validierter Pfad mit gemessenem Effekt. Die Autor:innen sind darin offen — und ebenso bei einer zweiten Grenze, die für jede europäische Leserin zählt: Die gesichtete Literatur ist ganz überwiegend europäisch und nordamerikanisch, sodass die kulturellen und regulatorischen Annahmen in den Grundsätzen diese Welt widerspiegeln, nicht eine universelle. Ein aus solchen Quellen zusammengesetzter Rahmen sollte lokales Urteil strukturieren, nicht ersetzen. Und eine derart saubere Taxonomie trägt ihr eigenes Risiko: Echte Governance-Versäumnisse halten sich selten an die Grenze zwischen strukturell, prozedural und relational; sie geschehen in den Nahtstellen. Der Wert der Dreiteilung liegt darin, diese sichtbar zu machen, nicht im Versprechen, dass drei ausgefüllte Kästchen eine Einrichtung sicher machen.

Warum das hier zählt

Für ein deutsches oder europäisches Krankenhaus ist der praktische Nutzen unspektakulär und echt: eine Checkliste für eine ehrliche Bestandsaufnahme. Haben wir benannt, wer für KI-Entscheidungen verantwortlich ist? Haben wir einen Prozess für Datenqualität und Verzerrungsprüfung und einen definierten Meldeweg, wenn ein System irrt? Beziehen wir Endnutzer:innen — Ärzt:innen, Pflegefachkräfte, Patient:innen — in die Gestaltung und Aufsicht eines Werkzeugs ein? Haben wir Systeme, bei denen ein Mensch die finale Entscheidung trifft, von solchen unterschieden, die handeln und von Menschen nur im Nachhinein angepasst werden — und die Aufsicht entsprechend kalibriert? Wo die ehrliche Antwort „nein“ oder „noch nicht“ lautet, hat der Rahmen seine Aufgabe erfüllt, indem er die Lücke verortet.

Unter der Medizinprodukteverordnung (MDR) und der EU-KI-Verordnung (EU AI Act) hört vieles davon für klinische Hochrisiko-KI auf, freiwillig zu sein: Verantwortlichkeit, Rückverfolgbarkeit und Transparenz werden zu Compliance-Pflichten statt zu ethischem Bonus. Das Review sagt einem Krankenhaus nicht, wie es diese erfüllt. Aber es gibt eine präzise Sprache für die Frage, ob es das kann — das Erste, was jedes Gremium braucht, und das, was die meisten Selbstverpflichtungen stillschweigend überspringen.

Quelle: Papagiannidis E, Mikalef P, Conboy K. Responsible artificial intelligence governance: A review and research framework. The Journal of Strategic Information Systems 2025;34(2):101885 (online 5. Januar 2025). Ein begutachtetes Scoping-Review mit konzeptuellem Rahmen — Synthese und Struktur, ohne Primärdaten oder gemessene Endpunkte; seine Aussagen betreffen, wie man die Frage ordnet, nicht den Nachweis, dass eine Architektur funktioniert.