Das Orakel und die Assistenzärztin: Warum KI besser eine Stufe tiefer steht

Die Luftfahrt hat einen Namen für das, was dann passiert. Zeigt der Bordcomputer selbstsicher eine Flugbahn an, neigen selbst erfahrene Pilot:innen dazu, die eigenen Sinne stillzustellen und dem Bildschirm zu vertrauen. Sie fliegen das Flugzeug nicht mehr, sie überwachen es. Das Phänomen heißt Automation Bias, und das Beunruhigende daran ist, dass es mit der Müdigkeit wächst, mit dem Zeitdruck und mit der Erfahrung derer, die es erwischt.

Kliniken laufen in dieselbe Falle, und wir tun es mit Ansage. Wir kaufen unsere neuen Werkzeuge als „Expertensysteme“ und präsentieren sie auf der Station als etwas, das einem Orakel nahekommt. Dann wundern wir uns, wenn um drei Uhr morgens eine Ärztin, die seit vierzehn Stunden wach ist, eine mit 95 Prozent Sicherheit angebotene Diagnose sieht und auf „übernehmen“ klickt. Wir lesen diesen Klick gern als Charakterschwäche. Er ist nichts dergleichen. Er ist das vorhersehbare Verhalten eines müden Menschen vor einer selbstsicheren Maschine — und vor der leisen Angst, diejenige zu sein, die widersprochen hat und im Unrecht war.

Das Problem ist nicht die Ärztin, und es ist nicht einmal der Algorithmus. Es ist die Rolle, in die wir den Algorithmus besetzt haben.

Die brillante Assistenzärztin im ersten Jahr

Es gibt ein besseres Denkmodell, und jede Oberärztin besitzt es längst. Klinische KI denkt man am sichersten nicht als erfahrene:n Konsiliarärzt:in, deren Wort über dem eigenen steht. Man denkt sie als hochintelligente Assistenzärztin im ersten Jahr.

Wie man mit dieser Assistenzärztin arbeitet, weiß jede:r. Das Wissen ist grenzenlos — sie zitiert die neueste Studie aus dem Kopf, bevor die Frage zu Ende gestellt ist. Das Urteil fehlt noch — sie übersieht den Patienten, der trotz unauffälliger Werte nicht stimmig wirkt. Und sie will gefallen, was bedeutet: Wo sie nicht weiterweiß, liefert sie lieber eine flüssige, selbstsichere Antwort, als die Lücke einzugestehen. Man schätzt eine solche Kollegin sehr. Und man gegenzeichnet ihre Anordnungen trotzdem nie, ohne die Herleitung zu prüfen. Die Assistenzärztin liefert die Hypothese. Man selbst liefert das Urteil.

Die Maschine vom Orakel zur Assistenzärztin herabzustufen ist kein Verlust an Anspruch. Es ist der Schritt, der aus dem Menschen im Entscheidungsweg mehr macht als eine Unterschrift.

Die Kennzahl, die wir falsch herum lesen

Das hat eine messbare Folge, und die meisten Häuser messen das Falsche. Anbieter berichten über Genauigkeit und Nutzung. Die Zahl, die tatsächlich verrät, ob das ärztliche Urteil noch lebt, ist die Übernahmequote — genauer ihr Gegenteil: wie oft Ihre Ärzt:innen den Vorschlag vor sich verändern, hinterfragen oder verwerfen.

Wird ein diagnostisches Werkzeug in 99,9 Prozent der Fälle befolgt, lautet die beruhigende Deutung: Das Werkzeug ist beinahe perfekt. Die ehrliche Deutung lautet: Der Widerspruch ist verschwunden, und mit ihm die zweite Meinung, für die Sie zu zahlen glaubten. Ein klinisches System in guter Verfassung ist eines, in dem geschulte Menschen der Maschine noch oft genug widersprechen, gestützt auf etwas, das sie nicht sehen konnte. Sinkt dieser Widerspruch gegen null, ist der Mensch im Entscheidungsweg stillschweigend zur juristischen Fiktion geworden.

Das Befragen als ärztliche Fertigkeit

Damit zeigt sich, was wir eigentlich trainieren sollten. Nicht die Bedienung der Software; die Oberflächen sind so gebaut, dass sie gar keine Schulung mehr brauchen. Sondern die ältere, schwierigere Disziplin, eine selbstsichere Quelle zu befragen, bevor man sich ihr fügt.

Ein brauchbarer Prüfstein liegt am Krankenbett. Bevor sie akzeptiert, dass das System recht hat: Kann die Ärztin in einem Satz sagen, warum es bei genau dieser Patientin falsch liegen könnte? Wenn ja, betreibt sie Medizin mit einer schnellen, belesenen Assistentin. Wenn nein, betreibt sie Dateneingabe für eine Maschine — und die 95 Prozent auf dem Bildschirm sind zu der einen Zahl geworden, die niemand mehr prüft.