Automation Bias am Krankenbett: warum Edit-Raten nahe null ein Warnsignal sind

21:40 Uhr, Stationszimmer. Der vierzehnte KI-Entwurf des Tages wartet auf Freigabe. Die ersten dreizehn waren gut — zwei Kleinigkeiten, sonst sauber. Der Assistenzarzt liest den vierzehnten schneller als den ersten. Sein Gehirn hat in dreizehn Durchgängen gelernt, dass diese Texte stimmen. Morgen sind es sechzehn Entwürfe, und der Dienstplan ist derselbe.

Die Human-Factors-Forschung kennt diesen Mechanismus seit Jahrzehnten — aus Cockpits, Leitwarten und Radarräumen, lange bevor es Sprachmodelle gab. Sie hat auch vermessen, wie er sich verhält. Für Abteilungen, die KI-Entwürfe in die Dokumentation einführen, lohnt der Blick in diese Literatur mehr als jedes Produktdatenblatt.

Was die Forschung tatsächlich zeigt

Die Begriffe stammen aus einer klassischen Arbeit von 1997: „Misuse“ ist das Überverlassen auf Automation — das Monitoring schläft ein; „Disuse“ das Gegenstück, die Vernachlässigung eines Systems, meist nach zu vielen Fehlalarmen [1]. Ein Übersichtsartikel von 2010, Koautor Dietrich Manzey von der TU Berlin, integriert die experimentelle Evidenz zu drei Kernbefunden [2].

Erstens: Automation Complacency entsteht vor allem unter Mehrfachbelastung, wenn manuelle Aufgaben mit der überwachten Automation um Aufmerksamkeit konkurrieren. Das ist keine exotische Laborbedingung. Es ist die Beschreibung eines Stationsdienstes.

Zweitens: Sie betrifft Novizen und Experten gleichermaßen. Erfahrung schützt nicht.

Drittens: Sie lässt sich durch bloße Übung nicht beseitigen. „Die Leute gewöhnen sich schon ans Prüfen“ ist keine Strategie, sondern eine Hoffnung.

Die Kehrseite gehört ebenfalls zur Literatur: Systeme, die zu oft grundlos warnen, erzeugen Disuse — sie werden ignoriert oder abgeschaltet [1]. Ein Prüfregime, das jede KI-Zeile mit maximalem Misstrauen behandelt, ist deshalb genauso instabil wie blindes Vertrauen. Aufmerksamkeit ist eine endliche, bewirtschaftbare Ressource [2]; die Frage ist, wohin sie gelenkt wird.

Aus dem Labor in die Klinik

Für das Gesundheitswesen ist der Effekt quantifiziert. Ein systematisches Review zu Entscheidungsunterstützungssystemen kam zu einem doppelten Befund: Solche Systeme verbessern die Gesamtleistung — und führen zugleich neue, oft nicht erfasste Fehler ein [3]. Konkreter wurde eine Folgearbeit derselben Gruppe: In 5,2 Prozent der untersuchten Verordnungsfälle wechselten Ärzt:innen nach einem falschen Systemvorschlag von einer richtigen zu einer falschen Entscheidung [4]. Als Einflussfaktoren fanden sich das Vertrauen in das System, die eigene Entscheidungssicherheit und die Schwierigkeit der Aufgabe [4].

Dazu die Mammographie-Studie von 2023, inzwischen das Lehrstück des Feldes: 27 Radiolog:innen, 50 Befunde, absichtlich falsche KI-Vorschläge. Unerfahrene fielen von rund 80 auf unter 20 Prozent Genauigkeit, sehr Erfahrene mit über 15 Jahren Berufspraxis von 82 auf 45,5 Prozent [5]. Das war ein Vignetten-Experiment, keine Versorgungsstudie — aber es beantwortet die Frage, ob Seniorität immunisiert. Sie halbiert den Schaden ungefähr. Sie verhindert ihn nicht.

Das Paradox guter Systeme

Je zuverlässiger ein System, desto seltener wird die Prüfung belohnt — und desto schneller verkümmert sie. Ein Werkzeug mit vielen Fehlern hält seine Prüfer:innen wach; ein Werkzeug mit wenigen, seltenen Fehlern trainiert sie ab. Die seltenen Fehler treffen dann auf die schwächste Prüfung. Moderne Dokumentations-KI liegt genau in dieser Zone: gut genug, um Vertrauen zu erzeugen, und weit entfernt von fehlerfrei — in einer Vergleichsuntersuchung über fünf Plattformen lag die Notiz-Fehlerrate bei 26,3 Prozent [6]. Für den vierzehnten Entwurf des Abends heißt das: Die Wahrscheinlichkeit eines Fehlers ist real — gesunken ist nur die Wahrscheinlichkeit, ihn zu finden.

Eine Beobachtung aus dem Feld passt dazu: In einem Zwei-Monats-Pilot generierten 31 Ärzt:innen 7.545 Ambient-Notizen; systematisch geprüft wurden davon 356 [7]. Die Studie erklärt nicht, warum die übrigen ungeprüft blieben, und man sollte nicht mehr hineinlesen, als dasteht. Aber die Relation beschreibt den Normalbetrieb vermutlich ehrlicher als jede Selbstauskunft zur Review-Disziplin.

Die Kennzahl, die Führung sehen sollte

Daraus folgt der Blick auf eine unscheinbare Zahl: die Edit-Rate. Wie oft ändern Ihre Ärzt:innen an KI-Entwürfen tatsächlich etwas? Eine Korrekturquote nahe null hat zwei mögliche Erklärungen. Entweder das System ist praktisch fehlerfrei — ein Zustand, den die Literatur für diese Werkzeugklasse nicht kennt [6]. Oder die Prüfung ist erloschen. Die zweite Erklärung ist die wahrscheinlichere, und anders als die erste lässt sie sich führen:

• Edit-Raten aggregiert erheben und in der Abteilung besprechen — als Prozesskennzahl auf Team-Ebene, ohne Personenbezug.
• Stichproben-Zweitprüfung institutionalisieren: monatlich eine feste Zahl von Notizen gegen die Quellen prüfen, rotierend im Team.
• Gelegentlich einen präparierten Fall mit bekanntem Fehler einschleusen. Wird er gefunden, lebt die Prüfung. Wird er durchgewinkt, wissen Sie es rechtzeitig — und ohne Patientenschaden.
• Review-Zeit als Arbeitszeit einplanen. Der stärkste Treiber von Complacency ist konkurrierende Last [2]; wer Prüfzeit nicht budgetiert, hat sie faktisch abgeschafft.

Einen validierten Zielwert für Edit-Raten gibt es nicht, und diese Ehrlichkeit gehört dazu. Der Wert der Kennzahl liegt in ihrer Bewegung: Eine Abteilung, deren Korrekturquote über Monate sinkt, während sich am System nichts geändert hat, sieht dem eigenen Vertrauen beim Wachsen zu — und sollte nachmessen, ob es verdient ist. Der häufigste Fehlertyp, die Auslassung, bleibt beim bloßen Gegenlesen ohnehin strukturell unsichtbar [7]; die Stichprobe prüft deshalb gegen die Quellen und verlässt sich nie auf den Leseeindruck allein.

Worauf beim Gegenlesen selbst zu achten ist — Auslassungen, Verneinungen, Zahlen, Zuschreibungen —, haben wir in Flüssig, aber falsch: KI-Texte prüfen zusammengestellt. Ein strukturiertes 14-Tage-Protokoll für die Testphase steht in Probebetrieb klinischer KI.

Wir haben aus dieser Literatur ein Konstruktionsprinzip für unsere eigenen Module gemacht: Bei aiomics gilt eine Edit-Rate nahe null als Prüfsignal, das eine Review des Workflows auslöst — und für die geplante Stapelverarbeitung ist festgeschrieben, dass eine dauerhafte Blindakzeptanz von über 99 Prozent automatisch eine Human-Factors-Prüfung anstößt.

Wenn Sie das Thema in Ihrer Abteilung verankern wollen: Unser CME-zertifizierter Kurs zur KI-Kompetenz (3 CME-Punkte, Ärztekammer Hessen) vertieft genau diese Prüfkompetenz. Und im Newsletter Visite schreiben wir regelmäßig über die Evidenz hinter KI-Dokumentation — auch über die unbequeme.

Quellen

1. Parasuraman R, Riley V. Humans and Automation: Use, Misuse, Disuse, Abuse. Human Factors. 1997;39(2):230–253. doi:10.1518/001872097778543886.
2. Parasuraman R, Manzey DH. Complacency and Bias in Human Use of Automation: An Attentional Integration. Human Factors. 2010;52(3):381–410. doi:10.1177/0018720810376055.
3. Goddard K, Roudsari A, Wyatt JC. Automation bias: a systematic review of frequency, effect mediators, and mitigators. Journal of the American Medical Informatics Association. 2012;19(1):121–127. doi:10.1136/amiajnl-2011-000089.
4. Goddard K, Roudsari A, Wyatt JC. Automation bias: empirical results assessing influencing factors. International Journal of Medical Informatics. 2014;83(5):368–375. doi:10.1016/j.ijmedinf.2014.01.001.
5. Dratsch T, Chen X, Rezazade Mehrizi M, et al. Automation Bias in Mammography: The Impact of Artificial Intelligence BI-RADS Suggestions on Reader Performance. Radiology. 2023;307(4):e222176. doi:10.1148/radiol.222176.
6. Anderson TN, Mohan V, Dorr DA, Ratwani RM, Biro JM, Gold JA. Evaluating the Quality and Safety of Ambient Digital Scribe Platforms Using Simulated Ambulatory Encounters. Mayo Clinic Proceedings: Digital Health. 2025;3(4):100292. doi:10.1016/j.mcpdig.2025.100292.
7. Taylor SL, Jost M, MacDonald S, et al. Quality of Clinical Notes Created by Ambient Listening Generative AI: Pragmatic Prospective Pilot Study. JMIR Medical Informatics. 2026;14:e86474. doi:10.2196/86474.