Flüssig, aber falsch: wie Sie KI-Entwürfe prüfen, bevor Sie unterschreiben

18:20 Uhr, Spätdienst. Die Oberärztin öffnet den Entwurf der Aufnahme-Notiz, den das neue System aus dem Gespräch erzeugt hat. Er ist gut: sauber gegliedert, vollständig wirkend, in besserem Deutsch als manches, was um diese Uhrzeit von Menschen kommt. Sie liest ihn in neunzig Sekunden, ändert ein Wort, gibt frei.

So sieht der Normalfall aus. Er ist auch der Risikofall.

Das Fehlerprofil: Auslassungen dominieren

Die Fehlerforschung zu KI-generierten klinischen Texten hat in den letzten zwei Jahren ein konsistentes Muster gezeichnet — mit dem wichtigen Vorbehalt, dass die Studien unterschiedliche Bezugsgrößen verwenden und ihre Raten deshalb untereinander kaum vergleichbar sind:

• In einem Vergleich von fünf Scribe-Plattformen an 14 standardisierten Encounters (Mayo Clinic Proceedings: Digital Health, 2025) lag die mittlere Fehlerrate der erzeugten Notizen bei 26,3 Prozent; rund drei Viertel aller Fehler waren Auslassungen, Halluzinationen fanden sich in 31 Prozent der Notizen [1].
• In einem zweimonatigen Realbetrieb (JMIR Medical Informatics, 2026; 31 Ärzt:innen, 7.545 erzeugte Notizen, davon 356 systematisch geprüft) waren Auslassungen mit 18 Prozent der häufigste Fehlertyp, vor Halluzinationen (11,5 Prozent) und versehentlichen Einfügungen (9,3 Prozent) [2]. Bemerkenswert ist auch der Nenner: Geprüft wurde nur ein Bruchteil dessen, was erzeugt wurde.
• Die britische CREOLA-Analyse (npj Digital Medicine, 2025) fand auf Satzebene 1,47 Prozent Halluzinationen gegenüber 3,45 Prozent Auslassungen — und stufte 44 Prozent der Halluzinationen als klinisch bedeutsam ein [3].
• In einer Untersuchung LLM-generierter Fallzusammenfassungen aus der Notaufnahme (UCSF, PLOS Digital Health 2025) enthielten 42 Prozent der Dokumente Halluzinationen und 47 Prozent fehlende relevante Information [4].

Die Rangfolge ist über alle Designs stabil: Auslassungen dominieren, um den Faktor zwei bis drei. Und sie sind genau die Fehlerklasse, die man beim Lesen des Texts grundsätzlich nicht sieht. Man kann nicht bemerken, was fehlt, solange man nur liest, was da ist. Wie eine Generierungs-Pipeline auf dieses Fehlerprofil antworten kann, haben wir am Beispiel des Arztbriefs beschrieben.

Der zweite Gegner sitzt vor dem Bildschirm

Die Human-Factors-Forschung kennt das Phänomen seit den Neunzigern: Automation Complacency tritt vor allem unter Mehrfachbelastung auf, betrifft Erfahrene wie Anfänger:innen und lässt sich durch bloße Übung nicht beseitigen [5]. Konkret für die Medizin: In einer Verordnungsstudie wechselten Ärzt:innen in 5,2 Prozent der Fälle nach einem falschen Systemrat von einer richtigen zu einer falschen Antwort [6]. In einem radiologischen Vignetten-Experiment fiel die Treffsicherheit sehr erfahrener Befunder:innen unter falschen KI-Vorschlägen von 82 auf 45,5 Prozent — Experimentalbedingungen, aber ein deutliches Signal [7].

Ein flüssiger Text verschärft beides. Sprachliche Qualität wirkt wie ein Kompetenzsignal, und ein Entwurf, der wie das Werk einer guten Kollegin aussieht, wird gelesen wie das Werk einer guten Kollegin: wohlwollend, zügig, auf Stilebene. Genau deshalb braucht das Gegenlesen von KI-Entwürfen eine eigene Systematik.

Fünf Prüfheuristiken

1. Gegen die Akte lesen statt den Text entlang. Nehmen Sie zuerst die strukturierte Quelle — Diagnosenliste, Medikationsliste, offene Befunde, das Gesprächsprotokoll — und haken Sie ab, was der Entwurf davon trägt. Auslassungen findet nur der Abgleich; die Lektüre des Entwurfs allein kann sie prinzipiell nicht finden.
2. Verneinungen einzeln anfassen. „Kein“, „nicht“, „ohne“, „abgesetzt“, „pausiert“: Allergien, Antikoagulation, ausgeschlossene Diagnosen. Eine gekippte Verneinung invertiert die Bedeutung bei intakter Grammatik. Dokumentiert ist ein Fall aus der älteren Spracherkennungs-Ära, in dem die Verwechslung von „kein vaskulärer Fluss“ und einem Normalbefund in einem unnötigen Eingriff endete [8].
3. Jede Zahl gegen ihre Quelle. Dosierungen, Datumsangaben, Laborwerte, Seitenangaben. Zahlen sind im Text selten genug, dass sich jede einzelne prüfen lässt — und keine ist es wert, ungeprüft übernommen zu werden.
4. Zuschreibungen prüfen. Wer hat das gesagt: die Patientin, der Angehörige, ein Vorbefund? Sprecher-Fehlzuordnung gehört neben Halluzination, Auslassung und kontextueller Fehlinterpretation zu den vier dokumentierten Fehlermodi von KI-Scribes [8]. Wie aus zwei richtigen Befunden eine erfundene Diagnose werden kann, zeigt, dass auch korrekte Einzelinformationen falsch kombiniert werden können.
5. Das eigene Editierverhalten beobachten. Wenn Sie über Wochen fast nichts mehr ändern, gibt es zwei Erklärungen: Das System ist sehr gut geworden — oder die Prüfung ist es nicht mehr. Die Complacency-Forschung legt nahe, die zweite Erklärung ernst zu nehmen, gerade bei Erfahrenen [5]. Auf Abteilungsebene sind Edit-Raten nahe null ein Anlass für eine Stichprobe.

Gegenlesen ist lehrbar

Keine dieser Heuristiken kostet mehr als Minuten, und alle fünf sind in einer Einarbeitungswoche vermittelbar. Abteilungen, die das ernst nehmen, behandeln Gegenlesen wie Befundung: als Fertigkeit mit Systematik, Fehlerklassen und Übung — mit Stichproben in der Chefvisite, einem lauten Abgleich in der Frühbesprechung, einem Platz im Einarbeitungscurriculum. Wer das strukturiert aufbauen will: Unser CME-zertifizierter Kurs zur KI-Kompetenz (3 CME-Punkte, Ärztekammer Hessen) behandelt genau diese Prüfkompetenz.

In unserer eigenen Gesprächsdokumentation verknüpfen wir erzeugte Zusammenfassungen satzgenau mit der Transkriptstelle, damit der Abgleich aus Heuristik 1 keinen Suchaufwand kostet; ein Auslassungs-Detektor, der Entwürfe automatisch gegen die strukturierte Akte abgleicht, ist geplant.

Die Oberärztin aus dem Spätdienst braucht mit diesen fünf Schritten etwa vier Minuten pro Entwurf. Das ist der Preis. Er ist niedriger als der andere.

Wenn Sie die Evidenz zu KI-Dokumentation im Blick behalten wollen: Unser wöchentlicher Newsletter Visite wertet neue Studien aus — kurz, quellenbelegt, ohne Anbieterprosa.

Quellen

1. Anderson TN, Mohan V, Dorr DA, et al. Evaluating the Quality and Safety of Ambient Digital Scribe Platforms Using Simulated Ambulatory Encounters. Mayo Clinic Proceedings: Digital Health. 2025;3(4):100292. doi:10.1016/j.mcpdig.2025.100292
2. Taylor SL, et al. Quality of Clinical Notes Created by Ambient Listening Generative AI: Pragmatic Prospective Pilot Study. JMIR Medical Informatics. 2026;14:e86474. doi:10.2196/86474
3. Asgari E, et al. A framework to assess clinical safety and hallucination rates of LLMs for medical text summarisation. npj Digital Medicine. 2025;8(1):274. doi:10.1038/s41746-025-01670-7
4. Williams CYK, Bains J, Tang T, et al. Evaluating large language models for drafting emergency department encounter summaries. PLOS Digital Health. 2025;4(6):e0000899. doi:10.1371/journal.pdig.0000899
5. Parasuraman R, Manzey DH. Complacency and Bias in Human Use of Automation: An Attentional Integration. Human Factors. 2010;52(3):381–410. doi:10.1177/0018720810376055.
6. Goddard K, Roudsari A, Wyatt JC. Automation bias: empirical results assessing influencing factors. Int J Med Inform. 2014. https://www.sciencedirect.com/science/article/abs/pii/S1386505614000148
7. Dratsch T, et al. Automation Bias in Mammography: The Impact of Artificial Intelligence BI-RADS Suggestions on Reader Performance. Radiology. 2023;307(4):e222176. doi:10.1148/radiol.222176.
8. Topaz M, Peltonen LM, Zhang Z. Beyond human ears: navigating the uncharted risks of AI scribes in clinical practice. npj Digital Medicine. 2025. doi:10.1038/s41746-025-01895-6. Ergänzend zur Sprecherverwechslung: npj Digital Medicine. 2025;8:569.