Wie man eine Scribe-Studie liest: fünf Fragen, bevor Sie der Zahl glauben

Die Unterlagen für die Beschaffungsrunde sind verteilt. Auf Folie neun des Anbieter-Decks steht eine Zahl mit Sternchen: „bis zu 70 Prozent weniger Dokumentationszeit“. Das Sternchen führt zu einer Studie im Anhang — zwölf Seiten, englisch, mit Konfidenzintervallen. Die IT-Leitung fragt, ob das aus ärztlicher Sicht belastbar ist. Sie haben zwanzig Minuten zwischen zwei Terminen.

Die gute Nachricht: Zwanzig Minuten reichen. Studien zu KI-Scribes und KI-Dokumentation folgen wiederkehrenden Mustern, und die Stellen, an denen sie tragen oder brechen, sind fast immer dieselben fünf. Es sind die Fragen, die Sie im Journal Club an jede Medikamentenstudie stellen würden — mit anderem Vokabular.

Frage 1: Vignette oder Versorgung?

Wo fand die Studie statt — an präparierten Fällen oder im laufenden Betrieb? Das Lehrstück dazu kommt aus der Radiologie: 27 Radiolog:innen befundeten 50 Mammographien, denen absichtlich falsche KI-Vorschläge beigelegt waren. Die Genauigkeit unerfahrener Befunder fiel von rund 80 auf unter 20 Prozent, die der sehr erfahrenen (über 15 Jahre Berufspraxis) von 82 auf 45,5 Prozent [1]. Ein starker Befund — und zugleich ein experimentelles Vignetten-Design, keine Versorgungsrealität. Vignetten zeigen Mechanismen. Effektgrößen aus Vignetten in den Alltag zu übertragen, ist der häufigste Lesefehler, in beide Richtungen: Ein Scribe, der im stillen Demo-Raum überzeugt, hat noch kein Aufnahmegespräch mit Angehörigen, Rückfragen und Flurlärm erlebt.

Zum Vergleich der Goldstandard: In der bislang größten randomisierten Studie im realen Workflow — 238 Ärzt:innen, 14 Fachrichtungen, zwei kommerzielle Systeme gegen eine Kontrollgruppe — verkürzte das bessere System die Notizschreibzeit von viereinhalb Minuten auf 3:49 Minuten, gegenüber der Kontrolle eine Reduktion um rund zehn Prozent [2]. Je robuster das Design, desto bescheidener der Effekt. Diese Faustregel ist beim Lesen der zuverlässigste Anker.

Frage 2: Was zählt als Fehler — und worauf bezogen?

Moderne KI-Scribes berichten Fehlerraten von etwa ein bis drei Prozent; ältere Spracherkennung lag bei sieben bis elf [3]. Das klingt nach Fortschritt und ist auch einer. Nur: Was genau wurde gezählt? Manche Studien definieren Halluzinationen eng als faktische Unrichtigkeiten, andere zählen klinische Inkonsistenzen und Auslassungen mit. Die Raten verschiedener Studien sind deshalb untereinander kaum vergleichbar [3]. Auch die Bezugsgröße wechselt: Fehler pro Wort (die klassische Word Error Rate), pro Notiz, pro Encounter. Eine Wortfehlerrate von einem Prozent kann bedeuten, dass jede vierte Notiz einen klinisch relevanten Fehler enthält.

Die Word Error Rate hat zudem einen blinden Fleck: Sie misst Transkription; ob ein Fehler klinisch zählt, sieht sie nicht. Ein methodisches Rahmenwerk in npj Digital Medicine fordert deshalb Evaluation jenseits reiner Transkriptionsmetriken — klinisch relevante Fehler, Auslassungen, Workflow-Integration [4].

Frage 3: Wurden Auslassungen gezählt?

In einem Zwei-Monats-Pilot mit 31 Ärzt:innen wurden von 7.545 generierten Notizen 356 systematisch geprüft. Auslassungen fanden sich in 18 Prozent der geprüften Notizen und waren damit der häufigste Fehlertyp, vor Halluzinationen (11,5 Prozent) und versehentlichen Einfügungen (9,3 Prozent) [5]. Auslassungen sind zugleich der Fehlertyp, den Prüfende am schlechtesten entdecken: Man sieht nicht, was fehlt [3]. Eine Studie, die ausschließlich Halluzinationen berichtet, hat die kleinere Fehlerklasse gemessen. Wie Sie Auslassungen im eigenen Haus erheben, haben wir in Auslassungen in KI-Dokumentation prüfen beschrieben.

Frage 4: Wer hat bezahlt — und wer hat die Endpunkte gewählt?

Die vielzitierte Erfahrungsstudie über 2,5 Millionen Scribe-Nutzungen bei Kaiser Permanente stammt vom implementierenden Gesundheitssystem selbst [6]. Das macht sie nicht wertlos — Betriebsdaten dieser Größenordnung gibt es sonst nirgends, und selbst dieser freundlichste Bericht der Kategorie kommt, bei hoher Nutzerzufriedenheit, auf rund eine Minute weniger After-Hours-Dokumentationszeit je Termin [6]. Aber sie ist ein Erfahrungsbericht des Betreibers; für einen unabhängigen Wirksamkeitsnachweis braucht es andere Designs. Lesen Sie das Interessenkonflikt-Statement jeder vorgelegten Studie einzeln. Und prüfen Sie, wer die Endpunkte gewählt hat: Dokumentationszeit und Zufriedenheit sind die freundlichsten Endpunkte der Kategorie. Ein Kommentar in JAMA Network Open weist darauf hin, dass zentrale Wirkungen — Kosten, Kodierintensität, Versorgungsqualität — bislang empirisch gar nicht adressiert sind [7].

Frage 5: Gilt das für Ihr Haus?

Die meisten Studien der Kategorie stammen aus dem ambulanten US-Betrieb, in englischer Sprache, mit US-Dokumentationslogik. Eine deutsche Station mit Visite, Übergaben und GKV-Formularwelt ist ein anderes Messfeld. Deutsche Daten sind rar: Eine Freiburger Arbeitsgruppe fand 2024, dass 93,1 Prozent KI-generierter deutscher Arztbriefe mit minimaler Anpassung nutzbar waren [9] — gemessen wurde allerdings Nutzbarkeit, keine Fehlerklassen. Auch hier trägt die Frage, was nicht gemessen wurde. Auch die Messtechnik verdient einen Blick: An einer Längsschnittstudie wurde kritisiert, dass die verwendete EHR-Metrik die im Scribe-Portal verbrachte Zeit gar nicht erfasst — ein Teil der gemessenen Ersparnis war womöglich nur verschobene Zeit — und dass Einlauf- und Analysezeitraum je einen Monat betrugen [8]. Übertragbar sind in der Regel die Mechanismen: Auslassungen dominieren, Automation Bias existiert, Effekte sind moderat. Die Effektgrößen selbst reisen schlecht.

Die fünf Fragen auf einer Karteikarte

1. Setting: Vignette, Simulation oder realer Workflow?
2. Fehlerdefinition: Was wurde als Fehler gezählt — und pro Wort, pro Notiz oder pro Encounter?
3. Auslassungen: als eigene Fehlerklasse erhoben oder gar nicht?
4. Finanzierung und Endpunkte: Wer zahlt, wer misst, welche Endpunkte fehlen?
5. Übertragbarkeit: Sprache, Sektor, Fachrichtung, Messfenster, Messmetrik.

Wenn das Studienmaterial eines Anbieters keine der fünf Fragen beantwortet, ist das selbst eine Antwort.

Was von „bis zu 70 Prozent“ nach diesen fünf Fragen übrig bleibt, hängt am Einzelfall. In der robustesten verfügbaren Evidenz sind es Minuten pro Encounter [2]. Auch Minuten sind Geld und Feierabend — es lohnt sich nur, sie als das zu kaufen, was sie sind.

Wie eine Evaluation aussieht, der Sie vertrauen können, haben wir in Unabhängige Evaluation klinischer KI sortiert. Wer die Lesetechnik systematisch aufbauen will: Unser CME-zertifizierter Kurs zur KI-Kompetenz (3 CME-Punkte, Ärztekammer Hessen) vertieft genau diese Appraisal-Methodik. Und im Newsletter Visite besprechen wir regelmäßig neue Studien dieser Kategorie — nüchtern und mit Quellen.

Quellen

1. Dratsch T, et al. Automation Bias in Mammography: The Impact of Artificial Intelligence BI-RADS Suggestions on Reader Performance. Radiology. 2023;307(4):e222176. doi:10.1148/radiol.222176.
2. Lukac PJ, Turner W, Vangala S, et al. Ambient AI Scribes in Clinical Practice: A Randomized Trial. NEJM AI. 2025;2(12):AIoa2501000. doi:10.1056/AIoa2501000.
3. Topaz M, Peltonen LM, Zhang Z. Beyond human ears: navigating the uncharted risks of AI scribes in clinical practice. npj Digital Medicine. 2025;8(1):569. doi:10.1038/s41746-025-01895-6.
4. Wang H, Yang R, Alwakeel M, et al. An evaluation framework for ambient digital scribing tools in clinical applications. npj Digital Medicine. 2025;8:358. doi:10.1038/s41746-025-01622-1.
5. Taylor SL, Jost M, MacDonald S, et al. Quality of Clinical Notes Created by Ambient Listening Generative AI: Pragmatic Prospective Pilot Study. JMIR Medical Informatics. 2026;14:e86474. doi:10.2196/86474.
6. Tierney AA, Gayre G, Hoberman B, et al. Ambient Artificial Intelligence Scribes: Learnings After 1 Year and Over 2.5 Million Uses. NEJM Catalyst Innovations in Care Delivery. 2025;6(5):CAT.25.0040. doi:10.1056/CAT.25.0040.
7. Ambient AI Scribes — What Is the Return on Investment? JAMA Network Open. 2025. doi:10.1001/jamanetworkopen.2025.53238.
8. Liu TL, et al. Does AI-Powered Clinical Documentation Enhance Clinician Efficiency? A Longitudinal Study. NEJM AI. 2024;1(12):AIoa2400659. doi:10.1056/AIoa2400659.
9. Heilmeyer F, Böhringer D, Reinhard T, Arens S, Lyssenko L, Haverkamp C. Viability of Open Large Language Models for Clinical Documentation in German Health Care: Real-World Model Evaluation Study. JMIR Medical Informatics. 2024;12:e59617. doi:10.2196/59617.