Probebetrieb klinischer KI: das 14-Tage-Prüfprotokoll

Die Teststellung beginnt am Montag. In der Demo hat das System überzeugt: ruhiger Raum, eine Stimme, ein sauber eingescannter Arztbrief. Ihr Haus klingt anders. Aufnahmegespräche mit Angehörigen, Rückfragen quer durch den Satz, Monitore, Flurbetrieb — und Faxe, die schon zwei Kopiervorgänge hinter sich haben.

Ob ein System das kann, entscheidet sich nicht in der Demo, sondern in einem strukturierten Probebetrieb. Das folgende Protokoll ist herstellerneutral und in 14 Tagen durchführbar. Es braucht zwei Ärzt:innen, eine koordinierende Kraft und eine Tabelle.

Woche 0: Vorbereitung

1. Prüfteam benennen. Zwei ärztliche Prüfer:innen unterschiedlicher Erfahrungsstufen, dazu eine Person für die Logistik: Fallauswahl, Tabelle, Termintreue. Niemand prüft Vorgänge, die er selbst freigegeben hat.
2. Stichprobe festlegen. Mindestens 40 reale Vorgänge über 14 Tage, verteilt über Wochentage und Tageszeiten. Der größte Teil davon: unspektakuläre Routine. Dazu die sechs Szenarien unten, gezielt eingeplant.
3. Referenz definieren. Geprüft wird immer gegen eine Quelle — beim Gesprächssystem gegen das Gespräch selbst (Prüfung noch am selben Tag, solange die Erinnerung trägt), bei Dokumenten-KI gegen das Quelldokument. Ohne definierte Referenz misst man nur, ob der Text gefällig klingt.
4. Rechtliches klären. Einwilligung der Patient:innen für jedes aufgezeichnete Gespräch, Auftragsverarbeitung für den Testzeitraum, Löschkonzept nach Testende — vor dem ersten Fall, gemeinsam mit Datenschutzbeauftragten und, wo Beschäftigtendaten berührt sind, früh mit dem Betriebsrat.
5. Fehlerklassen und Abbruchkriterien schriftlich festlegen — vor dem Start. Kriterien, die erst nach dem ersten Ärgernis formuliert werden, sind keine Kriterien.

Die sechs Szenarien

Fehlerraten von Sprach- und Dokumenten-KI sind stark bedingungsabhängig. In einer Übersichtsarbeit reichte die Wortfehlerrate von unter 9 Prozent bei kontrolliertem Diktat bis über 50 Prozent bei konversationellem Mehrsprecher-Audio [1]. Ein Stresstest einer klinischen Transkriptionspipeline mit 272 simulierten Encountern fand unter Stimmengewirr bei 5 Dezibel Signal-Rausch-Abstand einen Anstieg der Wortfehlerrate von 16,5 auf 54,7 Prozent — und einen Anstieg klinisch unsicherer Outputs von 13,6 auf 91,5 Prozent [2]. Das sind Simulationsdaten aus einem Preprint, aber die Richtung ist eindeutig: Fehler wachsen mit der Umgebung, und zwar nichtlinear. Genau deshalb werden die schwierigen Bedingungen im Probebetrieb gezielt hergestellt.

1. Das Angehörigengespräch. Führen Sie mehrere Aufnahmegespräche mit drei oder vier Personen im Raum. In Benchmark-Daten verdoppelt sich die Fehlerrate der Sprechertrennung nahezu, wenn statt zwei vier Stimmen zu unterscheiden sind [3]. Worauf achten: Landet die Symptomschilderung der Tochter bei der Patientin? Wird „Er nimmt die Tabletten nicht regelmäßig“ der richtigen Person zugeschrieben — und als Angehörigenaussage gekennzeichnet?
2. Verneinungen. Verteilen Sie über den Testzeitraum gezielt verneinte Aussagen: „keine Allergien bekannt“, „nie geraucht“, „Brustschmerz wird verneint“, „Marcumar wurde abgesetzt“. Zählen Sie, wie viele davon als Verneinung im Entwurf ankommen. Warum das die teuerste Kleinfehlerklasse ist, steht in Negation, Lateralität, Dosis.
3. Überlappendes Sprechen. Stellen Sie Rückfragen ins Wort, lassen Sie Bestätigungen („mhm“, „genau“) mitlaufen. In Meeting-Korpora überlappen rund 12 Prozent der Sprechzeit; kurze Bestätigungen sind zu etwa 70 Prozent überlagert [4]. Worauf achten: Was macht das System aus überlagerten Passagen — lässt es sie weg, rät es, mischt es zwei Sprecher?
4. Störgeräusch. Tür auf, Flurbetrieb, laufender Monitor. Das ist der Unterschied zwischen Demo-Raum und Station [2]. Worauf achten: Sinkt die Qualität erkennbar — und sagt das System das dazu, etwa über Konfidenzangaben?
5. Papierqualität (für Dokumenten-KI). Suchen Sie das schlechteste real eingegangene Fax des letzten Monats, einen schiefen Scan, eine Handschriftnotiz. Worauf achten: Kennzeichnet das System unsichere Extraktionen als unsicher, oder liefert es überall gleich selbstbewusste Feldwerte?
6. Der Normalfall. Die Mehrheit der 40 Vorgänge bleibt Routine — sonst vermessen Sie nur die Ränder und können die Alltagsleistung nicht beurteilen.

Zählregeln

Gezählt wird pro Vorgang, in fünf Fehlerklassen:

• Auslassung: Ein prüfrelevantes Item steht in der Quelle und fehlt im Entwurf. Wie man dafür vorab eine Quellliste erstellt, steht in Auslassungen in KI-Dokumentation prüfen.
• Erfindung: Eine Aussage im Entwurf hat keine Entsprechung in der Quelle.
• Personen- oder Sprecherverwechslung: Eine Aussage ist der falschen Person zugeordnet.
• Gekippte Verneinung: Aus verneint wird bejaht oder umgekehrt.
• Detailfehler: Dosis, Einheit, Seitenangabe, Datum, Zahlenwert.

Drei Regeln machen die Zählung belastbar:

1. Bezugsgröße festhalten. Berichtet wird der Anteil der Vorgänge mit mindestens einem Fehler je Klasse. Wortfehlerraten aus Datenblättern sind damit nicht vergleichbar — schon unterschiedliche Fehlerdefinitionen machen publizierte Raten untereinander unvergleichbar [5]. Bezugsgrößen deshalb nie mischen.
2. Zwei Prüfer:innen zählen unabhängig; Abweichungen werden im Konsens aufgelöst, das Konsensergebnis zählt.
3. Jeder Fehler bekommt ein Relevanzurteil: Hätte er unentdeckt Behandlung, Abrechnung oder Kommunikation verändert? Ja oder nein genügt.

Notieren Sie außerdem die Prüfzeit pro Vorgang. Die Kosten der Verifikation gehören zur Wahrheit über das Werkzeug — ein System, das fünf Minuten spart und sieben Minuten Prüfung braucht, hat ein anderes Wertversprechen als sein Prospekt.

Abbruchkriterien

Schriftlich, vor dem Start. Vier Kriterien decken die kritischen Fälle ab:

1. Eine Erfindung mit Behandlungsrelevanz, die das System ohne Unsicherheitskennzeichnung präsentiert hat: Test pausieren, Fall dokumentiert an den Anbieter, Fortsetzung erst nach belastbarer Antwort.
2. Mehr als eine gekippte Verneinung bei Medikation oder Allergien: gleiches Verfahren.
3. Eine Personenverwechslung, die unmarkiert in die Akte gelangt wäre: gleiches Verfahren.
4. Null gefundene Fehler nach 40 Vorgängen. Die Literatur kennt keine fehlerfreie Plattform — in einer Vergleichsuntersuchung über fünf Systeme lag die Notiz-Fehlerrate bei 26,3 Prozent [6]. Ein makelloses Testergebnis ist deshalb zuerst ein Befund über das Prüfverfahren: Zeitdruck, Ermüdung, zu weiche Referenz. Prüfen Sie die Prüfung, bevor Sie dem Ergebnis trauen.

Nach 14 Tagen: drei mögliche Ausgänge

1. Einführen, mit Regeln. Das Fehlerprofil ist bekannt; daraus werden Review-Regeln für den Betrieb — welche Fehlerklassen die Freigabe prüft, welche Stichprobe monatlich nachgemessen wird — und ein Termin für die Wiederholungsmessung.
2. Nachtesten. Einzelne Szenarien waren auffällig, der Rest trug: eine gezielte zweite Runde nur für die auffälligen Bedingungen.
3. Beenden. Ein Abbruchkriterium wurde ausgelöst, und die Anbieterantwort trägt nicht.

In allen drei Fällen lohnt ein letzter Schritt: Geben Sie dem Anbieter Ihre Zählung. Die Reaktion ist diagnostisch. Wer Fehlerzahlen aus realem Betrieb als wertvolles Material behandelt, wird sich im späteren Betrieb genauso verhalten. Wer sie wegerklärt, auch.

Wenn Sie Ihr Prüfteam vorab schulen wollen: Unser CME-zertifizierter Kurs zur KI-Kompetenz (3 CME-Punkte, Ärztekammer Hessen) vermittelt die Grundlagen für genau diese Prüfarbeit. Und im Newsletter Visite schreiben wir regelmäßig darüber, wie Kliniken KI-Systeme prüfen und einführen.

Quellen

1. Übersichtsarbeit zur Spracherkennung in der klinischen Dokumentation. BMC Medical Informatics and Decision Making. 2025;25:236. https://pmc.ncbi.nlm.nih.gov/articles/PMC12220090/.
2. Stresstest einer klinischen Transkriptionspipeline (272 simulierte Encounter). arXiv-Preprint, 2026. arXiv:2606.05909.
3. Sortformer-Diarisierungsmodell, technische Dokumentation (CALLHOME-Benchmark, Fehlerrate nach Sprecherzahl). NVIDIA/Hugging Face. https://huggingface.co/nvidia/diar_sortformer_4spk-v1.
4. Çetin Ö, Shriberg E. Analysis of overlaps in meetings by dialog factors, hot spots, speakers, and collection site: insights for automatic speech recognition. In: Proceedings of Interspeech 2006 — ICSLP; Pittsburgh, PA; 2006. doi:10.21437/Interspeech.2006-91.
5. Topaz M, Peltonen LM, Zhang Z. Beyond human ears: navigating the uncharted risks of AI scribes in clinical practice. npj Digital Medicine. 2025;8(1):569. doi:10.1038/s41746-025-01895-6.
6. Anderson TN, Mohan V, Dorr DA, Ratwani RM, Biro JM, Gold JA. Evaluating the Quality and Safety of Ambient Digital Scribe Platforms Using Simulated Ambulatory Encounters. Mayo Clinic Proceedings: Digital Health. 2025;3(4):100292. doi:10.1016/j.mcpdig.2025.100292.