„Unabhängig evaluiert“: was das bei klinischer KI heißen sollte

Folie zwölf des Anbieterdecks trägt ein Siegel: „Klinisch validiert — unabhängig evaluiert.“ Die Ärztliche Direktorin fragt nach, von wem. Es folgen eine Anwenderbefragung, die der Anbieter selbst durchgeführt hat, und eine Betriebsauswertung des größten Kunden. Beides sind echte Daten. Eine unabhängige Evaluation ist keines von beiden.

Der Begriff ist nicht geschützt, und in der Kategorie KI-Dokumentation wird er großzügig verwendet. Er kann ein Kundenzitat meinen, eine anbieterfinanzierte Machbarkeitsstudie oder tatsächlich eine externe wissenschaftliche Prüfung — von außen ist das ohne Nachfrage nicht zu unterscheiden. Ein Kommentar in npj Digital Medicine hielt 2025 fest, die Verbreitung dieser Systeme sei ihrer Validierung, Transparenz und regulatorischen Aufsicht davongelaufen [1]. Umso mehr lohnt es sich, an drei Achsen präzise festzumachen, wie viel Unabhängigkeit in einer Evaluation steckt.

Achse 1: Wer definiert die Endpunkte?

Wer den Endpunkt wählt, wählt das Ergebnis mit. Die freundlichsten Endpunkte der Kategorie sind Dokumentationszeit und Nutzerzufriedenheit — beide legitim, beide messbar, beide weit entfernt von der Frage, die eine Klinik eigentlich stellt: Wird die Dokumentation vollständiger oder lückenhafter, und was passiert nachgelagert mit Kodierung und Abrechnung? Ein Kommentar in JAMA Network Open hält fest, dass zentrale Wirkungen der Scribe-Einführung — Kosten, Kodierintensität, Qualität, Verteilungseffekte — bislang empirisch nicht adressiert sind [2]. Ein methodisches Rahmenwerk in npj Digital Medicine fordert entsprechend Endpunkte jenseits der Transkriptionsmetriken: klinisch relevante Fehler, Auslassungen, Workflow-Integration [3]. Dazu kommt ein Definitionsproblem: Was als Fehler zählt, ist zwischen Studien uneinheitlich definiert — enge Halluzinationsdefinitionen hier, Auslassungen und Inkonsistenzen dort —, sodass publizierte Raten untereinander kaum vergleichbar sind [1]. Ohne offengelegte Definitionen vergleicht eine Beschaffungsrunde Zahlen, die nichts voneinander wissen. Die erste Frage an jede vorgelegte Studie lautet deshalb: Welche Endpunkte fehlen, und wie sind die vorhandenen definiert?

Achse 2: Wer finanziert — und steht es dabei?

Die reichweitenstärkste Erfahrungsstudie der Kategorie — 2,5 Millionen Scribe-Nutzungen bei Kaiser Permanente — stammt vom implementierenden Gesundheitssystem selbst [4]. Solche Betriebsdaten sind wertvoll; als unabhängiger Wirksamkeitsbeleg taugen sie strukturell nicht, gleich wie sorgfältig gearbeitet wurde. Wie verbreitet Hersteller- und Betreibernähe in der Kategorie ist, lässt sich seriös nur je Studie am Interessenkonflikt-Statement festmachen — genau deshalb gehört dieses Statement zur Pflichtlektüre, bei jeder Studie einzeln. Fehlt es, ist auch das ein Befund. Dasselbe Prinzip gilt für die Datenbasis: Eine Studie, deren Protokoll und Rohauswertungen auf Anfrage einsehbar sind, spielt in einer anderen Liga als ein PDF mit Balkendiagrammen.

Achse 3: Wer kontrolliert das Design?

Randomisierung, Kontrollgruppe, vorab festgelegte Endpunkte: die Werkzeuge, die eine Beobachtung von einem Beleg unterscheiden. Die bislang größte randomisierte Studie im realen Klinikbetrieb — 238 Ärzt:innen, 14 Fachrichtungen, zwei kommerzielle Systeme gegen Kontrolle — fand für das bessere System rund zehn Prozent kürzere Notizschreibzeiten: von viereinhalb Minuten auf 3:49 [5]. Der Effekt war klein, aber sauber gemessen — und damit belastbarer als jede unkontrollierte 70-Prozent-Zahl. Die methodisch glaubwürdigste Studie der Kategorie ist zugleich die mit dem bescheidensten Effekt. Das ist kein Zufall, sondern der Normalbefund empirischer Forschung: Rigorose Designs entzaubern. Für die Beschaffung heißt das übersetzt: Wenn alle vorgelegten Zahlen spektakulär sind, fehlt vermutlich die rigoroseste Messung — die Frage danach kostet einen Satz. Wie man solche Studien im Detail auseinandernimmt, haben wir in Wie man eine Scribe-Studie liest beschrieben.

Fünf Merkmale, an denen Sie unabhängige Evaluation erkennen

1. Die evaluierende Institution hat kein wirtschaftliches Interesse am Ergebnis, und das Interessenkonflikt-Statement legt die Beziehungen offen. Anbieterfinanzierung macht eine Studie nicht wertlos; sie macht sie zu dem, was sie ist — einer Herstellerangabe mit Methodenteil.
2. Die Endpunkte wurden vor Studienbeginn festgelegt und umfassen Fehlerklassen einschließlich Auslassungen — über Zeit und Zufriedenheit hinaus. Nachträglich gewählte Endpunkte messen das, was gut aussah.
3. Es gibt eine Kontrollbedingung, gegen die gemessen wird. Vorher-nachher-Vergleiche ohne Kontrolle messen auch Saisonalität, Personalwechsel und Gewöhnung mit.
4. Die Bezugsgrößen sind definiert — pro Wort, pro Notiz, pro Encounter — und werden nicht gewechselt. Ein Bezugsgrößenwechsel zwischen Zusammenfassung und Ergebnisteil ist ein Warnsignal.
5. Die Ergebnisse werden unabhängig vom Ausgang publiziert.

Der fünfte Punkt ist der härteste. Eine Evaluation, deren unvorteilhaftes Ergebnis in der Schublade verschwinden dürfte, ist Marketing mit Methodenteil.

Der eigene Prüfstein

Wir legen diese Messlatte auch an uns selbst an: Die Genauigkeit von aiomics wird derzeit an der Charité unabhängig evaluiert. Die Evaluation läuft, Ergebnisse liegen noch nicht vor — und bis sie vorliegen, verwenden wir sie nicht als Wirksamkeitsbeleg. Eine laufende Evaluation belegt zunächst nur eines: die Bereitschaft, sich messen zu lassen.

Drei Fragen für die nächste Beschaffungsrunde

1. „Zeigen Sie uns die Interessenkonflikt-Statements der zitierten Studien.“ Existiert keines, ist das die Antwort.
2. „Welche Endpunkte wurden gemessen, mit welcher Bezugsgröße — und welche Endpunkte fehlen?“ Wer diese Angaben nicht parat hat, hat die eigene Evidenz nicht gelesen.
3. „Was ist Ihre am wenigsten vorteilhafte publizierte Zahl?“ Ein Anbieter, der diese Frage beantworten kann, hat Evidenzarbeit geleistet. Einer, der sie umschifft, hat Material fürs Deck gesammelt.

Eine vierte Frage geht an Sie selbst: ob Sie messen wollen. Ein strukturierter Probebetrieb am eigenen Bestand ersetzt keine Studie, beantwortet aber die eine Frage, die keine fremde Studie beantworten kann — wie sich das System bei Ihnen verhält, mit Ihren Fällen, Ihrem Lärm, Ihrer Papierqualität. Das Protokoll dafür steht in Probebetrieb klinischer KI: das 14-Tage-Prüfprotokoll. Kritisch gelesene Fremdevidenz und eine eigene strukturierte Messung zusammen sind für eine Beschaffungsentscheidung mehr wert als jedes Siegel auf Folie zwölf.

Wenn Sie über Evaluationsdesigns sprechen wollen — auch kritisch, auch ohne aiomics zu evaluieren —, schreiben Sie uns. Im Newsletter Visite berichten wir regelmäßig über neue Evidenz zur KI-Dokumentation, einschließlich der unbequemen.

Quellen

1. Topaz M, Peltonen LM, Zhang Z. Beyond human ears: navigating the uncharted risks of AI scribes in clinical practice. npj Digital Medicine. 2025;8(1):569. doi:10.1038/s41746-025-01895-6.
2. Ambient AI Scribes — What Is the Return on Investment? JAMA Network Open. 2025. doi:10.1001/jamanetworkopen.2025.53238.
3. Wang H, Yang R, Alwakeel M, et al. An evaluation framework for ambient digital scribing tools in clinical applications. npj Digital Medicine. 2025;8:358. doi:10.1038/s41746-025-01622-1.
4. Tierney AA, Gayre G, Hoberman B, et al. Ambient Artificial Intelligence Scribes: Learnings After 1 Year and Over 2.5 Million Uses. NEJM Catalyst Innovations in Care Delivery. 2025;6(5):CAT.25.0040. doi:10.1056/CAT.25.0040.
5. Lukac PJ, Turner W, Vangala S, et al. Ambient AI Scribes in Clinical Practice: A Randomized Trial. NEJM AI. 2025;2(12):AIoa2501000. doi:10.1056/AIoa2501000.