Was eine unabhängige akademische Bewertung wert ist — und woran man eine Anbieter-Studie erkennt

Im Klinik-KI-Markt ist der überwältigende Großteil der publizierten Wirksamkeits-Aussagen anbietergeführt. Der Anbieter wählt die Endpunkte, der Anbieter wählt den Vergleichs-Arm, der Anbieter wertet die Daten aus oder beauftragt eine Stelle, die im Auftrag des Anbieters auswertet. Diese Studien sind nicht wertlos — sie sind eine bestimmte Klasse von Evidenz. Was sie nicht sind: das, wofür sie in der Werbe-Sprache oft gehalten werden.

Eine Anbieter-Studie ist methodisch gesehen eine Behauptung in Studien-Form. Eine unabhängige akademische Bewertung im Implementation-Science-Rahmen ist eine Prüfung der Behauptung. Die beiden Klassen von Evidenz unterscheiden sich nicht im Stil der Aufbereitung — sie unterscheiden sich im Verfahren. Damschroder et al. (2009, mit Updates 2022) konsolidieren das Consolidated Framework for Implementation Research (CFIR); Glasgow et al. (1999, mit Updates 2019) konsolidieren Reach, Effectiveness, Adoption, Implementation und Maintenance (RE-AIM). Beide Frameworks geben Implementation-Science-Bewertungen die methodische Sprache, die anbietergeführte Anwendungsstudien meist nicht verwenden; ihre fünf Dimensionen werden unabhängig vom Auftraggeber geprüft. Anbietergeführte Anwendungsstudien adressieren typischerweise eine oder zwei dieser Dimensionen, meist die im Auftragskontext werblich relevanteste.

Drei methodische Stellen, an denen sich die Klassen unterscheiden

Erstens: Endpunkt-Wahl. In einer anbietergeführten Studie wird der Endpunkt häufig nach dem Vorhandensein in der Software gewählt — was die Software gut misst, wird zum Endpunkt. In einer Implementation-Science-Bewertung wird der Endpunkt aus dem klinischen Anwendungs-Ziel abgeleitet und mit publizierten Outcome-Frameworks (z. B. RE-AIM) abgeglichen, bevor die Software-Messung daran angepasst wird. Die Reihenfolge ist umgekehrt — und genau diese Umkehrung ist methodisch entscheidend. Zweitens: Vergleichs-Arm. Eine anbietergeführte Studie misst die eigene Software gegen den prä-Software-Zustand der Klinik („vorher / nachher“). Eine unabhängige Bewertung muss den Vergleichs-Arm explizit deklarieren — Standard of Care, alternative Software, abgewartete Kontroll-Phase — und dokumentieren, warum dieser Vergleich klinisch relevant ist. Vorher-nachher-Vergleiche sind methodisch schwach, weil sie Lerneffekte, Saison-Effekte und Workflow-Anpassungs-Effekte mit dem Software-Effekt vermengen.

Drittens: Sponsorship- und Auswertungs-Disclosure. ICMJE-Standards (International Committee of Medical Journal Editors) verlangen für klinische Studien Vorab-Registrierung, Endpunkt-Spezifikation, Sponsorship-Disclosure und unabhängige statistische Auswertung. Anbieter-Studien zur eigenen Software erfüllen diese Standards selten. Eine unabhängige akademische Bewertung erfüllt sie als methodische Voraussetzung — die Bewertung ist nicht akademisch unabhängig, wenn die Auswertung beim Anbieter liegt. Aus der Pharma-Industrie-Studien-Bias-Forschung ist eine ähnliche Mechanik dokumentiert (etwa Lundh et al. 2017 in der Cochrane Database of Systematic Reviews) — eine direkte Übertragung auf Klinik-KI-Studien ist methodisch noch offen, das Muster der Endpunkt-Wahl ist aber strukturell vergleichbar. Der Mechanismus liegt nicht in Datenfälschung, sondern in den drei methodischen Stellen, die Anbieter-Studien an die Sponsor-Marketing-Linie binden.

Was eine unabhängige akademische Bewertung konkret leistet

Eine unabhängige akademische Bewertung im Implementation-Science-Rahmen leistet drei Dinge, die anbietergeführte Studien strukturell nicht leisten können. Erstens: methodische Distanz zur Sponsor-Intervention. Die Bewertungs-Stelle wählt die Endpunkte und den Vergleichs-Arm nach Klinik-Relevanz, nicht nach werblicher Eignung für den Sponsor. Zweitens: mehrdimensionale Bewertung. RE-AIM fragt explizit, ob die Software in der Klinik-Realität tatsächlich erreicht wird (Reach), aufgenommen wird (Adoption), in den Alltag integriert wird (Implementation) und langfristig getragen wird (Maintenance) — nicht nur, ob sie unter Studienbedingungen den Effekt zeigt (Effectiveness); CFIR ergänzt diese Dimensionen um eine kontextuelle Lesart der Innovations-, Setting- und Implementations-Prozess-Faktoren. Drittens: methodische Auditfähigkeit. Eine unabhängige Bewertung ist im akademischen Kontext peer-reviewbar, das Verfahren steht in einem öffentlichen Protokoll, die Daten sind in einem Standard-Format dokumentiert.

Im deutschen Klinik-IT-Kontext ist die AG Clinical Implementation Science in Digital Health der Charité mit dem EviDoc-Programm eine der akademischen Stellen, die solche Bewertungen durchführen. International gibt es vergleichbare Programme — die US-amerikanischen Centers of Excellence im Bereich Health-AI-Evaluation, die akademisch eingebetteten CLAHRCs (Collaborations for Leadership in Applied Health Research and Care) des britischen National Institute for Health Research, akademische Implementation-Science-Lehrstühle an verschiedenen europäischen Universitätskliniken. Die methodische Klasse ist international anschlussfähig; die organisatorische Form variiert je nach nationalem Forschungs-Förderungs-Kontext.

Aiomics-Authorship-Transparenz

Aiomics nimmt aktuell an einer EviDoc-Bewertung der Charité-AG Clinical Implementation Science in Digital Health teil. Das Ergebnis ist offen. Der vorliegende Beitrag macht keine Aussage über das Bewertungs-Ergebnis und keine Behauptung über eine Zertifizierung oder positive Bewertung — er beschreibt die methodische Klasse, in die solche unabhängigen Bewertungen gehören. Wir teilen diese Authorship-Transparenz, weil die Klasse der Studie wichtiger ist als ihre Effektgröße — und weil eine Anbieter-Selbstdarstellung, die das verschweigt, im methodischen Sinn keine Implementation-Science-Argumentation führt, sondern eine Marketing-Argumentation in akademischer Sprache.

Diese Unterscheidung ist nicht akademisch — sie ist die Voraussetzung dafür, dass „die Studienlage zeigt“ mehr ist als ein Marketing-Idiom. Eine ungeprüfte Studien-Klasse lässt die Effektgröße als Argument unverankert; die Aussage kann glaubhaft klingen, ohne strukturell tragfähig zu sein.

Die Frage „Hat der Anbieter X eine Studie?“ ist deshalb in der Klinik-KI-Beschaffung die falsche Frage. Die richtige Frage ist „Welche Klasse von Studie hat Anbieter X — und auf welcher methodischen Basis?“. Effektgrößen ohne Evidenz-Klasse zu kaufen ist eine der teurersten Spar-Entscheidungen in der Klinik-IT-Beschaffung.