Wie aus zwei richtigen Befunden eine erfundene Diagnose wird

Ein Akut-Bericht aus dem Krankenhaus dokumentiert „Arthrose linkes Knie”. Ein Vorbefund aus einer ambulanten Praxis dokumentiert „Arthrose rechtes Knie”. Eine Vorbefund-Aggregation an der Aufnahme, gestützt durch ein Large Language Model (LLM), erzeugt aus beiden Quellen den synthetischen Eintrag „Arthrose beidseits”. Die Aussage ist falsch. Aber sie liest sich nicht wie ein Fehler — sie liest sich wie eine ärztlich vertretbare Verdichtung von zwei Vorbefunden.

Diese Klasse von Fehlern hat einen Namen, sobald man sie methodisch anschaut: Halluzinations-Maskierung. Maynez et al. (2020) haben — ursprünglich an Nachrichten-Korpora, nicht an klinischen Texten — in der computerlinguistischen Forschung früh zwischen intrinsischen Halluzinationen — Aussagen, die der Quelle widersprechen — und extrinsischen Halluzinationen — Aussagen, die die Quelle weder bestätigt noch ausschließt — unterschieden. Beide klingen flüssig, weil das Sprachmodell darauf trainiert ist, flüssig zu klingen. Ji et al. (2023) haben die Klasse weiter aufgeschlüsselt; eine besonders schwer detektierbare Untergruppe sind Aggregations-Halluzinationen — Synthese-Aussagen, die aus quellengetreuen Einzel-Fragmenten zusammengesetzt sind, deren Kombination aber in keiner Einzel-Quelle steht.

Warum gerade diese Klasse durch den klinischen Sicherheits-Filter rutscht

Ärzt:innen lesen LLM-Ausgaben mit klinischem Misstrauen. Das Misstrauen ist real — und es funktioniert verlässlich gegen freie Halluzinationen, also Aussagen, die in keiner der vorliegenden Quellen stehen. Eine erfundene Medikation, eine erfundene Allergie, eine erfundene Voroperation — solche Aussagen werden bei einer aufmerksamen Lesung des Berichts entdeckt, weil sie sich nicht in den Quellen wiederfinden lassen. Dieser Filter funktioniert.

Gegen Halluzinations-Maskierung funktioniert er weniger. Das liegt nicht an mangelnder klinischer Aufmerksamkeit, sondern an der Struktur der Aussage. Eine Synthese-Halluzination ist kein erfundener Fakt, der im Quellen-Stapel fehlt. Sie ist eine Verbindung zwischen zwei Aussagen, von denen jede einzelne im Quellen-Stapel steht. Wer prüft, „findet sich diese Aussage in den Vorbefunden?”, findet sie — als Bruchstücke. Die fehlerhafte Verbindung selbst — die unzutreffende „beidseits”-Aggregation, der unzutreffende Verlaufs-Zusammenhang, die unzutreffende kausale Verknüpfung — bleibt unsichtbar, sofern niemand explizit den Aggregations-Schritt prüft. Reviews in NEJM AI (KI-Sektion des New England Journal of Medicine) aggregieren 2024–2026 Studien unterschiedlicher Methodik und berichten dennoch konvergent, dass die Detektion-Rate für Synthese-Halluzinationen durch klinische Reviewer:innen deutlich niedriger ist als für freie Halluzinationen — und dass die Detektion-Rate weiter sinkt, je flüssiger und idiomatischer die synthetische Aussage formuliert ist.

Das Knie-Beispiel ist nicht das einzige. Eine Quelle dokumentiert „Hypertonie, Beginn 2019”. Eine zweite Quelle dokumentiert „Hypertonie, ACE-Hemmer seit 2021”. Eine LLM-Synthese erzeugt daraus „Hypertonie seit 2019, ACE-Hemmer-Therapie seit 2019” — eine zeitliche Aggregation, die in keiner der beiden Quellen steht. Dosen-Aggregationen sind eine weitere Klasse: Quelle A schreibt „Marcumar 2 mg”, Quelle B schreibt „Marcumar 5 mg”, eine Synthese schreibt „Marcumar 2–5 mg” oder „Marcumar variabel” — Formulierungen, die einen Zeitverlauf andeuten, der nirgendwo dokumentiert ist. Auch Diagnose-Schwellen werden geglättet: Quelle A spricht von „grenzwertig erhöht”, Quelle B spricht von „pathologisch” — eine Synthese formuliert „pathologisch erhöht” und übernimmt die Schwelle aus Quelle B und das Adjektiv aus Quelle A, ohne dass die beiden Quellen tatsächlich übereingestimmt hätten. Singh et al. (2023–2025) und vergleichbare Forschungs-Linien dokumentieren diese Sub-Klassen empirisch im Journal of the American Medical Association (JAMA), in NEJM AI und in npj Digital Medicine.

Drei Architektur-Kontrollen, die der Klasse strukturell begegnen

Die Lösung ist kein nachgelagerter Halluzinations-Filter. Berichte des Stanford Institute for Human-Centered AI (HAI) argumentieren 2024–2026 konsistent, dass Output-Filter strukturell zu spät ansetzen — sie sehen die fertige Synthese und versuchen, an einem fertigen Text die Quellengetreue rückwärts zu rekonstruieren. Das ist eine Aufgabe, die selbst einer aufmerksamen Klinikerin Mühe macht, und ein Filter-Modell tut sich nicht leichter. Die wirksamere Stelle ist die Aufnahme — der Schritt, an dem das System die Quellen liest und die Synthese baut.

Erstens: Provenienz-Tracking pro Aussage. Jede Aussage in der Synthese muss auf eine konkrete Quelle und eine konkrete Stelle in der Quelle zurückführbar sein. Lewis et al. (2020) haben dieses Muster in der Retrieval-Augmented-Generation-Architektur (RAG) etabliert — die Generierung wird in einem expliziten Retrieval-Schritt verankert, und jede synthetisierte Aussage trägt ihre Quelle mit. Provenienz allein verhindert die Aggregations-Halluzination nicht; sie macht sie aber prüfbar. Eine Klinikerin, die sieht, woher jede Aussage stammt — Quelle A, Quelle B oder die Modell-Inferenz selbst — weiß, an welcher Stelle ihre Prüfung ansetzen muss. Ohne Provenienz steht die Synthese als lückenloser Text vor ihr — und der nahtlose Text ist die Tarnung.

Was gutes Provenienz-Tracking in der Benutzeroberfläche (UI) heißt, ist konkreter, als das Wort „Quellenangabe” suggeriert. Erstens: Jede einzelne Aussage in der Synthese ist klickbar und führt auf den Satz oder die Tabellen-Zeile in der Quelle, aus der sie stammt — nicht auf das Dokument als Ganzes. Zweitens: Aussagen, die das Modell aus mehreren Quellen aggregiert hat, sind als solche markiert; ein einzelner Satz, der drei Quellen zusammenfasst, trägt drei Quellen-Marker. Drittens: Aussagen, die das Modell selbst inferiert hat — also nicht direkt aus einer Quelle, sondern aus einer Schlussfolgerung über Quellen — sind als Modell-Inferenz gekennzeichnet, nicht als Quellen-Aussage. Wer eine Aufnahme-KI ohne diese drei UI-Eigenschaften betreibt, hat Provenienz nicht eingelöst, sondern angekündigt.

Zweitens: Quellen-Konsistenz-Prüfung vor der Aggregation. Wenn zwei Quellen sich widersprechen — eine sagt „links”, die andere „rechts”; eine sagt „2 mg”, die andere „5 mg”; eine sagt „akut”, die andere „chronisch” — muss das System diesen Widerspruch vor dem Aggregations-Schritt erkennen und sichtbar machen. Eine Synthese, die den Widerspruch glättet, ist eine Synthese, die einen Fehler produziert, den niemand mehr findet. Eine Synthese, die den Widerspruch markiert und der Klinikerin überlässt, ist langsamer und weniger elegant — und genau deshalb sicherer. Diese Disziplin ist im Engineering teurer als die schnelle Aggregation; in einem klinischen Kontext rechnet sie sich, weil ein einziger glatt synthetisierter Widerspruch einen Aufnahme-Fehler erzeugen kann, der teurer wird als jede zusätzliche Bedien-Sekunde.

Drittens: Widerspruchs-Sichtbarkeit statt stillem Glätten. Eine Architektur kann Widersprüche zwischen Quellen entdecken und entweder verbergen oder zeigen. Verbergen ist eleganter; Zeigen ist klinisch korrekt. Die Wahl zwischen den beiden ist eine Architektur-Entscheidung, die in der Modell-Pipeline und in der UI getroffen wird, lange bevor die Klinikerin die Synthese sieht. Wer eine Aufnahme-KI bewertet, sollte die Frage stellen, was das System tut, wenn zwei Quellen sich widersprechen — und ob er die Antwort in einer Live-Demonstration sehen kann, mit künstlich konstruierten widersprüchlichen Vorbefunden. Wer die Antwort nicht zeigen kann, baut Halluzinations-Maskierung mit ein.

Diese drei Kontrollen sind keine Aiomics-Spezialität — sie sind die Übersetzung der peer-reviewed Faithfulness-Literatur in eine klinische Aufnahme-Architektur. Was wir bei Aiomics konkret gemacht haben, ist die Wahl, sie an der Aufnahme-Stelle einzulösen statt im Output-Filter — eine Architektur-Entscheidung gegen Eleganz, weil eine glatt synthetisierte Falsch-Diagnose teurer ist als eine sichtbar markierte Quellen-Inkonsistenz.

Eine erfundene Diagnose, die aus zwei richtigen Befunden zusammengelesen wurde, klingt nicht wie eine Halluzination. Sie klingt wie eine Zusammenfassung. Genau das macht sie zur strukturell gefährlichsten Klasse — und genau deshalb gehört die Architektur-Antwort an den Anfang der Pipeline, nicht in den Output-Filter.