Agent-Halluzinationen in mehrstufigen Workflows: Wenn Fehler kaskadieren

Eine agentische Plattform, die einen klinischen Übergabe-Prozess in fünf Schritten ausführt — Anfrage einlesen, Patientenprofil bauen, Eignung prüfen, Nachversorger anfragen, Zusage verarbeiten — wird in der Demo selten dort geprüft, wo sie produktiv interessant wird. Geprüft wird sie meistens am Ende, wenn alle fünf Schritte durchgelaufen sind und das Ergebnis sauber aussieht. Die Demo zeigt nicht, was passiert, wenn der zweite Schritt eine plausibel klingende, aber nicht aus den Quell-Befunden ableitbare Aussage erzeugt — und der dritte Schritt diese Aussage als Eingabe nutzt, ohne sie als Hypothese zu behandeln. Die Halluzinations-Wahrscheinlichkeit ist in dieser Architektur kein lokales Phänomen pro Schritt; sie wandert mit den Zwischen-Ergebnissen weiter. Das Marketing-Vokabular nennt diese Architektur „agentisch“. Die Engineering-Disziplin nennt sie eine Kette aus Black-Boxes ohne Quellen-Bindung.

Die Klasse: Kaskaden-Halluzination

Die kanonische Begriffsbasis stammt aus der computerlinguistischen Forschung zur Faithfulness in abstractiven Zusammenfassungs-Systemen. Maynez und Kolleg:innen (ACL, 2020) unterscheiden zwei Klassen: intrinsische Halluzination, bei der eine Aussage aus dem Quell-Text verändert wird, und extrinsische Halluzination, in der das Modell eine im Quell-Text nicht enthaltene Aussage hinzufügt. Die quantitativen Befunde stammen aus einem News-Korpus, nicht aus klinischen Daten — die Größenordnung von 76,9 Prozent halluzinierter Inhalte im untersuchten Setting illustriert die Klasse, sie ist nicht auf eine deutsche Klinik-Anwendung übertragbar. Die strukturelle Aussage trägt jedoch über die Settings hinweg, weil sie an der Engineering-Mechanik hängt, nicht an Tarifsystemen.

Die Multi-Step-Verschärfung ist in der Reviews-Linie der letzten zwei Jahre dokumentiert. Editorial- und Review-Beiträge in NEJM AI 2024–2026 sowie npj Digital Medicine 2024–2026 benennen das Muster Kaskaden-Halluzination: Eine Aussage in Schritt N, die in den Quell-Befunden nicht so steht, wandert in Schritt N+M als Eingabe und wird dort als Faktum behandelt. Die Reviews aggregieren methodisch heterogene Studien aus unterschiedlichen Settings; eine einheitliche klinische Kohorte mit einheitlicher Effekt-Stärke fehlt. Die strukturelle Beobachtung ist robust, die quantitativen Aussagen variieren mit Aufgabe und Modell. Die Architektur-Konsequenz ist nicht „ein größeres Modell wird seltener halluzinieren“; die Architektur-Konsequenz liegt eine Schicht früher.

Die Klasse hat eine Single-Turn-Vorform. Im aiomics-eigenen Beitrag „Wie aus zwei richtigen Befunden eine erfundene Diagnose wird“ ist das Aggregations-Pattern für Single-Turn-Antworten beschrieben — zwei korrekte Aussagen werden zu einer plausiblen, aber unbelegten dritten verdichtet. In der Antwort-KI bleibt das Pattern lokal: Die Ärzt:innen prüfen die Aussage, weisen sie zurück oder übernehmen sie unter eigener Verantwortung. Der Mensch steht zwischen der Aussage und der klinischen Konsequenz. In der agentischen Architektur ist diese Zwischen-Schicht bewusst entfernt: Das verdichtete dritte Element wird zur Eingabe für den nächsten Schritt. Was in der Antwort-KI ein Vorschlag mit Prüf-Pflicht war, wird in der agentischen Plattform zur ausgeführten Operation — eine Anfrage, die abgelehnt wurde, ohne dass die Begründung tragfähig war; ein Profil, das auf einer aggregierten Aussage gebaut wurde, die in keinem der Quell-Befunde stand; eine Eignungs-Prüfung, deren Zwischen-Ergebnis im fünften Schritt als Faktum behandelt wurde.

Drei Stellen sind in einem fünfschrittigen Klinik-Agenten besonders exponiert. Erstens: das Patientenprofil im zweiten Schritt, in dem unstrukturierte Vorbefunde, halb strukturierte Verlaufs-Notizen und strukturierte Diagnose-Codes in eine einheitliche Profil-Repräsentation überführt werden — der Synthese-Schritt, an dem die Aggregations-Klasse aus der Antwort-KI in die Multi-Step-Architektur einwandert. Zweitens: die Eignungs-Prüfung im dritten Schritt, in der das verdichtete Profil gegen Kriterien geprüft wird, deren Eingangs-Werte aus dem zweiten Schritt stammen. Eine fehlerhafte Eingabe verändert die Prüfung in einer Richtung, die im vierten Schritt nicht mehr sichtbar ist. Drittens: die Anfrage an Nachversorger im vierten Schritt, in der das Profil und die Eignungs-Bewertung als ein Bündel weitergegeben werden — ohne dass der empfangende Schritt die Provenienz der einzelnen Aussagen kennt. Die drei Stellen sind keine Implementierungs-Eigentümlichkeit, sie sind die Übergangs-Punkte, an denen die Klasse strukturell entsteht.

Gegenkontrolle eins: Provenienz pro Zwischen-Ergebnis

Die erste architektonische Gegenkontrolle ist Quellen-Bindung — die Forschungs-Linie zur Retrieval-Augmented Generation (RAG) hat sie als Methode etabliert. Lewis und Kolleg:innen (NeurIPS, 2020) beschreiben die Methodik: Jede generative Aussage wird an einen abrufbaren externen Quellen-Beleg gebunden, der zur Aussage zurückführbar ist. Die RAG-Architektur ist eine notwendige, keine hinreichende Komponente — sie schließt extrinsische Halluzinationen nicht aus, sie macht ihre Auflösbarkeit prüfbar. In agentischen Klinik-Architekturen verschiebt sich die Anforderung: Nicht nur die End-Aussage hängt an einer Quelle, sondern jedes Zwischen-Ergebnis. Reviews in npj Digital Medicine 2024–2026 behandeln Provenienz-Nachverfolgung pro Schritt als Voraussetzung der Audit-Tauglichkeit klinischer LLM-Systeme — Large Language Model (LLM) als generische Bezeichnung der generativen Sprachmodell-Schicht. Pro Zwischen-Ergebnis hält die Architektur fünf Bestandteile fest: die Quelle, das Lese-Datum, den Begründungs-Pfad, die Modell-Version und die Verankerungs-Stelle im Eingangs-Dokument. Vier davon sind Engineering-Disziplin; das fünfte ist Eingangs-Daten-Disziplin. Beides muss vor dem Agenten geklärt sein, nicht in ihm.

Gegenkontrolle zwei: Konsistenz-Validierung pro Übergang

Provenienz allein reicht in Multi-Step-Architekturen nicht. Sie erlaubt die nachträgliche Auflösung, sie verhindert die Propagation nicht. Die zweite Gegenkontrolle ist eine Konsistenz-Prüfung pro Übergang — eine maschinelle Frage, ob die Aussage in Schritt N+1 widerspruchsfrei aus den dokumentierten Quellen von Schritt N folgt. Beiträge in Lancet Digital Health 2024–2026 benennen diese Konsistenz-Validierung als architektonische Anforderung an agentische Klinik-Systeme; sie ist im selben Sinn struktureller Bestandteil wie die Provenienz, nicht nachgelagerte Qualitätssicherung. Berichte des Stanford Institute for Human-Centered AI (HAI) 2024–2026 trennen dabei Modell- von System-Verantwortung: Das Modell erzeugt Aussagen, die System-Architektur prüft sie an Übergängen. Die institutionelle Linie und die Reviews-Linie konvergieren — und beide sind sektor-übergreifend formuliert; ihre Übersetzung in den deutschen Versorgungs-Kontext ist eine Folge-Aufgabe der Engineering-Praxis, nicht eine offene Forschungs-Frage.

Warum die Schritt-Tiefe die Anforderung erhöht

In der Antwort-KI ist die Halluzinations-Klasse einseitig — eine Aussage stimmt oder sie stimmt nicht; die Konsequenz hängt an einer Prüf-Entscheidung der Ärzt:innen. In der agentischen Plattform wird die Klasse mehrstufig — eine Aussage kann in Schritt N stimmen, im Übergang zu N+1 verzerrt werden, in N+1 als Eingabe für eine Operation dienen und im Ergebnis nicht mehr zurückverfolgbar sein. Die Anforderung an die Architektur wächst nicht linear mit der Schritt-Tiefe; sie wächst überproportional, weil jeder Übergang gleichzeitig eine Quellen-Bindung und eine Konsistenz-Prüfung verlangt. Eine flache Datenschicht — naive Extraktion aus Quell-Dokumenten, halb strukturierte Vorbefunde, kein einheitliches Diagnose-Vokabular — erhöht die Wahrscheinlichkeit der Aussagen-Bildung in einem schwach belegten Zwischen-Ergebnis und damit die Wahrscheinlichkeit, dass dieses Zwischen-Ergebnis durch die Kaskade trägt.

Die produktiv tragfähigen Multi-Step-Architekturen in regulierten Domänen sind selten voll-autonom. Sie sind hybrid — der Agent schlägt vor, prüft an Übergängen, hält bei Inkonsistenzen, übergibt an eine Person. Die Verantwortung bleibt strukturell beim Menschen; die Maschine trägt die Provenienz. Das ist keine Reduktion des Anspruchs an die Plattform; es ist die ehrliche Beschreibung dessen, was eine Multi-Step-Architektur in einer regulierten Klinik leisten kann, ohne die Verantwortungs-Verkettung zu zerreißen. In dieser Architektur lässt sich eine Aussage in Schritt fünf bis zum Quell-Befund in Schritt eins zurückverfolgen, ohne dass die Spur entlang des Pfads abreißt. Das ist die Engineering-Bedingung, die agentische Klinik-Plattformen produktiv tragfähig macht. Sie ist nicht durch eine spätere Erweiterung erreichbar — Provenienz und Konsistenz sind keine nachgerüsteten Modulen, sie sind die Eingangs-Bedingung der Architektur. Die Marketing-Sprache rückt die Schritt-Anzahl nach vorn, weil sie sich gut zählen lässt. Die Engineering-Disziplin rückt die Übergänge nach vorn, weil dort die Klasse entsteht. Eine Halluzination im zweiten Schritt wird im fünften Schritt zur ausgeführten Operation, wenn der Agent die Herkunft seiner eigenen Zwischen-Ergebnisse nicht prüfen kann — und das ist keine Modell-Frage, sondern eine Architektur-Frage zwischen den Schritten.