KI im Krankenhaus: Angriffe, Auslassungen und Halluzinationen prüfen

Eine KI-Anwendung fasst Krankenhausunterlagen zusammen. Jeder Satz klingt plausibel, die Quellen sind verlinkt, eine Ärztin gibt den Entwurf frei. Trotzdem kann ein wesentlicher Befund fehlen. Eine andere Anwendung übernimmt eine Anweisung aus einem eingelesenen Dokument, obwohl sie dieses Dokument nur auswerten sollte. In beiden Fällen kann die Oberfläche einen ordentlichen Eindruck machen.

Welche Schutzmaßnahmen gegen solche Fehler helfen, lässt sich inzwischen genauer untersuchen. Die Ergebnisse reichen von verbesserten Antworten in kontrollierten Versuchen bis zu technisch erzwungenen Zugriffsbeschränkungen. Wie viel Sicherheit sie im konkreten Krankenhausbetrieb schaffen, hängt von der Aufgabe, der Einbindung und der verbleibenden Fehlerquote nach allen Kontrollen ab.

Ein Beitrag von kma Online vom 6. Mai 2026 beschreibt Risiken durch manipulierte Inhalte, veränderte Einsatzbedingungen und unkritische Übernahme von KI-Ausgaben. Er betont lokale Prüfungen und organisatorische Verantwortung. Für eine belastbare Entscheidung braucht es zusätzlich eine Zuordnung: Welche Maßnahme richtet sich gegen welchen Fehler, wie wurde ihre Wirkung nachgewiesen, und welchen Aufwand verursacht sie?

Unser Ausgangspunkt bei aiomics ist eine vergleichende Nutzen-Risiko-Bewertung. Bewertet wird der gesamte Ablauf einschließlich Datenzugriff, Ausgabe, menschlicher Prüfung und möglicher Folgeaktionen. Auch Schutzmaßnahmen müssen darin ihre Wirkung zeigen. Eine zusätzliche Kontrolle kann Fehler abfangen, Arbeit erzeugen, notwendige Informationen unterdrücken oder neue Fehler einführen.

Vier Fehlerarten, die unterschiedliche Prüfungen brauchen

Halluzinationen: Die Ausgabe fügt unbelegte Informationen hinzu

Bei der Zusammenfassung von Dokumenten bedeutet eine Halluzination, dass die Ausgabe etwas behauptet, das durch die bereitgestellten Quellen nicht gedeckt ist. Dazu gehören erfundene Ereignisse, veränderte Verneinungen und unbelegte Zusammenhänge. Zwei Angaben können jeweils korrekt übernommen sein, während die dazwischen erzeugte kausale Erklärung falsch ist.

Für die Prüfung folgt daraus eine konkrete Richtung: Jede relevante Aussage des Entwurfs wird gegen die passende Originalstelle geprüft. Ein Quellenverweis allein genügt dafür noch nicht. Die verlinkte Stelle muss die Aussage tatsächlich tragen, zur richtigen Person gehören und zeitlich passen.

Auslassungen: Die Ausgabe enthält die benötigte Information nicht

Ein Entwurf kann ausschließlich wahre Sätze enthalten und dennoch unbrauchbar sein. Wenn eine für die Aufgabe erforderliche Angabe fehlt, hilft eine reine Kontrolle der vorhandenen Aussagen nur begrenzt. Die Prüfung muss zusätzlich von der Quelle zur Ausgabe führen: Welche relevanten Informationen mussten erhalten bleiben, und wo sind sie abgebildet?

Die Bedeutung dieser Fehlerklasse zeigt die Forschungsarbeit NOHARM. In ihrer vierten, noch nicht fachlich begutachteten Fassung vom Juli 2026 entfielen mehr als 80 Prozent der als potenziell schwerwiegend bewerteten Fehler auf Auslassungen. Untersucht wurden medizinische Empfehlungen anhand von 1.100 Aufgaben aus 100 Ausgangsfällen und 1.000 Varianten. Das sind Bewertungen möglichen Schadens bei Anwendung der Empfehlungen; tatsächliche Patientenschäden wurden damit nicht gemessen. Die Quote ist deshalb auch keine allgemeine Fehlerquote für Krankenhausdokumentation. NOHARM, Fassung vom 13. Juli 2026.

Vollständigkeit braucht einen aufgabenspezifischen Maßstab. Für einen kurzen administrativen Überblick gelten andere Anforderungen als für ein Dokument, das in der weiteren Versorgung verwendet wird. Möglichst viel Text zu erzeugen kann zusätzliche Prüfpflichten und neue Fehler mit sich bringen.

Eingeschleuste Anweisungen: Fremder Inhalt verändert den Auftrag

Das Sicherheitsprojekt OWASP bezeichnet diese Angriffsform als „Prompt Injection“, also das Einschleusen manipulativer Anweisungen. Direkte Angriffe stehen in der Eingabe an das System. Indirekte Angriffe gelangen über Dokumente, abgerufene Internetseiten, Suchergebnisse oder Bildinhalte hinein. Das Modell behandelt dann möglicherweise einen Bestandteil des auszuwertenden Materials als neuen Arbeitsauftrag. Begriffsbestimmung von OWASP.

Für Krankenhäuser ist die Unterscheidung praktisch: Ein externer Befund oder ein eingelesenes Formular muss als Informationsquelle verarbeitet werden, ohne dadurch neue Rechte oder Aufgaben vergeben zu können. Auch ein intern gespeichertes Dokument kann ursprünglich von außen stammen. Der Speicherort allein sagt wenig über die Vertrauenswürdigkeit seines Inhalts aus.

Fehler vor und zwischen den Modellaufrufen

Eine unvollständige Texterkennung, ein abgeschnittenes Dokument, eine falsch zugeordnete Datei oder eine nicht abgerufene Quelle kann schon vor der Zusammenfassung Informationen verlieren. Spätere Modelle sehen dann eine unvollständige Grundlage. Stimmen sie überein, kann das auf denselben fehlenden Informationen beruhen.

Wir würden deshalb für jeden Verarbeitungsschritt festhalten, welche Eingaben erwartet und tatsächlich verarbeitet wurden. Eine Kontrolle am Ende muss erkennen können, ob ein Dokument fehlt, ob Teile nicht lesbar waren und ob eine Aussage aus einer früheren Zusammenfassung stammt. Änderungen an Vorlagen, Schnittstellen oder Dokumentarten gehören ebenfalls in die erneute Prüfung des Ablaufs.

Was aktuelle Angriffsstudien tatsächlich zeigen

Eine im Dezember 2025 veröffentlichte Untersuchung in JAMA Network Open testete manipulierte medizinische Dialoge mit drei kleineren Sprachmodellen. Im Hauptversuch gab es 108 angegriffene Durchläufe und 108 Kontrolldurchläufe. In 102 der 108 angegriffenen Durchläufe gelang die beabsichtigte Manipulation an der entscheidenden Gesprächsstelle. Die Angriffe wurden unter kontrollierten Bedingungen in die Anfragen eingefügt. Die Untersuchung belegt damit eine konkrete Verwundbarkeit der getesteten Konfigurationen. Sie misst weder die Häufigkeit solcher Angriffe im Krankenhaus noch den Erfolg gegen beliebige heutige Systeme. Kontrollierte Untersuchung medizinischer Dialoge.

Die Angriffsfläche reicht über gewöhnlichen Text hinaus. Eine im Juli 2026 veröffentlichte Studie untersuchte vier Bild-Sprach-Modelle anhand von 100 ausgewählten Operationsvideoausschnitten und acht Aufgaben. Eingeblendete manipulative Texte verschlechterten die Ergebnisse. Bei einem Modell sank die mittlere Genauigkeit unter einer länger eingeblendeten Manipulation von 65 auf 24 Prozent. Das war eine kontrollierte Prüfung ausgewählter Ausschnitte, kein Angriff auf einen laufenden Operationsbetrieb. Sie zeigt, weshalb auch Bilder und Videos in die Sicherheitsprüfung einbezogen werden müssen, sobald ein System solche Inhalte verarbeitet. Untersuchung zu manipulierter Operationsbildgebung.

Auch außerhalb medizinischer Versuche wurden entsprechende Schwachstellen beschrieben. Microsoft dokumentiert unter der Bezeichnung EchoLeak eine inzwischen behobene Schwachstelle in Microsoft 365 Copilot, bei der unter bestimmten Bedingungen zugängliche Informationen abfließen konnten. Daraus lässt sich kein Krankenhausvorfall ableiten. Der Fall verdeutlicht aber, dass die Verbindung von Textverarbeitung, Datenzugriff und externen Aktionen Teil der Sicherheitsbetrachtung sein muss. Microsoft zur behobenen Schwachstelle.

Welche Schutzmaßnahmen wie gut belegt sind

Bei der Einordnung unterscheiden wir drei Arten von Nachweisen. Technische Kontrollen können eine bestimmte Handlung durch die Systemarchitektur verhindern. Experimentelle Untersuchungen können zeigen, dass eine Maßnahme Fehler auf einem definierten Prüfsatz verringert. Vergleichende Untersuchungen im vorgesehenen Arbeitsablauf müssen anschließend klären, ob nach menschlicher Prüfung und möglicher Nacharbeit ein tragfähiger Nutzen bleibt. Diese Nachweise beantworten unterschiedliche Fragen.

1. Berechtigungen außerhalb des Sprachmodells durchsetzen

Eine Anwendung, die einen Entwurf erstellt, sollte nur die dafür erforderlichen Informationen erhalten. Zugriff auf weitere Akten, Änderungen an freigegebenen Dokumenten und externe Übertragungen brauchen getrennte, technisch kontrollierte Berechtigungen. Eine vom Modell erzeugte Anweisung darf diese Berechtigungen nicht selbst erweitern. Für folgenschwere Aktionen ist eine Freigabe mit sichtbarer Aktion, Ziel und Inhalt vorzusehen. Solche Maßnahmen gehören zu den Schutzempfehlungen von OWASP.

Ihre Wirkung lässt sich konkret prüfen: Kann die Anwendung trotz eines manipulierten Dokuments eine fremde Akte abrufen? Kann sie Informationen an ein nicht freigegebenes Ziel senden? Wird eine unzulässige Änderung tatsächlich blockiert? Die Prüfung sollte auch neue, an die Schutzmaßnahmen angepasste Angriffe und gewöhnliche zulässige Aufgaben umfassen. Technisch durchgesetzte Beschränkungen begrenzen bestimmte Folgen auch dann, wenn der erzeugte Text bereits manipuliert wurde. Ein rein lesender Zugriff verhindert allerdings weiterhin keine irreführende Zusammenfassung.

Das britische National Cyber Security Centre warnt davor, Anweisungsmanipulation wie eine gewöhnliche Datenbanklücke zu behandeln. Bei Sprachmodellen bleibt die Trennung von Inhalt und Anweisung innerhalb des Modells unsicher. Die Behörde empfiehlt, Risiken und Auswirkungen zu begrenzen, und widerspricht pauschalen Versprechen vollständiger Verhinderung. Einordnung des National Cyber Security Centre.

Ein überprüfter Hinweis im Systemauftrag, verdächtige Muster zu ignorieren, kann diese Architektur ergänzen. Die alleinige Suche nach bekannten Angriffsformulierungen deckt jedoch nicht jede Umformulierung, Sprache oder bildliche Darstellung ab. Ebenso beseitigt ein Betrieb auf eigenen Rechnern die Anfälligkeit für manipulierte Eingaben nicht automatisch.

2. Herkunft und Vertrauensgrenzen über alle Verarbeitungsschritte erhalten

Der Forschungsansatz CaMeL trennt den vertrauenswürdigen Arbeitsauftrag von später eingelesenen Daten und kontrolliert erlaubte Informationsflüsse außerhalb des Modells. Die veröffentlichte Untersuchung berichtet Sicherheitsgarantien unter den Annahmen ihrer Architektur und Versuche mit festgelegten Aufgaben. Das ist ein technischer Nachweis in einem begrenzten Rahmen; eine klinische Wirksamkeitsprüfung enthält er nicht. Forschung zu CaMeL.

Eine aktuelle Ergänzung zeigt, warum die Grenzen dieser Nachweise wichtig sind. Eine am 5. Oktober 2026 veröffentlichte, noch nicht fachlich begutachtete Arbeit beschreibt einen erfolgreichen Angriff auf mehrere zusammenarbeitende Komponenten, obwohl jede einzeln mit CaMeL abgesichert war. Beim Weiterreichen wurde unvertrauenswürdiger Inhalt als vertrauenswürdige Eingabe behandelt. Die Autor:innen schlagen ein Verfahren vor, das die Herkunft auch zwischen Komponenten erhält, und prüfen es experimentell. Neue Untersuchung zur Weitergabe zwischen KI-Komponenten.

Für eine Klinik ergibt sich daraus eine konkrete Anforderung: Die Sicherheitsprüfung muss den gesamten Weg vom eingelesenen Dokument bis zur möglichen Aktion abdecken. Ein gutes Ergebnis für eine einzelne Komponente beantwortet die Frage nach ihrer späteren Zusammenschaltung noch nicht.

3. Quellen gezielt auswählen und ihre Verwendung prüfen

Das Ergänzen eines Sprachmodells um abgerufene Quellen kann die sachliche Qualität verbessern. Dafür müssen passende Quellen tatsächlich gefunden werden, und die Antwort muss durch diese Quellen gedeckt sein. Ein Verzeichnis freigegebener Fachquellen, dokumentierte Versionen und überprüfbare Belegstellen machen diese Schritte untersuchbar.

Eine 2025 veröffentlichte Studie verglich drei internetgestützte Systeme anhand von 130 neurologischen Fragen. Wurde die Suche auf zwei maßgebliche Fachseiten begrenzt, stieg der Anteil korrekter Antworten je nach System um acht bis 18 Prozentpunkte. Bewertet wurden 3.640 Antworten einschließlich eines zusätzlichen Vergleichssystems durch fachärztliche Prüfer:innen. Der Befund stützt die gezielte Quellenbegrenzung für diese Aufgabe. Er beweist weder Fehlerfreiheit noch einen Nutzen im Stationsalltag. Vergleichsstudie zur Auswahl medizinischer Quellen.

Bei patientenbezogenen Unterlagen kommt eine zweite Prüfung hinzu: Wurde die für die Aufgabe benötigte Stelle überhaupt abgerufen? Ein Modell kann sich sorgfältig an die angezeigten Auszüge halten und trotzdem eine entscheidende Passage übersehen, die ihm nie vorlag. Wir würden deshalb die Qualität der Quellenauswahl und die Qualität der daraus erzeugten Antwort getrennt messen. Auch abgerufene Quellen bleiben mögliche Träger eingeschleuster Anweisungen.

4. Strukturierte Aufträge und erkennbare Ungewissheit erproben

Für Dokumentationsaufgaben gibt es experimentelle Hinweise, dass klare Vorgaben Fehler verringern können. Eine Untersuchung in npj Digital Medicine verglich 18 Konfigurationen für die Erzeugung klinischer Notizen. Strukturierte Anweisungen und die Vorgabe, fehlende Angaben als unbekannt auszuweisen, verbesserten bestimmte Ergebnisse. Eine zusätzliche Zwischenstufe, die zunächst einzelne Fakten extrahierte, erhöhte dagegen in einem Vergleich schwere Halluzinationen und Auslassungen. Die Arbeit entstand unter Beteiligung eines Anbieters; ihre Ergebnisse gelten für die untersuchten Modelle, Daten und Abläufe. Untersuchung zu Fehlern und Gegenmaßnahmen in klinischen Notizen.

Das unterstützt ein schrittweises Vorgehen: Eine neue Vorlage oder Kontrollstufe wird unter gleichen Bedingungen gegen die bisherige Fassung getestet. Entwicklungsfälle und zurückgehaltene Prüffälle müssen dabei getrennt bleiben. Für vorgegebene Felder sollte zwischen dokumentiert, nicht dokumentiert und widersprüchlich unterschieden werden können. Ein technisch korrekt ausgefülltes Formular beweist noch keine inhaltliche Richtigkeit. Ebenso braucht ein Verzicht auf eine Antwort einen geeigneten nächsten Schritt, damit erforderliche Arbeit nicht unbemerkt liegen bleibt.

5. Sicherheitshinweise wirken in Versuchen, ihre Grenzen bleiben sichtbar

Am 8. Oktober 2026 berichtete Mount Sinai über eine neue Untersuchung in Communications Medicine. Getestet wurden 20 Sprachmodelle mit 601 Aufgabeninstanzen, darunter 501 Varianten aus 50 Vorlagen und 100 aus Krankenhausunterlagen abgeleitete Fälle. Die Modelle wählten zwischen vorgegebenen sicheren und potenziell schädlichen Handlungen. Mit kurzen Sicherheitshinweisen sank der Anteil potenziell schädlicher Antworten insgesamt von 16,6 auf 10,1 Prozent. Aktuelle Meldung von Mount Sinai.

Die zugrunde liegende Studie vom 26. September erzeugte durch zahlreiche Kombinationen und Wiederholungen mehr als zehn Millionen Ausgaben. Diese Zahl bezeichnet weder unabhängige Patient:innen noch beobachtete Behandlungsergebnisse. Die Hinweise verbesserten das Verhalten in 19 von 20 Modellen, beseitigten unsichere Auswahlen aber nicht. Untersucht wurde der Umgang mit unsicheren Anweisungen in kontrollierten Aufgaben; damit ist keine allgemeine Abwehr indirekter Angriffe im Klinikbetrieb bewiesen. Originalstudie zu Sicherheitshinweisen.

Eine glaubwürdige Schutzstrategie kann solche Hinweise enthalten. Ob sie im eigenen Einsatz helfen, muss sie einschließlich verbleibender Fehler und fälschlich blockierter Aufgaben zeigen.

6. Menschliche Kontrolle als messbaren Arbeitsschritt gestalten

Die Anforderung einer ärztlichen Freigabe legt zunächst einen menschlichen Prüfschritt fest. Wie zuverlässig dabei Fehler erkannt werden, hängt unter anderem von der Darstellung, den zugänglichen Quellen, der Aufgabe und der verfügbaren Zeit ab.

Auch das Zusammenspiel braucht empirische Prüfung. Die bereits genannte NOHARM-Arbeit berichtet einen randomisierten Versuch mit 101 Ärzt:innen: KI-Unterstützung verbesserte die Leistung bei den untersuchten Beratungsaufgaben gegenüber herkömmlichen Hilfsmitteln. Zugleich übernahmen die Beteiligten hilfreiche Vorschläge teilweise nicht. Die Zusammenarbeit nutzte damit die verfügbaren Informationen nicht vollständig. Diese Versuchsergebnisse rechtfertigen keine allgemeine Annahme, dass eine menschliche Kontrollstufe alle relevanten Fehler auffängt. NOHARM zur Zusammenarbeit von Ärzt:innen und KI.

Für eine Dokumentationsanwendung würden wir zwei Prüfrichtungen vorsehen: Welche Aussagen sind durch die Quelle gedeckt? Welche zuvor festgelegten, erforderlichen Angaben fehlen? Besonders folgenreiche Inhalte brauchen gezielte Prüffälle. Anschließend wird gemessen, was nach der vorgesehenen Kontrolle im freigegebenen Dokument verbleibt und wie lange die Kontrolle dauert.

Ein zweites Sprachmodell kann bei der Suche nach Fehlern helfen. Es benötigt dafür eine eigene Bewertung gegen fachlich geprüfte Referenzen. Die Übereinstimmung zweier Modelle ist kein ausreichender Richtigkeitsnachweis: Beide können dieselben Quellenlücken oder Fehlannahmen übernehmen. Auch eine überzeugend formulierte Begründung muss überprüfbar bleiben.

Die Nutzen-Risiko-Bewertung vergleicht vollständige Arbeitsabläufe

Aus unserer Sicht sind zwei Vergleiche erforderlich. Der erste untersucht, was eine Schutzmaßnahme zusätzlich bewirkt: derselbe KI-Ablauf mit und ohne diese Maßnahme. Der zweite vergleicht den abgesicherten KI-Ablauf mit einer realistisch verfügbaren Alternative, etwa dem heutigen Vorgehen oder einer einfacheren technischen Verbesserung. Beide Vergleiche können zunächst in geeigneten Simulationen vorbereitet werden; ein bewusst unzureichend abgesicherter Ablauf gehört nicht in die Versorgung.

Eine Verringerung von Modellfehlern beantwortet noch nicht, ob der gesamte Ablauf besser geworden ist. Dafür müssen Nutzen, verbleibende Risiken und zusätzliche Arbeit gemeinsam erfasst werden. Bei der Zusammenfassung von Unterlagen könnte eine Abteilung folgende Größen festlegen:

• Nutzen: gesamte Bearbeitungszeit einschließlich Quellenprüfung, Korrekturen und Rückfragen; Vollständigkeit der benötigten Informationen; nutzbare Entlastung der Beteiligten.
• Verbleibende Fehler: relevante unbelegte Aussagen und Auslassungen nach Freigabe, bezogen auf bearbeitete Fälle und auf die jeweils erforderlichen Angaben.
• Mögliche Folgen: Welche falsche Weiterverwendung könnte aus einem verbleibenden Fehler entstehen, wie schwer wäre sie, und wie wurde tatsächlich entstandener Schaden erfasst?
• Sicherheitsgrenzen: unzulässige Zugriffe, Datenübertragungen oder Änderungen, die technisch verhindert und gezielt geprüft werden müssen.
• Aufwand und Verteilung: Einführung, Schulung, Betrieb, Prüfung und Rückfallverfahren; Unterschiede zwischen Fachgebieten, Sprachen, Dokumentarten und betroffenen Personengruppen.

Die Ergebnisse sollten zunächst in verständlichen Einheiten stehen: Minuten pro Fall, zusätzliche Rückfragen, relevante Restfehler pro geprüfter Fallzahl und Kosten des Betriebs. Eine einzige Gesamtpunktzahl kann verdecken, dass Beschäftigte Zeit gewinnen, während andere mehr Nacharbeit oder Risiken tragen. Wesentliche Sicherheitsgrenzen und notwendige rechtliche Voraussetzungen müssen vorab erfüllt sein; sie lassen sich nicht durch eingesparte Minuten aufwiegen.

Restfehler und Unsicherheit gehören ausdrücklich in die Entscheidung

Ein möglicher Fehler in einer unbearbeiteten Ausgabe, ein Fehler nach Freigabe und ein tatsächlich entstandener Schaden sind unterschiedliche Endpunkte. Eine Bewertung sollte den Weg dazwischen nachvollziehen können. Ebenso unterscheidet sie zwischen einem bewusst schwierigen Angriffstest und der Häufigkeit solcher Situationen im Regelbetrieb.

Auch eine Prüfung ohne beobachteten Fehler hat eine begrenzte Aussagekraft. Ein vereinfachtes statistisches Beispiel: Werden in 100 unabhängigen, vollständig beobachteten Fällen keine entsprechenden Ereignisse gefunden, liegt die einseitige obere 95-Prozent-Grenze der möglichen Ereignisrate noch ungefähr bei drei Prozent. Wiederholte Varianten desselben Falls oder unentdeckte Ereignisse schränken diese Rechnung ein. Für seltene, schwere Folgen kann eine kleine unauffällige Erprobung deshalb keine ausreichende Sicherheit nachweisen.

Fehlt ein wesentlicher Endpunkt, bleibt die Frage offen. Das kann eine begrenzte weitere Untersuchung rechtfertigen, wenn die Voraussetzungen dafür erfüllt sind. Es kann ebenso erforderlich sein, den Einsatz einzuschränken oder von ihm abzusehen.

Wie eine Klinik zu belastbareren Nachweisen kommt

Wir halten ein gestuftes Vorgehen für sinnvoll, bei dem die nächste Stufe von vorher festgelegten Ergebnissen abhängt:

1. Technisch prüfen: Datenübernahme, Quellenzuordnung, Auslassungen, erfundene Angaben und gezielte Angriffe mit geschützten Prüffällen untersuchen. Berechtigungen und Abbruchwege separat testen.
2. Mit vorgesehenen Nutzer:innen erproben: Realistische Aufgaben mit der tatsächlichen Oberfläche, Schulung und verfügbaren Prüfzeit bearbeiten lassen. Ungewöhnlich erfahrene Freiwillige allein bilden den späteren Betrieb nur begrenzt ab.
3. Mit lokalen Daten im Hintergrund prüfen: Den vollständigen Ablauf laufen lassen, ohne seine Ausgaben in Versorgungsentscheidungen einzubeziehen. Das zeigt technische Probleme vor Ort, aber noch nicht die Wirkung auf menschliche Entscheidungen.
4. Begrenzt und vergleichend untersuchen: Bei ausreichenden Voraussetzungen den vorgesehenen Einsatz mit einer geeigneten Vergleichsgruppe oder einem anderen belastbaren Vergleichsdesign bewerten. Vorher festlegen, wer bei welchem Signal unterbrechen darf und wie weitergearbeitet wird.
5. Im Betrieb aktiv nachprüfen: Fehler systematisch suchen und eingegangene Meldungen auswerten. Modellwechsel, neue Datenquellen, geänderte Rechte oder neue Verarbeitungsschritte lösen eine erneute Bewertung aus.

Für frühe klinische Untersuchungen beschreibt DECIDE-AI unter anderem, welche Angaben zum System, zu den Nutzer:innen und zur Einbindung berichtet werden sollten. Die Leitlinie unterstützt nachvollziehbare Berichte; ihre Befolgung bescheinigt keine Sicherheit einer Anwendung. Berichtsleitlinie DECIDE-AI. Wie sich die Unabhängigkeit solcher Untersuchungen beurteilen lässt, erläutert unser Beitrag zur unabhängigen Bewertung klinischer KI.

Eine Beschaffungsentscheidung sollte daraus ein überprüfbares Ergebnis machen: freigegebener Einsatzbereich, ausgeschlossene Aufgaben, getestete Version, verbleibende Unsicherheit, verantwortliche Personen und Termin der nächsten Bewertung. Hinzu kommen ein nachvollziehbares Änderungsprotokoll und ein Weg, den Betrieb bei Problemen geordnet fortzuführen oder zu beenden.

Für uns bei aiomics liegt darin der Zusammenhang zwischen Sicherheit und sinnvoller Nutzung: Verlässliche Information, tatsächliche Entlastung und tragfähige Kosten müssen im selben Arbeitsablauf nachweisbar werden. Schutzmaßnahmen sind ein Teil dieses Ablaufs und gehören mit ihren Wirkungen und Nebenwirkungen in die Bewertung.

Stand der Recherche: 12. Oktober 2026. Der Beitrag ordnet allgemeine Forschung und Sicherheitskonzepte ein. Er beschreibt keine diagnostische oder therapeutische Zweckbestimmung eines Produkts von aiomics. Die erwähnten Studien sind keine Wirksamkeitsnachweise für unsere Produkte.