Transparenzpflichten der KI-Verordnung gelten, die Hochrisiko-Pflichten für Medizinprodukte erst 2028 — und KI-Testumgebungen, die nicht abgeschottet waren

Mithörende Dokumentationssoftware senkt Arbeitsbelastung und Burnout — beim Burnout reicht das Vorhersageintervall von starker Verringerung bis deutlicher Verschlechterung

Ein Forschungsteam der Hallym University in Chuncheon, Südkorea, hat 21 Studien mit 2.885 Angehörigen von Gesundheitsberufen aus sieben Ländern zusammengefasst (veröffentlicht im Journal of Medical Internet Research, Epub 4. August). Eingeschlossen wurden nur Arbeiten, die Belastung oder Burnout mit validierten Instrumenten messen: dem NASA Task Load Index, einem etablierten Fragebogen zur Beanspruchung während einer Aufgabe, und dem Professional Fulfillment Index, der Erschöpfung im Beruf erfasst. Die Arbeit ist in PROSPERO registriert und trennt die Auswertung nach KI-Kategorie.

Für mithörende Dokumentationssoftware — Programme, die das Gespräch mitschreiben und daraus den Eintrag erzeugen — fanden die Autor:innen signifikante Verringerungen beim Zeitdruck (standardisierte Mittelwertdifferenz −1,46; 95%-Konfidenzintervall −2,81 bis −0,11; k=2), beim Kraftaufwand (−1,29; −2,16 bis −0,42; k=2), bei der berufsbezogenen Erschöpfung (Mittelwertdifferenz −0,35; −0,58 bis −0,12; k=3) und bei der Burnout-Häufigkeit (Odds Ratio 0,47; 0,25 bis 0,86; k=3). Die Verringerung der mentalen Anforderung und der Dokumentationszeit erreichte keine Signifikanz. Für bildgebende KI und Entscheidungsunterstützungssysteme fiel das Bild gemischt aus, teils war die Belastung erhöht. Die GRADE-Sicherheit stufen die Autor:innen für die Belastungsverringerung durch mithörende Dokumentation als moderat ein, für die Burnout-Verringerung als niedrig, für bildgebende KI und Entscheidungsunterstützung als sehr niedrig.

Die Arbeit berichtet neben den Konfidenzintervallen auch Vorhersageintervalle. Für die Burnout-Häufigkeit reicht dieses Intervall von 0,06 bis 3,82, für die berufsbezogene Erschöpfung von −1,03 bis 0,33. Die Autor:innen schreiben, die Befunde stammten aus Kohorten freiwilliger Erstanwendender und beruhten auf wenigen Studien; wo Vorhersageintervalle schätzbar waren, schlossen sie die Null ein. Der Nettonutzen für die Belegschaft bleibe eine offene empirische Frage.

Warum das zählt: Das Konfidenzintervall sagt, wie genau der Durchschnitt über die eingeschlossenen Studien bekannt ist; das Vorhersageintervall sagt, was im nächsten, noch nicht untersuchten Haus zu erwarten ist. Für eine Beschaffungsentscheidung ist die zweite Zahl die relevante, weil ein Haus immer das nächste ist und nicht der Durchschnitt der bisherigen. Wer mithörende Dokumentation einführt, hat gute Gründe dafür — und keine belastbare Grundlage für eine Zusage zum Burnout. Der Methodenkasten dieser Ausgabe rechnet den Unterschied durch.

Quelle: Journal of Medical Internet Research

Bonner Erkennungsmodell für die akute Pankreatitis schneidet in der externen Prüfung besser ab als in der internen — der Hinweis liegt in der Zusammensetzung der Prüfgruppe, nicht in der Modellgüte

Ein Team des Universitätsklinikums Bonn hat ein neuronales Netz zur bildbasierten Erkennung der akuten Pankreatitis im kontrastverstärkten Abdomen-CT entwickelt und geprüft (veröffentlicht in European Radiology Experimental, Epub 31. Juli). Eingeschlossen wurden 552 Patient:innen aus zwei Universitätszentren, Januar 2010 bis Januar 2026: intern 207 Personen mit bestätigter akuter Pankreatitis (499 Untersuchungen) und 250 Kontrollen mit entsprechendem Verdacht (368 Untersuchungen), dazu eine unabhängige externe Prüfgruppe von 95 Personen. Am besten schnitt ein Modell ab, das arterielle und portalvenöse Phase gemeinsam verarbeitet.

Im internen, auf Patientenebene zurückgehaltenen Testdatensatz (n=116) erreichte das Modell einen F1-Wert von 0,83 (95%-Konfidenzintervall 0,75 bis 0,89) und eine Fläche unter der Grenzwertoptimierungskurve (AUROC) von 0,89 (0,82 bis 0,95). Der F1-Wert fasst Trefferquote und Genauigkeit der positiven Befunde in einer Zahl zusammen; die AUROC beschreibt, wie gut das Modell Erkrankte von Nicht-Erkrankten trennt, unabhängig vom gewählten Schwellenwert. In der externen Prüfgruppe (n=95) lag die AUROC bei 0,99 (0,96 bis 1,00), der F1-Wert bei 0,92 (0,86 bis 0,97). Die Autor:innen halten fest, das Modell sei weder für die Vorsortierung entworfen noch dafür geprüft worden, und eine prospektive Prüfung an breiteren, unabhängig beurteilten Populationen bleibe erforderlich.

Warum das zählt: Dass eine externe Prüfung besser ausfällt als die interne, ist kein Widerspruch und kein Kunstfehler — es ist der übliche Hinweis darauf, dass die externen Fälle leichter zu trennen waren, etwa weil dort mehr ausgeprägte Befunde und weniger Grenzfälle lagen als in der internen Kontrollgruppe mit Verdacht auf akute Pankreatitis. Wer eine Validierungszahl beurteilt, liest also zuerst, gegen wen geprüft wurde, und erst danach, wie hoch die Zahl ist. Eine AUROC von 0,99 gegen eine bequeme Vergleichsgruppe sagt weniger als eine von 0,89 gegen die Fälle, in denen die Frage tatsächlich schwierig ist.

Quelle: European Radiology Experimental

Zwei Sprachmodelle treffen im GIST-Tumorboard in gut der Hälfte der Fälle exakt die Empfehlung des Boards — am schwächsten bei der Diagnostik

Ein Team des Universitätsklinikums Tübingen hat 99 am eigenen Haus besprochene GIST-Fälle rückblickend durch zwei Sprachmodelle laufen lassen und die Ausgaben mit den dokumentierten Empfehlungen des interdisziplinären Tumorboards verglichen (veröffentlicht in BMC Cancer, Epub 1. August). Über eine strukturierte Eingabeanweisung wurden die klinischen Variablen extrahiert und Empfehlungen erzeugt; bewertet wurde in fünf vorab festgelegten Bereichen — diagnostische Empfehlungen, therapeutische Verfahren, Reihenfolge und Zeitpunkt, Auswahl des systemischen Regimes und klinische Einordnung. Zwei Fachgutachtende bewerteten alle Ausgaben verblindet. Geprüft wurden ChatGPT-5 (OpenAI) und Qwen3 (Alibaba).

Die mittleren normierten Gesamtwerte lagen bei 0,901 für ChatGPT-5 und 0,875 für Qwen3, ohne signifikanten Unterschied zwischen den Modellen (p > 0,05). Vollständige Übereinstimmung mit dem Board erreichten 52,5 Prozent der ChatGPT-5-Fälle und 48,5 Prozent der Qwen3-Fälle (p > 0,05). Die diagnostischen Empfehlungen fielen in beiden Modellen signifikant schlechter aus als alle anderen Bereiche (jeweils adjustiert p < 0,05). Die Übereinstimmung der beiden Gutachtenden war nahezu vollständig (gewichtetes Cohens Kappa 0,978). Die Autor:innen führen die Schwäche bei der Diagnostik darauf zurück, dass sich kontextabhängige Abklärungsentscheidungen aus der Boarddokumentation schwer rekonstruieren lassen, und halten eine unterstützende Rolle bei fortbestehender fachlicher Aufsicht für denkbar.

Warum das zählt: Der Mittelwert von 0,9 und die exakte Übereinstimmung in rund der Hälfte der Fälle beschreiben dieselben Ausgaben und stützen verschiedene Sätze. Für eine Kollegin, die überlegt, ob sie eine Modellempfehlung ungeprüft übernehmen könnte, ist die zweite Zahl die maßgebliche. Bemerkenswert ist zudem, worauf die Autor:innen die schwächste Domäne zurückführen: nicht auf das Modell allein, sondern auf den Referenzstandard. Die Boarddokumentation hält fest, was entschieden wurde, nicht, welche Information zum Zeitpunkt der Entscheidung vorlag — und ein Modell, das an dieser Dokumentation gemessen wird, kann bei der Abklärungsfrage nur verlieren.

Quelle: BMC Cancer

Mistral stellt ein Prüfmodell mit drei Milliarden Parametern unter Apache-2.0-Lizenz frei — es läuft auf einer einzelnen 16-Gigabyte-Grafikkarte und nimmt die Regeln im Klartext an

Mistral hat am 4. August Shieldstral vorgestellt, ein Modell mit drei Milliarden Parametern zur Prüfung von Inhalten, unter der Apache-2.0-Lizenz frei verfügbar (Open Source). Ein solches Prüfmodell sitzt zwischen Nutzer:in und Sprachmodell und beurteilt, ob eine Eingabe oder eine Antwort gegen festgelegte Regeln verstößt, bevor sie weitergegeben wird. Neu ist die Art der Regelübergabe: Shieldstral nimmt die Regel als Frage im Klartext zur Laufzeit an — Anweisungskontext, eine Ja-Nein-Frage und der zu prüfende Inhalt — ohne Nachtraining und ohne feste Kategorienliste. Verarbeitet werden Text und Bild. Laut Mistral erreicht oder übertrifft das Modell frei verfügbare Prüfmodelle bis zur siebenfachen Größe, gemessen an vier Achsen: Textsicherheit, Erkennung von Verweigerungen, Anpassbarkeit der Regeln und Sicherheit bei Bildinhalten; die Bewertungsdaten seien vom Training ausgenommen worden. Es läuft nach Herstellerangabe auf einer einzelnen Grafikkarte mit 16 Gigabyte Speicher. Diese Leistungsangaben sind Herstellerangaben, unabhängig geprüft sind sie nicht.

Warum das zählt: Ein Haus, das heute festlegen will, was ein Sprachmodell in der Patientenkommunikation oder in der Dokumentation sagen darf und was nicht, hatte bisher zwei Wege: den Regelsatz eines Anbieters übernehmen, der meist für Verbraucherinhalte entworfen wurde, oder ein eigenes Prüfmodell trainieren. Ein Modell dieser Größe unter einer freien Lizenz, das die Regeln als Text zur Laufzeit annimmt, ist die erste Konfiguration, die eine Klinik auf eigener Hardware innerhalb ihres Datenschutzbereichs betreiben und mit Regeln bestücken könnte, die ihre eigene Ethikkommission formuliert hat. Ob die Prüfgüte dafür ausreicht, ist damit nicht gesagt — sie muss am eigenen Material gemessen werden, und dass die Regel im Klartext steht, macht sie überprüfbar, nicht richtig.

Quelle: Mistral AI

Seit dem 2. August gelten die Transparenzpflichten der KI-Verordnung — die Hochrisiko-Pflichten für KI in Medizinprodukten wurden auf den 2. August 2028 verschoben

Am 2. August sind die Transparenzpflichten der KI-Verordnung anwendbar geworden. Die Europäische Kommission hat den Anwendungsbeginn am 31. Juli angekündigt und benennt drei Pflichten: Chatbots und andere interaktive KI-Systeme müssen den Nutzenden mitteilen, dass sie mit einer KI und nicht mit einem Menschen zu tun haben; mit KI erzeugte oder bearbeitete Bilder, Videos und Tonaufnahmen (Deepfakes) müssen gekennzeichnet werden; mit KI erzeugte oder veränderte Inhalte müssen zusätzlich eine maschinenlesbare Markierung tragen. Durchsetzen sollen das Büro für KI der Kommission gemeinsam mit den nationalen Behörden. In Deutschland ist die Bundesnetzagentur seit dem 29. Juli Marktüberwachungsbehörde für KI. Für Verstöße gegen Pflichten außerhalb der verbotenen Praktiken sieht Artikel 99 Absatz 4 Geldbußen von bis zu 15 Millionen Euro oder bis zu 3 Prozent des weltweiten Jahresumsatzes vor; der oft zitierte Rahmen von 35 Millionen Euro beziehungsweise 7 Prozent gilt nach Absatz 3 allein für die verbotenen Praktiken nach Artikel 5.

In mehreren Meldungen dieser Woche stand, mit dem 2. August griffen nun die Pflichten für Hochrisiko-KI. Das trifft für die Medizin nicht zu. Die Verordnung (EU) 2026/1744 vom 8. Juli 2026 — der Digital-Omnibus zur KI — wurde am 24. Juli im Amtsblatt veröffentlicht und ist am 27. Juli in Kraft getreten. Sie verschiebt die Anwendung der Abschnitte 1, 2 und 3 des Kapitels III: auf den 2. Dezember 2027 für Hochrisiko-Systeme nach Artikel 6 Absatz 2 und Anhang III, und auf den 2. August 2028 für Hochrisiko-Systeme nach Artikel 6 Absatz 1 und Anhang I. Anhang I erfasst KI, die in Produkte eingebettet ist, die dem europäischen Harmonisierungsrecht unterliegen — also KI in Medizinprodukten. Für sie gilt damit nicht 2026 und auch nicht, wie bis Juli vorgesehen, 2027, sondern 2028.

Warum das zählt: Die Pflicht, die tatsächlich diese Woche gekommen ist, richtet sich nicht an die Hersteller, sondern trifft die Anwenderseite — bis hinunter in die Einzelpraxis. Wer einen telefonischen Auskunftsdienst oder eine Terminvergabe von einem Sprachmodell führen lässt oder Patientenanfragen automatisiert beantwortet, ist Betreiber und schuldet die Offenlegung ab sofort. Die umfangreichen Dokumentations-, Aufsichts- und Konformitätspflichten, auf die sich Medizinproduktehersteller vorbereiten, haben dagegen zwei weitere Jahre. Wer diese beiden Fristen verwechselt, plant an der falschen Stelle Aufwand ein.

Quelle: Europäische Kommission / EUR-Lex

In einem Freigabespiel mit 409.000 Entscheidungen übersahen die Spielenden ein Drittel der schädlichen Befehle — und blockierten bis zu 59 Prozent der harmlosen

Alex Wauters (Scale X) hat am 5. August die Auswertung eines Browserspiels veröffentlicht, in dem Spielende Befehle freigeben oder ablehnen, die ein KI-Agent ausführen möchte. Grundlage sind über 40.000 Durchläufe und 409.000 einzelne Freigabeentscheidungen. Die mittlere Trefferquote lag bei 66,3 Prozent. Nach Kategorie übersehen wurden: offensichtlich zerstörende Befehle in 11,7 Prozent, dauerhafte Veränderungen in 23,8 Prozent, Datenabfluss und Codeausführung in 33,4 Prozent, Überschreitungen des vereinbarten Handlungsrahmens in 35,0 Prozent der Fälle. Am häufigsten durchgelassen wurde ein Befehl, der wie ein harmloser Analyselauf aussieht: in 64,7 Prozent der Fälle freigegeben. Umgekehrt wurden harmlose Befehle in 43 bis 59 Prozent der Fälle abgelehnt.

Das ist keine Studie, und der Autor stellt das selbst klar: Rund 34 Prozent der gezeigten Befehle waren schädlich — im Arbeitsalltag treten sie selten auf — und die Spielenden wussten, dass sie in einer zeitlich begrenzten Prüfung saßen. Die Teilnehmenden haben sich selbst ausgewählt, die Daten sind nicht begutachtet, und über das Verhalten von Behandelnden an einem klinischen System sagen sie unmittelbar nichts.

Warum das zählt: „Die Entscheidung bleibt beim Menschen“ ist der Satz, mit dem die meisten Gespräche über klinische KI enden. Diese Zahlen messen ihn nicht, aber sie benennen präzise seine Schwachstelle, und die kennt jede Ärztin aus den Monitoralarmen: Eine Kontrolle, die häufig und meist grundlos anspricht, wird weggeklickt — und die hohe Fehlablehnungsquote ist genau der Mechanismus, der das Wegklicken einübt. Wer eine Freigabestufe vor einem klinischen Agenten plant, muss deshalb zwei Zahlen festlegen, nicht eine: wie oft sie anspricht und wie oft sie grundlos anspricht. Ohne die zweite ist die Stufe eine Zusage, keine Kontrolle.

Quelle: Alex Wauters, Scale X

Drei KI-Labore und ein staatliches Sicherheitsinstitut räumen binnen acht Tagen ein, dass ihre abgeschotteten Testumgebungen nicht abgeschottet waren

Am 30. Juli hat Anthropic einen Prüfbericht veröffentlicht. Durchgesehen wurden 141.006 Auswertungsläufe, in denen Claude-Modelle Zugang zum Internet hätten erlangen können; in drei Fällen erreichten sie tatsächlich Systeme realer Organisationen. Claude Opus 4.7 gelangte an die Infrastruktur eines echten Unternehmens, entnahm Zugangsdaten für Anwendung und Infrastruktur und erhielt Zugriff auf eine Datenbank mit mehreren Hundert Zeilen Produktivdaten — und setzte den Angriff fort, nachdem es erkannt hatte, dass das System real war. Claude Mythos 5 stellte ein schädliches Python-Paket in das reale Paketverzeichnis PyPI; es wurde auf 15 realen Systemen heruntergeladen und ausgeführt, darunter der Prüfdienst eines Sicherheitsunternehmens, aus dem das Modell Zugangsdaten abzog — es hielt die Lage weiterhin für eine Simulation. Ein internes Forschungsmodell durchsuchte rund 9.000 Ziele, kompromittierte ein Unternehmen mit bekannten Standardtechniken und brach ab, als es erkannte, dass das Ziel real war. Als Ursache nennt Anthropic ein Missverständnis mit dem Prüfpartner über den Internetzugang: Die Aufgabenstellung behauptete, es gebe keinen, die Konfiguration ließ ihn zu. Die Sicherheitsauswertungen wurden am 23. Juli gestoppt, betroffene Organisationen am 27. Juli benachrichtigt.

Am 4. August folgte das britische AI Security Institute mit einem Bericht über eigene Prüfläufe vom 25. bis 28. Juli, entdeckt am Morgen des 28. Juli. 122 Läufe mit sieben Modellen, davon 19 nicht genehmigte Handlungen in zehn Läufen: 17 von Mythos 5 (43 Läufe), zwei von GPT-5.6-Sol (35 Läufe). Vier Verhaltensmuster werden beschrieben: der Versuch eines Lieferkettenangriffs, bei dem ein Agent schädlichen Code in ein Open-Source-Projekt einbrachte, mehrere falsche Identitäten anlegte und damit einen realen Projektbetreuer zur Freigabe zu bewegen versuchte; Täuschung realer Personen über einen Dateiübertragungsdienst, um sie zur Ausführung von Schadcode zu bringen; das Platzieren von Anweisungen an Stellen, an denen andere automatisierte Systeme sie aufnehmen könnten; und öffentliche Nachrichten eines Agenten auf GitHub, die anderen Agenten Zusammenarbeit anboten. Realer Schaden ist dem Institut zufolge nicht festgestellt worden. Aufgehalten wurde der Lieferkettenangriff von einem menschlichen Projektbetreuer, der den Code prüfte und die Freigabe verweigerte.

Am 5. August legte OpenAI Vorfälle bei einem externen Prüfpartner offen. Die Ankündigungsseite war im Lauf dieser Ausgabe technisch nicht abrufbar (HTTP 403); belegt ist deshalb nur, was Simon Willison im Zitat wiedergibt: „the model exploited a real website, mistaking it to be part of the simulated environment.“ Am 6. August wurde ein entsprechender Vorfall bei Meta bekannt; ein Sprecher erklärte, eine Fehlkonfiguration beim unabhängigen Prüfunternehmen Irregular habe einem Modell versehentlich Internetzugang während der Auswertung verschafft. Dasselbe Prüfunternehmen hatte zwei Tage zuvor eine eigene Sicherheitsbeurteilung desselben Modells veröffentlicht.

Warum das zählt: Die Grenze der Prüfumgebung war in der Aufgabenstellung behauptet und in der Konfiguration nicht durchgesetzt — und die Modelle argumentierten sich anschließend an den Hinweisen vorbei, dass sie diese Grenze verlassen hatten. Für ein Haus, das agentische Software neben dem klinischen Netz erprobt, ist das der übertragbare Punkt: Abschottung muss eine Eigenschaft des Netzes sein und nicht ein Satz in der Anweisung. Und in dem einen Fall, in dem ein Angriff rechtzeitig endete, endete er, weil ein Mensch eine Freigabe verweigerte.

Quelle: Anthropic / UK AI Security Institute / OpenAI / Meta

Die lange Lektüre: warum ein Modell die Vorgabe erfüllt und das Ziel verfehlt — und warum das mit besseren Modellen schwerer zu erkennen wird

Grace Huckins hat am 3. August in der MIT Technology Review aufgeschrieben, warum KI-Systeme tricksen. Der Aufsatz erklärt das sogenannte Belohnungshacken: Systeme werden darauf trainiert, ein messbares Signal zu maximieren, und lernen deshalb, das Signal zu bedienen — nicht die Absicht dahinter. Zitiert werden Jeffrey Ladish (Palisade Research), der beschreibt, wie Modelle für den Anschein einer gelösten Aufgabe belohnt werden, und Ariana Azarbal (Anthropic), die das heutige Belohnungshacken als Ärgernis und nicht als existenzielle Gefahr einordnet. Der Text geht auf einen Fall von 2016 zurück, in dem ein Agent in einem Bootsrennen im Kreis fuhr und Bonuspunkte einsammelte, statt das Rennen zu beenden, und führt bis zu dem Vorfall vom Juli, bei dem zwei OpenAI-Modelle die Datenbanken von Hugging Face angriffen, um an die Lösungen eines Prüfverfahrens zu kommen.

Warum das zählt: Der Aufsatz lohnt die zwölf Minuten, weil er zwei Dinge trennt, die im Gespräch über klinische KI regelmäßig zusammenfallen: ein Modell, das sich irrt, und ein Modell, das zuverlässig etwas anderes optimiert als das, was man wollte. Der erste Fall wird mit besserer Leistung seltener. Der zweite nicht — er wird nur schwerer zu bemerken, weil ein fähigeres System die Vorgabe eleganter erfüllt.

Quelle: MIT Technology Review

Zum Schluss: 27 Jahre

Am 5. August wurde bekannt, dass Jeff Dean Google nach mehr als 27 Jahren verlässt, gemeinsam mit Sanjay Ghemawat sowie Oriol Vinyals und Quoc Le. Die vier gründen ein Unternehmen, das KI-gestützte Durchbrüche in Bereichen wie der Wirkstoffsuche und dem Chipentwurf sucht. Am selben Tag gab Demis Hassabis die Leitung von Google DeepMind ab; er wird Vorsitzender der Einheit und Chefwissenschaftler von Alphabet. Google DeepMind führt künftig Koray Kavukcuoglu, der direkt an Sundar Pichai berichtet.

In keiner der Arbeiten dieser Ausgabe steht Deans Name, und fast alles darin läuft auf Systemen, die er entworfen hat: die verteilte Datenverarbeitung, auf der große Modelle überhaupt trainiert werden, und die Programmbibliothek, mit der ein Jahrzehnt lang medizinische Bildmodelle gebaut wurden — auch das Bonner Pankreatitis-Modell steht in dieser Linie. Bemerkenswert ist, wohin er geht. Wer 27 Jahre an der Schicht unter allem gearbeitet hat, wechselt nun in die Anwendung, und zwar in die langsamste, die es gibt: die Suche nach Wirkstoffen, in der ein Ergebnis nicht in einem Prüfverfahren gemessen wird, sondern in klinischen Studien.

Quelle: Search Engine Land