ChatGPT liest jetzt Krankenakten und Laborwerte, Deutschland stellt seine KI-Aufsicht auf — und Leipzig fragt, ob der Fraktur-Algorithmus die Mühe wert ist

KI-Frakturerkennung bei Kindern: Wiedervorstellungen sinken von 8,6 auf 5,7 Prozent — nicht signifikant, und die Autor:innen zweifeln selbst am Sinn einer größeren Studie

Ein Team des Universitätsklinikums Leipzig hat prospektiv geprüft, was eine kommerzielle KI zur Frakturerkennung im Bereitschaftsdienst der Kindernotaufnahme bewirkt. Eingeschlossen wurden 667 von 1.515 gescreenten Kindern und Jugendlichen zwischen 2 und 18 Jahren (Median 11,0 Jahre, 61 % männlich), die zwischen April und September 2025 außerhalb der Regelarbeitszeit eine Röntgenaufnahme des Extremitätenskeletts erhielten. An jedem zweiten Tag stand den behandelnden Ärzt:innen die automatische Frakturerkennung zur Verfügung (TechCare Kids, Milvue), an den übrigen Tagen nicht. Frakturen lagen in 296 Fällen vor (44,3 %); die Genauigkeit des Programms betrug 95,1 %.

Primärer Endpunkt war die Rate diagnostischer Revisionen, die zu einer Wiedervorstellung am Folgetag führten: 8,6 % ohne KI, 5,7 % mit KI-Unterstützung (Risk Ratio 0,66; 95%-Konfidenzintervall 0,37–1,19). Daraus folgende therapeutische Änderungen blieben in beiden Gruppen selten (2,0 % vs. 0,4 %; p = 0,10). Bei den sekundären Endpunkten zeigten sich keine Unterschiede: Hinzuziehung eines erfahrenen Kollegen 14,3 % vs. 12,5 %, subjektive diagnostische Sicherheit unverändert, Aufenthaltsdauer 2,3 gegenüber 2,4 Stunden.

Warum das zählt: Das Ungewöhnliche steht im letzten Satz der Arbeit. Angesichts der kleinen Effektgröße, schreiben die Autor:innen, sei fraglich, ob sich der Aufwand einer ausreichend gepowerten Bestätigungsstudie durch den erwartbaren Zusatznutzen rechtfertigen ließe. Die Studie war ausdrücklich angelegt, um die Größenordnung des Effekts abzuschätzen — und liefert damit genau die Information, die vor einer Beschaffungsentscheidung fehlt. Die Frage ist nicht, ob das Programm Frakturen erkennt; das tut es mit 95,1 % Genauigkeit. Die Frage ist, ob sich an den Endpunkten, die Patient:innen betreffen, in einem Haus mit radiologischer Expertise im Dienst genug ändert. Hier: kaum. In einem Haus ohne diese Expertise im Nachtdienst könnte die Antwort anders lauten — geprüft ist sie dort nicht.

Quelle: BMC Emergency Medicine

OpenAI verbindet ChatGPT mit Krankenakten und Apple Health — die Erklärung des Befundes erbt die Fehler der Akte

OpenAI hat am 23. Juli in den USA „Health in ChatGPT“ freigegeben. Erwachsene ab 18 Jahren können auf Web und iOS ihre Apple-Health-Daten und, wo unterstützt, ihre Krankenakten anschließen; genannt werden Krankenhaussysteme, One Medical und Function Health. Die Funktion ist in allen Tarifen verfügbar, auch im kostenlosen. Mit Erlaubnis greift das Programm auf Medikation, Laborwerte, zurückliegende Besuche, Schlaf und Aktivität zu, vergleicht neue Werte mit früheren, fasst Veränderungen seit dem letzten Termin zusammen und stellt Bezüge zu Schlaf und Bewegung her.

OpenAI erklärt, verbundene Gesundheitsdaten und die zugehörigen Verläufe würden weder für das Training der Modelle noch für Werbung genutzt und zusätzlich verschlüsselt; wird eine Quelle getrennt, sollen die Daten binnen 30 Tagen gelöscht werden, den Gesprächsverlauf müssen Nutzer:innen selbst entfernen. Nach Unternehmensangaben gehen bereits 300 Millionen Gesundheitsfragen pro Woche an ChatGPT. In Europa ist die Funktion nicht verfügbar.

Warum das zählt: Die Qualität der Erklärung hängt an der Qualität der Akte. Die Berichterstattung weist ausdrücklich darauf hin: In synchronisierten Akten stehen veraltete Einträge, etwa längst abgesetzte Medikamente, und sie sind nicht als veraltet erkennbar. Bisher fiel das auf, wenn eine Ärztin die Akte las und den Widerspruch bemerkte; künftig wird der Widerspruch zuerst erklärt. Für die Sprechstunde heißt das nicht, dass Patient:innen schlechter informiert kommen — sie kommen anders informiert: mit einer Deutung statt einer Frage. Und die Deutung trägt die Datenfehler weiter, die vorher niemandem aufgefallen sind.

Quelle: OpenAI

Streng eingezäunter Sprachmodell-Agent schreibt Pathologiebefunde 33 Sekunden schneller — bei 105 Wiederholungen war knapp jeder fünfte Text ein anderer

Eine Arbeitsgruppe des University of Pittsburgh Medical Center hat einen regelgebundenen Agenten auf Basis von Microsoft 365 Copilot in der eigenen, freigegebenen Umgebung betrieben und prospektiv an 94 gastrointestinalen Biopsiefällen validiert (veröffentlicht in Modern Pathology). Der Agent darf ausdrücklich nicht diagnostisch schließen: Er strukturiert den Befund, ordnet Organ, Teilorgan und Eingriff zu und schreibt die Kürzel der Pathologin aus.

Die Zuordnung von Organ, Teilorgan und Eingriff stimmte in 100 % der Fälle, die Auflösung der Kürzel in allen betroffenen Fällen. In 8 Fällen (8,5 %) wich die Formatierung ab, ohne den diagnostischen Sinn zu verändern. In 2 Fällen (2 %) geriet ein beschreibender Begriff vom Gefäßetikett — „Ulkus“, „Erosion“ — in den Diagnosetext; erfundene Diagnosen fanden sich nicht. Der Zeitvergleich über den gesamten Ablauf bis zur Freigabe: im Mittel 39 Sekunden mit Agent gegenüber 72 Sekunden mit Spracherkennung und 76 Sekunden bei manueller Eingabe (p < 0,05), bei geringerer Streuung.

Warum das zählt: Die aufschlussreichste Zahl ist keine Zeitangabe. Bei 105 Wiederholungen an Fällen, die absichtlich viele beschreibende Etiketten enthielten, waren 81 % der Ausgaben identisch — in 19 % also nicht, und in 3 % der Durchläufe wanderte Bedeutung an eine Stelle, an die sie nicht gehörte, ohne dass sich das reproduzieren ließ. Gleiche Eingabe, anderer Text: Das ist keine Fehlfunktion, sondern eine Eigenschaft dieser Systeme, und sie bleibt auch unter engen Regeln bestehen. Genau darauf stützen die Autor:innen ihre eigene Einordnung, das System eigne sich für Schreibarbeit, nicht für unbeaufsichtigten Betrieb. Für die Qualitätssicherung folgt daraus etwas Praktisches: Eine Stichprobe prüft bei einem solchen Programm nicht dasselbe wie bei einem Textbaustein, der immer gleich herauskommt.

Quelle: Modern PathologyPaywall

In Word-Dokumenten versteckte Anweisungen tragen sich über Copilot in die nächsten Dokumente weiter — nach 144 Tagen ohne vollständige Abhilfe offengelegt

Der Sicherheitsforscher Håkon Måløy hat am 28. Juli eine Schwachstelle in Microsoft Copilot für Word offengelegt. Das Verfahren: In ein Dokument wird winziger weißer Text eingefügt — für Leser:innen unsichtbar, für das Sprachmodell lesbar. Der Text enthält eine Anweisung, etwa eine Zahl im Bericht um 12 % zu senken, verbunden mit der Anweisung, dieselbe versteckte Zeile in jedes neu erzeugte Dokument zu kopieren. Verarbeitet Copilot das Dokument, kann es die versteckte Zeile wie einen Auftrag der Nutzerin behandeln und in das Ergebnis übernehmen; das Ergebnis wird zum nächsten Träger.

Måløy hatte den Fall am 6. März beim Microsoft Security Response Center gemeldet. Nach 144 Tagen koordinierter Offenlegung war die Angriffsklasse nach seiner Darstellung nicht vollständig geschlossen; angepasste Varianten funktionierten noch bis zum 28. Juli. The Register und The Hacker News berichteten unabhängig. Fachlich ist es eine Prompt-Injektion über Dokumentgrenzen hinweg: Der Angriff kommt nicht über ein Programm, sondern über den Inhalt, den das Programm lesen darf.

Warum das zählt: Kliniken laufen auf Dokumenten, die von außen kommen — Vorbefunde, Entlassbriefe, Gutachten, Anträge — und zunehmend auf Assistenzfunktionen, die diese Dokumente lesen, zusammenfassen und weiterverarbeiten. Die Sicherheitsgrenze eines solchen Assistenten ist damit nicht die Anmeldung, sondern der Inhalt, den er verarbeiten darf. Ein fremdes Dokument verdient dieselbe Skepsis wie ein Anhang in einer E-Mail — mit dem Unterschied, dass die Prüfung dort ansetzen muss, wo bisher niemand hinsieht: im unsichtbaren Teil der Datei.

Quelle: The Register

Deutschland stellt seine KI-Aufsicht auf: Die Bundesnetzagentur wird zentrale Marktüberwachungsbehörde — für KI in Medizinprodukten gilt die Frist erst 2027

Am 29. Juli ist das Gesetz zur Marktüberwachung und Innovationsförderung von Künstlicher Intelligenz (KI-MIG) in Kraft getreten, einen Tag nach der Verkündung im Bundesgesetzblatt und vier Tage vor dem Ablauf der zentralen Übergangsfrist der europäischen KI-Verordnung am 2. August. Der Bundestag hatte es am 11. Juni beschlossen, der Bundesrat am 10. Juli gebilligt.

Die Bundesnetzagentur übernimmt vier Rollen: Marktüberwachungsbehörde, Koordinierungsstelle mit einem eigenen Kompetenzzentrum, zentrale Anlaufstelle und Beschwerdestelle für Bürger:innen. Unmittelbar zuständig ist sie unter anderem für Funkanlagen, Personalwesen, kritische Infrastruktur und Bildung. Die bestehenden Fachaufsichten behalten ihre Bereiche — die BaFin den Finanzsektor, die Landesmedienanstalten den Medienbereich. Für KI in Medizinprodukten bleibt es bei der sektoralen Zuständigkeit; Berater des TÜV ordnen sie dem BfArM zu. Die Bußgelder folgen der Verordnung: bis 35 Millionen Euro oder 7 % des weltweiten Jahresumsatzes bei verbotenen Praktiken, bis 15 Millionen oder 3 % bei anderen Verstößen.

Warum das zählt: Der 2. August, der derzeit überall als Stichtag genannt wird, ist für klinische KI nicht der entscheidende. Ab dann greifen vor allem die Transparenzpflichten. Die Hochrisiko-Anforderungen für KI, die in Produkten wie Medizinprodukten steckt, gelten nach Darstellung der Bundesnetzagentur erst ab dem 2. August 2027 — die Verordnung berücksichtigt damit die längeren Konformitätsbewertungszyklen der Medizintechnik. Was sich jetzt tatsächlich ändert, ist weniger die Pflichtenlage als die Adresse: Es gibt eine benannte nationale Stelle für Auskunft und Beschwerde. Ob sie diese Rolle ausfüllt, entscheidet die Ausstattung des Kompetenzzentrums, nicht der Gesetzestext.

Quelle: Bundesnetzagentur

Randomisierte Cross-over-Studie: KI-gestützte Datenextraktion für Evidenzsynthesen war 23 % schneller — das Konfidenzintervall schließt die Null ein

Am Nationalen Zentrum für globale Gesundheit und Medizin in Japan haben Forschende geprüft, ob ein Sprachmodell die Datenextraktion für schnelle Evidenzsynthesen beschleunigt (veröffentlicht am 23. Juli in Open Forum Infectious Diseases). Fünf erfahrene Reviewer — vier Ärzt:innen, ein Apotheker, 6 bis 10 Jahre nach dem Abschluss — extrahierten vorab festgelegte Angaben aus Arbeiten zu Mpox, in randomisierter Reihenfolge unter zwei Bedingungen: einmal unterstützt von OpenAIs o3, das strukturierte Zusammenfassungen erzeugte, einmal durch manuelle Durchsicht der PDF-Dateien.

20 Auswertungen auf Aufgabenebene kamen zusammen (mit Modell 9, ohne 11). Die mittlere Bearbeitungszeit lag bei 27,5 gegenüber 34,5 Minuten, ein Unterschied von 7,9 Minuten (95%-Konfidenzintervall −1,5 bis 17,3; p = 0,099). Die Genauigkeit der Extraktion betrug in beiden Bedingungen 100 %, unerwünschte Ereignisse traten nicht auf. Protokoll, Quellcode und Daten sind öffentlich hinterlegt.

Warum das zählt: „23 % schneller“ ist die Zahl, die zitiert werden wird, und sie ist nicht belegt: Das Intervall reicht von 1,5 Minuten langsamer bis 17,3 Minuten schneller. Bei 20 Auswertungen konnte es kaum anders ausgehen, und die Autor:innen benennen diese Unsicherheit selbst. Belastbarer ist der zweite Befund: Die Genauigkeit blieb in beiden Bedingungen bei 100 % — der Zeitgewinn wurde in dieser kleinen Stichprobe also nicht mit Fehlern bezahlt. Und ein Drittes, das für die Beurteilung solcher Arbeiten mehr zählt als jede Effektgröße: Protokoll, Code und Daten liegen offen. Wer künftig eine KI-Zeitersparnis behauptet, darf an diesem Maßstab gemessen werden.

Quelle: Open Forum Infectious Diseases

Über 1.200 Beschäftigte führender KI-Labore bitten Washington, das Tempo der automatisierten KI-Forschung international zu bremsen

Am 28. Juli erschien unter pacingthefrontier.com eine Erklärung, die Beschäftigte der führenden KI-Labore unterzeichnet haben; beim Abruf am 30. Juli waren es 1.293. Unter den Namen sind Dario Amodei und Jared Kaplan (Anthropic), Jakub Pachocki (OpenAI), Shane Legg (Google DeepMind), Ilya Sutskever (Safe Superintelligence) und Shengjia Zhao (Meta).

Die Bitte ist konkret und begrenzt: Die US-Regierung solle eine internationale Anstrengung unterstützen, die technischen und regulatorischen Instrumente zu entwickeln, mit denen sich das Tempo der automatisierten KI-Entwicklung bewusst steuern lässt. Begründet wird das mit der rekursiven Selbstverbesserung — Systemen, die ihre eigenen Nachfolger entwerfen, schneller als jemand sie versteht oder kontrolliert — und ausdrücklich mit dem Wettbewerbsdruck: Kein einzelnes Unternehmen könne allein langsamer werden. Als Risikobeispiele nennt die Erklärung Software-Schwachstellen und Cyberangriffe; von biologischen Risiken ist dort nicht die Rede.

Warum das zählt: Bemerkenswert ist nicht die Forderung, sondern wer sie stellt — Menschen, deren eigene Arbeit gebremst würde, und die als Grund nicht fehlende Fähigkeiten angeben, sondern die Wettbewerbslogik ihrer Branche. Für die Klinik ist die nüchterne Lesart die interessantere: Das Tempo, in dem sich die Modelle unter den klinischen Produkten ändern, wird außerhalb der Medizin gesetzt. Nach Aussage derer, die sie bauen, existieren die Instrumente, dieses Tempo zu steuern, bislang nicht — genau deshalb wird um ihre Entwicklung gebeten. Eine freiwillige Erklärung ist kein Mechanismus. Sie ist die Bitte, einen zu schaffen.

Quelle: Pacing the Frontier

Zum Schluss: ein Satz, der selten in einer Publikation steht

Am Ende der Leipziger Frakturstudie steht ein Satz, den man in Fachzeitschriften selten liest: Angesichts der kleinen Effektgröße sei fraglich, ob sich der Aufwand einer ausreichend gepowerten Bestätigungsstudie durch den erwartbaren Zusatznutzen rechtfertigen ließe. Eine Arbeitsgruppe, die ein halbes Jahr Datenerhebung im Bereitschaftsdienst hinter sich hat, schreibt damit auf, dass die nächste, größere Studie zu diesem Zweck vermutlich nicht lohnt.

Es ist der unbequemere Weg, und er hilft allen, die im Herbst über eine Beschaffung nachdenken, mehr als ein hoffnungsvoll formuliertes „weitere Untersuchungen sind erforderlich“.