Welche KI Europas Kliniken betreiben — Muratis offenes Modell, OpenAIs Selbst-Angreifer, das GeDIG, und wie wenig KI-Prognosezahlen einer Prüfung standhalten

Modelle sagen den Typ-2-Diabetes nach Gestationsdiabetes treffsicher vorher — doch jede eingeschlossene Studie ist hoch verzerrungsanfällig

Ein Forschungsteam fasste in einer im Journal of Medical Internet Research veröffentlichten systematischen Übersicht mit Meta-Analyse (9. Juli) zusammen, wie gut maschinelle Lernmodelle vorhersagen, ob nach einem Gestationsdiabetes später ein Typ-2-Diabetes oder ein Prädiabetes entsteht. Eingeschlossen wurden zehn Studien, acht davon in die quantitative Auswertung (Suchstand 12. September 2025). Die geprüften Modelle waren überwiegend klassische Verfahren — Random Forest, Entscheidungsbäume, logistische Regression, naiver Bayes-Klassifikator —, nicht die großen Sprachmodelle, die den KI-Diskurs derzeit prägen.

Für die Vorhersage eines Typ-2-Diabetes lag die gepoolte Fläche unter der ROC-Kurve (AUROC, ein Maß für die Trennschärfe: 0,5 entspricht dem Zufall, 1,0 der perfekten Trennung) bei 0,86 (95-%-Konfidenzintervall 0,77–0,91), die Sensitivität bei 0,89, die Spezifität bei 0,88. Für den Prädiabetes fiel die Trennschärfe deutlich ab, auf eine AUROC von 0,69 (0,60–0,77). So weit die gute Nachricht. Der eigentliche Befund steht im Kleingedruckten: Nach dem PROBAST+AI-Instrument — dem etablierten Standard zur Bewertung des Verzerrungsrisikos klinischer Vorhersagemodelle — stuften die Autor:innen jede einzelne eingeschlossene Studie als insgesamt hoch verzerrungsanfällig ein, vor allem in der Analyse-Domäne, also dort, wo Überanpassung und optimistisch verzerrte Gütemaße entstehen.

Warum das zählt: Eine gepoolte Zahl ist nur so vertrauenswürdig wie die Studien, aus denen sie stammt. Eine AUROC von 0,86, die vollständig aus verzerrungsanfälligen Arbeiten zusammengesetzt ist, ist eine Hypothese, kein einsatzbereites Verfahren — und die von den Autor:innen genannten Grenzen (kleine Stichproben, fehlende externe Validierung) sind der übliche Zustand dieser Literatur, kein Skandal. Die Übersicht macht ihn nur sichtbar. Für die nächste Meldung „unser Modell erreicht eine AUROC von 0,9“ heißt das: Die brauchbare Frage ist nicht, wie hoch der Wert ist, sondern wie verzerrungsanfällig die Daten darunter sind.

Quelle: Journal of Medical Internet Research

Ein Deep-Learning-Modell sagt die nahende Progression beim Pankreaskarzinom voraus — extern und prospektiv geprüft, aber nur mäßig trennscharf

Ein Team stellte in MedComm (15. Juli) ein Deep-Learning-Verfahren vor, das bei Patient:innen mit fortgeschrittenem Pankreaskarzinom unter Chemotherapie vorhersagt, ob beim nächsten Kontrolltermin eine Krankheitsprogression auftritt. Das Modell verbindet ein faltendes neuronales Netz (zur Bildanalyse) mit einem LSTM-Netz (das zeitliche Abfolgen verarbeitet) und wertet damit aufeinanderfolgende CT-Aufnahmen zusammen mit klinischen Ausgangsdaten aus. Trainiert wurde an 243 Patient:innen; ausgewertet wurden 415 vorhergesagte Zeitpunkte.

Bemerkenswert ist weniger die Höhe der Trefferquote als die Art der Prüfung. Das Modell wurde nicht nur intern, sondern auch an einer externen Kohorte und prospektiv erprobt — der Schritt, der in solchen Studien meist fehlt. Die Trennschärfe (AUROC) lag bei 0,77 intern, 0,76 extern und 0,74 prospektiv; in Untergruppen nach Chemotherapieschema, Progressionstyp und Erkrankungsstadium schwankte sie zwischen 0,68 und 0,85. Sensitivität, Spezifität und Konfidenzintervalle nennt das Abstract nicht.

Warum das zählt: Dass die Werte über interne, externe und prospektive Prüfung hinweg kaum abfallen, ist die eigentliche Nachricht — es spricht dafür, dass hier keine Überanpassung poliert wurde. Aber eine AUROC um 0,75 trennt Fälle nur mäßig; als alleinige Grundlage für eine Therapieentscheidung reicht das nicht. Der ehrliche Platz eines solchen Modells ist der eines zusätzlichen Signals neben Bildbefund und klinischem Verlauf, nicht der eines Taktgebers. Gerade weil die Prüfung sauber ist, lässt sich die bescheidene Trennschärfe nicht wegdiskutieren.

Quelle: MedComm

OpenAI lässt eine KI ihre eigenen Modelle angreifen — „GPT-Red“ härtet GPT-5.6 gegen Prompt-Injection, ein direktes Sicherheitsthema für klinische Sprachmodelle

OpenAI stellte am 15. Juli „GPT-Red“ vor, ein internes Modell, das darauf trainiert ist, andere KI-Modelle anzugreifen, um sie sicherer zu machen. Der Ansatz ist ein Selbstlern-Wettspiel (self-play): Ein Sprachmodell, das nicht als Angreifer vortrainiert war, wurde gegen andere Modelle gesetzt — es versucht, sie mit manipulierten Eingaben auszutricksen, die anderen wehren sich; über viele Runden werden beide Seiten besser. Ergebnis laut OpenAI: GPT-Red fand in 84 Prozent der internen Prüfszenarien für Prompt-Injection eine erfolgreiche Attacke, gegenüber 13 Prozent bei menschlichen Prüfteams; die Erkenntnisse flossen ins Nachhärten von GPT-5.6. GPT-Red ist kein Produkt und wird nicht veröffentlicht — OpenAI hält die Angriffsfähigkeit bewusst intern (bestätigt u. a. durch MIT Technology Review und SiliconANGLE).

Prompt-Injection meint, dass in einen Text, den ein Modell verarbeitet, versteckte Anweisungen eingeschleust werden, denen es dann folgt — statt der eigentlichen Aufgabe.

Warum das zählt: Das ist kein abstraktes Sicherheitsthema, sondern genau die Schwachstelle klinischer Sprachmodelle. Ein Modell, das Arztbriefe, Überweisungen, Portalnachrichten oder hochgeladene Befunde zusammenfasst, liest fremden, teils von Patient:innen oder Dritten verfassten Text — und lässt sich durch darin versteckte Anweisungen manipulieren. Dass ein Hersteller die Injektionsresistenz messbar erhöht, ist deshalb relevant, bevor man ein Sprachmodell auf reale Dokumente loslässt. Zugleich zeigt der Ansatz die zwei Seiten der „Selbstverbesserung“: Dieselbe Technik, die Modelle härtet, züchtet ein fähigeres Angriffsmodell — das OpenAI folgerichtig unter Verschluss hält. Für die Praxis ist die brauchbare Frage an jeden Anbieter: Wie robust ist euer Modell gegen Prompt-Injection, und woran gemessen?

Quelle: OpenAI / MIT Technology Review

Mira Muratis Thinking Machines veröffentlicht sein erstes Modell „Inkling“ — als offene Gewichte; nicht das stärkste, aber frei anpassbar und selbst betreibbar

Thinking Machines Lab, das von der früheren OpenAI-Technikchefin Mira Murati gegründete Unternehmen, hat am 15. Juli sein erstes Modell vorgestellt: „Inkling“, veröffentlicht als offene Gewichte (open weights) — die Modellparameter sind frei herunterladbar (auf Hugging Face) und lokal betreibbar. Technisch ist es ein Mixture-of-Experts-Modell (975 Milliarden Parameter, davon 41 Milliarden je Anfrage aktiv), multimodal (Text, Bild, Audio), mit bis zu einer Million Token Kontext und einstellbarer „Denktiefe“. In Benchmarks liegt es ordentlich, aber nicht an der Spitze (u. a. GPQA Diamond 87,2 %, SWE-Bench Verified 77,6 %). Das Unternehmen sagt das selbst deutlich: „Inkling ist nicht das insgesamt stärkste heute verfügbare Modell“ — es sei als anpassbare offene Basis gedacht, samt Feinjustier-Plattform (Tinker). Das Wall Street Journal ordnet den Start als Versuch ein, den Griff der wenigen KI-Giganten zu lockern.

Warum das zählt: Für die Medizin ist die Nachricht nicht der Benchmark, sondern das Betriebsmodell. Offene Gewichte heißen: Ein Krankenhaus oder ein europäischer Anbieter kann das Modell selbst betreiben, im eigenen Rechenzentrum, hinter der eigenen Datenschutzgrenze, und auf klinische Aufgaben feinjustieren — ohne Daten an eine fremde Programmierschnittstelle zu geben. Das ist genau die Kontrolle, die das GeDIG dieser Woche für die Datenseite anstrebt. Der Preis dafür steht ebenso offen im Text: nicht das stärkste Modell. Die realistische Frage ist also nicht „offen oder proprietär“, sondern: Reicht ein selbst betreibbares, kontrollierbares Modell für die konkrete klinische Aufgabe — oder zahlt man den Kontrollgewinn mit zu viel Leistung?

Quelle: Thinking Machines Lab / Wall Street Journal

Das Kabinett beschließt das Gesundheitsdaten-Gesetz GeDIG — es öffnet die elektronische Patientenakte für KI-gestützte Angebote und legt die Datenwege dafür

Das Bundeskabinett hat am 15. Juli den Entwurf des Gesetzes für Daten und digitale Innovation im Gesundheitswesen (GeDIG) beschlossen. Es setzt zentrale Vorgaben des Europäischen Gesundheitsdatenraums (EHDS) um und ist im Kern ein Infrastrukturgesetz: Es regelt, wie Gesundheitsdaten für Versorgung, Forschung und Innovation genutzt werden dürfen, verschärft die Anforderungen an Interoperabilität und IT-Sicherheit und schreibt den Umstieg von Fax und Papier auf gesicherte digitale Kommunikation (KIM, TI-Messenger) zwischen Leistungserbringern und Kostenträgern fest.

Für die klinische KI sind zwei Punkte einschlägig. Erstens öffnet das Gesetz die elektronische Patientenakte ausdrücklich für „KI-gestützte Angebote“ der Krankenkassen — genannt werden etwa die verständliche Aufbereitung von Befunden oder individualisierte Beipackzettel; eine Volltextsuche in der Akte ist für Anfang 2027 vorgesehen. Zweitens weitet es die Befugnisse des Forschungsdatenzentrums Gesundheit aus, das künftig einzelne Leistungserbringer zu vergleichbaren Fällen kontaktieren darf, ohne Patient:innen zu identifizieren. Der angestrebte Bürokratieabbau wird mit rund 445 Millionen Euro jährlicher Entlastung beziffert.

Warum das zählt: KI in der Versorgung läuft nicht auf Modellen, sondern auf Daten — und deren Verfügbarkeit, Struktur und Rechtsgrundlage entscheiden mehr über den klinischen Nutzen als die nächste Modellgeneration. Das GeDIG legt genau diese Schicht: strukturierte, interoperable, rechtssicher nachnutzbare Daten sind die Voraussetzung dafür, dass KI-Angebote in der ePA überhaupt sinnvoll funktionieren. Bemerkenswert ist, dass die Akte damit ausdrücklich zur Trägerin von KI-Diensten wird. Das verschiebt die Frage von „ob KI“ hin zu „wer stellt sie in der Akte bereit, nach welchen Regeln und auf welcher Datengrundlage“.

Quelle: Bundesgesundheitsministerium

Kann ein Sprachmodell das Verzerrungsrisiko von Studien bewerten? ChatGPT-o3 stimmt mit menschlichen Prüfenden nur schwach überein — und übertreibt das Risiko

Eine in PLOS One veröffentlichte Validierungsstudie (9. Juli) prüfte, wie gut das Sprachmodell ChatGPT-o3 eine Kernaufgabe der evidenzbasierten Medizin übernimmt: die Bewertung des Verzerrungsrisikos randomisierter Studien mit dem Cochrane-Instrument RoB 2. An 50 aus publizierten Meta-Analysen gezogenen Studien verglichen die Autor:innen das Urteil des Modells mit dem der ursprünglichen Review-Autor:innen und dem eines verblindeten menschlichen Panels.

Die Übereinstimmung war schwach. Gegenüber dem Panel erreichte das Modell ein mittleres Cohens Kappa von 0,33, gegenüber den Originalautor:innen 0,14 (Kappa misst die zufallsbereinigte Übereinstimmung: 0 entspricht dem Zufallsniveau, 1 der vollen Übereinstimmung). Systematisch stufte ChatGPT-o3 strenger ein: Es hielt 34 Prozent der Studien für hoch verzerrungsanfällig, das Panel 22 Prozent, die Originalautor:innen 12 Prozent. Bei der Erkennung tatsächlich hoch-verzerrter Studien lag die Sensitivität bei 0,46. Das Fazit der Autor:innen: als alleinige Prüfinstanz ungeeignet, als Zuarbeit zur Steigerung von Effizienz und Konsistenz womöglich brauchbar.

Warum das zählt: Kritische Bewertung ist keine Fleißarbeit, sondern Urteilsbildung — genau die Kompetenz, die eine gute Ärztin von einer schnellen unterscheidet. Ein Modell kann eine Checkliste abarbeiten, aber die strittigen Abwägungen (Ist diese Verblindung ausreichend? Verzerrt dieser fehlende Endpunkt das Ergebnis?) beantwortet es hier nicht verlässlich. Die überstrenge Tendenz ist dabei tückischer als reines Rauschen: Ein zweiter „Prüfer“, der reflexhaft „hohes Risiko“ ruft, erzeugt trügerische Gründlichkeit. Wer solche Modelle einsetzt, sollte sie als das behandeln, was sie hier sind — eine Vorsortierung, die eine erfahrene Bewertung beschleunigt, aber nicht ersetzt.

Quelle: PLOS One

WHO-Region Europa warnt: Die Regeln für klinische KI hinken der Verbreitung hinterher — nur acht Prozent der Länder haben eine KI-Strategie fürs Gesundheitswesen

Zum Auftakt einer gemeinsam mit Portugal ausgerichteten Konferenz in Lissabon (15./16. Juli) veröffentlichte das WHO-Regionalbüro für Europa eine Bestandsaufnahme zur KI in den Gesundheitssystemen seiner 53 Mitgliedsländer — nach eigener Angabe die bislang umfassendste — und eine deutliche Warnung: Die Steuerung der KI müsse zur Geschwindigkeit ihrer Einführung aufschließen, sonst verfestigten sich Lücken, die später kaum zu schließen seien.

Die Zahlen zeichnen ein Gefälle. Fast zwei Drittel der Länder setzen KI bereits in der Diagnostik ein, die Hälfte hat KI-gestützte Patienten-Chatbots eingeführt — aber nur acht Prozent verfügen über eine gesundheitsspezifische KI-Strategie, knapp 40 Prozent haben keinerlei ethische Leitlinien für den KI-Einsatz, und weniger als die Hälfte hat überhaupt geprüft, ob ihr Rechtsrahmen taugt. Auch die Ausbildung hinkt: Nur jedes fünfte Land vermittelt KI-Kompetenz vor der Approbation, nur jedes vierte danach. WHO-Regionaldirektor Hans Kluge nannte die Kluft zwischen Einführung und Steuerung „die bestimmende Herausforderung der KI in der Gesundheit“.

Warum das zählt: Das bestätigt ein Muster, das die klinische KI insgesamt prägt — die Fähigkeit eilt der Kontrolle voraus. Fast zwei Drittel diagnostizieren mit KI, aber kaum ein Land hat den Rahmen dafür gesetzt: keine Strategie, keine Ethikleitlinie, keine geprüfte Haftungsfrage, kaum Ausbildung. Für die einzelne Ärztin bedeutet das, dass sie derzeit oft die letzte und einzige Prüfinstanz ist, wo eigentlich ein System aus Zulassung, Leitlinie und Schulung stehen müsste. Das GeDIG dieser Woche baut ein Stück dieser Ordnung; die WHO-Zahlen zeigen, wie groß die Baustelle in Europa insgesamt noch ist.

Quelle: WHO-Regionalbüro für Europa

Warum Chinas offene KI eine Falle sein kann: laut Economist ist Offenheit hier die Strategie der Zurückgebliebenen — und kein sicherer Ausweg aus der US-Abhängigkeit

Der Economist widmet Chinas Open-Source-Offensive eine skeptische Analyse — pünktlich zur Weltkonferenz für Künstliche Intelligenz (WAIC), die am 17. Juli in Schanghai öffnet. Chinas Erzählung: Offene, frei herunterladbare Modelle seien ein „gemeinsames Gut der Menschheit“, gerade für ärmere Länder. Der Economist liest das anders: Offenheit ist hier vor allem die rationale Strategie der Zurückgebliebenen. Chinas beste Modelle liegen hinter den führenden US-Modellen; also lockt man Kundschaft mit billigen Modellen zum Selbstbetrieb statt mit teuren, proprietären US-Diensten. Die harten Zahlen dazu liefert NPR (15. Juli): Eine gängige Programmieraufgabe kostet auf dem chinesischen Modell DeepSeek unter 0,50 US-Dollar gegenüber rund zehn auf einem US-Spitzenmodell; chinesische offene Modelle machten im Mai bereits etwa 61 Prozent der genutzten Token aus.

Die Pointe des Economist ist eine Warnung an alle, die China als Ausweg aus der US-Abhängigkeit sehen — auch in Europa. Offenheit kommt mit Kontrolle: Chinas Cyber-Aufsicht prüft Modelle auf „sozialistische Kernwerte“ (eine exportierte, KI-gestützte Kinderpuppe erklärte Taiwan zum „unveräußerlichen Teil Chinas“), und das Land will perspektivisch ein ganzes Ökosystem verkaufen — Modelle, Chips, Rechenzentren, bis hin zu Stromnetzen. Zugleich überdenkt Peking seine Offenheit bereits: strengere Regeln für grenzüberschreitende KI-Geschäfte, Erwägungen, Ausländern den Zugang zu den besten Modellen zu begrenzen. Amerikas Streben nach „KI-Dominanz“ sei beängstigend, so das Fazit — aber China sei nicht die Lösung; beiden Seiten geht es am Ende um Kontrolle.

Warum das die Lektüre lohnt: Wer in einer Klinik ein Sprachmodell wählt, entscheidet oft unbemerkt zwischen teuren, kontrollierten US-Diensten und billigen chinesischen offenen Modellen, die strategisch an Peking binden — und einer noch dünnen europäischen Mitte (der französische Anbieter Mistral, dessen Chef Arthur Mensch der Economist ebenfalls interviewt, ist der ernsthafteste Versuch). Der Text nimmt der bequemen Lösung „dann eben China“ die Unschuld: Offenheit ist kein Wert an sich, wenn sie jederzeit der Kontrolle geopfert werden kann. Für eine europäische Klinik heißt das, Beschaffung nicht nur nach Preis und Genauigkeit zu denken, sondern nach der Frage, an wessen Infrastruktur und Regeln man sich langfristig bindet.

Quelle: The Economist / NPRPaywall

Zum Schluss: ob Claude denkt

Anthropic veröffentlichte diese Woche eine von Jack Lindsey geleitete Arbeit, die in seinem Modell Claude einen inneren „Arbeitsraum“ beschreibt: eine Aktivität, in der das Modell relevante Wörter, ein Kurzzeitgedächtnis und Ansätze schrittweisen Schließens vorhält, bevor es antwortet — Züge, die an die „globale Arbeitsraum“-Theorie des Bewusstseins erinnern. Der Neurowissenschaftler Anil Seth (Universität Sussex) widersprach im Guardian, klar und lehrreich. Sein erster Punkt: Bewusstsein ist nicht Intelligenz. Intelligenz ist Tun, Bewusstsein ist Erleben — dass beides beim Menschen zusammenfällt, heißt nicht, dass es das überall tut; Zeichen von Intelligenz für Bewusstsein zu nehmen, sagt mehr über unsere Psychologie als über die Maschine. Sein zweiter, tieferer Punkt: Ein Gehirn ist kein Computer aus Fleisch; man kann nicht sauber trennen, was es tut, von dem, was es ist — Software von Hardware. Deshalb, so Seth, sei die Rechenaktivität in Claude so wenig geeignet, Bewusstsein hervorzubringen, wie die Simulation eines Wettersystems einen echten Wirbelsturm erzeugt. (Claude fehlt zudem die rückgekoppelte Aktivität, die die Theorie eigentlich verlangt.)

Für uns hat das eine unbequeme Note, weil diese Ausgabe von genau so einem Modell geschrieben wurde. Der klinisch nützliche Schluss steckt in Seths letztem Gedanken: Wer den eigenen Verstand zu billig an die Maschine verkauft, überschätzt sie und unterschätzt sich selbst. Ein Modell überzeugend reden zu hören, sagt nichts darüber, ob es versteht — und nichts darüber, ob es recht hat. Deshalb bleibt die Prüfung die Arbeit, nicht das Zuhören.

Quelle: The Guardian