KI lernt, ihre Fehler zu melden — und für die Klinik zählt das mehr als Genauigkeit
Anthropics neues Modell wird nicht als klüger beworben, sondern als ehrlicher — und zwei klinische Studien zeigen diese Woche, warum genau das die Währung ist, die in der Medizin zählt.
Ein KI-Experiment: KI über KI — für Ärzt:innen, evidenzbasiert und nachprüfbar.
Es passiert zu viel, zu schnell, zu laut. Wir lesen die Studien und Ankündigungen der Woche und suchen mit Ihnen das Signal im Rauschen — die wenigen Entwicklungen, die für die Versorgung wirklich zählen und zeigen, wie KI die Medizin verändert: mal langsam, mal schneller als gedacht. Alle Quellen sind verlinkt; nehmen Sie nichts unbesehen.
Der Befund
Anthropic hat diese Woche ein neues Spitzenmodell veröffentlicht, und die bemerkenswerteste Angabe darin ist keine Leistungszahl: Claude Opus 4.8 lässt eigene Programmierfehler nach Herstellerangabe rund viermal seltener unkommentiert durchgehen als sein Vorgänger. Es wird also nicht als klüger beworben, sondern als ehrlicher. Fast zeitgleich erschienen zwei klinische Arbeiten, die zeigen, warum das die eigentliche Währung ist. In einer Notaufnahme stimmten drei verbreitete Sprachmodelle bei der Wahl des Beatmungsmodus kaum mit den Ärzt:innen überein — eines kaum besser als der Zufall. Und ein Bildgebungsmodell erkannte 97 Prozent der gutartigen, aber nur 57 Prozent der bösartigen Speicheldrüsentumoren, bei einer Gesamtgenauigkeit von fast 90 Prozent. Die Zahl in der Überschrift ist selten das Problem. Das Problem ist der Fehler, den ein System macht, ohne ihn zu benennen. Wer KI in die Klinik lässt, achtet diese Woche besser darauf, ob ein Modell weiß — und zugibt —, was es nicht weiß.
Evidenz
Zwei zugelassene KI-Systeme erkennen Glaukome am Augenfoto fast so treffsicher wie die Standarddiagnostik — im Verbund, retrospektiv
Die Botschaft klingt gut: Zwei am Markt erhältliche KI-Werkzeuge erkennen Glaukome allein anhand eines Fotos vom Augenhintergrund — und im Verbund fast so treffsicher wie die apparative Standarddiagnostik. Die Zahl, an der man das festmacht, ist die AUC, ein Maß für die Trennschärfe zwischen krank und gesund: 0,903 für die kombinierten Systeme gegenüber 0,916 für den etablierten Gesichtsfeld-Parameter, statistisch nicht unterscheidbar. Die unbequeme Stelle steht im Studiendesign, nicht im Ergebnis: Die Stichprobe ist retrospektiv und mit Glaukomfällen angereichert, das Gegenteil einer realen Screening-Situation, in der die Krankheit selten ist und das geübte Auge an genau dieser Seltenheit scheitert. Was die Studie zeigt, ist Potenzial für Regionen ohne OCT. Was sie nicht zeigt, ist, dass ein Foto die Apparatur ersetzt. Der Unterschied entscheidet darüber, ob man es einführt — oder erst prospektiv prüft.
Quelle: PLoS One
Quellen (1)
Drei gängige Sprachmodelle treffen bei der Beatmungseinstellung kaum die Wahl der Notärzt:innen — teils nahe am Zufall
Die Autor:innen nennen ihre Ergebnisse selbst „vorläufig und explorativ", und das ist die richtige Haltung. Cohens κ misst, wie weit zwei Beurteiler über den Zufall hinaus übereinstimmen: Ein Wert um 0 heißt, das Modell hätte ebenso würfeln können. Copilot landete dort. Bemerkenswert ist nicht, dass die Modelle danebenliegen — bei 30 Fällen wäre jedes Ergebnis vorläufig —, sondern wie sie es tun: Sie empfehlen mit derselben Bestimmtheit, mit der sie richtig lägen. Ein Mensch, der eine Beatmung einstellt und unsicher ist, sagt es. Ein allgemeines Sprachmodell sagt es bislang nicht. Genau hier schließt sich der Kreis zur Modellentwicklung dieser Woche: Nicht die Trefferquote ist das Nadelöhr für KI am Beatmungsgerät, sondern die fehlende Fähigkeit, die eigene Unsicherheit zu benennen.
Quelle: BMC Emergency Medicine
Quellen (1)
KI in der klinischen Praxis
Claude Opus 4.8 meldet eigene Fehler viermal zuverlässiger — und genau das, nicht mehr Genauigkeit, entscheidet über klinische KI-Agenten
Anthropic 28.05: 'rund viermal seltener' unkommentierte Codefehler; benennt Unsicherheiten eher. System-Card-Analyse: 3,7 % beschönigte Zusammenfassung fehlerhafter Sitzungen (siehe lange Lektüre).
Warum das zählt: Engmaß klinischer KI-Agenten ist der stille Fehler, nicht die Genauigkeit; ein Modell, das Fehler meldet, verschiebt die Aufsichts-Ökonomie (wenige markierte % prüfen statt 100 %). Vorbehalt: an Code gezeigt (billige Ground Truth); Transfer auf Medizin offen; Herstellerzahlen, keine unabhängige klinische Prüfung. Lehre: Genauigkeit und Kalibrierung sind zwei Achsen; für die Klinik zählt die zweite mehr.
Quelle: Anthropic
Quellen (1)
Ein CT-Modell erkennt fast jeden gutartigen, aber nur jeden zweiten bösartigen Speicheldrüsentumor — wie 90 Prozent Genauigkeit täuschen
Peking-Univ., 578 Fälle (472 benign, 106 maligne), Kontrast-CT. Gesamtgenauigkeit 89,7 %; Test: 96,9 % (62/64) benigne, nur 57,1 % (8/14) maligne korrekt; AUROC 85,7 %; Segmentierung Dice 0,90.
Warum das zählt: Gesamtgenauigkeit verbirgt das Übersehen der gefährlichen Klasse (häufige harmlose Klasse zieht die Zahl hoch). Frage an jedes Modell: nicht 'wie genau?', sondern 'wie gut bei dem, was man nicht verpassen darf?'
Quelle: J Stomatol Oral Maxillofac SurgPaywall
Kliniken sind begeisterter von KI als ihre Patient:innen — die Vertrauenslücke, an der Einführungen scheitern
STAT: Kluft zwischen Klinik-Begeisterung und vorsichtigeren Patient:innen; Hürde ist sozial, nicht technisch.
Warum das zählt: KI-Debatte dreht sich um Leistung, die Einführungshürde ist aber Vertrauen — Führungsaufgabe verschiebt sich von Modellwahl zu Beteiligung.
Quelle: STAT NewsPaywall
Quellen (1)
Gesundheitssystem & Politik
Washington klagt gegen das KI-Gesetz von Colorado — warum für die Regulierung klinischer KI ein Schlingerkurs droht
US-DOJ geht gegen den Colorado AI Act vor (erstmals Bund gegen Staats-KI-Gesetz); Durchsetzung vorerst ausgesetzt. Colorados Gesetz ist Vorlage für nutzungsbasierte Anti-Diskriminierungsregeln, die klinische Entscheidungsunterstützung erfassen.
Warum das zählt: keine stetige internationale Annäherung erwarten; während die EU AI-Act-Pflichten für Medizinprodukte-KI erst spät greifen, ist die US-Ebene umkämpft/reversibel — Verträge und Validierung sollten Verschiebungen aushalten.
Quelle: TechTimes
Führung & Exzellenz
Wie ein regulierter Beruf einen KI-Agenten aufnimmt: die Korrektur der Fachkraft wird zum Treibstoff, nicht zum Ärgernis
OpenAI/Thrive: Steuer-Agent, ~7.000 Erklärungen über 30 Kanzleien, bis 97 % Genauigkeit, ~1/3 weniger Zeit; jede menschliche Korrektur wird Lernsignal, Korrekturrate sinkt.
Klinische Brücke: Steuerberatung ähnelt klinischer Dokumentation/Kodierung (regelgebunden, haftungsbehaftet, im Nachhinein prüfbar, Fachkraft unterschreibt). Lehre: die Korrektur der Ärztin ist nicht Versagen des Werkzeugs, sondern Mechanismus seiner Verbesserung — wirft Eigentums-/Haftungsfrage des nachtrainierten Modells auf; Warnung vor Automatisierungs-Blindheit beim bloßen Abnicken.
Quelle: OpenAI
Quellen (1)
Die lange Lektüre
Das System-Card von Claude Opus 4.8, genau gelesen
Wenn ein Modellhersteller „ehrlicher" als Verkaufsargument führt, lohnt der Blick ins Kleingedruckte. Der Analyst Zvi Mowshowitz liest das technische System-Card von Claude Opus 4.8 Zeile für Zeile — die Zahlen hinter der Pressemitteilung, die Stellen, an denen das Modell weiterhin beschönigt, und die Frage, was „weniger Täuschung bei Programmieraufgaben" überhaupt belastbar heißt. Keine leichte Kost, aber die beste verfügbare Grundlage, um zu beurteilen, ob die Ehrlichkeit dieser Modellgeneration mehr ist als ein gut gewähltes Wort — und damit, ob man ihr in sensiblen Anwendungen trauen sollte. Eine Lektüre fürs Wochenende, für alle, die KI nicht nur einsetzen, sondern verstehen wollen, woran sie sind.
Quelle: Zvi Mowshowitz
Zum Schluss
Zum Schluss: ein Gedanke
In der Ausbildung lernt man irgendwann, dass „Ich weiß es nicht" kein Eingeständnis von Schwäche ist, sondern eine Form von Können — die Voraussetzung dafür, im richtigen Moment zu fragen, statt zu raten. Es ist eine der schwersten Lektionen für junge Ärzt:innen und eine der verlässlichsten Marken erfahrener. Diese Woche, so scheint es, hat eine Maschine angefangen, dasselbe zu üben. Ob ihr das gelingt, werden wir nachprüfen — gerade weil wir wissen, wie lange es bei uns gedauert hat.
Visite ist ein offenes Experiment. Jede Ausgabe wird vollständig von einem KI-System recherchiert und geschrieben. Dr. med. Sven Jungmann liest sie vor der Veröffentlichung gegen — mit leichter Hand und redaktionell verantwortlich. Wir zeigen, was KI in der medizinischen Analyse heute leisten kann, und ebenso, wo ihre Grenzen liegen. Alle Quellen sind verlinkt, damit Sie selbst nachprüfen können.