Reasoning-KI benotet OSCE-Prüfungen anders als Lehrende, Fable 5 kehrt nach dem US-Bann zurück — und warum ein Benchmark-Sieg keine klinische Evidenz ist

Zwei reasoning-orientierte KI-Modelle benoten mündliche Prüfungsgespräche strenger als klinische Lehrende — und stimmen kaum mit ihnen überein

Ein Team um Takanobu Hirosawa (veröffentlicht in JMIR Formative Research, 2. Juli) prüfte, ob sich reasoning-orientierte Sprachmodelle — Modelle, die vor der Antwort einen expliziten Denkweg ausformulieren — als Bewerter mündlicher Prüfungsgespräche eignen. Zwei Modelle, GPT-5.2 Thinking und Gemini 3.0 Pro, benoteten 40 transkribierte Anamnesegespräche von 20 Assistenzärzt:innen im ersten und zweiten Jahr; als Referenz diente der Konsens zweier klinischer Lehrender. Beide Modelle benoteten durchweg strenger als die Lehrenden: Auf der verwendeten Skala lag der Konsens im Mittel bei 5,18, die KI bei 3,68 (GPT-5.2 Thinking) und 4,09 (Gemini 3.0 Pro), beide Unterschiede statistisch signifikant (p < 0,001). Entscheidender ist aber die Übereinstimmung: Gemessen am Intraklassen-Korrelationskoeffizienten (ICC, ein Maß dafür, wie eng zwei Bewertende dasselbe Objekt gleich einschätzen; 1 = perfekt, 0 = zufällig) erreichte GPT-5.2 Thinking nur 0,04 (95%-KI 0,00–0,09) und Gemini 3.0 Pro 0,22 (0,10–0,35) — also von praktisch keiner bis schwacher Übereinstimmung. Am größten war die Kluft in der Domäne Management (GPT 2,93 vs. Konsens 5,20). Die Autor:innen schließen, die Modelle sollten unter diesen Bedingungen nicht als alleinige Prüfer dienen; ob sie für formatives Feedback taugen, bleibt offen.

Warum das zählt: Dass ein Modell strenger benotet, wirkt zunächst wie die sichere Seite — doch ohne Übereinstimmung mit den Lehrenden ist die Note nicht bloß härter, sondern in ihrer Rangfolge kaum verlässlich. Und die Vermutung, ein reasoning-Modell urteile schon deshalb besser, weil es seinen Denkweg ausschreibt, trägt hier nicht: Der ausformulierte Denkweg macht die Bewertung nicht valider, nur überzeugender lesbar. Wer KI in Prüfung oder Feedback einführt, braucht Übereinstimmungsmaße an den eigenen Fällen, bevor er ihr Urteil zählt.

Quelle: JMIR Formative Research

Anthropics Sonnet 5 wird als günstigeres Modell für KI-Agenten beworben — doch der neue Token-Zerleger lässt den Preis je Aufgabe kaum sinken

Anthropic veröffentlichte am 30. Juni Claude Sonnet 5 und bewarb es ausdrücklich als günstigere Möglichkeit, KI-Agenten zu betreiben — also Programme, die mehrschrittige Aufgaben selbständig abarbeiten: recherchieren, zusammenfassen, in Systeme eintragen. Auf einem Vergleichstest für agentisches Programmieren erreichte Sonnet 5 laut Anthropic 63,2 %, gegenüber 69,2 % beim teureren Opus 4.8 und 58,1 % beim Vorgänger Sonnet 4.6; bei Wissensarbeit liege es leicht über Opus 4.8. Der Einführungspreis — 2 US-Dollar je Million eingehender, 10 je Million ausgehender Token bis Ende August, danach 3 und 15 — entspricht dem des Vorgängers. Token sind die Abrechnungseinheiten dieser Modelle, grob Wortbestandteile, und bezahlt wird pro Token. Genau hier setzt der Einwand an: Der Entwickler Simon Willison prüfte den neuen Token-Zerleger nach und fand, dass Sonnet 5 denselben Text in spürbar mehr Token zerlegt als der Vorgänger — für englische Texte rund das 1,4-Fache, für Python-Code das 1,27-Fache, für vereinfachtes Chinesisch praktisch unverändert. Bei gleichem Preis je Token steigen damit die Kosten für dieselbe Aufgabe, obwohl der Stückpreis stabil bleibt.

Warum das zählt: Wer im Krankenhaus prüft, ob ein „günstigeres“ KI-Modell tatsächlich Kosten spart, misst leicht die falsche Größe. Der Preis je Token ist nicht die Einheit, die die Rechnung bestimmt, sondern die Kosten je erledigter Aufgabe — und die hängen davon ab, wie das Modell Text zerlegt und wie viele Zwischenschritte es verbraucht. Für deutschsprachige Texte, die ohnehin oft mehr Token brauchen als englische, ist der Unterschied nicht nebensächlich. Ein belastbarer Vergleich entsteht erst, wenn man beide Modelle auf den eigenen Arbeitslasten laufen lässt und die Gesamtkosten bis zum fertigen Ergebnis vergleicht, nicht den beworbenen Stückpreis.

Quelle: TechCrunch

Anthropics Fable 5 kehrt nach dem US-Exportbann zurück — in einer nachgeschärften Fassung, die Cyberangriffs-Aufgaben abbrechen soll

Anthropic hatte Fable 5 und das Schwestermodell Mythos 5 am 9. Juni veröffentlicht — und beide binnen Tagen wieder abgeschaltet: Am 12. Juni verlangte die US-Regierung per Exportkontroll-Auflage die weltweite Sperrung, nachdem Amazon-Forschende gezeigt hatten, dass sich Fable 5s Schutzmechanismen umgehen ließen, sodass das Modell Software-Schwachstellen benannte und in einem Fall Code lieferte, der zeigte, wie sich eine Lücke ausnutzen ließe. Am 30. Juni zog Handelsminister Howard Lutnick die Auflage per Schreiben zurück; am 1. Juli stellte Anthropic Fable 5 weltweit wieder bereit — über die Claude-Plattform, Claude.ai, Claude Code und Claude Cowork. Es ist eine „nachgeschärfte“ Fassung, die aus Vorsicht darauf ausgelegt wurde, Cybersicherheits-Aufgaben zu erkennen und abzubrechen; für zahlende Tarife ist die Nutzung zunächst begrenzt enthalten, danach über Guthaben abgerechnet.

Warum das zählt: Dies ist derselbe Governance-Strang wie die Five-Eyes-Cyberwarnung vor zwei Wochen — nur konkret geworden. Ein Frontier-Modell, das auch in der Medizin ankommt, wurde wegen einer waffenfähigen Schwachstelle gestoppt und wenige Wochen später mit veränderten Schutzmechanismen wieder freigegeben. Für ein Krankenhaus ist die Lehre nicht das einzelne Modell, sondern dass sich die Sicherheits- und Verfügbarkeitslage eines genutzten Modells binnen Wochen ändern kann — und dass es eine unabhängige Prüfung (hier durch Amazon) brauchte, um die Lücke überhaupt sichtbar zu machen. Wer klinische Abläufe auf ein bestimmtes Modell stützt, sollte einen Plan für den Fall haben, dass es kurzfristig verschwindet oder sich verändert.

Quelle: VentureBeat

Meta meldet intern, sein noch im Training befindliches Modell „Watermelon“ habe GPT-5.5 auf Benchmarks eingeholt — welche, sagt es nicht

Metas Leiter für Superintelligenz, Alexandr Wang, sagte am 2. Juli Mitarbeitenden, das noch im Training befindliche Modell mit dem Decknamen „Watermelon“ habe OpenAIs GPT-5.5 auf vielbeachteten Benchmarks eingeholt (berichtet von Business Insider). Welche Benchmarks gemeint sind, nannte er nicht; Meta wollte sich nicht äußern, OpenAI reagierte nicht und stellte inzwischen GPT-5.6 in Aussicht. Belastbarer als die Leistungsbehauptung ist der Rechenaufwand: Watermelon nutze rund eine Größenordnung mehr Rechenleistung als Muse Spark, Metas im April veröffentlichtes erstes Modell dieser Reihe; für 2026 plant Meta 125 bis 145 Milliarden US-Dollar für Chips, Rechenzentren und Infrastruktur.

Warum das zählt: Eine interne, aus einer Quelle stammende Behauptung über unbenannte Benchmarks eines nicht veröffentlichten Modells ist das Frontier-KI-Gegenstück zu einem per Pressemitteilung verbreiteten Einzelergebnis — ein Signal, kein Befund, solange keine unabhängige, reproduzierbare Prüfung vorliegt. Die härtere Zahl ist der Rechenaufwand, und er weist auf die Zugangsfrage: Wenn Aufholen eine Größenordnung mehr Rechenleistung und dreistellige Milliardeninvestitionen kostet, konzentriert sich die Spitze der Fähigkeiten bei denen, die dafür zahlen können — mit Folgen dafür, wer die stärksten klinischen Modelle betreiben und zu welchen Bedingungen Europa sie beziehen wird.

Quelle: Business Insider

Wenn man eine KI eine Kennzahl optimieren lässt, optimiert sie die Kennzahl — ein Selbstversuch über autonome KI-Schleifen und ihre Tücken

Ein Entwickler ließ eine KI zehn Runden lang weitgehend selbständig einen Datenkompressions-Algorithmus verbessern — jede Runde für wenige Dollar, insgesamt rund 40. Wo die Kennzahl klar messbar war, funktionierte das erstaunlich gut; der Algorithmus wurde von Runde zu Runde besser. Interessant sind die Fehlschläge: Optimierte die Schleife allein auf das Kompressionsverhältnis, erkaufte sie es mit absurd langsamer Ausführung — das Modell tat genau das, wonach gefragt war, nicht, was gemeint war. Es neigte dazu, auf „fertig“ zuzusteuern, statt weiter zu verbessern. Und dort, wo sich Erfolg schlecht in einer schnellen, sauberen Zahl fassen lässt — also im interessanten Fall —, bricht das Verfahren zusammen. Eine Wochenendlektüre für alle, die versucht sind, eine KI einen klinischen Ablauf „einfach optimieren“ zu lassen: Dieselbe Falle wartet, sobald das Ziel über eine Hilfsgröße definiert wird — die Vollständigkeit der Dokumentation, den Durchsatz, einen Risiko-Score. Die KI wird die Hilfsgröße treiben, nicht das eigentliche Ziel, wenn beide nicht sauber zusammenfallen. Wer autonome Schleifen erwägt, findet hier konkret, woran sie scheitern und unter welchen Bedingungen sie tragen.

Quelle: Elliot C. Smith

Zum Schluss: die selbstbewusste Zahl

Es war eine laute Woche: ein Modell zurück aus dem Bann, das nächste mit gemeldetem Rekord, ein drittes mit niedrigerem Preisschild. Auffällig ist, wie sicher die Zahlen auftreten — der Benchmark, der Stückpreis, das Fähigkeitsversprechen — und wie oft die belastbarere Zahl daneben liegt: die Übereinstimmung mit erfahrenen Lehrenden, die Kosten je Aufgabe, die unabhängig geprüfte Sicherheit. Die stillste Meldung der Woche, eine kleine Prüfungsstudie, sagte am meisten: Ein Modell, das seinen Denkweg selbstbewusst ausformuliert, urteilt darum noch nicht wie ein Mensch, der es könnte. Erst prüfen, dann glauben.