Eine neue Version des RadLE-Benchmarks, kurz für „Radiology’s Last Exam“, untersucht die Fähigkeit von KI-Systemen in der Radiologie, zu erkennen, wann sie eine Diagnose menschlichen Experten überlassen sollten. Viele der getesteten Modelle liefern falsche Befunde mit voller Zuversicht, was sie für die Patientenversorgung potenziell gefährlich macht. Menschliche Radiologen sind den KI-Modellen in dieser Hinsicht noch deutlich voraus.
RadLE 2.0: Testsystem und Ergebnisse
RadLE 2.0 wurde vom CRASH Lab der Ashoka University in Indien entwickelt und ist die überarbeitete Fortsetzung einer ersten Testversion des Teams. Die neue Version bewertet nicht nur die Richtigkeit einer Diagnose, sondern auch das Vertrauen des Modells in seine Antwort sowie dessen Fähigkeit, Unsicherheit einzugestehen. Die KI-Modelle bewerten ihre Antworten auf einer Konfidenzskala von 0 bis 4 und dürfen ausdrücklich „Ich weiß es nicht“ angeben.
Der Test umfasste 200 Fälle und verglich 16 verschiedene KI-Modelle mit einem Gremium von Radiologen. Menschliche Experten erreichten 988,7 von möglichen 2.000 Punkten, während das beste KI-Modell 758 Punkte erzielte. Das Bewertungssystem belohnt Ehrlichkeit und bestraft übermäßige Zuversicht: Eine korrekte Antwort mit hoher Sicherheit bringt volle Punkte, eine falsche mit hoher Sicherheit führt zu Punktabzug. Eine „Ich weiß es nicht“-Antwort führt zu null Punkten, aber keinem Abzug. Modelle, die selbstbewusst raten, fallen in der Rangliste, auch wenn ihre Trefferquote auf den ersten Blick gut aussieht.
Modell-Leistungen und das Problem der Selbstüberschätzung
Es gab keinen Gesamtsieger im Test. Anthropic’s Claude Fable 5 zeigte die besten Leistungen bei zuverlässigen und sicheren Antworten und führte die primäre Metrik an. Google’s Gemini 3 Pro erreichte die höchste Rohgenauigkeit.
Meta’s Muse Spark 1.1 war am besten darin, zu erkennen, wann ein Fall an einen Menschen übergeben werden sollte. Meta hatte die „Halluzinationsrate“ (die Tendenz, falsche Informationen zu generieren) von Muse Spark 1.1 kürzlich fast halbiert, da das Modell häufiger die Antwort verweigerte, anstatt eine falsche zu geben. Andere führende Modelle zeigen einen gegenteiligen Trend; Grok 4.5 halluziniert beispielsweise signifikant mehr als sein Vorgänger, da es, obwohl es mehr weiß, auch stärker von seinen falschen Antworten überzeugt ist.
Laut dem Forschungsteam hätten mehrere Modelle deutlich besser abgeschnitten, wenn sie öfter geschwiegen hätten, anstatt zu raten. Dies war besonders bei Open-Weight-Modellen und solchen, die speziell für medizinische Zwecke trainiert wurden, auffällig. Diese versuchten, fast jeden Fall zu beantworten, lagen oft falsch und zeigten dabei meist hohe Zuversicht.
Fehlende Einschätzung der eigenen Grenzen
Eine frühere Version des Tests zeigte ein noch deutlicheres Bild: Radiologen erreichten eine Genauigkeit von 83 Prozent, während das beste Modell nur etwa 30 Prozent erreichte. Obwohl die Genauigkeit schnell wächst – Gemini 3 Pro übertraf innerhalb von drei Monaten das Niveau von Assistenzärzten – fehlt den Modellen weiterhin ein Gefühl für ihre eigenen Grenzen.
Das Forschungsteam kritisiert, dass Führungskräfte und Investoren die Fähigkeiten von KI-Modellen öffentlich übertreiben. Behauptungen, dass KI-Systeme bereits besser diagnostizieren als 99 Prozent der Ärzte, basieren meist auf Anekdoten oder Simulationen. Eine Studie vom April zeigte, dass 21 damals als „State-of-the-Art“ geltende Modelle nicht für den unbeaufsichtigten klinischen Einsatz bereit sind. Bevor eine KI eigenständig Entscheidungen trifft, muss sie wissen, wann es besser ist, dies nicht zu tun.
Risiken und historische Parallelen
Zwei andere aktuelle Studien zu autonomen medizinischen KI-Agenten, MIRA und AMIE, zeigten zwar, dass diese in simulierten Konsultationen mit Hausärzten mithalten konnten, was Erwartungen an eine baldige eigenständige Diagnosestellung schürte. Die Autoren des RadLE 2.0 widersprechen dem jedoch mit dem Hinweis auf die Notwendigkeit der Selbstbeschränkung der KI.
Hinzu kommt das Problem des Fähigkeitsverlusts: Eine polnische Beobachtungsstudie aus dem Jahr 2025 ergab, dass Ärzte, die regelmäßig KI bei Koloskopien einsetzen, ohne dieses Werkzeug signifikant weniger präkanzeröse Läsionen entdecken (Rückgang von 28,4 auf 22,4 Prozent). Die Autoren bezeichnen dies als den „Google Maps-Effekt“: Ohne die Navigationshilfe sind Nutzer verloren.
Die Radiologie erlebte bereits einen KI-Hype-Zyklus, als der KI-Forscher Geoffrey Hinton 2016 voraussagte, dass Deep Learning bald die Arbeit der Radiologen übernehmen würde. Knapp zehn Jahre später sind Radiologen immer noch überlastet, und Hinton musste seine Vorhersage zurücknehmen. Er hatte den Beruf auf die Bildanalyse reduziert und die Komplexität des gesamten Feldes übersehen. Die Tatsache, dass diese Systeme selbstbewusst falsche Diagnosen produzieren können, bedeutet, dass Menschen unverzichtbar bleiben.
Thema: X. Quelle/Inspiration: The Decoder.