Ein Professor für Statistik der University of Pennsylvania hat mit dem KI-Modell GPT-5.6 Sol Pro von OpenAI eine 30 Jahre alte unbewiesene Vermutung im Bereich der Statistik widerlegt. Edgar Dobriban, Professor an der Wharton School der Universität, benötigte für die Lösung einer zentralen offenen Frage zur Benjamini-Hochberg-Methode (BH) etwa 90 Minuten. Das Vorgängermodell, GPT-5.5, konnte selbst nach 20 Stunden keine Lösung finden.
Die Benjamini-Hochberg-Methode und die ungelöste Frage
Die Benjamini-Hochberg-Methode wurde 1995 von den Statistikern Yoav Benjamini und Yosef Hochberg entwickelt. Sie dient dazu, die Fehlerrate bei der gleichzeitigen Prüfung Tausender Hypothesen zu kontrollieren. Dies ist relevant, wenn beispielsweise das menschliche Genom nach krankheitsbezogenen Genen durchsucht wird, da mit zunehmender Anzahl von Tests auch die Rate falsch-positiver Ergebnisse steigt. Die Methode kontrolliert die sogenannte False Discovery Rate (FDR), den Anteil der als signifikant gemeldeten Ergebnisse, die tatsächlich Fehlalarme sind.
Die BH-Prozedur ist heute in der modernen Statistik und vielen wissenschaftlichen Bereichen weit verbreitet; die ursprüngliche Veröffentlichung wurde über 130.000 Mal zitiert. Benjamini und Hochberg zeigten ursprünglich, dass ihre Methode bei unabhängigen Daten funktioniert. In der Praxis sind Datenpunkte jedoch oft miteinander korreliert, wie etwa genetische Varianten, die häufig zusammen vererbt werden. Seit Jahren wurde angenommen, dass die BH-Methode auch bei korrelierten, normalverteilten Daten zuverlässig funktioniert, insbesondere beim Testen auf Abweichungen in beide Richtungen. Ein Beweis dafür fehlte jedoch.
Künstliche Intelligenz liefert den Beweis
Professor Dobriban hat diese Annahme nun mithilfe von GPT-5.6 Sol Pro widerlegt. In seinem Preprint beschreibt er, wie die KI ein statistisches Modell konstruierte, bei dem die tatsächliche False Discovery Rate nachweislich über dem Zielwert liegt. Simulationen bestätigen dieses Ergebnis. Dobriban hat den begleitenden Code ebenfalls veröffentlicht.
Der Professor merkt an, dass die Abweichung vom Zielwert „relativ klein“ ist (0,104 gegenüber 0,1), sodass das Ergebnis vorerst hauptsächlich theoretische Bedeutung hat. Die praktischen Auswirkungen müssen noch genauer untersucht werden, und der Befund bedeutet nicht, dass die BH-Methode generell unbrauchbar ist.
Fortschritt der KI-Fähigkeiten und offene Fragen
Das Ergebnis ist für Statistiker dennoch bedeutsam, da eine Künstliche Intelligenz ein Problem schnell lösen konnte, an dem menschliche Experten seit langem scheiterten. Dobriban hebt hervor, dass GPT-5.6 Sol Pro etwa 90 Minuten benötigte, während GPT-5.5 selbst nach 20 Stunden und dem Einsatz mehrerer Agenten keine Lösung fand. Er bezeichnet dies als eine „sehr reale Verbesserung der Fähigkeiten“.
Will Fithian, ein Statistiker aus Berkeley, nannte die widerlegte Vermutung „das interessanteste offene Problem in meinem Statistikbereich“ und das Ergebnis „ein weiteres Zeichen fortschreitender KI-Fähigkeiten, deren Konsequenzen weit über die Mathematik hinausreichen werden.“ Er reflektierte auch über die Auswirkungen solcher Ergebnisse auf die menschliche Arbeit: „Ich kann nicht anders, als den vergangenen Tagen nachzutrauern, in denen ein wichtiges Ergebnis immer einen Kollegen zum Feiern, eine menschliche Einsicht zum Bewundern, eine menschliche Leistung zur Inspiration bedeutete.“
Ähnlich wie bei anderen mathematischen Anwendungen scheint die Lösung bekannte Ansätze auf ungewöhnliche Weise zu kombinieren, anstatt etwas völlig Neues zu erschaffen. Dies wirft die grundlegende Frage auf, ob auf menschlichen Daten trainierte Modelle tatsächlich neues Wissen generieren oder lediglich Gelerntes rekombinieren können. Auch wenn es nur Rekombination ist, erweisen sich diese Systeme bereits als nützliche Werkzeuge in menschlichen Arbeitsprozessen, wofür Dobribans Ergebnis ein weiteres Beispiel darstellt.
Thema: OpenAI. Quelle/Inspiration: The Decoder.