Irene Solaiman, Chief Policy Officer bei Hugging Face, hat kürzlich auf der TechCrunch Disrupt erhebliche Bedenken hinsichtlich der aktuellen Methoden zur Evaluierung von Künstlicher Intelligenz geäußert. Sie betonte, dass die zugrunde liegenden Prüfverfahren komplex und noch in der Entwicklung begriffen sind. Um zukünftig verlässliche Ergebnisse zu gewährleisten, sei eine konsistentere wissenschaftliche Basis unerlässlich.
Die Branche setzt stark auf das sogenannte Modell-Benchmarking, also standardisierte Tests zur Leistungsbewertung von KI-Produkten. Angesichts einer Zunahme von Sicherheitsvorfällen, die Bedenken hinsichtlich potenzieller Schäden durch KI-Technologie ausgelöst haben, wurde in den letzten Monaten auch die Idee von „Embedded Evaluators“ populär. Dabei handelt es sich um angeblich neutrale Drittbeobachter, die direkt in KI-Organisationen platziert werden sollen.
Herausforderungen bei Reproduzierbarkeit und Vergleichbarkeit
Ein zentraler Kritikpunkt Solaimans ist die Reproduzierbarkeit von Evaluationsergebnissen. „Vertrauen ist ein gewichtiger Begriff“, so Solaiman. „Ein großer Teil davon, ob wir Ergebnissen vertrauen können, ist, ob man die Ergebnisse einer Evaluierung reproduzieren kann. Hat man den nötigen Zugang zum Modell selbst – hier spielen offene Gewichte (Open Weights) eine große Rolle.“ Die Reproduzierbarkeit bleibt ein strittiger Punkt in der Branche.
Zudem sei es schwierig, verschiedene Tests miteinander zu vergleichen, da sie sich in einem „sich entwickelnden Wissenschaftszweig“ befänden. Solaiman wies darauf hin, dass Evaluierungen relativ schnell an Effektivität verlieren und es an einem ausreichend robusten Ökosystem mangelt. Obwohl derzeit ein großer Bedarf an einem Ökosystem für Embedded Evaluators bestehe, fehle es an einer Standardisierung der Qualifikationen, die einen effektiven Evaluator für verschiedene Aufgaben definieren.
Zweifel an der Wirksamkeit externer Prüfer
KI-Labore haben sich für Drittanbieterlösungen zur Identifizierung und Minderung von Sicherheitsbedenken ausgesprochen, anstatt auf aktive staatliche Regulierung zu warten. Doch es bestehen weiterhin Zweifel an der Neutralität und Effektivität dieser externen Prüfer. Die Entscheidung von Anthropic, Accenture als ersten Evaluator einzustellen, stieß beispielsweise auf Kritik, wobei manche Beobachter die Qualifikation des Beratungsunternehmens für diese Aufgabe infrage stellten.
Vom Modell zum Gesamtsystem: Eine erweiterte Sichtweise
Die Evaluierung verschiebt sich zunehmend von der reinen Prüfung des KI-Modells selbst hin zur Bewertung des gesamten Systems, das das Modell umgibt. Dazu gehören die „Harness“ – die Schnittstelle oder das Tool, über das Nutzer auf ein Modell zugreifen – und der „Agent“. Solaiman erklärte, dass die Harness einen erheblichen Einfluss auf die Leistung eines Modells haben kann. Ein schwächeres Modell mit einer überlegenen Harness könnte demnach ein „Frontier Model“, also ein führendes KI-Modell, übertreffen.
„Agentic Evals“, also die Evaluierung von Agenten, sind laut Solaiman sehr aufwendig und kostspielig. Es gebe zwar viele Evaluierungen für Modelle, aber weniger für Harnesses. Die Entwicklung besserer Evaluierungen für den ganzheitlichen Agenten sei entscheidend, da Nutzer oft aus diesem Gesamtsystem den größten Wert ziehen.
Angesichts dieser Herausforderungen ist der Bereich der KI-Evaluierung derzeit fragmentiert. Um Benchmarking weiterhin als nützliches Werkzeug für Branchenführer zu etablieren, scheint ein einheitlicher, branchenweiter Ansatz, bei dem alle Akteure auf dem gleichen Stand sind, unerlässlich zu sein.
Thema: Hugging Face. Quelle/Inspiration: TechCrunch.