Google hat sein Benchmark-Tool Android Bench aktualisiert, das die Leistung von Large Language Models (LLMs) bei der Android-App-Entwicklung bewertet. In den neu veröffentlichten Ergebnissen belegt Googles eigenes Modell Gemini 3.1 Pro den fünften Platz. An der Spitze der Rangliste steht Claude Fable 5 mit einer Genauigkeit von 84,5 Prozent.
Erweiterung des Benchmarks und neue Modelle
Der Android Bench, der im März eingeführt wurde, dient Entwicklern dazu, die besten KI-Agenten für eine Reihe von 100 Android-Entwicklungsaufgaben zu identifizieren. Mit dem aktuellen Update hat Google zusätzliche Metriken wie Kosten und Effizienz sowie weitere Open-Weight-Modelle integriert. Acht neue LLMs wurden in den Test aufgenommen, darunter:
- Claude Fable 5
- Claude Sonnet 5
- Claude Opus 4.8
- GLM 5.2
- Kimi K2.7 Code
- MiniMax M3
- Qwen 3.7 Plus
- Qwen 3.7 Max
Um die Relevanz des Benchmarks zu gewährleisten, werden Entwickler explizit dazu eingeladen, eigene Tests durchzuführen und Feedback einzureichen, um die zukünftige Ausrichtung von Android Bench mitzugestalten.
Leistung und Kosten der LLMs
In der aktualisierten Rangliste liegt Claude Fable 5 mit deutlichem Vorsprung an erster Stelle. Es folgen GPT 5.4 und Claude Sonnet 5, bevor Gemini 3.1 Pro auf dem fünften Platz erscheint. Während Fable 5 und GPT 5.5 eine hohe Leistung zeigen, fallen für die Durchführung des 100-Problem-Benchmarks mit 10 Durchläufen Betriebskosten von über 130 US-Dollar an.
Im Vergleich dazu ist Gemini 3.1 Pro mit Kosten von 87 US-Dollar deutlich günstiger, erreicht jedoch nicht die gleiche Genauigkeit. Gemini 3.5 Flash, das eigentlich für niedrigere Betriebskosten konzipiert wurde, weist mit 165 US-Dollar pro Durchlauf die höchsten Kosten auf der Rangliste auf, da die Bearbeitung des Benchmarks 28 Stunden in Anspruch nahm.
Googles Strategie und Entwicklerbeteiligung
Die Leistungsdefizite von Googles eigenen Modellen im Android-Coding-Benchmark stellen für das Unternehmen eine Herausforderung dar, da Google viele Projekte auf die agentenbasierte Entwicklung (Entwicklung durch autonome Softwareagenten) ausrichtet. Es wird berichtet, dass Google Anwendungs-Quellcode von Entwicklern kauft, um seine KI-Modelle zu trainieren, was darauf hindeutet, dass das Unternehmen die Nutzung eigener Tools im Entwickler-Workflow fördern möchte.
Für eine einfachere Beteiligung der Entwickler wechselt Google zum Harbor-Framework. Dieses Test-Sandbox soll es Entwicklern erleichtern, Ergebnisse für Android Bench auszuführen, zu bewerten und zu teilen. Alle vorherigen Tests wurden mit Harbor neu durchgeführt, um eine neue Basis für die LLM-Leistung zu schaffen. Historische Daten bleiben in einem Archiv online verfügbar. Das Android Bench GitHub-Repository wurde mit neuen Datensätzen und Anweisungen für die Beteiligung aktualisiert.
Thema: Gemini. Quelle/Inspiration: Ars Technica.