PrismML hat ein 27-Milliarden-Parameter-KI-Modell namens Bonsai 27B auf unter 4 Gigabyte (GB) komprimiert, wodurch es direkt auf einem iPhone ausgeführt werden kann. Das Unternehmen gibt an, dass die kleinste Version des Modells 90 Prozent der ursprünglichen Leistung beibehält, wobei mathematische und Programmierleistungen kaum beeinträchtigt werden. Berichten zufolge testet Apple diese Kompressionstechnologie bereits.
Technologie und Kompression
Das von Caltech-Forschern gegründete Unternehmen PrismML entwickelte Bonsai 27B auf Basis von Alibabas Qwen3.6-27B. Es unterstützt mehrstufiges Schlussfolgern, Werkzeugnutzung, Bildverständnis und agentenbasierte Aufgaben. Ein Modell dieser Größenordnung würde normalerweise etwa 54 GB Speicherplatz beanspruchen oder 18 GB mit Standardkompression. PrismMLs Technologie reduziert die Größe auf lediglich 3,9 GB für die kleinste Variante. Dies wird erreicht, indem jeder neuronale Netzwerkgewicht statt mit 16 Bit mit nur einem oder knapp zwei Bit gespeichert wird.
Vorteile der lokalen Ausführung
PrismML betont die Notwendigkeit leistungsstarker KI-Modelle, die lokal auf Geräten laufen. Dies senkt die Grenzkosten für sequentielle Modellaufrufe auf null und hält Nutzerdaten lokal. Vorteile sind immer aktive Agenten, Offline-Assistenten und Hybridsysteme, bei denen einfache, datenschutzsensible Aufgaben auf dem Gerät bleiben und nur komplexe Anfragen an Cloud-Modelle gesendet werden. Dies vermeidet auch Netzwerklatenz und Kosten pro Token, die bei Cloud-Lösungen anfallen, und schützt private Daten wie Bildschirm- oder Dokumenteninhalte.
Leistungsdetails und Benchmarks
In eigenen Benchmarks über 15 Tests zeigt die größere, qualitätsorientierte Variante von Bonsai 27B (ca. 5,9 GB) 95 Prozent der ursprünglichen Modellleistung. Die kleinere 3,9-GB-Variante erreicht 90 Prozent, wobei mathematische und Programmierleistungen „praktisch unbeeinflusst“ blieben. Die aggressiver komprimierte Bonsai-Variante mit 3,9 GB erzielte in einem Vergleichstest 76,1 Punkte, während ein konventionell komprimiertes Qwen3.6-27B-Modell mit 9,4 GB nur 72,7 Punkte erreichte.
- Auf einem iPhone 17 Pro Max generiert die kleinere Variante etwa 11 Tokens pro Sekunde.
- Ein Akkutest ergab circa 672 generierte Tokens pro Prozentpunkt Akkuladung, was hochgerechnet etwa 67.000 Tokens bei voller Ladung entspricht.
- Das Gerät drosselte die Leistung nach etwas mehr als fünf Minuten.
Apples Interesse an der Technologie
Einem CNBC-Bericht zufolge führt PrismML bereits Gespräche mit Apple über die Kompressionstechnologie. Babak Hassibi, CEO von PrismML, bestätigte, dass Apple und andere Unternehmen die Modelle hinsichtlich Geschwindigkeit, Stromverbrauch und Leistung testen. Die Gespräche seien noch „sehr früh“, aber „entwickeln sich gut“. Diese Technologie könnte Apple helfen, den Rückstand bei der On-Device-KI aufzuholen, da Apples eigene Modelle bisher in Benchmarks zurücklagen und das leistungsstärkste On-Device-Modell des Unternehmens bereits 12 GB RAM erfordert, während komplexe Anfragen in der Cloud verarbeitet werden.
Verfügbarkeit und Zukunftspläne
Die Modellgewichte von Bonsai 27B sind unter der Apache 2.0-Lizenz verfügbar und laufen auf Apple-Geräten über das MLX-Framework sowie auf NVIDIA GPUs. PrismML bietet zudem eine zeitlich begrenzte, kostenlose Developer Preview API und eine Live-Demo auf HuggingFace an. Das Unternehmen, unterstützt von Investoren wie Khosla Ventures, Cerberus, Google und Samsung, plant, seine Kompressionstechnologie als Nächstes auf Googles Gemma-Modellreihe anzuwenden.
Thema: Apple. Quelle/Inspiration: The Decoder.