Das KI-Labor PrismML, gegründet von Caltech-Forschern und beraten von Ion Stoica von der UC Berkeley, hat eine angepasste Version seiner kompakten Sprachmodelle für Smart Glasses entwickelt, die auf Qualcomm Snapdragon Chips basieren. Qualcomm präsentierte kürzlich auf seinem Snapdragon Summit das sogenannte 1-Bit Bonsai LLM von PrismML, welches direkt auf KI-Smart-Glasses läuft, die mit der Snapdragon AR1 Gen 1 Plattform ausgestattet sind.
Technologie und Funktionsweise
PrismML ist bekannt dafür, dass es größere KI-Modelle erheblich verkleinern kann – in diesem Fall um das Vierfache –, während die Leistung auf gängigen Benchmarks nahezu vollständig erhalten bleibt. Die für Smart Glasses optimierte Version ist ein Modell mit 2 Milliarden Parametern, das speziell für die Verarbeitung von Bild- und Sprachdaten trainiert wurde. Dies ermöglicht es den Trägern der Brille, in Echtzeit Fragen zu dem zu stellen, was sie gerade sehen.
Ein LLM (Large Language Model) ist ein großes Sprachmodell, das auf riesigen Textmengen trainiert wurde, um menschenähnliche Texte zu verstehen und zu generieren. Parameter sind die variablen Komponenten eines neuronalen Netzes, die während des Trainings angepasst werden und die Komplexität und Leistungsfähigkeit des Modells bestimmen.
Die Vision von PrismML
Das übergeordnete Ziel von PrismML ist die Förderung von Open-Weight AI. Dabei handelt es sich um KI-Modelle, deren Gewichte (die gelernten Parameter) öffentlich zugänglich sind, ähnlich wie bei Open-Source-Software, jedoch mit Fokus auf die Modellgewichte selbst. Diese Modelle sollen direkt auf Endgeräten laufen und die dort vorhandene Rechenleistung effizienter nutzen. PrismML positioniert dies als Alternative zur Abhängigkeit von den Datenschutzversprechen proprietärer KI-Labore und deren hohem Bedarf an Rechenkapazitäten.
Die Veröffentlichung eines Modells für Qualcomms Chips stellt einen wichtigen Schritt in Richtung dieser Vision dar. Bislang wurden jedoch noch keine Smart Glasses angekündigt, die mit der PrismML-Technologie ausgestattet sind.
Thema: Qualcomm. Quelle/Inspiration: TechCrunch.