Ein Tech-Journalist hat eine umfassende Untersuchung des Potenzials von Künstlicher Intelligenz (KI) auf lokaler Hardware begonnen, um Bedenken hinsichtlich des Datenschutzes bei cloudbasierten Diensten zu umgehen. Ziel ist es, herauszufinden, ob die Investition in leistungsstarke Computer für den Betrieb von KI-Modellen lohnenswert ist, insbesondere angesichts der Möglichkeit, persönliche Daten nicht an externe Dienste übermitteln zu müssen.
Warum lokale KI?
Die Hauptmotivation für den Umstieg auf lokale KI-Anwendungen ist der Schutz persönlicher Daten. Während viele leistungsstarke KI-Tools über Cloud-Dienste angeboten werden, ermöglicht der Betrieb von KI-Modellen direkt auf dem eigenen Computer eine Kontrolle über sensible Informationen. Diese Entwicklung wird von Hardware-Herstellern wie Apple unterstützt, die ihre neuen Mac-Desktops für lokale KI optimieren. Auch eine Reihe neuer Windows-Computer, sogenannte RTX Spark-Maschinen, werden mit bis zu 128 GB RAM auf den Markt kommen, um den Anforderungen agentischer KI gerecht zu werden. Agentische KI-Systeme können selbstständig Aufgaben ausführen und mit anderen Systemen interagieren.
Erste Schritte und Herausforderungen
Für seine Tests nutzte der Journalist einen M5 Ultra Mac Studio mit 256 GB Unified Memory, der das Ausführen nahezu jedes Modells erlaubt. Als erste Software installierte er den Hermes Agent, eine kostenlose, selbst gehostete KI-Agenten-Desktop-Anwendung, die auf macOS, Windows und Linux läuft. Für den Start wählte er das Qwen 3.8 Flash Next Modell, ein großes Sprachmodell (LLM) mit 125 Milliarden Parametern und einer Größe von etwa 105 GB. Die schiere Anzahl verfügbarer Modelle stellte dabei eine erste Herausforderung dar. Kleinere Qwen-Modelle sollen später auf Geräten wie einem M6 Mac Mini, M5 MacBook Air oder einem Asus TUF Gaming A14 getestet werden.
Die Einrichtung von Hermes und Qwen verlief schnell, und die Steuerung über einen Telegram-Bot vom Smartphone aus war ebenfalls möglich. Eine anfängliche Hürde war jedoch die Formulierung der korrekten Anweisungen für die KI, die sogenannte Prompt-Erstellung.
Praktische Anwendungen und Datenschutz
Der Journalist testete verschiedene Anwendungsfälle:
- Tägliche Morgenübersicht: Ein einfacher Cron-Job wurde eingerichtet, um E-Mails und Kalender zu scannen und einen Wetterbericht zu erstellen. Anfänglich scheiterte dies, wenn macOS im Ruhezustand war, funktioniert aber nun zuverlässig.
- Steam-Bibliothek reorganisieren: Eine nützlichere Aufgabe war die automatische Kategorisierung von über 400 Spielen in der Steam-Bibliothek. Nach der Registrierung eines Steam Web API-Schlüssels, der nach der Nutzung widerrufen wurde, sortierte Hermes die Spiele innerhalb weniger Minuten nach Genres, wobei persönliche Kategorien erhalten blieben.
- Datenanalyse: Finanzunterlagen wurden analysiert und eine Vergleichstabelle für Laptops erstellt. Diese Aufgaben wurden bewusst lokal ausgeführt, da die sensiblen Daten oder Informationen (im Falle des Laptops unter Embargo) nicht in Cloud-Dienste hochgeladen werden sollten.
- Benchmark-Automatisierung: Aktuell arbeitet der Journalist daran, ein Skript zu entwickeln, das eine Reihe von Laptop-Benchmark-Tests automatisiert. Dies soll den zeitaufwendigen manuellen Prozess des dreimaligen Durchführens zahlreicher Tests vereinfachen.
Die frühen Erfahrungen zeigen, dass lokale KI-Agenten das Potenzial haben, zeitaufwendige Aufgaben zu übernehmen und dabei den Datenschutz zu gewährleisten, insbesondere bei der Verarbeitung sensibler Daten, die nicht in die Cloud gelangen sollen.
Thema: Apple. Quelle/Inspiration: The Verge.