In der Welt der Künstlichen Intelligenz für die Softwareentwicklung rücken sogenannte „Harnesses“ zunehmend in den Fokus. Diese Software-Schichten steuern, wie KI-Modelle im Entwicklungsprozess eingesetzt werden, indem sie bestimmen, welche Informationen die Modelle erhalten, welche Aktionen sie ausführen können und wie sie mit der Codebasis interagieren. Aktuell zeichnen sich zwei unterschiedliche Philosophien im Design dieser Systeme ab, vertreten durch Anthropic mit seinem Claude Code und Augment Code.
Was sind KI-Code-Harnesses?
Ein Harness ist die Software, die um ein oder mehrere KI-Modelle herum entwickelt wird. Es fungiert als Vermittler zwischen dem KI-Modell und dem eigentlichen Entwicklungsprojekt des Programmierers. Die Hauptaufgabe eines Harness besteht darin, den Zugriff der Modelle auf die Codebasis zu managen und die Interaktion der KI-Agenten in automatisierten Arbeitsabläufen zu definieren.
Anthropic setzt auf schlanke Systeme
Cat Wu, Head of Product für Claude Code bei Anthropic, vertritt die Ansicht, dass sich KI-Modelle so schnell weiterentwickeln, dass vorausschauende Planung oder das Bauen von zu spezifischen, einschränkenden Funktionen wenig sinnvoll ist. Das Claude Code-Team bevorzugt daher einen „schlanken Harness“-Ansatz. Dieser vermeidet es standardmäßig, eine strukturierte Kontexterstellung um eine Codebasis herum vorzunehmen. Laut Wu zeigen Auswertungen keine messbaren Verbesserungen durch solche Ansätze. Stattdessen vertraut man darauf, dass Entwickler bei Bedarf eigene Tools hinzufügen können. Claude Code nutzt hierbei eine „grep-basierte“ Methode zur Kontextfindung, die auf einfacher Textsuche basiert.
Augment Code favorisiert semantischen Kontext
Einen deutlich anderen Weg geht Augment Code. Vinay Perneti, VP of Engineering bei Augment Code, erläuterte den Ansatz seines Unternehmens. Augment Code indiziert das Repository vorab, indem es Embeddings (numerische Darstellungen von Codefragmenten) nutzt, kombiniert mit einem Abrufmodell und einer Vektordatenbank. Dies ermöglicht das Abrufen von konzeptuell relevantem Code – eine sogenannte „semantische Abfrage“.
Vorteile kontextreicher Systeme
Perneti hebt hervor, dass der semantische Ansatz von Augment Code besonders in großen, privaten Codebasen Vorteile bietet. Im Gegensatz zu öffentlichen Open-Source-Repositories, die von großen Modellen oft auswendig gelernt wurden, haben KI-Modelle private Codebasen noch nie gesehen. Hier führt ein semantisches Verständnis des gesamten Repositories zu deutlich schnelleren Ergebnissen. Augment Code konnte zudem in Benchmarks wie Terminal-Bench eine um 33 Prozent höhere Token-Effizienz als Claude Code bei gleicher Genauigkeit feststellen, was auf eine bessere Nutzung des begrenzten „Kontextfensters“ (der Informationsumfang, den ein KI-Agent gleichzeitig verarbeiten kann) hindeutet.
Die unterschiedlichen Ergebnisse bei den Auswertungen erklärt Perneti mit der Qualität der Implementierung: Nicht alle Abrufsysteme seien gleich. Augment Code hat seit seiner Gründung im Jahr 2022, also vor der Veröffentlichung von ChatGPT, 18 Monate in die Forschung zu Abruf- und Embedding-Modellen speziell für große Codebasen investiert. Diese Expertise sei entscheidend für die Qualität der Ergebnisse des Kontext-Engines.
Entwicklungsphilosophien im Vergleich
Während Anthropic die rasche Entwicklung der Modelle als Argument für einen schlanken Harness anführt, erkennt Perneti zwar die Wahrheit dieser Aussage an, betont aber die Notwendigkeit, dies aus verschiedenen Perspektiven zu betrachten. Die tiefe Forschung in die Grundlagen von Abruf- und Embedding-Modellen bei Augment Code bildet für ihn eine solide Basis, die trotz schneller Modellverbesserungen Bestand hat.
Thema: Technologie / KI allgemein. Quelle/Inspiration: Ars Technica.