Der Anthropic-Entwickler Thariq Shihipar argumentiert, dass mit dem neuesten Modell von Claude, Fable 5, der Engpass nicht mehr das Modell selbst ist, sondern die „blinden Flecken“ der Nutzer. Er beschreibt Techniken, die Programmierer anwenden können, um unbewusste Wissenslücken systematisch aufzudecken, bevor sie die Implementierung an Claude übergeben.
Die Herausforderung: Eigene Wissenslücken
Shihipar zufolge ist Fable 5 das erste Modell, bei dem die Ausgabequalität durch die Fähigkeit des Nutzers begrenzt wird, seine „Unbekannten“ zu klären. Er unterscheidet dabei vier Kategorien:
- „Known Knowns“: Was bereits im Prompt steht.
- „Known Unknowns“: Fragen, von denen man weiß, dass man sie noch nicht geklärt hat.
- „Unknown Knowns“: Wissen, das so offensichtlich ist, dass man es nie aufschreiben würde, aber beim Sehen erkennen würde.
- „Unknown Unknowns“: Dinge, die man überhaupt nicht bedacht hat. Diese letzte Kategorie ist laut Shihipar die entscheidende.
Bloße Vorausplanung reicht nicht aus, da Unbekannte tief in der Implementierung auftauchen oder signalisieren können, dass das Problem anders gelöst werden sollte. Eine zu hohe Spezifität kann dazu führen, dass Fable 5 Anweisungen starr befolgt, selbst wenn ein Kurswechsel sinnvoller wäre. Zu viel Vagheit hingegen führt zu Entscheidungen, die auf Industriestandards basieren und nicht zur spezifischen Aufgabe passen.
Claude kann Nutzern jedoch helfen, ihre eigenen Unbekannten schneller zu entdecken, indem es Codebasen und das Internet durchsucht. Der Schlüssel liegt darin, Claude Kontext zum eigenen Ausgangspunkt und zur Erfahrung mit dem Problem zu geben.
Techniken vor der Implementierung
Shihipar beschreibt mehrere Techniken für die Phase vor der eigentlichen Implementierung:
- „Blindspot Pass“: Hierbei wird Claude gebeten, „Unknown Unknowns“ zu identifizieren. Dies ist besonders nützlich in unbekannten Teilen einer Codebasis. Ein Beispiel-Prompt könnte lauten: „Ich arbeite an einem neuen Authentifizierungsanbieter, weiß aber nichts über die Authentifizierungsmodule in dieser Codebasis. Können Sie einen Blindspot Pass durchführen, um mir zu helfen, meine relevanten Unknown Unknowns herauszufinden und Sie besser zu prompten?“
- Brainstorming und Prototyping: Für Bereiche mit vielen „Unknown Knowns“, wie visuelles Design, empfiehlt Shihipar, Claude mehrere radikal unterschiedliche Designrichtungen als HTML-Artefakte generieren zu lassen, um darauf reagieren zu können.
- Strukturierte Interviews: Claude stellt dem Nutzer Frage für Frage zu Unklarheiten, wobei Fragen priorisiert werden, deren Antworten die Architektur ändern würden.
- Referenzen: Quellcode ist die beste Referenz, auch wenn er in einer anderen Programmiersprache geschrieben ist. Claude Design liest beispielsweise den zugrunde liegenden Code einer Website, nicht nur einen Screenshot.
Vor Arbeitsbeginn lässt Shihipar Claude einen Implementierungsplan erstellen, der sich auf die wahrscheinlichsten Änderungsbereiche konzentriert, wie Datenmodelle, Typ-Schnittstellen und alles auf der Benutzerseite. Mechanisches Refactoring kommt zuletzt.
Umgang mit Unbekanntem während und nach der Arbeit
Auch während der Implementierung können Unbekannte auftauchen. Shihipar lässt Claude Code eine temporäre „implementation-notes.md“-Datei führen, in der getroffene Entscheidungen festgehalten werden. Bei unerwarteten Randfällen soll Claude die konservative Option wählen, die Abweichung protokollieren und weiterarbeiten.
Nach der Implementierung empfiehlt Shihipar zwei Techniken:
- „Pitches and Explainers“: Zusammenfassende Dokumente für Stakeholder, die Prototyp, Spezifikationen und Implementierungsnotizen bündeln.
- „Quizzes“: Claude generiert einen HTML-Bericht mit den vorgenommenen Änderungen, Kontext und Erkenntnissen, gefolgt von einem Quiz. Shihipar führt erst dann eine Zusammenführung durch, wenn er das Quiz fehlerfrei bestanden hat.
Praxisbeispiel: Videobearbeitung mit Claude Code
Shihipar demonstriert die Techniken am Beispiel des Launch-Videos für Fable, das er vollständig mit Claude Code bearbeitete, obwohl Videobearbeitung für ihn Neuland war. Zunächst ließ er sich die Transkription mit Whisper und das präzise Schneiden von Füllwörtern und Pausen mittels ffmpeg erklären. Für das zeitgesteuerte Einblenden von UI-Elementen erstellte er einen Prototyp mit Remotion.
Als das Ergebnis farblich flach wirkte, versuchte er zuerst, Claude verschiedene Farbkorrektur-Variationen generieren zu lassen. Er erkannte jedoch, dass er nicht wusste, wie „gut“ in Bezug auf Farbkorrektur aussieht. Statt Variationen blind zu bewerten, ließ er sich von Claude das Thema beibringen, um seine eigenen Unbekannten aufzudecken.
Shihipar fasst zusammen, dass man mit dem richtigen Ansatz umso mehr erreichen kann, je leistungsfähiger die Modelle werden. Eine frühzeitige Entdeckung von Unbekannten durch Erklärungen, Brainstormings, Interviews, Prototypen und Referenzen sei eine kostengünstige Methode, teure Korrekturen später zu vermeiden.
Thema: Anthropic. Quelle/Inspiration: The Decoder.