Ein Feldexperiment mit 1.559 pakistanischen Richtern hat gezeigt, dass der KI-Assistent JudgeGPT die Fallbearbeitung um 6,3 Prozent steigern konnte. Diese Produktivitätssteigerung war jedoch nur bei Richtern zu beobachten, die eine gezielte Schulung im Umgang mit dem System erhielten. Die Forscher schätzen, dass sich für jeden investierten Dollar ein Ertrag von bis zu 38,50 Dollar ergab.
Pakistan hat weniger als zwei Richter pro 100.000 Einwohner, verglichen mit 22 in der EU und 30 in England und Wales. Ende 2024 waren 2,26 Millionen Fälle anhängig, davon 82 Prozent vor erstinstanzlichen Gerichten. Richter arbeiten dort mit minimaler technischer Ausstattung und ohne Hilfspersonal. Vor dem Experiment hatten nur etwa 25 Prozent von ihnen jemals ein großes Sprachmodell (LLM) wie ChatGPT genutzt.
Das Experiment und JudgeGPT
Forscher der ETH Zürich, des Imperial College London und der New Economic School führten ein groß angelegtes Feldexperiment mit Pakistans Justiz durch. 1.559 Richter aus 118 Gerichten nahmen teil, was etwa der Hälfte aller pakistanischen Richter erster Instanz entspricht.
Das verwendete Werkzeug war JudgeGPT, ein auf OpenAI’s GPT-4 basierender KI-Assistent, speziell für pakistanische erstinstanzliche Gerichte entwickelt. JudgeGPT nutzt die sogenannte „Retrieval Augmented Generation“ (RAG), eine Methode, bei der das KI-System eine Datenbank durchsucht, um relevante Informationen zu finden, bevor es eine Antwort generiert. Die Datenbank umfasste 129.235 Dokumente, darunter 128.292 Gerichtsurteile und 943 pakistanische Gesetze. Bei einer Anfrage wählt JudgeGPT die zehn relevantesten Passagen aus und erstellt eine zitierte Antwort.
Training ist entscheidend
Die Richter wurden in drei Gruppen unterteilt. Die erste Gruppe erhielt Zugang zu JudgeGPT und eine gezielte Schulung: sechs 90-minütige Vorlesungen über drei Wochen, gehalten von ETH-Professor Elliott Ash nach den Gerichtszeiten. Die Richter lernten, welche Aufgaben für das Tool geeignet waren, wo es an seine Grenzen stieß und wie die Ausgabe zu überprüfen war.
Eine zweite Gruppe erhielt ebenfalls Zugang zur KI, aber nur ein allgemeines Seminar über Technologie und Recht. Die Kontrollgruppe nahm nur an diesem allgemeinen Seminar teil und hatte keinen Zugang zu JudgeGPT.
Alleiniger KI-Zugang zeigte kaum Wirkung. Richter mit gezielter Schulung nutzten JudgeGPT viermal so häufig wie die der Gruppe mit dem allgemeinen Seminar. Nach 40 Wochen verzeichneten geschulte Richter durchschnittlich fast 60 Anmeldungen und über 200 Prompts, während die Vergleichsgruppe nur etwa 20 Anmeldungen und weniger als 50 Prompts erreichte.
Positive Auswirkungen auf Produktivität und Qualität
In Bezirken mit mehr geschulten Richtern wurden mehr Fälle gelöst. Bei mittlerer Nutzung führte dies zu etwa 1.848 zusätzlichen Fällen pro Jahr und Bezirk, was einer Steigerung von 6,3 Prozent entspricht. Selbst Bezirke im unteren Viertel klärten noch etwa 616 Fälle mehr. Die Qualität der Urteile blieb gleich oder verbesserte sich. Die Berufungsquote pro 1.000 gelösten Fälle sank leicht, und die Richter arbeiteten die gleiche Anzahl von Stunden ohne Veränderung der Work-Life-Balance.
Eine Überprüfung von rund 4.000 Gerichtsurteilen zeigte erwartungsgemäß mehr von der KI markierten Text. Lesbarkeit, Länge und Anzahl der rechtlichen Argumente blieben jedoch konstant. Eine LLM-basierte Qualitätsprüfung, validiert von zwei pakistanischen Anwälten, zeigte eine leichte Verbesserung. Urteile von geschulten Richtern wurden in 59 Prozent der paarweisen Vergleiche als besser bewertet, gegenüber 42 Prozent in der Kontrollgruppe. Die Studie fand keine Hinweise darauf, dass die KI-Nutzung geschlechts- oder religionsbezogene Vorurteile in der Gerichtssprache verstärkte.
Anwendungsszenarien und Fazit
Die Forscher analysierten anonymisierte Chat-Protokolle von etwa 1.500 Richtern. Rechtsrecherchen, Textbearbeitung und Textgenerierung waren die häufigsten Aufgaben. Etwa 60 Prozent der Anfragen betrafen Informationen zu Gesetzen, Verfahren oder Rechtskonzepten.
Geschulte Richter nutzten JudgeGPT häufiger für das Bearbeiten und Zusammenfassen von Texten – Aufgaben, bei denen Sprachmodelle zuverlässiger sind. Sie stellten weniger allgemeine Rechtsfragen, bei denen das Risiko von „Halluzinationen“ (Fehlinformationen oder erfundene Inhalte durch die KI) höher ist. Die Schulung lenkte die Richter somit auf unterstützende Aufgaben und ließ die endgültigen Entscheidungen in ihren Händen.
Nur etwa ein Fünftel der Anfragen beinhaltete, was die Forscher als „substantielle KI-Delegation“ bezeichnen, bei der Richter JudgeGPT baten, Entscheidungen zu bewerten oder Begründungen selbst zu entwerfen. Die Schulung erhöhte die Wahrscheinlichkeit, dass Richter Fälle selbst entschieden und die KI lediglich zur Formulierung ihrer Begründung nutzten.
Die Forscher betonen, dass ihre Ergebnisse nicht den Ersatz von Richtern durch KI unterstützen. Das Experiment zeige vielmehr, dass KI die Produktivität im öffentlichen Sektor steigern kann, jedoch nur, wenn sie mit einer Schulung kombiniert wird, die die Nutzer auf die richtigen Aufgaben lenkt. Ohne diese verschwinden die meisten Vorteile.
Thema: Technologie / KI allgemein. Quelle/Inspiration: The Decoder.