Eine aktuelle Umfrage unter 157 Unternehmen zeigt, dass die Hälfte (50 %) in den letzten zwölf Monaten KI-Agenten oder LLM-Funktionen eingesetzt hat, die interne Bewertungen bestanden, aber anschließend bei Kunden zu Ausfällen führten. Ein Viertel der befragten Organisationen erlebte dies sogar mehrfach. Trotz dieser Diskrepanz zwischen internen Testergebnissen und realer Leistung planen zwei Drittel der Unternehmen, die Autonomie ihrer KI-Systeme weiter zu erhöhen.
Das Problem der realitätsfernen Evaluierung
Die von VentureBeat Pulse Research im Juni 2026 durchgeführte Studie beleuchtet eine sogenannte „Evaluierungslücke“: die Diskrepanz zwischen dem Grad der Autonomie, den Unternehmen ihren KI-Agenten gewähren, und dem Vertrauen, das sie in die zur Überprüfung dieser Systeme eingesetzten Tests setzen. Nur 36 % der befragten Organisationen gaben an, keine solchen kundenrelevanten Ausfälle nach bestandenen internen Tests erlebt zu haben; weitere 8 % führen keine Vorab-Evaluierungen durch, und 6 % können die Ursache von Ausfällen nicht genau genug zurückverfolgen.
Das Vertrauen in die automatisierten Evaluierungsmethoden ist gering: Nur 5 % der Unternehmen geben an, diesen Tests heute vollumfänglich zu vertrauen. Die am häufigsten genannte Einschränkung (29 %) ist, dass die Evaluierungen schlecht mit den tatsächlichen Ergebnissen in der realen Welt übereinstimmen. Weitere Bedenken umfassen Voreingenommenheit oder Inkonsistenz (21 %), mangelnde Erklärbarkeit der Testergebnisse (18 %) sowie Datenlecks oder Datenschutzbedenken im Evaluierungsprozess (17 %).
Zunehmende Autonomie trotz mangelndem Vertrauen
Trotz des geringen Vertrauens in automatisierte Bewertungen schreitet die Automatisierung voran: Zwei Drittel (66 %) der befragten Unternehmen erlauben entweder bereits die vollständige, menschliche Kontrolle ausschließende Bereitstellung von Änderungen für risikoarme KI-Agenten (34 %) oder entwickeln ihre Prozesse aktiv so weiter, dass dies innerhalb der nächsten zwölf Monate möglich sein wird (33 %). Nur 22 % schließen eine solche „Zero-Human-in-the-Loop“-Bereitstellung auf absehbare Zeit aus.
Gleichzeitig zeigt sich, dass die für diese Evaluierungen genutzten Werkzeuge oft fragmentiert und unreif sind. Die gängigsten primären Tools sind entweder die nativen Evaluierungssysteme der Modellhersteller oder gar keine spezielle dedizierte Software (jeweils 17 %). Zudem führt nur etwa ein Viertel der Unternehmen Echtzeit-Qualitätsprüfungen im laufenden Produktionsbetrieb durch. Dies deutet darauf hin, dass die Gewährung von Autonomie schneller voranschreitet als die Entwicklung robuster Sicherungssysteme.
Methodik der Studie
Die Erhebung ist Teil der laufenden Pulse Research-Reihe von VentureBeat und konzentrierte sich auf die Bewertung der Leistung und Zuverlässigkeit von KI-Agenten durch technische Führungskräfte. Die Antworten stammen von 157 Organisationen mit mindestens 100 Mitarbeitern und wurden in einer einzigen Umfragewelle im Juni 2026 gesammelt. Die Stichprobe ist stark auf den Mittelstand ausgerichtet und schließt primär Unternehmen ein, die aktiv Praktiken zur Agenten-Evaluierung etablieren.
Thema: OpenAI. Quelle/Inspiration: VentureBeat.