Eine aktuelle Studie von VentureBeat Pulse Research unter 101 Unternehmen mit über 100 Mitarbeitern offenbart ein signifikantes Problem im Einsatz von Künstlicher Intelligenz: Mehr als die Hälfte der befragten Unternehmen (57 %) berichtete, dass ihre KI-Agenten in den letzten sechs Monaten zuversichtliche, aber falsche Antworten lieferten. Diese Fehler wurden auf fehlende oder inkonsistente Geschäftskontexte zurückgeführt. Die Infrastruktur zur Behebung dieses sogenannten „Kontext-Gaps“ wird zwar aufgebaut, ist aber in den meisten Fällen noch nicht produktiv im Einsatz.
Das Kontext-Dilemma in Unternehmens-KI
Die Untersuchung konzentriert sich auf die Infrastruktur, die KI-Agenten mit geschäftlichem Kontext versorgt, und zeigt, dass das Problem der fehlerhaften Antworten weit verbreitet ist. Mehr als die Hälfte der Unternehmen, die solche Fehler feststellten, erlebten dies sogar mehrfach. Das Kernproblem liegt nicht in offensichtlichen Halluzinationen der Modelle, sondern in der mangelhaften oder widersprüchlichen Informationsgrundlage, auf der die Agenten operieren.
Die sogenannte Retrieval-Augmented Generation (RAG), eine Methode, bei der KI-Agenten externe Datenquellen zur Generierung von Antworten heranziehen, ist für 38 % der Unternehmen die primäre Quelle für Geschäftskontext – und damit die am häufigsten genutzte Methode. Angesichts dieser Dominanz führt eine dünne oder inkonsistente Datenbasis in RAG-Systemen direkt zu den beobachteten Fehlern und untergräbt die Autorität der KI-Agenten. Andere Ansätze wie eine gesteuerte semantische Schicht (21 %), gemischte Ansätze (14 %) oder direkte Abfragen von Live-Systemen (10 %) werden seltener als primäre Kontextquelle genutzt. Das Anpassen von Modellgewichten (Fine-Tuning) spielt im Vergleich dazu eine untergeordnete Rolle und ist nicht die bevorzugte Methode, um Agenten unternehmensspezifisches Wissen zu vermitteln.
Technologische Lösungsansätze und Marktentwicklung
Der Markt für Retrieval-Systeme zeigt eine überraschende Entwicklung: Anbieter-eigene Retrieval-Lösungen der großen Modell- und Hyperscaler-Anbieter dominieren bereits die dedizierten Vektordatenbanken. OpenAI’s Dateisuche wird von 40 % der Unternehmen eingesetzt, gefolgt von Googles Vertex AI Search mit 38 %. Dieser Trend deutet darauf hin, dass die Integration von Retrieval-Funktionen direkt in die Plattformen der KI-Anbieter an Bedeutung gewinnt.
Bis Ende 2026 erwarten 34 % der Unternehmen, dass hybride Retrieval-Ansätze, die verschiedene Abrufmethoden kombinieren, dominieren werden. Trotz der praktischen Führung der Anbieter-eigenen Tools äußert eine Mehrheit (36 %) die Absicht, weiterhin „Best-of-Breed“-Standalone-Lösungen zu nutzen, anstatt sich auf einen einzigen Anbieter zu konsolidieren. Gleichzeitig planen 57 % der Unternehmen, innerhalb eines Jahres den Anbieter zu wechseln oder einen zusätzlichen Anbieter zu integrieren. Dies deutet auf eine Diskrepanz zwischen der Präferenz für Unabhängigkeit und der tatsächlichen Nutzung von integrierten Lösungen hin.
Als vielversprechende Lösung für das Kontext-Problem etabliert sich eine gesteuerte semantische Schicht (governed semantic layer). 58 % der Unternehmen betreiben eine solche Schicht bereits oder sind dabei, sie aufzubauen. Für die meisten befindet sie sich jedoch noch nicht in der Produktionsphase, was die Dringlichkeit der weiteren Entwicklung unterstreicht.
Studienmethodik
Die VentureBeat-Umfrage wurde im zweiten Quartal 2026 (Juni) durchgeführt und konzentrierte sich auf die RAG-Infrastruktur und die Kontextebene in Unternehmen. Die Antworten stammen von Organisationen mit mehr als 100 Mitarbeitern (n=101), wobei der Großteil des Samples aus dem Mittelstand kommt (31 % mit 251–1.000 Mitarbeitern, 31 % mit 101–250 Mitarbeitern). Die Stichprobe umfasste Manager, Einzelmitarbeiter, C-Level-Führungskräfte sowie VPs und Direktoren, mit einem hohen Anteil an Entscheidungsträgern (46 % finale Entscheider, 26 % Empfehlungsgeber).
Thema: OpenAI. Quelle/Inspiration: VentureBeat.