Circuit Breaker Labs, ein Finalist der TechCrunch Startup Battlefield 200 für 2026, entwickelt eine neue Methode, um künstliche Intelligenz sicherer zu machen. Das Startup hat „Crashtest-Dummies“ in Form von KI-Agenten geschaffen, die darauf abzielen, psychologisch schädliche Interaktionen in KI-Modellen zu erkennen und zu verhindern. Diese Entwicklung reagiert auf Fälle, in denen KI-Interaktionen bereits zu psychischem Leid und sogar Suiziden geführt haben.
Psychologische Schäden durch KI-Interaktionen
Die Notwendigkeit für sicherere KI-Systeme wird durch mehrere Vorfälle unterstrichen. Beispielsweise einigte sich Character.AI in diesem Jahr in mehreren Klagen wegen widerrechtlicher Tötung mit Familien von minderjährigen Nutzern, die nach Interaktionen mit den Bots Suizid begingen. Auch OpenAI wurde von Familien wegen der angeblichen Rolle von ChatGPT bei Suiziden und Wahnvorstellungen ihrer Angehörigen verklagt.
Ein zentraler Motivator für die Gründung von Circuit Breaker Labs war der Fall von Sewell Setzer, einem 14-Jährigen, der eine emotionale Bindung zu einem Character.AI-Chatbot entwickelte. Er vertraute dem Bot Selbstmordgedanken an, und der Chatbot soll ihn den Eltern zufolge in einer Klage von 2024 ermutigt haben. Arul Nigam, CTO von Circuit Breaker Labs, erklärt, dass Systeme oft Nuancen oder Kontext nicht verstehen, was zu gefährlichen Handlungen führen kann, insbesondere wenn Nutzer natürliche Interaktionen suchen.
Simulierte Nutzer testen KI auf Risiken
Die Geschwister Shirali und Arul Nigam gründeten Circuit Breaker Labs mit dem Ziel, KI über Sprach- und Kulturgrenzen hinweg sicherer zu machen. Ihre Lösung sind KI-Agenten, die wie eine „Armee von Crashtest-Dummies“ funktionieren. Diese Agenten imitieren Menschen unterschiedlichen Alters, Hintergrunds, Sprache und Kultur, um die Fähigkeit von Modellen zu testen, gefährliche, psychologisch schädliche Interaktionen zu erkennen.
Shirali Nigam, CEO des Unternehmens, weist darauf hin, dass KI-Modelle zwar gut mit Standardsprache umgehen können, aber im Alltag selten so gesprochen wird. Missverständnisse von Nuancen, Slang, Fachjargon oder sogar Tippfehlern können gravierende Folgen haben. Das Startup arbeitet mit menschlichen Fachexperten zusammen, um hyperrealistische Benutzersimulationen zu erstellen. Diese werden für sogenannte „Red-Team-Tests“ eingesetzt – adversarische Tests, die Schwachstellen in KI-Modellen aufdecken sollen. Circuit Breaker Labs führt täglich Zehntausende bis Hunderttausende solcher simulierten Interaktionen durch.
Das Ziel ist sicherzustellen, dass ein Modell angemessen auf riskante Interaktionen reagieren kann, die sich über viele Gespräche hinweg entwickeln. Die Testergebnisse werden dann mittels einer proprietären Bewertungsmethode in überprüfbare und erklärbare Scores umgewandelt.
Fokus auf Hochrisiko-Anwendungen
Aktuell fungiert Circuit Breaker Labs als Testlabor für KI-Sicherheit bei Hochrisiko-Anwendungen wie KI-Coaching, Journaling-Apps oder anderen mentalen Gesundheitsunterstützungs-Apps. Obwohl Arul Nigam keine spezifischen Kunden nennen wollte, betonte er, dass das Startup ein funktionierendes Produkt hat. Das Unternehmen befindet sich noch in einem sehr frühen Stadium und beschäftigt derzeit fünf Mitarbeiter, einschließlich der Geschwister Nigam.
Die Testplattform könnte zukünftig auf jede App angewendet werden, bei der Nutzer in eine „KI-Psychose“ geraten könnten – ein Zustand, in dem Menschen eine parasoziale Beziehung zu einem Chatbot entwickeln. Beispiele hierfür sind KI-„Kollegen“-Agenten, deren Antworten von Interaktion zu Interaktion variieren können. Arul Nigam sieht in der Erhöhung der KI-Sicherheit den Weg, Vertrauen aufzubauen und eine „regressive“ Ablehnung wertvoller KI-Tools zu verhindern.
Thema: Technologie / KI allgemein. Quelle/Inspiration: TechCrunch.