TypeSafe AI, ein Startup, das von dem ehemaligen OpenAI-Forscher Diogo Almeida gegründet wurde, hat ein neues KI-Modell namens „Jev“ veröffentlicht. Dieses Modell generiert bewusst keinen Text, sondern liefert stattdessen reine Klassifizierungen für Software. Die Antwortzeiten beginnen bei 70 Millisekunden, und die Token-Preise sind laut Anbieter sehr niedrig.
Funktionsweise von Jev
Im Gegensatz zu herkömmlichen Chatbots, die Texte, E-Mails oder Code generieren, ist Jev darauf ausgelegt, präzise Bewertungen und Wahrscheinlichkeiten innerhalb anderer Programme zu liefern. Diogo Almeida war Mitautor der InstructGPT-Forschung, die die Grundlage für ChatGPT legte. Das Kernprinzip von Jev besteht darin, dass Entwickler Fragen und mögliche Antworten definieren, woraufhin das Modell die Optionen bewertet.
Ein Anwendungsbeispiel aus der Dokumentation zeigt, wie dies in der Praxis aussehen könnte: Ein Kunde kontaktiert einen Onlineshop bezüglich einer doppelten Abbuchung. Anstatt eine Textantwort zu generieren, klassifiziert Jev die Nachricht für die Shop-Software, etwa als „Zahlungsproblem“ und mit einer Wahrscheinlichkeit, dass der Kunde eine Rückerstattung wünscht. Die Shop-Software kann dann basierend auf vordefinierten Regeln agieren, beispielsweise die Anfrage an die Buchhaltung weiterleiten. Bei unklaren Klassifizierungen kann ein Mitarbeiter die Anfrage prüfen. Jev liefert dabei lediglich die Einschätzung; die Software entscheidet, was basierend auf den programmierten Regeln geschieht.
Geschwindigkeit und Einsatzfelder
TypeSafe gibt an, dass Jev Antworten in 70 bis 500 Millisekunden liefert, was um ein Vielfaches schneller ist als selbst die schnellsten aktuellen Sprachmodelle. Diese Geschwindigkeit wird erreicht, indem das Modell die schrittweise Textgenerierung überspringt und laut Unternehmen mehrere Ausgaben parallel berechnet. Das Hinzufügen weiterer Fragen in einem Aufruf erhöht die Antwortzeit kaum.
Diese schnelle Verarbeitung ermöglicht beispielsweise eine Überprüfung vor jeder Antwort eines KI-Assistenten, um Widersprüche oder unbegründete Aussagen zu vermeiden. TypeSafe nennt weitere mögliche Anwendungen im Vertrieb und Kundenservice, darunter die Erkennung von Kaufabsichten, die Sortierung von Anfragen nach Themen oder die Einschätzung, wann ein menschlicher Mitarbeiter übernehmen sollte.
Einschränkungen und Kosten
Obwohl reguläre Sprachmodelle, wie die „Structured Outputs“ von OpenAI, ebenfalls vordefinierte Kategorien und Datenstrukturen ausgeben können, muss sich Jev durch überlegene Geschwindigkeit, Kosten oder Qualität von der Konkurrenz abheben. TypeSafe listet einen Preis von 0,042 US-Dollar pro Million Input-Tokens auf, wobei für Outputs keine Kosten anfallen.
Die veröffentlichten Leistungstests wurden von TypeSafe selbst erstellt und nutzen Antworten anderer KI-Modelle als Referenz, nicht unabhängig verifizierte korrekte Lösungen. Das Modell GPT-6 Astra ist in den Bewertungen nicht enthalten. TypeSafe bewirbt Jev als ein Modell, das nicht „halluzinieren“ kann. Diese Garantie bezieht sich jedoch lediglich auf die Einhaltung der erlaubten Ausgabestruktur. Eine sachlich falsche Wahl innerhalb der vordefinierten Optionen bleibt weiterhin möglich. Unternehmen müssen die Zuverlässigkeit der Bewertungen für ihre spezifischen Aufgaben selbst testen. Entwickler erhalten zunächst über eine Warteliste Zugang.
Thema: OpenAI. Quelle/Inspiration: The Decoder.