OpenAI hat seine Decisions API, ein spezielles Entscheidungsmodell, für alle Nutzer verfügbar gemacht. Damit tritt das Unternehmen in den Markt für schnelle und kostengünstige KI-Intelligenz ein, der maßgeblich vom Jev-Modell des Startups TypeSafe geprägt wurde. TypeSafe, gegründet von einem ehemaligen Forscher eines führenden KI-Labors, wurde jüngst mit 7,6 Milliarden US-Dollar bewertet.
Was Entscheidungsmodelle leisten
Entscheidungsmodelle, auch als „Super-Klassifikatoren“ oder „System-One-Modelle“ bezeichnet, wurden durch TypeSafes Jev-Modell etabliert. Sie können aus einer Reihe von Optionen schnell Entscheidungen treffen und dabei eine Konfidenzbewertung abgeben. Softwareentwickler nutzen diese Modelle zunehmend, um in verschiedenen Arbeitsabläufen herkömmliche große Sprachmodelle (LLMs) zu ersetzen, da sie deutlich schneller arbeiten und geringere Kosten verursachen.
Nikunj Handa, Produktmanager für OpenAIs APIs, erklärte, dass sein Team vom Jev-Modell inspiriert wurde und zahlreiche Anwendungsfälle erkannte. Anstatt ein vollständig neues Modell zu entwickeln, rekonfigurierte OpenAIs Team das bestehende Sprachmodell ChatGPT Luna, um die Inferenzgeschwindigkeit zu erhöhen und die Kosten zu senken.
Die größte Neuerung der Decisions API ist die Geschwindigkeit: Die Verarbeitungszeit konnte von ein bis drei Sekunden auf 100 bis 180 Millisekunden reduziert werden. Obwohl zukünftig spezifisches Training zur weiteren Optimierung möglich ist, sei derzeit „einfach nur Luna“ für die Aufgaben zuständig.
Die Decisions API wurde am 29. September beim Entwicklertag des Unternehmens angekündigt und ist seit Donnerstag für alle Kunden zugänglich. OpenAI hat die öffentliche Version um neue Sprach- und visuelle Modalitäten erweitert und durch geografisch gezielte Inferenzressourcen eine geringere Latenz weltweit sichergestellt.
Anwendungsbereiche und erste Erfahrungen
In ersten Tests setzten Kunden wie Box, Datadog, Ramp und Speak die API ein, um OpenAIs LLMs durch Modelle mit höherem Durchsatz zu ersetzen. Andrew Hsu, CTO von Speak, einem Anbieter von KI-Sprachlernprogrammen, berichtete, dass die Decisions API die Zeit zwischen Aktionen von 1,4 Sekunden auf 0,13 Sekunden verkürzen konnte. Auch OpenAI selbst nutzt das Produkt, um die Reaktionsfähigkeit des eigenen Sprachassistenten Dots zu verbessern.
Wettbewerbsumfeld und Benchmarks
Der Markt für Entscheidungsmodelle ist umkämpft. Während TypeSafes CEO Diogo Almeida Skepsis gegenüber Benchmarks äußert und zu Tests in der Praxis rät, veröffentlichte TypeSafe selbst jüngst eigene Rankings für sein neuestes Jev-Modell, das nun Funktionen wie Bildunterstützung und „Smart-If“-Anweisungen bietet. Öffentliche Benchmarks wie der AIM System One Index und der Artificial Analysis Decision Index favorisieren oft D1 Ultra von Liquid und Elephant-1 von Base Lab.
Das aktuelle Jev-Modell von TypeSafe bleibt mit Platz sieben und drei auf diesen Indizes wettbewerbsfähig, während OpenAIs Decisions API dort die Plätze acht und vierzehn belegt. Dennoch ist TypeSafes Angebot auf der Plattform OpenRouter derzeit am häufigsten abgefragt.
Ein spielerischer Benchmark ist JevMan, bei dem Entscheidungsmodelle PacMan spielen. Hier führt das neueste Jev-Modell die Rangliste an. Felix Wunderlich, Chief Growth Officer von Opper AI, dem Entwickler des Benchmarks, hebt hervor, dass das klassische Spiel einen interessanten Test für schnelle und risikoreiche Entscheidungen innerhalb weniger hundert Millisekunden darstellt.
OpenAIs Vorteile und Zukunftsaussichten
OpenAIs Modell könnte einen Vorteil in der Multimodalität besitzen. Nikunj Handa betont, dass „Luna“ bei der Bildklassifizierung „extrem leistungsstark ist und bessere Kalibrierungen gezeigt hat“. Kunden von OpenAI wünschen sich zudem, dass die Decisions API flexibler Bilder als Ausgaben nutzen kann.
Handa sieht auch weitere Geschwindigkeitssteigerungen als Ermöglicher neuer Anwendungsfälle: Eine Reduzierung auf etwa 60 Millisekunden könnte beispielsweise ermöglichen, für jedes einzelne Bild in einem Video einen API-Aufruf zu tätigen. Mit zunehmender Geschwindigkeit und Kosteneffizienz dieser Angebote wird erwartet, dass sie dem Namensgeber von Jev, einem Ökonomen, der die Verbreitung von Ressourcen durch effizientere Nutzung erklärte, gerecht werden. Handa prognostiziert eine wachsende „unglaubliche Vielfalt von Anwendungsfällen“, die bisher unsichtbar blieben.
Thema: OpenAI. Quelle/Inspiration: TechCrunch.