OpenAI hat auf der Hot Chips Konferenz Details zu seinem neuen Inferenz-Chip „Jalapeño“ veröffentlicht. Erste Benchmark-Ergebnisse zeigen eine deutlich höhere Leistung und Effizienz im Vergleich zu aktuellen Referenzsystemen. Der Chip soll Ende 2026 in geringen Mengen auf den Markt kommen.
Deutliche Leistungssteigerung in Benchmarks
Getestet auf dem SemiAnalysis’ InferenceX Benchmark, erreichte Jalapeño sowohl mehr Tokens pro Nutzer als auch einen höheren Durchsatz pro Kilowatt als die derzeit verfügbaren Inferenzprozessoren. „Die Ergebnisse zeigen einen sehr, sehr signifikanten Leistungsvorsprung gegenüber dem Stand der Technik“, erklärte Richard Ho, Leiter der Hardware-Abteilung bei OpenAI, in einem Pressegespräch. Er betonte, dass Jalapeño mehr KI-Arbeit pro Energieeinheit leisten und gleichzeitig schneller reagieren könne. Dies mache den Chip sehr effizient für eine große Anzahl von Kunden und ermögliche geringe Latenzzeiten. Der Vergleich erfolgte unter anderem mit einem Nvidia Blackwell-System.
Entwicklung und Designansatz
Jalapeño wurde von OpenAI in enger Zusammenarbeit mit Broadcom entwickelt, wobei auch OpenAIs eigene Modelle den Entwicklungsprozess unterstützten. OpenAI verfolgt mit Jalapeño einen multigenerationalen Ansatz, bei dem KI-Produkte, Modelle, Chips und Speicher aufeinander abgestimmt entwickelt werden.
Dieser Full-Stack-Ansatz ermöglichte es OpenAI, spezifische Phasen des Inferenzprozesses anzugehen, die oft zu Engpässen führen. Jalapeño ist darauf ausgelegt, Verzögerungen während der Prefill- und Kommunikationsphasen der Verarbeitung zu minimieren. „Wir haben Jalapeño so konzipiert, dass Datenbewegungen und Kommunikationsverzögerungen minimiert werden“, teilte das Unternehmen in einem Blogbeitrag mit. Dies bedeutet, dass der Modellzustand, einschließlich des KV-Caches zur Generierung einer Antwort, explizit platziert und lokal gehalten werden kann, während das System die richtige Kombination aus Rechenleistung, Speicher und Netzwerk für jede Inferenzphase aktiviert.
Markteinführung in den kommenden Jahren
Obwohl Jalapeño bereits im Oktober letzten Jahres angekündigt wurde, wird die vollständige Bereitstellung noch einige Zeit in Anspruch nehmen. Richard Ho schätzte, dass Jalapeño Ende 2026 „in sehr geringen Mengen“ ausgeliefert wird, mit einer signifikanteren Bereitstellung im Jahr 2027. Bis dahin könnte sich die Wettbewerbslandschaft, insbesondere durch Fortschritte bei Konkurrenzprodukten, weiterentwickelt haben.
Thema: OpenAI. Quelle/Inspiration: TechCrunch.