Das chinesische KI-Unternehmen Deepseek hat sein internes Inferenz-Framework namens DeepInfer unter der Apache 2.0 Lizenz als Open Source veröffentlicht. Diese Software, die maßgeblich für die schnelle und skalierbare Beantwortung von Anfragen durch Deepseeks V4.1-Flash-Modell verantwortlich ist, soll dazu beitragen, die Rechenkosten und den Energieverbrauch beim Betrieb von Künstliche-Intelligenz-Modellen zu reduzieren.
Funktionsweise von DeepInfer
Inferenz beschreibt den Prozess, bei dem ein trainiertes KI-Modell Anfragen verarbeitet und entsprechende Antworten generiert. DeepInfer ist die zugrundeliegende Software, die es dem V4.1-Flash-Modell von Deepseek ermöglicht, Antworten schnell und in großem Maßstab zu liefern. Das Framework basiert auf vLLM, einer Bibliothek für effizientes Serving von großen Sprachmodellen, und wurde von Deepseek um optimierte Rechenkerne, die verteilte Verarbeitung über mehrere Chips hinweg und schnellere Textgenerierungstechniken erweitert.
Ziele und Auswirkungen der Veröffentlichung
Deepseek hat erklärt, das Ziel der Veröffentlichung sei es, „der Community zu helfen, die Rechenkosten zu senken, den Energieverbrauch zu reduzieren und KI erschwinglicher zu machen.“ Die Modelle von Deepseek gelten bereits als kostengünstig, und DeepInfer soll die letzte Lücke schließen, um ihren Betrieb noch preiswerter zu gestalten. Die Freigabe des Frameworks erhöht zudem den Preisdruck auf westliche Anbieter wie OpenAI und Anthropic. Beobachter vermuten, dass dieser Schritt auch politisch motiviert sein könnte, angesichts des Wettbewerbs zwischen China und den USA im Bereich der Künstlichen Intelligenz.
Weitere Open-Source-Initiativen
Neben DeepInfer plant Deepseek, zukünftigen Code für weitere eigene KI-Modelle ebenfalls als Open Source bereitzustellen. Zusätzlich wurde deepseek-recipe veröffentlicht. Dieses Tool repliziert die Token-Verarbeitung der offiziellen Deepseek-API, um sicherzustellen, dass selbst gehostete Implementierungen sich identisch verhalten.
Thema: OpenAI. Quelle/Inspiration: The Decoder.