DeepSeek entkoppelt Wissen und GPU-Rechenleistung
DeepSeek hat Version 4.1 seines auf niedrige Kosten und kurze Antwortzeiten optimierten Modells Flash vorgestellt. DeepSeek V4.1 Flash umfasst insgesamt 763 Milliarden Parameter und ist damit mehr als 2,5-mal so groß wie der Vorgänger.
Die reine Modellgröße erzählt allerdings nur einen Teil der Geschichte. DeepSeek verändert mit V4.1 Flash, wie Wissen gespeichert und während der Inferenz abgerufen wird. Inferenz bezeichnet den laufenden Betrieb eines trainierten Modells, also die Verarbeitung von Eingaben und die Erzeugung von Antworten.
DeepSeek V4.1 Flash zeigt, dass ein größeres Modell nicht automatisch proportional mehr teuren GPU-Speicher benötigen muss.
Die wichtigsten Kennzahlen
| Kennzahl | DeepSeek V4.1 Flash |
|---|---|
| Gesamtzahl der Parameter | 763 Milliarden |
| N-Gram-Parameter | 196 Milliarden |
| Aktive Parameter bei der Prompt-Verarbeitung | 8 Milliarden |
| KV-Cache im Vergleich zu DeepSeek V4 Flash | 13 % bis 25 % |
| Nutzerkapazität bei gleichem KV-Cache | 4- bis 8-mal so hoch |
| Theoretischer GPU-Speicherbedarf bei FP8 | 763 GB |
| Rechnerischer GPU-Speicherbedarf mit Auslagerung | rund 567 GB |
Warum der KV-Cache entscheidend ist
Ein zentraler Engpass beim Betrieb großer Sprachmodelle ist der KV-Cache. Dieser Speicher hält Zwischenergebnisse des Attention-Mechanismus vor, damit ein Modell frühere Teile einer Unterhaltung oder eines langen Dokuments nicht bei jedem neuen Token vollständig neu verarbeiten muss.
Der Bedarf wächst mit der Kontextlänge und der Zahl gleichzeitig aktiver Anfragen. Gerade bei Chatbots und KI-Agenten kann der KV-Cache deshalb einen erheblichen Teil des verfügbaren GPU-Speichers belegen.
DeepSeek hat die Attention-Mechanismen überarbeitet und einen neuen Causal Encoder-Decoder, kurz CED, eingeführt. Dadurch benötigt V4.1 Flash nur noch 13 % bis 25 % des KV-Cache-Speichers von DeepSeek V4 Flash. Bei identischem Speicher lassen sich nach den veröffentlichten Angaben vier- bis achtmal so viele gleichzeitige Nutzer bedienen.
N-Gram-Gewichte liegen außerhalb des GPU-Speichers
Die zweite wesentliche Neuerung betrifft 196 Milliarden N-Gram-Parameter. N-Gramme sind Gruppen aufeinanderfolgender Tokens, die wiederkehrende Begriffe und Zusammenhänge repräsentieren können. DeepSeek bündelt diese Parameter in einem sogenannten Conditional Memory Module, also einem bedingten Speichermodul.
Vereinfacht funktionieren diese Gewichte wie große Nachschlagetabellen. Das Modell muss sie nicht für jedes erzeugte Token vollständig auslesen. Stattdessen werden nur gezielt passende Einträge abgerufen und in die weitere Verarbeitung eingespeist.
Damit müssen die N-Gram-Gewichte nicht zwingend im schnellen und teuren GPU-VRAM liegen. Sie können in normalen System-RAM oder einen ausreichend schnellen Speicher ausgelagert werden. Die eigentliche Rechenarbeit bleibt auf der GPU, während ein Teil des Wissensspeichers auf günstigere Hardware wandert.
GPU-Bedarf sinkt rechnerisch um 196 GB
Bei FP8-Präzision würde das vollständige Modell theoretisch mindestens 763 GB GPU-Speicher für seine Gewichte benötigen. FP8 speichert Zahlen mit acht Bit und reduziert damit den Speicherbedarf gegenüber höheren Genauigkeiten.
Werden die 196 Milliarden N-Gram-Parameter ausgelagert, sinkt der rechnerische Mindestbedarf auf rund 567 GB VRAM. Das ist weiterhin eine erhebliche Hardwareanforderung. Sie liegt aber in einem Bereich, der für spezialisierte lokale Systeme und größere Unternehmensinstallationen interessanter wird. Eine ähnliche Richtung zeigt die lokale KI-Workstation mit 576 GB HBM von AMD.
Alibaba übernimmt den Ansatz für Qwen
Die Architektur bleibt nicht auf DeepSeek beschränkt. Alibaba nutzt die zugrunde liegende Forschung bereits für das experimentelle Modell Qwen 3.8-Flash-Next. Dieses umfasst 180 Milliarden Parameter, davon 51 Milliarden N-Gram-Parameter.
Der Ansatz soll auch als Grundlage für kommende Qwen-4-Modelle dienen. Damit zeichnet sich ab, dass die Trennung von Rechengewichten und günstig abrufbarem Wissensspeicher zu einem breiteren Architekturprinzip werden könnte.
Was das für Unternehmen im DACH-Raum bedeutet
Für Unternehmen mit Anforderungen an DSGVO, Datenstandort oder interne Compliance ist der lokale Betrieb großer Modelle grundsätzlich attraktiv. Weniger GPU-Speicher pro Nutzer kann die Zahl benötigter Highend-GPUs reduzieren und damit Anschaffung, Energiebedarf und Betriebskosten beeinflussen.
Auch regionale Rechenzentren profitieren, wenn sich auf derselben Hardware mehr parallele Anfragen abwickeln lassen. Das ist besonders für Organisationen relevant, die eine souveräne KI-Infrastruktur in Europa aufbauen und sensible Daten nicht dauerhaft an proprietäre Cloud-APIs übertragen wollen.
Aus SaaS-Sicht verschiebt die Architektur die Kostenrechnung. Proprietäre APIs punkten mit einem schnellen Einstieg und wenig Betriebsaufwand. Wenn Wissensspeicher jedoch aus dem teuren GPU-VRAM ausgelagert werden kann, sinkt ein wesentlicher Kostennachteil selbst betriebener Modelle.
Produktivbetrieb bleibt der entscheidende Test
Die genannten 567 GB sind ein rechnerischer Mindestwert für die Modellgewichte. Im Produktivbetrieb kommt zusätzlicher Speicher für KV-Caches, Kontext, parallele Nutzer und weitere Komponenten der Inferenzumgebung hinzu. Tatsächliche Latenzen und Hardwareanforderungen unter realer Last sind bislang nicht belegt.
Ebenfalls offen ist, welche fertigen Inferenz-Engines die Auslagerung der N-Gram-Gewichte standardmäßig unterstützen. Auch die genauen Lizenzbedingungen für eine kommerzielle Nutzung werden in den vorliegenden Angaben nicht genannt. Vor einer eigenen Bereitstellung müssen deshalb Lizenz, Software-Unterstützung und Gesamtbetriebskosten getrennt geprüft werden.