Modellnamen wie 35B-A3B nennen beide Zahlen und werden trotzdem falsch gelesen. Der Buchstabe A steht für die aktiven Parameter – und die sagen etwas über die Rechenzeit, nichts über den Speicher.
Wie die Bauart funktioniert
Ein Mixture-of-Experts-Modell enthält in jeder Schicht mehrere Teilnetze. Eine kleine Auswahlschicht entscheidet je Token, welche zwei oder drei davon rechnen; die übrigen bleiben unbeteiligt. Das Ergebnis ist ein Modell mit der Wissenskapazität seiner Gesamtgröße und dem Rechenaufwand eines viel kleineren.
Der Haken steht in einem Nebensatz: Unbeteiligt heißt nicht abwesend. Welches Teilnetz gebraucht wird, entscheidet sich je Token neu – also müssen alle geladen sein. Der Speicherbedarf richtet sich nach der Gesamtzahl, ausnahmslos.
Die beiden Zahlen im Katalog
| Modell | Gesamt | Aktiv je Token | Was das heißt |
|---|---|---|---|
| Qwen3.6 35B-A3B | 35 Mrd. | rund 3 Mrd. | Lädt wie ein mittelgroßes Modell, rechnet wie ein kleines |
| Gemma 4 26B-A4B | 25,2 Mrd. | 3,8 Mrd. | Dieselbe Klasse, dasselbe Verhältnis |
| Mistral Small 4 | 119 Mrd. | 6,5 Mrd. | Der Name führt in die Irre – „Small“ meint die aktiven Parameter |
| Qwen3 235B | 235 Mrd. | rund 22 Mrd. | Große Klasse, Speicher für mehrere Karten |
| DeepSeek-V3 | rund 671 Mrd. | rund 37 Mrd. | Günstig je Antwort, teuer im Halten |
„Mistral Small 4 hat 6,5 Milliarden aktive Parameter, das läuft auf einer kleinen Karte.“ Es läuft auf gar keiner kleinen Karte: Für den Speicher zählen die 119 Milliarden.
Der Unterschied zwischen beiden Zahlen beträgt bei diesem Modell fast das Zwanzigfache. Wer die Hardware nach der aktiven Zahl auslegt, kauft eine Maschine, auf der das Modell nicht einmal startet – und merkt es erst bei der Inbetriebnahme.
Was jede der beiden Zahlen bestimmt
| Gesamtzahl bestimmt | Aktive Zahl bestimmt |
|---|---|
| Benötigten Grafikspeicher für die Gewichte | Rechenzeit je Token |
| Zahl und Klasse der nötigen Karten | Kosten je Antwort im Betrieb |
| Ladezeit beim Start | Wie viele Anfragen gleichzeitig laufen können, bevor die Rechenwerke ausgelastet sind |
| Was nach Abzug für den Zwischenspeicher übrig bleibt | Spürbare Antwortgeschwindigkeit |
Die letzte Zeile links wird am häufigsten übersehen: Der Grafikspeicher teilt sich zwischen Gewichten und Zwischenspeicher auf. Ein Modell, das den Speicher fast ausfüllt, lässt kaum Platz für gleichzeitige Nutzer oder lange Eingaben – es läuft, und zwar für genau eine Person.
Wann sich die Bauart lohnt
- Bei hoher Auslastung. Wer eine große Karte ohnehin betreibt, bekommt mehr Leistung je Rechensekunde als mit einem dichten Modell gleicher Größe.
- Bei gemischten Aufgaben. Die Teilnetze spezialisieren sich beim Training; ein breites Aufgabenfeld nutzt die Kapazität besser aus als ein enges.
- Wenn Antwortzeit zählt und Speicher vorhanden ist. Das ist der Fall, für den die Bauart gebaut wurde.
Wann ein dichtes Modell die ruhigere Wahl ist
- Eine Karte, viele Nutzer. Ein dichtes Modell mittlerer Größe lässt mehr Speicher für den Zwischenspeicher und damit für gleichzeitige Anfragen.
- Planbarkeit. Eine Zahl, ein Bedarf, keine Verwechslungsgefahr im Datenblatt.
- Gleichmäßiges Verhalten. Bei Mixture of Experts kann die Antwortzeit je nach gewählten Teilnetzen leicht schwanken.
Die Faustregel, die beide Zahlen zusammenbringt
Für den Speicher: Gesamtzahl in Milliarden mal Bit je Parameter geteilt durch acht ergibt Gigabyte. Bei 8 Bit entspricht das ungefähr einem Gigabyte je Milliarde Parameter, bei 4 Bit der Hälfte – die Quantisierung ist damit der wirksamste Hebel auf den Speicherbedarf.
Für die Rechenzeit: die aktive Zahl. Und dazwischen steht der Zwischenspeicher, der mit Kontextlänge und Nutzerzahl wächst und aus demselben Topf kommt. Wer eine Beschaffung rechnet, braucht alle drei Größen – die Modellkarte liefert die ersten beiden, die dritte hängt an der eigenen Nutzung.
Worauf man beim Lesen einer Modellkarte sonst noch achtet, steht im Lexikon unter Modellkarte. Was der Grafikspeicher im Betrieb bestimmt, im Lexikon unter VRAM.