Mixture of Experts (MoE)

Kurz-Fakten

• Rechenaufwand richtet sich nach den aktiven, Speicherbedarf nach den gesamten Parametern
• Beispiele: Mixtral 8x22B mit etwa 39 von 141 Milliarden aktiv, DeepSeek-V3 mit 37 von 671
• Die Antwortgeschwindigkeit ist höher als bei einem dichten Modell gleicher Gesamtgröße
• Die Qualität liegt typischerweise zwischen einem dichten Modell der aktiven und der gesamten Größe

Bedeutung in der Praxis

Für die Auswahl heißt das: Zwei Zahlen lesen, nicht eine. Ein Modell mit 671 Milliarden Parametern, von denen 37 aktiv sind, antwortet schnell – braucht aber eine Maschine, die 671 Milliarden Parameter fassen kann.

Genau daran scheitert der Einsatz der beeindruckendsten offenen Modelle in kleinen Rechenzentren. Nicht am Rechnen, sondern am Halten. Wer eine Preisliste für einen geteilten Zugang kalkuliert, merkt das schnell.

Verwandte Begriffe

• Dichtes Modell Ein dichtes Modell nutzt für jedes erzeugte Token sämtliche seiner Parameter. Es ist die…
• Quantisierung Quantisierung ist die Speicherung der Modellparameter mit geringerer Zahlengenauigkeit,…
• VRAM VRAM ist der Speicher einer Grafikkarte und die entscheidende Grenze beim Betrieb von…
• LLM Ein großes Sprachmodell ist ein statistisches Modell, das aus sehr großen Textmengen…
• Inferenz Inferenz bezeichnet die Anwendung eines bereits trainierten Modells auf eine neue…