Kurz-Fakten

  • Alle Parameter sind an jedem Token beteiligt – Speicherbedarf und Rechenaufwand wachsen gemeinsam
  • Bei Mixture-of-Experts müssen alle Parameter geladen sein, es rechnet aber nur ein Teil je Token
  • Dichte Modelle sind einfacher zu betreiben und in ihrem Verhalten gleichmäßiger
  • In der Klasse bis etwa 30 Milliarden Parameter sind sie nach wie vor die übliche Bauart
  • Für die Hardwareplanung zählt bei beiden Bauarten die Gesamtzahl der Parameter, nicht die aktive

Bedeutung in der Praxis

Der praktische Nutzen dieser Unterscheidung liegt beim Lesen von Datenblättern. Bei einem Mixture-of-Experts-Modell stehen zwei Zahlen, und die kleinere ist die auffälligere – wer nur sie liest, unterschätzt den Speicherbedarf um ein Vielfaches. Bei einem dichten Modell gibt es diese Verwechslungsgefahr nicht: eine Zahl, ein Bedarf.

Für die Auswahl heißt das nicht, dass eine Bauart besser wäre. Mixture-of-Experts liefert mehr Leistung je Rechenzeit und braucht viel Speicher; dicht liefert gleichmäßiges Verhalten bei einfacherer Planung. Wer eine einzelne Karte hat und sie gut auslasten will, fährt mit einem dichten Modell mittlerer Größe oft am ruhigsten.

Verwandte Begriffe