Kurz-Fakten

  • Die Angabe „7B“ oder „70B“ meint die Zahl der Parameter, nicht die Dateigröße
  • Grober Speicherbedarf: Parameterzahl mal Bytes je Parameter, plus Kontextspeicher und Reserve
  • Bei Mixture-of-Experts-Modellen sind Gesamtzahl und je Token aktive Parameter zu unterscheiden
  • Mehr Parameter bedeuten mehr Weltwissen, aber auch längere Antwortzeiten und höheren Bedarf an Grafikspeicher
  • Für abgegrenzte Aufgaben liefern kleine Modelle häufig gleichwertige Ergebnisse

Bedeutung in der Praxis

Die Parameterzahl ist die am leichtesten zu vergleichende und am häufigsten überschätzte Angabe eines Modells. Sie beschreibt, wie viel gespeichert werden kann – nicht, wie gut das Gespeicherte zu einer bestimmten Aufgabe passt. Ein kleines Modell, das die eigenen Unterlagen über eine Wissensabfrage zur Verfügung gestellt bekommt, schlägt bei Fragen zu diesen Unterlagen regelmäßig ein großes ohne diesen Zugriff.

Für die Planung ist sie trotzdem die erste Zahl, die man braucht, weil sie über die Hardware entscheidet. Die zweite ist die Quantisierung, die dritte die geplante Kontextlänge – erst die drei zusammen ergeben eine Aussage darüber, was auf eine Karte passt.

Verwandte Begriffe