Kurz-Fakten

  • Acht Bit halbiert den Speicherbedarf gegenüber sechzehn Bit, vier Bit viertelt ihn
  • Bei großen Modellen ist der Qualitätsverlust durch 8-Bit-Quantisierung meist kaum messbar
  • Kleine Modelle vertragen starke Quantisierung schlechter als große
  • Verbreitete Verfahren sind unter anderem GGUF, AWQ und GPTQ

Bedeutung in der Praxis

Quantisierung ist der Grund, warum die Frage „welches Modell läuft auf welcher Karte“ keine einfache Antwort hat. Dasselbe Modell mit 70 Milliarden Parametern braucht in voller Genauigkeit deutlich mehr Speicher als in 4-Bit-Fassung – und zwischen beiden liegt der Unterschied zwischen mehreren Karten und einer.

Für einen Anbieter ist das eine Angabe, die in ein Datenblatt gehört. Wer nur „Modell X verfügbar“ schreibt, verschweigt die Hälfte: Eine stark quantisierte Fassung ist nicht dasselbe Produkt wie die volle.

Verwandte Begriffe