Kurz-Fakten
- Faustregel: Parameterzahl in Milliarden mal Bit je Parameter geteilt durch acht ergibt den Bedarf in Gigabyte
- Ein 7B-Modell in 16 Bit braucht etwa 14 GB, in 4 Bit etwa 4 GB – jeweils ohne Kontext
- Der Zwischenspeicher für lange Kontexte kann den Modellbedarf übersteigen
- Mehrere Karten lassen sich koppeln, kosten aber Geschwindigkeit durch die Verbindung
Bedeutung in der Praxis
Der Grafikspeicher ist der Grund, warum die Preisgestaltung von KI-Diensten so aussieht, wie sie aussieht. Eine Karte kostet einmal viel Geld und kann danach eine begrenzte Zahl gleichzeitiger Anfragen bedienen. Aus dieser Zahl ergibt sich alles Weitere.
Für Anwender heißt das: Ein Anbieter, der ein sehr großes Modell zu einem sehr kleinen Preis anbietet, tut eines von drei Dingen – er quantisiert stark, er begrenzt hart, oder er finanziert sich anders. Alle drei sind legitim, sollten aber benannt sein.