Kurz-Fakten
- Gespeichert werden je Token und je Schicht die Schlüssel- und Wertvektoren des Aufmerksamkeitsmechanismus
- Der Speicherbedarf wächst mit der Zahl der Token im Kontext und mit der Zahl gleichzeitiger Anfragen
- Ohne ihn müsste für jedes neue Token der gesamte bisherige Text erneut durchgerechnet werden
- Verfahren wie Grouped-Query-Attention verringern den Bedarf deutlich
- Wird er zwischen Anfragen wiederverwendet, ist das eine Speicherung mit eigener Lebensdauer und gehört ins Löschkonzept
Bedeutung in der Praxis
Für die Kapazitätsplanung ist der KV-Cache die Größe, die man zuerst unterschätzt. Der Grafikspeicher teilt sich zwischen Modellgewichten und Zwischenspeicher auf: Die Gewichte sind fest, der Rest bestimmt, wie viele Nutzer mit welcher Kontextlänge gleichzeitig arbeiten können. Kontextlänge und Nutzerzahl konkurrieren also um dieselbe Ressource – wer das eine erhöht, senkt das andere.
Datenschutzrechtlich zählt eine Eigenschaft, die im Betrieb leicht übersehen wird: Bleibt der Zwischenspeicher über die Anfrage hinaus erhalten, um eine Folgeanfrage zu beschleunigen, liegt eine Speicherung vor. Sie enthält keinen lesbaren Text, ist aber aus der Eingabe abgeleitet – und braucht damit eine Frist wie jeder andere Bestand auch.