Kurz-Fakten
- Je Token werden drei Vektoren gebildet: Anfrage, Schlüssel und Wert
- Mehrere Aufmerksamkeitsköpfe arbeiten parallel und erfassen unterschiedliche Arten von Bezügen
- Der Aufwand wächst quadratisch mit der Kontextlänge – daher die Grenzen bei sehr langen Eingaben
- Schlüssel und Werte bereits verarbeiteter Token werden im KV-Cache gehalten und belegen dort Speicher
- Die Gewichte zeigen, worauf gerechnet wurde – eine Begründung der Antwort sind sie nicht
Bedeutung in der Praxis
Der letzte Punkt ist der, der in Verwaltungsvorgängen zählt. Darstellungen von Aufmerksamkeitsgewichten sehen aus wie eine Erklärung und werden gern als solche verwendet: „Das Modell hat auf diese Stelle geachtet.“ Tatsächlich zeigen sie einen Rechenweg, nicht einen Grund. Wer sie als Nachweis in eine Akte legt, verwechselt Nachvollziehbarkeit der Rechnung mit Begründung der Entscheidung.
Praktisch bedeutsam ist außerdem die direkte Linie vom Mechanismus zum Speicherbedarf: Weil Schlüssel und Werte aufbewahrt werden, kostet jedes zusätzliche Token im Kontext dauerhaft Grafikspeicher. Das ist der Grund, warum die Frage „wie viele Nutzer gleichzeitig“ und die Frage „wie lang darf die Eingabe sein“ dieselbe Frage sind.