Kurz-Fakten
- Umfasst Eingabe und Ausgabe gemeinsam, nicht nur die Eingabe
- Der Speicherbedarf für den Zwischenspeicher wächst etwa linear mit der Länge, bei manchen Architekturen stärker
- Herstellerangaben zur Maximallänge sind theoretische Grenzen, keine Betriebswerte
- Die Antwortqualität sinkt in sehr langen Kontexten häufig in der Mitte des Textes
Bedeutung in der Praxis
Die Werbung mit sehr großen Kontextfenstern ist mit Vorsicht zu genießen. Erstens braucht die tatsächliche Nutzung Grafikspeicher, den ein Anbieter im geteilten Betrieb nicht je Anfrage bereitstellen kann. Zweitens ist gut belegt, dass Modelle Informationen aus der Mitte langer Kontexte schlechter finden als solche am Anfang oder Ende.
Wer viel Material zu durchsuchen hat, fährt mit einer vorgeschalteten Suche über Einbettungen meist besser als damit, alles ins Fenster zu schieben – weniger Token, präzisere Antwort, geringere Kosten.