Kurz-Fakten
- Zwei getrennte Kennzahlen: Zeit bis zum ersten Token und Token je Sekunde
- Ein Reasoning-Modell hat naturgemäß hohe Latenz, weil erst die Gedankenkette erzeugt wird
- Gleichzeitige Anfragen erhöhen den Gesamtdurchsatz einer Karte, verschlechtern aber die Einzellatenz
- Lange Eingaben verlängern die Zeit bis zum ersten Token spürbar
Bedeutung in der Praxis
Für die Auslegung eines geteilten Zugangs ist der Zielkonflikt entscheidend: Wer viele Anfragen gleichzeitig auf eine Karte legt, nutzt die Hardware gut aus und macht sie für den Einzelnen langsam. Wer wenige zulässt, hat zufriedene Nutzer und eine teure Karte.
Die übliche Auflösung ist eine Vorrangregel: Wer mehr zahlt, wird bei Auslastung zuerst bedient. Das ist ehrlicher als eine Zusicherung von Antwortzeiten, die im Ernstfall doch nicht gehalten wird.