Kurz-Fakten
- Eine einzelne Anfrage lastet eine Beschleunigerkarte nicht aus – der Engpass ist die Speicherbandbreite
- Continuous Batching nimmt neue Anfragen in einen laufenden Stapel auf, statt dessen Ende abzuwarten
- Mehr gleichzeitige Anfragen erhöhen den Durchsatz und zugleich den Bedarf an KV-Cache im Grafikspeicher
- Der Zielkonflikt lautet Durchsatz gegen Latenz und lässt sich nicht auflösen, nur einstellen
- Es ist der wirtschaftliche Grund dafür, dass geteilte Zugänge deutlich günstiger sind als eine exklusive Maschine
Bedeutung in der Praxis
Batching erklärt die Preisstruktur jedes geteilten KI-Zugangs. Dieselbe Karte liefert je nach Auslastung ein Vielfaches an Antworten – wer sie allein benutzt, zahlt für Rechenleistung, die währenddessen ungenutzt bleibt. Ein exklusiver Server ist deshalb nicht dann teuer, wenn er viel arbeitet, sondern dann, wenn er wenig arbeitet.
Für die eigene Anwendung folgt daraus, welche Zusagen realistisch sind. Eine gleichbleibend niedrige Antwortzeit lässt sich nur mit reservierter Kapazität geben, und die kostet, was sie kostet. Für Massenläufe ist der umgekehrte Weg der richtige: viele Anfragen gleichzeitig einreichen, Wartezeit in Kauf nehmen und dafür einen Bruchteil zahlen.