Abgerechnet wird nach Token, nicht nach Zeichen. Wie viele Token ein deutscher Satz ergibt, entscheidet der Tokenizer des jeweiligen Modells – und die Unterschiede zwischen Modellen sind größer, als die Preistabelle vermuten lässt.
Was ein Tokenizer tut
Er zerlegt Text in Stücke aus einem festen Vokabular. Häufige Wörter bekommen ein eigenes Stück, seltene werden aus mehreren zusammengesetzt. Welche Wörter häufig sind, entscheidet das Material, mit dem das Vokabular gebildet wurde – und das war bei den meisten Modellen überwiegend englisch.
Für deutsche Texte hat das drei Folgen, die alle in dieselbe Richtung wirken:
- Zusammengesetzte Wörter zerfallen. Was im Deutschen ein Wort ist, wird in mehrere Stücke zerlegt – und zwar nicht an den Fugen, sondern dort, wo das Vokabular es hergibt.
- Beugung kostet. Vier Fälle, drei Geschlechter, starke und schwache Formen: Jede Variante ist ein anderer Zeichenfolge und wird selten eigenständig im Vokabular stehen.
- Umlaute und Eszett sind in englischlastigen Vokabularen unterrepräsentiert und werden deshalb häufiger einzeln kodiert.
Wo das teuer wird
| Wirkung | Was das praktisch heißt |
|---|---|
| Höhere Kosten je Anfrage | Bei Abrechnung nach Token zahlt derselbe Text bei zwei Modellen unterschiedlich viel – unabhängig vom Preis je Token |
| Das Kontextfenster füllt sich schneller | Ein Modell mit 128.000 Token fasst je nach Tokenizer spürbar unterschiedlich viel deutschen Text |
| Kontingente greifen früher | Wo nach Token je Minute gedrosselt wird, kommt man mit deutschen Texten früher an die Grenze |
| Mehr Speicher je Anfrage | Der KV-Cache wächst mit der Zahl der Token, nicht mit der Zahl der Zeichen |
| Längere Antwortzeit | Jedes Token wird einzeln erzeugt – mehr Token für dieselbe Aussage heißt längere Wartezeit |
Es kursieren Faustregeln, um welchen Faktor deutscher Text mehr Token ergibt als englischer. Sie stammen aus unterschiedlichen Messungen, mit unterschiedlichen Texten und unterschiedlichen Modellen, und sie unterscheiden sich erheblich.
Eine Zahl abzuschreiben, deren Herkunft man nicht kennt, wäre genau das, was dieses Portal anderen vorwirft. Die belastbare Zahl ist die eigene – und sie ist in zehn Minuten gemessen.
Selbst messen, in zehn Minuten
- Einen echten Text nehmen Kein Beispielsatz, sondern eine Seite aus dem Alltag: ein Merkblatt, ein Bescheid, eine Produktbeschreibung. Fachwortschatz und Eigennamen gehören dazu, denn genau dort schlagen die Unterschiede zu.
- Durch die Tokenizer der Modelle schicken Die Zahl liefert jede Schnittstelle in der Antwort mit. Wer den Text nicht senden will, kann den Tokenizer offener Modelle lokal laufen lassen – er ist Teil der veröffentlichten Dateien.
- Token je 1000 Zeichen notieren Diese Kennzahl ist über Texte hinweg vergleichbar und die einzige, die man braucht.
- Mit dem eigenen Bestand hochrechnen Zahl der Anfragen mal durchschnittliche Länge mal Kennzahl. Erst diese Rechnung sagt, ob ein Preisunterschied je Token überhaupt zählt.
Was man dagegen tun kann
- Ein Modell mit passendem Vokabular wählen. Modelle, die von Anfang an mehrsprachig gebaut wurden, zerlegen deutschen Text sparsamer. Teuken-7B ist dafür das ausdrücklichste Beispiel im Katalog – sein Tokenizer ist auf die 24 Amtssprachen der EU ausgelegt.
- Den System-Prompt kurz halten. Er geht bei jeder einzelnen Anfrage mit. Zweihundert Token Anweisung sind bei tausend Anfragen am Tag ein Posten.
- Nicht den ganzen Bestand mitschicken. Wenige passende Abschnitte statt vieler unpassender – das spart Token und verbessert zugleich die Antwort.
- Bei Massenläufen zweimal rechnen. Bei einmaligen Anfragen ist der Unterschied gleichgültig. Bei achthundert Meta-Beschreibungen ist er die Rechnung.
Was das für den Modellvergleich heißt
Ein Preis je Million Token ist ohne die Kennzahl daneben nicht vergleichbar. Ein Modell, das zehn Prozent billiger je Token ist und zwanzig Prozent mehr Token für denselben deutschen Text braucht, ist teurer.
Für den Betrieb auf eigener Hardware verschiebt sich die Frage: Dort zahlt man nicht je Token, sondern je Maschinenzeit – und mehr Token heißt mehr Rechenzeit und mehr Speicher. Der Effekt bleibt, er erscheint nur an einer anderen Stelle der Rechnung. Wovon die Kosten einer eigenen Anlage tatsächlich abhängen, steht im Lexikon unter VRAM.
Wie ein Modell überhaupt zu Token kommt und was daraus folgt, steht unter Token; wie viel davon gleichzeitig sichtbar ist, unter Kontextfenster.