Was ist Token?

Kurz-Fakten

• Im Deutschen entspricht ein Token grob 0,5 bis 0,7 Wörtern, je nach Tokenizer
• Zusammensetzungen und Umlaute erhöhen den Tokenverbrauch spürbar
• Ein mehrsprachig ausgelegter Tokenizer wie bei Teuken senkt ihn für EU-Sprachen deutlich
• Sowohl Eingabe als auch Ausgabe zählen in die Abrechnung

Bedeutung in der Praxis

Der Tokenizer ist der unauffälligste Kostenfaktor überhaupt. Wer denselben deutschen Text durch zwei Modelle schickt, kann bei gleicher Antwortqualität einen deutlichen Unterschied im Verbrauch sehen – nur weil das eine Modell „Verwaltungsvorgang“ in zwei Stücke zerlegt und das andere in sechs.

Für die Kontextlänge gilt dasselbe: Ein Fenster von 32.000 Token fasst bei ungünstiger Zerlegung merklich weniger deutschen Text. Wer plant, wie viel Dokument hineinpasst, sollte nicht in Zeichen rechnen.

Verwandte Begriffe

• Tokenizer Der Tokenizer ist der Bestandteil eines Sprachmodells, der Text in Token zerlegt und die…
• LLM Ein großes Sprachmodell ist ein statistisches Modell, das aus sehr großen Textmengen…
• Kontextfenster Das Kontextfenster ist die maximale Anzahl an Token, die ein Sprachmodell bei einer…
• Inferenz Inferenz bezeichnet die Anwendung eines bereits trainierten Modells auf eine neue…