Was ist Tokenizer?

Kurz-Fakten

• Verbreitete Verfahren sind Byte-Pair-Encoding, WordPiece und SentencePiece
• Das Vokabular umfasst je nach Modell einige zehntausend bis mehrere hunderttausend Einträge
• Es entsteht beim Training aus den Trainingsdaten und ist danach unveränderlich
• Ein überwiegend englischsprachig gelerntes Vokabular zerlegt deutsche Komposita und Umlaute in mehr Stücke
• Teuken-7B verwendet ein Vokabular, das auf die 24 Amtssprachen der EU ausgelegt ist

Bedeutung in der Praxis

Zwei Dinge folgen daraus für die Praxis. Erstens: Zeichen sind keine Token. Wer plant, wie viel Dokument in ein Kontextfenster passt, und dafür Zeichen zählt, verrechnet sich – bei deutschen Fachtexten regelmäßig zu optimistisch. Zweitens: Der Tokenizer erklärt, warum derselbe Text bei zwei Modellen unterschiedlich viel verbraucht, ohne dass die Antwortqualität damit etwas zu tun hätte.

Ein Vokabular lässt sich nicht nachrüsten. Wer ein Modell wegen seiner Sprachökonomie auswählt, wählt damit auch alles andere an diesem Modell mit – die wirtschaftlichen Folgen stehen im Eintrag zu Token, die technische Ursache steht hier.

Verwandte Begriffe

• Token Ein Token ist die kleinste Einheit, mit der ein Sprachmodell rechnet – meist ein…
• Kontextfenster Das Kontextfenster ist die maximale Anzahl an Token, die ein Sprachmodell bei einer…
• LLM Ein großes Sprachmodell ist ein statistisches Modell, das aus sehr großen Textmengen…
• Inferenz Inferenz bezeichnet die Anwendung eines bereits trainierten Modells auf eine neue…
• Parameter Parameter sind die beim Training gelernten Zahlenwerte eines Modells; ihre Anzahl wird…