Ein Modell wählt nicht das wahrscheinlichste nächste Token, sondern zieht aus einer Verteilung. Wie flach oder spitz diese Verteilung ist, entscheiden zwei Zahlen – und die stehen bei den meisten Anwendungen auf dem Wert, der beim Ausprobieren voreingestellt war.
Was die beiden Regler tun
| Temperatur | Top-p | |
|---|---|---|
| Wirkt | Vor der Auswahl: verändert die Wahrscheinlichkeiten selbst | Bei der Auswahl: begrenzt, aus welcher Gruppe gezogen wird |
| Niedriger Wert | Die Verteilung wird spitzer – wahrscheinliche Token gewinnen deutlicher | Nur die wahrscheinlichsten Token bleiben in der Gruppe |
| Hoher Wert | Die Verteilung wird flacher – auch unwahrscheinliche Token bekommen eine Chance | Die Gruppe wird groß, im Grenzfall unbeschränkt |
| Bei 0 bzw. 1,0 | 0 heißt: immer das wahrscheinlichste Token | 1,0 heißt: keine Beschränkung |
| Passt sich an | Nein, wirkt immer gleich | Ja – die Gruppengröße hängt davon ab, wie sicher das Modell ist |
Beide zusammen ergeben ein Zusammenspiel, das schwer zu durchschauen ist, wenn man beide gleichzeitig verstellt. Deshalb die Regel, die diesen ganzen Beitrag zusammenfasst: einen Regler ändern, dann messen.
Warum die Vorgabewerte sind, wie sie sind
Die üblichen Voreinstellungen stammen aus dem Gesprächsbetrieb. Dort ist Abwechslung ein Merkmal: Ein Assistent, der auf dieselbe Frage dreimal wörtlich dasselbe antwortet, wirkt stumpf. Für ein Gespräch ist eine gewisse Streuung also gewollt.
Für die Aufgaben, die im Betrieb tatsächlich anfallen, ist sie ein Nachteil:
- Auszüge und Klassifikationen. Es gibt eine richtige Antwort. Streuung erzeugt hier nur die Chance auf eine falsche.
- Strukturierte Ausgaben. Ein Feldgerüst, das in neun von zehn Fällen eingehalten wird, ist ein Feldgerüst, das nicht eingehalten wird.
- Massenläufe. Achthundert Meta-Beschreibungen mit hoher Temperatur ergeben achthundert Ergebnisse, von denen einige aus dem Rahmen fallen – und niemand liest alle.
- Alles, was verglichen werden soll. Zwei Modelle bei unterschiedlicher Streuung zu vergleichen, misst die Streuung mit.
Was wofür passt
| Aufgabe | Temperatur | Warum |
|---|---|---|
| Extrahieren, klassifizieren, umwandeln | 0 | Es gibt eine richtige Antwort; Abwechslung ist reiner Verlust |
| Zusammenfassen, glätten, übersetzen | Niedrig | Der Inhalt steht fest, die Formulierung darf leicht schwanken |
| Entwürfe, Überschriftenvorschläge, Ideen | Höher | Hier ist Streuung das Produkt und nicht der Fehler |
| Vergleichsläufe zwischen Modellen | 0 | Sonst misst man die Streuung mit |
Top-p bleibt dabei in den meisten Fällen auf seinem Vorgabewert. Es ist der feinere Regler und selten der, an dem es liegt.
Bei Temperatur 0 wählt das Modell jedes Mal das wahrscheinlichste Token – das ist die Absicht. Gleiche Ausgaben sind damit sehr wahrscheinlich und nicht zugesichert: Wie viele Anfragen gerade gemeinsam verarbeitet werden, in welcher Reihenfolge Zahlen addiert werden und auf welcher Hardware gerechnet wird, kann winzige Unterschiede erzeugen, die sich im Verlauf einer Antwort verstärken.
Für die Praxis heißt das: Temperatur 0 ist der richtige Wert für reproduzierbare Arbeit, aber kein Ersatz für eine Prüfung. Wer Gleichheit braucht, vergleicht die Ausgabe, statt sie vorauszusetzen.
Die anderen Stellschrauben, kurz
- Top-k begrenzt auf eine feste Anzahl von Token statt auf eine Wahrscheinlichkeitsmasse. Starrer als Top-p und deshalb seltener sinnvoll.
- Wiederholungsstrafen senken die Wahrscheinlichkeit bereits verwendeter Token. Gegen Schleifen hilfreich, bei Fachtexten schädlich – dort soll derselbe Begriff wiederholt werden.
- Maximale Ausgabelänge ist keine Stilvorgabe, sondern ein Abbruch. Eine zu knapp gesetzte Grenze erzeugt abgeschnittene Sätze, keine kürzeren Texte – die Kürze gehört in die Anweisung.
- Ein fester Startwert für den Zufallsgenerator wird von manchen Schnittstellen angeboten. Er hilft, ersetzt aber die Prüfung aus dem Kasten oben nicht.
Wie man es misst, statt es zu glauben
- Zehn echte Aufgaben, je fünfmal Dieselbe Eingabe, dieselben Einstellungen. Was dabei schwankt, ist die Streuung Ihrer Anwendung – und meistens ist sie größer als vermutet.
- Einen Regler ändern, wiederholen Nur einen. Wer Temperatur und Top-p gleichzeitig verstellt, sammelt Eindrücke statt Erkenntnisse.
- Nicht die beste Antwort bewerten, sondern die schlechteste Im Betrieb entscheidet der Ausreißer, nicht der Glücksfall. Eine Einstellung, deren schlechtestes Ergebnis brauchbar ist, ist die richtige.
- Das Ergebnis aufschreiben Zwei Zeilen je Aufgabenart, in die Anwendung eingetragen. Sonst steht in einem halben Jahr wieder der Vorgabewert dort.
Eine hohe Temperatur macht ein Modell nicht kreativer, sondern unsicherer. Was dabei entsteht, wirkt abwechslungsreich, weil auch unwahrscheinliche Fortsetzungen gewählt werden – und unwahrscheinliche Fortsetzungen sind überdurchschnittlich oft falsche. Wer mehr Vielfalt braucht, bekommt sie zuverlässiger über die Anweisung: fünf Vorschläge in einer Anfrage statt fünf Anfragen mit hoher Temperatur.
Warum eine flüssige Antwort nichts über ihre Richtigkeit sagt, steht im Lexikon unter Halluzination. Warum der System-Prompt keine Sicherheitsgrenze ist, unter System-Prompt.