Kurz-Fakten

  • Üblicher Bereich 0,8 bis 1,0; bei 1,0 ist die Auswahl nicht eingeschränkt
  • Wirkt zusammen mit der Temperatur, die die Wahrscheinlichkeiten vorher verändert
  • Top-k begrenzt dagegen auf eine feste Anzahl von Token, unabhängig von der Verteilung
  • Für weitgehend reproduzierbare Ausgaben ist die Temperatur auf 0 zu setzen; top-p allein genügt dafür nicht
  • Die Vorgabewerte der Schnittstellen sind auf Gesprächigkeit ausgelegt, nicht auf Sachtexte

Bedeutung in der Praxis

Die beiden Stellschrauben werden fast immer gleichzeitig verstellt, und danach lässt sich nicht mehr sagen, welche gewirkt hat. Die brauchbare Vorgehensweise ist die langweilige: eine ändern, dieselbe Aufgabe mehrfach laufen lassen, das Ergebnis notieren. Wer zwei Regler gleichzeitig bewegt, sammelt Eindrücke statt Erkenntnisse.

Für sachliche Arbeit – Zusammenfassungen, Auszüge, strukturierte Ausgaben – ist eine niedrige Temperatur der wirksamere Hebel; top-p bleibt dann meist bei seinem Vorgabewert. Umgekehrt gilt: Wer Vielfalt braucht, etwa mehrere Überschriftenvorschläge, gewinnt sie eher über die Temperatur als über eine Verkleinerung der Auswahlgruppe.

Verwandte Begriffe