Kurz-Fakten

  • Gemessen wird die Leistung auf einem festen Aufgabensatz, nicht die Eignung für eine konkrete Aufgabe
  • Gelangen Testaufgaben in die Trainingsdaten, sind die Werte für das betroffene Modell wertlos
  • Ergebnisse hängen an Prompt, Temperatur, Kontextlänge und Fassung des Modells – ohne diese Angaben sind sie nicht nachvollziehbar
  • Veröffentlicht wird häufig die Auswahl, die günstig ausfällt; Vergleichbarkeit setzt gleiche Bedingungen voraus
  • Deutschsprachige Aufgaben sind in den verbreiteten Sätzen unterrepräsentiert

Bedeutung in der Praxis

Nützlich sind Benchmarks als grobe Einordnung einer Größenklasse und als Warnsignal, wenn ein Modell deutlich abfällt. Untauglich sind sie für die Frage, die Anwender tatsächlich haben: Löst dieses Modell meine Aufgabe besser als jenes? Diese Frage beantwortet nur eine eigene Reihe – zwanzig echte Aufgaben aus dem Alltag, gleiche Eingabe an beide Modelle, Bewertung ohne zu wissen, welche Antwort von welchem stammt.

Der Aufwand dafür ist ein Vormittag, und das Ergebnis ist belastbarer als jede Tabelle. Es hat außerdem einen Nebeneffekt, der oft wichtiger ist als das Ergebnis selbst: Man merkt beim Zusammenstellen der Aufgaben, welche davon man dem Modell überhaupt anvertrauen möchte.

Verwandte Begriffe