Sind Benchmarks also wertlos?

Nein, sie beantworten nur eine andere Frage. Für die grobe Einordnung einer Größenklasse und als Warnsignal, wenn ein Modell deutlich abfällt, sind sie brauchbar. Untauglich sind sie für die Entscheidung zwischen zwei Modellen, die in derselben Liga spielen – und genau diese Entscheidung steht im Betrieb an.

Wie erkenne ich, ob eine Zahl kontaminiert ist?

Von außen gar nicht, und das ist der Kern des Problems. Ein Modell, das die Musterlösung auswendig kennt, verhält sich beim Test genauso wie eines, das sie herleitet. Zwei Indizien gibt es: Ein Modell, das bei bekannten Testaufgaben glänzt und bei sinngleichen selbst formulierten einbricht, hat vermutlich erinnert. Und eine Modellkarte, die zur Datenbasis schweigt, kann die Frage nicht ausräumen.

Wie viele Aufgaben braucht eine eigene Reihe?

Zwanzig sind ein guter Anfang und schon aussagekräftig, wenn sie aus dem echten Betrieb stammen. Wichtiger als die Zahl ist die Streuung: leichte und schwere Fälle, kurze und lange Eingaben, saubere und unsaubere Vorlagen. Fünfzig gleichartige Aufgaben sagen weniger als zwanzig verschiedene.

Warum nennt Ihre Bestenliste dann Punktzahlen?

Weil es eigene Bewertungen sind und nicht geliehene. Die vier Kriterien und ihre Herkunft stehen offen in der Methodik, ebenso der Hinweis, dass es sich um eine Selbsteinschätzung für einen kleinen deutschen Betrieb handelt. Wo für eine neue Modellfassung die Erprobung fehlt, setzen wir keine neue Note, sondern schreiben hin, woher die alte stammt.

Benchmarks und warum wir keine zitieren

Kein Modellvergleich auf dieser Seite nennt eine Punktzahl aus einer standardisierten Testreihe. Das ist keine Nachlässigkeit, sondern eine Entscheidung – und sie hat vier Gründe.

Was ein Benchmark misst

Ein Benchmark ist ein fester Satz von Aufgaben mit hinterlegten Musterlösungen. Ein Modell beantwortet sie, ein Programm zählt die Treffer, heraus kommt eine Zahl. Diese Zahl sagt: So gut löst dieses Modell diese Aufgaben unter diesen Einstellungen.

Was sie nicht sagt: ob das Modell Ihre Aufgabe löst. Zwischen beidem liegt eine Übertragung, und die trägt bei Sprachmodellen schlechter als bei fast jeder anderen Technik.

Vier Gründe, warum die Zahl nicht überträgt

Die Testaufgaben stehen im Netz Und was im Netz steht, landet in Trainingsdaten. Hat ein Modell die Aufgaben während des Trainings gesehen, misst der Test das Erinnern und nicht das Können. Ob das passiert ist, weiß nur, wer die Trainingsdaten kennt – und die sind bei fast allen Modellen nicht veröffentlicht.
Dieselbe Zahl entsteht unter vielen Bedingungen Ergebnis und Bedingungen hängen zusammen: Formulierung der Aufgabe, Zahl der Beispiele im Prompt, Temperatur, Kontextlänge, Fassung des Modells, Anzahl der Versuche. Werden diese Angaben weggelassen – und meistens werden sie weggelassen –, ist die Zahl nicht nachvollziehbar und schon gar nicht vergleichbar.
Berichtet wird, was gut aussieht Es gibt Dutzende gängiger Testsätze. Wer sein eigenes Modell vorstellt, wählt darunter aus. Das ist nicht unredlich, es ist Marketing – aber eine Auswahl ist etwas anderes als eine Messung, und man sieht der Tabelle nicht an, was nicht darin steht.
Deutsch kommt kaum vor Die verbreiteten Testsätze sind englischsprachig. Ein Modell, das auf Englisch vorn liegt, kann auf Deutsch deutlich abfallen – bei Fachsprache, bei Amtsdeutsch, bei Beugung und zusammengesetzten Wörtern. Für ein Portal, dessen Nutzer deutsche Texte verarbeiten, ist das der Grund, der die anderen drei überflüssig macht.

Der Fall, der eine ganze Tabelle entwertet

Gelangt ein Testsatz in die Trainingsdaten, sind die Werte für dieses Modell wertlos – nicht ungenau, sondern wertlos. Und es gibt keinen Weg, das von außen festzustellen: Ein Modell, das die Antwort auswendig kennt, verhält sich beim Test genau wie eines, das sie herleitet.

Deshalb ist die Angabe, die auf Modellkarten am häufigsten fehlt, zugleich die, ohne die keine Zahl belastbar ist: woraus trainiert wurde.

Was wir stattdessen tun

Eigene Stichproben mit deutschen Aufgaben. Das steht so in der Methodik der Bestenliste, zusammen mit dem Satz, den wir für wichtiger halten als jede Zahl: Wo die Erprobung für eine neue Modellfassung noch nicht gelaufen ist, setzen wir keine neue Note, sondern schreiben hin, woher die alte stammt.

Das ist weniger präzise als ein Prozentwert und ehrlicher. Eine Selbsteinschätzung, die als solche gekennzeichnet ist, sagt mehr als eine geliehene Zahl, deren Bedingungen niemand kennt.

Eine eigene Reihe in einem Vormittag

Der Aufwand ist kleiner, als er klingt, und das Ergebnis belastbarer als jede Tabelle.

Zwanzig echte Aufgaben sammeln Aus dem laufenden Betrieb, nicht ausgedacht. Mit den Eingaben, die tatsächlich vorkommen – samt Tippfehlern, Abkürzungen und unvollständigen Sätzen.
Vorher aufschreiben, was eine gute Antwort ist Zwei Sätze je Aufgabe genügen. Wer das erst hinterher tut, bewertet die Antwort, die er bekommen hat, und nicht die, die er brauchte.
Beide Modelle mit derselben Eingabe laufen lassen Gleiche Einstellungen, gleiche Formulierung, und jede Aufgabe zweimal – Sprachmodelle antworten nicht jedes Mal gleich.
Blind bewerten Die Antworten mischen und ohne Kennzeichnung lesen. Das ist der Schritt, den alle auslassen und der die meiste Selbsttäuschung verhindert.
Aufschreiben und aufheben Die Reihe ist beim nächsten Modellwechsel wieder da. Ab dem zweiten Durchgang kostet sie eine Stunde statt eines Vormittags – und erst dann wird sie richtig nützlich.

Der Nebeneffekt, der oft mehr wert ist als das Ergebnis

Beim Zusammenstellen der zwanzig Aufgaben merkt man, welche davon man einem Modell überhaupt anvertrauen möchte. Diese Sortierung entsteht nebenbei und ist für die Einführung wichtiger als die Frage, welches Modell gewinnt.

Wofür Benchmarks trotzdem taugen

Als grobe Einordnung einer Größenklasse. Ob ein Modell in der Liga von sieben oder von zweihundert Milliarden Parametern spielt, zeigen sie zuverlässig.
Als Warnsignal nach unten. Ein Modell, das deutlich abfällt, fällt in den Tabellen auf, bevor es im Alltag auffällt.
Als Fortschrittsmaß für Entwickler. Wer ein Modell baut, braucht eine Zahl, gegen die er optimiert. Das ist ein anderer Zweck als eine Kaufentscheidung.

Die Frage an jeden, der mit Zahlen wirbt

Sie ist unbequem und in einem Satz gestellt: Unter welchen Bedingungen ist diese Zahl entstanden, und wie schließen Sie aus, dass die Testaufgaben im Training standen?

Auf die erste Hälfte gibt es meistens eine Antwort. Auf die zweite fast nie – und das ist keine Unehrlichkeit, sondern eine Eigenschaft der Sache. Wer sie freimütig einräumt, ist als Gesprächspartner brauchbarer als einer, der eine Zahl verteidigt.

Warum ein kleineres Modell für viele Aufgaben ausreicht, ohne dass dafür eine Messung nötig wäre, steht im Lexikon unter Parameter. Warum eine flüssige Antwort nichts über ihre Richtigkeit sagt, unter Halluzination.

Warum wir keine Benchmarks zitieren