La Chambre Chinoise, l'expérience qui explique pourquoi l'IA ne comprend RIEN à ce qu'elle dit

Imaginez : vous êtes en train de discuter avec quelqu'un dans votre langue. La conversation se déroule parfaitement. Les réponses tombent juste, précises, pertinentes. Vous commencez à trouver l'échange agréable, d'autant que cette personne vous comprend mieux que quiconque. Sauf que... Non. En réalité, elle ne pane pas un traître mot de ce qu'elle vous raconte ! Bienvenue dans la Chambre Chinoise, une expérience de pensée imaginée il y a quarante-cinq ans.

En 1980, le philosophe américain John Searle imagine ce scénario pour dynamiter l'idée qu'un ordinateur peut penser. À l'époque, on est dans le triomphe de « l'intelligence artificielle symbolique ». Les chercheurs créent des systèmes qui manipulent des symboles selon des règles logiques et certains résultats commencent à devenir impressionnants. Le raisonnement est simple : si une machine réussit le test de Turing (donc si on ne peut pas la distinguer d'un humain lors d'une conversation), alors on peut conclure qu'elle pense vraiment.

Searle trouve la conclusion hâtive et propose cette expérience : enfermez une personne qui ne parle pas chinois dans une pièce. Donnez-lui des idéogrammes imprimés sur des petits morceaux de papier. Fournissez-lui aussi un manuel exhaustif indiquant lesquels choisir et dans quel ordre les assembler, selon la configuration de ceux qu'elle recevra. À l'extérieur, des gens parlant chinois transmettent leurs questions par une fente. La personne recluse consulte son manuel, identifie les symboles, applique les règles mécaniquement et retourne une réponse en chinois. Pour l'extérieur, tout fonctionne : les réponses sont cohérentes. Mais l'individu enfermé dans la chambre n'a pas compris un seul mot des messages qu'il a envoyés.

Selon Searle, cette personne reproduit exactement ce que fait un algorithme : elle suit des règles syntaxiques sans jamais accéder au sens. Il y a quarante-cinq ans, l'argument a déclenché des décennies de débats féroces, car la Chambre Chinoise posait une question vertigineuse : qu'est-ce que comprendre, vraiment ? Un système qui reproduit mécaniquement tous les comportements d'un esprit humain possèderait-il une conscience ?

Aujourd'hui, avec l'émergence des grands modèles de langage et des IA génératives, la Chambre Chinoise revient sur le devant de la scène, parce qu'elle pointe précisément ce qui fait défaut à ChatGPT, Claude, Gemini, Copilot et consorts. Ces algorithmes ont l'air de converser. Ils résolvent des problèmes, créent des textes et semblent comprendre ce qu'on leur demande. Mais en réalité, ils ne font que manipuler des patterns statistiques. Ils simulent, comme le type dans la chambre chinoise.

John Searle est mort la semaine dernière, à 93 ans. Mais il nous laisse une expérience de pensée précieuse que j'évoque souvent dans mes formations sur l'intelligence artificielle. Car elle est un bon moyen de se rappeler qu'on n'est pas en train de discuter avec quelqu'un, contrairement à ce que l'Effet ELIZA veut nous faire croire. On envoie seulement des prompts à un traitement mécanique qui imite notre façon de parler.