La Chambre Chinoise, l'expérience qui explique pourquoi l'IA ne comprend RIEN à ce qu'elle dit

Imaginez : vous êtes en train de discuter par écrit avec quelqu'un que vous ne voyez pas. La conversation se déroule normalement. Les réponses tombent juste, précises, pertinentes. Vous commencez à trouver l'échange plutôt agréable, d'autant que cette personne inconnue vous comprend mieux que quiconque. Sauf que... Ben non, en fait ! En réalité, elle ne pige pas un traître mot de ce qu'elle vous raconte ! Bienvenue dans la Chambre Chinoise, une expérience de pensée imaginée il y a quarante-cinq ans par le philosophe américain John Searle, disparu le mois dernier.

En 1980, Searle imagine ce scénario pour dynamiter l'idée qu'un ordinateur puisse penser. On est alors en plein triomphe de « l'intelligence artificielle symbolique ». À force de créer des programmes experts qui manipulent des symboles selon des règles logiques (rien à voir avec nos IA génératives actuelles, lesquelles traitent des patterns statistiques), les chercheurs commencent à obtenir des résultats de plus en plus impressionnants. Leur raisonnement est simple : pour eux, l'esprit humain n'est grosso modo qu'une machine à traiter des symboles, comme leurs programmes. Si l'on arrive à encoder les bonnes règles et les bonnes connaissances dans un algorithme, l'intelligence de l'ordinateur sera donc bientôt impossible à distinguer de celle d'un chercheur du MIT. Une idée renforcée par le fameux test imaginé par Alan Turing en 1950 : si une machine arrive à vous berner lors d'une conversation, si vous ne pouvez pas distinguer ses réponses de celles d'un humain, alors elle pense. Point final. Pour beaucoup de chercheurs en IA symbolique, c'est le critère ultime. En 1965, Herbert Simon, l'un des experts les plus influents dans ce domaine, a même prédit qu'en moins de vingt ans on serait capable de fabriquer des machines capables d'avoir le même comportement que nous (raté !).

C'est dans ce contexte que Searle propose son expérience : enfermez une personne qui ne parle pas votre langue (ici, le chinois). Donnez-lui des idéogrammes imprimés sur des petits morceaux de papier. Fournissez-lui aussi un très gros (et très exhaustif) manuel indiquant, pour toutes les situations possibles et imaginables, quels symboles choisir et dans quel ordre les assembler. À l'extérieur, vous lui transmettez vos questions par une fente. La personne recluse consulte son manuel, identifie les symboles, applique les règles mécaniquement et vous retourne une réponse adaptée en chinois. À vos yeux, tout fonctionne : les échanges sont cohérents. Mais l'individu enfermé dans la chambre n'a pas compris un seul mot de vos discussions.

Selon Searle, cette personne reproduit exactement ce que fait un algorithme : elle suit des règles syntaxiques sans jamais accéder au sens. Il y a quarante-cinq ans, cet argument a déclenché des décennies de débats féroces, car la Chambre Chinoise posait une question vertigineuse : qu'est-ce que comprendre, vraiment ? Un système qui reproduit mécaniquement tous les comportements d'un esprit humain a-t-il nécessairement une conscience ? L'expérience de pensée révèle les failles de ce postulat.

Aujourd'hui, avec l'émergence des grands modèles de langage et des IA génératives, la Chambre Chinoise revient sur le devant de la scène car on y est : ChatGPT, Claude, Gemini, Copilot et consorts réussissent de mieux en mieux le test de Turing. Or, Searle avait précisément pointé ce qui leur fait défaut : ces algorithmes ont l'air de converser. Ils résolvent des problèmes, créent des textes et semblent comprendre ce qu'on leur demande. Mais en réalité, ils ne font que manipuler des patterns statistiques. Ils simulent, comme la personne enfermée.

John Searle est mort le 17 septembre dernier, à 93 ans. Mais il nous laisse un enseignement précieux que j'évoque souvent dans mes formations sur l'intelligence artificielle. Car c'est un bon moyen de se rappeler qu'on n'est pas en train de discuter avec quelqu'un, contrairement à ce que l'effet Eliza nous incite à croire. On envoie seulement des prompts à un traitement mécanique qui imite notre façon de parler. Tâchons de ne jamais l'oublier.