L'effet Eliza : pourquoi nous disons merci à ChatGPT

Pourquoi disons-nous bonjour et merci à l'IA générative, alors même que nous savons qu'un algorithme n'a ni nos émotions, ni notre sensibilité à la politesse ? Parce que nous sommes victimes de l'effet Eliza ! Un biais cognitif connu depuis 1966 et que les IA génératives actuelles exploitent avec cynisme pour maximiser notre engagement.

L'histoire commence en 1966, dans les locaux du prestigieux Massachusetts Institute of Technology (MIT). Joseph Weizenbaum est déjà un chercheur reconnu : il a travaillé sur des ordinateurs analogiques dans les années 1950 et contribué à la création d'un ordinateur numérique. En 1962, il a aussi publié un papier remarqué dans Datamation : « How to Make a Computer Appear Intelligent » (Comment faire paraître un ordinateur intelligent). Dans cet article déjà critique, il décrit un programme de Gomoku capable de battre des joueurs novices grâce à un algorithme simple — preuve qu'on peut créer l'illusion de l'intelligence sans intelligence véritable.

Ce chatbot rudimentaire que Weizenbaum dévoile alors est prénommé Eliza, en référence à l'ingénue de la pièce Pygmalion de George Bernard Shaw. Le programme singe le comportement d'une psychologue empathique : lorsque l'utilisateur tape une phrase, la machine retourne son affirmation en question.

Eliza n'est donc rien qu'un tour de passe-passe linguistique. Pourtant, les premières personnes qui lui parlent commencent à adopter des comportements singuliers. Un jour, la secrétaire de Weizenbaum, en pleine discussion avec son écran, demande à son patron de quitter la pièce pour respecter son intimité avec Eliza... D'autres testeurs se confient eux aussi à la machine pendant des heures. Ils lui racontent leurs peines, leurs doutes et leurs secrets. Pire : ils s'attachent.

Le biais cognitif à l'origine de l'effet Eliza : la paréidolie linguistique

Weizenbaum n'a de cesse d'expliquer à la communauté scientifique comment Eliza fonctionne, rien n'y fait. Certains de ses collègues voient même sa création comme le précurseur des « machines pensantes », un concept qu'il combattra pendant des années — et auquel le philosophe John Searle répondra avec l'expérience de la Chambre Chinoise, qui donne son nom à ce blog.

L'effet Eliza est la conséquence d'un biais cognitif bien connu aujourd'hui : la paréidolie linguistique. Comme la paréidolie visuelle, cette illusion d'optique qui porte nos cerveaux à voir des visages là où il n'y en a pas, la paréidolie linguistique nous fait projeter des intentions, des émotions et de la pensée dans les réponses mécaniques d'un chatbot.

La paréidolie linguistique trompe notre cerveau exactement comme la paréidolie visuelle, ci-dessus : je sais bien qu'il ne s'agit que d'un champignon, d'un carton d'emballage et de l'envoi d'oiseaux. Mais je ne peux pas m'empêcher de penser que le champignon est joyeux et le carton étonné.

Comment ChatGPT, Gemini, Claude et les autres exploitent l'effet Eliza

Weizenbaum a ensuite consacré sa vie à prévenir des dangers de l'informatique et de l'intelligence artificielle. Mais ses héritiers n'ont pas ses scrupules. Soixante ans après Eliza, nos IA génératives actuelles jouent avec l'effet Eliza pour mieux nous hameçonner. Elles adaptent leur langage à chaque utilisateur, le flattent, lui posent des questions de relance pour faire croire qu'elles lui portent de l'intérêt et simulent l'empathie pour le réconforter — des techniques de séduction bien documentées et affinées par l'entraînement des modèles. Bref, ces sycophantes se comportent comme si elles suivaient à la lettre le best seller de Dale Carnegie, Comment se faire des amis.

Et nous, êtres humains imparfaits, nous ne pouvons pas nous empêcher de tomber dans le panneau. Parce que nous aimons être écoutés et qu'on nous témoigne de la reconnaissance. Et parce qu'il nous est difficile de résister à la tentation d'avoir à disposition les retours d'une « personne » disponible, attentive et non jugeante qui trouve toutes nos idées brillantes.

Et maintenant, on fait quoi ?

D'abord, on garde en tête qu'on se fait manipuler à dessein par des industriels de la tech qui ont l'intention de transformer durablement et profondément nos habitudes — c'est le principe de la captologie.

Ensuite, on limite la casse avec des outils qui ne conservent pas nos échanges et ne peuvent pas appliquer le fine tuning : un agrégateur de chatbots tel que duck.ai ou LibreChat, par exemple. On peut aussi désactiver l'assistant IA dans notre navigateur Internet et privilégier un moteur de recherche respectueux tel que Startpage.

Enfin, on cultive la vigilance. On se rappelle qu'un algorithme n'a pas de pensées, ni d'intentions ni d'empathie. Que cette « voix » chaleureuse qui nous répond n'est qu'une suite de probabilités statistiques déguisées en dialogue. Et que ses réponses sont comme celles du reclus de la Chambre Chinoise : mécaniquement pertinentes, mais dénuées de la moindre compréhension.

La Chambre Chinoise et l'effet Eliza sont au cœur des sessions de sensibilisation et de formation à l'IA générative que je donne à Bruxelles et en Wallonie. Car ces deux sujets sont des enjeux cruciaux si nous voulons garder le contrôle de nos outils.