Une expérience mettant en scène ChatGPT et dont le résultat était en théorie couru d'avance a laissé les observateurs très perplexes. Tout est parti d'une simple discussion sur le jeu d'échecs. 

ChatGPT est-il vraiment “intelligent” ? Répondre à cette question dépend bien sûr de ce que vous mettez derrière ce mot, mais d'une manière générale, on a tendance à dire que oui. Depuis la généralisation de l'IA, les découvertes scientifiques permises par ses capacités d'analyse infiniment supérieures à celles de l'Homme sont de plus en plus courantes par exemple. Mais est-ce que ça en fait pour autant une technologie sans faille ?

Sam Altman, le père de ChatGPT, est catégorique : nous allons bientôt faire naître une superintelligence artificielle nous dépassant en tout point. En attendant, il est possible de prendre l'agent conversationnel à défaut assez facilement. C'est ce qu'a constaté Robert Jr. Caruso , ingénieur, alors qu'il discutait avec ChatGPT à propos de l’utilisation de l'IA dans le jeu d'échecs. Le chatbot finit par dire qu'il est lui-même un bon joueur et qu'il battrait sans problème le Video Chess d'Atari, programme utilisé en 1977 qui prédit 1 ou 2 coups à l'avance.

Qui est le meilleur joueur d'échecs entre ChatGPT et un Atari 2600 vieux de presque 50 ans ?

Caruso met donc en place une partie d'échecs entre ChatGPT et un Atari 2600 via un émulateur. Mais ce qui se passe en suite l'étonne : “Bien qu'on lui ait donné un plan d'échiquier de base pour identifier les pièces, ChatGPT a confondu les tours avec les fous […] et a perdu à plusieurs reprises la trace de l'emplacement des pièces – accusant d'abord les icônes Atari d'être trop abstraites pour être reconnues, puis ne faisant pas mieux même après être passé à la notation standard des échecs“.

“Pendant 90 minutes, j'ai dû l'empêcher de faire d'horribles mouvements et corriger sa connaissance du plateau plusieurs fois par tour. Il n'arrêtait pas de promettre qu'il s'améliorerait « si on recommençait »“, explique l'ingénieur. ChatGPT a fini par abandonner la partie face à l'Atari 2600. Vous êtes surpris ? En réalité, c'était prévisible.

Qu'est-ce qui peut expliquer ce résultat en apparence étonnant ?

En commentaires du post de Robert Jr. Caruso sur LinkedIn, plusieurs internautes répondent que l‘issue de l'affrontement est parfaitement normale. En résumé : Video Chess d'Atari est un programme spécialisé dans les échecs quand ChatGPT est avant tout un modèle de langage prédictif. Les deux n'ont pas du tout le même fonctionnement.

Un algorithme dédié aux échecs va analyser des millions de mouvements possibles par seconde en restant dans le cadre des règles du jeu. Il va ensuite en choisir un après avoir réduit ce nombre en tenant compte d'autres paramètres comme la situation de la partie à l'instant T, l'ouverture utilisée par l'adversaire, etc. C'est en quelque sorte une méthode par force brute, un peu comme si vous essayiez de trouver un mot de passe en entrant toutes les combinaisons de lettres, chiffres et symboles possibles.

De son côté, ChatGPT comprend les échecs. Il a accès à d'immenses bases de données et peut par exemple vous conseiller sur votre stratégie ou suggérer un mouvement plus optimal. Le problème, c'est que le modèle de langage sous-jacent à l'IA a pour mission de répondre à votre requête en donnant la réponse la plus attendue statistiquement. Et parfois, il se trompe. Ne lui demandez pas de “penser” avec plusieurs coups d'avance, il n'est simplement pas fait pour ça.

Sa défaite était donc inévitable, et ce malgré l'assurance affichée par l'IA qui a elle-même demandé cette confrontation. ChatGPT est encore loin du niveau de Deep Blue, qui a battu le champion du monde d'échecs Garry Kasparov en 1997, ou qu'AlphaGo de Google, qui a presque humilié le meilleur joueur de Go à l'époque, Lee Sedol.