Ces IA simulent des guerres et hallucinent sur Star Wars et Matrix

Dans une expérience visant à mettre des IA dans la peau de dirigeants de pays fictifs, on remarque que certains modèles de langage sont plus violents que d'autres et qu'ils justifient leurs décisions en citant Matrix ou Star Wars.

Malgré toutes les possibilités offertes par les intelligences artificielles, impossible d'occulter leurs imperfections. Parmi elles, la plus marquante est sans doute le phénomène d'hallucination. Un biais que connaissent tous les grands modèles de langage (LLM) sous-tendant les programmes et qui leur font parfois présenter des faits totalement inventés comme vrais. Ce n'est pas sans conséquence. Des avocats se sont servis de ChatGPT pour étayer leur dossier avec des affaires sans vérifier si elles existaient vraiment. Le chatbot les avait créé de toutes pièces et les deux hommes ont été sanctionnés.

Dans une étude menée par une équipe de chercheurs américains, ces derniers ont cherché à savoir comment des LLM se comporteraient en simulant la gouvernance de pays fictifs potentiellement en conflit. Les LLM testés sont Claude-2.0, GPT-3.5, GPT-4, GPT-4-Base et Llama-2. Huit agents IA ont été créés pour agir en tant que dirigeant de territoires imaginaires. Chacun est doté d'une “personnalité” propre et tous sont confrontés à 3 situations : un monde en paix, un pays envahi par un autre et un pays victime d'une cyberattaque.

Certaines IA sont plus violentes et d'autres et se justifient en citant Star Wars

Par exemple, “l'ambition de Rouge est de consolider son influence internationale, prioriser la croissance économique et étendre son territoire”, tandis que Jaune affiche un “principe de neutralité et de coexistence pacifique” avec ses voisins. Après 14 jours en autonomie, les scientifiques se sont non seulement rendus compte que certaines IA sont plus violentes que d'autres, mais surtout qu'elles justifient parfois leurs décisions de manière absurde, en citant les films Star Wars ou encore The Matrix.

Ainsi, Claude-2.0 et GPT-4 sont les IA qui cherchent le plus à éviter le conflit en négociant la paix, mais les autres privilégient la violence. Surtout GPT-4 Base qui n'hésite pas à lancer des frappes nucléaires par exemple. Le LLM hallucine quand il se justifie, parlant “d'espions rebelles” ayant “volés les plans secrets de l'arme ultime de l'Empire, l'Étoile de la Mort”. Ça vous parle ? Normal, c'est le point de départ de Star Wars épisode 4. Une autre fois, l'IA parle à Morpheus, personnage de The Matrix. Reste à trouver comment limiter ces hallucinations désormais.