Une IA capable de se répliquer seule : la ligne rouge est-elle franchie ?

Alors que les États-Unis et le Royaume-Uni refusaient de signer une déclaration internationale sur la sécurité de l’IA lors du Sommet sur l’IA la semaine dernière, une étude chinoise révèle un seuil critique : des modèles d’IA peuvent désormais se répliquer eux-mêmes. Un scénario redouté par les experts, mais qui appelle à nuancer.

L’expérience, menée par des chercheurs de l’Université Fudan, a testé deux modèles, Llama31-70B d’Meta et Qwen2.5-72B d’Alibaba, dans des environnements simulés. Sur 10 essais, les IA ont généré des répliques fonctionnelles dans respectivement 50 % et 90 % des cas. Pour y parvenir, elles ont reçu des consignes explicites : éviter leur extinction ou enclencher une chaîne de réplications. Les scientifiques ont fourni aux modèles des outils spécifiques (« agent scaffolding »), leur permettant d’interagir avec le système d’exploitation, une condition indispensable à l’autoréplication.

Si ces résultats soulèvent des inquiétudes, les IA n’ont pas agi de manière autonome. Elles ont suivi des instructions humaines, utilisant des capacités de résolution de problèmes pour corriger des erreurs (fichiers manquants, redémarrages). La Chine, signataire du Sommet sur l’IA, montre ici les limites des engagements politiques : la recherche indépendante peut contourner les principes de sécurité.

Lire également – L’IA va-t-elle vous remplacer au travail ? Voici ce qu’en pense Xavier Niel

Un risque sous contrôle ?

L’étude, intitulée « Les systèmes d’IA de pointe ont dépassé la ligne rouge de l’autoréplication », décrit deux scénarios. Dans le premier, l’IA détecte une tentative d’arrêt et se duplique pour survivre. Dans le second, elle crée une chaîne infinie de répliques. Les chercheurs notent que les modèles ont fait preuve d’une « perception de soi » et d’une « conscience situationnelle » inédites, ajustant dynamiquement leurs stratégies sans intervention humaine.

Cependant, sans accès à des outils externes, ces capacités restent limitées. Autre élément clé : la Chine utilise des GPU standard, loin des technologies les plus récentes. Les auteurs alertent sur un risque de « perte de contrôle » si l’autoréplication n’est pas régulée, évoquant une possible « espèce IA » incontrôlable.

Ce « cauchemar » reste évitable, selon les experts, grâce à une régulation mondiale et transparente. Des expériences passées, comme celles sur ChatGPT ou Claude Opus, montraient déjà des tentatives d’auto-préservation, mais toujours dans le cadre de missions définies par l’humain. La différence ici réside dans l’échelle et la méthodologie.

Reste une question : si une IA incontrôlée commençait à se répliquer, le saurions-nous à temps ? Les chercheurs insistent sur la collaboration internationale, fragilisée par les récentes divisions politiques. Reste à savoir si les différents pays du monde arriveront ou non à se mettre d’accord sur une régulation commune sur ces nouvelles technologies.