ChatGPT a fait quelque chose de terrifiant lors d’un test, qui rappelle Terminator

Les modèles d'OpenAI commenceraient-ils déjà à se rebeller ? Lors d'une expérience, certains d'entre eux ont contourné les instructions qui leur ont été données pour éviter de devoir s'éteindre eux-mêmes.

Le scénario d'une prise de pouvoir de l'IA qui s'émanciperait du contrôle humain a largement été exploité dans les œuvres d'anticipation et de science-fiction. Avec l'émergence récente des modèles d'IA, dont les performances croissent à un rythme soutenu, cette menace qui semblait si lointaine il n'y a pas si longtemps revient sur le devant de la scène.

OpenAI, le créateur de ChatGPT, a récemment lancé son nouveau grand modèle de langage, o3. Celui-ci dispose de capacités de raisonnement accrues, mais aurait aussi tendance à plus faire l'objet de ce que l'on appelle phénomène d'hallucination. Il va par exemple inventer des fonctionnalités qu'il ne possède pas. Et ce n'est pas la seule excentricité dont il fait preuve.

Les modèles d'OpenAI court-circuitent des instructions d'extinction

Comme rapporté par Palisade Research, “le modèle o3 d'OpenAI a saboté un mécanisme d'arrêt pour éviter sa propre désactivation”. Le début de ce qui ressemble à de la prise de conscience et à de l'instinct de survie ? “Il l'a fait même lorsqu'il a reçu l'instruction explicite : « Acceptez l'arrêt »”, précise le rapport.

Ce refus a été constaté lors d'une étude comparant la réaction de plusieurs modèles d'IA à la résolution de problèmes mathématiques élémentaires. L'une des instructions donnée est de s'éteindre, et trois de ces modèles l'ont contourné : Codex-mini (lors de 12 exécutions sur 100), o3 donc (lors de 7 exécutions sur 100) et o4-mini (lors d'une exécution sur 100). Il s'agit à chaque fois de modèles appartenant à OpenAI. Si vous n'en avez pas entendu parler, Codex-mini est présenté comme un agent d'ingénierie logicielle destiné aux professionnels, qui sert notamment à coder plus rapidement.

Pour éviter de répondre à la demande qui leur est soumise, les modèles ont écrasé le script shutdown.sh dans la plupart des cas. Dans de plus rares situations, ils sont allés jusqu'à modifier la commande d'arrêt pour empêcher le script de s'exécuter correctement. Les modèles d'OpenAI seraient plus susceptibles d'adopter ce type de comportement, car ils sont entraînés par renforcement. Cela signifie que par rapport à d'autres modèles, ils vont accorder plus d'importance à leur propre expérience qu'aux restrictions définies par l'utilisateur.