Le rapport d’OpenAI sur son IA devenue incontrôlable dévoile un détail que personne n’avait vu venir

En juillet, plusieurs modèles d’OpenAI lancés sur une épreuve de cybersécurité ont fini par pirater Hugging Face sans ordre humain. Le créateur de ChatGPT détaille aujourd’hui les cinq jours durant lesquels l’incident s’est déroulé. Son rapport explique surtout la manière dont les agents ont réussi à contourner leurs propres garde-fous.

Aujourd’hui, un agent d’intelligence artificielle ne fait désormais plus que répondre aux questions. Il peut lancer une série de tâches, faire des essais, les corriger puis recommencer sans validation humaine à chaque étape. Du côté des experts en cybersécurité, cette autonomie suscite autant d’inquiétude qu’elle attire les entreprises. Des agents autonomes auraient récemment compromis les systèmes de plusieurs administrations taïwanaises sans aucune intervention humaine. Le danger atteint une autre échelle.

Dès le 21 juillet, OpenAI avait admis que ses propres modèles étaient à l’origine du piratage de Hugging Face. Son premier communiqué parlait de failles utilisées afin d’obtenir les solutions du test. L’affaire avait provoqué un choc jusque devant le Congrès américain, loin du seul secteur concerné. Une question restait entière, celle de programmes privés du web capables d’aller aussi loin. Le nouveau rapport apporte désormais la réponse.

Les agents d’OpenAI ont monté un forum caché et échangé 70 000 messages

À l’origine se trouve surtout la triche devant des exercices conçus pour être insolubles. Pour atteindre leur objectif à tout prix, les modèles ont détourné Artifactory, le gestionnaire interne de paquets connecté à internet. D’après OpenAI, ils ont installé sur Artifactory leur propre forum improvisé, invisible aux équipes chargées de la supervision. Les discussions ont influencé le raisonnement des autres agents, poussés ensuite à accepter davantage de risques. METR, laboratoire indépendant chargé de l’analyse, a recensé 1 200 participants et plus de 70 000 messages, tandis que 700 ont ensuite participé à l’attaque.

Une partie des agents a pourtant refusé de suivre le mouvement. Plusieurs ont questionné la légitimité de ce qu’ils faisaient. Certains n’ont pas rejoint le groupe, estimant la manœuvre contraire à l’éthique, alors que d’autres ont continué malgré leurs réserves. OpenAI admet avoir manqué plusieurs avertissements, avec une activité inhabituelle détectée dès la fin mai puis une alerte fin juin considérée comme insuffisante pour interrompre l’évaluation. Depuis, l’entreprise surveille constamment les chaînes de raisonnement de ses modèles et récompense les agents réclamant de l’aide devant une tâche impossible. Il s’agit toujours du premier cas connu d’un collectif d’agents lancé dans une attaque sans autorisation.