Des requêtes secrètes peuvent modifier la mémoire de l’IA et c’est un danger
Une équipe de chercheurs démontre comment il est possible de changer la mémoire à long terme d'un chatbot sans que l'on s'en aperçoive. Ainsi que tous les risques que cela pose en matière de sécurité.
Jusqu'à il y a quelques années, ou quelques mois selon les cas, discuter avec un chatbot IA nécessitait de se répéter souvent. D'une conversation à l'autre, ChatGPT, Gemini et consorts ne se souvenaient plus de qui vous étiez, vos préférences en matière de réponse, votre style d'écriture, etc. Depuis, l'IA d'OpenAI s'est dotée d'une mémoire, suivi beaucoup plus récemment par celle de Google en France. Finis les paragraphes copiés/collés pour leur rappeler que vous voulez des réponses courtes sans formule de politesse par exemple.
Avec le développement de l'intelligence artificielle agentique, capable d'agir à votre place, sa capacité à se souvenir devient centrale. Les développeurs cherchent à ce qu'elle se rappelle de tout, même de quelque chose que vous auriez mentionné il y a des mois. Mais derrière les possibilités que cela ouvre pour l'utilisateur se pose la question de la sécurité. Une mémoire informatique, ça se manipule. Et des chercheurs de l'Université d'État du Nouveau-Mexique ont montré à quel point c'était inquiétant.
Il est possible d'injecter de faux souvenirs dans la mémoire d'une IA
L'attaque, nommée GhostWriter, ne vise pas le piratage de l'IA en elle-même pour qu'elle envoie des informations personnelles aux hackers. L'idée est d'utiliser des requêtes cachées pour modifier ce dont elle se rappelle. Les fausses informations restent en sommeil jusqu'à ce qu'elles soient consultées par l'IA lors d'une demande légitime de l'utilisateur. Les conséquences sont multiples. L'IA pourrait se souvenir d'une fausse échéance pour un projet professionnel, d'informations inventées de toutes pièces, voire dans le pire des cas transmettre des données en secret.
Lire aussi – Des hackers transforment l’IA Gemini en machine à arnaquer, Google saisit la justice
L'équipe explique que GhostWriter arrive à injecter de faux souvenirs dans la mémoire d'une IA dans 98 % des cas. Ces derniers sont activés plus tard dans 60 % des cas. La persistance est d'ailleurs l'une des particularités de l'attaque, ce qui la rend d'autant plus dangereuse. Pour y remédier, les chercheurs ont développé un système de défense appelé “Agentic Memory Sentry“, qui combine un filtrage de la mémoire avec une gestion plus stricte de cette dernière. Reste à voir si les entreprises souhaiteront l'adopter.
Source : arXiv
