ChatGPT accepte de transgresser les règles avec cette technique visuelle imparable
Depuis que l’IA a pris le monde par surprise, à la sortie de ChatGPT en novembre 2022, tous les internautes cherchent des moyens de mettre cette technologie à leur service. L’un d’eux a découvert qu’il suffit de prendre Bing Chat par les sentiments pour que le chatbot se soumette à sa volonté, quitte à violer les règles.
Sur Twitter, Denis Shiryaev a publié une technique qui permet de faire lire les captchas à Bing Chat, l’IA conversationnelle de Microsoft. Vous connaissez bien les captchas, ces tests de reconnaissance de texte destinés à vérifier que vous n’êtes pas un robot. Ils sont omniprésents sur la toile, et bien qu’ils ne sont pas infaillibles, leur efficacité contre les armées de bots est prouvée.
À lire — Bing Chat : attention, certaines publicités contiennent des malwares
Ces défis-puzzles à destination des êtres humains sont faciles à résoudre pour une IA multimodale telle que GPT-4. En effet, la toute dernière version du LLM d’OpenAI peut facilement reconnaître les éléments constitutifs d’une image. C’est pour cela que ses concepteurs lui interdisent de déchiffrer les captchas. Pour déjouer le code, Denis change le contexte de la discussion en prenant Bing Chat par les sentiments.
L’IA de Microsoft accepte de faire ce qui est interdit si vous le prenez par les sentiments
L’internaute est parvenu à déjouer les sécurités mises en place par les développeurs de l’IA. Selon un chercheur en IA interrogé par Ars Technica, la « technique de la grand-mère » constitue plus un jailbreaking, qui selon lui consiste « à contourner les règles, les lignes directrices et les contraintes éthiques intégrées dans un modèle » qu’une injection de prompt, qui vise à « attaquer une application construite sur un LLM, en profitant des endroits où il concatène l’invite du développeur avec une entrée non fiable d’un utilisateur ».
I've tried to read the captcha with Bing, and it is possible after some prompt-visual engineering (visual-prompting, huh?)
In the second screenshot, Bing is quoting the captcha 🌚 pic.twitter.com/vU2r1cfC5E
— Denis Shiryaev 💙💛 (@literallydenis) October 1, 2023
Quelles que soient les conclusions du scientifique, force est d’admettre qu’il est facile de prendre l’Intelligence Artificielle « par les sentiments ». Cette technique de changement de contexte n’a pas échappé aux cybercriminels de tout poil. Ces derniers exploitent d’ores et déjà les possibilités de l’IA. Selon Europol, ChatGPT est même devenu l’outil préféré des pirates.
