Des chercheurs ont réussi à contourner les mesures de sécurités de Gemini pour forcer l'assistant à exécuter des actions qu'il n'est pas censé réaliser. Ils ont notamment réussi à prendre le contrôle des objets connectés d'une maison, mais pas que.

Imaginez. Vous êtes chez vous, et tout d'un coup, tous vos objets connectés deviennent fous. Ils s'allument de manière inopinée, ou déclenchent des actions que vous n'avez pas demandées. Un bug ? Non, une attaque. Trois chercheurs en sécurité ont démontré qu'il était possible de prendre le contrôle d'une maison connectée à distance en exploitant une vulnérabilité de l'assistant IA Gemini de Google.

La procédure commence par l'envoi d'une invitation Google Agenda vérolée. Celle-ci inclut des instructions pour allumer les produits domotiques ultérieurement. Ensuite, il suffit de demander à Gemini de résumer les événements à venir dans la semaine. L'assistant se base sur les informations de Google Agenda pour répondre à cette question. Les instructions dormantes sont alors déclenchées et les appareils qui devaient s'allumer automatiquement plus tard démarrent à l'instant. C'est un cas concret de piratage d'un service basé sur un grand modèle de langage (LLM).

Google prend la menace au sérieux

“Les LLM sont sur le point d'être intégrés à des humanoïdes physiques, à des voitures semi-autonomes et entièrement autonomes, et nous devons vraiment comprendre comment sécuriser ces LLM avant de les intégrer à ce type de machines, où, dans certains cas, les conséquences seront la sécurité et non la confidentialité”, réagit Ben Nassi, chercheur à l'université de Tel-Aviv, cité par Wired.

Avec ses collègues, il a présenté 14 exemples d'attaques indirectes par injection de prompts contre Gemini, dont 3 concernent la maison connectée. Les attaques ont fait l'objet d'une démonstration lors de la récente conférence Black Hat sur la cybersécurité à Las Vegas. Heureusement, les trois experts sont des hackers éthiques et n'ont jamais eu l'intention d'exploiter ces vulnérabilités à des fins malveillantes. Ils ont prévenu Google des failles de sécurité en février dernier.

Andy Wen, directeur de la division des produits de sécurité pour Google Workspace, a fait savoir que les vulnérabilités n'ont pas été exploitées par des pirates informatiques aux intentions douteuses. Mais l'entreprise a pris au sérieux les avertissements des chercheurs, et a déployé plusieurs correctifs pour empêcher ce type d'action à l'avenir.

Le cadre de Google assure que la découverte de ces failles de sécurité a motivé la société à accélérer le déploiement de nouvelles défenses contre les attaques par injection d'invites d'IA. Google compte notamment sur le machine learning pour détecter les attaques potentielles et les invites suspectes à l'avenir. Prochainement, Gemini pourrait exiger une confirmation plus poussée de l'utilisateur avant que n'agisse l'IA. “Parfois, certaines choses ne devraient pas être entièrement automatisées et les utilisateurs devraient être informés”, estime Andy Wen.

Contourner les restrictions de Gemini est un jeu d'enfant

Parmi les autres types de piratage de Gemini identifiés, on compte la possibilité de le forcer à spammer des liens, à générer des contenus vulgaires ou sexuels, à ouvrir l'application Zoom et lancer un appel vidéo, à récupérer l'adresse email et les détails d'un rendez-vous depuis un navigateur web ou encore de télécharger depuis un navigateur web pour smartphone.

La plupart du temps, c'est une invitation Google Agenda qui permet d'outrepasser les paramètres de sécurité de Gemini. Elle inclut une injection indirecte qui, lorsqu'elle est activée, incite le LLM à entreprendre des actions malveillantes sans tenir compte des garde-fous mis en place par les développeurs.

Les injections indirectes sont considérées comme l'un des enjeux de sécurité les plus importants en matière d'IA. Dans ce cas, le problème est d'autant plus sérieux que ce n'est pas l'utilisateur légitime qui y a recours pour contourner les restrictions, mais une source externe. Pour Google et les autres grands acteurs de l'IA, combattre les attaques de ce genre est une priorité. On ne pourra pas avoir pleinement confiance en l'IA si des solutions fiables ne sont pas trouvées.

Les chercheurs expliquent qu'il ne faut pas de connaissances approfondies pour exploiter cette vulnérabilité, et que développer une attaque de ce type est accessible à tout le monde. Il est aussi possible de varier les techniques, en utilisant Gmail ou Gdoc plutôt que Google Agenda par exemple. Ou en déclenchant l'invite dans un autre contexte, quand l'utilisateur remercie Gemini pour sa réponse, plutôt que lors de la requête initiale.