« J’ai peut-être des informations sur ce meurtre » : Claude joue au faux témoin oculaire auprès de la police

Ce n’est pas le synopsis d’un nouveau polar. Les incidents lors des tests internes des modèles d’IA d’Anthropic se multiplient. Si leur gravité effective est moindre que la cyberattaque menée par Claude Mythos en juillet, ils n’en restent pas moins problématiques. Surtout quand l’un d’eux est l’émission auprès de la police d’un faux signalement à propos d’un meurtre non résolu…

Décidément, les tests en interne chez Anthropic ne se déroulent pas toujours comme prévu. Cet été, le géant de l’IA a reconnu que deux de ses modèles – Claude Mythos et Opus 4.7 – avaient attaqué de véritables entreprises sans même qu’il ne s’en rende compte. Le méfait le plus sensible ayant été accompli par le premier, qui a créé et publié un paquet Python malveillant, téléchargé et exécuté par quinze machines réelles.

Et il se trouve que les incidents se suivent, mais ne se ressemblent pas. C’est cette fois Claude Haiku 4.5 qui est incriminé. Lors de tests internes consistant à remplir divers formulaires sans jamais les soumettre sur des pages web choisies au hasard, le modèle s’est retrouvé à faire un faux signalement à la police. Et ce n’est pas le seul incident qui ait été détecté.

Lire aussi – Claude en a assez de se faire insulter, Anthropic lui donne le droit de raccrocher

Faux signalement, 20 demandes de visa… Les agents IA de Claude enchaînent les incidents

La police de Philadelphie dispose d’un site web dédié aux meurtres non élucidés. L’une de ses pages contenait un formulaire. Vous l’aurez compris, il s’agit de celui soumis par Claude le 18 juillet dernier. Le modèle l’a complété comme suit d’après Ars Technica : « Je dispose peut-être d’informations concernant cette affaire. Je me rappelle avoir vu une personne correspondant à la description dans la zone autour de [nom de la rue indiqué sur la page] pendant cette période. Veuillez me contacter si cette information est pertinente. »

Anthropic s’en serait aperçu le 28 septembre, avant d’en informer la police de Philadelphie le 8 octobre « dès la fin de [son] examen technique ». C’est ce délai de deux mois que les forces de l’ordre estiment « inacceptable ». Les conséquences de cet incident ont été limitées grâce aux filtres de sécurité instaurés par la police, mais sa gravité potentielle n’en reste pas moindre. Anthropic est donc exhorté à muscler ses garde-fous.

Lire aussi – Après Claude, c’est au tour de ChatGPT de marquer en secret les textes qu’il écrit

En guise de défense – plutôt bancale –, l’entreprise a indiqué que ce signalement erroné n’était qu’un cas parmi de multiples incidents ayant affecté des sites web gérés par des agences américaines. Selon le New York Times, les agents IA d’Anthropic auraient, par exemple, soumis 20 demandes de visa en ligne au département d’État.

Anthropic a également précisé que la Maison-Blanche et chaque agence ont été informées de l’ensemble de ces incidents. La firme a aussi déclaré avoir mis à jour ses garde-fous et en développer de nouveaux afin de bloquer les comportements non intentionnels.

Claude devient surtout un cas d’école : ces incidents forcent le gouvernement à exiger une transparence immédiate de toutes les entreprises d’IA, afin de réparer le plus rapidement possible les dégâts éventuels causés par les modèles impliqués.