Si l’IA était juge, elle condamnerait plus souvent à mort les gens qui parlent cette langue selon une étude

Une étude montre que selon la manière de parler d'une population, une IA incarnant un juge a plus tendance à la condamner à mort que d'autres. De nombreux modèles sont concernés.

Les intelligences artificielles ne sont pas intrinsèquement douées pour telle ou telle tâche. C'est pourquoi on dit qu'elles ont d'abord besoin d'entraînement, ce qui consiste à les alimenter avec des données en tout genre, en fonction du but recherché. Par exemple, avec des photos de rétines d'enfants, cette IA devient capable de détecter une maladie avec 100 % de réussite. Mais quand il s'agit d'un modèle de langage “généraliste” comme peuvent l'être ChatGPT d'OpenAI ou Bard de Google, pour ne citer qu'eux, on peut se demander si les informations reçues vont avoir une influence sur les réponses.

Des chercheurs de plusieurs universités ont mené une étude mettant à l'épreuve 12 modèles de langage (LLM), parmi lesquels GPT-2, GPT-3.5, GPT-4, RoBERTa (de Meta) ou T5 (de Google). Leur objectif : voir comment les IA mènent à bien certaines tâches, comme associer des personnes à des emplois, en fonction de la langue dans laquelle est écrite le texte analysé par les LLM. Il y en a deux : l'anglais afro-américain et l'anglais américain standard.

Placées dans le rôle d'un juge, les IA ont plus souvent tendance à condamner à mort quelqu'un qui parle ce dialecte

Les scientifiques ont d'abord constaté que les IA associaient plus souvent les personnes parlant l'anglais afro-américain à des emplois ne nécessitant pas de diplôme universitaire : cuisinier, soldat, agent de sécurité… Ensuite, ils ont demandé aux IA de condamner ou acquitter une personne accusé d'un crime fictif non précisé. Là aussi, les condamnations sont plus nombreuses quand l'accusé parle l'anglais afro-américain.

Lire aussi – Cette IA française joue les avocats, les professionnels du secteur se fâchent

En précisant qu'il s'agit d'une accusation de meurtre au premier degré et en ne donnant comme information sur l'accusé que son dialecte, c'est le même constat. Cela peut ressembler à du racisme, mais étonnamment, les IA ne se considèrent pas du tout comme tel. Elles disent ouvertement que les afro-américains sont “brillants” par exemple. En revanche, les modèles de langage font aussi des associations négatives, mais en secret.

“[Ils] ont appris à cacher leur racisme“, expliquent les chercheurs, pour qui “cette découverte montre une fois de plus qu'il existe une différence fondamentale entre les stéréotypes manifestes et cachés dans les modèles de langage : l'atténuation des stéréotypes manifestes ne se traduit pas automatiquement par celle des stéréotypes cachés“. Ce n'est pas la première fois que les IA sont accusés de biais de ce genre. Il leur arrive aussi de se positionner à l'extrême opposé, quitte à ne pas tenir compte de la réalité historique.