Discord supprime par erreur plus de 8000 comptes à cause de son IA de modération catastrophique

Se faire bannir de Discord parce que l'on a partagé la capture d'écran d'un tableur Excel, voilà ce qui est arrivé à de très nombreux utilisateurs de la plateforme ces derniers mois. La firme a fini par confirmer que le problème venait de son côté, plus précisément de son IA de modération, et qu'elle travaille actuellement à restaurer les comptes supprimés.

Discord n'est pas exactement la plateforme la plus populaire du moment — et pourtant, il y a de la concurrence dans le domaine. Son image a été très largement entachée par l'affaire de la vérification d'âge, qui a imposé à ses utilisateurs de prendre un selfie vidéo pour s'assurer qu'ils n'enfreignent pas le règlement en la matière. Situation qui ne s'est pas vraiment arrangée lorsque l'on a découvert que, malgré ses promesses, les selfies en question sont bien traités par une entreprise tierce.

On dirait que les choses ne sont pas près de s'arranger pour Discord. La plateforme se retrouve depuis quelques jours au cœur d'une autre polémique, qui, surprise, concerne encore une fois l'intelligence artificielle. Sur les forums et autres réseaux sociaux, plusieurs utilisateurs se sont en effet plaints d'avoir perdu accès à leur compte, supposément pour des raisons de sécurité. Pourtant, ils n'avaient rien fait pour enfreindre les règles du service.

Sur le même sujet — Discord se tire une immense balle dans le pied en voulant limiter la casse de son annonce controversée

L'IA de Discord a banni des milliers de comptes par erreur

Tout au plus, ils ont partagé une image tout à fait inoffensive. Ils sont par exemple plusieurs à expliquer avoir perdu leur compte juste après avoir partagé l'image d'un simple tableur Excel, ou une capture d'écran de Minecraft. Dans un thread posté hier sur X (anciennement Twitter), Discord explique enfin ce qu'il s'est passé — et admet au passage que la faute lui revient. Incroyable mais vrai, son IA de modération a mal fait son travail.

« Nos systèmes signalent certains contenus en les comparant à des contenus nuisibles connus. Ce type de comparaison par similitude peut donner lieu à des faux positifs », écrit la plateforme. Cela explique pourquoi les images de tableurs ont été particulièrement ciblées, car elles ressemblent à des techniques employées par certains internautes pour camoufler des images illicites, comme de la pédopornographie.

Discord indique qu'environ 8200 comptes ont été supprimés par erreur depuis mai dernier, dont 200 seulement au cours du dernier week-end. Elle promet que ces derniers seront bientôt rétablis.