Les résumés IA de Google racontent souvent n’importe quoi, cette étude inquiète

Une étude menée sur des milliers de résumés IA affichés dans les résultats Google montre qu'ils comportent fréquemment des inexactitudes. En sachant à quel point les internautes s'y fient, ces résultats interpellent.

En 2024, Google annonce que son moteur de recherche ne sera plus jamais le même. C'est la naissance des résumés IA, ces courts paragraphes générés par Gemini qui synthétisent les résultats affichés par le moteur. Les utilisateurs y voient un gain de temps appréciable, les propriétaires de sites Internet la mort programmée de leur entreprise. Et ce n'est pas du pessimisme : seuls 1 % des internautes cliquent sur un lien après avoir lu un résumé IA dans Google.

Un constat qui pose également une autre question : celle de la fiabilité de la fonctionnalité. Si 99 % des gens prennent ce qu'elle raconte pour argent comptant, il faut absolument que les informations mentionnées soient correctes. Or, il s'avère que ce n'est pas forcément le cas. Parfois, cela pousse Google à retirer les résumés IA, quand ils donnent des conseils médicaux erronés notamment. Et d'une manière générale, des études montrent qu'il y a beaucoup d’approximations, voire de désinformations.

Ne faites pas trop confiance aux résumés IA de Google

Le New-York Times s'est penché sur la question, rappelant que selon les analyses récentes, les résumés IA de Google sont corrects 9 fois sur 10. Encourageant, sauf que ramené aux 5 billions de recherches annuelles (5000 milliards), cela veut dire que des centaines de milliers de faux résultats sont affichés chaque minute. Pire, plus de la moitié des réponses correctes sont “non étayées“. Autrement dit : elles renvoient à des sources qui ne confirment pas, parfois infirment, l'information donnée.

Lire aussi – Google ne veut pas admettre que les résumés IA dans les résultats de recherche tuent Internet à petit feu

Une start-up indépendante spécialisée en IA a analysé 4 326 recherches Google à la demande du média. Premier constat : Gemini 3 donne 91 % de bonnes réponses, comme déjà calculé auparavant. Mais quand l'IA se trompe, impossible de s'en rendre compte facilement. Exemple : en demandant en quelle année la maison de Bob Marley a été transformée en musée, le résumé IA dit “1987” au lieu de la bonne date, 1986. Dans les sources citées juste en-dessous, on trouve une page Facebook, un blog personnel et une page Wikipédia.

La page Facebook est celle de Cedella Marley, la fille du chanteur. Elle a posté des photos de sa visite au musée, mais sans parler de sa date de création. Le blog en donne une mauvaise, tandis que la page Wikipédia parle de 1986 et de 1987. Dans ces conditions, comment savoir qui a raison et qui a tort ? Malgré les autres exemples du même acabit, il n'y a pas lieu de s'inquiéter selon un porte-parole de Google : “Cette étude présente de sérieuses lacunes. Elle ne reflète pas ce que les gens recherchent réellement sur Google“.

Les résumés IA de Google peuvent être manipulés assez facilement

Un second problème doit être réglé. Comme l'IA écrit son paragraphe en fonction des résultats de recherche, elles peut être biaisée. De la même manière qu'on peut la pousser à afficher de faux numéros renvoyant à des arnaqueurs, il est possible de lui faire dire des choses délibérément fausses. Un journaliste Tech de la BBC a ainsi publié sur un blog un article totalement inventé traitant d'un concours de mangeurs de hot-dogs auquel il aurait participé avec des collègues. L'homme se place premier du classement fictif.

Lire aussi – YouTube remplace les titres de vidéos par des résumés IA, merci mais non merci

Le lendemain, une recherche Google sur les meilleurs journalistes Tech mangeurs de hot-dogs donne un résumé IA le citant comme grand vainqueur du concours, accompagné d'autres noms. Là aussi, Google balaye les résultats d'un revers de la main : “Nos fonctionnalités IA pour la recherche s'appuient sur les mêmes mécanismes de classement et de sécurité qui empêchent la grande majorité des spams d'apparaître dans nos résultats. La plupart de ces exemples correspondent à des recherches irréalistes que personne n'effectuerait réellement“.

Source : The New-York Times