Nombreux sont ceux qui font confiance aux résumés d’actualités générés par IA. Mais il convient d’interroger l’exactitude des résultats proposés. C’est ce qu’ont fait l’Union européenne de radio-télévision et la BBC, dont l’étude révèle que les utilisateurs feraient mieux de se méfier.

Les résumés IA sont une fonctionnalité pratique des moteurs de recherche pour avoir un aperçu rapide d’une réponse à une requête posée. En revanche, comme toujours en matière d’IA, il est nécessaire de vérifier les informations fournies par cette technologie en approfondissant la recherche et en croisant les sources.

Or, une étude du Pew Research Center révélait cette année que seulement 1 % des 900 internautes américains interrogés affirmaient cliquer sur un résultat après avoir lu le résumé proposé par AI Overviews de Google. Ces résultats suggèrent que la majorité des utilisateurs accordent une confiance aveugle à l’IA. Là réside le problème, puisqu’une nouvelle étude internationale montre que Gemini n’est pas très performant dans ce domaine et présente divers problèmes.

Gemini, mauvais élève des systèmes de résumé d’actualités générés par IA

L’Union européenne de radio-télévision (EBU) et la BBC ont analysé et comparé l’exactitude des résumés d’actualités générés par ChatGPT, Gemini, Copilot et Perplexity. Selon nos confrères d'Android Authority, leur étude a révélé qu’aucun de ces quatre modèles n’avait obtenu d’excellents résultats aux tests réalisés, et qu’ils avaient, pour la plupart, un niveau similaire.

Ce que font ressortir les résultats, c’est surtout que le mauvais élève de cette étude n’est autre que l’IA de Google : Gemini présente des problèmes significatifs dans de nombreux résultats – et ils sont plus nombreux que ceux de ses camarades. Les chercheurs les détaillent :

• L’absence de liens clairs vers les sources,
• L’incapacité à distinguer les sources fiables des contenus problématiques,
• Une dépendance excessive à Wikipédia,
• Un manque de contexte pertinent,
• Et des erreurs dans les citations directes.

Pour obtenir ces résultats, la BBC a commencé par réaliser une large enquête en parallèle d’une série de six groupes de discussion afin de recueillir des données sur les expériences et les opinions des participants sur ces quatre modèles. Près de 42 % des adultes britanniques ont déclaré faire confiance à l’IA et les jeunes encore davantage. L’EBU a ensuite élargi cette approche.

Même si des progrès ont été enregistrés pour chaque système au fil des six mois qui ont séparé la collecte de ces deux principaux jeux de données, Gemini reste à la traîne – malgré une meilleure précision de ses résultats. Ce n'est pas la première fois que les résumés IA de Google font parler d'eux et pas pour les bonnes raisons : à la suite de la mésaventure d'un internaute, nous vous recommandions de vous méfier des numéros de téléphone qu'ils affichaient dans les résultats de recherche.