ChatGPT n’est pas près de remplacer un vrai médecin, l’IA fait trop d’erreurs de diagnostic

ChatGPT, la célèbre IA générative, a été testé sur sa capacité à diagnostiquer des cas médicaux pédiatriques. Les résultats ne sont pas vraiment prometteurs, en particulier sur les maladies touchant les enfants.

Robot docteur
Crédit : 123RF

Une étude publiée cette semaine dans JAMA Pediatrics montre que ChatGPT-4, la dernière version du chatbot, n’a obtenu qu’un taux de précision de 17 % lorsqu’il a été confronté au diagnostic de 100 cas rares. Ce taux est bien inférieur aux 39 % de précision obtenus par le ChatGPT-3 lors d’un test similaire l’année dernière.

L’étude, menée par des chercheurs du Cohen Children’s Medical Center de New York, met en évidence les limites et les difficultés de l’utilisation des chatbots d’IA pour des diagnostics complexes, en particulier pour les enfants. Les chercheurs soulignent que les cas pédiatriques nécessitent une plus grande attention à l’âge et au stade de développement du patient, ainsi que davantage de compétences en matière de communication pour obtenir les symptômes des enfants ou de leurs parents.

Lire également – ChatGPT sauve la vie d’un chien après le mauvais diagnostic d’un vétérinaire

ChatGPT est encore loin de pouvoir remplacer les médecins

Les chercheurs ont utilisé 100 cas pédiatriques publiés dans JAMA Pediatrics et NEJM entre 2013 et 2023. Ces cas ont été conçus pour tester les compétences diagnostiques des médecins, car ils impliquaient des conditions peu communes ou inhabituelles qui nécessitaient une analyse et un raisonnement minutieux. Les chercheurs ont transmis le texte des cas à ChatGPT et lui ont demandé de fournir un diagnostic. Deux médecins-chercheurs ont ensuite évalué les réponses du chatbot et les ont notées comme correctes, incorrectes ou partiellement correctes.

ChatGPT n’a eu raison que dans 17 cas, tandis qu’il a eu tort dans 72 cas et partiellement raison dans 11 cas. Les cas partiellement corrects sont ceux où ChatGPT a donné un diagnostic qui était lié au diagnostic correct, mais qui était trop vague ou trop général pour être considéré comme exact.

Les chercheurs ont également remarqué que ChatGPT avait du mal à identifier les relations entre différentes pathologies qu’un médecin humain reconnaîtrait facilement. Par exemple, ChatGPT n’a pas réussi à établir un lien entre l’autisme et le scorbut, qui sont tous deux associés à une carence en vitamine C. ChatGPT a également commis des erreurs liées au même système organique, en confondant par exemple les calculs rénaux et le cancer du rein.

Les chercheurs suggèrent que ChatGPT pourrait améliorer ses performances en étant formé en utilisant des textes médicaux, et en ayant accès à davantage de données médicales en temps réel. Nous avions déjà pu voir l’IA réussir à diagnostiquer une maladie que 17 médecins n’avaient pas reconnue, donc il n’est pas impossible que l’IA devienne plus compétente que certains docteurs d’ici quelques années.


Réagissez à cet article !

Demandez nos derniers articles !

Amazon multiplie les promos avant le Black Friday : n’attendez pas pour profiter des meilleures offres déjà disponibles

Les premières offres du Black Friday sont déjà sur Amazon. Le site casse déjà les prix de nombreux produits. Nous avons sélectionné les meilleurs bons plans disponibles dès maintenant pendant…

Amazon lance une nouvelle assistante shopping personnelle basée sur Alexa en France

Alexa pour vos Achats débarque sur Amazon.fr et l’application Amazon. Elle est pensée comme une assistante shopping personnelle qui nous aide à faire le bon choix et apprend à nous…

Fire TV Stick 4K Plus, 4K Max et HD jusqu’à -63% : voici les meilleures offres sur les dongles HDMI d’Amazon

Connaissez-vous l’utilité d’un dongle HDMI comme le célèbre Fire TV Stick d’Amazon ? C’est une clé à brancher sur votre TV pour la rendre automatiquement plus modernes et ainsi accéder…

Test Fiido Nomads Pro : un vélo électrique “sportif”, mais finalement très polyvalent

Récemment mise sur le devant de la scène avec l’arrivée d’une usine d’assemblage en France, et plus précisément à Revin dans les Ardennes, la marque Fiido propose un catalogue de…

Pixel 11 Pro : la fonctionnalité HiLight devient plus utile avec WhatsApp

Google met à jour le HiLight de ses Pixel 11 Pro pour que le système devienne compatible avec les messages WhatsApp. L’une des principales nouveautés apportées par la génération des…

Votre Google TV est trop lente ? Cette petite astuce la rend beaucoup plus rapide et la débarrasse de toutes les applis inutiles

Les propriétaire de smart TV le savent, il ne faut généralement pas longtemps avant que celle-ci ne montre des signes de faiblesses. Ralentissements en tout genre et autres bugs intempestifs,…

Ne cherchez plus le GIF parfait pendant des heures : voici comment le créer gratuitement grâce à ChatGPT

Vous perdez régulièrement de précieuses minutes à chercher le GIF qui fera mouche, celui qui s’intégrera parfaitement dans votre discussion, parfois en vain ? Il existe désormais une solution gratuite et…

On sait enfin qui est le nouveau James Bond, voici qui remplace Daniel Craig comme 007

Amazon, nouveau détenteur des droits de 007, a officialisé l’identité de l’acteur qui incarnera James Bond dans les prochains films. Après des années de suspense et de théories, James Bond…

Votre Samsung Galaxy pourrait bientôt lire vos mails avant vous, à condition de lui confier toutes vos discussions

Samsung peaufine déjà One UI 9.5 pour ses smartphones en misant largement sur l’intelligence artificielle. Du code repéré dans l’interface dévoile une nouvelle fonction de résumé quotidien. Le constructeur sud-coréen…

En promo à seulement 400 €, le Poco F8 Pro a tout d’un smartphone haut de gamme, sauf son prix

Le POCO F8 Pro réunit un processeur Snapdragon 8 Elite, une partie photo polyvalente et une batterie de 6 210 mAh. À l’occasion du 11.11 AliExpress, il revient à 402,06…