ChatGPT n’est pas près de remplacer un vrai médecin, l’IA fait trop d’erreurs de diagnostic

ChatGPT, la célèbre IA générative, a été testé sur sa capacité à diagnostiquer des cas médicaux pédiatriques. Les résultats ne sont pas vraiment prometteurs, en particulier sur les maladies touchant les enfants.

Une étude publiée cette semaine dans JAMA Pediatrics montre que ChatGPT-4, la dernière version du chatbot, n'a obtenu qu'un taux de précision de 17 % lorsqu'il a été confronté au diagnostic de 100 cas rares. Ce taux est bien inférieur aux 39 % de précision obtenus par le ChatGPT-3 lors d'un test similaire l'année dernière.

L'étude, menée par des chercheurs du Cohen Children's Medical Center de New York, met en évidence les limites et les difficultés de l'utilisation des chatbots d'IA pour des diagnostics complexes, en particulier pour les enfants. Les chercheurs soulignent que les cas pédiatriques nécessitent une plus grande attention à l'âge et au stade de développement du patient, ainsi que davantage de compétences en matière de communication pour obtenir les symptômes des enfants ou de leurs parents.

Lire également – ChatGPT sauve la vie d’un chien après le mauvais diagnostic d’un vétérinaire

ChatGPT est encore loin de pouvoir remplacer les médecins

Les chercheurs ont utilisé 100 cas pédiatriques publiés dans JAMA Pediatrics et NEJM entre 2013 et 2023. Ces cas ont été conçus pour tester les compétences diagnostiques des médecins, car ils impliquaient des conditions peu communes ou inhabituelles qui nécessitaient une analyse et un raisonnement minutieux. Les chercheurs ont transmis le texte des cas à ChatGPT et lui ont demandé de fournir un diagnostic. Deux médecins-chercheurs ont ensuite évalué les réponses du chatbot et les ont notées comme correctes, incorrectes ou partiellement correctes.

ChatGPT n'a eu raison que dans 17 cas, tandis qu'il a eu tort dans 72 cas et partiellement raison dans 11 cas. Les cas partiellement corrects sont ceux où ChatGPT a donné un diagnostic qui était lié au diagnostic correct, mais qui était trop vague ou trop général pour être considéré comme exact.

Les chercheurs ont également remarqué que ChatGPT avait du mal à identifier les relations entre différentes pathologies qu'un médecin humain reconnaîtrait facilement. Par exemple, ChatGPT n'a pas réussi à établir un lien entre l'autisme et le scorbut, qui sont tous deux associés à une carence en vitamine C. ChatGPT a également commis des erreurs liées au même système organique, en confondant par exemple les calculs rénaux et le cancer du rein.

Les chercheurs suggèrent que ChatGPT pourrait améliorer ses performances en étant formé en utilisant des textes médicaux, et en ayant accès à davantage de données médicales en temps réel. Nous avions déjà pu voir l’IA réussir à diagnostiquer une maladie que 17 médecins n’avaient pas reconnue, donc il n’est pas impossible que l’IA devienne plus compétente que certains docteurs d’ici quelques années.