ChatGPT détecte mieux les maladies que les médecins, cette étude le prouve

Selon les résultats d'une récente étude, ChatGPT bat les médecins lorsqu'il s'agit de poser un diagnostic. Le pire, c'est que le chatbot fait mieux même quand les praticiens s'aident de l'IA.

Qu'on approuve son usage ou non, impossible de nier que l'intelligence artificielle fait avancer la médecine. Abreuvé de millions d'études et de données, un chatbot possède un savoir qu'aucun être humain ne peut espérer retenir au cours de sa vie. Là où cela se manifeste le plus, c'est sur le diagnostic des maladies. Non seulement l'IA est capable d'identifier des pathologies qui laissent les praticiens perplexes, mais en plus elle peut le faire à distance, sans examen invasif.

Les médecins eux-mêmes reconnaissent l'utilité de s'accompagner d'une IA. Ainsi, quand le docteur Adam Rodman lance une étude pour rendre compte de ces bénéfices, il est à peu près sûr des résultats qu'il va obtenir : ses collègues aidés de ChatGPT-4 poseront de meilleurs diagnostics que ceux qui réfléchissent seuls. Non seulement ce n'est pas le cas, mais ce qu'il a découvert l'a véritablement laissé sans voix.

L'IA ChatGPT fait de meilleurs diagnostics que les médecins selon cette étude

50 médecins d'hôpitaux américains, aussi bien internes qu'externes, participent à la recherche. On leur présente 6 dossiers à partir desquels ils doivent formuler un diagnostic, tout en expliquant leur raisonnement. Les cas sont réels et font partie des 105 utilisés dans diverses études depuis les années 90.

Ils n'ont bien sûr jamais été publiés, ce qui veut dire que ni les participants, ni ChatGPT ne pouvaient en avoir une connaissance préalable. Seul l'un des 6 dossiers a été divulgué en amont avec des exemples de réponses correctes et d'autres fausses, pour bien faire comprendre ce qui était attendu.

Lire aussi – Une IA détecte cette maladie chez les enfants dans 100 % des cas

Les 50 médecins ont été aléatoirement répartis en 2 groupes. Le premier s'aide de ChatGPT pour identifier la maladie, tandis que le second doit travailler sans. Les capacités du chatbot seul ont également été mesurées. Les conclusions sont surprenantes.

Le groupe témoin, sans aide de l'IA, obtient un score moyen de 74 %. Les praticiens s'aidant du chatbot font à peine mieux, 76 %. Quant à ChatGPT, il pulvérise ces scores en atteignant une moyenne de 90 %. Comment expliquer ça ?

Pourquoi ChatGPT bat les médecins sur l'élaboration d'un diagnostic ?

Passé le choc initial, le docteur Rodman tente de comprendre ce qu'il s'est passé. Il met en avant 2 points principaux. D'abord, les médecins ne font pas confiance à l'IA dès lors qu'elle propose quelque chose qui les contredit. Au contraire, voir ChatGPT formuler des hypothèses différentes les conforte dans la leur. Souvent à tort comme on peut le voir ici.

Lire aussi – Pour détecter une maladie mortelle, cette IA de Google a une méthode originale

Un constat qui fait sens pour Laura Zwaan, qui étudie le raisonnement clinique et les erreurs de diagnostics : “Les gens sont généralement trop confiants quand ils pensent avoir raison“. Concernant l'autre facteur expliquant les résultats de l'étude, il est bien plus terre à terre : beaucoup de médecins ne savent pas exploiter ChatGPT au mieux de ses possibilités.

Le docteur Jonathan H. Chen, l'un des auteurs, remarque que la majorité se sert de l'IA comme d'un moteur de recherche, en posant des questions du genre “est-ce que la cirrhose est un facteur de risque de cancer ?“. Au final, “seule une fraction des médecins ont réalisé qu'ils pouvaient littéralement copier-coller l'intégralité du dossier dans le chatbot et lui demander simplement de donner une réponse complète à l'ensemble de la question“.

Le problème soulevé est donc double. En plus de former les praticiens à l'usage de l'intelligence artificielle dans leur travail, il va falloir réussir à leur faire accepter que cette dernière peut parfois trouver une réponse qui leur échappe, malgré leurs années d'expérience.

Source : The New York Times