ChatGPT est beaucoup moins bon que prévu pour générer du code, la moitié des apps sont défectueuses

L’une des nombreuses cordes à l’arc de ChatGPT n’est autre que le développement. Au départ très impressionnante, celle-ci s’avère finalement au contraire très décevante. Selon une récente étude, au moins la moitié des applications générées par l’IA contiennent un sérieux problème dans leur code.

Lorsque ChatGPT a été rendu disponible au grand public, beaucoup ont été époustouflés de voir une IA capable de générer du code simplement à l’aide d’un prompt bien senti. En un rien de temps des développeurs pouvaient désormais créer des applications, ou plutôt une base pour leur projet sur lequel ils pourraient travailler beaucoup plus rapidement. Quelques mois plus tard, il est temps de redescendre de son petit nuage.

Une récente étude conduite par la l’université de Purdue aux États-Unis démontre en effet que pas moins de la moitié des applications générées par ChatGPT sont défectueuses, en les comparant au prompt de départ. C’est le résultat qu’ont obtenu les chercheurs après avoir émis 517 demandes auprès du chatbot et analysé les résultats sous plusieurs angles : l’exactitude, la cohérence, l’exhaustivité et la concision.

Sur le même sujet – Grâce à ChatGPT, un dangereux malware qui prend le contrôle des Mac est découvert

ChatGPT n’est pas très doué pour développer des applications

Au moins 52 % des résultats obtenus ne correspondaient pas à ces critères. Si certaines répondaient donc correctement à la demande de l’utilisateur, les chercheurs estiment que 77 % des réponses étant inutilement longues, forçant ainsi le développeur à simplifier lui-même le code. Pas très pratiquer pour gagner du temps, donc. Néanmoins, cela n’est pas nécessairement une mauvaise nouvelle pour les principaux concernés.

Sur le même sujet — ChatGPT : le patron d’OpenAI confirme que l’IA va voler votre emploi et il s’en excuse

En effet, 40 % des participants à l’étude ont déclaré qu’ils préféraient tout de même la réponse de ChatGPT, même si celle-ci était incorrecte. Autrement dit, le gain de temps offert par l’outil surpasse pour beaucoup les erreurs qu’il faudra corriger par la suite. D’autant que comme l’expliquent les chercheurs, la majorité des erreurs est due à l’incapacité de ChatGPT de saisir les nuances comprises dans les prompts. Alors que GPT 5 est d’ores et déjà en préparation, il se peut que ce problème soit bientôt réglé.

Source : ITpro