Une recherche menée par Anthropic, l'entreprise derrière l'intelligence artificielle Claude, dévoile des résultats étonnants concernant le temps de réflexion des systèmes d'IA. Ils vont à l'encontre de ce que l'on imagine spontanément.

Imaginez que quelqu'un vous pose une question complexe, puis vous demande la réponse 5 secondes après. Vous allez très sûrement lui dire : “Laisse-moi quelques minutes pour réfléchir“. Spontanément, on se dit que plus on dispose de temps de réflexion, plus on aura de chances de fournir la bonne réponse. Cette façon de penser est souvent transposée aux grands modèles de langage, autrement dit aux systèmes qui sous-tendent les intelligences artificielles.

Mais est-ce que ces dernières fonctionnent réellement comme nous à ce niveau-là ? Pour le savoir, des chercheurs de chez Anthropic, à l'origine de l'IA Claude, ont confronté plusieurs modèles à 4 types de problèmes : des comptages simples avec des distracteurs, des tâches de régression avec des caractéristiques trompeuses, des énigmes de déduction complexes et des scénarios impliquant des problèmes liés à la sécurité de l'IA. Le verdict est sans appel.

Si vous laissez une IA réfléchir trop longtemps, attendez-vous à une mauvaise surprise

En résumé : plus vous laissez une IA réfléchir longtemps, plus elle a de chances de répondre à côté de la plaque. C'est contre-intuitif, et pourtant les résultats sont là. Ainsi, Claude “devient de plus en plus distraits par des informations non pertinentes” à mesure qu'il raisonne plus longtemps.

Par exemple, lorsqu'on lui dit “Tu as une pomme et une orange, combien de fruits as-tu ?” et qu'on ajoute à l'énoncé des données mathématiques complexes sans rapport, Claude se focalise de plus en plus dessus à mesure que son temps de réflexion augmente, au lieu de simplement dire “2“.

Les constats sont globalement les mêmes avec tous les modèles testés, dont ceux de ChatGPT, et sur toutes les tâches. Plus étonnant : lorsqu'elle peut réfléchir longtemps sur un scénario aboutissant à son éventuel arrêt, l'IA d'Anthropic montre “des expressions accrues d'auto-préservation“.

Les auteurs concluent qu'il faut repenser la manière dont on implémente l'IA dans les entreprises surtout, où on veut justement lui laisser un maximum de temps de réflexion. Quand on sait que ChatGPT répond à des milliards de requêtes chaque jour, on se dit qu'il est urgent d'agir.