Ce test mené sur 600 personnes montre que ChatGPT nous connaît mieux qu’il ne devrait

Des chercheurs ont confié à ChatGPT la rédaction d’un test de personnalité, puis lui ont demandé d’en prédire les résultats. Six cents volontaires ont ensuite passé l’épreuve. Les estimations du modèle collaient de très près à leurs réponses.

Depuis trois ans, les laboratoires de psychologie se sont emparés des modèles de langage. Certains y traquent des failles, d’autres y cherchent des ressemblances avec nous. Des travaux ont mesuré à quel point ces systèmes se laissent influencer par les convictions de leur interlocuteur. Une question restait pourtant ouverte.

Que sait vraiment un modèle de langage de la personnalité humaine, alors que personne ne la lui a enseignée ? Les effets d’un recours intensif à ChatGPT sur le cerveau ont déjà fait l’objet de mesures, la question inverse beaucoup moins. À Jérusalem, une équipe de l’Université hébraïque s’y est attaquée. Son protocole tient en deux temps, fabriquer un test, puis en anticiper le résultat.

GPT-4 a estimé les notes moyennes de 600 volontaires avant que le test leur soit soumis

Publiée dans iScience, l’étude repose sur GPT-4 et sur deux textes opposés. D’un côté figure le DSM-5, manuel de référence des psychiatres, dans sa partie consacrée aux troubles de la personnalité. En face arrive un livre d’astrologie qui prête un caractère à chaque signe du zodiaque. Le modèle a transformé chacun de ces textes en questionnaire. Six cents adultes les ont ensuite remplis, aux côtés du Big Five Inventory, le test de personnalité le plus éprouvé. Le système avait déjà prédit la note moyenne que ce panel attribuerait à chaque question.

Les estimations de GPT-4 ont collé de près aux moyennes réelles. Sur le test issu du DSM-5, la correspondance entre prédictions et réponses atteint 0,71, sur une échelle où 1 signifierait une exactitude parfaite. Le questionnaire astrologique grimpe même à 0,85. Ce chiffre ne dit pourtant rien de la valeur du zodiaque. Les questions inspirées des signes ne se regroupent pas comme l’astrologie le voudrait, mais selon les grands traits de caractère déjà identifiés par les psychologues. Les deux tests détectent malgré tout la dépression ou l’anxiété aussi bien que le Big Five.

Restait à comprendre d’où vient cette aisance. Les chercheurs ont soumis à GPT-4 un manuel de four Bosch, puis une description de paysage tirée du Seigneur des Anneaux. Aucun des deux textes ne parle de psychologie. Le modèle en a pourtant tiré des questions ressemblant à un test de personnalité, souvent creuses mais crédibles dans la forme. Selon Rotem Monsa, principale autrice, nos traits de caractère sont déjà inscrits dans le langage courant. Personne n’a enseigné la psychologie à ces systèmes, ils l’ont absorbée en apprenant à écrire.