Windows 11 : l’IA Copilot devient capable d’expliquer une capture d’écran

L'assistant virtuel Copilot de Microsoft s'enrichit d'un nouveau bouton pour envoyer une capture d'écran à l'IA et lui demander de l'expliquer. Les résultats sont assez étonnants de précision.

Même s'il est pour l'instant réservé au marché américain, l'assistant virtuel IA Copilot de Microsoft n'en fini pas de faire parler de lui. D'abord par sa tendance à vouloir s'inviter partout sur Windows 11 : au démarrage du PC, dans le menu contextuel, sur une touche dédiée du clavier… Mais aussi par les nouveautés dont il s'enrichit très régulièrement. La plus grosse mise à jour date d'ailleurs de début décembre 2023 avec un passage à ChatGPT-4 Turbo et à la dernière version de DALL-E 3. La firme de Mountain View mise gros sur son chatbot boosté à l'intelligence artificielle et ne compte pas s'arrêter en si bon chemin.

Les utilisateurs de Copilot voient en ce moment apparaître un nouveau bouton dans l'interface de l'assistant. Plus précisément, c'est un icone prenant la forme d'un rectangle en pointillés sur lequel se trouve une paire de ciseau. Il se trouve dans la zone de saisie de Copilot. Son nom : Ajouter une capture d'écran. On devine donc facilement sa fonction, à savoir fournir une copie de tout ou partie de l'écran pour demander à l'IA ce que l'on souhaite à son sujet. Les résultats vont bien au-delà de la simple description.

Copilot gagne un bouton pour lui envoyer une capture d'écran qu'il pourra analyser

Dans un exemple, Copilot reçoit une capture d'écran de l'icone de la corbeille Windows. La question posée est “qu'est-ce que c'est ?”. La réponse est pour le moins complète : “il s'agit d'une image de l'icone de la corbeille sur le bureau d'un ordinateur. La corbeille est une fonctionnalité du système d'exploitation Windows qui permet aux utilisateurs de stocker temporairement les fichiers et dossiers supprimés avant de les effacer définitivement”, explique Copilot, avant de donner plus de détails et de suggérer qu'ici la corbeille est vide (elle était pleine).

Si ChatGPT-4 Turbo est activé, Copilot devient même capable d'expliquer des émotions. Par exemple si on lui donne la photo d'une personne qui rit ou qui pleure. Et cela fonctionne aussi quand l'image est abstraite. En attendant une sortie officielle, n'oubliez pas que vous pouvez utiliser l'assistant virtuel Copilot en Europe même si l'IA n'est pas encore disponible sur le Vieux Continent.

Source : Windows Latest