L’IA Gemini peut voir et analyser ce que filme votre smartphone, un internaute nous montre à quoi cela ressemble

Google est apparemment en train de déployer ce que la firme appelait le “Projet Astra” il y a un peu moins d’un an : la capacité pour l’IA Gemini d’analyser un flux vidéo en direct.

Les intelligences artificielles comme ChatGPT d’OpenAI ou Gemini de Google peuvent répondre à nos requêtes textuelles bien sûr, mais aussi vocales ou encore imagées. C’est-à-dire quand on fournit une photo ou une illustration à l’IA. Ne manque plus que la vidéo, ce que Google veut bientôt proposer avec Gemini sur Android. Il se trouve qu’un internaute répondant au pseudonyme Kien_PS y a accès sur son smartphone Xiaomi depuis quelques jours en tant qu’abonné à Gemini Advanced (21,99 €/mois). Voici à quoi cela ressemble.

Le bouton Ask about screen est celui que nous connaissons déjà. Le nouveau se situe juste au-dessus et pourrait se traduire par Partager l’écran avec Live (ou Direct). Appuyer dessus permet de filmer son environnement pour interroger Gemini à propos de que l’écran affiche à un moment T.

Gemini gagne des yeux pour analyser vos vidéos en temps réel

Google avait fait une démonstration de cette fonctionnalité il y a presque un an maintenant, sous le nom de “Projet Astra“. Elle donne une très bonne idée des possibilités à venir. On peut y voir une personne déclencher la caméra de son smartphone et demander à Gemini de lui indiquer quand l’IA “voit” un appareil qui fait du son, ce qu’elle fait au moment où l’utilisateur filme une enceinte. Il dessine aussi une flèche sur cette dernière pour obtenir le nom d’une partie de l’appareil, puis lui montre un écran d’ordinateur affichant du code et lui demande à quoi il sert.

Lire aussi – Gemini peut désormais lire des vidéos YouTube à votre place, voici comment ça marche

Les possibilités sont multiples. Cela peut s’avérer particulièrement utile en voyage par exemple, mais aussi au travail. Surtout si Gemini est intégrée à des lunettes connectées laissant les mains libres. Vu la vidéo postée sur Reddit par l’internaute Kien_PS, il est cependant clair que la fonctionnalité visiblement en cours de déploiement n’est pas encore au niveau de la démo de Google. On ignore encore quand elle débarquera chez nous.