Google Gemini passera bientôt des commandes à votre place sur Android : en route pour l’ère de l’IA agentique

L’avenir de Gemini est agentique : Google l’a déjà laissé entrevoir à plusieurs reprises. Les fonctionnalités inhérentes à cette ambition se dévoilent progressivement dans le code de l’application. L’une d’elles permettrait à Gemini de contrôler vos appareils Android.

Depuis son lancement, Gemini a déjà bien évolué : il s’est doté d’une paire d’yeux, d’une mémoire aussi, il s’invite dans divers services de Google et s’immisce dans les applications phares de l’entreprise. Mais l’IA maison du géant de la tech est encore loin d’avoir révélé tout son potentiel. La firme a de grandes ambitions pour Gemini qu’elle dévoile sporadiquement, notamment au gré de conférences Google I/O.

Si, selon Microsoft, l’avenir de Windows est agentique ; il semble que celui de Gemini le soit tout autant. L’IA de Google est au cœur de plusieurs projets de recherche qui s’inscrivent dans une stratégie globale d’IA agentique. S’ils sont encore en développement, certaines de leurs fonctionnalités commencent à se préciser. Parmi elles : la capacité de Gemini à contrôler les appareils Android.

Cette fonction va permettre à Gemini de contrôler les applications de votre smartphone Android

Les indices d’une telle option se trouvent dans des lignes de code découvertes par nos confrères d’Android Authority dans la version bêta 17.4.66 de l’application Google. Les chaînes de texte révèlent non seulement son nom de code interne « bonobo », mais elles pourraient aussi avoir dévoilé son libellé officiel : « automatisation de l’écran ». Grâce à elle, Gemini pourrait passer des commandes en ligne à votre place, mais aussi réserver des trajets. Ces fameuses commandes pourraient apparaître directement dans l’application Gemini, par exemple dans une section dédiée « Achats » au sein de l’onglet « Mes contenus ».

Le recours à l’automatisation de l’écran ne serait toutefois pas sans « risque ». La responsabilité de ce que pourrait faire Gemini incomberait à l’utilisateur. Le code précise que, puisque l’IA agentique peut faire des erreurs : « Vous êtes responsable de ce qu’il fait en votre nom, alors surveillez-le attentivement. » C’est une façon pour Google de se protéger, mais elle amenuise le potentiel d’une fonction pensée pour décharger l’humain de certaines tâches.

Autre point : la confidentialité. En activant l’option « Conserver l’activité », des personnes formées pour la révision examineront des captures d’écran prises lors de l’interaction de Gemini avec une application. Il est donc formellement déconseillé de saisir des informations sensibles dans Gemini. Comme l'IA pourra passer des commandes pour le compte de l'utilisateur, cela interroge sur la manière dont elle gèrera les situations impliquant des données confidentielles.

Notons que, si nos confrères mentionnent Project Astra (qui explore les capacités d’un assistant IA universel capable de comprendre le monde qui nous entoure), l’automatisation de l’écran fait davantage référence à Project Mariner qui se concentre sur la création d’agents capables d’agir à votre place. Quoi qu’il en soit, ce ne sont là que les prémices : des zones d’ombre demeurent, notamment sur l’identité des applications qui seront compatibles, même si les services de transport et de livraison figurent probablement au premier rang ; et d’autres fonctions devraient suivre.