Google DeepMind, une division du géant spécialisée dans l'IA, vient de présenter SIMA, une intelligence artificielle capable d'acquérir des compétences pour jouer aux jeux vidéo comme le ferait un humain.

Comme vous le savez peut-être, à l'image de nombreux géants de la Silicon Valley, Google s'est lancé à corps perdu dans le développement de l'IA. Après Bard, sa première IA conversationnelle à la ChatGPT, Google a présenté en début d'année Gemini.

Pour résumer, cette IA se présente comme une version améliorée de Bard et embarque notamment des capacités supérieures de compréhension, de raisonnement, de synthèse ou encore de codage. Mais ce n'est pas tout puisque Google cherche également à exploiter les potentiels de l'intelligence artificielle dans un autre domaine : le jeu vidéo.

Il y a quelques semaines seulement, la firme de Mountain View a présenté Genie, une IA capable de créer des jeux vidéo à partir de nombreux supports comme des requêtes textuelles, des photos ou des dessins. Et ce mercredi 13 mars 2024, la division Google DeepMind vient de présenter ses nouvelles avancées.

SIMA, la nouvelle folie de Google

En effet, la filiale spécialisée dans l'IA a dévoilé aujourd'hui SIMA, pour Scalable, Instructable, Multiworld Agent. Derrière cet acronyme se cache une IA surpuissante capable d'acquérir des compétences pour jouer à des jeux vidéo comme le ferait un humain. Pour ce faire, SIMA repose sur les modèles de langage de Google, mais aussi sur l'analyse des mondes 3D et de la reconnaissance d'images et vidéo.

Pour entraîner SIMA, les équipes de Google DeepMind ont collaboré avec huit studios connus des joueurs comme Hello Games, Embracer, Tuxedo Labs ou encore Coffee Stain. Les chercheurs ont notamment pu connecter SIMA à certains titres comme No Man's Sky, Teardown, Valheim ou encore Goat Simulator 3 dans l'optique de lui apprendre les bases du gameplay de chaque jeu.

“Chaque jeu du portefeuille SIMA propose un nouveau monde interactif, comprenant une gamme de compétences à apprendre, des simples déplacements et utilisation des menus au minage de certaines ressources, au pilotage d'un vaisseau spatial ou à la fabrication d'un casque”, explique Google Deep Mind.

A lire également : Google ne veut plus de spams ou de ces contenus générés par l’IA dans les résultats de recherche

Une IA capable de jouer comme les humains

Par ailleurs, SIMA n'a pas besoin d'accéder au code source d'un jeu ou d'une API sur mesure pour jouer. Il ne nécessite que deux entrées : les image à l'écran et des instructions simples en langage naturel fournies par l'utilisateur. “SIMA utilise les sorties clavier et souris pour contrôler le personnage central du jeu afin d'exécuter ces instructions. Cette interface simple est celle que les humains utilisent, ce qui signifie que SIMA peut potentiellement interagir avec n'importe quel environnement virtuel”, assure l'entreprise.

Pour l'heure, SIMA compte actuellement à son arsenal environ 600 compétences basiques, comme se déplacer, monter une échelle ou ouvrir un menu pour consulter la carte. A terme, il pourra être capable d'exécuter des tâches plus complexes et notamment échanger avec d'autres joueurs. Selon Frédéric Besse, co-responsable du projet, SIMA ne doit pas être perçu comme un PNJ, mais bien comme un joueur à part entière qui pourra avoir un impact concret sur le monde dans lequel il évolue. “Les résultats de SIMA montrent le potentiel de développement d'une nouvelle vague d'agents IA généralistes et axés sur le langage. Il s'agit d'une recherche à un stade précoce et nous sommes impatients de développer davantage SIMA dans d'autres environnements de formation et d'incorporer des modèles plus performants”, conclut Google DeepMind.