Google présente Brain2Music, une IA qui génère de la musique à partir de vos pensées

Google a présenté une nouvelle IA qui peut créer de la musique en interprétant votre activité cérébrale.

Dans une étude appelée « Brain2music : reconstruire la musique à partir de l’activité cérébrale humaine », des chercheurs de l’université d’Osaka et du National Institute of Information and Communications Technology en collaboration avec Google et Araya ont présenté le fruit de leur travail sur l’Intelligence artificielle en relation avec l’activité cérébrale humaine.

À lire — Grâce à cette IA, Google nous permettra bientôt de parler naturellement aux robots

Ils ont créé une « méthode de reconstruction de la musique à partir de l’activité cérébrale capturée à l’aide de l’imagerie par résonance magnétique fonctionnelle ». Pour ce faire, les scientifiques ont mis à profit MusicLM, une IA capable de générer de la musique à partir d’une description textuelle conçue par Google. Plutôt que de créer de la musique à partir du texte, l’IA de Brain2Music interprète les données de l’activité cérébrale obtenues à partir d’IRM.

Brain2Music est la nouvelle IA de Google qui met vos pensées en musique

Pour entraîner les réseaux neuronaux à la base de Brain2Music, l’équipe de chercheurs a soumis cinq sujets à des échantillons de 15 secondes de musique dans des styles aussi variés que le rock, le reggae, le jazz ou le métal. Les vidéos obtenues grâce à l’imagerie par résonance magnétique fonctionnelle ont ensuite permis à l’IA de faire le lien entre les motifs et les zones du cerveau activés en fonction des différentes caractéristiques de la musique entendue (rythme, ambiance, dynamique, par exemple). Une fois ces données interprétées et traduites en mots, il ne restait plus qu’à les fournir à MusicLM, pour qu’il « recrée » le morceau d’origine.

Selon le groupe de travail, les résultats de l’expérience sont très concluants : « la musique générée ressemble aux stimuli musicaux que les sujets humains ont expérimentés en ce qui concerne les propriétés sémantiques telles que le genre, l’instrumentation et l’humeur ». Les compositeurs qui souhaitent créer de la musique « par la pensée » devront tout de même patienter quelque temps. Si l’IA réalise une belle prouesse, les morceaux reconstruits sont loin d’être fidèles à la source.