Voici Emo, le premier robot capable de synchroniser ses lèvres comme nous : son mode d’apprentissage est fou

Si certaines entreprises de robotique ne s’embarrassent pas avec le réalisme, d’autres projets se focalisent sur cet aspect. Simplement en observant des vidéos YouTube, un robot conçu par les ingénieurs de Columbia Engineering est désormais capable de synchroniser ses lèvres comme les humains. La preuve (déroutante) en vidéo.

La robotique. Vaste sujet, tantôt fascinant, tantôt effrayant, et parfois même les deux (mon capitaine). Si certains chercheurs s’échinent à concevoir des machines capables de s’adapter à n’importe quelle situation – même quand on leur tranche les « pattes » avec une tronçonneuse – d’autres équipes s’affairent davantage autour de l’aspect humanoïde.

Les mains d’Allex sont, par exemple capables de reproduire la finesse des mouvements des nôtres. Aujourd’hui, un nouveau nom s’ajoute à cette liste de robots aux traits réalistes : Emo.

Ce robot a appris à synchroniser ses lèvres comme un humain en regardant des vidéos YouTube

Comme Only Head, Emo n’a pas un corps humanoïde : son visage est extrêmement réaliste – même s’il l’est un peu moins. Mais ce n’est pas cet aspect qui fait l’intérêt et la singularité de ce robot conçu par des chercheurs de Columbia Engineering : Emo est le premier robot capable de synchroniser ses lèvres avec la parole et le chant comme un humain.

Pour acquérir cette compétence (dont les résultats sont visibles dans la vidéo ci-dessous), les ingénieurs ont privilégié un apprentissage observationnel en plusieurs étapes. D’abord, Emo s’est approprié son visage en silicone en faisant bouger ses 26 moteurs indépendants, tout en s’observant dans un miroir. Il a ainsi pu apprendre l’influence des commandes motrices sur les formes du visage, ses lèvres, sa mâchoire et ses joues étant mobiles.

Puis, Emo a étudié des heures de vidéos YouTube : une IA lui a permis d’établir les liens entre audio et mouvements. Ce n’est pas le sens des mots qui importait ici, mais les sons bruts. Ces relations conceptualisées ont par la suite été converties en commandes motrices en temps réel. En se focalisant sur l’aspect technique, Emo a appris à articuler naturellement dans plusieurs langues : anglais, arabe, chinois, mais aussi français.

Ses moteurs, capables de reproduire des mouvements de bouche avec précision, lui permettent de couvrir 24 consonnes et 16 voyelles : une condition indispensable pour chanter. Ce qu’Emo sait faire avec une chanson de son premier album généré par IA : « hello world_ ».

Selon Digital Trends, ce réalisme poussé vise à réduire l’effet « vallée de l’étrange » (ou Uncanny Valley), une théorie selon laquelle, quand un objet atteint un certain degré d’anthropomorphisme, il provoque une sensation de malaise. Les chercheurs estimeraient que, pour travailler aux côtés des humains, les robots devront savoir communiquer « naturellement ». Mais un robot avec des expressions faciales plus « humaines » ne renforce-t-il pas cette gêne par le simple fait que l’on sache que c’est un robot ?