YouTube modifie le mouvement des lèvres par IA dans ses vidéos doublées automatiquement

Vous n'êtes pas convaincu par le doublage automatique de YouTube ? La plateforme déploie une fonction de synchronisation labiale par IA pour améliorer le ressenti des vidéos doublées.

Depuis quelque temps, YouTube double automatiquement par IA les vidéos qui ne sont pas dans votre langue principale. Depuis le lancement de la fonction de doublage automatique il y a quelques mois, ce sont déjà 60 millions de vidéos, en 20 langues, qui ont pu être doublées par ce nouvel outil.

Le doublage automatique de YouTube peut être utile si on ne parle pas la langue d'origine du créateur de la vidéo qui nous intéresse. Elle offre une alternative aux sous-titres, que certains utilisateurs n'aiment pas lire pendant qu'ils visionnent leur contenu. Mais le doublage par IA présente des limites, avec une voix qui n'est pas très naturelle et la problématique de la synchronisation labiale, deux facteurs qui peuvent nous sortir de l'immersion d'une vidéo.

YouTube déploie la synchronisation labiale par IA

YouTube en est conscient et travaille pour améliorer ces deux points. La plateforme teste d'ailleurs une fonction de synchronisation labiale optimisée par l'IA, qui doit permettre aux utilisateurs de surpasser cette dissonance audiovisuelle. Ce système “modifie les pixels à l'écran pour correspondre à la parole traduite”, explique Buddhika Kottahachchi, chef de produit YouTube en charge du doublage automatique, auprès de Digital Trends.

Il ajoute que Google a dû donner une compréhension 3D du monde, de la forme des lèvres, des dents, de la posture et du visage à son modèle d'IA pour que celle-ci soit en mesure de modifier le mouvement des lèvres, et surtout le synchroniser aux mots qui sont prononcés dans la version doublée automatiquement. Si on regarde une même vidéo dans des langues différentes, la bouche et les lèvres d'une personne parlant face caméra ne seront donc jamais les mêmes.

Pour l'instant, cette fonctionnalité de synchronisation labiale est adaptée aux vidéos en qualité Full HD (1080p). La 4K, qui par définition intègre bien plus de pixels, n'est pas encore prise en charge. Toutes les langues ne sont pas compatibles non plus. À ce jour, seules cinq le sont : l'anglais, l'espagnol, l'allemand, le portugais et le français. À terme, les 20 langues supportées par le doublage automatique de YouTube proposeront la synchronisation labiale par IA.