Deepfake : cette IA va rendre le doublage de films beaucoup plus crédible

La technologie Deepfake ambitionne de révolutionner le doublage de films et de séries. TrueSync, une intelligence artificielle développée par la firme Flawless AI, est en effet capable de synchroniser automatiquement les lèvres des acteurs avec les paroles prononcées. 

Le deepfake, cette technique de manipulation de l'image basée sur l'intelligence artificielle, est en mesure de rendre le doublage de films et de séries bien plus crédible, avance Flawless AI, une entreprise co-créée par le réalisateur britannique Scott Mann. Sur son site web, la firme fait la démonstration d'une IA appelée TrueSync dans plusieurs vidéos.

“TrueSync est le premier système au monde qui utilise l'intelligence artificielle pour créer des image parfaitement synchronisées sur les lèvres dans plusieurs langues” fait valoir Flawless AI. Concrètement, TrueSync synchronise les lèvres des acteurs avec leur texte (quelle que soit la langue) en manipulant l'image avec des algorithmes.

Lire également : Ce site dopé à l’IA transforme vos photos de famille en vidéos deepfake ultra-réalistes

Comment TrueSync veut révolutionner le doublage ?

En fait, l'IA remplace les lèvres par de fausses lèvres numériques. Il n'y a donc plus besoin de modifier le texte afin de le faire coller aux mouvements des lèvres des acteurs. Ce processus permet d'éviter que l'audio et les lèvres d'un personnage de série ou de film ne soient pas parfaitement synchronisées, tout en restant fidèle à l'intention du réalisateur et du scénariste. De ce côté là, TrueSync diffère du doublage ou du sous-titrage, qui “dégrade le contenu par des changements de script et une perte de synchronisation”, avance Flawless.

Pour fonctionner, l'IA a besoin d'analyser une importante quantité de données. “La technologie synthétise les visages des acteurs, les convertissant en un modèle 3D. Ce processus crée des millions de modèles, que l'intelligence artificielle utilise comme points de référence” explique Scott Mann. Grâce à l'implication de Scott Mann dans le projet, TrueSync a été développé pour faciliter le travail des professionnels du cinéma.”Nous avons conçu le système pour qu'il ne paralyse pas le processus de réalisation du film” précise le réalisateur britannique.

TrueSync n'est pas la seule technologie deepfake qui ambitionne de révolutionner le doublage. LipGAN, une intelligence artificielle développée par des chercheurs indiens, fonctionne de la même manière que TrueSync. Cette technologie va-t-il bientôt s'imposer dans le milieu du cinéma ? On attend votre avis dans les commentaires.

https://twitter.com/Flawlessai/status/1389228583541952515?s=20