YouTube synchronise les lèvres avec l’audio traduit grâce à l’IA
YouTube déploie l’IA de synchronisation labiale pour un doublage plus naturel. Test en 1080p, 5 langues (en, fr, de, pt, es). Modèle Google sur mesure.
YouTube déploie l’IA de synchronisation labiale pour un doublage plus naturel. Test en 1080p, 5 langues (en, fr, de, pt, es). Modèle Google sur mesure.
© E. Vartanyan
YouTube pousse plus loin ses outils pilotés par l’IA pour stimuler l’engagement des publics. Après le déploiement du doublage automatique, la plateforme teste désormais une étape supplémentaire : synchroniser les mouvements des lèvres avec la piste audio traduite. Un progrès logique qui cherche à faire oublier la couche de doublage et à rapprocher ces vidéos d’une production native.
D’après Buddika Kottahachchi, responsable de l’auto-doublage, la technologie s’appuie sur des algorithmes spécialisés capables d’ajuster la forme de la bouche et les micro-mouvements du visage, au niveau du pixel, pour un rendu le plus naturel possible. Le système prend en compte la géométrie tridimensionnelle des lèvres, des dents et des expressions, et repose sur un modèle d’IA conçu sur mesure par Google.
Pour l’instant, la fonctionnalité est limitée aux vidéos jusqu’en 1080p et ne couvre que cinq langues : l’anglais, le français, l’allemand, le portugais et l’espagnol. Google prévoit d’élargir le dispositif à plus de vingt langues, y compris toutes celles déjà proposées par l’auto-doublage de YouTube. Ce périmètre restreint traduit un déploiement prudent, le temps que la technologie gagne en maturité—une approche qui, au vu des ambitions affichées, paraît judicieuse.