YouTube prueba una IA que sincroniza labios y micromovimientos con el audio traducido, elevando el doblaje automático. Por ahora funciona en 1080p y en 5 idiomas.
© E. Vartanyan
YouTube avanza con herramientas de IA para elevar la implicación de la audiencia. Tras desplegar el doblaje automático, la plataforma está probando el siguiente paso: sincronizar los movimientos de los labios con la pista de audio traducida. Es una evolución lógica que busca que los videos doblados se sientan menos como añadidos y más como producciones nativas.
Detrás de la novedad, el responsable de Auto-dubbing, Buddika Kottahachchi, señaló que la tecnología se apoya en algoritmos especializados capaces de ajustar las formas de la boca y los micromovimientos faciales a nivel de píxel para lograr un resultado lo más natural posible. El sistema tiene en cuenta la geometría tridimensional de labios, dientes y expresiones, y funciona con un modelo de IA propio desarrollado por Google.
De momento, la función opera solo con videos de hasta 1080p y admite cinco idiomas: inglés, francés, alemán, portugués y español. Google planea ampliar esa lista a más de 20 lenguas, incluidas todas las que ya están disponibles en el doblaje automático de YouTube. El alcance limitado apunta a un despliegue prudente mientras la tecnología termina de madurar.