YouTube testar AI-läppsynk för autodubbade videor

YouTube skruvar upp satsningen på AI-drivna verktyg för att höja tittarengagemanget. Efter att ha rullat ut automatisk dubbning testar plattformen nu nästa steg: att synkronisera läpprörelser med det översatta ljudspåret. Det framstår som en naturlig utveckling som gör att dubbade videor känns mindre som ett påklistrat lager och mer som originalproduktioner.

Enligt Auto-dubbing-chefen Buddika Kottahachchi bygger tekniken på specialiserade algoritmer som justerar munformer och ansiktets mikrorörelser på pixelnivå för att resultatet ska se så naturligt ut som möjligt. Systemet tar hänsyn till den tredimensionella geometrin i läppar, tänder och mimik och drivs av en egenutvecklad AI-modell från Google.

I nuläget fungerar funktionen bara med videor upp till 1080p och stöder fem språk: engelska, franska, tyska, portugisiska och spanska. Google planerar att utöka uppsättningen till mer än 20 språk, inklusive alla som redan finns i YouTubes autodubbning. Den begränsade omfattningen signalerar en försiktig lansering medan tekniken mognar.