YouTube prøver avansert KI-synk som matcher leppebevegelser med det dubbet lydsporet. Foreløpig 1080p og 5 språk, med planer om 20+ drevet av Googles modell.
© E. Vartanyan
YouTube skrur opp tempoet med KI-drevne verktøy for å løfte seerengasjementet. Etter at automatisk dubbing ble rullet ut, prøver plattformen nå ut neste steg: å synkronisere leppebevegelser med det oversatte lydsporet. Grepet er en naturlig utvikling som kan gjøre dubbet video mindre som et tillegg og mer som innhold som føles hjemmehørende.
Ifølge lederen for autodubbing, Buddika Kottahachchi, bygger teknologien på spesialiserte algoritmer som finjusterer munnfasonger og mikrobevegelser i ansiktet helt ned på pikselnivå for å gjøre resultatet så naturlig som mulig. Systemet tar hensyn til den tredimensjonale geometrien i lepper, tenner og mimikk, og drives av en egen KI-modell utviklet av Google.
Foreløpig fungerer funksjonen bare med videoer opptil 1080p og støtter fem språk: engelsk, fransk, tysk, portugisisk og spansk. Google planlegger å utvide til over 20 språk, inkludert alle som allerede er tilgjengelige i YouTubes autodubbing. Den avgrensede starten signaliserer en forsiktig utrulling mens teknologien modnes.