YouTube wprowadza AI dopasowującą ruchy ust do przetłumaczonej ścieżki. Na razie 1080p i 5 języków; Google szykuje wsparcie dla 20+. Naturalniejszy dubbing.
© E. Vartanyan
YouTube konsekwentnie rozwija narzędzia oparte na sztucznej inteligencji, by zwiększać zaangażowanie widzów. Po wdrożeniu automatycznego dubbingu serwis testuje kolejny etap: dopasowywanie ruchów ust do przetłumaczonej ścieżki dźwiękowej. To naturalny krok, który ma sprawić, że dubbingowane materiały będą odbierane mniej jak doklejka, a bardziej jak treści stworzone w tym języku od początku.
Jak wyjaśnia lider projektu Auto-dubbing, Buddika Kottahachchi, rozwiązanie opiera się na wyspecjalizowanych algorytmach, które na poziomie pikseli korygują kształt ust i mikroruchy twarzy, by efekt był możliwie naturalny. System uwzględnia trójwymiarową geometrię ust, zębów i mimiki, a napędza go opracowany przez Google autorski model AI.
Na razie funkcja działa wyłącznie z materiałami do 1080p i obsługuje pięć języków: angielski, francuski, niemiecki, portugalski i hiszpański. Google planuje rozszerzyć listę do ponad 20 języków, w tym wszystkie już dostępne w automatycznym dubbingu YouTube'a. Ograniczony zasięg pokazuje ostrożne wdrożenie na czas dojrzewania technologii.