Автоперевод уже сделали: YouTube тестирует автоматическую синхронизацию губ
YouTube тестирует автоматическую синхронизацию губ с ИИ-дубляжом.
YouTube продолжает тестировать автодубляж
Дмитрий Новиков
Фото: © E. Vartanyan
YouTube продолжает развивать инструменты на базе искусственного интеллекта для увеличения вовлечённости зрителей. После внедрения автоматического дубляжа роликов платформа тестирует новый шаг — автоматическую синхронизацию движений губ с переведённой дорожкой.
По словам руководителя направления Auto-dubbing Буддики Коттахаччи, технология использует специальные алгоритмы, которые на пиксельном уровне изменяют движения рта и мимику, чтобы дубляж выглядел максимально естественно. Система учитывает трёхмерное восприятие формы губ, зубов и выражений лиц. В её основе лежит кастомная ИИ-модель, разработанная Google.
На данный момент функция работает только с роликами в разрешении до 1080p и поддерживает пять языков — английский, французский, немецкий, португальский и испанский. В будущем Google планирует расширить список до более чем 20 языков, включая все, которые уже доступны в автодубляже YouTube.
Запуск пока ограничен тестами на небольшой группе авторов, как это ранее происходило с авто-дубляжом. Расширение охвата ожидается позже, а создатели контента смогут самостоятельно решать, включать ли синхронизацию губ для своих видео. По слухам, функция может быть платной, но пока не ясно, кто именно будет оплачивать её использование — авторы каналов или зрители.
Ранее издание Пепелац Ньюс сообщало, что был представлен защищённый планшет Blackview.