«Яндекс» представил закадрового переводчика видео

Технология объединила машинный перевод, биометрию, распознавание и синтез речи. Она самостоятельно определяет, какого пола спикер, и выбирает подходящий для озвучки голос.

Как работает технология?

Синхронный перевод видео проходит в несколько этапов. Технология распознаёт и транскрибирует речь, затем переводит получившийся текст на другой язык, а потом озвучивает его подходящим голосом. Алгоритм следит за темпом речи спикера в видео и подстраивается под него — делает паузы, ускоряет или замедляет озвучку, В итоге закадровый голос полностью совпадает с тем, что происходит на экране.

Пока прототип переводчика может работать только с роликами на английском языке. Протестировать технологию можно в «Яндекс.Браузере» и только на конкретных видео. В будущем эта опция будет доступна в том числе в мобильных приложениях от «Яндекса» для всех роликов.

Сейчас у технологии нет аналогов в мире. Например, в браузере Google Chrome есть автоматически генерируемые субтитры на видео с YouTube. Кроме этого, есть бесплатное расширение для браузера YouTube SubSound, которое может озвучивать готовые субтитры на русском, английском, японском, китайском, французском и других языках. А на устройствах Android доступна функция генерации субтитров для всех воспроизводимых видео.