Все
Истории
Дизайн
Код
Геймдев
Бизнес
Маркетинг
Управление
Кино
Музыка
Проектная фотография
Развитие
Здоровье
Деньги
Образование
EdTech
Корп. обучение
Блог Skillbox
Глоссарий
Спецпроекты
Профориентация
«Яндекс» представил закадрового переводчика видео
Пока он может работать только с роликами на английском языке.
Технология объединила машинный перевод, биометрию, распознавание и синтез речи. Она самостоятельно определяет, какого пола спикер, и выбирает подходящий для озвучки голос.
Как работает технология?
Синхронный перевод видео проходит в несколько этапов. Технология распознаёт и транскрибирует речь, затем переводит получившийся текст на другой язык, а потом озвучивает его подходящим голосом. Алгоритм следит за темпом речи спикера в видео и подстраивается под него — делает паузы, ускоряет или замедляет озвучку, В итоге закадровый голос полностью совпадает с тем, что происходит на экране.
Пока прототип переводчика может работать только с роликами на английском языке. Протестировать технологию можно в «Яндекс.Браузере» и только на конкретных видео. В будущем эта опция будет доступна в том числе в мобильных приложениях от «Яндекса» для всех роликов.
Сейчас у технологии нет аналогов в мире. Например, в браузере Google Chrome есть автоматически генерируемые субтитры на видео с YouTube. Кроме этого, есть бесплатное расширение для браузера YouTube SubSound, которое может озвучивать готовые субтитры на русском, английском, японском, китайском, французском и других языках. А на устройствах Android доступна функция генерации субтитров для всех воспроизводимых видео.
По мнению экспертов, создание переводчика закадрового видео для «Яндекса» — это в первую очередь имиджевая история, помогающая привлечь пользователей к своему браузеру. В 2020 году доля аудитории, пользующейся им в России, составляла 19,5%. Для сравнения: у Google Chrome этот показатель равняется 40% на протяжении четырёх лет.
