ИИ-сервис HeyGen теперь может переводить видео на разные языки с сохранением голоса

В HeyGen появилась функция для перевода видеороликов на английский, испанский, французский, китайский, немецкий, итальянский, португальский, голландский, хинди или японский. Разработчики не указали в списке русский, но с ним нейросеть тоже справляется. На выходе пользователь получает переведённое и озвученное видео.

Как попробовать?

С бесплатного аккаунта HeyGen можно перевести два ролика длительностью до 30 секунд или один на минуту. Поддерживаются форматы MP4, WebM и MOV. Важно, чтобы разрешение ролика находилось в диапазоне от 360×360 пикселей до 4096×4096 пикселей. Минимальная длина видео должна составлять от 30 секунд. В бесплатном режиме доступно всего две попытки, поэтому надо внимательно выбирать ролик для перевода.

Для перевода требуется пройти регистрацию на сайте сервиса. Сделать это можно с помощью аккаунта Google или электронной почты. После этого в окно браузера можно перетащить файл и нажать на кнопку Submit. Объём файла не должен превышать 500 Мб.

Сейчас перевод и генерация одного короткого видео может занять несколько часов. Связано это с большим количеством желающих испытать возможности HeyGen. Ролики платных подписчиков сервиса переводятся в приоритетной очереди.

Больше не надо учить английский

Нейросеть не просто переводит речь, а старается подбирать конструкции, которые в своей речи используют носители. Благодаря этому сгенерированные ролики получаются живыми, как если бы над их адаптацией работали профессиональные переводчики.

Также HeyGen сохраняет интонацию и тембр спикера, подстраивая движение губ под сгенерированную звуковую дорожку. Если в кадре присутствует несколько человек, то окраска голоса получится усреднённой для всех. В редких случаях нейросеть ошибается с движением губ, применяя анимацию к молчащему спикеру.

Что даёт подписка?

Пользователи с премиальной подпиской могут загружать ролики продолжительностью до пяти минут. Также подписчики получают ежемесячные минуты генерации. Начальный тариф за 29 долларов в месяц даёт 15 минут генерации роликов. В продвинутом тарифе за 239 долларов доступно 120 минут.

На сайте для оплаты принимают банковские карты и переводы через приложение Cash App. Карты российских банков не работают.

Вместе с этим в HeyGen доступны функции для создания роликов без камеры и актёров. Пользователь может выбрать модель спикера, напечатать текст и сгенерировать ролик с диктором в кадре. Благодаря этому начинающие новостные агентства могут экономить на производстве контента и быстрее выпускать материалы.

Разработчики отмечают, что сервисом уже пользуются Volvo, Nvidia, SkyNews, Университет Колумбия в Нью-Йорке и Wix. Поддерживаются интеграции с Canva, ChatGPT, Zapier и Discord.