Meta хочет создать ИИ‑переводчик речи

Meta объявила о новом проекте — универсальном мгновенном переводчике устной речи, способном переводить с любого язык на любой язык. Отмечается, что современные системы ИИ-перевода не предназначены для обслуживания тысяч языков — они работают с распространёнными языками, а 20% населения планеты на них не говорят.

По мнению главы компании Марка Цукерберга, возможность общаться с кем угодно на любом языке — «это сверхспособность, о которой люди всегда мечтали, и ИИ сделает её реальностью в нашей жизни», цитирует Protocol.

Технологию ИИ-переводчика планируют встроить в метавселенную. Проект станет особенно важен, когда люди начнут телепортироваться через виртуальные миры и общаться с представителями других культур, считает Цукерберг.

В чём особенность технологии

Исследователи искусственного интеллекта Meta уже приступили к созданию переводчика. Они работают в двух направлениях:

1. No Language Left Behind (ни один язык не забыт). Исследователи создают ИИ-модель, которой для освоения новых языков потребуется меньше обучающих данных, чем нужно существующим моделям машинного перевода. К тому же у некоторых языков нет необходимых для обучения ИИ данных — распознаваемых письменных символов или системы письма вообще.
2. Universal Speech Translator (универсальный переводчик речи) — искусственный интеллект сможет переводить речь в режиме реального времени без предварительной расшифровки её в текст.

Стереть языковые границы в интернете пробует и «Яндекс». В сентябре 2021 года компания запустила сервис закадрового перевода англоязычных видео с YouTube, Vimeo и нескольких других платформ. Функциональность сервиса доступна только в «Яндекс.Браузере».

Технология переводит ролик в несколько этапов. ИИ распознаёт речь, превращает её в текст и разбивает на предложения. Затем нейросеть определяет пол говорящего, переводит текст на русский язык и синтезирует голос, а после совмещает его с видеорядом.