NVIDIA создала ИИ, который анимирует 3D-модели по звуковой дорожке

Бета-версию приложения с обученной нейросетью можно скачать бесплатно.

Тимур Тукаев

Фанат Free Software Foundation, использует Linux и недолюбливает Windows. Пишет истории про кодинг и программы на Python. Влюблён в Lisp, но пока что не умеет на нём программировать.

В бесплатной бете доступен инструмент Audio2Face, который превращает звуковую дорожку в анимированного персонажа. Нейросеть даже умеет работать в реальном времени.

Audio2Face анимирует лицо персонажа на основе речи Чарли Чаплина из фильма «Великий диктатор». Источник: youtube.com

Audio2Face — надстройка над Omniverse, другим инструментом NVIDIA для физических симуляций в реальном времени.

В приложение встроен движок Tensor RT Engine, который оптимизирует нейросеть под железо пользователя. Когда обученный ИИ получает аудио, он управляет полигонами 3D-модели и подстраивает движения лица персонажа под человеческую речь.

Схема работы NVIDIA Audio2Face: нейросеть получает аудиодорожку и в реальном времени анимирует лицо персонажа. Источник: nvidia.com

Приложение уже поддерживает английский, французский, итальянский и русский. Разработчики обещают добавить и другие языки.

Главное системное требование Audio2Face — наличие любой видеокарты с RTX. Но для оптимальной производительности NVIDIA советует использовать GeForce RTX 3070, NVIDIA RTX A4000 с объёмом видеопамяти от 8 ГБ.

Системные требования Audio2Face. Источник: nvidia.com

Чтобы протестировать инструмент, нужно перейти на страницу Audio2Face, нажать кнопку «Скачать открытую бета-версию» и заполнить короткую форму. Дальше сайт предложит загрузить установочные файлы для Windows и Linux.

Вот что пользователи Reddit думают о новом приложении NVIDIA:

«Не уверен, что правильно понял. ИИ автоматически генерирует липсинки? Тогда у Jali скоро появится крупный конкурент. CD Projekt использовал этот искусственный интеллект, чтобы анимировать каждого персонажа в Cyberpunk, и результат выглядит вполне прилично. В этой игре тонна диалогов, поэтому они выбрали правильный инструмент.

Могу только представить, насколько лучше с этим справилась бы NVIDIA с её суперкомпьютерами и экспертизой в ИИ».

«Мне нравятся такие технические улучшения, потому что они упрощают одну из самых трудозатратных частей игровой разработки. Даже геймеры почувствуют пользу, потому что разработчики тайтлов смогут сконцентрироваться на более важных вещах».

«Пусть и гораздо хуже качеством, но автоматический липсинк появился уже давно. Его использовали в Fallout 3 и New Vegas. И, наверное, в других играх Bethesda».