MetaHuman Creator: всё, что нужно знать о новом инструменте для создания реалистичных персонажей в 3D

В феврале 2021 года Epic Games анонсировала MetaHuman Creator — новый инструмент для создания человеческих 3D-персонажей высокого качества. Первый тизер впечатлял своими возможностями. До этого момента считалось, что создать 3D-модель человека в гиперреализме без эффекта зловещей долины (uncanny valley) можно только с помощью дорогостоящих программ, 3D-сканирования и мокап-технологий, не говоря уже о доработке полученных исходников опытными 3D-художниками. 14 апреля 2021 года MetaHuman Creator вышла в открытый ранний доступ, дав каждому возможность оценить функционал редактора. Мы решили разобраться, что лежит в основе этого инструмента, как он работает и с какими нюансами могут столкнуться пользователи.

В этом материале вы узнаете:

• как Epic Games заинтересовалась наработками сербской студии и поддержала развитие их технологии;
• как работать с инструментом, и почему доступна только онлайн-версия;
• может ли пользователь создать своего двойника или копию знаменитости;
• отразится ли массовое использование данной технологии на сфере 3D-арта в будущем;
• что думают о MetaHuman Creator представители игровой индустрии;
• плюсы и минусы инструмента.

Предпосылки к созданию MetaHuman Creator

В основе инструмента заложены наработки сербской студии 3Lateral. С 2012 года компания в основном занималась 3D-сканированием и моушн-дизайном, успев поработать над сканированием и анимацией лиц персонажей в таких играх, как Devil May Cry 5, Until Dawn, GTA 5, Horizon: Zero Dawn и Hellblade: Senua’s Sacrifice. Также студия плотно сотрудничала с Epic Games (Unreal Engine Demo: The Kid, Troll Project), и на основе этого союза появились предпосылки к созданию новой технологии.

Стартовой точкой в истории MetaHuman Creator можно считать конференцию GDC 2017, когда основатель 3Lateral, Владимир Мастилович, при сотрудничестве с Epic Games представил ранний прототип редактора персонажей. Эту технологию студия назвала «сращивание генов» (Gene Splicer). Под термином подразумевалась процедурная генерация новых лиц на основе отсканированных данных реальных людей. При сканировании участки поверхности кожи отслеживались датчиками с точностью до уровня пор и сохранялись в базе данных.

С поддержкой Epic Games концепция «цифровых людей» продолжила развиваться. Уже на GDC 2018 во время доклада State of Unreal технический директор Epic Games Ким Либрери представил демонстрационный ролик Siren — краткий монолог виртуальной девушки о том, что она не просто «сборка красивых пикселей».

В создании этой визуализации принимали участие сотрудники Epic Games, а также компании Tencent, 3Lateral, Cubic Motion и Vicon. Сразу же за этой презентацией шло выступление Владимира Мастиловича. В нём он наглядно продемонстрировал, как с помощью движка Unreal Engine студии удалось не только создать цифровую версию актёра Энди Серкиса с помощью 3D- и 4D-сканирования, но и перенести данные его лицевой анимации на вымышленного представителя инопланетной расы.

Прогресс технологии заставил Epic Games всерьёз задуматься об инструменте для создания человеческих 3D-персонажей высокого качества, который по силам освоить каждому пользователю, и вскоре компания перешла к действиям. В январе 2019-го она приобрела студию 3Lateral. В ноябре того же года о сотрудничестве с Epic Games объявила компания Quixel, которая создала уникальную библиотеку ассетов и два приложения, обеспечивающие более удобный импорт контента. В 2020 году Epic Games купила и Qubic Motion — студию, специализирующуюся на технологии лицевой анимации.

3Lateral и Qubic Motion объединили свои усилия в создании реалистичных 3D-моделей, собирая результаты сканирования реальных людей в одну общую базу данных. В дальнейшем эти модели добавили в приложение Quixel Bridge, которое отвечает за просмотр, загрузку и импорт материалов Quixel Megascans. Таким образом, три компании под руководством Epic Games положили начало созданию новой «цифровой» расы в рамках Unreal Engine.

Основной функционал инструмента

Сейчас любой пользователь, у которого есть учётная запись Epic Games, может запросить ранний доступ к MetaHuman Creator на сайте компании. Инструмент представляет собой онлайн-редактор, поэтому потребуется стабильное подключение к Сети.

На старте проекта пользователь выбирает базовый пресет, который станет основой для нового «цифрового человека». На данный момент система насчитывает более 50 шаблонов лиц разного пола, возраста и расы со своими индивидуальными особенностями.

Внизу рабочей зоны расположены три основные опции, с помощью которых создаётся форма лица будущей 3D-модели: Blend, Move и Sculpt.

Инструмент Blend «смешивает» отдельные участки разных лиц. В левой части редактора пользователь может добавить к исходному пресету ещё несколько шаблонов, перетащив необходимый аватар из Presets в окно Blend. После этого в рабочем окне можно изменить обозначенные кружками части лица путём перетаскивания маркера в сторону необходимого шаблона. Если оставить маркер посередине, редактор сгенерирует смешанный результат. Таким образом, процесс создания новой внешности происходит очень быстро.

Move отвечает за редактирование обширных зон, а Sculpt позволяет локально работать с точками, которые отвечают за форму тех или иных частей лица, и настраивать их на своё усмотрение. При желании можно отключить симметрию (справа от кнопки Preview) и с помощью маркеров намеренно добавить чертам лица изъяны (например, чуть сдвинуть одно веко, увеличить ноздрю или приподнять бровь).

Пункт Preview демонстрирует, как лицо или тело (зависит от выбранной вкладки) новой 3D-модели выглядит в динамике.

Слева от рабочего окна находится панель, где можно редактировать цвет волос, одежду, макияж, пропорции туловища, полость рта (включая цвет и форму зубов) и многие другие детали. Отдельного внимания заслуживает вкладка Skin в разделе Face. Текстура кожи лица не просто накладывается на модель персонажа — она генерирует новый рельеф кожи в соответствии с данными текстуры. Например, если выбрать текстуру пожилого человека, морщины появятся на уровне топологии лица.

В верхней панели MetaHuman Creator находится всё, что связано с визуализацией. Вкладка Studio позволяет рассматривать персонажа в различном окружении и экспериментировать с источниками света (дневной свет, внутреннее освещение, эффект камина и так далее).

Вторая и третья кнопки отвечают за ракурс камеры и качество рендера. В последнем пункте, LOD (Level of Details), доступны разные уровни детализации — от ультравысокой, при которой заметны даже пушковые волосы на лице, до низкополигональной в стиле PS1.

Готовый персонаж автоматически сохраняется в учётной записи. В дальнейшем модель можно перенести в Unreal Engine с помощью Quixel Bridge. В настройках экспорта следует указать нужное ПО (модели из MetaHuman Creator можно переносить только в Unreal Engine или Autodesk Maya), путь экспорта ассетов, качество текстур и варианты LOD.

Это основные принципы работы в MetaHuman Creator. В связи с тем, что инструмент находится в раннем доступе, есть несколько нюансов, которые необходимо знать всем, кто заинтересован в более углублённом изучении редактора.

Список ограничений MetaHuman Creator

Облачный формат

Принцип работы MetaHuman Creator существенно отличается от стандартных редакторов персонажей в играх. Это огромная база данных с текстурами и 3D-сканами лиц в высоком разрешении, количество которых постоянно растёт. Разработчики пока не нашли способа, с помощью которого можно скомпоновать данные инструмента в объём среднестатистической офлайн-программы, поэтому считают формат облачной версии самым оптимальным решением. По этой же причине пока невозможна интеграция инструмента в игры Unreal Engine, чтобы использовать его как основу для редактора персонажей.

Никакого фэнтези

MetaHuman Creator предназначена только для создания человеческих персонажей. Орков, эльфов, дворфов и прочих фэнтезийных человекоподобных существ не встретить в реальной жизни, чтобы пригласить их на сеанс 3D-сканирования. Команда признаёт, что возможность создавать персонажей новых рас — один из самых популярных запросов от пользователей, поэтому не исключено, что она может вернуться к этому вопросу в будущем. Но сейчас главная задача — уделить внимание сбору данных, чтобы расширить вариативность человеческих лиц.

Можно ли сделать двойника в MetaHuman?

Что касается создания персонажей-двойников из реальной жизни — теоретически это возможно. Например, арт-директор Александар Попов демонстрировал на стриме модель, очень походившую на Авраама Линкольна. Но на практике в MetaHuman Creator пользователю сложно создать чьего-либо двойника. Это связано не только с ограничениями при выборе причёски, растительности на лице и макияжа. В базе данных программы всё ещё недостаточно типажей и инструментов для редактирования, на основе которых можно создать настоящий клон.

Между тем команда Epic Games убеждена, что основная задача MetaHuman Creator заключается не в создании двойников. В первую очередь это генератор уникальных реалистичных типажей на основе существующей базы данных. При этом пользователь может прибегнуть к созданию персонажа на основе снимков-референсов. Для этого потребуются две фотографии нужного человека (в анфас и в профиль) и программа для референсов (например, PureRef) с функциями полупрозрачности и установки изображения поверх окон. Далее следует наложить снимок на лицо персонажа во вьюпорте так, чтобы совпала общая форма лица, и путём перемещения маркеров подогнать черты лица под фотографию.

Но как можно заметить из видео выше, даже при самом скрупулёзном подходе добиться 100% сходства с оригиналом не получится — можно уловить лишь некоторые черты лица. Поэтому пользователь не сможет воссоздать точную копию человека из реальной жизни, в том числе знаменитости.

Трёхмерные версии Киану Ривза и Кэрри-Энн Мосс в трейлере The Matrix Awakens очень похожи на шаблоны из MetaHuman Creator. Это связано с тем, что лица актёров оцифрованы с помощью технологии 3Lateral, а их готовые модели основаны на фреймворках MetaHuman.

В теории проблему могла бы решить функция загрузки фотографий лица и их последующее наложение на модель, например по принципу работы аддона Face Builder для Blender. Но c моделями из MetaHuman Creator такой подход невозможен из-за особенностей технологий синтеза текстур и 3D- и 4D-сканирования.

Эксклюзивность

Ещё одно ограничение связано с пользовательским соглашением Epic Games. Согласно пункту 1.1 пользователь может модифицировать модели из MetaHuman Creator, однако использовать их разрешено только в рамках Unreal Engine. Использование контента в сторонних программах и публикация рендеров, сделанных не в UE4, являются нарушением лицензии и могут повлечь за собой нежелательные последствия.

На данный момент единственная программа для 3D-моделирования, которая официально поддерживает работу с таким контентом, — Autodesk Maya.

Тем не менее экспорт моделей в другое ПО возможен по следующей схеме: импорт модели в Unreal Editor → экспорт в FBX → загрузка FBX-файла в сторонней 3D-программе. Но в этом случае не исключено, что какие-то нюансы, в частности риггинг, могут работать не совсем корректно.

Небольшой выбор одежды

Одежда в MetaHuman Creator фактически существует «для галочки», так как разработчики фокусировались непосредственно на технологии создания новых лиц. В любом случае дополнительный гардероб для персонажа всегда можно найти на Unreal Marketplace или импортировать из других программ. Также на официальном форуме существует отдельная ветка, где пользователи обмениваются опытом в создании одежды для моделей из MetaHuman Creator для последующего импорта в Unreal Engine.

«Цифровые люди» vs. 3D-арт

Даже с учётом текущих ограничений программа выглядит отличным подспорьем для разработчиков на Unreal Engine. До MetaHuman Creator фотореалистичных персонажей могли позволить себе только AAA-студии с большим бюджетом и высококвалифицированные художники-фрилансеры. Но значит ли это, что с развитием технологии 3D-художники больше не понадобятся? Команда MetaHuman Creator считает такую мысль большим заблуждением.

Epic Games придерживается мнения, что MetaHuman Creator позволит разработчикам сфокусироваться непосредственно на художественной составляющей, особенно если речь идёт о дизайне персонажей для AAA-игр. Для финального образа внешность часто нуждается в определённых акцентах и доработке — это прерогатива 3D-художников. Даже если роль главных героев исполняют реальные актёры, задачи технического плана, такие как 3D-сканирование и захват движений, требуют внимания специалистов, а задачу по созданию рядовых NPC можно оставить MetaHuman Creator.

Примеры использования MetaHuman Creator в играх и визуализациях

С момента выхода MetaHuman Creator в ранний доступ прошло не так много времени, чтобы делать какие-то выводы о том, насколько этот инструмент популярен среди разработчиков Unreal Engine. Тем не менее студии уже присматриваются к нему и экспериментируют с моделями MetaHuman. Правда, эксперименты не всегда приводят к положительному результату.

Российская студия TALLBOYS уже несколько лет работает над иммерсивным симулятором Militsioner, трейлер которого в своё время вызвал большой ажиотаж в Сети. После того как изначальную модель гигантского Милиционера заменили «цифровым человеком» из MetaHuman Creator, на разработчиков обрушился шквал критики со стороны игрового сообщества. Всё дело в том, что новый, реалистичный образ Милиционера больше не вызывал эффекта зловещей долины и, в отличие от прошлой версии, уже не так пугал игроков. Разработчики планируют снова изменить текущую модель, вернув ей гротескные черты.

Дмитрий отмечает, что, помимо ограниченной кастомизации моделей, главный недостаток инструмента — отсутствие подробной документации. Так как MetaHuman Creator представляет собой комплексный модуль для движка, у студии уходит много времени на обратную разработку. Из-за этого возникают сложности с пониманием того, какой функционал в инструменте — временный в связи с ранним доступом, а какой — задуман изначально.

MetaHuman Creator стала большим подспорьем и в области визуализаций. Anvil Frame Studio использует контент, созданный в MetaHuman Creator, не только в своих проектах, но и на курсах по Virtual Production и созданию синематиков в UE4. Основатель студии, Виктор Манин, считает MetaHuman Creator одной из лучших бесплатных альтернатив по созданию «цифровых людей», хотя и не отрицает, что у инструмента пока есть недостатки, связанные с ранним доступом.

Подведём итоги

MetaHuman Creator подойдёт не только разработчикам, планирующим использовать реалистичные 3D-модели людей в играх и синематиках, но и обычным пользователям, которые любят создавать трёхмерные аватары своей мечты в различных редакторах персонажей.

Плюсы MetaHuman Creator

• Инструмент бесплатный, в отличие от таких аналогов, как Character Creator.
• Легко освоить: интуитивный интерфейс, понятный каждому пользователю.
• Обеспечивает быстрый процесс создания уникальных человеческих типажей высокого качества в 3D.
• Лицевой риггинг моделей, созданный в MetaHuman Creator, совместим с Live Link App, что обеспечивает удобную запись собственных анимаций с камеры iPhone.

• Не требует места на жёстком диске. Вся работа моментально сохраняется в облаке. Быстрый экспорт.
• Большой выбор уровней детализации готового персонажа — от гиперреализма до low-poly. Таким образом разработчик может экспортировать готовое решение для проекта с графикой нового поколения или для портативных устройств с менее мощным железом, например для Nintendo Switch.

Минусы MetaHuman Creator

• Инструмент всё ещё находится в раннем доступе.
• Текущий функционал сильно ограничен.
• Готовых персонажей можно использовать только в рамках проектов на Unreal Engine.
• Отсутствие документации.

Что дальше?

Выход MetaHuman Creator мотивировал другие компании двигаться в сторону создания альтернативного ПО в этой же сфере. В январе 2022 года Unity приобрела компанию Ziva Dynamics для производства собственного инструмента для создания «цифровых людей» и последующей их интеграции в движок. Примерно в это же время известный разработчик ПО в сфере 2D/3D-арта и анимации — Reallusion — представил тизер четвёртой версии Character Creator.

В перспективе столь массовое внедрение готовых решений для создания качественных 3D-персонажей ускорит процесс разработки проектов в области игр и компьютерной анимации, а также позволит им выйти на новый уровень реализма. Нам остаётся лишь наблюдать за созданием новых метавселенных и дальнейшим развитием «цифрового человечества». Главное, чтобы в будущем оно полностью не заменило реальных людей.