MetaHuman Creator: всё, что нужно знать о новом инструменте для создания реалистичных персонажей в 3D
Знакомимся с функционалом и возможностями программы в раннем доступе. Что говорят о MetaHuman Creator представители игровой индустрии.
Иллюстрация: Дима Руденок для Skillbox Media
В феврале 2021 года Epic Games анонсировала MetaHuman Creator — новый инструмент для создания человеческих 3D-персонажей высокого качества. Первый тизер впечатлял своими возможностями. До этого момента считалось, что создать 3D-модель человека в гиперреализме без эффекта зловещей долины (uncanny valley) можно только с помощью дорогостоящих программ, 3D-сканирования и мокап-технологий, не говоря уже о доработке полученных исходников опытными 3D-художниками. 14 апреля 2021 года MetaHuman Creator вышла в открытый ранний доступ, дав каждому возможность оценить функционал редактора. Мы решили разобраться, что лежит в основе этого инструмента, как он работает и с какими нюансами могут столкнуться пользователи.
В этом материале вы узнаете:
- как Epic Games заинтересовалась наработками сербской студии и поддержала развитие их технологии;
- как работать с инструментом, и почему доступна только онлайн-версия;
- может ли пользователь создать своего двойника или копию знаменитости;
- отразится ли массовое использование данной технологии на сфере 3D-арта в будущем;
- что думают о MetaHuman Creator представители игровой индустрии;
- плюсы и минусы инструмента.
Предпосылки к созданию MetaHuman Creator
В основе инструмента заложены наработки сербской студии 3Lateral. С 2012 года компания в основном занималась 3D-сканированием и моушн-дизайном, успев поработать над сканированием и анимацией лиц персонажей в таких играх, как Devil May Cry 5, Until Dawn, GTA 5, Horizon: Zero Dawn и Hellblade: Senua’s Sacrifice. Также студия плотно сотрудничала с Epic Games (Unreal Engine Demo: The Kid, Troll Project), и на основе этого союза появились предпосылки к созданию новой технологии.
Стартовой точкой в истории MetaHuman Creator можно считать конференцию GDC 2017, когда основатель 3Lateral, Владимир Мастилович, при сотрудничестве с Epic Games представил ранний прототип редактора персонажей. Эту технологию студия назвала «сращивание генов» (Gene Splicer). Под термином подразумевалась процедурная генерация новых лиц на основе отсканированных данных реальных людей. При сканировании участки поверхности кожи отслеживались датчиками с точностью до уровня пор и сохранялись в базе данных.
«Я работал с Владом [Владимиром Мастиловичем. — Авт.] над демо для GDC 2017, которое, по сути, было демонстрацией технологии смешивания разных зон человеческих лиц на её раннем этапе. Количество пресетов было сильно ограничено, и отсутствовала возможность править результат. Программа Влада нуждалась в некоторых доработках, которые мог реализовать [наш] движок. Вместе с UI-дизайнером из команды Epic Games мы оснастили прототип необходимым функционалом [в частности, имеется в виду интерфейс. — Авт.], чтобы редактор выглядел презентабельно. Сама концепция была ещё в зачаточном состоянии, но так и появилась наша идея — идея возможности создавать уникальные лица и анимировать их, имея даже небольшую базу отсканированных данных, при помощи технологии смешивания, которую разрабатывала 3Lateral».
Джеймс Голдинг,
технический директор Epic Games на стриме MetaHuman Creator | Inside Unreal
С поддержкой Epic Games концепция «цифровых людей» продолжила развиваться. Уже на GDC 2018 во время доклада State of Unreal технический директор Epic Games Ким Либрери представил демонстрационный ролик Siren — краткий монолог виртуальной девушки о том, что она не просто «сборка красивых пикселей».
В создании этой визуализации принимали участие сотрудники Epic Games, а также компании Tencent, 3Lateral, Cubic Motion и Vicon. Сразу же за этой презентацией шло выступление Владимира Мастиловича. В нём он наглядно продемонстрировал, как с помощью движка Unreal Engine студии удалось не только создать цифровую версию актёра Энди Серкиса с помощью 3D- и 4D-сканирования, но и перенести данные его лицевой анимации на вымышленного представителя инопланетной расы.
Прогресс технологии заставил Epic Games всерьёз задуматься об инструменте для создания человеческих 3D-персонажей высокого качества, который по силам освоить каждому пользователю, и вскоре компания перешла к действиям. В январе 2019-го она приобрела студию 3Lateral. В ноябре того же года о сотрудничестве с Epic Games объявила компания Quixel, которая создала уникальную библиотеку ассетов и два приложения, обеспечивающие более удобный импорт контента. В 2020 году Epic Games купила и Qubic Motion — студию, специализирующуюся на технологии лицевой анимации.
3Lateral и Qubic Motion объединили свои усилия в создании реалистичных 3D-моделей, собирая результаты сканирования реальных людей в одну общую базу данных. В дальнейшем эти модели добавили в приложение Quixel Bridge, которое отвечает за просмотр, загрузку и импорт материалов Quixel Megascans. Таким образом, три компании под руководством Epic Games положили начало созданию новой «цифровой» расы в рамках Unreal Engine.
Основной функционал инструмента
Сейчас любой пользователь, у которого есть учётная запись Epic Games, может запросить ранний доступ к MetaHuman Creator на сайте компании. Инструмент представляет собой онлайн-редактор, поэтому потребуется стабильное подключение к Сети.
На старте проекта пользователь выбирает базовый пресет, который станет основой для нового «цифрового человека». На данный момент система насчитывает более 50 шаблонов лиц разного пола, возраста и расы со своими индивидуальными особенностями.
Внизу рабочей зоны расположены три основные опции, с помощью которых создаётся форма лица будущей 3D-модели: Blend, Move и Sculpt.
Инструмент Blend «смешивает» отдельные участки разных лиц. В левой части редактора пользователь может добавить к исходному пресету ещё несколько шаблонов, перетащив необходимый аватар из Presets в окно Blend. После этого в рабочем окне можно изменить обозначенные кружками части лица путём перетаскивания маркера в сторону необходимого шаблона. Если оставить маркер посередине, редактор сгенерирует смешанный результат. Таким образом, процесс создания новой внешности происходит очень быстро.
Move отвечает за редактирование обширных зон, а Sculpt позволяет локально работать с точками, которые отвечают за форму тех или иных частей лица, и настраивать их на своё усмотрение. При желании можно отключить симметрию (справа от кнопки Preview) и с помощью маркеров намеренно добавить чертам лица изъяны (например, чуть сдвинуть одно веко, увеличить ноздрю или приподнять бровь).
Примечание. При добавлении асимметрии стоит помнить, что она всегда присутствует в человеческом лице. Это значит, что она по умолчанию есть и в лицах шаблонов MetaHuman, так как они являются «цифровыми двойниками» людей из реальной жизни.
Пункт Preview демонстрирует, как лицо или тело (зависит от выбранной вкладки) новой 3D-модели выглядит в динамике.
Слева от рабочего окна находится панель, где можно редактировать цвет волос, одежду, макияж, пропорции туловища, полость рта (включая цвет и форму зубов) и многие другие детали. Отдельного внимания заслуживает вкладка Skin в разделе Face. Текстура кожи лица не просто накладывается на модель персонажа — она генерирует новый рельеф кожи в соответствии с данными текстуры. Например, если выбрать текстуру пожилого человека, морщины появятся на уровне топологии лица.
В верхней панели MetaHuman Creator находится всё, что связано с визуализацией. Вкладка Studio позволяет рассматривать персонажа в различном окружении и экспериментировать с источниками света (дневной свет, внутреннее освещение, эффект камина и так далее).
Вторая и третья кнопки отвечают за ракурс камеры и качество рендера. В последнем пункте, LOD (Level of Details), доступны разные уровни детализации — от ультравысокой, при которой заметны даже пушковые волосы на лице, до низкополигональной в стиле PS1.
Примечание. Некоторые ассеты для 3D-моделей (причёски, бороды и так далее) всё ещё находятся в разработке, поэтому отображаются только на уровнях LOD 1 и LOD 0.
Готовый персонаж автоматически сохраняется в учётной записи. В дальнейшем модель можно перенести в Unreal Engine с помощью Quixel Bridge. В настройках экспорта следует указать нужное ПО (модели из MetaHuman Creator можно переносить только в Unreal Engine или Autodesk Maya), путь экспорта ассетов, качество текстур и варианты LOD.
Это основные принципы работы в MetaHuman Creator. В связи с тем, что инструмент находится в раннем доступе, есть несколько нюансов, которые необходимо знать всем, кто заинтересован в более углублённом изучении редактора.
Список ограничений MetaHuman Creator
Облачный формат
Принцип работы MetaHuman Creator существенно отличается от стандартных редакторов персонажей в играх. Это огромная база данных с текстурами и 3D-сканами лиц в высоком разрешении, количество которых постоянно растёт. Разработчики пока не нашли способа, с помощью которого можно скомпоновать данные инструмента в объём среднестатистической офлайн-программы, поэтому считают формат облачной версии самым оптимальным решением. По этой же причине пока невозможна интеграция инструмента в игры Unreal Engine, чтобы использовать его как основу для редактора персонажей.
Никакого фэнтези
MetaHuman Creator предназначена только для создания человеческих персонажей. Орков, эльфов, дворфов и прочих фэнтезийных человекоподобных существ не встретить в реальной жизни, чтобы пригласить их на сеанс 3D-сканирования. Команда признаёт, что возможность создавать персонажей новых рас — один из самых популярных запросов от пользователей, поэтому не исключено, что она может вернуться к этому вопросу в будущем. Но сейчас главная задача — уделить внимание сбору данных, чтобы расширить вариативность человеческих лиц.
«Мне кажется, между такими группами персонажей есть существенный разрыв [в плане строения модели — Авт.]. Люди, как правило, не слишком отличаются друг от друга, то есть у них может быть разная форма ушей или ещё что-то в этом роде, но всё это, по сути, — одинаковая топология с некоторой корректировкой. А что касается орков и прочих подобных [существ] — там совсем другая топология. …Этим функционалом интересуются [пользователи], но для его реализации нам, безусловно, предстоит решить не один сложный вопрос».
Джеймс Голдинг,
технический директор Epic Games на стриме MetaHuman Creator | Inside Unreal
Можно ли сделать двойника в MetaHuman?
Что касается создания персонажей-двойников из реальной жизни — теоретически это возможно. Например, арт-директор Александар Попов демонстрировал на стриме модель, очень походившую на Авраама Линкольна. Но на практике в MetaHuman Creator пользователю сложно создать чьего-либо двойника. Это связано не только с ограничениями при выборе причёски, растительности на лице и макияжа. В базе данных программы всё ещё недостаточно типажей и инструментов для редактирования, на основе которых можно создать настоящий клон.
Между тем команда Epic Games убеждена, что основная задача MetaHuman Creator заключается не в создании двойников. В первую очередь это генератор уникальных реалистичных типажей на основе существующей базы данных. При этом пользователь может прибегнуть к созданию персонажа на основе снимков-референсов. Для этого потребуются две фотографии нужного человека (в анфас и в профиль) и программа для референсов (например, PureRef) с функциями полупрозрачности и установки изображения поверх окон. Далее следует наложить снимок на лицо персонажа во вьюпорте так, чтобы совпала общая форма лица, и путём перемещения маркеров подогнать черты лица под фотографию.
Но как можно заметить из видео выше, даже при самом скрупулёзном подходе добиться 100% сходства с оригиналом не получится — можно уловить лишь некоторые черты лица. Поэтому пользователь не сможет воссоздать точную копию человека из реальной жизни, в том числе знаменитости.
Трёхмерные версии Киану Ривза и Кэрри-Энн Мосс в трейлере The Matrix Awakens очень похожи на шаблоны из MetaHuman Creator. Это связано с тем, что лица актёров оцифрованы с помощью технологии 3Lateral, а их готовые модели основаны на фреймворках MetaHuman.
В теории проблему могла бы решить функция загрузки фотографий лица и их последующее наложение на модель, например по принципу работы аддона Face Builder для Blender. Но c моделями из MetaHuman Creator такой подход невозможен из-за особенностей технологий синтеза текстур и 3D- и 4D-сканирования.
«Процесс сканирования людей для базы данных сам по себе довольно удивительный. Мне посчастливилось посетить… студию в Сербии, где создавалась эта база данных, и она выглядит феноменально. Но [процесс сканирования] требует много камер и немалую вычислительную мощность. Суть в том, что вам нужно получить полноценную модель лица в разных ракурсах и такого качества, чтобы при увеличении можно было увидеть все детали вплоть до пор. <…> Я считаю, что 2D-изображение просто не обеспечит те формы, на основе которых можно воссоздать лицо».
Джеймс Голдинг,
технический директор Epic Games на стриме MetaHuman Creator | Inside Unreal
Эксклюзивность
Ещё одно ограничение связано с пользовательским соглашением Epic Games. Согласно пункту 1.1 пользователь может модифицировать модели из MetaHuman Creator, однако использовать их разрешено только в рамках Unreal Engine. Использование контента в сторонних программах и публикация рендеров, сделанных не в UE4, являются нарушением лицензии и могут повлечь за собой нежелательные последствия.
На данный момент единственная программа для 3D-моделирования, которая официально поддерживает работу с таким контентом, — Autodesk Maya.
«Наша компания использовала Maya на протяжении всех стадий бэкенд-разработки. Это не значит, что мы против работ в других программах, но в нашем плагине для Maya существует много подводных камней. И сделать универсальный порт для другого ПО — серьёзная проблема. Если вы знакомы с риггингом и анимацией в Blender, 3ds Max или Maya, то вот вам хороший пример. В Maya система костей (джойнтов) ориентирована по системе координат. В 3ds Max даже нет такого принципа, там всё устроено несколько иначе. А в Blender важна длина кости, чего нет в Maya.
Есть много вещей, с которыми каждое ПО работает по-своему. И нам… пришлось бы тратить всё своё время на поиск универсальных решений [для экспорта. — Авт.] вместо того, чтобы улучшать сам инструмент».
Крис Эванс,
ведущий технический аниматор, Epic Games на стриме MetaHuman Creator | Inside Unreal
Тем не менее экспорт моделей в другое ПО возможен по следующей схеме: импорт модели в Unreal Editor → экспорт в FBX → загрузка FBX-файла в сторонней 3D-программе. Но в этом случае не исключено, что какие-то нюансы, в частности риггинг, могут работать не совсем корректно.
Небольшой выбор одежды
Одежда в MetaHuman Creator фактически существует «для галочки», так как разработчики фокусировались непосредственно на технологии создания новых лиц. В любом случае дополнительный гардероб для персонажа всегда можно найти на Unreal Marketplace или импортировать из других программ. Также на официальном форуме существует отдельная ветка, где пользователи обмениваются опытом в создании одежды для моделей из MetaHuman Creator для последующего импорта в Unreal Engine.
«Цифровые люди» vs. 3D-арт
Даже с учётом текущих ограничений программа выглядит отличным подспорьем для разработчиков на Unreal Engine. До MetaHuman Creator фотореалистичных персонажей могли позволить себе только AAA-студии с большим бюджетом и высококвалифицированные художники-фрилансеры. Но значит ли это, что с развитием технологии 3D-художники больше не понадобятся? Команда MetaHuman Creator считает такую мысль большим заблуждением.
«Как художник по персонажам, проработавший в этой индустрии много лет, я привык к массе рутинных процессов, с которыми сталкиваешься при создании персонажа, начиная с топологии и заканчивая импортом в Unreal Engine. Этот инструмент [MetaHuman Creator] поможет создавать персонажей быстрее, просто ускорив все эти процессы. …Полученную 3D-модель можно использовать как основу… или в качестве готового персонажа. В любом случае вы увидите, что художники по-разному используют этот инструмент. У кого-то будет получаться лучше, у кого-то — иначе. Поэтому я думаю, что ничего [в индустрии. — Авт.] кардинально не изменится. У вас просто появится в арсенале инструмент, который позволит выполнять какие-то задачи проще и быстрее… Думаю, что в итоге он лишь поможет художникам, а не приведёт к тому, что те потеряют работу».
Александар Попов,
арт-директор Epic Games на стриме MetaHuman Creator | Inside Unreal
Epic Games придерживается мнения, что MetaHuman Creator позволит разработчикам сфокусироваться непосредственно на художественной составляющей, особенно если речь идёт о дизайне персонажей для AAA-игр. Для финального образа внешность часто нуждается в определённых акцентах и доработке — это прерогатива 3D-художников. Даже если роль главных героев исполняют реальные актёры, задачи технического плана, такие как 3D-сканирование и захват движений, требуют внимания специалистов, а задачу по созданию рядовых NPC можно оставить MetaHuman Creator.
«Наша студия пока не использовала MetaHuman Creator в своих проектах. Если говорить о рынке 3D-арта в целом — мне кажется, что в будущем подобные технологии удешевят стоимость услуг 3D-художников. Например, если раньше мы делали текстуры для моделей в Photoshop в соответствии с UV-координатами, то сейчас для этих задач есть Substance Painter, где скорость работы в пять раз выше. Появилось много инструментов и сервисов, которые сильно упрощают все процессы. Я думаю, что в перспективе через 10–15 лет с 3D-артом произойдёт то же самое, что и с веб-мастерингом. Вспомните, какой был спрос на услуги по созданию сайтов до того, как появились различные конструкторы по типу WordPress. Разумеется, останется ниша высококлассных специалистов, которая всегда будет востребована. Однако большинство заказчиков будут оценивать стоимость услуг 3D-художников значительно ниже, чем сейчас».
Кирилл Резниченко,
CEO Rainstyle Games
Примеры использования MetaHuman Creator в играх и визуализациях
С момента выхода MetaHuman Creator в ранний доступ прошло не так много времени, чтобы делать какие-то выводы о том, насколько этот инструмент популярен среди разработчиков Unreal Engine. Тем не менее студии уже присматриваются к нему и экспериментируют с моделями MetaHuman. Правда, эксперименты не всегда приводят к положительному результату.
Российская студия TALLBOYS уже несколько лет работает над иммерсивным симулятором Militsioner, трейлер которого в своё время вызвал большой ажиотаж в Сети. После того как изначальную модель гигантского Милиционера заменили «цифровым человеком» из MetaHuman Creator, на разработчиков обрушился шквал критики со стороны игрового сообщества. Всё дело в том, что новый, реалистичный образ Милиционера больше не вызывал эффекта зловещей долины и, в отличие от прошлой версии, уже не так пугал игроков. Разработчики планируют снова изменить текущую модель, вернув ей гротескные черты.
«MetaHuman Creator создан под огромный спектр задач — от синематиков до мобильных платформ. Из-за этого случаются проблемы с производительностью. Нужно постоянно искать и решать, что можно убрать или изменить. Что касается тонких настроек черт лица, то разработчики игр на UE4 уже нашли множество обходных способов [внести изменения. — Авт.], и сейчас это уже не такая большая проблема. Но всё же хочется, чтобы этот функционал присутствовал в редакторе. Такое решение помогло бы выстроить правильный пайплайн и сэкономило бы десятки часов для таких небольших команд, как наша. Но импорт моделей реализован просто отлично: как Epic Games и обещала, достаточно нажать одну кнопку».
Дмитрий Шевченко,
геймдизайнер, директор TALLBOYS (Pandemic Express, Militsioner)
Дмитрий отмечает, что, помимо ограниченной кастомизации моделей, главный недостаток инструмента — отсутствие подробной документации. Так как MetaHuman Creator представляет собой комплексный модуль для движка, у студии уходит много времени на обратную разработку. Из-за этого возникают сложности с пониманием того, какой функционал в инструменте — временный в связи с ранним доступом, а какой — задуман изначально.
«Сейчас сложно воспринимать MetaHuman Creator как готовый инструмент из-за стадии раннего доступа. Поэтому при обновлениях возникают определённые сложности. Например, в одном из последних апдейтов добавили новые кости [для риггинга. — Авт.], из-за чего многие анимации попросту сломались в результате постобработки. Такие нюансы затрудняют разработку собственных инструментов. На данный момент для анимации тела доступен Control Rig — это встроенный функционал для риггинга в Unreal Engine. Других решений „из коробки“ сейчас нет. Движок изначально не был спроектирован под анимирование персонажей, поэтому у него не самый удобный UI. Это сильно тормозит скорость работы по сравнению с распространёнными программами 3D-моделирования вроде Maya и Blender. Выходит, что небольшой команде создавать кастомные инструменты для работы с ним очень сложно, так как они потребуют постоянных и комплексных обновлений.
Именно поэтому для нас сейчас самый критичный недочёт инструмента — отсутствие документации и примеров использования на практике. Ждём и надеемся на публикацию нового демо The Matrix Awakens хотя бы с минимальным наличием примеров активного использования технологии».
Дмитрий Шевченко,
геймдизайнер, директор TALLBOYS (Pandemic Express, Militsioner)
MetaHuman Creator стала большим подспорьем и в области визуализаций. Anvil Frame Studio использует контент, созданный в MetaHuman Creator, не только в своих проектах, но и на курсах по Virtual Production и созданию синематиков в UE4. Основатель студии, Виктор Манин, считает MetaHuman Creator одной из лучших бесплатных альтернатив по созданию «цифровых людей», хотя и не отрицает, что у инструмента пока есть недостатки, связанные с ранним доступом.
«Если говорить об оптимизации, то это достаточно тяжёлый инструмент, который требует хорошего железа. Также в MetaHuman Creator есть проблема, связанная с уровнями детализации. Низкий уровень LOD, который более-менее работает на слабых системах, выглядит откровенно плохо: с ним модели напоминают человечков из старых версий The Sims. Также есть физические ограничения, связанные с волосяным покровом (причёски, растительность на лице, пушковые волосы): он не отражается на поверхностях. Даже если присмотреться к визуалу нашумевшего технодемо The Matrix Awakens, заметно, что кадры срежиссированы так, чтобы нигде не фигурировали отражения с моделями MetaHuman.
Ещё один нюанс связан с отсутствием нормальной базы мокапа. У моделей MetaHuman есть собственный риг, и он достаточно неплохой. Но для того, чтобы использовать стандартные скелетные анимации из готовых ассет-паков, нужно делать процедуру ретаргетинга, которая не каждому по силам. Повторюсь, что инструмент новый и ещё развивается. Ему многое можно простить за то, что он бесплатный и нативно поддерживается Unreal Engine».
Виктор Манин,
CEO Anvil Frame Studio
Подведём итоги
MetaHuman Creator подойдёт не только разработчикам, планирующим использовать реалистичные 3D-модели людей в играх и синематиках, но и обычным пользователям, которые любят создавать трёхмерные аватары своей мечты в различных редакторах персонажей.
Плюсы MetaHuman Creator
- Инструмент бесплатный, в отличие от таких аналогов, как Character Creator.
- Легко освоить: интуитивный интерфейс, понятный каждому пользователю.
- Обеспечивает быстрый процесс создания уникальных человеческих типажей высокого качества в 3D.
- Лицевой риггинг моделей, созданный в MetaHuman Creator, совместим с Live Link App, что обеспечивает удобную запись собственных анимаций с камеры iPhone.
- Не требует места на жёстком диске. Вся работа моментально сохраняется в облаке. Быстрый экспорт.
- Большой выбор уровней детализации готового персонажа — от гиперреализма до low-poly. Таким образом разработчик может экспортировать готовое решение для проекта с графикой нового поколения или для портативных устройств с менее мощным железом, например для Nintendo Switch.
Минусы MetaHuman Creator
- Инструмент всё ещё находится в раннем доступе.
- Текущий функционал сильно ограничен.
- Готовых персонажей можно использовать только в рамках проектов на Unreal Engine.
- Отсутствие документации.
Что дальше?
Выход MetaHuman Creator мотивировал другие компании двигаться в сторону создания альтернативного ПО в этой же сфере. В январе 2022 года Unity приобрела компанию Ziva Dynamics для производства собственного инструмента для создания «цифровых людей» и последующей их интеграции в движок. Примерно в это же время известный разработчик ПО в сфере 2D/3D-арта и анимации — Reallusion — представил тизер четвёртой версии Character Creator.
В перспективе столь массовое внедрение готовых решений для создания качественных 3D-персонажей ускорит процесс разработки проектов в области игр и компьютерной анимации, а также позволит им выйти на новый уровень реализма. Нам остаётся лишь наблюдать за созданием новых метавселенных и дальнейшим развитием «цифрового человечества». Главное, чтобы в будущем оно полностью не заменило реальных людей.