NVIDIA представила нейросеть, превращающую 2D-изображения в 3D-модель

Компания NVIDIA в сотрудничестве со специалистами из Стэнфордского университета представила нейросеть EG3D, умеющую генерировать 3D-модели на основе фотографий. Разработка технологии заняла более года. Сейчас любой желающий может опробовать её в действии, воспользовавшись открытым исходным кодом. Нейросеть не требовательна к ПК и работает даже на ноутбуках со встроенной видеокартой класса high-end.

Как сообщает NVIDIA, созданные с помощью EG3D объекты обладают правильной геометрией по всему периметру, на них также отсутствуют артефакты, искажающие 3D-модель. Сейчас нейросеть умеет воссоздавать детализированные лица людей, а также другие объекты — например, морды кошек.

Работа EG3D происходит в два этапа. Сперва нейросеть создаёт серию 2D-изображений, используя генеративно-состязательные сети. А затем она складывает их в 3D-модель.

Технологию ещё нельзя использовать для игровых проектов из-за того, что возникают сложности с доработкой и редактированием сгенерированных таким способом 3D-объектов. Дело в том, что с ними нельзя работать при помощи стандартных инструментов для 3D-моделирования. Однако NVIDIA уже занимается поиском решения этой проблемы для расширения возможностей использования новой технологии.

В марте NVIDIA уже рассказывала о другой нейросети Instant NeRF, способной превращать 2D-изображения в 3D-объекты. Тогда процесс создания 3D-изображения инженеры NVIDIA назвали инверсным рендерингом.