Геймдев
#статьи

Как нейросети могут помочь художникам в геймдеве и смогут ли заменить их в будущем

Рассказываем и показываем, как работают нейросети, а также разбираемся, как они могут использоваться в играх.

Изображение: Midjourney / Eden, Janine and Jim / Flickr

В августе 2022‑го японский разработчик под ником Nao_u выпустил простенький скролл‑шутер, весь арт в котором нарисовала нейросеть Midjouney. Пришлось повозиться с настройками, да и полноценной игрой это, конечно, не назвать, но результатов автор добился впечатляющих.

Месяцем позже студия из двух человек Cute Pen Games выпустила в Steam симулятор свиданий с элементами пазла This Girl Does Not Exist, в котором вообще всё, включая сценарий и озвучку, сгенерировали нейронки.

Геймплейный трейлер Shoon от разработчика Nao_u

И это только начало. С развитием той же Midjouney, которую постоянно дополняют новыми технологиями, вновь заговорили о том, что нейросети скоро заменят художников.

В этом тексте мы разберёмся, так ли это на самом деле, выясним, как вообще работают нейронки, и рассмотрим несколько интересных кейсов.

Как работают нейросети

Сразу оставим философские вопросы об искусственном интеллекте и технологической сингулярности, которой боятся сторонники конспирологии разного толка, и перейдём к практике. Пока что нейросети очень далеки от человеческого мозга и не могут выполнять действительно творческие задачи. Если, конечно, не копать слишком глубоко в понятие творчества в принципе.

Однако пользу они приносят уже сейчас — для этого нейросети и создаются. Их эффективность напрямую зависит от вычислительных мощностей, поэтому развитие нейронок стало возможно сравнительно недавно. Как понятно из названия технологии, они имитируют работу нейронов и синаптических связей в мозгу человека — то есть огромное множество неочевидных связей, схему которых сеть определяет сама.

Если не вдаваться в подробности, то чем больше связей в нейронке, тем эффективнее она работает. А для этого нужны вычислительные мощности, так что использование нейронок — дорогое удовольствие.

Сейчас почти все нейросетевые сервисы, которые умеют рисовать картинки по текстовым запросам, работают по системе кредитов. Бизнес‑модели в таких сервисах разные, но все они сводятся к кредитам. Вы покупаете определённое количество кредитов и тратите их на попытки, а заодно и на различные улучшения вроде HD‑качества или количества шагов, которые нейросеть сделает в процессе создания картины.

Исключение тут — нашумевшая Midjourney, но она сейчас в бета‑тесте и работает через Discord.

Изображение: Олег Чимде / Midjourney

«Серверы с видеокартами стоят намного дороже, чем обычные серверы. И пока нейронки работают на видеокартах, затраты у производителей такого софта очень высокие. <…> Действительно, не всегда можно получить тот результат, который хочешь. Но здесь ничего не поделать: сервер отработал, за сервер нужно платить, поэтому все используют кредитную модель. <…> Если коротко, то чем больше сервер работает, тем больше это стоит».

Денис Ширяев,
CEO и директор по продукту neural.love

Впрочем, сейчас все нейросети для художников работают по лицензии public domain, то есть их можно свободно использовать в бизнесе. Вы можете как сгенерировать арт себе на футболку, так и использовать его в своей игре — никто и слова не скажет. По сути, нейросетевые сервисы ступают на поле Pinterest и других агрегаторов, которые всегда были лучшими источниками референсов.

К этому, например, стремится сервис neural.love, работающий на Stable Diffusion, — стать этаким фотостоком, где каждый найдёт то, что хочет. Нейросетевые сервисы публикуют работы своих «роботов» преимущественно в открытом доступе, и любой человек может пошерстить архивы и взять то, что ему нужно.

Есть популярный миф, что нейросети собирают свои работы из доступного в Сети арта, но это не так. Они рисуют его самостоятельно по запросу, превращая шум в картинку, на основе того, чему обучились. То есть нейронки не сшивают результат из других артов — они действительно рисуют его сами.

Недавно Midjourney, впрочем, научилась действительно скрещивать картинки. Получился отличный источник мемов, но и пользу технология уже приносит
Изображение: Ai Molodca / Midjourney

Художник‑человек знает, как выглядит лес: он бывал в лесу, видел его на фотографиях и других артах. С нейросетью точно так же: ей показывают лес разных видов и работы других художников, поэтому она может нарисовать его.

Одна из главных проблем сейчас — это низкое разрешение латентного пространства, на которое нейросеть заточена. Сейчас оно 64×64 пикселя. Затем получившаяся картинка апскейлится до больших размеров. Именно поэтому нейросети преимущественно плохо работают с лицами и, например, пальцами рук.

«Следующий шаг — это перейти на латентное пространство большего разрешения. Тогда качество будет невероятное. Я думаю, это случится или в этом году, или в начале следующего».

Денис Ширяев,
CEO и директор по продукту neural.love

Чтобы нейросеть поняла, что от неё требуется, пользователь должен ввести ключевые слова — так называемый промпт.

«Разные сети по‑разному воспринимают входящий запрос, — говорит Александр Доброкотов, креативный директор рекламного агентства DADA и AI‑энтузиаст. — Например, Stable Diffusion требует подробный промпт. Ракурсы, крупности, свет, цвет, стили, художники, настроения, модификаторы. А иногда ещё и негативный промпт, чтобы сеть понимала, чего не должно быть на картинке. В Midjourney наоборот, можно написать beautiful cat, и он будет вполне beautiful».

Beautiful cat, получившийся у Stable Diffusion
Изображение: Олег Чимде / Stable Diffusion

Впрочем, Midjourney тоже можно помочь в рисовании дополнительными словами.

«Большое влияние на результат оказывает упоминание чьего‑либо стиля (Клод Моне, Саймон Столенхаг, Руди Гигер), жанра (киберпанк, ретрофутуризм), типа изображения (рендер, фото, рисунок) и так далее.

Можно описывать освещение, например professional studio lighting или bright purple neon light. Можно упоминать технические детали вроде 50 mm lenses, Diffusion‑Filter — некоторые даже пишут модель камеры. Можно упоминать виды ракурсов и позы. И ещё тучу всего».

Артём Нетягин,
инди‑разработчик и AI‑энтузиаст

Некоторые сервисы, впрочем, добавляют промпт‑инжиниринг. В той же neural.love, к примеру, можно выбрать категорию из списка: Cyberpunk, Creepy, Anime и другое. Но основные правила, как говорит Александр Доброкотов, — разделять смысловые блоки запятыми, писать на английском и экспериментировать.

Могут ли нейросети заменить художников

Точный ответ на этот вопрос вряд ли кто‑нибудь даст, но все наши спикеры сходятся во мнении, что сейчас они скорее полезный инструмент, который, напротив, может упростить и разнообразить работу художника.

Слева — референс, сгенерированный сервисом Dream. Писатель использовал его, чтобы показать настроение иллюстрации. Справа — работа художницы lurs4, создавшей иллюстрацию
Изображение: lurs4 / ArtStation /Dream

«Конечно, нейросети не умаляют значимость работы художников и уж тем более не претендуют на звание искусства. Это скорее отличный инструмент, когда нужен быстрый результат при минимуме трудозатрат. И, разумеется, нейронка не сможет создавать сложные специфичные арты, когда нужны какие‑то нюансы на изображении, и не сможет нормально вносить правки в некоторые детали».

Артём Нетягин,
инди‑разработчик и AI‑энтузиаст

Денис Ширяев считает, что художникам стоит поскорее взять нейросети на вооружение, а не отвергать их. «Не думаю, что художников, которые используют этот инструмент и вдохновляются им, заменят нейросети. Заменят они только тех, кто не будет меняться. Как и в случае со всеми технологиями», — говорит он.

«От художников будут ждать выдающегося результата. Из‑за такой большой насмотренности у людей просто красиво нарисованная девушка с цветком в волосах уже никого не впечатлит.

Я думаю, что качество работ популярных художников будет намного выше. Насмотренность у людей растёт, и искусство наконец‑то попадает в каждый дом. Это большая демократизация всего искусства».

Денис Ширяев,
CEO и директор по продукту neural.love

Midjourney без каких‑либо доработок
Изображение: midjourney.jpg / «Инстаграм»*

Арт‑директор студии VOKI Games Павел Пиловец сравнивает появление нейросетей с тем временем, когда так называемые трушные художники критиковали планшеты, мол, они убивают искусство. Затем примерно то же самое говорили и насчёт фотобаша. Но в обоих случаях появились просто новые инструменты, которые в итоге взяли на вооружение. «Он расширял возможности художников (наверное, понижая порог входа и в некоторой степени обесценивая предыдущие пайплайны), но сама индустрия не умерла, как и профессия», — говорит Пиловец.

«Возможно, концепт‑художники на первых итерациях станут больше работать с нейронками. Также допускаю появление новой профессии „оператор нейросетей“. Возможно, брифы от клиентов, арт‑директоров и режиссеров станут детальнее благодаря нейросетям. Это как раз тот случай, когда визионер может быстро сгенерировать огромное количество визуально разных и стилистически отличающихся друг от друга картинок, а потом прийти [к художнику] за реализацией в конкретном стиле и с конкретными параметрами. Так что на данный момент технарям, которые умеют финалить, беспокоиться не о чем. А концептеры просто перестроят пайплайны».

Павел Пиловец,
арт‑директор VOKI Games

Так что нейросети сейчас — скорее инструмент для художника, способ быстро получить набор подходящих образов и работать уже с ними. Да хоть визуализировать свой сон, записав несколько ключевых моментов в качестве промпта. Можно не штудировать агрегаторы картинок ради вдохновения, а использовать для этого любой из нейросетевых сервисов — причём неожиданность результата тут даже может сыграть на руку.

Из менее очевидных вариантов использования нейронок — быстрая визуализация идей. Это пригодится не только художникам, но и геймдизайнерам. Необязательно объяснять свои идеи команде словами и пытаться их изобразить. С помощью сгенерированного изображения проще показать стиль, передать атмосферу, которые вы хотите для своего проекта.

«Ещё нейросеть можно использовать, чтобы генерировать некоторые виды ассетов: картины, обложки книг и журналов, билборды, портреты и так далее. Всё это не будет нарушать никаких прав. А главное, мне теперь не нужен отдельный художник на подобные задачи (конечно, это не значит, что он теперь не нужен вовсе). Инди‑команды вообще теперь могут решать многие задачи, даже не имея художника, уже есть кейсы».

Артём Нетягин,
инди‑разработчик и AI‑энтузиаст

Основные нейросети, работающие с артом

На момент написания этого текста таких технологий три — Stable Diffusion, DALL‑E 2 и Midjourney. Также есть нейронки родом из Китая, но они пока не завоевали такой популярности, как вышеупомянутые, и картинки выдают менее качественные.

Преимущество Stable Diffusion в том, что это уже давно открытая технология, на которой и работает большая часть нейросетевых сервисов, в частности neural.love. Её активно допиливает комьюнити, а разные компании модифицируют и дополняют под свои нужды. Так, neural.love недавно научили рисовать более точные портреты.

DALL‑E 2 долгое время была закрытой технологией, но сейчас разработчики сделали код доступным для всех. Эта нейросеть отлично справляется, например, с фотореализмом и наверняка будет использоваться активнее.

Midjourney — закрытая система, которая оперативно впитывает в себя всё лучшее от других. Но пока что она находится в бете и работает через Discord.

«Изначально Midjourney была про кнопку „сделать красиво“. Так раньше и получалось — красиво, но довольно абстрактно (даже есть понятие „стиль миджорни“).

Но после того как авторы Stable Diffusion открыли код, в Midjourney интегрировали его наработки. Получился скачок по качеству и пониманию запроса. Но этого было мало, и спустя время вышла четвёртая версия алгоритма. Что под капотом — неизвестно, но у меня подозрение, что без DALL‑E 2 не обошлось».

Александр Доброкотов,
креативный директор DADA и AI‑энтузиаст

В последней версии Midjourney, как говорит Доброкотов, очень высокий coherence — этот термин означает слаженность, согласованность. Чем она лучше, тем логичнее получается картинка. То есть «когда из головы персонажа не торчит пять ног».

Помимо Stable Diffusion, DALL‑E 2 и Midjourney, есть и другие технологии, но они пока в догоняющих. Открытый код можно взять и подстроить под себя, но художникам, которые не умеют программировать, наверняка будет проще использовать различные сервисы, которых уже в достатке.

«Для себя формулирую разницу следующим образом. DALL‑E 2 — идеальный инструмент для работы с фотографическими изображениями. Такой Photoshop на максималках. Но с артом он работает не очень хорошо. Midjourney, напротив, отличный инструмент для работы с артом. Но, к сожалению, в случае с фотографическими изображениями он слаб. Всё равно получаются „картинки“. А Stable Diffusion — это что‑то среднее между Midjourney и DALL‑E 2, но при этом и по артовой части не всегда предсказуемо хороший результат, и по фото есть огрехи».

Павел Пиловец,
арт‑директор VOKI Games

Интересные кейсы, а также личный опыт

В Сети можно найти огромное множество примеров работы нейросетей. Один нейрохудожник осовременил и детализировал пиксельных персонажей Fallout 2, другой создал интерактивный концепт‑арт с помощью нейросети Midjourney и Unity, третий и вовсе победил в конкурсе изобразительных искусств. Но это всё скорее дурачество, чем полезное применение новых технологий.

Картина Midjourney, победившая в конкурсе искусств
Изображение: Jason Allen / Midjourney

Но вот работа художника Osh Punch, процессом создания которой он поделился на DTF, — совсем другое дело. Он использовал сервис playgroundai, основанный на Stable Diffusion и DALL‑E 2.

С помощью него Osh Punch создал 2D‑модель персонажа, которую затем «обвесил» скелетной анимацией и добавил в движок. Впрочем, художник использовал не только нейросеть: за основу он взял свою работу, а что‑то дорисовывал за нейросетью и снова загружал в неё. Это отличный пример тесной работы художника и нейросети, который привёл к впечатляющему результату.

Путь, пройденный художником Osh Punch от куклы до полноценной 2D‑модели для игры
Источник: Osh Punch / DTF

«Сгенерировав большое количество изображений, можно приступать к отбору самых подходящих. Где‑то я брал только головы и дорисовывал огрехи сети сам, где‑то просто вырезал подходящие элементы. […] Кисти рук по классике выходят как культи, и по итогу лучше дорисовывать их самому. Можно также поиграться с исходным изображением для более чёткой генерации, дорисовывая на куклу схематичные предметы».

Художник Osh Punch в блоге на DTF

Показателен и пример инди‑студии Xlab Digital, которая разрабатывает VR‑игру Strangers World: The Swarm, используя исключительно Midjourney. Изначально они искали художников, но с этим возникли трудности. Бюджет у игры небольшой, а работа хорошего художника стоит дорого.

«За 30 долларов в месяц (стоимость платной версии Midjourney. — Прим. авт.), мы получаем художника, который не кинет и не подведёт, и может выдавать сотни артов, в том числе удивляя своими „идеями“. Да, генерация занимает время. Порой на картинку можно убить целый день. Но художник нарисует вам нужный арт за день? И за 30 долларов? Думаю, нет».

Андрей Трунов,
инди‑разработчик из студии Xlab Digital

С помощью нейросети Xlab Digital пока что рисует концепт‑арты, по которым затем моделлеры будут создавать 3D‑модели. Авторы показали нам несколько работ, включая кей‑арт игры, — все они сгенерированы Midjourney.

Особенно впечатляет пистолет — базовое оружие игроков. «Идея была в создании уникального оружия, использующего инопланетные кристаллы, но тут ИИ удивила, — рассказывает разработчик Андрей Трунов. — Я представлял себе его совсем иначе, но Midjourney сделала всё сильно лучше, чем хотелось. Естественно, в деталях модель будет делаться не точь‑в‑точь, но схожесть будет 80–90%».

Модель пистолета в игре Strangers World: The Swarm
Изображение: Strangers World: The Swarm / Xlab Digital

Хочется привести в пример и личный опыт. Я рисую арт для скролл‑шутера в жанре сплаттерпанк (кровь, мясо и кости) и активно использую нейросети — в первую очередь как источник референсов. Однако какие‑то элементы я вырезаю непосредственно из артов, созданных нейронками.

Для этих противников, за исключением сперматозоидов, я использовал Stable Diffusion — в качестве источника вдохновения
Изображение: Олег Чимде / Stable Diffusion

Увы, мои запросы оказались слишком специфичными, как и выбранный художественный стиль, поэтому чаще приходится перерисовывать за нейросетью. Но сказать, что я получил множество референсов, — не сказать ничего. Поигравшись с промптами и различными пресетами несколько часов, я набрал себе вдохновения на десяток врагов для игры.

Для эксперимента я сгенерировал с помощью Stable Diffusion одного из боссов — астронавта. На тот момент я ещё не придумал для него варианты атак и механику — они появились как раз благодаря нейросети.

Выбрав приемлемый результат, я тут же придумал механики для босса. У него будет огромная клешня, которой он бьёт на весь экран, помимо привычного буллет‑хелла. Во второй фазе он снимет свой шлем и полетит за кораблём игрока. Ну а дальше — уже дело техники.

Но доработать образ с помощью нейронок не вышло. Midjourney выдавала совсем не то, что нужно, рисуя в том самом «стиле миджорни», как бы я ни настраивал её. Stable Diffusion с доработками разных сервисов справилась с задачей лучше, но всё равно в итоге оказалась бесполезна.

Так что астронавта придётся дорабатывать полностью самому. Однако мне ещё понадобилась летающая мясная рыба с диско-шаром на спине и готическая церковь с глазами. И вот здесь я уже набрал очень много подходящих референсов.

Вывод очень простой: чем сложнее затея, тем меньше шанс получить что‑то подходящее, так что я не уверен, что нейросети заменят художников когда‑либо. Но с простыми артами они справляются хорошо: с помощью нейронки можно рисовать иконки, всяческие сундуки, фоны и лица персонажей как минимум.

Я пока не понял, что это такое, но обязательно возьму в игру в качестве фона. После доработки, конечно
Изображение: Олег Чимде / Stable Diffusion

Павел Пиловец выводит три основных сценария работы художника с нейросетями, помимо использования их в качестве референсов.

Во‑первых, собственно, генерация картинки по текстовому запросу — это будет полезно для клиентов художника, которые не умеют рисовать. На базовом уровне с помощью нейронки можно передать сюжет, а на продвинутом, добавляя в промпт имена художников и режиссёров, типы линз и прочее, — определить цветовую гамму и общий стиль.

Во‑вторых, генерация изображения по картинке. «В процессе создания любого изображения происходит обязательный процесс от поиска пятна, или „огурцовки“, через рендер к финализации. В классическом пайплайне каждый этап делается вручную. Нейросеть может позволить ускорить все этапы», — говорит Павел. Художник может отдать нейросети свой набросок и скрестить его с чужим артом, который подходит по гамме и стилю. Таким образом можно серьёзно ускорить поиски и композиции, и общего настроения.

«Этот сценарий может быть полезен художникам, работающим с раскадровками и стилшотами для кино и синематиков. Из одной картинки можно сгенерировать бесконечное количество кинематографичных композиций для раскадровки в едином стиле, лишь немного меняя описание согласно сюжету».

Павел Пиловец,
арт‑директор VOKI Games

Метод отлично подойдёт и дизайнерам, которые ищут новые формы на основе привычных (скажем, бытовой техники). Этот приём активно применялся, например, в «Звёздных войнах». Нейросеть сможет подготовить концепт футуристического транспорта на основе фотографии тостера или принтера. То же касается дизайнеров одежды и, например, архитекторов — нейросети могут существенно ускорить их работу.

В‑третьих, микширование нескольких изображений друг с другом. Тут Павел Пиловец опирается на свой опыт работы с клиентами, которые просят взять «композицию с одной картинки, цвет с другой, а фон с третьей». И нейросеть может с этим справиться, быстро сделав ряд эскизов с большей или меньшей степенью микширования. Можно также скрещивать свои собственные изображения, чтобы сделать серию артов. Рестайлинг на стадии концепта может стать более доступным: нейросеть может как модернизировать «Запорожец» под современность, так и, наоборот, состарить какой‑либо объект, если того требует задача.

* * *

Популярный миф о том, что нейросеть склеивает в коллаж и дорисовывает картинки из Сети, обретает неожиданное воплощение. Теперь люди‑художники, похоже, будут склеивать и дорисовывать картинки, произведённые нейросетью.

Конечно же, сейчас Stable Diffusion, DALL‑E 2 и Midjourney в основном используются для фана и создания мемов, однако можно уже сейчас использовать их как неиссякаемый источник референсов, а в некоторых случаях и брать из их работ отдельные элементы и целые арты.

Вряд ли нейросети заменят художников. Однако, похоже, брать их на вооружение стоит уже сейчас.

«Нейросеть — это всего лишь инструмент, и он не заменит человека, у которого есть идеи. Те, кто обладает идеями и может придумать то, чего до них ещё не было придумано, — всё ещё будут востребованы, и, думаю, именно они с лёгкостью подстроятся под новый инструментарий в виде нейросетей».

Павел Пиловец,
арт‑директор VOKI Games

Кто сможет перестроиться к новому будущему — преуспеет, а кто нет — пусть пеняет на себя.

Выражаем Денису Ширяеву благодарность за консультации при подготовке материала.


* Решением суда запрещена «деятельность компании Meta Platforms Inc. по реализации продуктов — социальных сетей Facebook и Instagram на территории Российской Федерации по основаниям осуществления экстремистской деятельности».

Учись бесплатно:
вебинары по программированию, маркетингу и дизайну.

Участвовать
Научитесь: Профессия 3D-дженералист Узнать больше
Понравилась статья?
Да

Пользуясь нашим сайтом, вы соглашаетесь с тем, что мы используем cookies 🍪

Ссылка скопирована