Как нейросети могут помочь художникам в геймдеве и смогут ли заменить их в будущем

В августе 2022‑го японский разработчик под ником Nao_u выпустил простенький скролл‑шутер, весь арт в котором нарисовала нейросеть Midjouney. Пришлось повозиться с настройками, да и полноценной игрой это, конечно, не назвать, но результатов автор добился впечатляющих.

Месяцем позже студия из двух человек Cute Pen Games выпустила в Steam симулятор свиданий с элементами пазла This Girl Does Not Exist, в котором вообще всё, включая сценарий и озвучку, сгенерировали нейронки.

И это только начало. С развитием той же Midjouney, которую постоянно дополняют новыми технологиями, вновь заговорили о том, что нейросети скоро заменят художников.

В этом тексте мы разберёмся, так ли это на самом деле, выясним, как вообще работают нейронки, и рассмотрим несколько интересных кейсов.

Как работают нейросети

Сразу оставим философские вопросы об искусственном интеллекте и технологической сингулярности, которой боятся сторонники конспирологии разного толка, и перейдём к практике. Пока что нейросети очень далеки от человеческого мозга и не могут выполнять действительно творческие задачи. Если, конечно, не копать слишком глубоко в понятие творчества в принципе.

Однако пользу они приносят уже сейчас — для этого нейросети и создаются. Их эффективность напрямую зависит от вычислительных мощностей, поэтому развитие нейронок стало возможно сравнительно недавно. Как понятно из названия технологии, они имитируют работу нейронов и синаптических связей в мозгу человека — то есть огромное множество неочевидных связей, схему которых сеть определяет сама.

Если не вдаваться в подробности, то чем больше связей в нейронке, тем эффективнее она работает. А для этого нужны вычислительные мощности, так что использование нейронок — дорогое удовольствие.

Сейчас почти все нейросетевые сервисы, которые умеют рисовать картинки по текстовым запросам, работают по системе кредитов. Бизнес‑модели в таких сервисах разные, но все они сводятся к кредитам. Вы покупаете определённое количество кредитов и тратите их на попытки, а заодно и на различные улучшения вроде HD‑качества или количества шагов, которые нейросеть сделает в процессе создания картины.

Исключение тут — нашумевшая Midjourney, но она сейчас в бета‑тесте и работает через Discord.

Впрочем, сейчас все нейросети для художников работают по лицензии public domain, то есть их можно свободно использовать в бизнесе. Вы можете как сгенерировать арт себе на футболку, так и использовать его в своей игре — никто и слова не скажет. По сути, нейросетевые сервисы ступают на поле Pinterest и других агрегаторов, которые всегда были лучшими источниками референсов.

К этому, например, стремится сервис neural.love, работающий на Stable Diffusion, — стать этаким фотостоком, где каждый найдёт то, что хочет. Нейросетевые сервисы публикуют работы своих «роботов» преимущественно в открытом доступе, и любой человек может пошерстить архивы и взять то, что ему нужно.

Есть популярный миф, что нейросети собирают свои работы из доступного в Сети арта, но это не так. Они рисуют его самостоятельно по запросу, превращая шум в картинку, на основе того, чему обучились. То есть нейронки не сшивают результат из других артов — они действительно рисуют его сами.

Художник‑человек знает, как выглядит лес: он бывал в лесу, видел его на фотографиях и других артах. С нейросетью точно так же: ей показывают лес разных видов и работы других художников, поэтому она может нарисовать его.

Одна из главных проблем сейчас — это низкое разрешение латентного пространства, на которое нейросеть заточена. Сейчас оно 64×64 пикселя. Затем получившаяся картинка апскейлится до больших размеров. Именно поэтому нейросети преимущественно плохо работают с лицами и, например, пальцами рук.

Чтобы нейросеть поняла, что от неё требуется, пользователь должен ввести ключевые слова — так называемый промпт.

«Разные сети по‑разному воспринимают входящий запрос, — говорит Александр Доброкотов, креативный директор рекламного агентства DADA и AI‑энтузиаст. — Например, Stable Diffusion требует подробный промпт. Ракурсы, крупности, свет, цвет, стили, художники, настроения, модификаторы. А иногда ещё и негативный промпт, чтобы сеть понимала, чего не должно быть на картинке. В Midjourney наоборот, можно написать beautiful cat, и он будет вполне beautiful».

Впрочем, Midjourney тоже можно помочь в рисовании дополнительными словами.

Некоторые сервисы, впрочем, добавляют промпт‑инжиниринг. В той же neural.love, к примеру, можно выбрать категорию из списка: Cyberpunk, Creepy, Anime и другое. Но основные правила, как говорит Александр Доброкотов, — разделять смысловые блоки запятыми, писать на английском и экспериментировать.

Могут ли нейросети заменить художников

Точный ответ на этот вопрос вряд ли кто‑нибудь даст, но все наши спикеры сходятся во мнении, что сейчас они скорее полезный инструмент, который, напротив, может упростить и разнообразить работу художника.

Денис Ширяев считает, что художникам стоит поскорее взять нейросети на вооружение, а не отвергать их. «Не думаю, что художников, которые используют этот инструмент и вдохновляются им, заменят нейросети. Заменят они только тех, кто не будет меняться. Как и в случае со всеми технологиями», — говорит он.

Арт‑директор студии VOKI Games Павел Пиловец сравнивает появление нейросетей с тем временем, когда так называемые трушные художники критиковали планшеты, мол, они убивают искусство. Затем примерно то же самое говорили и насчёт фотобаша. Но в обоих случаях появились просто новые инструменты, которые в итоге взяли на вооружение. «Он расширял возможности художников (наверное, понижая порог входа и в некоторой степени обесценивая предыдущие пайплайны), но сама индустрия не умерла, как и профессия», — говорит Пиловец.

Так что нейросети сейчас — скорее инструмент для художника, способ быстро получить набор подходящих образов и работать уже с ними. Да хоть визуализировать свой сон, записав несколько ключевых моментов в качестве промпта. Можно не штудировать агрегаторы картинок ради вдохновения, а использовать для этого любой из нейросетевых сервисов — причём неожиданность результата тут даже может сыграть на руку.

Из менее очевидных вариантов использования нейронок — быстрая визуализация идей. Это пригодится не только художникам, но и геймдизайнерам. Необязательно объяснять свои идеи команде словами и пытаться их изобразить. С помощью сгенерированного изображения проще показать стиль, передать атмосферу, которые вы хотите для своего проекта.

Основные нейросети, работающие с артом

На момент написания этого текста таких технологий три — Stable Diffusion, DALL‑E 2 и Midjourney. Также есть нейронки родом из Китая, но они пока не завоевали такой популярности, как вышеупомянутые, и картинки выдают менее качественные.

Преимущество Stable Diffusion в том, что это уже давно открытая технология, на которой и работает большая часть нейросетевых сервисов, в частности neural.love. Её активно допиливает комьюнити, а разные компании модифицируют и дополняют под свои нужды. Так, neural.love недавно научили рисовать более точные портреты.

DALL‑E 2 долгое время была закрытой технологией, но сейчас разработчики сделали код доступным для всех. Эта нейросеть отлично справляется, например, с фотореализмом и наверняка будет использоваться активнее.

Midjourney — закрытая система, которая оперативно впитывает в себя всё лучшее от других. Но пока что она находится в бете и работает через Discord.

В последней версии Midjourney, как говорит Доброкотов, очень высокий coherence — этот термин означает слаженность, согласованность. Чем она лучше, тем логичнее получается картинка. То есть «когда из головы персонажа не торчит пять ног».

Помимо Stable Diffusion, DALL‑E 2 и Midjourney, есть и другие технологии, но они пока в догоняющих. Открытый код можно взять и подстроить под себя, но художникам, которые не умеют программировать, наверняка будет проще использовать различные сервисы, которых уже в достатке.

Интересные кейсы, а также личный опыт

В Сети можно найти огромное множество примеров работы нейросетей. Один нейрохудожник осовременил и детализировал пиксельных персонажей Fallout 2, другой создал интерактивный концепт‑арт с помощью нейросети Midjourney и Unity, третий и вовсе победил в конкурсе изобразительных искусств. Но это всё скорее дурачество, чем полезное применение новых технологий.

Но вот работа художника Osh Punch, процессом создания которой он поделился на DTF, — совсем другое дело. Он использовал сервис playgroundai, основанный на Stable Diffusion и DALL‑E 2.

С помощью него Osh Punch создал 2D‑модель персонажа, которую затем «обвесил» скелетной анимацией и добавил в движок. Впрочем, художник использовал не только нейросеть: за основу он взял свою работу, а что‑то дорисовывал за нейросетью и снова загружал в неё. Это отличный пример тесной работы художника и нейросети, который привёл к впечатляющему результату.

Показателен и пример инди‑студии Xlab Digital, которая разрабатывает VR‑игру Strangers World: The Swarm, используя исключительно Midjourney. Изначально они искали художников, но с этим возникли трудности. Бюджет у игры небольшой, а работа хорошего художника стоит дорого.

С помощью нейросети Xlab Digital пока что рисует концепт‑арты, по которым затем моделлеры будут создавать 3D‑модели. Авторы показали нам несколько работ, включая кей‑арт игры, — все они сгенерированы Midjourney.

Особенно впечатляет пистолет — базовое оружие игроков. «Идея была в создании уникального оружия, использующего инопланетные кристаллы, но тут ИИ удивила, — рассказывает разработчик Андрей Трунов. — Я представлял себе его совсем иначе, но Midjourney сделала всё сильно лучше, чем хотелось. Естественно, в деталях модель будет делаться не точь‑в‑точь, но схожесть будет 80–90%».

Хочется привести в пример и личный опыт. Я рисую арт для скролл‑шутера в жанре сплаттерпанк (кровь, мясо и кости) и активно использую нейросети — в первую очередь как источник референсов. Однако какие‑то элементы я вырезаю непосредственно из артов, созданных нейронками.

Увы, мои запросы оказались слишком специфичными, как и выбранный художественный стиль, поэтому чаще приходится перерисовывать за нейросетью. Но сказать, что я получил множество референсов, — не сказать ничего. Поигравшись с промптами и различными пресетами несколько часов, я набрал себе вдохновения на десяток врагов для игры.

Для эксперимента я сгенерировал с помощью Stable Diffusion одного из боссов — астронавта. На тот момент я ещё не придумал для него варианты атак и механику — они появились как раз благодаря нейросети.

Выбрав приемлемый результат, я тут же придумал механики для босса. У него будет огромная клешня, которой он бьёт на весь экран, помимо привычного буллет‑хелла. Во второй фазе он снимет свой шлем и полетит за кораблём игрока. Ну а дальше — уже дело техники.

Но доработать образ с помощью нейронок не вышло. Midjourney выдавала совсем не то, что нужно, рисуя в том самом «стиле миджорни», как бы я ни настраивал её. Stable Diffusion с доработками разных сервисов справилась с задачей лучше, но всё равно в итоге оказалась бесполезна.

Так что астронавта придётся дорабатывать полностью самому. Однако мне ещё понадобилась летающая мясная рыба с диско-шаром на спине и готическая церковь с глазами. И вот здесь я уже набрал очень много подходящих референсов.

Вывод очень простой: чем сложнее затея, тем меньше шанс получить что‑то подходящее, так что я не уверен, что нейросети заменят художников когда‑либо. Но с простыми артами они справляются хорошо: с помощью нейронки можно рисовать иконки, всяческие сундуки, фоны и лица персонажей как минимум.

Павел Пиловец выводит три основных сценария работы художника с нейросетями, помимо использования их в качестве референсов.

Во‑первых, собственно, генерация картинки по текстовому запросу — это будет полезно для клиентов художника, которые не умеют рисовать. На базовом уровне с помощью нейронки можно передать сюжет, а на продвинутом, добавляя в промпт имена художников и режиссёров, типы линз и прочее, — определить цветовую гамму и общий стиль.

Во‑вторых, генерация изображения по картинке. «В процессе создания любого изображения происходит обязательный процесс от поиска пятна, или „огурцовки“, через рендер к финализации. В классическом пайплайне каждый этап делается вручную. Нейросеть может позволить ускорить все этапы», — говорит Павел. Художник может отдать нейросети свой набросок и скрестить его с чужим артом, который подходит по гамме и стилю. Таким образом можно серьёзно ускорить поиски и композиции, и общего настроения.

Метод отлично подойдёт и дизайнерам, которые ищут новые формы на основе привычных (скажем, бытовой техники). Этот приём активно применялся, например, в «Звёздных войнах». Нейросеть сможет подготовить концепт футуристического транспорта на основе фотографии тостера или принтера. То же касается дизайнеров одежды и, например, архитекторов — нейросети могут существенно ускорить их работу.

В‑третьих, микширование нескольких изображений друг с другом. Тут Павел Пиловец опирается на свой опыт работы с клиентами, которые просят взять «композицию с одной картинки, цвет с другой, а фон с третьей». И нейросеть может с этим справиться, быстро сделав ряд эскизов с большей или меньшей степенью микширования. Можно также скрещивать свои собственные изображения, чтобы сделать серию артов. Рестайлинг на стадии концепта может стать более доступным: нейросеть может как модернизировать «Запорожец» под современность, так и, наоборот, состарить какой‑либо объект, если того требует задача.

* * *

Популярный миф о том, что нейросеть склеивает в коллаж и дорисовывает картинки из Сети, обретает неожиданное воплощение. Теперь люди‑художники, похоже, будут склеивать и дорисовывать картинки, произведённые нейросетью.

Конечно же, сейчас Stable Diffusion, DALL‑E 2 и Midjourney в основном используются для фана и создания мемов, однако можно уже сейчас использовать их как неиссякаемый источник референсов, а в некоторых случаях и брать из их работ отдельные элементы и целые арты.

Вряд ли нейросети заменят художников. Однако, похоже, брать их на вооружение стоит уже сейчас.

Кто сможет перестроиться к новому будущему — преуспеет, а кто нет — пусть пеняет на себя.

Выражаем Денису Ширяеву благодарность за консультации при подготовке материала.

* Решением суда запрещена «деятельность компании Meta Platforms Inc. по реализации продуктов — социальных сетей Facebook и Instagram на территории Российской Федерации по основаниям осуществления экстремистской деятельности».