«Суть генеративного творчества — создавать процессы, а не законченные произведения»

Вадим Эпштейн — московский медиахудожник и VJ, основатель и креативный директор студии in[visible], популяризатор цифрового творчества и преподаватель в Британской высшей школе дизайна, магистратуре Digital Art (DA) ДВФУ, онлайн-школе Bang Bang Education. Вадим выступает на коммерческих мероприятиях и курирует фестивали и выставки.

Вадим рассказал, какой переворот в медиаискусстве произвела разработка нейросетей-«всезнаек». И на примере своих и других произведений показал, на что способно генеративное искусство.

Из материала вы узнаете:

• как генеративное искусство меняет вопрос об авторстве;
• какой бэкграунд должен быть у медиахудожника;
• за какими медиахудожниками стоит следить;
• где учиться на медиахудожника в России.

— В чём особенности медиаискусства как метода?

— Цифровой мир даёт большую свободу, потому что достаточно отвязан от физического. У него, конечно, есть свои ограничения, но обычно они технические, и их можно обходить или использовать как выразительное средство.

Цифра дискретная, копируемая и воспроизводимая. Файлы в форматах JPG и MP3 можно называть диджитал-артом, но это ещё не столь интересно, потому что если такие «ноты» загрузить в плеер (цифровой исполнитель), то они будут воспроизводиться раз за разом одинаково.

Всё самое интересное начинается в генеративном искусстве, где мы прописываем и запускаем алгоритмы.

Суть генеративного творчества в том, чтобы создавать развивающиеся процессы, а не законченные произведения.

Если приводить аналогии, то генеративный художник готовит почву, выращивает деревья — это ещё называют новой органикой. Мы подготавливаем процесс, он и является целью творчества. А отдельные видео, музыка и прочее — окаменелые результаты, которые интересны как слепки, фотографии самого процесса.

Художник прописывает низкоуровневые функции: например, если у нас «такие условия» и «такие координаты», то пиксели двигаются в определённую сторону. При этом цифровые художники работают не напрямую с финальным результатом, а с деталями, тонкостями процесса, которые потом складываются в цельный пазл. Степень человеческого контроля при этом довольно высока, но сильно опосредованна.

Кстати, генеративное творчество может быть не только цифровым. Бывают и другие генеративы: биологические и даже геологические. Например, меандры рек, конструирующие русло в дельте.

— Традиционный художник или скульптор полностью создаёт произведение, он — единственный автор. В генеративном творчестве эта связь другая?

— Проще всего это показать на современном примере машинного обучения.

В 2021 году произошла революция в машинном зрении, которая сильно изменила парадигму работы во всей области ИИ. Раньше под каждую задачу требовалось обучать специализированную модель. Теперь же появились нейросети с гигантским корпусом знаний, которые могут выстраивать более глубокие косвенные связи и с ходу решать широчайший круг задач. Для таких систем в Стэнфорде изобрели термин Foundation Models — «фундаментные модели». И даже создали целый отдел для их осмысления — The Center for Research on Foundation Models (CRFM).

Когда художники используют такие нейросети-«всезнайки», вопрос об авторстве встаёт особенно остро. Вот, например, в этой работе я использовал свой генератор, разработанный на основе модели CLIP от OpenAI, который принимает на вход текст и дальше свободно фантазирует и превращает это в видео:

В генератор я ввёл короткую, но насыщенную и довольно абстрактную фразу в духе: «Придумай монументальную сагу-сериал про жизнь, смерть и любовь, где будут люди, боги, роботы, природа». А затем приложил 30–40 имён известных художников, чей стиль нейросеть уже неплохо знает.

Получилось эпичное батальное видеополотно, которое можно сколько угодно рендерить. Поскольку модель опиралась на стиль художников — великих мастеров, то картинки появлялись весьма интересные и временами завораживающие.

При этом, естественно, возникает интересная проблема:

1. Есть работа, синтезированная моим алгоритмом на основе вводного текста с моей формулировкой. В классическом подходе это бы однозначно закрыло вопрос с авторством.
2. Но работа сделана на основе базовой нейросетевой модели, над которой трудилась серьёзная компания.
3. При этом значительная доля произведения — имитация стиля художников, благодаря которым картинки получаются крутые и интересные.

Непропорциональность между затраченными входными усилиями и полученным результатом здесь особенно бросается в глаза.

Я почти уверен, что административно-юридические вопросы, связанные с авторским правом, будут переосмысляться.

— Есть точка, когда такое произведение закончено, или его можно создавать бесконечно?

— Сложно говорить о критической точке завершения чего-то — сначала нужно сформулировать, что мы считаем завершением. Сделать работу, используя конкретную технику, — конечная цель. А сделать работу, которая бы устроила автора, — процесс, который может не прекратиться никогда.

Если мы работаем с созданием процесса, то это как ремонт. Его можно только остановить, но нельзя закончить. У него может в принципе не быть финальной цели, он длится до тех пор, пока мы готовы тратить на это время и ресурсы.

Вот, например, эту работу я считаю вполне завершённой. Здесь я дошёл до условной точки, состояния, которого хотел достигнуть:

Я использовал тот же генератор на базе CLIP от OpenAI, загрузил в систему текст стихотворения «Бармаглот» Льюиса Кэрролла, скачал запись, на которой Бенедикт Камбербэтч читает его, указал длительность финального ролика, чтобы он лёг на оригинальный саундтрек. И система сгенерировала видеоряд, на который я наложил запись с Камбербэтчем.

— Если несколько раз давать программе идентичную задачу, изменится ли результат?

— Зависит от программы и реализации. SberAI запустил генератор картинок из текста ruDALL-E. Если в него раз за разом вводить один и тот же запрос, на выходе будут принципиально разные картинки. Это может быть подобие неразборчивого текста, фотографический кадр, как из фильма, или что-то мультяшное.

Это связано с архитектурой кода. У ruDALL-E современная архитектура трансформеров, которая не рисует картинку сразу, а начинает писать построчно, как письмо. И в таком процессе гораздо больше возможностей отклониться в ту или иную сторону, и потому результат получается разный.

Мой генератор использует методы, которые синтезируют картинку в целом, и поэтому результат у него плюс-минус одинаковый. Композиция может быть другая, но стилистика примерно одна и та же.

— В каких коммерческих сферах применимо медиаискусство?

— Ядро прикладного медиаарта — любые визуальные материалы (шоу, презентации, стенды, рекламные ролики и другое) и интерактивные инсталляции. Аудио обычно присутствует косвенно. Но бывают и инсталляции, построенные на аудиопогружении.

Также это сайты, приложения, сервисы. До пандемии уже был сдвиг в онлайн, сейчас он только усилился. Мне такая степень виртуализации не особо близка, но это наша реальность.

Ну и, конечно, медиаискусство в форме компьютерной графики широко применимо в киноиндустрии.

— Вы могли бы привести примеры связи между целью проекта и технической реализацией?

— В прошлом году мы делали проект для рекламной акции производителя «устройств для сна» «Аскона». Они сняли пространство галереи Artplay, где обычно проходят инсталляции, поставили несколько кроватей и запустили на все стены видеографику, которая иллюстрировала сновидения.

Сначала мою команду in[visible] просили обыграть тему космоса. Но мы предложили другие решения и отстаивали несколько сцен, потому что сны — не хроника National Geographic. Здесь нужен уровень абстрактной фантазии. И мы постарались воздействовать через сочетание эстетики с разными образами: от космоса и условных туманностей через фантастическую органику к подводному миру и взрыву сверхновой как метафоре пробуждения. Технически вся графика был выполнена с помощью модульной среды программирования vvvv и авторских шейдеров (графических подпрограмм на языке HLSL/GLSL).

В реализации проекта Орхана Мамедова Circular Repetition для Венецианской биеннале — 2019 у нас была задача сделать непрерывный синтез новых графических паттернов на основе традиционных азербайджанских мотивов. Для синтеза в реальном времени мы выбрали и доработали топовую на тот момент генеративную нейросеть Progressive GAN. Интеграцию со светодиодной установкой, синхронизацию со звуком (тоже генеративным) и общее управление всей инсталляцией разработали на основе модульной среды программирования vvvv.

— Какой бэкграунд должен быть у медиахудожника? У вас, например, был научный — вы писали статьи по теоретической физике.

— Мой пример не уникален, но стоит немного особняком. Гуманитарное образование в то время не было столь качественным, как научно-техническое. Поэтому вопрос «Куда идти учиться?» тогда не стоял и не зависел от того, чем хотелось заниматься.

В институте и в дальнейшей работе в IT я получил серьёзную техническую базу. И когда захотелось творить самому, взялся за приёмы и методы, которыми сам владел, — формулы, коды и алгоритмы. То есть сначала появился мощный пласт средств, а потом я стал смотреть, какие вопросы могу с их помощью решить.

Отсутствие гуманитарного образования при этом довольно сильно сказывается. Множество юных деятелей могут гораздо хуже разбираться в технических инструментах, но я им завидую, потому что они понимают историю и развитие эстетики. А мой подход в этом деле абсолютно случаен: над чем подумал, в том и разобрался.

Насколько я могу судить, сейчас чаще встречается более правильный путь — сверху вниз, от цели к средствам. Люди, которые приходят в медиаарт, сначала формулируют векторы и принципы своей активности как художники, а потом свободно выбирают и осваивают методы, которыми хотят это выражать: цифра, керамика, биогенетика и прочее. В любой области наличие системного образования снимает необходимость многих лишних действий.

— Что медиахудожнику нужно уметь, знать и понимать сейчас? Что будет актуально в ближайшее время?

— Самая передовая тема — deep media art, так называемые глубокие медиа, которые ушли от цифры, потому что она не даёт погружения в реальную проблематику мира. Deep media art работает со свойствами и сутью материи: с эфирными колебаниями, со структурой физической материи и так далее.

Ярчайшие представители этого направления — пара Эвелины Домнич и Дмитрия Гельфанда. Один из самых известных их проектов посвящён сонолюминесценции — свечению жидкой среды при высокочастотном ультразвуковом стимулировании, когда воду просвечивают ультразвуком определённой мощности. От вибраций и колебаний возникают микропузыри, которые схлопываются и излучают энергию. Это очень известный научный эффект, но все учёные считали, что его невозможно увидеть невооружённым глазом, пока Эвелина и Дмитрий не создали свою инсталляцию.

А если говорить о коммерческих проектах, то на какое-то время мы точно останемся в цифре. Сейчас там доминируют VR, крипта и нейросети. Это не значит, что нужно становиться суперпрофи-разработчиком, изучать Python или язык Solidity, на котором пишут блокчейн. Но необходимо иметь твёрдую почву в технологических областях, чтобы ориентироваться в выборе средств и понимать, как, когда и для чего их использовать. Бесцельная техническая навороченность раздражает, и разные инструменты важно воспринимать именно как способ достичь результата.

— За кем из медиахудожников вы бы посоветовали следить?

— Выделю несколько сильных художников в генеративном искусстве.

Марио Клингеманн. Нейрохудожник №1. Он всегда на острие, пробует всё топовое и прогрессивное. Когда год назад выстрелил криптоарт, он тут же стал с ним работать и экспериментировать, и сейчас он ещё и один из ведущих NFT-художников.

София Креспо. Если Марио постоянно испытывает на прочность новые технологии, то у Софии противоположный подход — она идёт от идеи, смысла и эстетики.

Роберт Зайдель. Пожалуй, мой любимый художник абстрактного генератива, чьи работы — феерия форм, движения и цвета. Он мастер передавать сильные эмоции без привлечения фигуративных приёмов.

Пол Пруденс. Мастер цифрового минимализма, с запредельным чувством пластики этой среды.

— Где можно учиться на медиахудожника в России?

— «Медиа- и технологическое искусство» — совместный проект «Среды обучения» и Московской школы фотографии и мультимедиа им. А. Родченко.

«Цифровое искусство» — от Школы цифровой экономики Дальневосточного федерального университета (ДВФУ).

ArtTECH — магистратура от институтов ИТКН и ЭкоТех НИТУ «МИСиС».