Virtual production: технология для кино будущего

В последние годы всё большую популярность в сфере создания контента набирает технология virtual production — она постепенно заменяет зелёный экран в кинопроизводстве и других типах медиаконтента.

Чтобы лучше понять, как работает технология виртуального производства и какое у неё может быть применение, мы поговорили с Александром Пасечным, руководителем разработки студии виртуального продакшена XOVP — eXtraOrdinary Virtual Production, и Екатериной Фахердиновой, директором по развитию XOVP.

Из статьи узнаете:

• что такое технология virtual production,
• где, кроме кино, её используют,
• как начать карьеру в virtual production.

Что такое virtual production?

Virtual production — это тип съёмки, при котором актёров помещают в студию со светодиодными экранами, на которые транслируется среда фильма. Благодаря системе трекинга среда получается «живой», то есть она двигается вместе с актёрами и выглядит совсем как настоящая.

Визуализацию на экранах создают с помощью игрового движка Unreal Engine, поэтому ей можно управлять — менять освещение, время суток, погоду. И это главное отличие virtual production от хромакея — при съёмках на фоне «зелёнки» графику делают на монтаже, поэтому как будет выглядеть картинка в итоге — можно только предполагать. На съёмках с использованием virtual production результат виден прямо на площадке в режиме реального времени.

Важный этап при съемке в virtual production — это стадия препродакшена, которая здесь не менее важна и трудоёмка, чем основное производство и постпродакшен. Ещё до начала съёмок нужно не только написать сценарий и подготовить раскадровки, но и создавать ту самую виртуальную среду.

Одним из самых ярких примеров использования virtual production за последнее время стал сериал «Мандалорец» из вселенной «Звёздных войн».

Но «Мандалорец» на самом деле не первый проект, в котором использовалась эта технология. При его создании она просто впервые была применена в текущем виде: с использованием Unreal Engine, LED-экранов и трекинга камеры.

А что действительно стоит понимать под virtual production?

Virtual production в широком смысле — это вообще любой продакшен, связанный с тем, чтобы получить какого-то рода CG-картинку в реальном времени. К virtual production также можно отнести так называемый композитинг, или композ, — процесс объединения всего съёмочного материала (отснятых кадров, компьютерной графики, фонов и так далее) в один многослойный монтаж.

Александр Пасечный

«То, что сделали создатели „Мандалорца“, точнее назвать In-Camera VFX — смысл термина буквально в том, что спецэффект в камере. То есть Unreal Engine свою работу сделал, вывел картинку на экран, а оператор во время съёмки видит уже фактический результат в кадре».

Почему в virtual production используется именно Unreal Engine?

Всё банально. Unreal Engine — это единственный на данный момент игровой движок, который заточили под эти задачи. Попытки организовать virtual production на Unity, Godot и других движках пока предпринимают только энтузиасты с очень серьёзным бэкграундом.

Основная сложность состоит даже не в том, чтобы нарисовать отдельную сцену, а в том, чтобы выдать картинку на экран таким образом, чтобы она была специфически искажена и всё выглядело правдоподобно для зрителя. Такое пока возможно только на Unreal.

Александр Пасечный

«Технология развивается в том числе за счёт собственных разработок Epic Games, но большая часть инструментария, который мы используем в XOVP, — это уже наши разработки. Отчасти поэтому мы и не требуем от новых специалистов досконального знания инструментария UE, потому что он, по сути, проприетарный».

Для каких сцен virtual production подходит больше всего?

Virtual production отлично подходит для любых сцен, где человек не может физически существовать, или для сцен, где нарушаются законы физики. В виртуальной среде, которая транслируется на экранах, можно без проблем в реальном времени отключить гравитацию и заставить все объекты просто плавать в воздухе или, например, перевернуть вверх дном комнату.

В прошлом году вышел фильм «Приплыли!» режиссёра Юрия Ярушникова, производством которого занималась студия XOVP. В части виртуального продакшена у команды была задача снять за одну смену две сцены. Одна сцена была в квартире, другая — на крыше дома в заснеженной Карелии. При классических съёмках группе нужно было бы найти дом с подходящей крышей и в нём же искать подходящую квартиру, при этом за окном во время съёмок — сентябрь.

Александр Пасечный

«За одну смену мы отсняли сначала локацию квартиры, а затем сразу же снимали сцену на крыше, в которой актёра подвешивали на тросы. По сути, за одну смену мы перенеслись из интерьера в экстерьер».

Ещё один интересный кейс XOVP — детское научпоп-шоу «Гдекток», выходившее на Okko. По сюжету исследователь путешествует во времени и показывает динозавров и древних вымерших рыб. Отдельной задачей команды было не просто выдавать фон с динозаврами на LED-экраны за ведущим, но ещё и показать взаимодействие с ними на переднем плане, как в AR (англ. augmented reality, дополненная реальность). Операторы могли видеть динозавров прямо на превью и грамотно выстраивать кадр.

В этом году также выходит масштабная военная драма «Воздух» режиссёра Алексея Германа — младшего (производство Metrafilms и «Амедиа Продакшн»). Воздушные бои самолётов для картины были сняты в документальном стиле. Всё это нужно было отснять в определённое время года, в контролируемых условиях.

Александр Пасечный

«Даже теоретически представить, как снимать такое на натуре, сложно, а самое печальное — что это, скорее всего, будет просто не зрелищно. Для этого фильма мы придумали новый сетап: мы добавили в существующую схему виртуального продакшена ещё и отснятые пролёты и эти кадры в реальном времени выводили на экран и добавляли на них CG-самолёты, все эффекты и выстрелы из Unreal Engine. Экран, который мы собирали для этих съёмок — самый большой в СНГ и до недавнего времени был самым большим в Евразии.

Важная ремарка: оператор-постановщик этого фильма профессиональный лётчик, и он сразу подмечал любые неточности в поведении самолётов. Поэтому мы написали алгоритм, который позволял нам относительно быстро и удобно создавать правдоподобные траектории для самолётов и легко их править. У всех самолётов корректно с точки зрения физики работают закрылки, элероны — на это у нас ушла пара месяцев.

Для съёмки боёв мы использовали ту же систему. Например, реальный самолёт стоит к экрану хвостом, и мы снимаем как бы вид назад. На экране летит нарисованный 3D-самолёт, который стреляет нарисованными пулями прямо в реальный самолёт, и в этот момент на фюзеляже реального самолёта срабатывает пиротехника. И вот этот синтез настолько круто выглядит, что даже мы сами не всегда можем отличить на видео виртуальный самолёт от реального».

Где ещё, кроме кино, может применяться эта технология?

Виртуальный продакшен может найти применение в тех сферах, где необходима иммерсивность. Это могут быть обучающие проекты, симуляторы для пилотов и космонавтов, онлайн-концерты, любые мероприятия, где есть спикер. Благодаря виртуальному продакшену спикерам удаётся глубже погрузить зрителей в атмосферу, дополненная реальность наглядно показывает какие-то моменты и доносит сложные вещи простым языком в режиме интерактива.

Некоторое время назад появилась тенденция снимать кат-сцены для видеоигр так, как если бы это происходило при обычной съёмке. Технически это тоже виртуальный продакшен. Оператор может снимать человека, в руках у которого теннисный мячик, а на выходе получать суперкинематографичную кат-сцену с прописанными мокапами и очень естественным движением камеры.

Александр Пасечный

«Поскольку мода на кинематографичные кат-сцены никуда не делась и только развивается, а технологии уже позволяют даже одному человеку делать контент, который реально может соперничать с AAA-проектами, всё только впереди».

Екатерина Фахердинова

«Мокап-съёмки действительно являются важной составляющей virtual production, когда мы вводим виртуальных 3D-персонажей. И зачастую цифровая массовка — это мастхэв-решение для современного рынка, ведь это как минимум существенная экономия бюджета. Есть уже немало успешных картин, в которых были прорисованы стадионы на 50–60 тысяч зрителей, и я думаю, что число таких кейсов будет только расти.

Виртуальный продакшен также позволяет решить задачу реконструкции каких-то исторических событий, воссоздания зданий — это некая наша связь с прошлым. Далеко не все чёрно-белые ретрофотографии и письма могут быть интересны подрастающему поколению. Их язык — цифровой язык, поэтому создание цифровых музеев и интерактивных выставок позволяет нам одушевлять историю.

Помимо этого мы сейчас уже довольно активно используем нейросети. Получается такой комплекс инструментов, в котором прогрессивные технологии дополняют друг друга, и за счёт этого формируются прогрессивные направления съёмок».

Как начать карьеру в virtual production?

Работу с virtual production можно условно разделить на два основных направления — создание контента для виртуальной среды и сама съёмка. Поэтому в большинстве студий существует две специализации: операторы виртуального продакшена и создатели контента.

Александр Пасечный

«Если говорить про создание контента, стартовать будет проще всего 3D-художникам. Левел-артисты из геймдева тоже могут найти себе применение. Какие-то вещи они тоже хорошо понимают. Например, что иногда можно что-то сделать „под ракурс“: если мы чего-то не видим, этим можно пренебречь. Условно: высоко на стене расположено окно, в которое видно гору вдалеке. Так вот, если эта гора не будет сделана обычной JPEG-картинкой, я даже расстроюсь, потому что камера никак у этой горы не окажется.

Если мы говорим про оператора виртуального продакшена, то будет полезно знать, как устроена среда в Unreal Engine. Если человек работал с VR и делал какой-то проект под VR, он почти наверняка быстро разберётся в теме.

Что-то похожее, скорее всего, будет в классической операторской школе, именно телевизионной. Там обучат работе с хромакеем, каким-нибудь образом будет упоминаться трекинг.

К сожалению, по нашим ощущениям, специалистов, пришедших из геймдева, сейчас меньше, чем киношников. В XOVP сейчас большинство людей — переученные киношники, нежели специалисты, пришедшие из игровой индустрии. Но есть и плюсы — телевизионщики умеют работать в сжатые сроки. Если в геймдеве можно месяц делать одну локацию, у нас такое не прокатит 🙂».

Екатерина Фахердинова

«Сейчас на рынке есть огромная кадровая проблема, потому что все специалисты приходят из смежных дисциплин и их приходится переучивать. С этой проблемой мы тоже пытаемся бороться своими силами: инициируем образовательные программы для ведущих школ, которые учат кинематографистов и медиаспециалистов. Недавно мы начали работать со школьниками. Это молодое поколение, которое, как губка, впитывает все новые технологии. Я думаю, что, как раз когда эти дети подрастут и встанут перед выбором профессии, в России уже можно будет получить полноценное образование по работе в virtual production».

Какими навыками нужно обладать, чтобы работать с virtual production?

Хороший специалист по virtual production — это зачастую человек-оркестр. Недостаточно уметь работать с компьютерной графикой, мало быть просто оператором — нужно понимать причинно-следственные связи в каждом из направлений работы и, разумеется, быть уверенным пользователем ПК, хорошо подкованным в IT.

Александр Пасечный

«Учитывая специфику нашей отрасли, у нас контентщики обязательно стажируются на пультовой как операторы, чтобы не делать „друг другу больно“. Потому что у нас очень остро встаёт вопрос оптимизации. Никакая AAA-игра так не оптимизирована, как наш контент, и при этом его крупным планом снимают и он должен быть красивым.

Обязательным качеством ещё можно назвать стрессоустойчивость, и хорошо бы обладать умением быстро ориентироваться и импровизировать. Представьте: съёмочная смена — это как минимум 50 человек. И никого не волнует, почему не готов контент. Смена обязательно в этот день, обязательно в этот час — не успеть просто нельзя. Перенести съёмку — значит потратить огромные деньги».

Каким софтом нужно уметь пользоваться?

Чем больше человек знает софта для редактирования 3D-моделей, монтажного софта, софта для цветокоррекции и анимации, тем проще ему будет осваивать уже специфические навыки.

Нужно хорошо понимать, как работает 3D-пространство, уметь думать в виртуальном пространстве. Хорошо помогает опыт использования и, в особенности, разработки в VR.

Какое будущее ждёт virtual production?

На российском рынке существует уже немало проектов, созданных при помощи virtual production, и в будущем их количество будет неуклонно расти.

Екатерина Фахердинова

«Как и с любым новшеством, в virtual production есть стадия, когда идёт преодоление, затем идёт принятие и уже потом влюблённость. Вот мы сейчас как раз подходим к стадии влюблённости в продукт — это действительно чувствуется. Показательна в этом плане работа со скептиками. Не с молодыми хайповыми кино- или медиадеятелями, а с опытными профессионалами, которым гораздо сложнее даются все новшества. Но даже они, погрузившись в технологию, оказываются в полном восторге».

Александр Пасечный

«Хороший virtual production — это продакшен, у которого хорошие клиенты. Когда мы только начинали всем этим заниматься, нам приходилось очень долго объяснять людям, что на экранах сейчас не видео и как видео это не работает. Сейчас уже приходят более подготовленные заказчики, не говоря уже о том, что у нас появилась своя постоянная клиентская база и с этими клиентами мы разговариваем на одном языке.

В последнее время всё чаще появляются какие-то интересные кейсы, уже специально придуманные под виртуальный продакшен. Получается, что сейчас люди и думать начнут по-другому, думать уже спецэффектами — не просто историями или кадрами, а комплексно. И для этого будет обязательно найдено какое-то новое визуальное решение».