Что такое расширенная реальность понятным языком
Сооснователь студии Sila Sveta рассказывает, как XR-технологии связывают Билли Айлиш, бэйби-Йоду и «Сбер Конф 2020».
Sila Sveta / Moment Factory / Billie Eilish
Александр Ус
Сооснователь и креативный директор Sila Sveta, одной из самых крупных компаний мира, занимающихся мультимедийными инсталляциями.
Студия поставила «Лебединое озеро» на фасаде Большого театра, сделала сцену для североамериканского тура Drake и контент для онлайн концерта Billie Eilish, создала мир Audi внутри шлемов виртуальной реальности, построила светодиодный портал Mercedes в Шанхае, а также разработала графику для концерта Halsey на Coachella и контент для показов Alexander Wang и Phillip Lim.
Команда сделала более 600 проектов и открыла офисы в Москве и Нью-Йорке.
Сайт: ru.silasveta.com
Как работает XR
XR (Extended Reality, расширенная реальность) — технология, которая позволяет погрузить человека в виртуальное окружение. Взаимодействовать с ним можно только при помощи смартфона, планшета или компьютера. Среда выстраивается на основе данных с видеокамер, передающих на экран изображение.
Декорации для съёмки XR-проекта состоят из LED-экранов. Технология расширенной реальности достраивает окружение за границами этих экранов, дополняя изображение настолько, насколько его позволяет захватить камера.
XR также использует AR-технологии (Augmented Reality, дополненная реальность) — они позволяют внедрять объекты, которые перекрывают актёра. Например, в виртуальной студии появляется автомобиль, с которым человек может взаимодействовать: он заходит за него, обходит вокруг — и у зрителя сохраняется ощущение его присутствия в кадре.
Датчики на камерах позволяют всегда снимать объекты дополненной реальности в нужной перспективе, чтобы зрителям всё казалось максимально правдоподобным. Куда бы камера ни повернулась, датчики подстраивают графические элементы в кадре под нужный ракурс.
Чаще всего XR используют в прямых трансляциях, онлайн-концертах, виртуальных студиях телепрограмм и презентациях продуктов. Если вместо хромакея («зелёного экрана») использовать LED-экран, можно добиться эффекта реалистичного света. Например, на экранах появляется закатное солнце — и свет от них даёт правильные блики на объекты и людей вокруг.
Эту же технологию используют и в кино, но в усечённом варианте. Для кинопроизводства немаловажен тот факт, что благодаря XR участники видят на съёмочной площадке не просто хромакей, а оператор и режиссер могут поправить картинку в прямом эфире. Однако в кино обычно не используют пол из LED-экранов, а вместо него ставят реальные декорации — землю, элементы интерьера и другие предметы.
Как XR используют в мире
В 2020 году Билли Айлиш провела первый в мире виртуальный концерт, для которого Sila Sveta создала специальные декорации: для каждой песни разработали свой виртуальный мир. Например, когда Билли исполняла трек ilomilo, она оказывалась в подводном мире с огромными акулами, и всё это происходило в прямом эфире.
Технология XR активно применяется и на презентациях автомобилей. Американская креативная студия MBA создает моушн-дизайн для Kia, Honda и Hyundai. В презентациях благодаря XR автомобиль движется, но на самом деле на экранах просто меняются декорации.
Раньше производителям кино приходилось работать на фоне зелёного экрана. Сейчас с помощью XR и огромных LED-экранов на съёмочной площадке выставляют уже готовые 3D-изображения, чтобы перенести героев в виртуальную реальность. Lucasfilm сняла сериал «Мандалорец» по вселенной «Звёздных войн» полностью на XR.
В кинопроизводстве такая технология помогает сэкономить время на постпродакшне, а актерам — глубже погрузиться в роль. С помощью XR сняли и многие сцены в фильмах «Книга джунглей»(2016) и «Король лев» (2019).
Как применяют XR в России
Самым громким кейсом в России стала презентация «Сбер Конф 2020», где компания презентовала свою экосистему и новые продукты. В ней приняли участие актёры, музыканты, блогеры и другие известные личности, а руководители каждого подразделения простым языком объяснили работу своих сервисов.
Михаил Боярский с помощью XR оказался в отделении Сбербанка будущего с новым аутентичным интерьером, Дима Билан сидел в виртуальном автомобиле и слушал музыку, а Кристина Асмус общалась с голосовым помощником, который отображался в виде голограммы прямо перед ней.
В декабре 2020 года компания МТС провела первый в мире музыкальный фестиваль в расширенной реальности — МТС Live XR. В нем приняли участие Cream Soda, Feduk, «Пошлая Молли», «ЛСП» и Дора. Для каждого музыканта создали собственный виртуальный мир. Концерт длился 5 часов, его посмотрело 14 млн человек.
XR и Sila Sveta
В 2021 году в партнёрстве с «М-продакшн» Sila Sveta построили большую студию с самым современным оборудованием. Там проходили съёмки XR-эксперимента Levitation 2. Это перформанс на стыке театра, хореографии, высоких технологий и иллюзий. Вторая часть начинается буквально с того же кадра, которым заканчивалась первая «Левитация» 5 лет назад.
Главным героем проекта, как и в прошлый раз, стал танцор Юрий Чулков. Его история продолжается и эволюционирует: это отражено как в самой хореографии, так и в технологических приёмах. XR позволяет выйти за пределы сетапа и попасть в другую вселенную со своими законами физики.
Если в первой «Левитации» Sila Sveta были ограничены рамками проекционных экранов, расположенных в форме книжки, то во второй части они решили показать выход за пределы экрана и возможность работать с бесконечным пространством и ландшафтом. Эта история про преодоление и выход за рамки не только в графике, но и в характере героя.
Первая часть была монохромной и более камерной. Герой перемещался в рамках одного чёрно-белого пространства. А в Levitation 2 появилось множество оттенков, которые специально подбирали по смыслу под каждый кадр. Расширить пространство перформанса удалось за счёт ярких XR-декораций.
В будущем большинство клипов, фильмов и концертов будет сниматься с применением XR. При наличии своей студии у Sila Sveta появится больше возможностей постоянно изучать ещё не раскрытые возможности этой технологии.