Как дополненная реальность стала инструментом сторителлинга в искусстве

Яна Сайковская

Head of creative в PHYGITALISM, технологической компании с экспертизой в области AR/VR/ML-технологий.

Команда более шести лет создаёт международные проекты на стыке технологий и искусства, награждённые рядом престижных премий, таких как RedDot, Cannes Lions, Webby Awards и другие.

Сайт: art.phygitalism.com

Технология дополненной реальности (AR) начала активно развиваться больше семи лет назад. Сначала это были решения на базе маркеров, то есть изображений, при наведении на которые появлялась дополненная реальность. Со временем технология достигла уровня, когда:

— виртуальные сцены запускаются в реальном пространстве, привязываясь к плоскостям (например, полу или стене);

— цифровые модели позиционируются относительно реальных объектов;

— контент показывается поверх реального физического объекта;

— AR-эффекты накладываются на образ человека, считывают его тело и положение.

Как это работает

Сейчас, чтобы смотреть контент в дополненной реальности, люди обычно используют смартфоны и планшеты. Но в будущем они всё чаще будут выбирать носимые гаджеты с камерой, которые не нужно постоянно держать в руках. AR-очки бесшовно внедряют цифровое изображение в реальный мир и делают просмотр более комфортным, несмотря на ограничения, связанные с форм-фактором и доступным углом обзора. Над созданием таких устройств сейчас работают крупнейшие IT-компании, например Apple.

Сейчас появилось больше возможностей для решений с дополненной реальностью, но их вариативность зависит от того, на какой платформе их создавали. На базе приложения AR-опыт будет наиболее насыщенным за счёт возможности использовать высокое качество графики и различные по сложности интерактивы.

Семь из десяти популярных приложений социальных сетей дают доступ к созданию AR-эффектов. Например, маски в Instagram* сначала работали только с привязкой контента к лицу человека, а сейчас платформа позволяет создавать эффекты для всего тела и даже порталы.

Однако дополненная реальность в социальных сетях имеет больше ограничений, чем самостоятельные AR-приложения, так как в этом случае технология — это лишь дополнение к основным функциям социальной сети.

Бренд IKEA для продвижения своей лимитированной коллекции Art Event использовал фильтры в Instagram*. В коллекции были объекты, которые размывали границу между искусством и привычным дизайном элементов интерьера. Так и технологии дополненной реальности позволяют стирать эту грань между физическим и цифровым пространством.

В то же время технология WebAR работает без дополнительных приложений. Контент доступен на базе веб-сайта, а для взаимодействия с ним достаточно лишь перейти по ссылке. Несмотря на то, что детализация контента и механики ограничены, технология широко используется брендами.

AR в маркетинге и производстве

AR-технологии используют как для маркетинга и продаж, так и для обучения и оптимизации производственных процессов.

Один из примеров — реклама на телевидении, в которой используется AR-механика. Для продвижения коллекции одежды C&A во время показа сериала Big Brother Brasil зрителям предлагали отсканировать QR-код на экранах телевизоров. После этого на смартфонах открывался AR-опыт со всплывающими изображениями моделей и интерактивными объектами, которые можно было поворачивать на 360 градусов. Всего за 20 секунд реклама получила охват в 50 тысяч просмотров.

Coca-Cola применяет дополненную реальность не только в маркетинге, но и на производстве. На 53 заводах во всём мире они используют AR-очки, чтобы удалённо консультировать операторов. Интересно, что благодаря этой технологии компания на 50% смогла быстрее устранять неполадки на производстве и на 30% — быстрее обучать сотрудников.

AR также используют в работе службы поддержки. Когда Vodafone запустил виртуального удалённого помощника, уровень удовлетворённости клиентов вырос на 68%. Технологию внедрили в восьми странах.

AR в искусстве

Дополненная реальность даёт возможность создавать новые формы и влиять на методы восприятия. Проект от Google Arts & Culture уже несколько лет создаёт 3D-объекты, чтобы все желающие могли увидеть произведения искусства ближе, чем в музее.

По меньшей мере 70% покупателей арт-объектов хотят рассмотреть их перед покупкой. Такие данные представляет интерактивная художественная галерея Saatchi Art, недавно внедрившая AR-примерку для картин. Именно поэтому дополненная реальность всё чаще используется на стыке искусства и бизнеса.

Pocket Galleries позволяют прогуляться по виртуальной выставке, рассмотреть картины на стенах так, как если бы зритель присутствовал в самом музее. Также пользователям открыт доступ к аудиогидам.

Виртуальная выставка Pigozzi Gallery

Snapchat предложили своим пользователям почувствовать себя художниками и раскрасить одну из улиц Лондона в яркие цвета. Таким образом, технологии помогают по-другому посмотреть на искусство и стать причастным к его созданию.

Фестиваль современного искусства Artlife позиционирует AR-технологию как уникальное преимущество, которое стирает границы между реальным миром и цифровым искусством. AR-приложение расширяет пространство выставки с помощью виртуального слоя.

AR и сторителлинг

Истории лежат в основе многих форм искусства. Это может быть картина, в которой мы наблюдаем статичный момент из задуманного автором сюжета, или целое театральное представление, где мы проживаем события из жизни главных героев. Сторителлинг базируется на эмоциях. Определяющим становится то, насколько история способна впечатлить зрителей.

Но иногда этого недостаточно, так как мы проживаем чужой опыт и не всегда запоминаем его в той же степени, как если бы испытали эти чувства сами. Именно поэтому возникает иммерсивный сторителлинг — погружение в историю через технологии дополненной реальности.

Яркий пример — AR-приложение Enter The Room, в котором с помощью портала рассказывают обо всех ужасах войны. Контраст создаёт изображение детской комнаты: сначала она полна света, а затем там становится темно и свет идёт из окна, разбитого во время боевых действий.

AR и паблик-арт

AR-технологии могут как дополнить уже существующие арт-инсталляции, так и создать объекты, которые можно увидеть только на экране устройства. В некоторых случаях эти проекты затрагивают актуальные проблемы и стремятся вызвать общественный резонанс.

Дополненная реальность также помогает показывать историческое и культурное наследие. В проекте от Snapchat и Los Angeles County Museum of Art создали AR-монументы. Пользователи могли гулять по улицам и узнавать истории городских сообществ.

Фестиваль Vancouver Mural Festival Winter Arts в январе 2021-го объединил две реальности: чтобы увидеть цифровой контент, пользователи должны были скачать приложение и прийти в реальную геолокацию.

В июле 2021 года в шести городах России прошёл первый фестиваль цифрового паблик-арта Rosbank Future Cities. Его придумали, чтобы популяризировать диджитал-искусство. Виртуальные работы расположили в разных точках городов. Посмотреть на них можно было с помощью WebAR-технологий, смартфона и открытой страницы сайта.

В проекте участвовали художники Анна Таганцева-Кобзева, Ян Посадский и Вадим Эпштейн, коллектив Digital Object Alliance (Анна Леонова и Саша Пучкова), Кирилл Макаров и Софья Скидан. В своих работах они отразили размышления на тему цифрового мира.

Арт-объект «Пыльца», созданный Анной Таганцевой-Кобзевой, проводит параллель между цифровыми данными, передающимися при помощи беспроводных технологий, и пыльцой растений, которая передаёт знания о виде и его популяции.

«Памятник всему» — проект Яна Посадского в коллаборации с Вадимом Эпштейном. Художники исследовали памятники как властные образы, организующие публичное пространство. Арт-объекты создала нейросеть, обученная на датасете из монументов российских городов.

Цифровую поэзию привычных городских образов, воплощённую в арт-объекте «Невыносимая бесконечность быть подключёнными к сети», создали художницы Анна Леонова и Саша Пучкова (Digital Object Alliance). Коллектив рассматривает цифровую инфраструктуру через одно из самых невидимых её проявлений — провода: электрические, транспортные, интернет-кабели.

Проект «Доверие» Кирилла Макарова стал визуализацией важнейшего моста всех социальных взаимодействий. Доверие как тип взаимоотношений художник рассматривает в контексте города со стороны человека-субъекта, находящегося внутри совокупности систем.

«What is hidden does not need to be hidden» — это арт-объект Софьи Скидан. Диджитал-скульптура стала методом для цифровой медитации и замедления в перенасыщенной информацией городской среде.

Фестиваль объединил искусство и технологии, показав современные подходы к представлению арт-объектов. Организаторы уверены, что подобный опыт запустит проекты, в которых художники смогут по-новому познакомить аудиторию с форматом восприятия смыслов и произведений.