Как создают звук в хоррорах: на примере интерактивного сериала The Dark Pictures Anthology

Звук и музыка занимают не последнее место в интерактивном кино. Для того чтобы повествование получилось по-настоящему иммерсивным, студии прибегают к разработкам специальных систем для саунд-дизайна. На GDC 2023 Барни Пратт, старший звукорежиссёр Supermassive Games, выступил с докладом о создании реалистичного и пугающего аудио в первом сезоне The Dark Pictures Anthology. На примерах из игры спикер подробно разобрал системы звука и музыки, которые он разрабатывал вместе со своей командой.

Редакция «Геймдев» Skillbox Media делится основными тезисами звукорежиссёра.

Список терминов, упомянутых в докладе

Кратко о спикере и содержании доклада

В начале нулевых Барни Пратт работал ассистентом саунд-дизайнера в киноиндустрии и внёс свой вклад в производство фильмов «Троя», «Бэтмен: Начало», «Гарри Поттер и Кубок Огня» и других кинокартин. Затем он около трёх лет был саунд-дизайнером в EA Games и отвечал за звуковое сопровождение игр серии Harry Potter.

В Supermassive Games Барни работает уже почти 15 лет, начиная с момента основания студии в 2008 году. За это время ему удалось разработать множество систем звука для проектов компании — разумеется, не без помощи постоянно растущей команды. На сегодняшний день отдел по работе со звуком состоит из 18 звукорежиссёров и менеджера по производству, который координирует сотрудничество студии с композитором Джейсоном Грейвсом.

The Dark Pictures Anthology — интерактивный хоррор-сериал со множеством сюжетных ответвлений и таинственных историй, действие которых происходит в разные периоды времени. Помимо большого количества кат-сцен, в каждой серии есть эпизоды с исследованием локаций. Игры можно проходить соло, в мультиплеере в количестве 2–5 игроков либо в кооперативном режиме офлайн, играя в компании друзей.

В общей сложности запланировано восемь игр. Первый сезон состоит из четырёх эпизодов: Man of Medan, Little Hope, House of Ashes и The Devil in Me. На примере этих игр Барни разбирает подходы к созданию звуковых систем, в частности:

• систематизацию звуковых эффектов в игре с сюжетными ответвлениями;
• использование процедурных фоли-эффектов для персонажей и существ;
• аттенюации;
• интерактивное сведение: как уравновесить все звуки при воспроизведении в игре;
• разбор устройства механики направленного микрофона из четвёртого эпизода;
• как усилить драматический эффект с помощью диегетической музыки.

Систематизация звука в игре с нелинейным повествованием

В The Dark Pictures Antology на повествование влияет сам игрок. На иллюстрации ниже можно увидеть логику ответвлений сюжета игры.

Зелёные ноды — это кат-сцены, созданные в Unreal Engine’s Sequencer. Красным выделены секции с интерактивными эпизодами, где игрок совершает действия, которые приводят к ответвлению истории. Это могут быть выборы диалоговых реплик и ключевых решений или прохождение сцен с элементами QTE. Пустые сегменты, отмеченные жёлтым цветом, — фрагменты стандартного геймплея от третьего лица с элементами исследования.

Чуть ниже можно увидеть, какие звуки входят в нод с кат-сценой. Все аудиофрагменты упорядочены в линейную секвенцию. В неё входят:

• диалоги;
• SFX, они же звуковые эффекты;
• дополнительные линейные фоли-эффекты для персонажей, которые записывались как при стандартном производстве кинокартин. По сути это минимальные дополнения, которые не были включены в процедурные звуковые системы, — например, звуки перемещения стула, трения верёвки о стену, удержания двери телом, шуршание ткани при ползании и другие редкие аудиофрагменты.

Также в линейных секвенциях присутствуют RTPC в виде кривых. В ноде выше их нет, так как их подключают на другом этапе вместе с музыкой.

В остальных фрагментах с интерактивными эпизодами и исследованием используется системный звук. Такой подход обеспечивает бесшовный игровой процесс и полное погружение игрока, что очень важно для игры в целом. К системным звукам относится:

• система дыхания персонажа и его реакции на различные вызовы ИИ;
• атмосферы (звуковой ландшафт) — группы звуков и их расположение;
• музыкальное и звуковое оформление.

Отдельно стоит выделить процедурные фоли-эффекты, которые включают в себя все звуки, связанные с персонажами (шорох одежды, шаги и так далее). Подробнее о них чуть ниже.

Все эти системы постоянно обновляются, и студия вкладывает в них много ресурсов, так как с их помощью можно уравновесить звуки персонажей в кат-сценах и в эпизодах с геймплеем. Также они помогают финализировать проект: разработка серии идёт в течение года, и, если в процессе возникают какие-то правки в отношении звука, интегрировать их без систем уже сложнее.

Процедурные фоли-эффекты

В кинематографичной игре важно создать убедительный образ персонажа. В этом Supermassive Games помогло использование процедурных фоли-эффектов. Понятие «фоли» само по себе достаточно обширное, но звукорежиссёры студии подразумевают под ним любой контакт персонажа с окружающей средой.

У процедурного подхода есть несколько преимуществ:

• охват большей части фоли-эффектов;
• конечный результат проще финализировать при разработке длительностью в год;
• экономия времени и бюджета;
• стрессовые ситуации в целом сводятся к минимуму;
• система подходит и для других проектов, поэтому окупает все затраты;
• обеспечивает целостность между фрагментами кат-сцен и геймплея с исследованием, в частности это касается фоли-эффектов оружия, речь о которых пойдёт ниже.

Эту систему активно использовали в House of Ashes. И для лучшего понимания её специфики стоит кратко перечислить события эпизода. Действие игры происходит в Ираке, в мае 2003 года. Американский спецназ ищет оружие массового поражения, но вместо него военные находят затерянный под землёй древний шумерский храм с внеземными существами.

Читайте также:

Секреты дизайна House of Ashes — разбор нарратива и нелинейности с экспертами

Процедурные фоли-эффекты в этой игре поделены на несколько групп. Рассмотрим их подробнее.

Шаги. К ним относится:

• ходьба и бег, звучание которых представляет собой воспроизведение небольших файлов и зависит от скорости персонажа;
• замедленная ходьба, требующая дополнительных тонких настроек;
• трение подошв о поверхности;
• приземления;
• движения конечностей существ.

Звучание шагов зависит от конкретной поверхности. Всего в House of Ashes 2630 единиц таких материалов.

Шорох ткани. Эти фоли-эффекты воспроизводятся почти при таких же условиях, что и шаги, но в этом случае звук издают материалы ткани. Вариативность зависит от сгиба костей колена и локтя в скелетном риге модели. Например, чем сильнее персонаж будет сгибать локоть во время движения, тем интенсивнее будет звук трения одежды.

Снаряжение. Под ним подразумеваются звуки мешей, которые дополняют образ персонажа: кобура, разгрузка, украшения и прочие детали. Они вносят в общую звуковую картину дополнительное разнообразие и утончённость.

Огнестрельное оружие (шум от магазина, антабки, затвора). Впервые использованы в House of Ashes. В наборе существует три вида семплов, которые отличаются по скорости (низкая, средняя и высокая) и подчёркивают внимание к деталям.

Похлопывания. Звуки прикосновений внешней, тыльной и боковой поверхности рук. Эти фоли-эффекты всё ещё дорабатываются, но текущая версия системы уже способна создать реалистичный эффект.

Крылья существ. Фоли-эффекты взмахов крыльями представляют собой адаптацию всех вышеперечисленных систем.

Процедурные фоли-эффекты персонажей реализованы с помощью так называемых эмиттеров — излучателей звука, настроенных в движке. Ниже показано расположение эмиттеров, прикреплённых к мешу персонажа.

Эмиттеры воспроизводят аудиосигналы в реальном времени и регулируются настройками RTPC в Wwise, создавая имитацию реалистичных звуков при перемещении персонажа в игре.

В House of Ashes звукорежиссёры в основном работали с пространственным звуком, который выгодно подчеркнул масштаб древних пещер, узких туннелей и других оригинальных внутриигровых локаций. Реализовать такую систему несложно, ведь она присутствует в базовых функциях Wwise. Но так как это игра, специалистам приходилось учитывать нагрузку на центральный процессор. Например, восемь эмиттеров, отмеченных выше, создают тысячи обращений к API. И когда в сцене появляются десятки персонажей, в том числе и существа-вампиры (у которых уже по 12 эмиттеров), множество настроек RTPC и значения дифракций сильно сказываются на производительности.

Поэтому команда разработала систему усечения, которая воспроизводила только те события и эмиттеры, которые находились в зоне досягаемости слушателя.

Таким образом можно приостановить вызовы всех эмиттеров за пределами этой зоны, что важно при создании боевых сцен с участием разных персонажей. Барни отмечает, что такая система усечения помогла настроить пространственный звук с учётом специфики платформы. Например, оптимизировать количество эмиттеров на PS4 и Xbox One и, наоборот, расширить их число для консолей нового поколения.

Во время создания процедурных фоли-эффектов звукорежиссёры учитывали, что анимационные нотификаторы не подойдут для короткого цикла разработки продолжительностью в один год, так как отдельные анимации менялись вплоть до самого релиза. Поэтому требовалась гибкая система, которая могла бы работать и с анимацией перемещения (локомоушн), и с мокапом. И этого удалось достичь, связав RTPC-настройки эмиттеров с движениями персонажа. Их расширили за счёт появления анимаций приземлений и перемещений вдоль стен. Также команда добавила дополнительный слой звука при взаимодействии с определёнными материалами, будь то руины, штукатурка на полу или лужи. Ниже представлено видео с соло-воспроизведением шагов персонажей с учётом этих настроек.

Далее можно ознакомиться с фоли-эффектами некоторых видов оружия во время перемещения персонажа, звуками предметов во время взаимодействия с ними, а также с процедурными фоли-эффектами похлопываний рук.

И наконец, в следующем ролике можно услышать процедурные фоли персонажей, в том числе шорох ткани и снаряжения, которые сами по себе менее слышимые, но органично дополняют общее звучание. По этому же принципу реализованы шаги и взмахи крыльев существ.

Создание фоли-эффектов для существ

В House of Ashes отведено много экранного времени вампирам из космоса. Записывать обычные звуковые дорожки для них было нерационально, так как в игре насчитывалось более тысячи уникальных сцен с участием этих существ. Поэтому они нуждались в собственной системе фоли-эффектов, которая могла обеспечить неограниченный диапазон действий. К слову, движения вампиров создавались с помощью не только анимации ключевых кадров, но и мокапа.

Выше представлен пример цикличной анимации ходьбы вампира. И хотя в этом примере он двигается на четырёх лапах, в некоторых сценах существо опиралось только на задние конечности, которые сделаны по принципу лошадиных с добавлением дополнительного сустава. Также у вампиров есть крылья.

Все эти нюансы анатомии не давали полностью перенести систему эмиттеров персонажа-человека на подобное существо. Вместо этого команда адаптировала процедурные фоли-эффекты ступней персонажей и шелеста ткани под новую модель. Что касается крыльев, то процедурная система для них разрабатывалась с нуля, но с использованием аналогичных технологий для персонажей-людей. Крики и клокочущие звуки вампиров создавались по старым технологиям вручную. В целом звукорежиссёры проделали огромную работу с учётом всех нюансов, чтобы добиться максимально правдоподобного звучания существ. Ниже можно оценить итоговый результат.

Далее представлен ещё один пример видеоряда с участием вампиров, но уже с полным звуковым и музыкальным сопровождением.

Интерактивное сведение

Для этого процесса звукорежиссёры выполняли ряд действий:

• сведение звуковых эффектов на протяжении всего процесса с использованием общих ассетов для персонажей в кат-сценах и игровых сегментах с исследованием;
• панорамирование со смещением центра на 50%;
• работа с аттенюациями для создания акцентов;
• перемещение позиции слушателя, откреплённого от позиции игрока/камеры;
• использование сайдчейна вместо HDR.

Такой набор функций обеспечивал гармоничное сочетание всех систем звука между собой для получения иммерсивного эффекта.

Панорамирование

Когда наступил этап панорамирования диалогов, перед командой Барни встала непростая задача. Из-за кинематографичных ракурсов позиция камеры постоянно менялась посреди разговора, и панорамирование распределялось то в одну сторону, то в другую. Исправить это можно было двумя способами.

• Воспроизводить весь диалог только через центральный динамик, как в фильмах прошлого поколения. Но в этом случае исполнение будет казаться безжизненным, так как в нём нет направленности звука, характерной для игр.
• Объёмное панорамирование 5.1 обеспечит отличную направленность звука, но приведёт к жёстким отсечениям некоторых эффектов, что также нарушит погружение игрока.

Звукорежиссёры нашли компромисс между двумя этими опциями. Они переделали панорамирование для всех диалогов и фоли-эффектов персонажей, уменьшив его наполовину.

В итоге получилась система смещения центра на 50%. На практике звуковая картина выглядела следующим образом: если персонаж издавал звук за пределами центральной зоны, позиция источника относительно слушателя оставалась прежней, но звук проигрывался относительно новой позиции со смещением панорамирования наполовину. Центральный динамик при этом смещался, но без привязки к этому звуку. Примеры ниже показывают, что значение панорамирования звука пропорционально внутриигровой позиции эмиттера.

Получается, что когда издающий звуки объект находится в поле зрения игрока, то большинство аудиосигналов попадает в центральный динамик. Значение панорамирования при этом зависит от расположения объекта относительно левой или правой части. Этот подход не только устранил неприятные скачки звука при переключении ракурсов камеры, но и способствовал большему вовлечению игрока и улучшению иммерсивности, чего нельзя было достичь методом воспроизведения диалогов только через центральный динамик.

Аттенюации

Чем ближе к слушателю расположены эмиттеры, тем больше нюансов можно уловить. На инфографике ниже представлена градация затухания громкости определённых звуков в зависимости от расстояния до слушателя, прикреплённого к камере.

Схема показывает, что если персонаж находится далеко от слушателя, то эмиттеры шороха ткани, снаряжения и оружия не улавливаются. При этом фоли-эффекты шагов всё ещё слышны, так они поддерживают эффект присутствия и связь с окружением. Реплики героев звучат всегда, независимо от расстояния, ведь они играют важную роль в повествовании.

Когда слушатель расположен возле персонажа, будут слышны звуки шороха ткани и аксессуаров, что усилит ощущение близкого контакта.

Если слушателя открепить от позиции камеры и переместить в любую точку игрового мира, получится известный приём из кино, когда зритель словно подслушивает разговор. Например, в сценах, когда герои беседуют в кафе или в машине, а камера снимает их снаружи.

Такой подход решает проблемы с окклюзией, то есть со случаями, когда звук не проходит через какую-либо преграду, поэтому волна пространственного звука не доходит до точки, в которой расположена камера.

Чтобы поставить игрока в неловкую ситуацию, можно улавливать звуки не только с откреплённого слушателя, но и с объектов внешней среды. Эта техника хорошо подходит, например, для сцен, где действующий персонаж (или убийца) подслушивает чью-то беседу, спрятавшись за кустом. Схематично это выглядит следующим образом.

Команда дополнительно настраивала звуки эмиттеров так, чтобы они звучали приглушённо позади игрока, добавляя тонкий акцент звуку на экране. Для достижения такого эффекта звукорежиссёры работали с настройками азимута в Wwise. Для этого специалисты уменьшили уровень громкости, но повысили фильтры высоких и низких частот по краям графа. По словам Барни, это довольно простая манипуляция, которая даёт хороший результат. На коллажах ниже можно увидеть соотношение громкости и частот при разном положении персонажа в сцене.

Стоит отметить, что данные настройки созданы только для фоли-эффектов. Диалоги настраивались отдельно. Но в любом случае реплики всегда будут доминировать по отношению к другим приглушённым звукам.

Сайдчейн

Ниже представлена стандартная иерархия аудиодорожек, которые сводились звукорежиссёрами. В верхней части находятся самые приоритетные фрагменты. Специалисты использовали несколько комбинаций сайдчейна: дакинг, дакинг эквализации частот (характерно для диалогов) и, конечно же, сайдчейн-компрессию, которая выполнена достаточно плавно.

Во время сведения могут доминировать звуки с более низким приоритетом, из-за того что вышестоящие аудиосигналы иногда прерываются. За счёт этого команда могла манипулировать ими — в зависимости от того, какого кинематографического эффекта нужно было достичь.

Например, в Little Hope звукорежиссёры настроили эффект, который изменял диегетический звук, когда персонажи ходят в тумане, и его воспроизведение можно было контролировать с помощью различных плагинов и RTPC-настроек. В этом же эпизоде команда изменяла высоту звука всех атмосфер для передачи психологического состояния главного героя. За счёт этого можно было эффектно подать пугающие моменты и в буквальном смысле исказить реальность.

Ещё один пример сведения — экшен-сцена на лодке из The Devil in Me. В этом эпизоде много активных действий, поэтому игрока нужно постоянно держать в напряжении.

В иерархии звуковых дорожек каждый аудиосигнал выполняет свою функцию. Например, двигатель лодки, отмеченный на иллюстрации ниже как Boat engine loops, работает постоянно, но периодически набирает обороты. И для этого действия используется отдельный звуковой эффект (на схеме — Engine revs). Эти аудиосигналы закрывают пробелы между дорожками ключевых звуковых эффектов.

Сама сцена происходит на озере, поэтому присутствуют звуковые эффекты воды, омывающей корпус судна. К тому же по ходу повествования персонажи выпрыгивают из лодки, что предполагает эффекты брызг и всплесков.

Когда в сцене много экшена, не обойтись без звуков боя: удары кулаками, ногами, холодным оружием и так далее. Все эти элементы должны звучать отчётливо, даже несмотря на такой большой набор аудиодорожек.

Также звукорежиссёры добавили несколько дополнительных субмикширований звука, с описанием которых можно ознакомиться в галерее ниже.

Стоит принять во внимание, что эта сцена — часть интерактивного кино, и поэтому в ней могут присутствовать не все персонажи. Даже если героям удалось пережить испытания и сесть в судно, они все могут погибнуть в этой сцене или, наоборот, выжить. На протяжении всего прохождения игрок может собирать различные предметы, которые в дальнейшем могут серьёзно повлиять на судьбу персонажей. Кроме того, сцена включает упомянутые выше аттенюации, а также слоу-мо эффекты, изменяющие общий звуковой ландшафт и темп. Поэтому звукорежиссёры проводили интерактивное сведение с учётом всех этих нюансов. Ниже представлен фрагмент одного из вариантов сцены в игре.

Направленный микрофон

Одной из уникальных особенностей The Devil in Me стал направленный микрофон. Суть этой функции состоит в следующем:

• наличие обусловлено нарративом и одной из ключевых механик геймплея, так как по сюжету это устройство использует звукорежиссёр Эрин;
• микрофоном управляет игрок;
• привязка к виду от третьего лица;
• работает по принципу микрофона-пушки.

Для реализации этой ключевой особенности команде пришлось создать симуляцию устройства внутри игры и понять, какая именно требуется направленность (кардиоидная или гиперкардиоидная) и как она будет влиять на чувство страха и клаустрофобии. Для этого звукорежиссёры симулировали внеосевое затухание микрофона, то есть настроили виртуальное устройство таким образом, чтобы оно отклоняло звуки, на которые не направлено, и получили довольно реалистичный результат с эффектом утечки звука и ревербераций.

Так как в рамках геймплея Эрин может надеть и снять наушники в любой момент, сведение звука переключается таким образом, чтобы все настройки RTPC оставались прежними в реальном времени. Кроме того, рукоятку микрофона оснастили процедурными фоли-эффектами по аналогии с оружием. Таким образом создаётся имитация побочных звуков, которые нежелательны во время записи, но так или иначе присутствуют в реальной жизни.

В Wwise настройки направленного микрофона выглядят следующим образом.

Команда Барни поработала над настройками азимута, которые упоминались ранее. В диаграмме микрофона можно заметить, что кривые стали более резкими и добавилась дополнительная кривая Aux Send. Также звукорежиссёры посчитали, что с точки зрения геймплея азимут должен зависеть от направления камеры, а не от самого персонажа, так как последнего можно повернуть лицом к игроку. В ролике ниже можно оценить, как механика направленного микрофона выглядит на практике.

Диегетическая музыка

Диегетической музыкой считаются композиции, которые относятся к сеттингу игры или фильма, поэтому её могут слышать и персонажи. Саундтрек первого сезона The Dark Pictures Anthology написан композитором Джейсоном Грейвзом. Композиции отражают темп и повествование, подчёркивают локацию и историческую эпоху. Ниже приведён краткий обзор музыкального оформления каждой серии.

• Действие Man of Medan происходит на юге Тихого океана, и саундтрек на ¾ состоит из композиций в стиле вейв. Впрочем, когда герои попадают на корабль-призрак, можно услышать оркестровые и фортепианные партии.
• События Little Hope происходят в одноимённом вымышленном городе, но сам сценарий написан по мотивам событий, связанных с судилищами и казнями «ведьм» в американском городе Салем в 1692 году. Звуковой ландшафт был более минималистичный, и для его создания команда изучала специфику музыкальных инструментов конца XVII века.
• Повествование House of Ashes начинается во времена древних шумеров, а затем резко переходит к событиям, происходящим в начале нулевых в Ираке. И оркестровые партии сменяются синтезированными композициями с мотивами, свойственным для фантастических жанров, так как существа-вампиры — представители инопланетной расы.
• События The Devil in Me происходят в Чикаго 1892 года. Саундтрек этого эпизода вдохновлён творчеством американского композитора Бернарда Херрманна, который создавал музыкальное сопровождение для фильмов Хичкока. Также в The Devil in Me можно услышать отрывки классической музыки и оперных арий, подчёркнутых алеаторическими оркестровыми техниками для усиления драмы.

У команды Барни была система, которая могла усилить драматизм диегетической музыки. Отрывки из классических композиций и оперных арий изначально воспроизводились как монофайл с граммофона, а затем постепенно обрели стереозвучание. Чтобы добиться такого эффекта, звукорежиссёры управляли тремя параметрами RTPC в Wwise:

• сведение моно- и стереофайлов;
• подача реверберации, чтобы подчеркнуть некоторые моменты;
• управление искажениями, если нужно было намеренно испортить композицию в критические минуты.

Изначально все аудиофрагменты, в том числе отрывки классики, были в стерео, поэтому у команды возникали сложности во время работы над трансформацией звучания композиций в интерактивных эпизодах. Чтобы достичь хорошего результата, специалистам пришлось пойти на множество компромиссов и правок.

Ниже представлен пример композиции, которая сопровождает потенциальную гибель персонажа. Диегетическая музыка начинает играть за дверью, а затем продолжается в сцене, постепенно нарастая в разных точках локации для создания дополнительного эффекта драматизма. А после звучание охватывает всю сцену, подчёркивая довольно трагичный финал.

Итоги

За 14 лет Supermassive Games стала одной из самых крупных компаний Великобритании и получила немало наград и номинаций за свои проекты в области интерактивного кино и VR. Например, Until Dawn выиграла премию BAFTA-2016 в номинации «Лучшая оригинальная интеллектуальная собственность». The Dark Pictures Anthology: Little Hope получила награду NAVGTR-2021 за звукорежиссуру. А геймплей с использованием направленного микрофона в The Devil in Me высоко оценили критики. В частности, портал NME охарактеризовал новую механику как «убийственный ASMR».

Барни отмечает, что ещё несколько лет назад многие наработки в области аудио, созданные его командой (в частности система фоли-эффектов), задали планку качества, и на сегодняшний день многие разработчики придерживаются похожих техник, а некоторые студии и вовсе вышли на уровень Supermassive Games. Это не значит, что команда Барни достигла совершенства, но все системы, перечисленные выше, стали частью «кинематографической ДНК», которая позволяет компании ежегодно выпускать контент AAA-уровня.

Читайте также:

Как сделать хоррор без скримеров — советы аудиодиректора Василия Кашникова