Разбор деталей системы дыхания в The Last of Us Part 2

The Last of Us Part 2 — одна из самых противоречивых игр последних лет. Многие фанаты считают её одним из лучших эксклюзивов PS4, а кто-то говорит, что это одна из лучших игр во всей индустрии в целом. В то же время есть и те, кто не смог проникнуться центральными персонажами и остался недоволен спорными сюжетными перипетиями.

Впрочем, даже самые ярые противники второй части The Last of Us отмечают безупречное техническое состояние игры, а также беспрецедентное внимание к деталям со стороны студии Naughty Dog. И одно из самых явных доказательств подобного внимания — проработанная система дыхания. Тональность вздохов и их частота зависят от контекста. Когда Элли слышит щелкуна, она начинает нервно дышать, а пожилой Джоэл выдыхается после нескольких секунд бега.

Саунд-дизайнеры Naughty Dog потратили много сил и времени на эту незначительную, на первый взгляд, систему — и добились впечатляющих результатов, которые при поверхностном рассмотрении можно и не заметить. О процессе создания этой системы разработчики рассказали в рамках лекции на GDC.

В этой статье редакция «Геймдев» Skillbox Media пересказывает ключевые моменты выступления и объясняет, как студия «оживила» персонажей The Last of Us Part 2 при помощи правдоподобного дыхания.

Кратко о спикерах

Бо Энтони Хименес

Старший саунд-дизайнер в PlayStation Studios

Начал карьеру в игровой индустрии в 2014 году — с должности саунд-дизайнера в студии Wabi Sabi Sound, в составе которой работал над звуком в платформере Ori and the Blind Forest и головоломке The Witness. Затем перешёл в Bungie, где в той же должности саунд-дизайнера работал над Destiny: Rise of Iron, Destiny: The Taken King и Destiny 2.

С 2017 по 2021 год работал в студии Naughty Dog, где добавил к своему портфолио Uncharted: The Lost Legacy и The Last of Us Part 2. После этого присоединился к PlayStation Studios, которая работает с разными студиями Sony и помогает им с разработкой игр. Так, Бо Энтони Хименес сотрудничал в роли саунд-дизайнера с создателями Marvel’s Spider-Man 2 и God of War: Ragnarok.

Джесси Джеймс Гарсия

Старший саунд-дизайнер в Naughty Dog

Начал карьеру в игровой индустрии с работы в рекламных агентствах в качестве саунд-дизайнера, а затем работал с Naughty Dog над Uncharted 4: Thief’s End в составе студии-аутсорсера. В 2018 году присоединился к Naughty Dog в качестве штатного сотрудника.

За пять лет в составе команды Джесси Джеймс Гарсия успел поработать как саунд-дизайнер сперва над The Last of Us Part 2, а затем и над The Last of Us Part 1.

Игра мускулами

Бо Энтони Хименес признаётся, что он и его коллеги с самого начала хотели сделать что-то впечатляющее. Ещё на этапе препродакшена разные отделы Naughty Dog показывали наработки интересных новых технологий. Было ясно, что у студии намечается «технологический монстр», как это называет сам Хименес. Тогда в отделе саунд-дизайна поняли, что нельзя отставать от коллег: звук в The Last of Us Part 2 должен быть существенно лучше, чем в оригинальной игре.

Команда сразу обратила внимание на дыхание персонажей. У этого были как творческие причины, так и технические. Как указывает Джесси Джеймс Гарсия, звук в играх Naughty Dog всегда должен помогать истории. The Last of Us — очень приземлённая и реалистичная игра, где много внимания уделяется эмоциям героев. Правдоподобное дыхание персонажей может подчеркнуть как напряжённые, так и спокойные эпизоды. Правильный вздох сделает акцент на состоянии героя, и история станет более иммерсивной.

Была и ещё одна причина изменить систему дыхания во второй игре: студия попросту не могла использовать технологию из первой части. Там звуки были напрямую привязаны к кадрам анимаций персонажей. В редких случаях это приводило к проблемам. Все звуки подавались напрямую на сцену, не затрагивая в оперативную память. Если система была сильно нагружена прорисовкой геометрии на уровне, звуки проигрывались с задержкой. Это вредило иммерсивности.

К тому же старый подход уже был неактуален, ведь команда аниматоров придумала новый инструмент, Motion Match. Этот алгоритм в реальном времени подбирает для персонажа подходящую анимацию из сотен разных вариантов. Это делает движения героев разнообразнее и реалистичнее. Однако привязать все звуки к такому массиву разных движений, как это сделали в первой части, не получится.

Команде саунд-дизайнеров предстояло придумать более универсальное модульное решение, которое позволило бы воспроизводить звуки в любой момент.

Ропот

Дизайнеры сфокусировались на ропоте. Так они называют повторяющиеся звуки, которые отражают состояние того или иного существа и могут проигрываться бесконечно. Для людей это дыхание, для инфицированных персонажей — хрипение, для собак — облизывание или рычание. Фактически это может быть что угодно — главное, чтобы звук был естественным для существа и мог воспроизводиться непрерывно.

Ропот — это фон для всех персонажей, который передаёт их состояние. Главные герои всегда дышат, а инфицированные — хрипят. Но чтобы не мешать более важным звукам, таким как сюжетные диалоги, в движке игры предусмотрен алгоритм отслеживания иерархии. Когда герою нужно что-то сказать, все его прочие звуки отключаются. Ропот имеет самый низкий приоритет из возможных, поэтому любая реплика или реакция на событие её временно отключат.

Сердцебиение

Чтобы придать этому механизму разнообразие и сделать героев живее, как дизайнеры планировали изначально, ропот должен указывать на актуальное состояние героев. Для этого его привязали к сердцебиению. Так разработчики обозначили переменную, которая отражает эмоциональность персонажа. Она имеет значения от 0 до 1 и меняется в зависимости от ситуации. Например, во время спокойной прогулки игровое сердцебиение принимает значение 0, а во время боя возрастает до 0,7.

Для разных значений сердцебиения есть набор уникальных семплов вдохов и выдохов. Таким образом, в напряжённом бою Элли всегда дышит тяжело, ведь набор доступных для неё звуков ограничен. В таком виде система будет информативной, но грубой. Переходы между разными состояниями в игре могут быть резкими, а это нереалистично — когда человек устаёт, ему нужно время, чтобы привести дыхание в норму. Для имитации этого эффекта команда ввела в игру ещё одну переменную — целевое сердцебиение.

Целевое сердцебиение моментально изменяется в зависимости от ситуации. Актуальное же значение, определяющее набор звуков, которые издаёт персонаж, постепенно подстраивается под него. Например, после долгой пробежки показатель постепенно повышается до 1. Стоит герою остановиться, как целевое значение резко упадёт, а реальное доберётся до него лишь через несколько секунд.

Финальный штрих звуковой системы — добавление дельты для каждого персонажа. Это ещё одна переменная, которая отвечает за то, насколько быстро актуальное сердцебиение достигает целевого показателя. Эта деталь помогает указать на специфическую разницу между разными людьми. Так, Джоэл, человек в возрасте за 50 лет, будет быстро уставать, а на восстановление дыхания ему потребуется больше времени. Элли же, наоборот, будучи молодой активной девушкой, приходит в себя быстро.

Все эти технологии создали правдоподобный эффект, который дополняет сцену и лучше передаёт настроение героев. Поначалу студия экспериментировала лишь с набором семплов от актрисы Эшли Джонсон, озвучившей Элли, — результат оказался настолько хорошим, что остальные актёры озвучки записывали вздохи на основе состояний, которые придумали саунд-дизайнеры при работе над ропотом.

Техническая реализация

Чтобы работать с учётом всех описанных решений было удобно, разработчики используют несколько проприетарных программ внутри движка. Одна из них — Scream — позволяет эффективно упаковывать код для того, чтобы быстро подбирать для героев нужные звуки.

Разработчики не раскрывают всех деталей своего ПО, но вкратце описывают основной принцип. Scream представляет собой набор условных операторов, которые быстро переносят код к выполнению конкретного блока. Например: «Если персонаж ранен, отправляйся выполнять функцию номер X». Иными словами, это удобный инструмент оптимизации: код быстро определяет нужное состояние персонажа и выбирает случайный подходящий звуковой семпл.

Второй интересный инструмент Naughty Dog — это Continuous Controller Screen. Это интерфейс, который визуализирует постепенное изменение переменных ропота и сердцебиения, а также позволяет настраивать плавность их изменений. То есть дизайнеры могут создавать разнообразные кривые Безье для получения нужного эффекта.

Влияние на повествование

Саунд-дизайнеры Naughty Dog считают, что звук должен в первую очередь дополнять повествование игры. Поэтому все придуманные командой технологии нужно было правильно встроить в The Last of Us Part 2. В некоторых ситуациях ропот уместно было насильно выключить, ведь «иногда молчание говорит лучше любых слов».

Видео выше ярко демонстрирует то, как разработчики могут срежиссировать отдельные эпизоды с ропотом. Элли пробирается через торговый центр в полной тишине — и вдруг слышит щелкуна, и моментально реагирует на это резким вздохом. Здесь разработчики контролировали два момента. Во-первых, они нарочно отключили ропот инфицированного персонажа до того, пока Элли не подойдёт к нему. Во-вторых, они моментально выкрутили сердцебиение героини до максимального значения. В естественных условиях оно поднималось бы постепенно.

Также движок игры позволяет дизайнерам переносить ропот отдельных персонажей даже на статичные объекты. Эта деталь кажется ненужной, но она позволяет обойти технические ограничения консолей. На видео выше видно, как Элли убегает от щелкунов через ворота. Как только они закрываются, недоступная часть уровня моментально выгружается из памяти, чтобы освободить место для новой геометрии. Это же касается и инфицированных за воротами, которые удаляются со сцены.

В этой ситуации все звуки, которые произносят NPC, по идее должны пропадать. Но это моментально разрушило бы погружение. Чтобы этого избежать, разработчики и придумали такой инструмент. В момент перехода на новую локацию дизайнеры переносят ропот инфицированных на невидимый спавнер в новом участке уровня. Таким образом, игрок продолжает слышать всхлипы, которые указывают на то, что щелкуны продолжают рыскать по зданию.

В отдельных случаях дизайнеры полностью перехватывали контроль над звуком персонажа. Это делалось в тех случаях, когда алгоритм не создавал нужного драматического эффекта. Например, когда Элли ищет Джоэла в начале игры, её состояние поначалу спокойное. Но стоит девушке услышать крики героя, как её сердцебиение резко поднимается для создания нужного эффекта. Более того, саунд-дизайнеры в этой сцене вручную изменяли значения так, чтобы с каждым шагом сердцебиение росло — это помогло подвести сюжет к драматическому катарсису.

Сотрудничество с аниматорами

Для достижения лучшего эффекта правдоподобные звуки нужно синхронизировать с визуалом. В первой The Last of Us реплики были привязаны к анимациям. Примечательно, что в The Last of Us Part 2 случилась обратная ситуация. Команде аниматоров очень понравилась работа саунд-дизайнеров, поэтому они решили совместить усилия. Отделу звука предоставили готовые анимации дыхания героев игры, чтобы синхронизировать их с ропотом.

Сначала дизайнеры разделили анимации на несколько категорий по тому же принципу, что и ропот: сильные резкие вздохи отдельно от едва заметного дыхания. Затем они добавили для звуков уникальные теги, чтобы выделить, в каких случаях герой должен открывать рот.

В результате ропот диктует, какие именно анимации можно использовать. Более того, во многих случаях длительность отдельных вздохов подгоняется под длину звукового семпла. Это также делается в реальном времени.

***

The Last of Us Part 2 вызвала неоднозначную реакцию даже у некоторых преданных фанатов первой части. Однако технические достижения сиквела неоспоримы. Naughty Dog скрупулёзно проработала даже самые незначительные детали и сделала, пожалуй, свою самую иммерсивную игру.

Безусловно, многие технологии в ней требуют внушительных бюджетов, но в основе ропота и сердцебиения лежит сравнительно простая в реализации идея. Сделать подобное можно даже в не очень масштабном проекте.