Как нейросети помогают писать музыку

Около года назад все говорили про трек Heart on My Sleeve, якобы созданный Дрейком и The Weeknd. Песню чуть не номинировали на «Грэмми» — а потом оказалось, что её написала нейросеть. Сонграйтеры, артисты и композиторы задались вопросом: не зашли ли нейросети слишком далеко? Можете, пожалуйста, заранее сказать, когда нас всех уволят?

Но искусственный интеллект не конкурент, а второй пилот, который может взять на себя часть скучных монотонных дел. Мы собрали четыре полезных нейросети для создания музыки — они подойдут и специалистам, и обычным пользователям, увлекающимся творчеством.

Программы из этой статьи помогут:

• управлять музыкой с помощью голоса и жестов;
• написать трек с помощью текстового промпта;
• сгенерировать 100 тысяч новых звуков;
• найти свой музыкальный стиль.

Нейросеть из Сколково

Что за нейросеть

Аспирант Сколковского института науки и технологий Илья Боровик и его коллега из немецкого университета Владимир Виро создали приложение для управления музыкой с помощью голоса, жестов и мимики. Нейросеть проигрывает партитуру, а пользователь регулирует то, как именно она будет исполнена. Например, в мазурке Шопена можно поменять темп и настроение — и вот она уже звучит как колыбельная.

Как работает

Чтобы начать работу, любая нейросеть должна получить данные. Тогда она их обрабатывает и выдаёт результат. Так и это приложение получает партитуру, анализирует ноты, а затем выдаёт пользователю исполнение с новой выразительностью и экспрессивностью. Для этого нейросеть фиксирует длительность и громкость нот, общий темп и артикуляцию: например, считывает указания presto («очень быстро») и forte («громко») в партитуре.

А теперь представьте себе неопытного музыканта. Он умеет читать ноты, но пока не понимает, как сыграть мелодию красиво и интересно. То же самое происходит с нейросетью, поэтому ей необходима помощь пользователя. Пользователь в этой системе — дирижёр. Он контролирует нейросеть мимикой, речью и жестами: поворачивает голову, даёт инструкции или просто морщится, если ему не нравится интерпретация ИИ. Через камеру на телефоне нейросеть видит, когда что-то идёт не так, и вносит изменения в своё исполнение.

Сейчас приложение работает только с фортепианными исполнениями, но создатели планируют расширить датасет до композиций для оркестра.

Читайте также:

Как устроен симфонический оркестр

В чём польза

Приложение из Сколково помогает тем, кто хочет креативить с музыкой, но не знает партитур или не играет на инструментах. Чтобы пользоваться нейросетью, не нужно специальное образование. Для новичков это приятный музыкальный опыт, а для профессионалов — возможность по-новому услышать произведения и найти вдохновение.

Project Music GenAI Control от Adobe Studio

Что за нейросеть

Над моделью работает поставщик софта Adobe в сотрудничестве с коллегами из Калифорнийского университета в Сан-Диего и Школы компьютерных наук университета Карнеги — Меллона. Программа будет работать как Photoshop для музыки и управляться с помощью текстовых запросов.

Проект анонсировали в феврале 2024 года. Он ещё не закончен, поэтому многие детали держатся в секрете. Например, мы ничего не знаем про источники, на которых обучалась нейросеть, — компания лишь отмечает, что в ИИ-проектах обращается к лицензионным и общедоступным материалам, чтобы не нарушать авторские права. Судя по демо, даже интерфейс прототипа ещё в разработке.

Как работает

Принцип работы напоминает текстовые чат-боты. Пользователь вводит запрос, например «мощный рок», «энергичный R&B» или «меланхоличный джаз», и нейросеть генерирует мелодию по заданным параметрам.

Следующая часть самая интересная. Пользователь может отредактировать результат в интерфейсе: поменять стиль, интенсивность звука, структуру песни (например, превратить мелодию в драматичный эмбиент или подогнать под шаблон хита). Ещё нейросеть позволяет растянуть или сжать отрезок, чтобы музыка вписалась в заданное время без ущерба качеству.

Читайте также:

Что такое эмбиент

В чём польза

Инструмент подойдёт для специалистов, которым музыка нужна как сопроводительный элемент. В программе можно сделать джингл для подкаста или саундтрек для любительской короткометражки. Нейросеть помогает избавиться от страха «белого листа» — набрасывает идеи, которые остаётся лишь докрутить. А будет это стильно или нет — зависит от пользователя.

NSynth Super

Что за нейросеть

Это не просто программа, а отдельное устройство, которое может создавать новые звуки. Нейросеть анализирует акустические свойства уже существующих тембров — от знакомой флейты до экзотического индийского ситара — и создаёт что-то новое на их пересечении.

Изобретение принадлежит исследовательской лаборатории Google Deep Mind. Аппарат пока ещё нельзя купить — он на стадии прототипа. Но пользователь может собрать его самостоятельно из подручных материалов: создатели поделились туториалом по созданию и программированию своего NSynth.

Как работает

Устройство выглядит как коробочка с квадратным пэдом. Каждому углу квадрата «присвоен» свой инструмент: например, правый нижний угол — скрипка, левый нижний — орган. Проводя пальцем по экрану, пользователь может их миксовать: снижать концентрацию одного инструмента и увеличивать насыщенность другого. Но NSynth не просто накладывает записанные звуки друг на друга — он берёт параметры отдельных инструментов (мелодику, интенсивность, длительность) и на их основе синтезирует совершенно новое звучание.

Потенциально коробочка может выдать сто тысяч новых звуков. Для этого в процессе обучения учёные скормили ей 305 979 звуков. Нейросеть разобрала каждый на микротембры и проанализировала, как именно звук ведёт себя при проигрывании: насколько он громкий вначале, с какой скоростью угасает и так далее.

Послушайте, что получилось, когда смешали ситар, чистый бас, пианино и бас гранжа.

В чём польза

Для профессиональных звукорежиссёров это крутая находка, а для исследователей звука — дополнительный челлендж. Мы откроем для себя новые звучания, а значит, обнаружим новые образы и ассоциации.

Потенциально изобретение может найти применение в научно-фантастическом кино, как когда-то терменвокс. Пользователям будет интересно смешивать любимые инструменты и смотреть, что получится. Артистам же нейросеть поможет экспериментировать с EDM и поп-музыкой.

Flow Machines от SONY

Что за нейросеть

Лаборатория SONY CSL разрабатывала этот ИИ-плагин с 2012 по 2020 год — то есть ещё до того, как нейросети стали мейнстримом.

В 2016 году создатели поделились промежуточными наработками. Программа создала несколько песен в стиле The Beatles и американских сонграйтеров. Чтобы провести эксперимент, разработчики обучили модель на 13 тысячах разножанровых партитур, где зафиксированы только мелодия, текст и гармония. Затем за компьютер сел композитор Бенуа Карре и сгенерировал новую уникальную партитуру, выбрав стиль из палитры пресетов. Созданную песню композитор продолжил микшировать и редактировать в интерфейсе программы.

Читайте также:

11 экспериментальных песен The Beatles

Как работает

Программа определяет музыкальные стили по трём основным параметрам: тональности, темпу и сложности последовательности аккордов.

Стили можно представить в виде 3D-модели, где каждый параметр — это ось системы координат, а разноцветные точки — стили из палитры пресетов. Например, если пользователь захочет найти что-то простенькое, мажорное и в среднем темпе, можно сразу отыскать нужную точку по оси координат. И не придётся долго подкручивать настройки в поисках нужного звучания.

Когда пользователь выберет стиль будущего трека, он может сам приступить к работе или же бесконечно нажимать на кнопку Compose, пока алгоритм не выдаст что-нибудь интересное. Можно генерировать отдельные такты, комбинировать их между собой и создавать новые паттерны.

Одна из выигрышных фишек плагина — он умеет подстраиваться под стиль пользователя. Артист ставит лайки понравившимся мелодиям, а алгоритмы анализируют стилевой паттерн и всё лучше улавливают его предпочтения. Например, если вам захочется создать трек в стиле Дрейка, достаточно лайкать то, что звучит похоже на его песни.

В итоге проект Flow Machines предсказал фишки современных нейросетей ещё до того, как они вошли в повседневную жизнь. Он подстраивался под вкус пользователя раньше, чем это стали делать стриминг-сервисы, и имитировал стиль знаменитых артистов за несколько лет до выхода трека Heart on My Sleeve.

В чём польза

Из-за имитации стилей кажется, что эта нейросеть ближе всех подошла к тому, чтобы заменить музыкантов. Например, что мешает ей проанализировать «почерк» Финнеаса и начать создавать треки вместо него?

Но это опасение далеко от реальности. Всё-таки «живые» артисты создают не бездушный набор звуков, а искусство, где огромную роль играют эмоции. Нейросеть Flow Machines не сможет имитировать пронзительный вокал Фрэнка Синатры или превзойти Polnalyubvi в умении перенести слушателя в мистический мир. Зато программа поможет сонграйтеру найти и сохранить собственный стиль, а простому пользователю — познакомиться с разными музыкальными направлениями.