7 нейросетей, которые помогают музыкантам

С появлением нейросетей по спинам музыкантов пробежал холодок — а вдруг искусственный интеллект начнёт генерировать такие песни, которые неразборчивый слушатель не отличит от «живого» искусства. Недавно австрийский рок-музыкант Ник Кейв заявил:

Но многие артисты начали использовать AI для творчества ещё в конце 2010-х. Тогда они воспринимали новую технологию как помощника, а не как конкурента. В этой статье рассказываем, как искусственный интеллект и артисты дополняли друг друга.

• Альбом, для которого нейросеть сгенерировала хор
• Песни, где искусственный интеллект помог с текстом
• ИИ делает фоновую музыку без авторских прав и ремиксы
• Первый алгоритм, который заключил контракт с музыкальным лейблом
• Нейросеть помогла написать записать новую песню The Beatles
• Технологии, которые создают музыку на вечеринках в режиме реального времени

Spawn

Одним из первых альбомов, записанным с помощью нейросети, считается Proto (2019) Холли Херндон, артистки из Сан-Франциско. Херндон получила степень в Стэнфорде и сама участвовала в разработке нейросети Spawn, которую использовала для записи. При обучении Spawn давали слушать солистов и вокальные группы.

Херндон вдохновлялась различными традициями пения а капелла. Например, песня Frontier основана на музыке жителей Аппалачских гор в США. Сначала Херндон поёт одна, а затем к ней присоединяется хор, в котором переплелись настоящие и «машинные» голоса. Вторые можно отличить, поскольку в них почти нет естественного для человеческого пения глиссандо — плавного перехода между звуками.

Философия проекта заключалась не в противопоставлении человека и AI, а в их объединении — по мысли Херндон, живые и искусственные голоса вместе звучат мощнее, чем по отдельности.

GPT

Инди-группа Weezer с помощью GPT-3 написала текст для песни I Want a Dog. Перед релизом вокалист Риверс Куомо выложил в Twitter таблицу с двумя вариантами текста, один из которых написал он сам, а другой — GPT, и предложил фанатам угадать, где чей.

Кстати, «автоматизировать» написание лирики пытались ещё до появления нейросетей. Дэвид Боуи был фанатом метода нарезок, придуманного писателем Уильямом Берроузом. Писатель брал газетные статьи или дневниковые записи, вырезал из них случайные слова и собирал в новом порядке. Для Боуи в 1995 году разработали программу Verbasizer: певец загружал в неё 20–25 предложений, программа делила их на части и выдавала новый готовый текст, по смыслу никак не связанный с изначальным. Такие песни были в альбоме Outside.

Amper Music

В начале 2010-х композиторы Дрю Сильверстайн, Сэм Эстес и Майкл Хобе создали программу Amper Music, чтобы делать фоновую музыку на заказ.

Сегодня Amper Music позволяет всем желающим создавать композиции, указывая жанр, настроение и темп. Музыка Amper используется в подкастах, рекламе и видеороликах. Компаниям больше не нужно искать что-то на стоках — они могут получить уникальный трек, который ещё и будет в точности удовлетворять запросам креаторов.

В 2017 году американская певица Тэрин Саузерн выпустила песню Break Free, записанную вместе с программой Amper Music. Саузерн указала жанр, инструменты и темп, то есть количество ударов в минуту. Amper Music сочинил разрозненные куплеты, а Саузерн пересобрала их и написала вокальную мелодию и текст. По словам певицы, программа помогает в написании партий и продакшене, но сделать хорошую структуру для песни она не может.

Bronze

Электронный продюсер Arca знаменита ломано-экспериментальным звуком. Она тщательно оберегает своё творчество и не позволяет никому делать ремиксы на свои песни.

В 2020-м она выпустила релиз, который напоминает больше произведение современного искусства, чем просто треки. Arca сделала сразу 100 ремиксов на трек Riquiquí с помощью программы Bronze, работающей на основе искусственного интеллекта.

Тогда же художник Филипп Паррено пригласил Arca для создания в лобби Музея современного искусства в Нью-Йорке (MoMA) звуковой и световой инсталляции Echo. Arca написала трек, а Bronze преобразовывала его, реагируя на то, есть ли кто-то в зале, какая за окном погода и время суток.

Endel

В 2019 году электронный музыкант Toro y Moi создал для бренда воды Glaceau Smartwater четыре песни. В этом ему помогла нейросеть Endel, собирающая данные о состоянии слушателя и среде, в которой он находится, и создающая для него персональную музыку.

Кстати, стартап Endel стал первым алгоритмом, треки которого вышли в музыкальном лейбле. Warner Music подписала контракт с создателями нейросети на выпуск 20 альбомов.

Machine audio learning (MAL)

Осенью 2023 года The Beatles выпустила «новую» песню Now and Then. Это была доработанная демозапись, которую Джон Леннон сделал ещё в конце 1970-х. С помощью нейросети Machine audio learning (MAL), которую разработала команда кинорежиссёра Питера Джексона, удалось отделить от инструментов в старой записи вокал Леннона, а Пол Маккартни и Ринго Старр дописали для него аранжировку.

AudioShake

Продюсер Родни Джеркинс использовал технологию искусственного интеллекта, чтобы извлечь с VHS-кассеты звук песни The Stomp рэпера Ol’ Dirty Bastard из группы Wu-Tang Clan и семплировать его для трека Forgiveless певицы SZA. Это стало возможным благодаря нейросети AudioShake.

AudioShake — стартап, который использует искусственный интеллект, умеющий разбивать записи на составные части — барабаны, гитару, вокал, даже если это всё записано на одной аудиодорожке.

В отличие от общедоступных ChatGPT и Boomy, AudioShake — это B2B-стартап, а его клиенты — большие звукозаписывающие компании и музыкальные издатели. Технологию также можно применить для синтеза речи и интерактивного звука для дополненной реальности.

Как ещё технологии помогают музыкантам

Нейросети облегчают работу тем, кто пишет песни на заказ для других артистов. Большая трудность при гострайтинге — понять, подойдёт ли песня конкретному исполнителю. Раньше авторы нанимали певцов с голосами, похожими на звёздный, а теперь могут генерировать такой же голос, как у музыканта, с помощью нейросети.

Для электронных музыкантов новые технологии вообще скорее благо, чем проклятие. В этой сфере уже давно проводят алгорейвы — это целые вечеринки, посвящённые музыке, которую создают с помощью алгоритмов.

Мелоди Лавлесс, которая преподаёт программирование в инженерной школе, объясняет принцип работы на примере Sonic Pi — синтезатора, использующего язык программирования с открытым исходным кодом Ruby. Инструмент получает библиотеку звуков и учится различными способами воспроизводить и изменять звук, а работа диджея сводится к тому, чтобы задавать код с нужной командой.

Может показаться парадоксальным, но музыка на алгорейвах в каком-то смысле более «живая», чем на обычных электронных вечеринках. Код, который диджей пишет в реальном времени, как правило, показывают на экране.

Одна из заметных фигур на алгосцене Нью-Йорка — Роксана Харрис. У неё есть образование как джазовой саксофонистки, так и программистки. Её джазовое образование пригодилось на алгорейвах.

Ещё один музыкант, для которого технологии являются частью творчества, — один из создателей жанра эмбиент Брайан Ино. В 2017 году он записал Reflection — 54-минутный генеративный альбом, в котором последовательность элементов приведена в действие несколькими заданными на компьютере переменными.

Как говорил сам Ино, он всегда хотел создать бесконечную музыку, которая будет существовать столько, сколько захочешь:

В итоге Ино выпустил приложение, в котором пользователь может услышать бесконечную и постоянно меняющуюся версию Reflection.