Топ-8 нейросетей для создания музыки

Футуристы пророчили, что в будущем всю рутину возьмут на себя роботы, а людям останется лишь писать картины, сочинять музыку и исследовать мир. Однако мы видим, что нейросети с каждым годом всё активнее осваивают творческие профессии и уже даже польстились на хлеб музыкантов.

В этой статье рассказываем, как приручить нейросети для генерации музыки и научиться сочинять хитовые мелодии за несколько минут.

Содержание

• Как нейросети генерируют музыку
• Нейросети для создания музыки
• Как написать песню с помощью нейросети
• Можно ли использовать сгенерированную музыку

Как нейросети генерируют музыку

Нейросети для генерации музыки работают так же, как и любые другие модели машинного обучения. Для получения разнообразных результатов важно, чтобы нейросеть «послушала» как можно больше треков. Например, если «скормить» модели все альбомы The Beatles, то и сгенерированные треки будут похожи на стиль британской рок-группы.

Читайте также:

Четырём гениям вместе не ужиться: почему распалась The Beatles

При этом у музыкальных нейросетей есть и существенные различия в способах генерации. В частности, есть два способа создания треков.

Генерация нот

Для создания песни проще всего сгенерировать ноты, а после сыграть их на виртуальных музыкальных инструментах. Этот способ требует меньше вычислительных ресурсов и быстрее создаёт музыку. Но есть и минусы, например нельзя сгенерировать голос или изобрести новое звучание.

Генерация звуков

При генерации звуков нейросеть создаёт сразу аудиосигнал, минуя нотную запись. В таком случае у модели машинного обучения нет ограничений на звучание: можно создавать вокал, звуки окружения и эффектов. При этом нейросети требуется больше вычислительных ресурсов и запуск на домашнем компьютере уже практически невозможен.

Нейросети для создания музыки

Suno AI

Одна из самых популярных нейросетей для создания музыки, которая завирусилась в социальных сетях. С её помощью можно переложить на музыку собственные стихи, переделать популярную композицию или создать инструментал. Кроме того, в Suno AI есть специальный режим для генерации музыки из аудио. Например, можно настучать бит и сделать из него полноценное ударное соло или напеть мелодию и исполнить её с помощью нейросетевого симфонического оркестра.

На сайте Suno AI есть чарт сгенерированных треков и подборка необычных жанров, которые нельзя встретить на обычной стриминговой площадке — например, математический рок и электрошансон.

Читайте также:

Suno AI: как пользоваться нейросетью для создания музыки

Image to Music

Необычная нейросеть, которая поможет сгенерировать трек по картинке. Для этого надо загрузить на сайт изображение и по желанию задать короткое описание с требованиями к композиции. После этого система проанализирует картинку, опишет её и на основе этих данных создаст инструментал.

Нейросеть полностью бесплатна и пока доступна в тестовом режиме на платформе Hugging Face. Ещё один плюс в том, что код модели Image to Music полностью открыт. Поэтому нейросеть можно развернуть на собственном сервере или дообучить.

Soundraw

Разработчики позиционируют Soundraw как ИИ-сервис для профессионалов. Рэпер Trippie Redd даже использовал его для создания своих треков. В Soundraw нет пробного периода, а минимальный тариф обойдётся в 17 долларов, что довольно дорого.

В сервисе есть инструменты для редактирования сгенерированного трека, с помощью которых можно убирать лишние музыкальные инструменты, добавлять новые и разделять композицию на логические части. Поверх мелодии можно записать вокал.

Есть более дорогой тариф, который позволяет публиковать сгенерированную музыку на стриминговых площадках. Важно отметить, что права на созданные треки не теряются, если подписку отменить. Для разработчиков есть API.

Loudly

ИИ-генератор, специализирующийся на электронной музыке. С его помощью можно создавать хаус, Lo-Fi, драм-н-бейс, биты и техно. Всего пользователям доступен выбор из 14 жанров. Кроме того, в параметрах генерации можно указать длительность трека (до семи минут), выбрать музыкальные инструменты, задать тональность, темп и структуру. Если нет желания указывать все параметры вручную, то можно описать композицию коротким текстовым запросом.

AIVA

Один из старейших сервисов, который появился до бума нейросетей. С его помощью пользователи могут генерировать треки с нуля, редактировать готовые или создавать несколько вариантов одной и той же композиции.

AIVA отлично справляется с инструменталом, но не умеет генерировать вокал. Это важно учитывать при выборе сервиса. Также на сайте есть продвинутый редактор композиций с поддержкой MIDI, что будет удобно для профессиональных музыкантов.

Soundful

Soundful — генератор фоновой музыки для блогеров, контент-мейкеров и рекламщиков. Для создания трека надо выбрать желаемый жанр из списка и указать скорость композиции. Всего доступно около 150 шаблонных жанров, поэтому сервис не подойдёт для экспериментов с новыми направлениями в музыке.

Beatoven

Beatoven специализируется на создании фоновой музыки. Поэтому сервис будет полезен тем, кто озвучивает электронные книги, ведёт подкасты, снимает видеоролики или, например, хочет освежить плейлист в своём кафе или барбершопе.

Если на стоках не нашлось подходящей мелодии, то её можно быстро создать с помощью Beatoven. Для этого надо текстом описать эмоции, которые должен испытывать человек во время прослушивания и нажать на кнопку запуска генерации. Всё остальное сделает нейросеть.

В сервисе можно генерировать неограниченное количество композиций, однако, чтобы получить возможность сохранять треки, надо оформить подписку.

Stable Audio

Stable Audio — сервис от разработчиков Stable Diffusion. Stable Audio может генерировать треки по текстовому описанию и на основе уже готового аудио. Например, можно взять любую мелодию и добавить к ней несколько сгенерированных фрагментов.

Есть две версии Stable Audio: коммерческая и открытая. Первая может создавать композиции в любых жанрах длительностью до трёх минут, а во второй доступна генерация только коротких примеров. При этом открытую версию можно использовать бесплатно и захостить на собственном сервере.

Как написать песню с помощью нейросети

Все нейросети для генерации музыки работают одинаково, поэтому рассмотрим пример создания трека в Suno AI. Для остальных сервисов инструкция будет похожей:

• Перейдите на официальный сайт Suno и войдите в свой аккаунт. Если аккаунта нет, то зарегистрируйтесь — это бесплатно. Войти можно с помощью учётных записей Google, Discord, Apple и Microsoft. Также можно использовать свой номер телефона.

• Перейдите в раздел Create на главной странице.

• Активируйте ползунок Custom, чтобы открыть расширенный режим и выберите последнюю версию нейросети. На момент публикации статьи это версия 3.5.
• В поле Lyrics укажите слова песни. Их можно написать на русском или английском языке. Также можно сгенерировать слова автоматически, если нажать на кнопку Make Random Lyrics. В этом случае текст песни будет на английском языке.
• В строке Style of Music укажите жанр композиции. Можно использовать существующие жанры или выдумать новый.
• В поле Title укажите название песни и нажмите кнопку Create. После этого начнётся генерация, которая займёт пару минут.

• Сгенерированные треки появятся в вашей коллекции. Их можно скачать, если нажать на три точки рядом с названием песни.

Можно ли использовать сгенерированную музыку

Особенность нейросетей в том, что они не могут создавать принципиально новую музыку. Все сгенерированные композиции будут так или иначе похожи на треки из обучающего датасета. В этом и кроется опасность использования нейросетей в продакшене.

Например, если разработчики использовали для обучения треки популярного исполнителя без его разрешения, то суд может расценить это как нарушение авторских прав. Создатели такой нейросети понесут наказание в виде штрафа, а использование композиции, нарушающей авторские права, может привести к удалению трека или видео, в котором он воспроизводится.

Для решения этой проблемы разработчики внимательно следят за датасетами, на которых обучают нейросети. Например, создатели Stable Audio используют только стоковую музыку без авторских прав. Другие разработчики договариваются с исполнителями на использование их треков в наборе данных.

Ещё одним решением может быть создание данных для датасета с нуля. Для этого надо собрать композиторов, музыкантов и записать треки, на которых будет обучаться нейросеть. Такой способ дорого обходится, поэтому чаще всего разработчики просто используют музыку без авторских прав.

Анна Арзуманян

Юрист, автор статей по праву. Изучает правовые вопросы интеллектуальной собственности, информации и искусственного интеллекта.

Статьи Анны в Skillbox Media

Перед выбором ИИ-сервиса для генерации музыки важно проверить, что сгенерированные композиции можно использовать на сторонних площадках. На большинстве популярных площадок права на созданные треки можно получить, если оформить платную подписку.

По российскому авторскому праву автором музыкального произведения считается человек, творческим трудом которого произведение создано. Если пользователь нейросети только задаёт общие параметры будущей композиции, выбирая из предложенных программой опций, то его творческий вклад в создание композиции отсутствует.

Композиции, сгенерированные нейросетями без участия человека, на данный момент не охраняются авторским правом. Но, поскольку нейросети обучаются на чужих произведениях, использовать такие композиции можно только в личных целях.

В других случаях, а особенно в случае коммерческого использования, авторы произведений, на которых обучалась нейросеть, могут предъявить претензии. Авторы или их наследники могут запретить использование композиций и потребовать выплаты денежной компенсации. Эти правила не касаются произведений, перешедших в общественное достояние.

Иногда сами авторы позволяют широко использовать свои произведения, публикуя их под открытой лицензией (по типу Creative Commons). Чтобы избежать претензий, достаточно соблюдать условия открытой лицензии.

Если владелец нейросети выкупил авторские права на произведения, на которых обучается нейросеть, то нужно убедиться, что он не запрещает использовать сгенерированную музыку в различных, в том числе коммерческих целях.

Выводы

• Нейросети уже довольно хорошо справляются с генерацией музыкальных композиций, поэтому с их помощью можно создавать фоновую музыку для видео или даже самостоятельные треки.
• У каждой нейросети есть задача, которая даётся ей лучше всего. Например, Suno AI может создавать вокал, а Stable Audio отлично подходит для редактирования уже имеющихся треков.
• Генерация трека занимает всего несколько минут, а для полноценной записи пришлось бы собрать команду из музыкантов, композиторов и техников. Они бы трудились несколько недель.
• Важно следить, чтобы созданные треки можно было использовать без проблем с авторскими правами. Информацию о доступности композиций можно уточнить на сайте ИИ-сервиса.