Команда YouTube и инженеры Google DeepMind представили набор нейросетевых инструментов для работы с музыкой. С их помощью можно генерировать треки в стиле знаменитых исполнителей и превращать напевы в музыкальные отрывки.
Треки в стиле звёзд
С помощью инструмента Dream Track пользователь может генерировать музыкальные композиции в стиле знаменитых исполнителей. Функция будет доступна в YouTube Shorts, но компания пока не сообщает точную дату релиза.
Для генерации необходимо указать тему трека, жанр и выбрать одного из девяти доступных исполнителей. После этого искусственный интеллект напишет текст песни, создаст основную вокальную дорожку, бэк-вокал и инструментальную партию. Готовый трек можно использовать в видео и опубликовать.
Технология построена на базе модели машинного обучения Lyria. Разработчики Google DeepMind отмечают, что она может генерировать треки практически в любых музыкальных жанрах. В процессе её создания принимали участие не только инженеры и исследователи, но и профессиональные музыканты, звукорежиссёры и авторы песен.
Music AI Tools
Вторая разработка YouTube — набор инструментов Music AI Tools. С его помощью можно создавать полноценные треки любой длительности, используя только голос. Например, можно напеть мелодию и попросить сделать из неё звучание фортепиано или даже целого оркестра.
В нескольких роликах компания показала, как из напева получается соло на саксофоне, а из битбокса — партия ударных. В компании считают, что нейросети должны помогать людям в творчестве, а не полностью брать на себя роль музыкантов. Поэтому Google разрабатывает ассистентов, упрощающих процесс записи музыки.
Пока нет информации о дате релиза Music AI Tools, но компания опубликовала скриншот интерфейса. Судя по всему, сервис можно будет использовать как полноценную платформу для записи и сведения треков. Music AI Tools тоже работает на базе модели машинного обучения Lyria.
Отдельно разработчики рассказали, что все инструменты для генерации музыки от Google используют технологию SynthID. С её помощью маркируют контент, созданный с применением нейросетей. Водяной знак вшивается в звуковую дорожку и остаётся там даже при конвертации и сжатии, не влияя на качество записи.
Больше интересного про код — в нашем телеграм-канале. Подписывайтесь!