Что такое дипфейк и как сделать его с помощью нейросетей

Вы наверняка видели видео, где Том Круз играет на гитаре и показывает карточные фокусы, или запись, где Барак Обама называет своего преемника «полным придурком». Удивительно реалистичные, но абсолютно фальшивые. Это дипфейки — цифровые подделки, которые становятся настолько убедительными, что отличить их от реальности порой не могут даже люди с опытом.

Ещё несколько лет назад создание таких видео требовало профессиональных навыков, дорогостоящего оборудования и недель кропотливой работы. Сегодня благодаря развитию нейросетей практически любой человек со смартфоном может поместить своё лицо в голливудский блокбастер или «оживить» фотографию давно ушедшего родственника за считаные минуты.

В этой статье мы разберёмся, что такое дипфейки, как они работают и где используются. Познакомимся с доступными инструментами для генерации собственных дипфейков и дадим пошаговую инструкцию по созданию своего первого дипфейка — от выбора материала до финальной обработки.

Содержание

• Что такое дипфейки и как они работают
• Где используют дипфейки
• Законно ли создавать дипфейки
• Как выявить дипфейк
• Топ инструментов для создания дипфейков
• Создаём дипфейк своими руками: пошаговая инструкция

Что такое дипфейки и как они работают

Дипфейк (от англ. deepfake) — это синтетический медиафайл (видео, аудио или изображение), сгенерированный с помощью нейросетей. Такая технология позволяет подменить лицо или голос одного человека лицом или голосом другого. Проще говоря, дипфейк — способ показать человека в ситуации, в которой он на самом деле никогда не находился.

Дипфейки получили известность благодаря вирусным видео. Например, серия роликов с «Томом Крузом» в TikTok, где актёр показывает различные фокусы, заставила многих пользователей поверить, что это действительно голливудская звезда. Или нашумевшее видео с «Бараком Обамой», где бывший президент США якобы нелестно отзывается о своём преемнике. Эти ролики выглядят поразительно реалистично, но всё это — результат работы нейросетей.

С технической точки зрения большинство дипфейков создаются при помощи двух основных технологий машинного обучения:

• С помощью генеративно-состязательных сетей (GAN). Работают по принципу соревнования между двумя нейросетями. Одна из них (генератор) создаёт изображения, а вторая (дискриминатор) пытается определить, настоящее это изображение или поддельное. В процессе такого «соревнования» генератор постепенно учится создавать всё более реалистичные изображения, которые сложнее отличить от настоящих.
• С помощью автоэнкодеров. Тип нейросетей, которые сначала «сжимают» изображение до набора ключевых характеристик (кодируют его), а затем восстанавливают из этих характеристик (декодируют). При создании дипфейков используется два автоэнкодера: один обучается на изображениях исходного лица, другой — на изображениях целевого лица. Затем кодированные характеристики одного лица комбинируются с декодером другого, что позволяет «наложить» одно лицо на другое.

Читайте также:

Как ИИ рисует котиков. Говорим о генеративно-состязательных нейросетях (GAN)

Для создания качественного дипфейка нейросети необходимо обработать большое количество изображений как «донора» (человека, чьё лицо будет использоваться), так и «реципиента» (человека, чьё лицо будет заменено). Чем больше разнообразных изображений с разных ракурсов, при разном освещении и с различными выражениями лица, тем естественнее будет выглядеть конечный результат.

Современные алгоритмы позволяют не только заменять лица, но и синтезировать мимику, движения губ, синхронизируя их с речью, а также имитировать голос человека. Чем больше развиваются технологии искусственного интеллекта, тем сложнее становится отличить дипфейк от настоящего видео или аудиозаписи.

Где используют дипфейки

Технологию дипфейков используют во многих сферах жизни. Рассмотрим основные области применения дипфейков:

• Развлекательная индустрия. Киностудии и агентства активно внедряют дипфейк-технологии в свои проекты. Например, в фильме «Изгой-один: Звёздные войны. Истории» с помощью цифровых технологий создали образы молодой принцессы Леи и гранд-моффа Таркина.

• Реклама. Рекламные компании используют дипфейки для вирусных роликов с участием знаменитостей.
• Образование. Исторические музеи создают интерактивные экспозиции, где посетители могут «пообщаться» с историческими личностями.

• Медицина и наука. Дипфейки помогают обучать врачей, создавая симуляции различных состояний пациентов и демонстрации редких случаев заболеваний. Благодаря технологиям научная визуализация сложных процессов становится более наглядной. Также дипфейки используют при создании виртуальных ассистентов для пациентов с когнитивными нарушениями.

Законно ли создавать дипфейки

Законодательство в сфере дипфейков пока не поспевает за развитием технологий. В России нет отдельного закона, напрямую регулирующего создание и распространение синтетических изображений или голосов. Тем не менее действующее право уже даёт инструменты для защиты личности.

Например, статья 152.1 Гражданского кодекса РФ защищает право граждан на собственное изображение. Публиковать и использовать его можно только с согласия человека, за исключением случаев, когда речь идёт о государственных или общественных интересах.

Показательным примером нарушения права на голос стал случай с российской актрисой дубляжа Алёной Андроновой. В 2023 году актриса обнаружила, что её голос используют в рекламных роликах с непристойным содержанием.

Эксперты подтвердили, что голос был синтезирован с помощью нейросети на основе записей работ Андроновой. Актриса подала иск о защите своих прав, и этот случай стал одним из первых прецедентов в России, связанных с незаконным использованием синтезированного голоса.

Существует ряд случаев, когда создание дипфейков однозначно будет противозаконным:

• Мошенничество. Имитация видеозвонка от родственника или знакомого с просьбой перевести деньги. Такой способ обмана уже используется в реальных схемах киберпреступников.
• Дезинформация. Поддельные новости или заявления от имени политиков, бизнесменов или общественных деятелей. Цель — манипуляция общественным мнением и влияние на события.
• Порнографический контент без согласия. Один из самых распространённых и травматичных способов применения дипфейков. Лицо человека накладывают на откровенные сцены без его ведома. Последствия могут быть серьёзными — от репутационных ударов до психологической травмы.
• Клевета и диффамация. Создание фейков, подрывающих честь и достоинство человека или наносящих ущерб его репутации.
• Нарушение конфиденциальности. Подделка голоса или лица для обхода биометрической аутентификации и получения доступа к защищённой информации.

Как выявить дипфейк

Несмотря на постоянное совершенствование алгоритмов, большинство дипфейков всё ещё заметно несовершенны. Чаще всего подделку выдают неестественные моргания и движения глаз. Человек в среднем моргает 15–20 раз в минуту, а в дипфейках персонажи могут моргать значительно реже или, наоборот, слишком часто.

Проблемы с границами лица — тоже распространённый признак дипфейка. При внимательном рассмотрении можно заметить размытие, мерцание или искажения по краям лица, особенно когда человек поворачивает голову или говорит. Эти артефакты возникают из-за несовершенства алгоритмов наложения одного лица на другое.

Для более точного выявления дипфейков инженеры разработали специальные программы и сервисы. Например, Microsoft Video Authenticator анализирует видео и оценивает вероятность манипуляций, определяя едва заметные признаки подделки. Онлайн-сервис Deepware Scanner оценивает ролики и выдаёт вероятностную оценку его подлинности.

Помимо технических средств, важно развивать навыки критического восприятия медиаконтента. Проверяйте надёжность источника информации — если видео появилось на малоизвестном ресурсе или в анонимном канале, стоит отнестись к нему с большей осторожностью.

Топ инструментов для создания дипфейков

Современный рынок предлагает множество инструментов для создания дипфейков — от профессиональных программ, требующих серьёзных технических знаний, до мобильных приложений, доступных любому пользователю смартфона. Рассмотрим самые популярные и эффективные решения, которые позволяют создавать синтетический медиаконтент различных уровней сложности.

DeepFaceLab: мощный инструмент для профессионалов

DeepFaceLab — золотой стандарт в мире создания дипфейков. Около 95% всех дипфейков в интернете создано с помощью этой программы.

Главные преимущества DeepFaceLab — высокое качество роликов на выходе и гибкие настройки. В программе есть множество моделей для обучения и различные алгоритмы, с помощью которых можно адаптировать процесс создания дипфейков под конкретные нужды и характеристики исходного материала.

Несмотря на все преимущества, у DeepFaceLab есть и минусы. Программа сложна для новичков, а ещё для работы с ней нужен мощный компьютер — чем мощнее, тем лучше. Например, в списке минимальных системных требований указано наличие видеокарты с 8 ГБ памяти, но с таким объёмом короткие видео будут генерироваться по несколько дней.

Важно отметить, что с ноября 2024 года проект перевели в публичный архив. Это значит, что авторы его больше не обновляют. В программе могут встречаться проблемы с зависимостями, для решения которых надо разбираться в исходном коде DeepFaceLab.

Reface: дипфейки прямо в смартфоне

Reface — это мобильное приложение для быстрого и простого создания дипфейков прямо на смартфоне.

Принцип работы Reface прост: вы делаете селфи или загружаете фотографию из галереи, а затем выбираете из библиотеки приложения видео или GIF, на которые хотите наложить своё лицо. Через несколько секунд приложение создаёт готовый дипфейк, которым можно сразу же поделиться в социальных сетях.

Reface работает быстро и не требует мощного железа для запуска, но видео на выходе получаются не очень качественными. Также в приложении мало возможностей кастомизации.

FaceSwap: простая альтернатива для новичков

FaceSwap — более дружелюбная к новичкам альтернатива DeepFaceLab. У программы несложный интерфейс, а алгоритмы генерации дипфейков автоматизированы. На выходе получаются видео в высоком качестве.

Как и DeepFaceLab, FaceSwap требует довольно мощного компьютера с хорошей видеокартой, но в целом менее требователен к ресурсам. Программа также распространяется бесплатно через GitHub, а поддерживает её активное сообщество разработчиков и пользователей.

FaceSwap особенно хорошо подходит для проектов среднего уровня сложности, когда требуется качество выше, чем могут предложить мобильные приложения, но нет необходимости в сверхреалистичных результатах профессионального уровня.

Runway Act-Two: создаём дипфейки в окне браузера

Runway Act-Two — нейросеть для «оживления» персонажей. На вход ей сначала надо передать видео человека, который двигается и разговаривает в кадре, а после — картинку с нужным персонажем. Модель машинного обучения перенесёт движения человека на статичного персонажа с картинки.

Нейросеть доступна в браузере, и пользователю для работы с ней не нужно мощное железо. Единственный минус: можно генерировать ролики продолжительностью максимум 30 секунд.

Deep Nostalgia: оживляем семейные фотографии

Deep Nostalgia — сервис, который использует технологию дипфейков для «оживления» старых фотографий. В отличие от большинства других инструментов, ориентированных на развлечения или создание фейкового контента, Deep Nostalgia позиционируют как способ установить эмоциональную связь с прошлым.

Сервис анализирует загруженную фотографию, определяет лицо человека и применяет предварительно созданные последовательности движений, чтобы создать короткое видео, где человек моргает, поворачивает голову и слегка меняет выражение лица.

Создаём дипфейк своими руками: пошаговая инструкция

Чтобы запустить профессиональное ПО для создания дипфейков, нужно мощное оборудование и опыт в работе с алгоритмами машинного обучения. Чтобы упростить задачу, мы будем использовать нейросеть Act-Two от Runway. Она работает в браузере и быстро генерирует видео в высоком качестве.

Как получить доступ

Доступ к Act-Two платный, но он обойдётся дешевле, чем покупка мощной видеокарты для локального запуска нейросетей. На сайте Runway доступны следующие тарифы:

Минимальный тариф для создания дипфейков — Standard за 15 долларов в месяц. Тарифы выше позволяют генерировать больше роликов и хранить на серверах Runway больше ассетов.

Компания не принимает российские банковские карты, поэтому для оплаты надо пользоваться услугами друзей-иностранцев или зарубежными счетами.

Интерфейс Runway

После оплаты откроется главный экран веб-приложения Runway. Мы планируем создавать дипфейк, поэтому надо перейти в режим Video. Переключатель находится в верхней части экрана.

В нижней части окна для генерации видео выбираем пункт Act-Two. Это режим для анимирования персонажей, который нам нужен.

Редактор Act-Two состоит из следующих элементов:

• Performance — окно, в которое надо загрузить исходное видео с нужными движениями и речью. Человек в кадре должен быть анфас и хорошо виден. Тёмные или пересвеченные ролики не подойдут. С помощью кнопки Record видео можно записать сразу в браузере.
• Character — окно персонажа. В него надо загрузить картинку, которую будем «оживлять». Персонаж в кадре также должен быть анфас.
• Voices — меню выбора голоса.

Как генерировать дипфейки в Runaway

Ниже пошаговое руководство по анимации персонажей в Runaway. Чтобы не нарушать авторские права, мы будем анимировать вымышленного персонажа, которого сгенерировали в ChatGPT. Вот как он выглядит:

Для анимации:

• Шаг 1. Загрузите видео в окно Performance. На этом видео должны быть видео. Просто разговаривайте и жестикулируйте так, как хотите, чтобы это делал будущий дипфейк. Помните, что максимальная продолжительность видео — 30 секунд.
• Шаг 2. Перейдите в меню Voice и выберите желаемый голос персонажа. В Runway большая библиотека голосов, для каждого из которых указаны пол, возраст и настроение. Мы выбрали Brodie — это голос молодого и энергичного парня.

• Шаг 3. Нажмите кнопку Generate Voice и дождитесь завершения процесса. Обычно он занимает около минуты. Когда генерация закончится, в правой части экрана появится ваше видео с изменённым голосом, сохраните его.
• Шаг 4. В окно Performance загрузить видео с изменённым видео. Ниже выберите пункт Character и загрузите изображение персонажа. Нажмите кнопку Generate Character.

• Шаг 5. Когда процесс генерации завершится, в правой части экрана появится ваш дипфейк. Его можно сохранить в память компьютера.

Вот что в итоге получилось у нас:

Что в итоге

• Дипфейк — сгенерированное видео или аудио, в котором реальный человек делает и говорит то, чего не делал и не произносил в реальной жизни.
• Дипфейки создают с помощью специальных нейросетей, которые накладывают желаемые движения на кадры существующих людей.
• Технологию используют в кинопроизводстве, рекламе и образовании.
• Мошенники тоже применяют дипфейки. Например, генерируют видео с участием родственников жертвы, чтобы заставить перевести деньги или выдать свои данные.
• В России нет законов, которые прямо регулируют создание и использование дипфейков. При этом Гражданский кодекс РФ запрещает публиковать фотографии и видео человека без его согласия.