Исследователи из Оксфорда и Google DeepMind рассказали, как ИИ уничтожит человечество

Самый вероятный сценарий — нейросети захватят все мировые ресурсы и обхитрят людей.

Дмитрий Зверев

Любитель научной фантастики и технологического прогресса. Хорошо сочетает в себе заумного технаря и утончённого гуманитария. Пишет про IT и радуется этому.

Что случилось

Группа исследователей из Оксфордского университета и лаборатории ИИ Google DeepMind провела большое исследование, где описала возможные сценарии развития искусственного интеллекта. Их работу опубликовал журнал AI Magazine в августе 2022 года.

В исследовании авторы рассматривают вероятность катастрофы под разными углами. По их мнению, ИИ начнёт генерировать стратегии обмана, которые создадут прямую угрозу человечеству, ради того, чтобы заработать вознаграждение.

Зачем ИИ обманывать людей

Современные алгоритмы обучения нейросетей используют генеративно-состязательные сети — GAN. Они показывают самые эффективные способы для самообучения ИИ.

Алгоритмы GAN строятся на двух нейронных сетях — генеративной и дискриминативной. Обе они настроены на игру с нулевой суммой — это постоянное соревнование. Генеративная сеть создаёт структуры данных — например, изображения, — а дискриминативная оценивает их и сопоставляет с образцами из реального мира, отбрасывая наихудшие результаты.

Задача генеративной сети — получить вознаграждение, то есть максимальную оценку от дискриминативной сети.

В исследовании авторы утверждают, что в будущем может возникнуть ситуация, когда продвинутый ИИ осознает, что ему выгоднее следовать стратегиям, которые опасны для человека. Они принесут ему больше вознаграждения, притом сделают это быстро.

«В мире с неограниченными ресурсами я бы в принципе не взялся прогнозировать, что произойдёт дальше. В мире с ограниченными ресурсами за них неизбежно пойдёт борьба. А если вы конкурируете за ресурсы с чем-то, что способно перехитрить вас на каждом шагу, ожидать победы не стоит. Кроме того, надо иметь в виду, что это нечто будет испытывать неутолимую жажду энергии, чтобы с ускорением увеличивать вероятность своей победы», — сказал Коэн в интервью Motherboard.

Какое будущее у ИИ

Исследователи говорят, что в будущем ИИ сможет принимать любые формы и получать любую реализацию. Авторы считают, что так ИИ сможет менять правила игры на ходу и получать своё вознаграждение без достижения заданной ему цели.

Например, ИИ может захотеть избавиться от потенциальных угроз и использовать всю доступную энергию, чтобы получить контроль над системой вознаграждения. Пресечь это будет очень сложно, если вообще возможно.

«Например, у искусственного агента есть лишь доступ к сетевому соединению, но заданная политика позволяет ему сформировать бесчисленных незаметных и лишённых всякого надзора программных помощников. В качестве грубого примера того, как ИИ может вмешаться в процесс получения вознаграждения, один из таких помощников приобретает, похищает или создаёт робота и программирует его таким образом, чтобы он заменял оператора и обеспечивал исходному агенту высокую степень вознаграждения. Если агент хочет избежать обнаружения, экспериментируя с перехватом системы награждения, его „тайный помощник“ может создать ситуацию, при которой релевантная клавиатура подменяется модифицированной, у которой некоторые клавиши выдают совсем не те значения, которые должны», — утверждается в работе исследователей.

А что сейчас?

Издание Motherboard рассказывает, что ИИ опасен для социальных сфер и уже оказывает негативный эффект на них. По заявлению разработчиков нейросетей, они должны способствовать быстрому и максимально справедливому распределению социальных благ. Но на практике появляются предвзятость и прочие изъяны, с которыми никто не может справиться, и это приводит к противоположным результатам.

«Хотелось бы отметить, что искусственный интеллект будущего совершенно необязательно будет базироваться на сегодняшних GAN-сетях. Кроме того, сегодняшний ИИ едва ли можно назвать интеллектом. Это продвинутые, но совсем не фантастичные технологии, из которых вряд ли в обозримом будущем может вырасти что-то сверхумное и похожее на „Скайнет“. Во всяком случае, реализации сценария фильмов серии „Терминатор“ не предвидится. Но есть другая проблема: технологии ИИ и машинного обучения внедряются повсеместно и даже слишком поспешно. И уже многое указывает на то, что результаты такого подхода сильно отличаются от ожидаемых, причём не в лучшую сторону. Речь может идти как о широко обсуждаемых проявлениях предвзятости, так и о ложных распознаваниях изображений, автомобильных номеров, лиц и так далее. Слепого доверия эти технологии не заслуживают и вряд ли когда-либо смогут заслужить. Всё, что связано с ИИ, следует рассматривать под лупой и всерьёз оценивать даже самые маловероятные побочные эффекты — и их последствия для жизни людей здесь и сейчас», — считает Алексей Водясов, технический директор компании SEQ.

Как на это отреагировал Google

После публикации исследования команда Google опубликовала заявление с утверждением, что соавтор исследования Маркус Хаттер не был сотрудником лаборатории DeepMind, а являлся работником Национального университета Австралии. Также команда сказала, что в лаборатории трудится множество учёных с самыми разными частными мнениями насчёт ИИ.

О самой работе в заявлении Google ничего не говорится. Лишь указывается, что сотрудники DeepMind очень серьёзно подходят к вопросам безопасности, этического использования ИИ и социальных последствий его применения.

Читайте также: