При чём здесь Дарвин? Как искусственный интеллект создаёт сам себя

Умные боты POET

Собеседники Хевена действуют иначе — они доверяют обучение самой системе. Дают ей право развиваться методом проб и ошибок. Для этого в Uber создали POET — своеобразный тренировочный лагерь для ботов. Термин «бот» в данном случае используется условно, поскольку боты POET имеют мало общего с привычными нам ботами, например, в играх. Это скорее агенты. Система создаёт полосы препятствий, оценивает способности ботов-агентов и назначает им задачи без участия человека. Они выполняют их шаг за шагом и постепенно становятся умнее. Идеологически такой подход развивает идею обучения с подкреплением (англ. reinforcement learning). Это такой метод машинного обучения, при котором система взаимодействует не с «учителем», а со средой. Особенность проекта POET в том, что система теоретически способна бесконечно учиться ставить себе задачи, всё более и более сложные, и сама же обучаться их решать. Исследователи считают, что идея бесконечного развития POET роднит проект с естественной эволюцией. Ведь это единственный из известных процессов, в результате которого развился единственный из известных интеллектов (человеческий).  

Кажется, что боты-агенты POET отстают от своих собратьев. Боты, управляемые человеком, давно играют в логическую игру Go, изучают свёртываемость белка и находят признаки рака. А боты POET едва ли умеют ходить! Но ключевая идея здесь в том, что алгоритм сам учится ставить ботам-агентам задачи, а они, в свою очередь, учатся их решать без помощи людей.

Руй Ванг считает, что это поистине революционный способ создания нового, действительно умного искусственного интеллекта. Эти роботы должны стать ещё полезнее, чем те, что созданы под контролем человека.

Идею предоставить ИИ возможность самому себя бесконечно обучать, копируя естественную эволюцию, поддерживает Джефф Клун — сотрудник центра OpenAI. Он считает, что ИИ надо дать свободу: «Снять оковы и уйти с пути». Только в этом случае можно рассчитывать, что машины сравняются с человеком по интеллекту или смогут его превзойти.

Имитируем эволюцию

Идею сходства предложенного проектом POET подхода с эволюцией подтверждает опыт OpenAI. Три года назад компания разработала ботов, которые учились играть в прятки в виртуальной среде. Их разбивали по парам: одни искали, а другие прятались за подвижными препятствиями. Когда ботам разрешили учиться самостоятельно, они стали исследовать виртуальный мир так, как учёные совсем не ожидали. Использовали сбои в интерфейсе, чтобы перепрыгивать стены, и проходили сквозь них.

Подобные эксперименты говорят, что ИИ может прийти к решениям, о которых сами люди не додумаются. Компьютер способен изобрести новые типы алгоритмов и нейронных сетей. Или полностью отказаться от них — и придумать собственные способы обучения.

Клун напоминает, что интеллект возник из простых начал: «Ваш мозг создал простой алгоритм эволюции Дарвина. При этом именно ваш мозг — самый интеллектуальный алгоритм обучения, который известен во Вселенной». Почему бы не воспроизвести алгоритм его создания? Возможно это проще, чем создать сам интеллект!

Исследователи двигаются в эту сторону. Создают машины, которые учатся нескольким вещам сразу и справляются с неожиданными ситуациями. Многие считают, что это и есть лучший путь к созданию общего искусственного интеллекта. «Можно запустить алгоритм, который не обладает серьёзным интеллектом изначально. И наблюдать, как он умнеет на глазах — вплоть до AGI», — говорит Джефф Клун.

И даже если AGI никогда не изобретут, подход самообучения всё равно достоин внимания, считает Хевен. Его собеседник Джефф Клун говорит, что миру от ИИ нужно явно больше, чем создание ботов для игры в GO. Умная машина должна сама ставить задачи, решать их, а затем придумывать новые. Она может научиться ходить, играть в классики, а затем, может быть, и играть в логические игры. Но развитие на этом точно не закончится. «Система может обновляться постоянно, у неё просто нет границ», — говорит Джефф Клун.

Как создать мозг

Чтобы ответить на этот вопрос, автор обращается к понятию нейронных сетей. Они состоят из нескольких слоёв искусственных нейронов, которые закодированы в программном обеспечении. Каждый из этих слоёв может быть связан с другим. Здесь можно экспериментировать: новые комбинации часто приводят к открытиям.

Нейронные сети создаются людьми — методом проб и ошибок. Изначально люди не имеют чёткого представления о том, что работает, а что нет. Нет гарантии, что учёные найдут лучшее решение. Именно поэтому актуальна автоматизация. Самый распространённый её способ — позволить ИИ самому создавать для себя схемы, тестировать их и выбирать лучшие. Этот метод получил название NAS — поиск нейронной архитектуры.

Хевен знакомит нас с Эстебаном Реалом — инженером Google. Он использовал NAS, чтобы создать нейросеть, которая распознаёт изображения. В итоге она превзошла лучшие сети, созданные человеком. Эта система стала частью AutoML — процесса автоматизации применения машинного обучения. AutoML позволяет быстрее и проще создавать решения и модели. Они, в свою очередь, часто оказываются эффективнее моделей ML, созданных вручную. AutoML от Google cегодня открыта для всех: её используют компании по всему миру.

В Google пошли ещё дальше — создали систему Google AutoML Zero, которая разрабатывает искусственный интеллект с нуля. На старте ей задают только базовые математические концепции. Результат работы поразил. Так, к примеру, система самостоятельно пришла к использованию алгоритма градиентного спуска, который часто используется разработчиками при обучении нейронных сетей.  «Я был очень удивлён, — говорит Реал. — Это очень простой алгоритм, он занимает ровно шесть строк кода, но работает именно так, как нужно».

Как обучить искусственный интеллект

Искусственный мозг работает не так, как человеческий. Человеческий адаптируется к новым условиям и задачам. А машинный может сбиться, даже если условия меняются совсем чуть-чуть. Автор полагает, что современному ИИ не хватает гибкости.

Но как сделать ИИ гибким? Лучший способ — дать ему право решать проблемы самому. Так считает Джейн Ван, исследователь лондонского центра DeepMind. Задача учёных — не только натаскивать ИИ на конкретные задачи, но и научить решать эти задачи новыми, нестандартными способами, которые предложит сама система.

Как это можно сделать? Уилл Хевен выделяет два подхода к созданию автоматических алгоритмов обучения. Первый, не сговариваясь, придумали в двух центрах — DeepMind и OpenAI. Суть в использовании рекуррентных нейронных сетей. Их активация аналогична активации нейронов в голове — нейросети, подобно мозгу, начинают самостоятельно создавать алгоритмы. Они учатся самостоятельно. И некоторые из них уже работают лучше, чем те, что созданы человеком.

Второй подход придумала Челси Финн и её коллеги из Калифорнийского университета в Беркли. Его назвали метаобучением. В нём используются два Machine-Learning-процесса, один из которых вложен в другой. Как это работает: первый процесс обучается на готовых данных, затем внешняя модель изучает полученные им навыки — например, умение идентифицировать изображения — и определяет, как можно улучшить его производительность.

Автор проводит параллель: представьте школьного инспектора, который руководит учителями. Каждый предлагает ему разные методы обучения. Инспектор проверяет, какие методы больше помогают в обучении, утверждает их или вносит свои коррективы.

Пытаться добиться успеха — бесполезно

Вернёмся к системе POET, о которой сказали в начале статьи. По словам Руй Вана, в её основе лежит парадокс.

«Если вы хотите, чтобы она решила конкретную проблему, у вас ничего не выйдет. Если нет изначальных ожиданий — шансов на успех больше. Мы получаем удивительные результаты от совершенно случайных процессов. Повторить их специально просто не получится», — комментирует разработчик.

POET выбирает хаотичные, неочевидные пути к успеху. Но они работают. Агенты самостоятельно решают проблемы, после этого становятся сильнее, умнее и получают новые знания. И, главное, этот процесс бесконечен — он будет идти постоянно.

Клун и Ван считают, что это серьёзное открытие. Сейчас они пытаются выяснить, поможет ли оно в создании новых, действительно умных систем. И хотят понять, можно ли двигаться к ОИИ без определённой стратегии.

Есть ещё одна важная вещь — не стоит забывать о рисках. Автор задаётся вопросом, сможем ли мы контролировать рост ИИ. Некоторые собеседники не видят угроз — восстание машин остаётся в мире фэнтези.

Тем не менее Джейн Ван из DeepMind считает, что автономность риск всё же несёт: «Мы хотим дать ИИ свободу. Но надо помнить, что он может выйти из-под контроля. Это и страшно, и захватывающе одновременно».