Тест Тьюринга: отличите ли вы ИИ от человека

В 1950 году знаменитый британский математик Алан Тьюринг опубликовал статью «Вычислительные машины и разум», в которой задался вопросом: могут ли компьютеры имитировать человеческий мозг?

Не правда ли, это чем-то похоже на сегодняшние новости в духе «Скоро ChatGPT заменит программистов-джунов» или «Через пару лет все статьи будут писать роботы»?

Чтобы ответить на этот вопрос, Тьюринг предложил тест, цель которого — определить, могут ли компьютеры мыслить. Споры о нём не утихают до сих пор. Добавим и мы свои пять копеек в эту дискуссию.

Философские корни теста Тьюринга

Вопрос о том, могут ли машины мыслить, возник довольно давно. Например, знаменитый французский философ и математик Рене Декарт считал, что механизм может взаимодействовать с человеком, но не способен реагировать на всё, что говорится в его присутствии.

Таким образом, Декарт фактически предвосхитил тест Тьюринга, заявив, что одной языковой реакции недостаточно, чтобы отличить живого человека от созданной им имитации разума. Другой философ, Дени Дидро в 1746 году также сформулировал критерий теста Тьюринга; правда, он говорил о живых существах.

В 1936 году Альфред Айер ещё ближе подобрался к тесту Тьюринга, задавшись вопросом: откуда мы знаем, что другие люди имеют тот же сознательный опыт, что и мы? Для ответа на этот вопрос, он предложил тест.

Тесты, которые определяли, является ли компьютер разумным, появились также в научной фантастике 1940-х годов, и вполне возможно, что Тьюринг знал о них.

Суть теста Тьюринга: игра в имитацию

Алан Тьюринг интересовался проблемой искусственного интеллекта с начала 1940-х. Свои соображения он изложил в отдельной статье, которая начиналась буквально с места в карьер: «Могут ли машины мыслить?»

Поскольку каждый понимает семантику слов «машина» и «мыслить» по-своему, с самого начала могла возникнуть путаница. Чтобы её избежать, автор решил описать суть проблемы в терминах популярного в те годы развлечения — «игры в имитацию».

Она заключалась в том, что в разных комнатах сидели мужчина и женщина, а гости писали им вопросы и получали ответы, напечатанные на машинке. По этим ответам гости пытались определить, где мужчина, а где женщина. Те, в свою очередь, старались запутать гостей. Тьюринг предложил заменить одного из игроков на какой-нибудь из существовавших тогда прототипов ЭВМ.

Такова первая версия теста. По сути, Тьюринг спрашивает, способен ли искусственный интеллект демонстрировать поведение, неотличимое от человеческого.

Вторая версия теста предполагает участие двух людей и ЭВМ. Каждый находится в отдельном помещении и не может видеть других. Один человек общается с машиной с помощью письменных сообщений, а другой пытается понять, who is who. Если ему не удастся определить, кто из двух собеседников машина, считается, что она прошла тест.

Позже в эфире радио «Би-би-си» Тьюринг озвучил третью версию теста, где жюри задаёт вопросы компьютеру, а тот старается убедить их в том, что он человек. Тест считался бы пройденным, если бы ЭВМ удалось обмануть человека в 30% случаев. Тьюринг был первым, кто обратил внимание на важность поведения при оценке интеллекта.

Плюсы и минусы теста Тьюринга

Самый большой плюс теста — в его простоте и универсальности. Тьюринг предложил единственный более-менее измеряемый критерий оценки машины — способность имитировать человеческое поведение. При этом тест не определяет уровень её интеллекта, «сознательность» и прочие довольно оценочные параметры.

Тест строится на разговоре, пусть и в виде переписки. Значит, машина должна разбираться в разных темах, уметь рассуждать, что предполагает высокий уровень развития. Кроме того, с помощью видео можно показывать машине предметы и тестировать её навыки в сфере компьютерного зрения.

Недостатки теста являются во многом продолжением его достоинств. В частности, он не учитывает, что люди нередко ведут себя более чем неразумно. Соответственно, если машина покажет себя намного умнее человека, блеснёт более глубокими познаниями, аналитическими способностями или скоростью вычислений, она может провалить тест.

Известные специалисты по искусственному интеллекту Стюарт Рассел и Питер Норвиг считают, что гораздо важнее исследовать основополагающие принципы интеллекта, чем имитировать его естественных носителей.

Кто прошёл тест Тьюринга: на какие вопросы отвечали и как с ними справились

В современном мире компьютеры делают многое из того, на что раньше были способны только люди. Они обыгрывают чемпионов в шашки и шахматы, проверяют грамматику и орфографию, водят автомобили, пилотируют самолёты и делают много что ещё. Но при этом ни одна программа или машина до сих пор не смогла преодолеть барьер в 30% и ввести в заблуждение специально обученных судей — по крайней мере, ни один из результатов пока ещё не признан всеми бесспорно.

Хотя претенденты, конечно же, были. Одной из первых программ, которая якобы прошла тест Тьюринга, стала Eliza, написанная американским учёным Джозефом Вейценбаумом в 1966 году. Она имитировала диалог с психотерапевтом, в основном перефразируя реплики человека:

— У меня болит голова.

— Почему вы говорите, что у вас болит голова?

А если Eliza не могла придумать ответ, то говорила: «Понятно». Тем не менее некоторые люди и правда поверили, что общаются с человеком. На этом основании программу назвали первой, прошедшей тест Тьюринга. Но это крайне спорное утверждение, потому что людям заранее говорили, что они будут разговаривать с психотерапевтом.

В 1972 году психиатр Кеннет Колби из Стэнфордского университета написал программу Parry. Это была попытка имитировать человека с параноидальной шизофренией. Сначала опытные психиатры общались с реальными пациентами и Parry по телетайпу. Затем другой группе из 33 психиатров показали распечатки бесед. После этого их попросили определить, кто из «пациентов» был человеком, а кто — компьютерной программой. Психиатры дали верный ответ только в 48% случаев, что соответствует случайному угадыванию.

В 1988 году британский исследователь ИИ Ролло Карпентер написал веб-приложение Cleverbot. В 2011 году оно приняло участие в тесте Тьюринга, и в 59,3% случаев его признали человеком.

В 2014 году мировые СМИ облетела новость — чат-бот впервые прошёл тест Тьюринга. Им оказался «Женя Густман» (Eugene Goostman) — чат-бот, созданный тремя программистами в Санкт-Петербурге. Для того чтобы придать боту убедительности, они сделали его 13-летним мальчиком из Одессы. Образ подростка, плохо говорящего по-английски, позволял объяснить незнание каких-то тем, непонимание вопросов и странные ответы.

Далеко не все с этим согласились.

Кстати, в 1991 году была учреждена премия Лёбнера (Loebner Prize): первой программе, прошедшей стандартный тест Тьюринга, обещали вручить серебряную медаль и 25 000 долларов. Несмотря на то, что каждый год выбирались победители, ни одна программа не прошла тест. Профессор MIT Марвин Мински называл премию Лёбнера «глупой» и предложил деньги тому, кто сможет убедить Лёбнера отказаться от премии и заняться своими делами. С 2020 года конкурс не проводится.

Тест и ИИ

Специалисты в области ИИ вообще не считают прохождение теста Тьюринга каким-то важным показателем.

Но в то же время тест способствовал развитию этой сферы, потому что многие создавали свои программы в надежде пройти его.

Появились различные вариации теста. Наиболее известная — обратный тест Тьюринга. Здесь участники теста пытаются имитировать компьютерную программу, намеренно игнорируя смысл разговора и допуская ошибки, которые могла бы допустить машина.

Самой известной вариацией обратного теста Тьюринга, с которой сталкивался почти каждый пользователь интернета, можно считать CAPTCHA (completely automated public Turing test to tell computers and humans apart). В наиболее распространённой версии CAPTCHA программа требует ввести буквы и цифры с картинки, чтобы доказать, что ты человек.

Что дальше?

Исследователи Джошуа Фокс и Цви Шрайбер считают, что в будущем более актуальными будут другие тесты:

• Обратный тест Тьюринга: человек-испытуемый пытается соответствовать ChatGPT.
• Тест на киборгов: ChatGPT будет соревноваться с командой людей, которым разрешено пользоваться определёнными вычислительными сервисами, например Google.

Ещё в 2002 году знаменитый информатик, изобретатель и футурист Рэй Курцвейл заявил, что компьютер пройдёт тест Тьюринга к 2029 году. А Митчелл Капор, предприниматель, сооснователь Фонда электронных рубежей и Mozilla Foundation с ним не согласился. И они заключили пари на 20 тысяч долларов. Капор считает, что машина никогда не научится «сплетать вещи по-новому», не будет обладать истинным воображением, как у людей, и вообще, человек сильно сложнее, чем кажется. Курцвейл верит в компьютеры.