Почему не стоит судить о возможностях ИИ по способности сдать «человеческий» экзамен

За последние полгода появилось немало новостей о том, как ChatGPT и схожие боты на основе больших языковых моделей с переменным успехом, но всё же справляются со сложными онлайн-экзаменами (например, по медицине или бизнес-менеджменту). Может показаться, что это победа искусственного интеллекта над человеком — если он проходит с лёгкостью такие испытания, значит, действительно «соображает».

С такой позицией не соглашается исполнительный директор по исследованиям в области наук об обучении в Digital Promise и член Международного общества наук об обучении Джереми Рошель. В своей колонке для блога Ассоциации вычислительной техники он объясняет, почему сравнивать способности ИИ и человека, а тем более сдачу экзаменов, некорректно. Кратко пересказываем его основные мысли.

Джереми Рошель

исполнительный директор по исследованиям в области наук об обучении в Digital Promise и член Международного общества наук об обучении

Почему не стоит доверять результатам тестов ChatGPT

Джереми Рошель предлагает для начала вспомнить, как создают те самые экзаменационные тесты (по крайней мере, американские), которые порой так уверенно «щёлкает» ChatGPT.

В их основе лежит психометрика, в том числе и современная теория тестирования — набор методов, позволяющий оценить вероятность правильного ответа испытуемых на задания различной трудности. А процесс создания тестов выглядит примерно так: сначала специалисты разрабатывают большой банк экзаменационных заданий, затем эти задания проверяют с помощью группы реальных учащихся (конечно, людей, а не машин). По результатам определяют, насколько элементы теста способны «разграничить» людей с большими или меньшими возможностями в той или иной дисциплине. Проще говоря, можно ли по тесту судить о знаниях или способностях на самом деле. Те задания, которые о различиях ничего не говорят, исключают из экзамена, а то, что, наоборот, хорошо сработало, — сохраняют.

Исследователь приводит в пример ещё одну особенность тестов, которая препятствует сравнению способностей «роботов» и людей: дело в том, что выводы, которые делают разработчики на основе ограниченного количества задач и их форматов, тоже нужно подтвердить, то есть сравнить с другими метриками. Если они коррелируют между собой, то, скорее всего, верны. Но другие метрики, конечно, вновь касаются именно человеческих способностей, знаний и навыков, а вовсе не ИИ.

«Опять же, нет никакой гарантии, что для испытуемых, не являющихся людьми, оправдан вывод из определённого набора задач (теста по юриспруденции) в области знаний, навыков и способностей (что это успешный студент-юрист)», — подчёркивает Джереми Рошель.

Почему ИИ дилетант, а не эксперт

Если тесты для ИИ не предназначены, то почему же чат-боты на основе ИИ с ними справляются? Дело в том, что тесты зачастую стандартизированы: они похожи по форме, структуре и даже содержанию. Это упрощает искусственному интеллекту работу.

Для сравнения и объяснения, почему ИИ не может быть экспертом, Джереми Рошель приводит историю с встреченным им однажды попутчиком — маляром, очень интересующимся физикой. Правда, системно физику он нигде не изучал, а информацию получал из энциклопедий и самостоятельно пытался связать темы между собой. Хотя он был достаточно эрудирован в этой сфере, главное отличие от физика-эксперта, конечно, бросалось в глаза: он не мог выстроить свои познания в стройную систему. А ведь их реальная глубина определяется именно так — профессионал понимает саму логику этой науки, и любое явление может связать с основополагающими принципами физики.

Современные большие языковые модели похожи как раз на такого физика-дилетанта: они могут ответить на какой-то вопрос, но реального понимания предмета у них нет. То есть нейросеть достоверно знает, как устроена последовательность слов в предложениях, но не обладает компетентностью. И до этого, уверен Джереми Рошель, ещё далеко.

Рошель уверен, что с этим можно и нужно бороться. Например, учёные могут доносить до более широкого круга людей информацию о том, что экзамен — не самый верный способ измерить сильные стороны ИИ, а сравнивать его результаты с человеческими просто бессмысленно. Доля ответственности лежит и на учёных в сфере образования: их задача — вместе с практиками разработать новые типы экзаменов и способы измерять навыки и знания людей.