YandexGPT справилась с ЕГЭ по литературе. Но слабенько

Об этом сообщает «Российская газета» со ссылкой на представителей «Яндекса». Уточняется, что это первый случай, когда генеративная нейросеть успешно выполнила все задания ЕГЭ, включая творческое.

Как нейросеть сдавала экзамен

Как рассказал Алексей Гусаков, технический директор «Поиска» компании «Яндекс», для оценки эрудиции языковых моделей обычно используют MMLU (Massive Multitask Language Understanding) — инструмент, предназначенный для измерения знаний, которые нейросеть получила при предварительном обучении. В тест входят вопросы разной степени сложности из 57 областей знания, но оценить, как нейросеть даёт ответы на открытые или творческие вопросы, по нему нельзя.

Именно поэтому YandexGPT предложили сдать ЕГЭ по литературе — задания экзамена подразумевают, помимо прочего, владение культурным контекстом и создание текстов. Специалисты проследили, чтобы в базу данных для обучения ИИ не вошли ответы на вопросы ЕГЭ. Нейросеть дала ответы на все вопросы экзамена, включая написание сочинения во второй части. Проверяли результат официальные эксперты ЕГЭ по литературе.

Уточняется, что усреднённая оценка (вероятно, YandexGPT решила не один вариант работы) составила 55 баллов. То есть результат оказался достаточным для поступления в вуз — минимальный порог составляет 40 баллов. Напомним, средний результат по литературе по итогам кампании 2023 года был равен 63,97 балла. То есть пока нейросеть заметно отстаёт от выпускников школ.

В Рособрнадзоре, в свою очередь, заявили, что успехи нейросети никак не повлияют на сдачу ЕГЭ, поскольку использование гаджетов на экзаменах запрещено. А это значит, что участники испытаний просто не смогут воспользоваться возможностями ИИ.

Что ещё известно о возможностях ИИ

Это не первый случай, когда нейросети сдают экзамены. Например, ChatGPT прошла экзамен для получения медицинской лицензии в США. Кроме того, в УрФУ протестировали ChatGPT и Sage на знание истории России. Тогда способности нейросетей оценили на тройку. Кстати, ранее ChatGPT не справилась с творческим заданием из ЕГЭ по литературе. Проверяющие его эксперты поставили самые низкие оценки.

Впрочем, решение предназначенных для людей тестов мало что говорит о реальных возможностях нейросетей. Способность пройти экзамен не означает, что ИИ обладает теми же знаниями, что и человек. Но для системы образования подобные новости действительно означают, что прежние формы оценки знаний всё легче обойти.

Так, в этом году стала известна история выпускника РГГУ, который написал диплом при помощи ChatGPT. Из-за этого началась широкая дискуссия о том, стоит ли аннулировать результаты его защиты и как ограничить академическое мошенничество, инструментом для которого может послужить ИИ. Однако Национальная комиссия по этике в сфере искусственного интеллекта, а затем и глава Минобрнауки Валерий Фальков заявили, что необходимо адаптировать систему образования к использованию таких решений.

Помимо этого, сами студенты рассказали, для чего используют нейросети. Оказалось, что чаще всего — для написания и редактирования текстов, а также для подготовки сочинений и рефератов.

Между прочим, некоторые вузы уже заявили, что не будут запрещать учащимся пользоваться возможностями ИИ. Среди них — МГПУ и МФТИ.