Нейросеть YandexGPT научили проверять онлайн-этапы школьных олимпиад

Ответы онлайн-этапа олимпиады «Турнир Ломоносова» впервые оценили с помощью YandexGPT, сообщила пресс-служба «Яндекса». Нейросеть проверила 35 тысяч работ по физике, химии и астрономии и определила, насколько они соответствуют критериям оценки. Все ответы, по которым нейросеть выставила баллы выше нуля, затем перепроверили эксперты. Но даже при этом этап оценки работ занял всего один месяц — вместо трёх месяцев в предыдущие годы.

Олимпиаду для школьников 6–11-х классов «Турнир Ломоносова» проводят Центр педагогического мастерства московского Департамента образования, Московский центр непрерывного математического образования, МГУ имени М. В. Ломоносова и МФТИ. В последние годы олимпиада включает очный весенний тур для одиннадцатиклассников и массовый осенний онлайн-тур на платформе центра «Сириус». Он привлекает порядка 35 тысяч участников ежегодно.

Специалисты «Яндекса» обучали нейросетевую модель YandexGPT на материалах предыдущих онлайн-этапов. Нейросеть работала с заданиями по естественно-научным предметам, которые готовят и проверяют в МФТИ. Перепроверив часть работ за YandexGPT, точность её работы оценили в 95%. Это позволило при оценке работ этого года отсеивать все результаты, которые нейросеть оценила на ноль баллов, и общее время проверки сократить до одного месяца.

У участников турнира была возможность подать апелляцию, если они не согласились с оценкой. Но количество апелляций, по данным организаторов олимпиады, не выросло по сравнению с прошлым годом. Зато ускорилась проверка: эксперты проверяли только ответы с ненулевым баллом, и в результате участники быстрее получили свои результаты и грамоты. В «Яндексе» отмечают, что готовы распространить этот опыт на онлайн-туры других олимпиад.

Ранее исследователи из НИУ ВШЭ проэкзаменовали нейросеть GPT-4 от OpenAI по педагогике. Модель правильно ответила на 39,2% вопросов из почти 4 тысяч. Пока, считают эксперты, у генеративного искусственного интеллекта недостаточно компетенций, чтобы педагоги использовали инструменты на его основе как полноценных помощников в преподавании. Но для отдельных задач — например, генерации контента и его оформления — существующие нейросети подходят достаточно хорошо.