Стало известно, кто лучше проверяет эссе — ChatGPT или учитель

Исследование провела группа специалистов из США. Их работа опубликована в издании Learning and Instruction.

Авторы отмечают, что для проверки различных учебных работ, включая эссе, уже используются разработки на базе искусственного интеллекта. Они хороши тем, что могут быстро обрабатывать большой объём информации и предоставлять обратную связь всем ученикам, снижая тем самым нагрузку на учителей. Но, как подчёркивают исследователи, ключевой элемент проверки работ — именно формирующая обратная связь. Качественный фидбэк от учителя — эффективный способ облегчить развитие навыков, включая написание сочинений. И пока было неясно, может ли ИИ сравниться по качеству фидбэка с педагогами.

Чтобы это выяснить, исследователи взяли 200 эссе на исторические темы, написанных учениками 6–12-х классов из двух школьных округов Южной Калифорнии в рамках другого, более масштабного проекта. Половина из 200 авторов сочинений были носителями английского языка, а для остальных школьников он был неродным.

В рамках этого исследовательского проекта опытные преподаватели проверили эти работы и предоставили письменные формирующие отзывы. А для нового исследования эссе проверил ещё и ChatGPT, которого в промпте попросили представить, что он учитель средней школы, оценить эссе по ряду критериев, предложить улучшения и использовать дружелюбный и ободряющий тон.

В результате отзывы учителей и чат-бота оценивали по пяти критериям:

• чёткость обратной связи;
• учёт основных требований к написанию эссе в целом;
• учёт критериев, обозначенных в задании для учеников;
• наличие рекомендаций о том, что можно было бы улучшить;
• использование поддерживающего тона.

Соответствие отзывов каждому из этих пунктов оценивали по пятибалльной шкале.

В результате выяснилось, что педагоги-люди в основном справились с предоставлением формирующей обратной связи лучше, чем бот. Однако по одному критерию он их всё же обогнал — ChatGPT немного лучше справился с учётом в отзыве критериев, обозначенных в задании. Стоит отметить и то, что по остальным пунктам он не сильно уступил людям. Проще говоря, оценки были почти одинаковые, и обратная связь от нейросети была довольно качественной.

Какие средние баллы получили бот и педагоги

Источник данных: Learning and Instruction

Интересно то, что качество оценки ChatGPT (как и педагогов) не зависело от того, чьё эссе он проверяет — носителя английского языка или ребёнка, для которого он неродной. При этом точность обратной связи ИИ снижалась по мере того, как росло качество эссе, — то есть отзывы бота были бы наименее полезны для учеников, которые хорошо справились с заданием.

Тем не менее исследователи считают, что обратная связь от ИИ может помочь в обучении — например, она подойдёт для оценки работ учеников, которые только начали учиться писать эссе, или когда опытный педагог просто недоступен.

Кстати, американские эксперты считают, что в ближайшие пять лет репетиторы на базе ИИ не просто станут обычным явлением в школьной среде, но и распространятся на все школьные предметы. Кроме того, предполагается, что они будут взаимодействовать с учениками при помощи голоса, а не текстового ввода и смогут адаптироваться к работе с разными возрастными группами, а также «будут не только продуктом, но и функцией», встроенной прямо в цифровые учебники и инструменты онлайн-оценки.