Генеративный ИИ помог улучшить работу репетиторов

Исследователи из Стэнфордского университета проверили, как инструменты на основе генеративного искусственного интеллекта (ГИИ), которые используют репетиторы, влияют на качество их работы и результаты их учеников. Отчёт об эксперименте опубликован на сайте Национального акселератора поддержки учащихся — программы Стэнфорда по распространению научных подходов к репетиторству.

Какой инструмент на основе ГИИ тут изучали

Всего в исследовании участвовали 782 преподавателя математики и 1787 учеников 3–8-х классов американских школ. Преимущественно это были испаноязычные дети, которым назначили дополнительные занятия с репетиторами из-за отставания по курсу математики.

Всех участников случайным образом распределили на контрольную группу (они участвовали в занятиях как обычно) и экспериментальную, в которой в течение двух месяцев во время онлайн-занятий использовали разработанный в Стэнфорде инструмент с открытым исходным кодом Tutor CoPilot. Генеративную нейросеть в его основе обучали на данных о работе опытных преподавателей, чтобы натренировать систему давать подсказки репетиторам-новичкам во время уроков.

В эксперименте Tutor CoPilot встроили непосредственно в платформу для репетиторства — преподаватели могли его запустить, нажав специальную кнопку. На этом этапе ГИИ обрабатывал данные из чата преподавателя с учеником, то есть коммуникация была исключительно письменной. Когда репетитор вызывал Tutor CoPilot, ГИИ анализировал последние сообщения в чате и генерировал рекомендации — например, в следующем сообщении дать ученику подсказку. В дальнейшем, отмечают исследователи, нейросети можно обучить анализу видео, аудио и визуальной информации с интерактивной доски на платформе.

Всего проанализировали более 4100 занятий и 550 тысяч сообщений из чатов преподавателей с учениками. Кроме того, исследователи изучили результаты тестов, которые ученики выполняли после каждой темы (без их сдачи был невозможен переход к следующим занятиям).

Что выяснилось в результате эксперимента

Всего преподаватели обращались к Tutor CoPilot более 2 тысяч раз. Анализ их общения с учениками показал, что с помощью ГИИ-помощника репетиторы чаще использовали более продуктивные педагогические стратегии: например, задавали наводящие вопросы, чтобы подтолкнуть ученика к размышлению, или просили объяснить ответ. Гораздо реже они давали ученикам готовые ответы на задачи или прямые подсказки по тому, какой способ решения задачи стоит использовать.

Что касается разницы в количестве тех, кто сдаёт тесты, то она получилась едва заметной: ученики тех репетиторов, которые работали с Tutor CoPilot, на 4 процентных пункта чаще сдавали успешно тесты по итогам каждой темы, чем ученики тех, у кого не было доступа к ГИИ. Но, сравнив отдельно показатели репетиторов с низким рейтингом (то есть самых неопытных) в экспериментальной и контрольной группах, исследователи увидели, что у них разница заметнее: у группы, использовавшей ГИИ, число сдающих повысилось на 9 процентных пунктов (с 56 до 65%). Однако в итоговом годовом экзамене по математике существенных отличий в успеваемости между группами не нашлось.

Чтобы выяснить, как сами репетиторы оценивают работу с Tutor CoPilot, исследователи проинтервьюировали порядка 20 участников эксперимента. Те отметили, что ГИИ оказался им полезен в объяснении сложных тем — он помогал формулировать ясные определения. Однако нашлись у инструмента и недостатки: по оценкам преподавателей, Tutor CoPilot не учитывал возраст учеников и часто предлагал формулировки, трудные для детей. Так что репетиторы, как правило, перефразировали их сами или редактировали дополнительно с помощью ГИИ.

Исследователи отмечают, что их эксперимент стал первым исследованием системы «человек — искусственный интеллект» в ситуациях реального обучения, в котором участники случайным образом распределялись в контрольную и экспериментальную группы. И хотя исследование длилось не так долго и проводилось по специфической испаноязычной выборке, авторы считают, что факт доказан: за счёт ГИИ можно повысить эффективность работы репетиторов. Это особенно актуально при нехватке квалифицированных преподавателей для индивидуальных занятий с отстающими учениками. Исследователи подчёркивают, что традиционные программы повышения квалификации для репетиторов обходятся в тысячи долларов, а стоимость Tutor CoPilot составляет 20 долларов (около 1944 рублей по текущему курсу ЦБ) в год на одного преподавателя.

Результаты другого исследования показали, что занятия с репетитором в парах, а не индивидуально улучшают результаты школьников по математике — если очные уроки совместить с тренировкой на EdTech-платформе. Ранее российские репетиторы рассказали Skillbox Media о плюсах и минусах внедрения ГИИ в свою работу, а также о том, какие задачи могут выполнять подобные инструменты.