Skillbox и НИУ ВШЭ научились предсказывать вовлечённость в обучение на онлайн-платформе

Skillbox и Международная лаборатория оценки практик и инноваций в образовании НИУ ВШЭ создали в рамках совместного исследовательского проекта модель, которая предсказывает вовлечённость взрослых людей в обучение. Исследователи хотели выяснить, можно ли измерять вовлечённость через цифровые следы. К ним относятся в том числе количество начатых занятий, выполненных домашних заданий, число недосмотренных видео, результаты прохождения тестов.

Как создавали и проверяли модель

Модель построили на основе активности студентов на платформе Skillbox. Сначала исследователи оценили вовлечённость с помощью анкетирования (в финальную выборку вошли 2234 человека, которые прошли хотя бы часть выбранного ими курса). Анкета состояла из 13 утверждений, распределённых по трём компонентам вовлечённости — поведенческому (например, «Я регулярно делаю домашние задания»), когнитивному («Если я что-то не понимаю, я стараюсь разобраться в этом до конца») и эмоциональному («Я редко чувствую беспомощность во время обучения на курсе»).

Затем исследователи с помощью алгоритмов машинного обучения проанализировали данные цифровых следов и сопоставили их с выводами, полученными из опроса. За основу взяли данные об активности студентов за восемь недель до последнего действия на платформе перед прохождением опроса.

А финальным этапом разработки стало интервью с теми, кто учится на платформе, — их результаты, как и данные анкетирования, исследователи сравнили с теми, что получили благодаря модели. Проще говоря, они убедились, насколько данные анализа цифровых следов соответствуют субъективному опыту студентов.

Результаты показали, что анализ цифровых следов позволяет предсказать уровень вовлечённости пользователя — низкий он, средний или высокий. Если вовлечённость низкая, то человек почти не проявляет активность — берётся только за задания, которые показались лёгкими, быстро останавливает обучение и просматривает в среднем не больше 14 видео. А вот те, у кого уровень вовлечённости высокий, наоборот, чаще приступают и выполняют домашние задания, проходят большинство уроков (в среднем — по 85).

Как модель планируют использовать

Разработанная модель поможет построить персонализированные треки обучения и сопровождения студентов, а также разрабатывать меры поддержки для них.

В Skillbox отмечают, что полученные данные уже сейчас позволяют увеличить шансы пользователей на успех в достижении их целей. А они чаще всего завязаны на смене профессии и последующем трудоустройстве, как показало исследование, проведённое компанией совместно с НИУ ВШЭ в 2022 году. Тогда 93% респондентов рассказали, что им удалось добиться желаемых карьерных успехов, а 84% смогли трудоустроиться по выбранному ими направлению.

Однако представители Skillbox добавляют, что проект ещё предстоит доработать: предполагается, что при работе этой модели можно будет предсказать показатель отсева студентов, то есть выявить, сколько пользователей просто не пройдут обучение до конца. Для этого исследователи проанализируют учебную активность и статус студентов, принимавших участие в анкетировании, через несколько месяцев.

Кстати, ранее в МГПУ сообщили о запуске системы на основе ИИ, которая прогнозирует успеваемость студентов вуза более чем по 20 параметрам, среди которых — результаты ЕГЭ при поступлении, внеучебная активность и использование ресурсов библиотеки. Систему измерения вовлечённости в МГПУ тоже тестируют: этот показатель планируют оценивать с помощью нейросети, изучая эмоции студентов во время занятий.