Зачем преподавателям анализ данных о студентах

В теории аналитика данных способна принести методистам и преподавателям много пользы. С её помощью можно прогнозировать успеваемость студентов, оптимизировать учебную нагрузку, улучшать содержание и структуру курсов.

На практике, как обычно, всё сложнее. Именно разрыву между исследованиями и реальным педагогическим дизайном посвятила своё выступление на форуме «Преобразование образования», организованном Институтом образования ТГУ, Елена Другова — научный сотрудник Центра социологии высшего образования Института образования НИУ ВШЭ. В докладе «Учебная аналитика для педагогического дизайна курсов в высшем образовании: обзор существующих практик и запрос преподавателей» она рассказала, как преподаватели ВШЭ относятся к учебной аналитике, а также представила результаты обзора научных работ о том, как анализ данных используется в разработке курсов.

Как преподаватели получают данные о студентах?

По словам спикера, педагогический дизайн и учебная аналитика — это две области, которые только начинают соприкасаться. Они способны усилить друг друга: аналитика может давать методистам и преподавателям понимание, что происходит во время учебного процесса, а педдизайн — определять контекст и ставить конкретные цели для отбора и анализа данных.

Однако, как показал опрос, проведённый Еленой и её коллегами среди преподавателей ВШЭ, для улучшения своих курсов большинство опирается не на большие данные, а на анкетирование, которое проводит самостоятельно. Таким образом преподаватели получают обратную связь по материалам и заданиям, выясняют цели и запросы студентов, чтобы ориентироваться на них в разработке курсов.

Ещё одним популярным инструментом для сбора данных до недавнего времени был Microsoft Teams, однако компания Microsoft прекратила продажи и поддержку своих сервисов в России. ВШЭ запустила внутреннюю платформу для онлайн-обучения Smart LMS, однако, по словам Елены Друговой, преподаватели ещё не успели освоить её возможности.

И ещё один распространённый среди преподавателей инструмент — студенческая оценка преподавания (СОП). Правда, как и анкетирование, он достаточно субъективен, поэтому преподаватели не могут полагаться на него стопроцентно. К тому же СОП применяется лишь по окончании курса — а это значит, что с её помощью нельзя что-то изменить в процессе обучения и отследить результаты — можно лишь подкорректировать курс для следующего потока студентов.

Нужна ли преподавателям аналитика больших данных?

Также исследователи спросили у преподавателей, как именно аналитика данных могла бы помочь им в работе. Среди ответов были такие идеи:

• отслеживать последовательность тем в рамках схожих курсов, а также последовательность курсов в рамках программы — для логичного и согласованного преподавания;
• вести мониторинг учебной нагрузки — это помогло бы согласовывать расписание дедлайнов и сделать нагрузку на студентов более равномерной;
• отслеживать моменты, когда студентам требуется помощь и поддержка, — чтобы вовремя отреагировать и снизить риск того, что студент накопит «долги» и отчислится;
• отслеживать активности студентов в университетской LMS — как часто они туда заходят, просматривают ли материалы и так далее;
• создавать профили студентов — информация об их прошлых и текущих результатах, интересах и достижениях помогла бы выявлять неуспевающих, рекомендовать наиболее подходящие под интересы темы для проектов, курсовых и дипломных работ.

По результатам опроса исследователи также сделали выводы, что совершенствование курсов не находится среди явных приоритетов преподавателей. То есть у них не было запроса в духе «Хочу понять, где у моего курса слабые места, и устранить их». В основном преподаватели касались других проблем — например, уменьшения нагрузки и выявления плагиата.

Ещё Елена Другова и её коллеги выяснили, что для большинства преподавателей учебная аналитика в целом — это не совсем понятное явление. Им сложно работать с существующими способами представления данных, а также остаются вопросы, связанные с юридическими и этическими аспектами сбора и анализа информации.

Читайте также:

Цифровая персонализация помогает образованию или загоняет в информационный пузырь?

Можно ли объединить учебную аналитику и педдизайн?

Чтобы оценить, насколько распространено применение учебной аналитики в педагогическом дизайне, исследователи обратились к обзору научной литературы. Изначально по ключевым словам, соответствующим теме, Елена и её коллеги отобрали порядка 600 научных статей. Так как исследователей интересовали именно практические улучшения курсов, из этой подборки исключили все чисто теоретические работы — в результате осталось 49.

Для своего исследования учёные сформулировали семь вопросов, однако в докладе Елена затронула только два:

• Как авторы отобранных научных работ видят интеграцию учебной аналитики и педагогического дизайна?
• Какие реальные улучшения в педагогическом дизайне описаны в отобранных статьях?

Расскажем о результатах по порядку.

Как исследователи видят интеграцию учебной аналитики и педдизайна?

Оказалось, что треть изученных исследований (16 из 49) либо вообще не затрагивают интеграцию аналитики и педдизайна, либо описывают подход, в котором данные играют ведущую роль. То есть авторы таких работ просто выбирают некие показатели, которые можно измерить, и на основе их анализа делают выводы. По мнению спикера, это незрелый подход, в отличие от такого, где цель сбора и анализа данных изначально определяется педагогической целью.

Однако авторы большинства (33) статей всё-таки рассматривают способы интегрировать аналитику в педдизайн. Команда Елены Друговой распределила эти работы по этапам модели ADDIE и получила такой результат:

• Достаточно много статей (14) описывают применение учебной аналитики на стадии проектирования курса (Design).
• Примерно столько же работ (13) охватывают этапы разработки (Development) и реализации (Implementation) курса.
• Авторы шести статей интегрируют аналитику на стадии оценки образовательной программы (Evaluation). По словам спикера, это неэффективный подход для улучшения текущего курса — ведь что-то менять уже поздно, это можно будет сделать только при работе над следующей итерацией.

В целом, как отмечает Другова, большинство авторов применяет аналитику на ранних этапах работы над курсом, когда можно заметить проблемы и недостатки и внести улучшения.

Читайте также:

Как совершенствовать готовый учебный курс: разбираем реальный пример

Какие реальные улучшения в педагогическом дизайне описаны в отобранных статьях?

Чтобы ответить, действительно ли аналитика помогает улучшить образовательный курс, исследователи разделили 49 работ на три группы.

• В первую группу попали 16 статей, в которых применение учебной аналитики в педдизайне упоминается лишь формально. Елена привела типичный пример: «Учебная аналитика может использоваться или адаптироваться преподавателями или подразделениями с целью информирования педагогической практики». Просто расплывчатая формулировка и никакой конкретики.
• Статьи во второй группе (18 работ) уже называют конкретные потенциальные улучшения. Описанные разработки пока не дошли до внедрения, но исследователи уже понимают, для чего они могут быть полезны. Например, для прогноза академической неуспеваемости и информирования преподавателей: что именно стоит изменить в содержании курса, где студентам понадобится скаффолдинг, на каких этапах стоит добавить обратную связь и так далее.
• И наконец, третья категория включает 15 статей, в которых содержатся реальные способы внедрения аналитики в педдизайн. На основе анализа данных исследователи пробовали добавлять новые задания, изменять структуру дедлайнов и корректировать учебную нагрузку, добавлять дополнительный мониторинг, адаптировать курс для обучения на мобильных устройствах. Однако лишь три работы продемонстрировали эффективность внесённых изменений.

По словам Елены Друговой, обзор показал, что аналитики данных и педдизайнеры пока «говорят на разных языках». Педагогический дизайн во множестве работ упоминается формально либо включается в виде педагогических теорий, не привязанных к практике. Поэтому, чтобы создать работающие модели интеграции аналитики и педдизайна, нужен междисциплинарный диалог. И конечно, требуется больше исследований о том, как решения, принятые на основе аналитики, влияют на достижение педагогических целей.