Опрос показал, как в проектах онлайн-образования оценивают качество обучения

Психометрик и научный консультант «Яндекс Практикума» Дмитрий Аббакумов представил первые итоги своего исследования аналитической и психометрической культуры образовательных проектов «М-Чекап». Дмитрий выступил с докладом на двадцать первой Международной научно-практической конференции «Тенденции развития образования: образовательная политика и качество образования» в Шанинке.

Что это за исследование

«М-Чекап» — это регулярный исследовательский и просветительский проект, впервые запустившийся осенью 2024 года. До 21 марта команды образовательных проектов могут присоединиться к очередной его волне. Для этого нужно заполнить на сайте Дмитрия Аббакумова опросник о том, какие данные об обучении в компании собирают, какие метрики качества и достижения образовательных результатов на их основе оценивают и кто именно этим занимается в компании. По итогам каждой волны исследования проводится презентация результатов, на которой эксперт даёт участникам рекомендации по развитию аналитической и психометрической культуры.

В докладе на конференции «Тенденции развития образования» Дмитрий Аббакумов представил обобщённые результаты первых двух волн «М-Чекапа». Данные для них предоставили 47 проектов из сегментов ДПО, детского EdTech (в том числе подготовки к экзаменам) и высшего образования. Информацию о размере выручки участвовавших в исследовании компаний не собирали, но собирали данные о размерах команд — восемь участников сообщили, что в их компании работают свыше 250 человек, а у 28 представленных проектов — менее 100 сотрудников (то есть в основном участвовали небольшие онлайн-проекты).

Как в онлайн-образовании подходят к оценке качества

Ключевой вывод Дмитрия Аббакумова заключается в том, что представители российского EdTech, как правило, знакомы с аналитическими методами, которые позволяют получать достоверные сведения о результатах обучения и о его качестве, но на деле ориентируются не на них, а на субъективные данные. Эти данные в основном получают из обратной связи от учащихся:

• 35 организаций оценивают качество обучения по обратной связи от пользователей. В большинстве случаев это не единственный источник информации, потому что ещё оценивают активность студентов и измеряют поведенческие и психометрические показатели.
• Почти все участники (40) фиксируют образовательные результаты в тестах, итоговых проектах, экзаменах. Но вместе с ними учитывают, опять же, обратную связь (такой вариант отметили 30 участников) или считают образовательным результатом сам факт завершения курса (25 участников назвали такой вариант).
• То, насколько учебный контент труден для студентов, в 20 организациях оценивают по доле учащихся, которые справились с заданием, но второй по популярности вариант — просто по обратной связи от студентов (16 ответов).
• 35 из 47 проектов оценивают, есть ли какой-то эффект у внесенных в курс улучшений, тоже по обратной связи (21 при этом учитывают ещё и активность студентов). А 10 участников отметили, что вообще не отслеживают эффекты вносимых улучшений.

То есть, согласно данным в докладе, многие команды считают свои образовательные продукты качественными только на том основании, что студентам они нравятся. Но с точки зрения мировой практики обратная связь от учащихся — это всего лишь дополнительный источник данных, куда более достоверны объективные показатели.

Почему пока не распространена более серьёзная аналитика

Проблема ещё и в том, что далеко не все опрошенные располагают данными для оценки объективных метрик. Например, 11 организаций вообще не собирают данные о процессе обучения, а большинство фиксирует только начало и конец онлайн-урока. Что именно студенты делают в процессе и насколько они активны, замеряют крайне редко. Для таких задач у компаний зачастую нет специалистов: практически в половине команд нет сотрудников, занятых исключительно обработкой и анализом данных (во второй половине обычно есть аналитик).

Дмитрий Аббакумов считает, что для развития культуры в области работы с данными компании могли бы готовить себе специалистов с нуля (например, в профильных магистратурах) или доучивать имеющихся аналитиков или методистов на курсах. Либо привлекать внешних консультантов.

Вероятно, проблема со всеми этими стратегиями в том, что образовательные проекты в принципе не всегда заинтересованы в повышении аналитической культуры. От слушательницы конференции прозвучал очень показательный в этом смысле вопрос, ответить на который Дмитрий не успел: сколько продаж компании принесёт работа аналитика или психометрика? Коммерческие отделы зачастую рассуждают именно так: внедрять нужно только те технологии и подходы, которые принесут рост продаж. А если студенты говорят в опросах и отзывах, что им в образовательных продуктах всё нравится, это значит, что курсы будут продаваться, поэтому уходить в дебри сложной аналитики незачем.

Однако в целом на EdTech-рынке России усиливается запрос на качество образовательных продуктов. Выработку соответствующих стандартов руководители крупнейших компаний назвали среди главных трендов наступившего года. Такие стандарты, считают лидеры отрасли, должны стать инструментом саморегулирования отрасли. В 2024-м разработку стандарта качества образовательных продуктов начали Skillbox и НИУ ВШЭ, а также эксперты компании OTUS.