Как измерять качество обучения на курсах: подход «Нетологии»

Рынок онлайн-образования продолжает искать универсальный подход к оценке качества курсов, который стал бы ориентиром как для компаний на этом рынке, так и для клиентов онлайн-школ. В начале апреля на Московском международном салоне образования (ММСО) анонсировали большой совместный проект Института образования НИУ ВШЭ и продуктово-методической команды Skillbox по созданию новой модели оценки качества онлайн-образования. Там же участники проекта представили результаты исследовательского этапа — анализа и обобщения существующих в мировой практике моделей оценки качества образовательных технологий и продуктов.

Работа в этом направлении очень актуальна, потому что в настоящее время не существует даже общепринятого определения качества в онлайн-обучении. В это понятие можно включить самое разное содержание, и практически каждая компания, работающая на EdTech-рынке, оценивает качество своих курсов по-своему.

При этом даже на уровне одной компании те или иные подразделения могут по-разному отвечать на вопрос «Что означает „качественный образовательный продукт“?». В свою очередь, у студентов бывают собственные представления о качественном онлайн-обучении — и оценку курсу они в итоге выставляют исходя из этих представлений. Можно ли «подружить» все эти разные подходы, чтобы объективно измерить качество?

О том, как к решению этой проблемы подошли в «Нетологии», рассказала методолог образовательного продукта команды стратегии и результата Мария Ракульцева на конференции «Качественный EdTech: проектируем опыт студента», организованной School of Education, Otus и «Нетологией». Пересказываем основные тезисы из выступления спикера.

Как в «Нетологии» исследовали представления о качестве

Мария рассказала, что присоединилась к команде «Нетологии» полгода назад. На тот момент в компании не было единого процесса отслеживания качества продукта и механизма принятия продуктовых решений на основе данных.

В линейке онлайн-школы много очень разных курсов — по форматам, тематике, длительности, уровню и целям студентов. Команды разных направлений по-своему интерпретировали и измеряли качество продукта. Поэтому, как отметила Мария, было важно разработать некую общую рамку, при этом не упуская из виду характерные особенности тех или иных курсов.

Мария и её коллеги начали с исследований — чтобы синхронизировать представления о качестве внутри компании и сопоставить их с тем, что считает качественным онлайн-курсом целевая аудитория — студенты. Для этого провели два исследования — внутреннее и внешнее.

Внутреннее исследование состояло из 22 глубинных интервью с руководителями и сотрудниками компании: продюсерами, продакт-менеджерами, методистами, менеджерами по работе с экспертами, сотрудниками команды поддержки и сопровождения.

Внешнее исследование прошло в два этапа. На первом этапе команда Марии провела 13 глубинных интервью со студентами. В выборку вошли как студенты, которые положительно отзывались об обучении в «Нетологии», так и те, кто оформил возврат курса, а кроме того, студенты других онлайн-школ.

На втором этапе Мария с коллегами провели опрос среди 1019 студентов «Нетологии», которые учатся в онлайн-школе не менее месяца или завершили обучение не более полугода назад.

Как показали результаты исследований, с точки зрения сотрудников компании, качественный образовательный продукт должен соответствовать таким критериям:

• он приводит студента к цели;
• отвечает запросу рынка;
• отвечает ожиданиям студентов и имеет хорошую обратную связь;
• решает образовательные задачи;
• содержит грамотные материалы;
• на курсе присутствуют хорошие эксперты;
• заявленный в позиционировании курса результат соответствует действительности.

В свою очередь, результаты интервью и опроса студентов показали, что, по их представлениям, для качественного курса важны:

• актуальность содержания;
• хороший преподаватель;
• развёрнутая обратная связь в процессе обучения;
• доступное изложение материала;
• много практики и работа над реальными проектами;
• оптимальные темп и формат обучения;
• хорошее сопровождение.

Студентов также спросили, насколько эти факторы, по их мнению, выражены в курсах «Нетологии». Как отметила Мария, это тоже была очень полезная информация, чтобы определить сильные стороны продукта и те, над которыми стоит ещё поработать.

Читайте также:

​​Какие исследования нужны методисту перед проектированием курса и как их провести

Затем Мария и её коллеги сопоставили факторы, выделенные благодаря внутреннему и внешнему исследованиям, чтобы сформировать целостное представление о качественном курсе. Кроме того — соотнесли каждый ключевой фактор с показателем, который можно измерять. По словам спикера, для некоторых из них существуют очевидные метрики — например, CSI (англ. Customer Satisfaction Index) для измерения удовлетворённости студента разными аспектами обучения, от взаимодействия с преподавателями до скорости проверки домашек. Для других факторов подобрать подходящую метрику оказалось сложнее — скажем, для оценки актуальности контента специальной метрики не было.

Параллельно с этим в «Нетологии» пересмотрели все метрики качества, которые фиксировали ранее, — чтобы оценить их валидность и репрезентативность, выделив те, на которые действительно можно опираться. Отобранные в результате метрики команда Марии разместила на универсальной SJM — карте пути студента. На ней наглядно отобразили, на каком этапе взаимодействия учащегося с курсом измеряется та или иная метрика и какой вывод из этой информации можно сделать.

Также Мария и её коллеги проанализировали, на какие показатели ориентируется российский и зарубежный EdTech-рынки, какие есть тренды в оценке качества образовательных продуктов.

Результаты проведённой работы привели к созданию новой системы контроля качества, основанной на иерархической матрице метрик.

Как работает новая система контроля качества в «Нетологии»

Новая система оценки сфокусирована на качестве образовательного продукта в связке с доходом. Как пояснила Мария, качество и деньги нельзя отделить друг от друга, потому что именно качественный продукт удерживает студента в долгосрочной перспективе, побуждает его совершать повторные покупки — например, после курса профессионального переобучения приобретать курсы для развития в этой профессии, актуализации навыков и так далее. Также качество курса влияет на реферальность — процент новых студентов, которые пришли в школу по рекомендации выпускников.

Разработанная матрица метрик представляет собой древообразную структуру с горизонтальными уровнями и вертикальными «ветвями». Итак, главной целевой метрикой стал доход (revenue). На него влияют метрики первого уровня — реферальность и повторные покупки. Они, в свою очередь, зависят от метрик второго уровня, к которым относятся:

• процент возвратов по причине, когда студентов не устроило качество продукта;
• NPS (англ. Net Promoter Score) продукта — показатель готовности студентов рекомендовать курсы другим людям;
• общий CSI — индекс удовлетворённости студентов курсами школы;
• retention rate — коэффициент удержания пользователей, который отражает вовлечённость студентов, их активность во взаимодействии с курсами;
• достижение студентами поставленных целей в результате обучения.

Эти метрики, по словам Марии, выбраны как самые релевантные для текущих задач компании и отражающие результаты исследований.

При движении от уровня к уровню показатели детализируются — начиная от данных по школе в целом и переходя к отдельным направлениям, наборам курсов и отдельным курсам, занятиям и модулям, единицам контента. За срезом показателей на каждом уровне следят ответственные сотрудники. Например, на первом уровне это продакт-менеджеры, на втором — образовательные продакт-менеджеры и тимлиды, на третьем и далее — педагогические дизайнеры, менеджеры по работе с экспертами, координаторы.

При этом есть взаимосвязанные группы метрик, расположенные на отдельных «ветвях». Например, CSI разделяется на более мелкие показатели по отдельным параметрам — работе экспертов, контенту, сопровождению. На следующих уровнях они всё больше уточняются — до CSI отдельных модулей и единиц контента.

Также в «Нетологии» сформулировали принципы работы с этой системой и принятия продуктовых решений:

• Работа над улучшением качества может происходить и сверху вниз, и снизу вверх. Например, если какой-либо показатель на верхних уровнях просел либо неожиданно вырос, можно спуститься по соответствующей «ветке» и выяснить причину. А также — отслеживать, как изменения на нижних уровнях системы влияют на показатели выше.
• Каждый сотрудник, отвечающий за качество продукта на том или ином уровне, принимает решения с опорой на соответствующие показатели, связки метрик и их динамику, и действует в рамках своей зоны ответственности.
• При принятии решений учитывается соответствующий уровень и «ветка» — то есть, опять же, для решения проблемы нужно видеть её место в общей структуре и принимать во внимание, что влияет на показатели того или иного уровня.

Сейчас, по словам спикера, в «Нетологии» проверяют эффективность новой системы: насколько вырастет скорость принятия решения, как изменения повлияют на качество образовательных продуктов. В течение 2024 года, как рассказала Мария, команде онлайн-школы хотелось бы научиться предсказывать поведение метрик — например, если какая-то из них снизилась или выросла, то каким образом изменится другая. А ещё сейчас идёт третья часть исследования представлений о качестве курсов — на этот раз с точки зрения работодателей. Как отметила Мария, интересно взглянуть на студента не как на потребителя образовательного продукта, а как на своего рода «продукт», который школа выпускает на рынок труда.

Что не так с метрикой COR?

Те, кто хорошо знаком с системой метрик, которые чаще всего используют онлайн-школы, наверняка уже заметили, что в модели, которую описала Мария Ракульцева, отсутствует очень популярная метрика COR (англ. Completion Rate) — процент доходимости студентов до конца обучения. Вопрос о том, почему в «Нетологии» её не используют как основную, затронули во время другой дискуссии в рамках той же конференции — «Проектирование reskill vs проектирование upskill». На эту тему высказалась Арина Пантина, образовательный продакт-менеджер направления «Креативные индустрии» в «Нетологии».

Арина объяснила, что в «Нетологии» этот показатель используют лишь как вспомогательный, чтобы разобраться в причинах изменения других метрик. По её мнению, у COR есть несколько важных ограничений. Во-первых, отсутствует единая методика подсчёта доходимости, а раз COR можно считать самыми разными способами, значит, этой метрикой легко манипулировать. Как заметила Арина, ей известны несколько «относительно честных» способов довести COR до 100%.

Во-вторых, для некоторых типов курсов стремиться к максимальной доходимости попросту нет смысла. Это относится, например, к длительным курсам профессионального переобучения, на которые студенты приходят с целью получить новую профессию и трудоустроиться либо выйти на фриланс. Нередко они бросают обучение на середине просто потому, что достигают желаемой цели ещё в процессе прохождения курса. В таком случае низкий COR нерелевантен для оценки качества образовательного продукта, ведь студент остаётся доволен — он получил то, что хотел. Кстати, аналогичную точку зрения высказывал в феврале управляющий директор Ultimate Education Никита Подлипский на семинаре Института образования НИУ ВШЭ о перспективах EdTech.

Вообще, как добавила Арина Пантина, хотелось бы измерять как раз изменения, которые происходят со студентом во время обучения или после курса (например, в карьере). Но зачастую это делать очень сложно, потому что для таких изменений требуются время и собственные усилия студента.