Как оценить эффективность онлайн-курса

Что входит в оценку результатов обучения

Для оценки эффективности необходимо провести несколько важных действий:

• Оценить результаты обучения студентов (показатели до и после прохождения курса, результаты выполнения промежуточных и финальных заданий).
• Подсчитать метрики конкретного набора (промежуточные и финальные CSI и COR, финальный NPS).
• Собрать обратную связь по результатам обучения от учащихся, преподавателей, аудиторов, коллег-методистов.

В зависимости от того, что показали метрики, надо принять решение о дальнейшей судьбе курса (оставить как есть, убрать, поменять формат, содержание, периодичность наборов и так далее). Если решено доработать курс, то составить план изменений можно на основе собранной обратной связи.

По каким метрикам оценивается образовательный продукт

Перед тем как говорить о метриках качества образовательного продукта, стоит определиться, с какой позиции мы смотрим на курс, потому что студент, методист и организатор обучения могут оценивать его успешность по-разному.

Когда речь идёт о корпоративном обучении, желаемые результаты для методиста и организатора обучения совпадают: заказчик (например, руководитель компании) заинтересован в том, чтобы сотрудники после прохождения курса или тренинга стали работать эффективнее и чтобы затраты на обучение были экономически оправданы.

Допустим, мы определились, с чьей точки зрения будем измерять успешность образовательного продукта. Посмотрим, что можно измерить.

Учебные метрики

• Достижение промежуточных и финальных учебных целей: студенты выполнили домашние задания, сдали тест, подготовили дипломную работу.
• Динамика посещения занятий или просмотра вебинаров на онлайн-курсе.
• Динамика и скорость выполнения домашних заданий — интенсивность, с которой учатся ваши студенты.

Метрики сопровождения процесса обучения

• Скорость и качество проверки домашних заданий. Качество обратной связи.
• Качество учебного контента — как основного, так и дополнительного. Для его оценки можно ориентироваться на лайки/дизлайки студентов (если ваша LMS поддерживает такую функцию), просить заполнить анкеты для обратной связи, ввести собственные стандарты качества.
• Достижение финальной цели учащегося или заказчика, которая находится за границами обучения. Например, люди покупают курс, чтобы получить соответствующую профессию и в дальнейшем трудоустроиться. Значит, здесь нам нужно измерить процент трудоустроенных после завершения обучения студентов.

Метрики эффективности образовательного продукта

• Удовлетворённость студентов (CSI) занятиями, контентом, сопровождением, преподавателями. Можно измерять удовлетворённость курсом в целом, но полезнее запрашивать оценку по отдельным компонентам: направлениям, преподавателям, теоретическому материалу и домашним заданиям, сопровождению обучения. CSI обычно оценивается по шкале от 1 до 6, иногда от 1 до 5 или от 1 до 10.
• Вовлечённость и активность студентов (оценивается общение в чатах, обратная связь).
• Лояльность выпускников (NPS). После завершения обучения нужно задать студентам вопрос, насколько они готовы рекомендовать курс — по шкале от 1 до 10 (иногда используется шкала от 0 до 10). Полезно также спросить, почему оценка именно такая.
• Доходимость до финала обучения (COR). При измерении важно опираться на стандарты, принятые в вашей компании. Например, в EdMarket считается, что студент прошёл обучение, если он выполнил 70% домашних работ и дипломный проект.
• Процент возвратов, то есть случаев, когда студентам курс не подошёл. Если он высокий, то это повод ещё раз проанализировать информацию о вашей целевой аудитории и подумать, почему человек попал на неподходящий курс, какие ещё факторы могли способствовать отказу от обучения, что можно сделать, чтобы улучшить ситуацию.
• «Инсайтометр» — количество инсайтов, подтолкнувших студентов к действию. Мы у себя ещё не полностью продумали, каким образом измерить этот показатель. Однако в каждой дипломной работе мы предлагаем студентам поделиться своими выводами, впечатлениями от обучения, планами на будущее. Это помогает выпускнику построить дальнейшую образовательную траекторию, а нам — понять, с какими знаниями, навыками и стремлениями студенты завершают обучение на определённом курсе.

Отдельно стоит поговорить о метриках эффективности корпоративного обучения. Для этого рекомендуем использовать модель Киркпатрика — Филлипса:

• Реакция. Как участники реагируют на обучающее мероприятие или другой образовательный продукт? Здесь снова оцениваются показатели CSI и NPS.
• Знания и навыки. Получили ли участники желаемые знания и навыки? Тут используется метрика COR, а также оценки студентов за домашние и контрольные работы.
• Изменение поведения. Применяют ли сотрудники полученные знания и навыки на рабочем месте? Это оценивается по KPI персонала, внутренним рейтингам и так далее.
• Влияние на бизнес-результаты. Повлияло ли обучение на достижение целей компании? Анализируется KPI подразделения или бизнес-процесса.
• Возврат от инвестиций в обучение — ROI, аббревиатура от английского термина Return on Investment. Измеряется окупаемость вложений в образовательное мероприятие или продукт.

Множество инструментов для сбора данных и анализа метрик входят в базовую функциональность LMS-платформ. Для оценки CSI, NPS и других показателей, которые требуют обратной связи, можно использовать «Google Формы», Mentimeter и другие анкетные сервисы, помогающие оценить впечатления от курса или отследить реакцию на тот или иной его элемент.

Какие ошибки часто допускают при оценке обучения

Есть два наиболее типичных упущения, на которых многие спотыкаются:

• Обратную связь запрашивают только в конце обучения. Если вы не запросите обратную связь в начале и середине курса, то не узнаете реакцию тех людей, которые по каким-либо причинам сошли с дистанции. А это очень полезная информация: если вы поймёте, что именно в курсе не понравилось учащимся, то сможете это исправить.
• Проверку домашних заданий поручают автору курса. Из-за занятости эксперта студентам порой приходится долго ждать обратной связи по домашним заданиям. В таком случае лучше поручить проверку куратору или тьютору — хотя бы частично. Полезно организовать чат, где студенты будут оперативно получать ответы на свои вопросы. Это позитивно скажется на показателе удовлетворённости обучающихся.

Что такое методический аудит, зачем и как его проводят

Существует очень много курсов, которые были разработаны без понимания специфики онлайн-обучения и знания методик педдизайна. Их создатели, разумеется, хотят улучшать показатели эффективности, но как это сделать — не всегда очевидно. Многие обращаются за услугой методического аудита. Это задача на стыке методологии, маркетинга и бизнеса, интересов студента и организатора обучения.

Чтобы качественно провести аудит курса, методист должен обладать профессиональным опытом и насмотренностью, которую лучше всего развивать под руководством наставника. Также очень важно заранее прояснить вводные данные, иначе методист может сфокусироваться на теориях обучения и проектирования онлайн-курсов, тогда как заказчик мыслит совершенно в других категориях. Среди целей заказчика могут быть, например, такие:

• повысить COR, CSI, NPS;
• увеличить LTV (Lifetime Value) — общую прибыль, получаемую от клиента в ходе его взаимодействия с продуктом;
• расширить линейку продуктов;
• привлечь больше студентов;
• получить больше положительных отзывов;
• снизить количество негативных отзывов;
• понять, почему люди не проходят курс до конца;
• выяснить, почему в работе сотрудников нет видимых результатов после обучения на курсе.

Чек-лист: как провести методический аудит онлайн-курса

Допустим, вы хотите самостоятельно провести аудит своего курса либо к вам обратились с такой просьбой в отношении чужого курса. Мы составили чек-лист из вопросов, которые помогут провести проверку, и конкретных данных, которые нужно собрать для оценки. Они структурированы по семи блокам — фактически по ним и проводят оценку курса.