11 образовательных метрик, чтобы оценить качество и эффективность онлайн-курса

Метрик для оценки онлайн-обучения много — по разным показателям, параметрам и для разных целей. Чтобы в этом многообразии было проще ориентироваться, мы объединили метрики в три группы:

• бизнес-метрики (ROI, ROMI, LTV и уникальные пользователи) — помогают оценить экономическую эффективность;
• метрики удовлетворённости пользователей (CSAT, CSI, NPS) — говорят о впечатлениях студентов, репутации школы или курса;
• метрики качества обучения (COR, Transformation rate, процент возвратов, статистика посещаемости) — показывают, насколько результативным был образовательный процесс, то есть верно ли он построен.

Большинство метрик можно рассчитать вручную, без привлечения сложной аналитики или программ (хотя с ними, конечно, удобнее). А ещё все они, за одним исключением, подходят для оценки как отдельного курса, так и полной линейки продуктов школы.

Теперь рассмотрим каждую группу подробнее.

Бизнес-метрики

С их помощью вы поймёте, насколько рентабельны онлайн-школа или курс. Изучать это важно: ведь и студенты могут быть в восторге, и результаты чудесными, но если нет прибыли, проект не выживет.

Предлагаем рассмотреть четыре таких метрики.

ROI (Return on Investment)

Эта классическая метрика рентабельности помогает оценить возврат инвестиций. Иными словами, понять, как окупились расходы на создание, продвижение и проведение курса.

Считается ROI в процентах. Если показатель меньше 100%, то ваш продукт не окупается.

Как рассчитать ROI

Пример расчёта ROI онлайн-курса

Представим, что вы потратили 100 тысяч рублей:

• 50 тысяч на запуск курса, включая производство контента, рекламу и работу отдела продаж;
• 50 тысяч на его проведение, например — оплату платформы, работу эксперта и координатора.

Курс предлагали студентам за 10 тысяч рублей, его купили 30 студентов. То есть доход составил 300 тысяч рублей.

Вложения окупились на 200%, то есть каждый вложенный рубль принёс два рубля прибыли.

ROMI (Return on Marketing Investment)

С помощью этой метрики оценивают рентабельность маркетинговых затрат: сколько стоило привлечение клиента и/или насколько хорошо работает реклама. Как правило, оценивают конкретный канал привлечения пользователей — это может быть реклама в VK, а может быть контекстная реклама в «Яндекс.Директ» и так далее.

Показатель также считается в процентах.

Как рассчитать ROMI

Пример расчёта ROMI онлайн-школы

Представим, что онлайн-школу в течение месяца продвигали через два канала:

• «Яндекс.Директ».

Вложения — 50 тысяч рублей.

Доходы — 80 тысяч рублей.

• VK.

Вложения — 100 тысяч рублей на контекстную рекламу.

Доход — 200 тысяч рублей.

То есть реклама через VK была выгоднее, чем через «Яндекс.Директ».

Количество уникальных пользователей

Эта метрика позволяет оценить:

• объём активной аудитории, а значит, и клиентской базы;
• прирост новых студентов в динамике;
• отношение студентов к продукту, правда, только косвенно — нравится ли он им настолько, что они остаются активными.

Как рассчитать количество уникальных пользователей

Всё просто: вы считаете количество пользователей и сравниваете с показателем за предыдущий период. Однако сначала важно определить, какого студента вы будете считать активным пользователем. Например, это может быть тот, кто посмотрел хотя бы один видеоурок на вашей платформе, или тот, кто посетил не менее одного синхронного мероприятия.

Если речь идёт не о единственном курсе, а о целой линейке в одном формате (например, онлайн-школа предлагает только предзаписанные уроки), то лучше выбирать для всех продуктов единые стандарты активности студентов. А вот если форматы разные (и синхронные, и асинхронные), то для каждого из них придётся придумать свой подход.

Пример расчёта уникальных пользователей курса

Представим, что платформа, на которой размещён онлайн-курс, автоматически считает количество уникальных пользователей за месяц. Это студенты, которые провели на платформе не менее трёх часов в месяц.

Если в январе система отчиталась о 300 уникальных пользователях, а в феврале — только о десяти, то стоит разобраться, почему интерес к курсу так сильно упал.

Читайте также:

6 способов сделать учебный курс увлекательным

LTV (Lifetime Value)

В маркетинге это метрика пожизненной ценности клиента — она помогает предсказать, сколько чистого дохода принесёт пользователь за время всех будущих отношений с ним.

В образовании же она поможет понять, сколько прибыли приносит отдельный студент за всё время его учёбы, как нынешней, так и дальнейшей (ведь он может не ограничиться покупкой одного курса). Если LTV повышается, значит, один пользователь покупает больше продуктов, то есть приносит больше дохода за всё время, пока является вашим клиентом (в маркетинге это называется жизнью клиента).

На этот показатель интересно смотреть в динамике, например от года к году. В отличие от всех других перечисленных метрик, LTV применима только для онлайн-школ или линейки продуктов, а не для отдельного курса.

Как рассчитать LTV

Приведём самый простой способ расчёта, однако учитывайте, что и результаты его приблизительны.

Пример расчёта LTV в онлайн-школе

В онлайн-школе английского языка в течение года учились 100 студентов. Доход школы по всем продуктам (курсам, индивидуальным консультациям и разговорным клубам) составил 500 тысяч рублей. На следующий год студентов стало уже 150, а доход повысился до одного миллиона рублей.

Это означает, что за второй год работы каждый студент стал приносить школе чуть больше прибыли.

Читайте также:

Как с помощью эмоций мотивировать учеников пройти курс до конца

Метрики удовлетворённости учащихся

Удовлетворённость учёбой оценивать нужно обязательно, поскольку это напрямую влияет как на мотивацию студента, так и на качество обучения. Кроме того, именно от удовлетворённости зависит, вернутся ли студенты и купят ли новый курс.

Есть три основные метрики удовлетворённости.

CSAT (Customer Satisfaction Score)

CSAT (индекс удовлетворённости клиента) помогает понять, насколько студент доволен каким-то аспектом взаимодействия с образовательным продуктом. Например, качеством урока, домашних заданий или курса целиком, работой преподавателя или службы поддержки.

Вы сами можете определить, какие аспекты нужны для анализа вашего продукта.

Как рассчитать CSAT

Для расчёта CSAT используют обратную связь от учащихся. Студентов просят оценить продукт или его элемент от 1 до 5 (от «‎совсем недоволен» до «‎очень доволен»)‎. Это может выглядеть так: «Насколько вам понравился урок?» или «Оцените взаимодействие со службой поддержки».

А потом считают процент оценок «4» и «5» от общего количества оценок.

Пример расчёта CSAT онлайн-курса

Представим, что курс по дизайну интерьеров состоит из размещённых в LMS видеоуроков. После каждого урока студент видит автоматическое сообщение «Оцените урок» и шкалу от 1 до 5.

За время курса студенты дали триста оценок разным урокам, из них 50 пятёрок и 200 четвёрок.

Конечно, может возникнуть вопрос: какой показатель считать хорошим или плохим? Стандартов здесь нет, так что ответ на него могут определить только создатели или заказчики обучения. Главное, смотреть на показатель в динамике и стремиться к его росту.

CSI (Customer Satisfaction Index)

CSI — это тоже метрика удовлетворённости, которая говорит о том, доволен ли студент тем или иным аспектом обучения. Её рассчитывают иначе, чем CSAT, однако принципиальной разницы между ними нет.

Главное — сохранить преемственность по всем продуктам вашей школы, то есть выбрать только одну из метрик и отслеживать её регулярно, чтобы корректно сравнивать показатель одного курса с другими.

Как рассчитать CSI

Студентов тоже просят оценить тот или иной аспект взаимодействия, но в данном случае шкала — десятибалльная.

CSI считают как среднее арифметическое, то есть делят сумму всех оценок на их количество.

Пример расчёта CSI онлайн-курса

Представим, что в том же видеокурсе по дизайну интерьеров разработчики решили измерить CSI. Они просили студентов оценивать уроки по десятибалльной шкале. Студенты дали те же 300 оценок, но в этот раз учитываются и суммируются все оценки от 1 до 10.

Допустим, что общая сумма оценок — 2650.

Как и у CSAT, для CSI нет идеального бенчмарка — каждый сам решает, какой показатель считать приемлемым и к чему стремиться.

NPS (Net Promoter Score)

NPS — это индекс потребительской лояльности. Он показывает отношение студента к онлайн-школе в целом, его готовность рекомендовать друзьям и знакомым обучение именно у вас. А ещё говорит о том, какая у школы репутация среди учащихся и сколько из них готовы быть амбассадорами бренда.

Как рассчитать NPS

Сначала нужно задать студентам вопрос в духе «Готовы ли вы рекомендовать нашу онлайн-школу друзьям и знакомым?» и предложить шкалу с оценками от 0 до 10.

Затем пользователей группируют в зависимости от оценок:

• 0–6 — «критики», то есть те, кто не готовы рекомендовать вас или оставят отрицательный отзыв.
• 7–8 — «‎нейтральные потребители». Они не слишком заинтересованы, но, как правило, довольны.
• 9–10 — «‎сторонники», то есть лояльные и довольные клиенты, готовые продолжать учиться в вашей школе и рекомендовать образовательный продукт.

А расчёт проводят по формуле.

Значение NPS может варьироваться от −100 до +100, в первом случае все ваши клиенты — критики, а во втором — сторонники.

Пример расчёта NPS онлайн-школы

Вы опросили одну тысячу студентов онлайн-школы английского языка, которые пользовались разными её продуктами:

• 50 человек дали NPS-оценки от 0 до 6;
• 150 человек — 7;
• 800 человек — 9 и 10.

В этом случае критики составляют 5% от общего числа, нейтральные пользователи — 15% и сторонники — 80%.

Метрики качества обучения

Студент может быть доволен курсом, проявлять лояльность и совершать повторные покупки, но при этом ничему так и не научиться. Причины бывают разные, но рассчитывать показатели качества обучения нужно обязательно — ведь на кону и реальный результат, и репутация, и бизнес-показатели.

COR (Completion Rate)

COR в русскоязычном пространстве называют доходимостью. Эта метрика демонстрирует, какая часть студентов прошла курс до конца.

На эту метрику могут повлиять не только качество курса и удобство онлайн-платформы, но также личные обстоятельства студентов, количество доступной поддержки на курсе и другие не относящиеся к программы факторы. Однако используется она постоянно.

Как рассчитать COR

Для расчёта достаточно знать количество начавших и завершивших обучение студентов.

Кого считать завершившим обучение, в каждой онлайн-школе решают по-своему. Например, это могут быть студенты, которые сдали дипломную работу, а могут быть те, кто сдал 85% домашних заданий.

Главное, чтобы для всех продуктов школ использовался единый подход определения завершивших обучение. Тогда отслеживание доходимости от курса к курсу будет показательным.

Пример расчёта доходимости на курсе

Школа дизайна считает успешно закончившими обучение тех студентов, которые защитили финальный проект. При этом на курс дизайна интерьеров изначально записалось 180 студентов, а вот до финальной защиты дошли только 75.

То есть школа может считать, что больше половины студентов не дошли до конца курса.

Стоит отметить, что онлайн-курсам свойственна низкая доходимость, причём не только в открытом образовании, но и в корпоративном обучении. Обычно до конца добирается не более 15% самых упорных и увлечённых слушателей. Так что ожидать идеальный показатель по COR не стоит.

Кстати, иногда причиной слишком низких показателей может стать неудачный подход к определению понятия завершения курса. Например, в крупной онлайн-школе как-то решили разобраться, почему показатель доходимости одного курса очень низкий. Оказалось, что завершившими этот курс считали студентов, которые сдали финальную работу, но студенты, доходя до конца курса, не писали эти работы. Они просто не чувствовали в этом необходимости, считая, что уже и так усвоили материал, а большинство к этому моменту даже успевали устроиться на работу по этому направлению.

Тогда создатели курса изменили подход — и стали считать завершившими обучение тех, кто просмотрел 90% уроков и сдал 90% практических работ. И, конечно, в дальнейшем работали над повышением уже этого показателя.

Читайте также:

Чек-лист: 5 способов повысить доходимость на онлайн-курсе

Transformation Rate / Success Rate

Считает ли сам студент обучение результативным? Это покажет относительно новая, но набирающая популярность метрика успешности изменений. Она не учитывает, например, результаты финального теста и даже то, завершил ли студент курс. Главное — уверен ли сам выпускник, что цели его обучения достигнуты.

Как рассчитать Transformation Rate

Для оценки с учащимися проводят интервью перед началом и после завершения курса. На старте обучения их просят заполнить анкету и самостоятельно сформулировать индивидуальную цель обучения. Это может быть, например, трудоустройство по новой специальности, карьерное повышение по текущей, систематизация знаний, погружение в профессиональное комьюнити и так далее.

После завершения обучения студенту возвращают заполненную им анкету, чтобы напомнить, как он первоначально сформулировал учебную цель. А потом задают вопрос: «Изменилась ли ваша цель за время прохождения курса?»

• Если студент ответил «нет», ему задают второй вопрос: «Считаете ли вы, что ваша учебная цель достигнута?»
• Если студент ответил «да», то второй вопрос не задают.

Теперь нужно определить количество студентов, которые считают, что их цель изменилась (то есть, ответили «да» на первый вопрос), и количество студентов, достигших цели (то есть, ответили «нет» на первый вопрос и «да» на второй). А потом рассчитать показатель по формуле. При этом нужно учитывать, что у некоторых в процессе обучения цель меняется.

Пример расчёта Transformation Rate курса

Курс по дизайну интерьеров прошли 100 студентов. На старте курса им предложили заполнить анкету и сформулировать индивидуальную учебную цель. А в конце обучения задали вопрос, изменилась ли эта цель в ходе курса.

Пятнадцать студентов отметили, что цель изменилась. Их поблагодарили за обратную связь и более вопросов не задавали.

У 75 человек учебная цель не изменилась, из них 50 посчитали, что они её достигли.

Читайте также:

Что такое аудит онлайн-курса и как его провести методисту

Процент возвратов

Эта метрика позволяет понять, сколько студентов попросили вернуть деньги за курс и приняли решение остановить обучение.

Возвраты могут быть связаны с разными причинами. И если разработчики не могут влиять на личные обстоятельства студента, то на качество продукта или неоправданные ожидания (когда на курс для новичков попадает профи и наоборот) — могут.

Как рассчитать процент возвратов

Доля возвратов измеряется в общем доходе онлайн-школы за определённый временной период (месяц или квартал).

Пример расчёта возвратов на курсе

Представим, что за март 50 студентов купили онлайн-курс по правильному питанию, стоимость которого составляет 10 тысяч рублей.

Одновременно онлайн-школа оформила ряду студентов возврат на общую сумму 45 тысяч рублей. Кому-то вернули полную стоимость курса, кому-то — только часть за те модули, на которых студент учиться не будет.

Читайте также:

Студенты сливаются с курса! Что делать?

Статистика посещаемости/просмотров

Позволяет оценить, насколько просматриваемы и посещаемы те или иные модули и/или уроки курса, а потом сделать вывод об их востребованности, популярности у студентов.

Если курс синхронный, то посещаемость показывает, насколько студенты мотивированы заниматься в режиме реального времени.

Как рассчитать статистику посещаемости

• На синхронных курсах регистрируют посещаемость. И считают её как процент присутствующих на занятии от общего числа студентов на курсе.
• На асинхронных курсах оценивают статистику просмотров. Для этого нужно, чтобы платформа курса поддерживала такую функцию. Статистику посещаемости и просмотров можно сравнивать между модулями/уроками внутри одного курса. А ещё можно анализировать данные по одним и тем же модулям/урокам разных потоков.

Пример расчёта посещаемости на курсе

Курс по психологии родительства включал 16 синхронных онлайн-занятий. Проходили они дважды в неделю — по средам и субботам. Разработчики курса следили за посещаемостью и обнаружили, что занятия по средам в среднем посещают 50% студентов, а по субботам — не менее 80%.

Создатели курса спросили студентов о причинах пропусков и обнаружили, что начало занятия по средам слишком раннее. При этом студенты видели ценность именно в очном участии. Старт занятий следующего потока сместили на час, и посещаемость выросла в среднем на 15%.

* * *

Метрик много, но это не значит, что в каждом образовательном проекте обязательно использовать их все. Стоит определить, какие лучше всего подходят вам.