Стало известно, как когнитивная посильность курса влияет на продуктовые метрики

Об этом 18 апреля на конференции «Качественный Edtech: Проектируем опыт студента» рассказал Дмитрий Аббакумов, доктор наук об образовании, преподаватель School of Education и бывший главный психометрик «Яндекс Практикума». Как сообщил Дмитрий, сейчас он работает в крупном образовательном проекте (его название пока не разглашается) в Саудовской Аравии, где он отвечает за связку психометрики и искусственного интеллекта.

Что такое когнитивная посильность

Дмитрий объяснил, что метрика когнитивной посильности родилась в «Яндекс Практикуме». Она показывает, насколько конкретный элемент курса (задача, урок, тема) по силам типичному — то есть среднему — студенту.

Метрика предполагает концепцию «супербалла». Он состоит из совокупности разных критериев и может учитывать:

• насколько верно выполнено задание;
• с какого раза решена задача;
• как проходило взаимодействие с подсказками;
• сколько времени потребовалось для решения;
• взаимодействовал ли студент с другими учащимися и при решении задания, а также как работали прочие факторы, которые отслеживаются образовательной платформой.

Чтобы рассчитать когнитивную посильность задачи, нужно на основе перечисленных критериев оценить, как с ней справился каждый конкретный студент, который её решал. Эти оценки варьируются в диапазоне от 0 до 1. Затем вычисляется среднее значение по отдельной задаче. И когда данных становится достаточно много, появляется устойчивое значение этой метрики (то есть оно уже почти не меняется с добавлением новых результатов студентов).

Когда накопятся данные о том, как учащиеся в среднем справляются с каждым заданием, на их основе можно принимать решения относительно корректировки заданий. Этот же подход можно применить к более крупным юнитам — к урокам, темам и даже целому курсу.

Показатель больше 0,9 говорит о том, что оцениваемая задача настолько простая, что учащимся скучно решать её. Значение в диапазоне между 0,75 и 0,9 считается оптимальным — оно значит, что студентам не слишком легко и не слишком сложно. Показатель в 0,5–0,75 означает, что задание сложное, а значение менее 0,5 говорит о том, что оно фрустрирующее (то есть слишком трудное).

Как когнитивная посильность связана с продуктовыми метриками

Дмитрий описал интересные кейсы с вводным онлайн-курсом (то есть с коротким курсом, который знакомит студентов с особенностями учёбы на платформе, чтобы они могли решить, хотят ли они купить большой платный курс на ней). Эти кейсы показывают, что когнитивная посильность вводного курса влияет на доходимость на вводном курсе, на конверсию из него в платный курс и на удержание клиентов.

В первом примере речь шла о курсе, посильность которого изначально составляла 0,68 (то есть он оказался сложным). Этот курс завершали лишь 14% студентов. Затем курс немного упростили — Дмитрий подчеркнул, что сложные задачи не исключили из него, а доработали. После этого посильность составила 0,76 — то есть она стала нормальной (точнее, достигла нижней границы нормального уровня), и доходить до конца курса стали 27%. Курс снова немного переработали, благодаря чему его посильность стала ещё выше — 0,85, и доля завершающих его учащихся выросла до 42%.

По мнению эксперта, на вводных курсах оптимальная когнитивная посильность отличается от показателя для обычных программ и составляет 0,85–0,9. То есть вводные курсы должны быть проще основных.

Что касается конверсии из прохождения вводного курса в покупку платного продукта, то Дмитрий отметил, что в случаях, когда вводный курс слишком лёгкий или, наоборот, слишком сложный, платные продукты после вводного курса приобретают лишь единицы пользователей. А вот курсы с посильностью в диапазонах 0,75–0,9 и 0,5–0,75 хорошо конвертируются в оплату. Самыми эффективными эксперт назвал программы с посильностью в диапазоне 0,75–0,9 — по его словам, после такого курса платный продукт покупают в два-три раза больше студентов, чем после курса с посильности в 0,5–0,75.

Кроме того, Дмитрий объяснил, что в 40% случаев, когда студент бросает курс, это связано с когнитивной посильностью. То есть таким образом посильность связана с метрикой Retention.

Соответственно, метрика когнитивной посильности позволяет продуктовой команде понять, как стоит скорректировать курс, чтобы сделать его более эффективным.

Кстати, технология расчёта когнитивной посильности получила название «Дельта». Дмитрий Аббакумов презентовал её в ноябре на онлайн-конференции «Яндекса» про образование YaC/e. А в январе на онлайн-встрече, организатором которой тоже стала School of Education, Дмитрий представил упрощённую версию этой технологии, которой могут пользоваться все желающие.