Технология «Яндекс Практикума» для совершенствования онлайн-курсов стала доступна всем

25 января на онлайн-встрече, организованной School of Education, главный психометрик «Яндекс Практикума» Дмитрий Аббакумов представил упрощённую версию диагностической технологии, которую используют в компании. Она позволяет измерять уровень когнитивной посильности заданий в курсе.

Что это за разработка

Речь идёт о технологии под названием «Дельта». В ноябре на онлайн-конференции «Яндекса» про образование YaC/e Дмитрий уже рассказал, как она устроена.

Суть в том, что технология помогает рассчитать так называемую метрику когнитивной посильности, которая показывает, насколько конкретный элемент курса (задача, урок или тема) по силам среднему — то есть типичному — учащемуся.

Изначально специалисты, разрабатывая курс, ориентируются именно на среднего студента — точнее, на то, каким они его представляют. А когда готовый курс начинают изучать реальные люди, измеряется фактическая когнитивная посильность.

Во-первых, эта метрика показывает, насколько представление команды о возможностях среднего учащегося совпадает с реальностью. Отклонения называют дельтами. Если студент справился с заданием хуже, чем ожидали разработчики курса, значит, дельта отрицательная — учащемуся было труднее, чем типичному студенту. Если лучше — то отклонение положительное, студенту было легче, чем планировалось. И если какие-то элементы курса вызывают много отклонений (то есть у множества студентов), это значит, что контент необходимо пересмотреть — сделать его проще или, наоборот, сложнее. Таким образом, с помощью технологии «Дельта» происходит донастройка контента на типичного студента.

Во-вторых, поскольку анализ отклонений ведётся по каждому студенту, результат помогает распознать их индивидуальные проблемы и предоставить поддержку. Кроме того, аналитический алгоритм позволяет прогнозировать доходимость на курсах.

Что представляет собой открытая версия технологии

Представленная на онлайн-встрече версия технологии называется «Дельта-М». Как объяснил эксперт, буква М означает, что это мини-вариант той разработки, которую используют в «Яндекс Практикуме». Дмитрий значительно упростил её, чтобы сделать более универсальной — то есть чтобы её могли использовать и небольшие компании, разрабатывающие онлайн-курсы.

Дело в том, что изначально технология создана под большие объёмы данных «Яндекс Практикума» и применить её в маленькой онлайн-школе было бы очень проблематично. Кроме того, «Дельта» — это непростая технология, работающая на довольно сложных расчётах и алгоритмах. То есть было бы затруднительно передать её любому желающему. Наконец, она защищена авторскими правами — они принадлежат «Яндекс Практикуму». Однако благодаря адаптации технологией можно совершенно легально поделиться со всеми.

Дмитрий отметил, что «Дельта-М» будет полезна в образовательных проектах, где уроки содержат задания, проверяемые автоматически (машиной), — например, тесты. Дельты предлагается рассчитывать исходя из того, сколько попыток потребовалось студенту, чтобы решить конкретную задачу. Нужно вычислить, как конкретный учащийся справился с конкретной задачей, а затем сравнить это с результатом условного среднего студента. А когда накопятся данные о том, как учащиеся в среднем справляются с каждым заданием, можно принимать решения относительно корректировки заданий. Этот же подход можно применить к более крупным юнитам — к урокам, темам и даже целому курсу.

Кроме того, эксперт объяснил, как оценивать полученные показатели. Когнитивная посильность определяется в диапазоне от 0 до 1. А дельта может находиться в интервале от -1 до 1. Если представить, что 99% студентов решили задачу неверно, а конкретный учащийся справился с ней, то его дельта равна 1. И наоборот: если 99% студентов справились с заданием, а конкретный учащийся нет, то его дельта равна -1.

Предполагается, что оптимальная дельта находится в диапазоне между 0,75 и 0,9. Это означает, что студентам не слишком легко и не слишком сложно. Если показатель получился больше 0,9, значит, задача настолько простая, что учащимся скучно решать её. Задания с дельтой 0,5–0,75 — сложные, а со значением менее 0,5 — фрустрирующие (то есть слишком трудные). Дмитрий отметил, что те, кому чересчур сложно или слишком легко учиться, гораздо реже доходят до конца курса и приобретают новые.

Для удобства автор технологии создал страничку в Notion, где содержится пошаговая инструкция по её использованию. Там также показано, какие данные необходимы для этого и на основании каких формул делаются расчёты. Помимо этого, там приведён код на языке R. А ещё пользователям доступна запись встречи, состоявшейся 25 января.