Книжная новинка: «Психометрика в EdTech: первые шаги», Дмитрий Аббакумов

Эта книга — небольшое по объёму, но бесценное по содержанию практическое руководство для тех, кто создаёт образовательные продукты в EdTech и стремится проектировать процесс обучения максимально продуманно. То есть — с опорой на данные о пользовательском опыте, а не просто на собственные представления или предположения о том, как будет хорошо и правильно.

Как поясняет автор книги, в EdTech сейчас используют множество различных метрик, но в них выражена бизнес-составляющая, а вот образовательная составляющая практически отсутствует. Разработчикам обучения эти бизнесовые метрики ничего не говорят о том, осваивают ли студенты нужные знания и чувствуют ли сами прогресс, оптимально ли подобраны формат обучения и учебная нагрузка — и, собственно, происходит ли обучение в самом деле.

А как измерить то, что даст ответы на такие вопросы? Вот с этим как раз и может помочь психометрика. Её можно назвать наукой об измерении невидимого. В отличие от тех наук, в которых измеряют наблюдаемые физические величины (например, объём или массу объектов), психометрика имеет дело с такими категориями, которые невозможно «пощупать», — например, с восприятием информации, вниманием, уровнем знаний у человека. Напрямую их не измерит ни один из существующих инструментов. Поэтому, как пишет автор книги «Психометрика в EdTech: первые шаги» Дмитрий Аббакумов, главный принцип психометрики звучит так:

Дмитрий в прошлом занимал должность главного психометрика «Яндекс Практикума», а сейчас выступает его научным консультантом. Измерениям в образовании он обучался в лаборатории «Гуманитарные технологии» при МГУ имени М. В. Ломоносова, на профильной магистратуре в НИУ ВШЭ и Лёвенском католическом университете (Бельгия). Накопленным опытом и знаниями он поделился в этой книге.

Начинается она с исторической справки о том, как появилась и развивалась психометрика и как ей помогло развитие IT, появление цифровых данных и сложных диагностических моделей для анализа неосязаемых показателей.

Основная часть «Психометрики в EdTech» посвящена погружению в базовую аналитику данных. Автор рассказывает, как правильно вести записи о взаимодействии студента с контентом и платформой (в аналитике это называется логированием), как рассчитывать характеристики контента и студентов и другие важные метрики.

Книга будет полезна и доступна для понимания даже тем, кто никогда сам не работал с данными, но интересуется этим: так как ориентирована она на тех, кто делает первые шаги в психометрике, она не содержит сложных формул, написана понятно и увлекательно. Весь материал автор излагает пошагово и сопровождает фрагментами кода на языке программирования R, специально разработанном для статистического анализа данных. Подробно аннотированный код ко всем главам можно запросить у Дмитрия Аббакумова на его сайте.

Что особенно ценно, примеры метрик и их расчёта в книге не умозрительные, а из опыта «Яндекс Практикума». «Я слегка в шоке, что „Яндекс Практикум“ так открыто делится полезностями. Но кто мы такие, чтобы не поддержать принципы открытой науки?» — пишет в предисловии научный редактор книги Инна Антипкина, доцент, старший научный сотрудник Центра психометрики и измерений в образовании Института образования НИУ ВШЭ, руководитель проектно-учебной лаборатории моделирования и оценивания компетенций в высшем образовании.

Какие конкретно метрики можно почерпнуть из книги? Например, автор использует понятие «супербалла» — он отражает результат учебного действия, выполненного студентом, с корректировкой на число попыток, использование подсказок и другие параметры (их можно ввести на усмотрение аналитика). На основе этого показателя рассчитываются сводные метрики (в книге они названы «суперметриками»), которые разработал Дмитрий:

• посильность описывает трудность учебного контента;
• успеваемость отражает, как студент справляется с уроком, модулем или курсом в целом;
• метрика дельта помогает отслеживать, насколько конкретному студенту легко или трудно даётся обучение, по сравнению со средним показателем;
• прогресс демонстрирует продвижение учащегося по курсу с корректировкой на его значение успеваемости.

Кое-что про эти метрики Дмитрий Аббакумов рассказывал ещё до выхода книги, но в ней, конечно, можно узнать об этом гораздо подробнее.

Важно и то, что автор подтверждает пользу этих метрик. В 10-й главе Дмитрий вместе с коллегами Марией Ковалёвой и Николаем Кутковым рассказывает об исследовании, которое провели в «Яндекс Практикуме», чтобы выяснить, позволяет ли метрика дельта спрогнозировать риск отчисления студента (спойлер: да, позволяет).

Кому будет полезно: методистам, продюсерам, продакт-менеджерам и основателям EdTech-проектов.