В НИУ ВШЭ разрабатывают модель оценки качества EdTech-продуктов

6 февраля состоялся семинар Института образования НИУ ВШЭ о перспективах EdTech. Выступая на нём, Кирилл Савицкий, ведущий эксперт Лаборатории цифровой трансформации образования, рассказал о прототипе новой модели, которая в будущем позволит оценивать качество EdTech-продуктов по единым критериям, а в перспективе — создать для этого специальный сервис, полезный и EdTech-компании, и обычным людям, выбирающим курсы.

Почему понадобилась модель оценки качества

Спикер объяснил, что EdTech-индустрия очень многообразна, и у разных компаний внутри неё, а также у их клиентов представления о качестве предлагаемых продуктов отличаются. Существует множество подходов к оценке качества. Среди традиционных критериев фигурируют, например, такие как:

• простота доступа, использования и обновления EdTech-продукта;
• UX и UI;
• возможность предоставить обратную связь;
• удовлетворённость студента и педагога.

Проблема, по словам спикера, в том, что используемые критерии не отражают напрямую образовательные результаты. При этом подогнать данные об EdTech-продукте под заданные рамки достаточно легко. Из-за этого возникает проблема доверия (точнее — недоверия) системы образования к EdTech-компаниям, которые к тому же, как отметил Кирилл Савицкий, часто основаны людьми не из сферы образования, а представители этих компаний даже общаются на языке, который непонятен для представителей традиционного образования (скорее всего, имелось в виду, что EdTech использует язык бизнес-метрик).

Кроме того, нужно учитывать, что на внедрение технологии в систему образования уходит обычно много времени (например, около 18 месяцев). Это значит, что в действительности внедряемый продукт оказывается не таким, как тот, который обсуждался изначально.

Всё это говорит о необходимости разработать некую понятную единообразную методику оценивания EdTech-продуктов.

В чём суть разрабатываемой модели

Как объяснил спикер, проект по созданию новой модели вырос из работы, тоже связанной с оценкой качества в онлайн-образовании, которую проводили в рамках проекта «Приоритет-2030». Над проектом работали совместно с образовательной платформой Skillbox и «Вышкой онлайн». Разработчики, по словам Кирилла Савицкого, открыты к сотрудничеству и с другими игроками индустрии.

Специалисты проанализировали 22 международные модели по оценке качества образовательных продуктов и программ. Это позволило выделить основные, наиболее часто представленные категории качества. На основе этого исследователи обозначили шесть разделов в прототипе своей модели:

• процессы (контроль, планирование, доступность и инклюзивность);
• результаты (удовлетворённость преподавателей и студентов, образовательные результаты и динамика карьерной траектории);
• поддержка реализации (поддержка преподавателей и студентов, техподдержка и обеспечение безопасности);
• условия и ресурсы (институциональная поддержка и инфраструктура);
• дизайн продукта (цели обучения, оценивание, активности и среда обучения, содержание и взаимодействие);
• рыночная позиция (этот критерий предложен впервые и включает экономическую модель и позиционирование продукта).

Эти разделы суммарно включают около ста индикаторов, но авторы стараются их верифицировать, чтобы уменьшить это количество. Как пояснил спикер, индикаторы могут быть двух типов:

• инвариантные (то есть релевантные для любых компаний и образовательных задач);
• вариативные (специфичные).

Идея в том, что можно будет взять единую модель и адаптировать её под каждую конкретную образовательную задачу и компанию. Для этого специалисты лаборатории готовы обсуждать с экспертами EdTech-рынка индикаторы оценки и их релевантность.

В результате, по словам Кирилла Савицкого, на базе этой модели можно будет создать рекомендательный сервис, который, с одной стороны, позволит всем EdTech-компаниям оценивать качество своих образовательных продуктов, а с другой — дать инструмент для выбора образовательного продукта людям, которые хотят учиться.

Что об этом думают игроки индустрии

Представители EdTech-рынка, присутствовавшие на семинаре, с большим интересом отнеслись к разработке Лаборатории цифровой трансформации образования. Людмила Кевдина, директор по внешним коммуникациям Maximum Education, и управляющий директор Ultimate Education Никита Подлипский, являющиеся членами совета РАЦИО (Российской ассоциации цифровых инноваций в образовании), сообщили, что ассоциация в настоящее время тоже пытается выработать единые стандарты для оценки качества и заинтересована в объединении усилий с Институтом образования.

Эксперты подтвердили, что сейчас в разных EdTech-компаниях, даже в пределах одной и той же ниши рынка, используются разные подходы и метрики и требуется их синхронизация, поэтому нужно договариваться о единых стандартах. «Это очень важно и для конечного потребителя (простите за это слово), то есть для студента, и для государства, для взаимодействия со всеми субъектами рынка», — констатировал управляющий директор Ultimate Education.

Никита Подлипский также отметил, что у EdTech действительно плотная связь с бизнесом, но есть желание установить связь и с научным сообществом тоже. «Мы к этому стремимся», — сказал он.

А Людмила Кевдина подчеркнула, что единые стандарты качества EdTech-продуктов должны быть понятными и вписываться в систему образования, а система образования должна их принимать: «Это логично, потому что мы часть системы образования. <…> Особенно такие крупные компании, которые давно на рынке работают — и в том числе и с госсектором».

Кстати, наглядным примером расхождения в подходах к оценке качества EdTech-продуктов на семинаре послужила метрика COR, или, как её ещё называют по-простому, доходимость до конца курса. Представителей EdTech-индустрии спросили о том, насколько в их компаниях имеет значение эта метрика. Ответы получились разными. Если представители Maximum Education и «Нетологии» сообщили, что для них это одна из важнейших метрик, то управляющий директор Ultimate Education заметил, что к этой метрике есть вопросы.

Кроме того, норма по доходимости на разных программах может быть разной, это зависит ещё и от целей обучения. Не всегда студент нуждается в том, чтобы строго дойти до финала курса, — где-то людям бывает достаточно получить доступ к профсообществу, трудоустроиться по новой специальности (а это может произойти и до завершения обучения, и тогда факт получения «корочки» в конце обучения уже не имеет значения). К тому же чем выше доходимость, тем выше расходы на одного клиента, пояснил Никита Подлипский: «Поэтому тоже вопрос риторический: нужно ли довести всех до конца с учётом того, что больше потребуется на это часов и ресурсов, чтоб [студента] „дотащить“. А хотел ли он, чтоб его „дотащили“?»

Кстати, на этом же семинаре эксперты обсудили тренды EdTech-индустрии.