Какими могут быть единые стандарты оценки качества онлайн-курсов: результаты исследования

Последние три года ключевой темой для всего рынка онлайн-образования стал поиск универсальных подходов к оценке качества курсов. Эксперты связывают этот процесс с переходом молодого EdTech-рынка к стадии зрелости. В прошлом году тема качества онлайн-обучения ещё больше актуализировалась в связи с усиленным вниманием со стороны государственного регулятора к сфере инфобизнеса и трудностями с определением границ между инфобизнесом и образовательным рынком.

Кажется, тема поиска способов оценки качества онлайн-обучения, наконец, перешла от разговоров к практическим действиям: 3 апреля на Московском международном салоне образования (ММСО) были представлены результаты исследования существующих практик и подходов к оценке образовательных продуктов. Это часть большой совместной работы исследователей Института образования НИУ ВШЭ и продуктово-методической команды Skillbox по созданию новой модели оценки качества онлайн-образования.

Результаты первой части этого проекта — исследовательской — на ММСО представили ведущий эксперт Лаборатории цифровой трансформации образования Института образования НИУ ВШЭ Кирилл Савицкий и руководитель методического отдела Skillbox Марина Харахордина. Там же состоялось обсуждение первых результатов.

Какие модели оценки рассмотрели исследователи

Первые подходы к оценке цифровых образовательных продуктов появились в 1990-е годы (например, модель Дугласа Меррила 1995 года), но они давно устарели, поскольку с тех пор сильно изменились и сами технологии, и их роль в обучении — технологии перестали быть всего лишь способом доставки информации учащимся. Более поздние модели оценивания учитывают такие критерии, как:

• простоту доступа, использования и обновления;
• дизайн (UX и UI);
• возможность предоставлять учащимся обратную связь;
• профессиональное развитие педагога;
• удовлетворённость студента и педагога;
• обеспечение мотивации студента и возможности самообразования;
• время включения в учебный процесс.

Исследователи изучили и обобщили 22 стандарта и модели оценки качества образовательных технологий и продуктов, представленные на мировом рынке. Некоторые разработаны в вузах, другие — в ассоциациях образовательных организаций, одни действуют на уровне отдельного университета, другие — на уровне объединения нескольких организаций, третьи — на национальном и даже международном уровне. Среди этих стандартов и моделей есть, например, такие (в отчёте об исследовании можно прочитать краткое описание их сути):

• Система стандартов iNACOL, разработанная в 2011 году в США для оценки качества онлайн-курсов и преподавания в онлайн-среде.
• Совокупность стандартов Quality Matters — разработана тоже в США коллективом вузов и очень популярна во многих штатах. Она может использоваться на разных уровнях образования и сфокусирована в первую очередь на обеспечении качества разработки онлайн-продукта.
• Модель TELAS, разработанная Австралазийским обществом по использованию компьютеров в системе высшего образования совместно с преподавателями вузов — для оценки и аккредитации онлайн-обучения в секторе высшего образования.
• Система показателей качества для администрирования онлайн-программ OLC (Online Learning Consortium, то есть Консорциума онлайн-обучения), тоже разработана в США. Она ориентирована на использование как в образовательной, так и в продуктово-управленческой деятельности.
• USDLA — стандарты, разработанные американской Ассоциацией дистанционного образования.
• Международная система сертификации онлайн-курсов EOCCS. Её разработали в EFMD — некоммерческой международной ассоциации по развитию менеджмента, которая является признанным во всём мире органом по аккредитации бизнес-школ, их программ, а также корпоративных университетов.
• Система оценивания Blackboard Exemplary Course Program от Anthology — объединения четырёх глобальных компаний в области образовательных технологий: Blackboard, Campus Management, Campus Labs и iModules.
• Модель «5 столпов качества Sloan-C». Она разработана в Sloan-C — консорциуме вузов, предлагающих онлайн-программы и специализирующихся на изучении и повышении качества образования.
• Открытая модель оценки качества курсов OSCQR. Разработана государственным университетом Нью-Йорка SUNY Online и благодаря партнёрству с Консорциумом онлайн-обучения стала базовым инструментом оценки качества курсов.
• Система оценки эффективности обучения на онлайн-курсах, разработанная в одном из государственных университетов Гонконга.
• Инструмент A Quality Review for Online Courses («Обзор качества онлайн-курсов»), разработанный в Канаде.

Авторы исследования отмечают, что в зависимости от конкретного применяемого инструмента оценка качества может фокусироваться на дизайне курсов, целях обучения, учебных материалах, технологиях и других аспектах.

Кроме того, если некоторые модели и стандарты оценивают качество при разработке продукта, то другие — на протяжении всего жизненного цикла (например, для этого предназначена модель, предложенная Моной Тернус и Дебби Фолк, а также модель, разработанная Вэйюань Чжан и Ю Лин Чен).

Какие общие выводы сделали исследователи

Авторы исследования обнаружили много общего у разных моделей и систем оценивания, но есть и различия:

• Рассмотренные методы предлагают разные рамки оценивания и различные уровни индикаторов. На первом месте по распространённости — критерии управления, на втором — практики обучения, на третьем — поддержка преподавателей и студентов, на четвёртом — использование технологий и оценивание. А в качестве результата обучения на онлайн-курсе чаще всего рассматривают удовлетворённость студентов и преподавателей, но не объективные результаты обучения.

• У разных моделей могут сильно различаться цели разработки, адаптации и использования рамок оценивания качества онлайн-курсов.
• Инструменты оценивания, которые применяются в пределах одного вуза, позволяют систематизировать лучшие практики в разработке и реализации курсов и включить их в методические рекомендации для преподавателей. Но в то же время инструменты, разработанные с учётом потребностей конкретного вуза, зачастую нельзя использовать в других образовательных контекстах.
• Самый популярный инструмент оценивания на национальном уровне — совокупность стандартов Quality Matters.

Зачем провели это исследование

Как отмечают авторы работы, развитие информационных технологий и повышение их доступности привело к тому, что в сфере образования появилось множество EdTech-проектов, созданных без участия государства или традиционных образовательных организаций. При этом наблюдается несколько проблем, касающихся качества образовательного продукта, то есть онлайн-курсов:

• Нет единого подхода к тому, что следует включать в понятие качества. Его можно оценивать по-разному в различных образовательных контекстах — и на практике в разных компаниях качество действительно оценивают по-своему.
• Частные образовательные проекты редко проводят исследования для выбора оптимального с точки зрения качества решения.
• Если исследования и проводят, то, как правило, сосредотачиваются на данных о вовлечённости и обратной связи от пользователей. При этом половина компаний использует для анализа исключительно внутренние источники данных, что не очень объективно. И мало кто исследует эффективность продуктов в контексте измерения образовательных результатов.

В рамках дискуссии на площадке ММСО ведущий эксперт Лаборатории цифровой трансформации образования Института образования НИУ ВШЭ Кирилл Савицкий отметил: 51% компаний утверждают, что у них есть данные, подтверждающие эффективность их образовательных продуктов. При этом на самом деле всего 7% могут реально доказать это и представить объективные данные, действительно подтверждающие результаты, о которых заявляют.

В таких условиях отсутствия единых стандартов качества трудно гарантировать корректное использование технологий, образовательный результат и другие параметры продукта, считают авторы исследования. А если бы существовали общепринятые рамки и механизмы оценивания цифровых образовательных продуктов, то:

• это помогло бы гарантировать достоверность результатов исследований продуктов;
• пользователям было бы проще выбирать качественные образовательные продукты;
• сами компании, разрабатывающие образовательные продукты, не несли бы репутационные риски.

Участники российского EdTech-рынка неоднократно пытались объединиться как раз для того, чтобы разработать единые стандарты качества. Очередным шагом к этому стало создание Российской ассоциации цифровых инноваций в образовании (РАЦИО). Анализ лучших мировых практик по оценке качества цифровых образовательных продуктов, который провели специалисты Института образования ВШЭ и Skillbox, может стать теоретической базой для разработки таких стандартов.

При этом авторы исследования считают, что при разработке модели оценивания важно учитывать не только качество образовательного инструмента и сопутствующего ему контекста, но и качество образовательного опыта, который получают учащиеся. Помимо этого, нужно проработать актуальную систему критериев оценки качества продукта на разных этапах его жизненного цикла, а не только на стадии его создания.

Читайте также:

Как измерять качество образовательного опыта в EdTech. И зачем это делать

Как исследование прокомментировали на ММСО

В ходе дискуссии, состоявшейся на ММСО, эксперты подробнее обсудили причины, побуждающие рынок выработать единые стандарты оценки цифровых образовательных продуктов, и трудности, которые осложняют этот процесс.

Так, Людмила Кевдина, руководитель блока «Качество» в РАЦИО и директор по внешним коммуникациям в Maximum Education, отметила, что EdTech-рынок находится в такой стадии, когда количество онлайн-школ постоянно увеличивается. Эти школы совершенно разные — и по размеру, и по характеру предлагаемых продуктов. Из-за большого разнообразия пользователю очень сложно выбрать то, что ему подходит. Непонимание, как выбирать, приводит к недовольству результатом, а это, в свою очередь, может приводить к конфликтным ситуациям в информационном поле:

Людмила также отметила, что сейчас не только РАЦИО, но и другие участники рынка пытаются создать подход к оценке качества образовательных продуктов. По её мнению, это хорошо — если будет создано несколько разных подходов, то можно будет их сравнить и в результате сделать одну модель для всех.

Кирилл Савицкий, в свою очередь, пояснил, в чём проблема того, что EdTech-компании сейчас пользуются слишком большим количеством разных метрик для оценки качества образовательных продуктов:

В развитие этой темы руководитель методического отдела Skillbox Марина Харахордина напомнила, что EdTech-компании постоянно пытаются понять, какие критерии нужны для оценки качества курсов. Например, несколько лет назад Высшая школа экономики разработала инструмент для оценки того, как выпускники достигли своих целей. И многие крупные игроки рынка им воспользовались, а затем обсудили, единственный ли это инструмент, с помощью которого можно оценивать качество. И, конечно, оказалось, что не единственный.

Кроме того, по словам Марины, компании считают необходимым отслеживать уровень удовлетворённости студентов обучением, которое они прошли. И сам процесс обучения тоже нужно оценивать — это позволит выстраивать его так, чтобы он приводил к результатам. Именно из-за наличия множества важных факторов нужен комплексный фреймворк для них.

Дарья Рыжкова, основательница агентства Smart Ranking, которое регулярно составляет рейтинг EdTech-компаний по размеру выручки, рассказала о любопытном исследовании. Её агентство некоторое время назад опрашивало участников EdTech-рынка о том, что они считают качественным обучением, какие метрики используют и как их измеряют.

Идея, по словам Дарьи, заключалась в том, чтобы, собрав эти метрики, вывести некий интегральный показатель. Но вывести его не удалось, потому что, как выяснилось, по мнению представителей рынка, качество нужно оценивать, в частности, по тому, довольны ли результатами сами выпускники. А поскольку агентство не проводило опросы выпускников курсов, проверить этот критерий тогда не представлялось возможным.

Сейчас Smart Ranking совместно с мессенджером «Пачка» проводит новое исследование, в рамках которого игроков индустрии снова опрашивали о том, какие метрики они считают важными для оценки качества. По словам Дарьи, опрос показал, что за время, прошедшее после попытки первого исследования, система метрик ещё больше усложнилась: если раньше все считали довольно стандартные показатели, то теперь «у каждого есть какой-то свой подход и своя методология».

Никита Подлипский, управляющий директор Ultimate Education в целом согласился с тем, что на рынке должна быть единая методология измерения качества с конкретными критериями, но в очередной раз высказался и о сложностях, связанных с выработкой такой универсальной модели. Если взять, например, доходимость, то в одной онлайн-школе она может быть на уровне 90%, а в другой — 25%. Но это не значит, что во второй школе некачественное обучение — просто в некоторых случаях студенту не так важно дойти до конца и получить диплом, потому что не в каждой профессии его наличие является обязательным условием для работы. Поэтому пытаться «выровнять единую температуру по больнице» рискованно, подчеркнул он.

Читайте также:

Чего ожидать от рынка EdTech в 2024 году?

Как будут использованы данные исследования

Итак, конечная цель всего большого проекта, в рамках которого исследователи изучили подходы к оценке образовательных продуктов, — в разработке стандарта качества онлайн-курсов для российской EdTech-индустрии. Модель планируется сформулировать до конца 2024 года. Предполагается, что это будет многокомпонентная модель с основными показателями для оценки качества образовательного продукта. Для каждого показателя будут сформулированы критерии оценки. А для валидации этой модели планируется привлечь ведущих экспертов российского рынка онлайн-образования. После этого её протестируют и презентуют. Модель будет состоять из четырёх основных блоков: организация бизнес-процессов, разработка продукта, реализация продукта и его рыночная позиция. В каждом из блоков будет свой перечень критериев.

Ожидается, что этот подход позволит пользователям выбирать те программы, которые наиболее точно отражают их запрос, а создателям курсов — разрабатывать актуальные программы, удовлетворяющие запросы студентов.

Благодаря разработке этого стандарта качества, как отметила на дискуссии Марина Харахордина, может появиться навигатор онлайн-курсов, — то есть онлайн-площадка, где пользователи смогут по понятным критериям подбирать себе курсы, а те, кто их разрабатывает, — учитывать выработанные критерии при создании образовательных продуктов.