Как измерять качество образовательного опыта в EdTech. И зачем это делать

Этой осенью инициативная группа, состоящая из EdTech-хаба «Сколково», университета Skypro, исследовательского агентства Smart Ranking и аналитической компании EdYes, предложила лидерам рынка онлайн-образования создать так называемый кодекс отрасли. Под ним подразумеваются чёткие критерии оценки качества ДПО, которые помогут обеспечивать студентам высокие образовательные результаты и востребованность у работодателей.

В начале октября в «Сколково» прошли конференция и открытый воркшоп «Критерии оценки качества дополнительного профессионального онлайн-образования», на которых участники выделили 12 метрик качества дополнительного образования в формате онлайн.

В продолжение этой дискуссии, School of Education пригласила экспертов из сферы EdTech на обсуждение не самого очевидного аспекта темы качества образования. Как правило, обычно речь идёт о результатах обучения, то есть, если говорить о ДПО, о получении профессии или повышении квалификации. Здесь же участники дискуссии сфокусировались на дополнительных эффектах образования: получил ли человек инсайты, напрямую не связанные с программой обучения, насколько комфортно он чувствовал себя во время прохождения курса, сформировалось ли среди студентов активное сообщество.

Очевидно, что измерить эти показатели — непростая задача. А стоит ли вообще к этому стремиться, и если да, то зачем? Предлагаем ознакомиться с мнениями экспертов. Полная запись дискуссии «Метрики качества образовательного опыта, а не результата: надо ли оценивать и как?» доступна на YouTube.

Какие аспекты образовательного опыта — самые важные

Декан School of Education и модератор дискуссии Ася Фурсова предложила для начала определить, что именно входит в образовательный опыт студента и какие его составляющие влияют на оценку качества обучения. Спикеры назвали несколько ключевых аспектов.

Осознанность при выборе обучения

Михаил Свердлов, директор по развитию бизнеса Skypro, начал с тезиса о том, что люди вообще очень редко формулируют для себя желаемый образовательный результат. Он привёл данные внутренней статистики группы компаний Skyeng, которые показали, что существенная часть взрослых студентов не имеет чёткого понимания, зачем они идут учить, например, английский:

По словам Михаила, безусловно, есть люди, которые ставят перед собой конкретную цель — выучить английский для эмиграции или повысить квалификацию после потери работы. Но это скорее редкость. И здесь, считает спикер, очень важно обратить внимание, насколько осознанно человек принимает решение, выбирая образовательный продукт. В этом может помочь такой параметр, как отток студентов (или процент возвратов), отражающий количество людей, которые поняли, что выбрали не то, что им нужно, и ушли с курса.

Директор по продукту и руководитель «Гильдии методистов» EdMarket Марина Литвинова поделилась кейсом из своего опыта, связанным с оттоком студентов с курса по обучению профессии технического администратора онлайн-школ. Обнаружилось, что частая причина возвратов — неправильные ожидания студентов. На курсе высокая нагрузка по техническим направлениям, в том числе учащимся нужно самостоятельно осваивать некоторые инструменты. К этому многие оказались не готовы.

В результате методисты EdMarket поменяли содержание открытого промовебинара, который знакомит с профессией, чтобы более наглядно донести до потенциальных студентов, чем именно занимается техадмин. На вводном занятии тоже подробно рассказали, с какими задачами столкнутся учащиеся, показали примеры. Благодаря этому удалось отсеять аудиторию, для которой данный курс точно не подходит, и подготовить студентов к нагрузке, сориентировать их.

Удовлетворённость поддержкой

Марина Литвинова также озвучила актуальную проблему любого группового обучения: в одном потоке оказываются учащиеся с совершенно разными целями. Кто-то действительно намерен освоить новую профессию и погрузиться в контекст, кому-то нужно срочно найти новый способ заработка, чтобы выплачивать кредит, а кто-то идёт на курс за общением. Такая ситуация тоже вызывает вопросы: как сопровождать обучение разнородной группы, как организовать индивидуальную тьюторскую поддержку и что именно измерять, чтобы оценить образовательный опыт людей с совершенно разными целями.

Так, EdMarket с помощью обратной связи измеряет, насколько студенты удовлетворены работой службы сопровождения. Также на каждом потоке обязательно оцениваются NPS, промежуточный и финальный COR и другие метрики.

Читайте также:

Как оценить эффективность онлайн-курса

Формирование сообщества

Директор по образованию в «ПостНаука.Academy» Максим Скрябин считает, что для человека, который входит в новую профессию, очень важно участие в сообществе единомышленников. Это мнение поддержала Марина Литвинова, добавив, что если в процессе обучения студент взаимодействует с другими — например, в небольшой группе или проектной команде, — он получает опыт, который не мог бы приобрести, обучаясь в одиночку, развивает софт-скиллы.

Михаил Свердлов согласился с тем, что общение, поддержка наставников и одногруппников очень важны для студентов:

Совпадение по ценностям и ощущение безопасности

Ася Фурсова упомянула аналитический обзор OECD Learning Compass 2030, который показал, что мировыми трендами в образовании становятся well-being, то есть ощущение безопасности, благополучия, и sustainability — устойчивое развитие. И всё более важным оказывается совпадение ценностей студента и других участников образовательного процесса:

Как оценивать метрики образовательного опыта

После перечисления параметров, важных для образовательного опыта, закономерно возникает вопрос: можно ли их как-то измерить? Эксперты назвали несколько способов это сделать.

Аналитика социальных взаимодействий

Если нужно оценить формирование связей между студентами, то измеримыми показателями могут стать скорость ответов на вопросы в чате, количество вовлечённых в общение людей и число полезных сообщений в расчёте на количество студентов, считает Михаил Свердлов. Измерять это, по мнению эксперта, можно на любой платформе, на которой студенты коммуницируют.

Марина Литвинова поделилась наблюдением, что из учебного чата часто «отпочковываются» отдельные группы: «Кто тоже делает курс по психологии?», «Ребята, кто ещё из Питера?», «Тут есть совсем новички?». Эти небольшие объединения, по словам спикера, тоже можно использовать для оценки активности сообщества:

Максим Скрябин добавил, что метрикой может быть не только переписка в чатах, но вообще любая совместная активность студентов — например, если они самоорганизовываются и регулярно устраивают онлайн-встречи в Zoom.

Также он упомянул, что оценка метрик сообщества входит в социально-учебную аналитику — направление, которое изучает количественные характеристики взаимодействия людей, например плотность связей. Для оценки опыта конкретного студента можно использовать другие социологические методы, например связанные с измерением эго-сети — совокупности социальных связей отдельного человека.

Читайте также:

Что такое научение через наблюдение и почему обучение — это социальный процесс

Проведение опросов и применение рефлексии

Если с метриками социальных взаимодействий всё более-менее понятно, то как измерить субъективные ощущения студента, когда речь идёт о ценностях, ощущении комфорта и других индивидуальных аспектах?

Марина Литвинова отмечает, что эффекты от обучения и вызванные им личностные изменения могут быть непредвиденными:

Читайте также:

Учиться, чтобы меняться: что такое преобразующее обучение взрослых

Конечно, это невозможно оценить количественно. Но, по словам Марины, такие личностные перемены вполне могут отражаться в ответах студента на вопросы «Готовы ли вы нас рекомендовать?» и «Насколько вам понравилось обучение?». Именно на них основываются важные метрики CSI и NPS.

Для того чтобы измерять эти показатели и влиять на них, EdMarket использует обратную связь и рефлексивные методы. Так, через пару недель после начала обучения студента просят заполнить анкету мотивации. В ней содержатся вопросы, насколько учащийся удовлетворён занятиями, что помогает ему учиться и что мешает, как он мотивирует себя на учёбу и чем ему может помочь служба сопровождения.

После завершения каждого модуля студенту предлагают ответить на вопрос, за что он может себя похвалить. Финальный рефлексивный блок применяется на этапе защиты дипломных работ. Здесь у выпускников спрашивают, о чём они думали, когда начинали обучение, что изменилось за это время, что они планируют делать дальше.

Максим Скрябин подкрепил тезис о важности рефлексии научными данными. По его словам, исследования показывают, что группы учащихся, которые применяют рефлексивные методики на занятиях, демонстрируют более высокие результаты в тестах, чем контрольные группы.

Читайте также:

Как совершенствовать уже запущенный курс

Зачем компании измерять и растить метрики образовательного опыта

Формирование сообщества, личностные изменения студента, его удовлетворённость поддержкой в процессе обучения — это замечательно, но имеют ли эти аспекты практическое значение для бизнеса? Для чего EdTech-компании измерять эти параметры и работать над их повышением?

В реальности, как показали ответы экспертов, метрики образовательного опыта и метрики результата тесно связаны между собой. Михаил Свердлов привёл пример из опыта Skyeng, который продемонстрировал, что комфортное ощущение студента напрямую влияет и на образовательные результаты, и на финансовые показатели бизнеса.

Так, компания заметила, что студенты на уровне Beginner — новички в английском — прекращают обучение гораздо быстрее, чем учащиеся на более высоких уровнях. В среднем они проходили всего 15 уроков, тогда как другие — от 28 до 50. Чтобы узнать причину, Skyeng пообщалась со студентами и выяснила, что им было сложно и некомфортно учиться из-за завышенного спроса со стороны преподавателей. Так субъективные ощущения студентов выразились в объективных бизнес-метриках.

В результате компания разработала новый курс, изменив методику преподавания. Образовательные результаты не стали хуже, а отток студентов уменьшился: через пару месяцев после введения новой программы среднее количество занятий у новичков увеличилось до 23.

Марина Литвинова поделилась похожей историей. На курсы EdMarket после первой волны COVID-19 и ограничительных мер пришло много людей, очень далёких от мира технологий. Даже работа в онлайн-редакторах вызывала у них сложности:

Служба сопровождения научилась работать со студентами, не имеющими базовых диджитал-навыков. Также в начале каждого курса учащимся предлагают обучение основам цифровой грамотности. В результате отток студентов из-за застревания в самом начале и страха задавать вопросы, сомнений в своих способностях — уменьшился. По мнению Марины, решение таких проблем можно найти только с помощью личного общения и эмпатии.

Каким должен быть образовательный опыт в новой реальности

Уже почти два года мы живём в мире с пандемией COVID-19 и вынужденными ограничениями, в атмосфере неопределённости и тревожности. Как эти обстоятельства отражаются на образовательном опыте студентов ДПО и что компания может сделать, чтобы его улучшить?

Марина Литвинова справедливо заметила, что и до пандемии у учащихся могли возникнуть личные обстоятельства, мешающие продолжать обучение: высокая нагрузка на работе, проблемы со здоровьем, форс-мажоры. Правда, это были единичные случаи. Сейчас же студенты часто заболевают или испытывают постковидный синдром, многие находятся в состоянии психологической усталости, но всё равно хотят учиться, несмотря на сложную ситуацию. Это, по словам эксперта, ставит непростые задачи перед службой заботы EdMarket: перестроить план обучения, придумать, как помочь человеку встроить учёбу в его жизнь, или обсудить, когда он сможет вернуться к курсу.

Марина рассказала, что такие вопросы решаются индивидуально, зачастую — с помощью личной беседы, потому что в переписке человек не всегда может сформулировать, в чём именно заключается проблема. Кураторы из службы заботы делятся с коллегами кейсами и алгоритмами работы в том или ином случае, но общих правил для подобных ситуаций в компании нет — слишком много нюансов.

Эксперт отметила, что самим сотрудникам тоже нужна поддержка в условиях большой информационной и психологической нагрузки. Для этого в компании проводятся встречи с психологом. Сейчас EdMarket рассматривает возможность предлагать подобную помощь и студентам, оказавшимся в сложной ситуации.

Максим Скрябин добавил, что сейчас запрос на психологическую поддержку действительно очень высок. Спикер упомянул, что в топ самых востребованных курсов на платформе Coursera в 2020 году вошёл курс под названием The Science of Wellbeing — «Наука о благополучии». Максим заметил, что это стремление к осознанности, саморегуляции накладывает отпечаток и на проектирование образовательного опыта:

Эксперты сошлись во мнении, что поддерживающие роли в образовании — тьюторы, менторы, кураторы потоков — играют всё более важную роль. Эффективная работа службы сопровождения или заботы напрямую сказывается на показателях бизнеса. Объективные метрики могут указать на проблему в образовательном опыте студента, но прояснить её причины и найти решение можно только с помощью личного доверительного взаимодействия.