Образование EdTech
#статьи

Как EdTech ищет подходы к оценке качества онлайн-курсов

Представители отрасли поделились на конференции YaC/e мнениями, что значит качественное дополнительное образование. И немножко ушли в философию.

Иллюстрация: Катя Павловская для Skillbox Media

Этой осенью качество дополнительного онлайн-образования стало широко обсуждаемой темой. Всё началось с дискуссии о метриках качества, которую инициировали EdTech-хаб «Сколково», университет Skypro, исследовательское агентство Smart Ranking и аналитическая компания EdYes. По итогам конференции и воркшопа участники выделили 12 основных критериев качества EdTech-обучения.

12 предложенных к обсуждению метрик качества онлайн-образования:

  • реферальность, готовность рекомендовать курс;
  • оценка удовлетворённости различными аспектами обучения;
  • transformation rate / success rate ― достиг ли выпускник цели обучения;
  • COR, доля удержания слушателей, доходимость;
  • уровень доверия работодателя конкретной школе-курсу;
  • ROI студента (насколько быстро он окупит своё обучение);
  • актуальность контента курса;
  • взаимодействие школы с работодателями, трудоустройство;
  • рост зарплаты студента в динамике;
  • процент посещаемости в моменте;
  • наличие у курса безопасного пространства, экологичность в плане коммуникации;
  • наличие поддерживающей среды, интеграция в сообщество профессионалов, выпускников.

School of Education подошла к этой теме с другой стороны и пригласила экспертов обсудить дополнительные эффекты образования, напрямую не связанные с программой обучения: личностные изменения студента и его чувство комфорта, формирование активного сообщества и другие. Всё вместе — это качество образовательного опыта.

На ноябрьской конференции «Яндекса» Yet another Conference on Education (YaC/e) тоже поднимались вопросы о качестве онлайн-образования. Что должно быть во главе угла, когда мы говорим о качестве обучения в EdTech в сфере дополнительного профессионального образования? В каком направлении стоит развиваться EdTech-компаниям?

Кадр: «Яндекс» / YouTube

В дискуссии, которую модерировала Дарья Рыжкова, основательница агентства Smart Ranking, приняли участие управляющий партнёр Skyeng Александр Ларьяновский и основатель и руководитель Skillbox Дмитрий Крутов. Запись обсуждения доступна на YouTube, а мы делимся главными тезисами экспертов.

Как оценивать качество онлайн-образования?

По мнению Александра Ларьяновского, хорошо, что рынок онлайн-образования в России достиг того уровня, когда можно говорить о качестве EdTech-продукта — значит, первичная «пена» спала. И с этой точки зрения эксперт считает самыми важными два параметра. Первый — насколько ожидания студента совпали с результатами обучения. Причём это должны быть осознанные представления о желаемом результате, сформированные предыдущим опытом обучения: «Условно говоря, мы приходим в кофейню и, возможно, сами не умеем варить кофе, но можем оценить, что хотели и что получили, насколько одно с другим совпадает».

Второй важный параметр качества, по мнению Александра, — доля академических затрат в экономике проекта. То есть качественным продуктом будет тот, где при прочих равных условиях большая часть расходов — это затраты на контент, оплату труда квалифицированных преподавателей и методистов, а не на маркетинг и «упаковку».

Дмитрий Крутов не согласился с тем, что EdTech-рынок уже дорос до того, что вопрос качества онлайн-образования стал насущным:

«На мой взгляд, мы проживаем всё ещё момент насыщения рынка контентом, и эта цифровизация контента будет продолжаться ещё лет пять. Мы просто будем оцифровывать огромное количество материалов, какие-то лучше, какие-то хуже. И примерно через три-пять лет мы увидим настоящий разговор про качество. <…> Будет больше компаний, рынок будет более разнообразным».

Однако уже сейчас, по словам Дмитрия, заметна ключевая особенность измерения качества в EdTech — оно сфокусировано на продукте, а не на целях и ожиданиях студента. Основные принятые метрики позволяют оценить эффективность работы продюсера или методиста, но не помогают узнать, насколько обучение удовлетворило потребности человека, прошедшего курс. По мнению руководителя Skillbox, EdTech-отрасли стоит двигаться к выявлению клиентоцентричных метрик. Но здесь возникает сложность: как определить, насколько курс соответствует ожиданиям студентов, если лишь малая их часть выбирает образовательный продукт осознанно?

Кадр: «Яндекс» / YouTube

«В основном когда мы берём наши стандартные метрики NPS, CSAT, COR и так далее <…> — если коротко, то все эти метрики — про то, насколько мы хорошие. И мне кажется, что сейчас очень важно выявить клиентоцентричные метрики, которые позволяют правильно идентифицировать: а человек хорошо сформировал своё ожидание?
<…> Если честно, NPS, CSAT, COR — это всё про то, что методист молодец, продюсер молодец, сняли хороший контент, хорошая раскадровка, очень крутая студия, классное дорогое оборудование… Но всё-таки мне кажется, что мы на пути к тому, чтобы про другие метрики — метрики слушателей, метрики студентов — сейчас начать разговаривать».

Кому и при каких условиях EdTech может принести максимальную пользу?

У человека, который планирует обучение, могут быть крайне зыбкие представления о том, в чём оно заключается и чем будет для него полезно.

По мнению Дмитрия Крутова, возможность присмотреться, попробовать разные варианты очень важна для того, чтобы сформировать корректные ожидания от обучения. ​​Спикер описал нередкий случай, когда человек приходит на курс, например, по разработке на Python, из-за желания сменить профессию на более высокооплачиваемую и только в процессе понимает, что ему было бы гораздо интереснее учиться на дизайнера интерьеров. В таких ситуациях в Skillbox можно поменять программу, а для профориентации компания проводит открытые вебинары по различным курсам и профессиям.

Однако Александр Ларьяновский, в целом соглашаясь с тем, что нужно помогать клиенту сформировать его ожидания, считает, что есть ещё один важный аспект. А именно: сфера EdTech умеет работать лишь с мотивированной аудиторией, но её доля ничтожно мала. «Людей, которые „про саморазвитие“, у которых есть вообще время и деньги на то, чтобы пойти и чему-то поучиться, <…> их мало».

Подавляющая часть взрослых очень много работает, чтобы получать медианную по стране зарплату в 30 тысяч рублей. Они все, напоминает Александр, учились в школе, многие — в университете, но в их картине мира образование не приносит ощутимой пользы. Однако именно для этих людей, считает эксперт, профессиональное обучение способно стать возможностью для роста, способом повысить качество жизни:

«Не секрет, что у нас за чертой бедности живёт, даже по официальной статистике, треть населения. Когда мы говорим про качество, надо говорить не про тех высокомотивированных людей, с которыми нам приятно разговаривать, с которыми нам легко, которым можно выбирать программы, которым мы можем разумно объяснять, почему именно надо выбирать эту специальность, а спуститься туда и там научиться с людьми разговаривать на их языке и добиваться там результатов».

Кадр: «Яндекс» / YouTube

Мысль о том, что EdTech-компаниям нужно учиться обращаться к широкой аудитории, искать способ достучаться до неё, а не ориентироваться только на самых ресурсных и мотивированных, Александр более подробно развернул в публикации на своей странице в Facebook*. Его ключевая идея в том, что «на длинной дистанции» выиграют те представители EdTech, которые «научатся измерять свой результат не столько ростом дохода, сколько реальным количеством обученных людей, добившихся от этого значимого изменения своей жизни».

Может ли трудоустройство выпускника быть мерилом качества обучения?

По мнению Дмитрия Крутова, когда заходит речь о дополнительном образовании и последующем трудоустройстве, здесь, кроме профессиональных знаний, возникает вопрос, насколько успешно человек способен встроиться в контекст и культуру профессии или конкретной компании:

«Одна задача — это просто соответствовать хард-скиллам, некоторым базовым требованиям к тому, что должен уметь человек. А другая часть — в некотором смысле культурологическая. Ведь очень важно ещё померить, помимо софт-скиллов, какой он [человек]. С точки зрения уровня культуры он попадёт в „Яндекс“, в Skyeng, в Skillbox и так далее или не попадёт? И как на эту часть мы влияем».

Дмитрий отметил, как важно создавать для студентов образовательную среду, способствующую погружению в контекст, в котором им дальше предстоит работать:

«Всем очень нравится разделять на онлайн и офлайн. Но мне кажется, что ни мы, ни коллеги не занимаемся онлайн-образованием, мы занимаемся смешанными форматами обучения, в которых наша задача — выстраивать ту самую образовательную среду за счёт конференций, митапов, воркшопов, семинаров, личной проверки домашних заданий, дипломных проектов, стажировок и так далее».

Кстати, один из слушателей конференции задал в прямом эфире вопрос: «Почему работодатели относятся с недоверием к тем людям, которые получили профильное образование на онлайн-курсах?» Это тоже вызвало дискуссию. Дмитрий Крутов в ответ заметил, что Skillbox только в 2021 году трудоустроили более 5 тысяч выпускников, причём среди работодателей — созвездие топовых брендов, что ставит под сомнение тезис о недоверии. Тем более что работодатели всегда могут попросить выпускников показать свою итоговую работу, выполненную на курсах, чтобы убедиться в реальности обучения.

В свою очередь Александр Ларьяновский, отвечая на этот же вопрос, обратил внимание на две вещи: во-первых, у формальной системы профессионального образования, а именно — у вузов, за исключением тех, которые в топе сильнейших, тоже не всё идеально с репутацией на рынке труда. Во-вторых, есть стереотип, что главный работодатель в стране — это государство. А в государственные органы и госкомпании действительно «попробуй устроиться без диплома» — и тут имеется в виду диплом вуза, а не курсов.

Кадр: «Яндекс» / YouTube

Кроме того, Александр напомнил, что люди идут учиться не только ради трудоустройства. Образование, по его словам, способно дать некоторое количество дофамина и серотонина, проще говоря — удовольствие от того, что человек смог сделать что-то своими руками. Непонятно, как измерить этот уровень гормонов, но всё равно удовольствие тоже надо как-то учитывать, ведь если человек стал хоть чуть-чуть счастливее, то уж точно всё было не зря.

Не пора ли в EdTech вводить строгий отбор учащихся, как это делают вузы?

Говоря о водоразделе между вузами и EdTech, модератор дискуссии Дарья Рыжкова предположила: может быть, по-настоящему качественное образование по умолчанию не может быть доступным для всех? Она привела в пример слова одного ректора частного университета: «У меня очень строгий отбор, очень тяжёлое обучение и очень тяжёлая дипломная работа. Чуть-чуть остаётся людей, но я уверен, что это квалифицированные специалисты, всё знают».

Александр Ларьяновский в ответ на это заметил, что отбор абитуриентов не благо, а, скорее, недостаток вузов, потому что они не могут масштабироваться. Кроме того, вузы работают с мотивированными людьми, хотя больше всего образование как толчок к перемене жизни, опять же, нужно совсем другим:

«Конечно, тому, кто пробился наверх, легко и приятно помогать. Конечно, среди них можно легко устраивать все эти отборы, как профессиональный спорт отбирает спортсменов. Но давайте всё-таки попробуем сделать так, чтобы вся нация была чуть-чуть здоровее».

Дмитрий Крутов, в свою очередь, добавил, что зачастую после университетов люди идут переучиваться в EdTech. По его мнению, бороться с этим не имеет смысла, и единственное, что можно сделать, — выстраивать коллаборации между вузами и EdTech-компаниями, в которых каждая сторона решала бы свои задачи.

* Решением суда запрещена «деятельность компании Meta Platforms Inc. по реализации продуктов — социальных сетей Facebook* и Instagram* на территории Российской Федерации по основаниям осуществления экстремистской деятельности».

За какие профессии в образовании хорошо платят?

Подробнее

Курс

Профессия Методист с нуля до PRO

Вы прокачаете навыки в разработке учебных программ для онлайн- и офлайн-курсов. Освоите современные педагогические практики, структурируете опыт и станете более востребованным специалистом.

Узнать про курс
Обучение: Профессия Методист с нуля до PRO Узнать больше
Понравилась статья?
Да

Пользуясь нашим сайтом, вы соглашаетесь с тем, что мы используем cookies 🍪

Ссылка скопирована