Как EdTech ищет подходы к оценке качества онлайн-курсов

Этой осенью качество дополнительного онлайн-образования стало широко обсуждаемой темой. Всё началось с дискуссии о метриках качества, которую инициировали EdTech-хаб «Сколково», университет Skypro, исследовательское агентство Smart Ranking и аналитическая компания EdYes. По итогам конференции и воркшопа участники выделили 12 основных критериев качества EdTech-обучения.

School of Education подошла к этой теме с другой стороны и пригласила экспертов обсудить дополнительные эффекты образования, напрямую не связанные с программой обучения: личностные изменения студента и его чувство комфорта, формирование активного сообщества и другие. Всё вместе — это качество образовательного опыта.

На ноябрьской конференции «Яндекса» Yet another Conference on Education (YaC/e) тоже поднимались вопросы о качестве онлайн-образования. Что должно быть во главе угла, когда мы говорим о качестве обучения в EdTech в сфере дополнительного профессионального образования? В каком направлении стоит развиваться EdTech-компаниям?

В дискуссии, которую модерировала Дарья Рыжкова, основательница агентства Smart Ranking, приняли участие управляющий партнёр Skyeng Александр Ларьяновский и основатель и руководитель Skillbox Дмитрий Крутов. Запись обсуждения доступна на YouTube, а мы делимся главными тезисами экспертов.

Как оценивать качество онлайн-образования?

По мнению Александра Ларьяновского, хорошо, что рынок онлайн-образования в России достиг того уровня, когда можно говорить о качестве EdTech-продукта — значит, первичная «пена» спала. И с этой точки зрения эксперт считает самыми важными два параметра. Первый — насколько ожидания студента совпали с результатами обучения. Причём это должны быть осознанные представления о желаемом результате, сформированные предыдущим опытом обучения: «Условно говоря, мы приходим в кофейню и, возможно, сами не умеем варить кофе, но можем оценить, что хотели и что получили, насколько одно с другим совпадает».

Второй важный параметр качества, по мнению Александра, — доля академических затрат в экономике проекта. То есть качественным продуктом будет тот, где при прочих равных условиях большая часть расходов — это затраты на контент, оплату труда квалифицированных преподавателей и методистов, а не на маркетинг и «упаковку».

Дмитрий Крутов не согласился с тем, что EdTech-рынок уже дорос до того, что вопрос качества онлайн-образования стал насущным:

Однако уже сейчас, по словам Дмитрия, заметна ключевая особенность измерения качества в EdTech — оно сфокусировано на продукте, а не на целях и ожиданиях студента. Основные принятые метрики позволяют оценить эффективность работы продюсера или методиста, но не помогают узнать, насколько обучение удовлетворило потребности человека, прошедшего курс. По мнению руководителя Skillbox, EdTech-отрасли стоит двигаться к выявлению клиентоцентричных метрик. Но здесь возникает сложность: как определить, насколько курс соответствует ожиданиям студентов, если лишь малая их часть выбирает образовательный продукт осознанно?

Кому и при каких условиях EdTech может принести максимальную пользу?

У человека, который планирует обучение, могут быть крайне зыбкие представления о том, в чём оно заключается и чем будет для него полезно.

По мнению Дмитрия Крутова, возможность присмотреться, попробовать разные варианты очень важна для того, чтобы сформировать корректные ожидания от обучения. ​​Спикер описал нередкий случай, когда человек приходит на курс, например, по разработке на Python, из-за желания сменить профессию на более высокооплачиваемую и только в процессе понимает, что ему было бы гораздо интереснее учиться на дизайнера интерьеров. В таких ситуациях в Skillbox можно поменять программу, а для профориентации компания проводит открытые вебинары по различным курсам и профессиям.

Однако Александр Ларьяновский, в целом соглашаясь с тем, что нужно помогать клиенту сформировать его ожидания, считает, что есть ещё один важный аспект. А именно: сфера EdTech умеет работать лишь с мотивированной аудиторией, но её доля ничтожно мала. «Людей, которые „про саморазвитие“, у которых есть вообще время и деньги на то, чтобы пойти и чему-то поучиться, <…> их мало».

Подавляющая часть взрослых очень много работает, чтобы получать медианную по стране зарплату в 30 тысяч рублей. Они все, напоминает Александр, учились в школе, многие — в университете, но в их картине мира образование не приносит ощутимой пользы. Однако именно для этих людей, считает эксперт, профессиональное обучение способно стать возможностью для роста, способом повысить качество жизни:

Мысль о том, что EdTech-компаниям нужно учиться обращаться к широкой аудитории, искать способ достучаться до неё, а не ориентироваться только на самых ресурсных и мотивированных, Александр более подробно развернул в публикации на своей странице в Facebook*. Его ключевая идея в том, что «на длинной дистанции» выиграют те представители EdTech, которые «научатся измерять свой результат не столько ростом дохода, сколько реальным количеством обученных людей, добившихся от этого значимого изменения своей жизни».

Может ли трудоустройство выпускника быть мерилом качества обучения?

По мнению Дмитрия Крутова, когда заходит речь о дополнительном образовании и последующем трудоустройстве, здесь, кроме профессиональных знаний, возникает вопрос, насколько успешно человек способен встроиться в контекст и культуру профессии или конкретной компании:

Дмитрий отметил, как важно создавать для студентов образовательную среду, способствующую погружению в контекст, в котором им дальше предстоит работать:

Кстати, один из слушателей конференции задал в прямом эфире вопрос: «Почему работодатели относятся с недоверием к тем людям, которые получили профильное образование на онлайн-курсах?» Это тоже вызвало дискуссию. Дмитрий Крутов в ответ заметил, что Skillbox только в 2021 году трудоустроили более 5 тысяч выпускников, причём среди работодателей — созвездие топовых брендов, что ставит под сомнение тезис о недоверии. Тем более что работодатели всегда могут попросить выпускников показать свою итоговую работу, выполненную на курсах, чтобы убедиться в реальности обучения.

В свою очередь Александр Ларьяновский, отвечая на этот же вопрос, обратил внимание на две вещи: во-первых, у формальной системы профессионального образования, а именно — у вузов, за исключением тех, которые в топе сильнейших, тоже не всё идеально с репутацией на рынке труда. Во-вторых, есть стереотип, что главный работодатель в стране — это государство. А в государственные органы и госкомпании действительно «попробуй устроиться без диплома» — и тут имеется в виду диплом вуза, а не курсов.

Кроме того, Александр напомнил, что люди идут учиться не только ради трудоустройства. Образование, по его словам, способно дать некоторое количество дофамина и серотонина, проще говоря — удовольствие от того, что человек смог сделать что-то своими руками. Непонятно, как измерить этот уровень гормонов, но всё равно удовольствие тоже надо как-то учитывать, ведь если человек стал хоть чуть-чуть счастливее, то уж точно всё было не зря.

Не пора ли в EdTech вводить строгий отбор учащихся, как это делают вузы?

Говоря о водоразделе между вузами и EdTech, модератор дискуссии Дарья Рыжкова предположила: может быть, по-настоящему качественное образование по умолчанию не может быть доступным для всех? Она привела в пример слова одного ректора частного университета: «У меня очень строгий отбор, очень тяжёлое обучение и очень тяжёлая дипломная работа. Чуть-чуть остаётся людей, но я уверен, что это квалифицированные специалисты, всё знают».

Александр Ларьяновский в ответ на это заметил, что отбор абитуриентов не благо, а, скорее, недостаток вузов, потому что они не могут масштабироваться. Кроме того, вузы работают с мотивированными людьми, хотя больше всего образование как толчок к перемене жизни, опять же, нужно совсем другим:

Дмитрий Крутов, в свою очередь, добавил, что зачастую после университетов люди идут переучиваться в EdTech. По его мнению, бороться с этим не имеет смысла, и единственное, что можно сделать, — выстраивать коллаборации между вузами и EdTech-компаниями, в которых каждая сторона решала бы свои задачи.