Петля улучшений: как совершенствовать уже запущенный онлайн-курс

Николай Смирнов

• Программный директор направления «Маркетинг» в Skillbox.
• Разработал семь программ Skillbox, в том числе «SMM с нуля», «Таргетолог с нуля», «Таргетолог PRO», «Интернет-маркетолог с нуля».
• Участвовал в запуске как минимум десяти курсов компании.
• Аккредитованный партнёр по образованию myTarget и «ВКонтакте».
• Преподавал в IQBuzz, «Нетологии», 1day1step и «Деловой среде».
• Практик-экспериментатор и только после — управленец.
  

Курс выпущен — и всплывают недочёты, устаревают приведённые преподавателями примеры, меняются интерфейсы программ и приложений, о которых в курсе идёт речь. Приходится постоянно возвращаться, адаптировать, вносить исправления и улучшения.

Внутренний перфекционист в каждом создателе образовательного продукта требует сделать его идеальным сразу, но лучше изначально принять тот факт, что ошибки — это нормально, они будут всегда. Не ошибается только тот, кто ничего не делает. Лучше просто настроиться на то, что работа над ошибками и всякие доделки — нормальная жизнь курса после запуска. Главное — правильно всё распланировать. Расскажу про свой подход.

Что такое петля улучшений

Петлёй улучшений называется процесс постоянного анализа продукта и восприятия его клиентами, усовершенствования и адаптации. С помощью «петли» решаются две ключевые задачи:

Достижение цели. Предположим, наша цель — научить студентов готовить вкусные пирожки с вишней, тогда результатом достижения этой цели будет готовый пирожок и его вкусовые качества. Если в рецепте, приведённом на занятии, было три опечатки, студент всё равно научится замешивать тесто, варить джем и включать духовку, а в результате сделает собственный пирожок. Рвать на себе волосы из-за мелких недочётов бессмысленно, срочно перезаписывать занятие — тоже.

Если курс или вебинар в целом соответствует заложенной в него цели, то исправления можно вносить аккуратно и точечно. Другое дело, что недочёты могут быть серьёзными. Как такие вычислить и что с ними делать, разберём дальше.

Сокращение возвратов. Понятно, что для любой компании, в том числе и образовательной, возвраты проданного продукта означают потерю денег. Возвраты показывают, насколько терпимо студенты относятся к площадке обучения. Например, в Skillbox меньше трёх процентов возвратов. Это означает, что большинство студентов получают то, ради чего пришли. Такую тенденцию нужно поддерживать, улучшать этот опыт, поэтому требуется следить не только за собственными ошибками, но и за впечатлением учеников о конкретном курсе и платформе в целом.

Собираем обратную связь

Есть несколько метрик, которые позволяют нам отслеживать, как курс воспринимает аудитория. Разберём основные.

NPS

Индекс NPS (англ. Net Promoter Score) отражает лояльность покупателя бренду. Суть индекса можно выразить в ключевом вопросе: «Готовы ли вы рекомендовать нашу компанию друзьям?»

Для студента NPS — шкала со значениями от одного (клиент не будет рекомендовать) до десяти (клиент обязательно порекомендует). Если человек действительно готов дать рекомендацию, то обычно ставит оценку 8–9. Средним и даже хорошим уровнем NPS в разных сферах считаются значения от 5 до 8. При этом чем больше аудитория, тем больше будет негатива, чем меньше аудитория — тем больше возможности сделать эту метрику лояльнее.

В LMS Skillbox у нас есть линейка с теми же значениями и вопросом «Готовы ли вы рекомендовать нас?». Студент выбирает любое подходящее, после этого видит три разные категории для рекомендации, которые ему нравятся больше всего, и поле для отзывов.

Динамика количества оценок и значения NPS может быть никак не связана с контентом и его подачей, но она связана с восприятием. Чем лучше ваш бренд и обслуживание клиентской базы, тем лучше будут показатели. Однако полностью ориентироваться только на эту метрику не стоит, её эффективность относительна.

Доходимость

Доходимость до конца курса, или COR (Completion Rate), — важная метрика, которая показывает, как студенты проходят тот или иной курс и насколько хорошо мы удерживаем аудиторию.

Часто создатели курсов рассчитывают на то, что взрослые люди принимают осознанное решение учиться, платят за обучение деньги и поэтому будут проявлять старательность и активность. Но на самом деле они лишь хотят закрыть потребность в своём желании развиваться, однако зачастую не готовы предпринимать усилия для того, чтобы превратить это желание во что-то деятельное.

Возникает проблема: студенты теряют запал уже после просмотра первого модуля, а иногда не доходят даже до него.

Для остальных студентов увеличивать доходимость приходится разными способами. Перечислю несколько из них ниже.

1. Помочь определиться с целями. Например, в Skillbox есть личные консультанты, которые ещё до начала обучения проговаривают с теми, кто записался на курс, основы: ради чего человек пришёл учиться, сколько времени он готов потратить на обучение и как он может получить поддержку (тьюторов, кураторов, в общих чатах). Всё это помогает замотивировать людей на учёбу, и показатель доходимости до конца курса начинает расти.

Читайте также:

6 признаков студента, который дойдёт до конца курса

2. Закрепить успех. Казалось бы, человек, который сдал первое домашнее задание, сдаст и второе, и третье и вообще будет отлично учиться дальше. На самом деле студенты быстро перегорают и постепенно теряют интерес к тому, что начинает у них получаться. Поэтому каждого нужно постоянно мотивировать, подбадривать и поддерживать. В Skillbox для этого есть специальные мотивирующие уроки: до и после первого модуля, на «экваторе» (в середине курса) и в последнем модуле.

Всего несколько роликов по 1,5 минуты — такая поддержка помогает человеку не бросать учёбу, продвигаться всё дальше. После прохождения «экватора» студенты часто оставляют положительные отзывы, им приятна забота, их радует собственный успех. А внутреннее восприятие и доходимость до конца курса напрямую связаны друг с другом.

3. Поддерживать темп обучения. Сейчас распространено микрообучение: одна глобальная задача, разбитая на компетенции или модули, а модуль разбит на небольшие уроки от 5 до 15 минут — это и есть темп. Он зависит и от создателей курса, и от самого ученика. Например, может поддержать студентов банальный, на первый взгляд, урок в начале курса, в котором ведущий курса говорит ему: «Молодец, ты смог пройти первый модуль, теперь мы двигаемся в заданном темпе, ты понял, что ты можешь, что у тебя есть цель, — выпиши её».

С темпом может возникнуть и другая проблема: когда мы готовим курс или занятие, иногда эксперту хочется рассказать о предмете всё, что он знает. Но это бессмысленно, ведь такой гигантский объём информации за короткий срок просто не уложится в головах слушателей, цель не будет достигнута.

Люди забывают то, что они учили, уже через час, поэтому должна быть чёткая структура и система подсказок: тайм-коды к видео и инструкции.

Читайте также:

Микрообучение: плюсы и минусы коротких форматов

CSAT

CSAT (Customer Satisfaction Score) — индекс удовлетворённости клиентов. Если с помощью NPS мы изучаем, насколько студенту зашло обучение в целом, то CSAT позволяет выяснить, насколько конкретные аспекты образовательного процесса ему подходят и как он их воспринимает. На мой взгляд, это самая удачная метрика. С её помощью оценивается несколько направлений: понимание, содержание и подача контента, поэтому собирать CSAT нужно по разным параметрам.

Содержание и подача контента

Важно отметить, что оценивать обязательно надо и то, и другое. Так, в Skillbox мы предлагаем студентам оценить: «Что особенно не понравилось: содержание или подача».

Почему важны оба параметра? Ну, например, у вас может быть блестящий спикер, который отлично зажигает аудиторию, но вот по части содержания его лекции оказываются сплошной «водой». Или наоборот: эксперт даёт на курсе очень насыщенную полезную информацию, но рассказывает ужасно скучно.

Понятно, что эта метрика порадует создателей курса, если найти прекрасного спикера с интересным контентом.

Поэтому я заранее учитываю несколько параметров при поиске преподавателя. Для меня в подборе важно соответствие по трём критериям:

1. Практика. Преподаватель должен практиковать то, чему он учит. Если он временно не работает по специальности или сменил сферу, например, то уже не в курсе всех изменений, которые произошли или происходят на рынке.
2. Опыт выступлений. Имеет значение, где и как этот эксперт преподавал. Например, я по опыту знаю, насколько тяжело выступать где-нибудь в регионах, когда к тебе на семинар людей согнали чуть ли не насильно, по приказу руководства. Среди слушателей всегда найдётся парочка самых недоверчивых, которые будут перебивать каждые десять минут и утверждать, что ты не прав или что твой опыт нерелевантный, — в общем, подозревать в тебе плохого специалиста и пытаться самоутвердиться за твой счёт. Если спикер прошёл такую школу, то в целом может выступать уже перед кем угодно — стрессоустойчивость у него выработана.
3. Удовольствие от своего дела. Спикеру важно в любых обстоятельствах ловить кайф от того, что он делает. Особенно когда аудитории нет, но нужно в течение нескольких часов наговаривать лекцию и при этом желательно, например, шутить, заигрывать с аудиторией.

Я на себе ощутил, насколько это может быть тяжело. Во время записи моих собственных курсов я всё время смешил оператора — и не всегда специально. Например, мы три раза записывали дубли с рассказом о том, какие креативы проходят модерацию в рекламе, — и каждый дубль он смеялся. На монтаже это убрать не получалось, но и модуль получился отличным, поскольку это была очень живая история.

Преподавателя на курсах оценивают не только по тому, как и о чём он рассказывает, но и по домашнему заданию.

Что, если и контент хороший, и педагог отличный, и домашние задания на уровне, а CSAT начинает падать? Стоит поискать провал на другом уровне. Например, могла измениться аудитория, для которой рекламировался и продвигался курс, и у новой аудитории ожидания не совпали с реальностью. Но даже в этом случае не нужно полностью ломать уже созданное, для начала стоит проанализировать, кто к вам пришёл и что им можно дать на этом курсе.

Тесты и вопросы по ним

Без тестов в онлайн-образовании не обойтись — они дают нам возможность проверить, как студенты усвоили материал и готовы ли они к следующему этапу. Проверять тесты на эффективность можно только на уровне корректности восприятия их учащимися. Например, если люди часто заваливают тест, это может быть следствием классической ошибки проектирования: их спрашивают о том, чему не обучали.

Проблема также может крыться в терминах, когда педагоги и студенты говорят на разных языках. Никогда не стоит забывать о том, что студент должен понимать, о чём мы пишем или спрашиваем. Если в материале или тесте есть заведомо новые для аудитории термины, то обязательно нужен глоссарий.

Отзывы

Это неоднозначная метрика, но нужно учитывать любую обратную связь, в том числе:

• оставленную в чатах;
• отправленную по электронной почте;
• переданную преподавателям;
• оставленную вместе с оценкой;
• полученную от внешних экспертов в результате аудита или обучения.

Обратную связь нужно получать отовсюду, а у студентов должна быть возможность её оставить. Читать негативные отзывы при этом очень полезно, чтобы отрабатывать их и не работать потом на возвратах, теряя деньги.

Однако обратная связь может быть связана с конкретными техническими накладками (например, звук пропал, ссылки не работают), а может быть и обычным субъективным мнением. Вот, например, реальные отзывы об одном и том же видео:

• «Слишком быстрая скорость речи, практически нет пауз между темами, не сразу понимаешь, что речь идёт уже о чём-то другом».
• «Этот материал намного лучше, чем был в 2019 году! Если смотреть на скорости 1,25, то ещё лучше!»

Технические баги можно быстро поправить. А вот субъективные мнения — не повод срочно менять контент или его подачу: как говорится, «на вкус все фломастеры разные», у каждого своя точка зрения. Но и полностью игнорировать их тоже не стоит, они могут быть полезны.

Определяем уровень проблемы и скорость её решения

Я делю проблемы учебных курсов на несколько типов по степени важности и скорости, которая требуется на их исправление.

• Стоп-препятствие. Иначе говоря, некая ошибка, зачастую техническая, которая не даёт пройти обучение. Например, со звуком сначала всё было нормально, но по какой-то причине он вдруг пропал.
• Возвраты. Конечно, речь идёт о множественных возвратах. Если один студент потребовал деньги назад, то это повод проанализировать ситуацию, но если возвратов уже три — это система, значит, учащиеся столкнулись с некой общей проблемой.
• Неактуальность контента. Бывает, что инструменты, которые мы используем в работе, меняются — например, те же интерфейсы рабочих приложений, которые использованы в курсе. Со временем информацию можно актуализировать, но нужно понимать, действительно ли изменения критичны и как они влияют на достижение цели.
• Низкий CSAT. Он может означать как плохое качество контента или, например, тестов, так и проблемы с преподавателем. В любом случае на поиск и решение этих проблем потребуется время.
• Проходимость. Проблема может заключаться как в самих курсах, так и в мотивации студентов. Второй случай — тоже в зоне ответственности создателей курсов, но не входит в петлю улучшений курса.

Моментально реагировать нужно на стоп-препятствия, поскольку они непосредственно влияют на возможности обучения.

Работаем над ошибками

Есть три вида реакции на проблемы любого типа, будь то контент, тесты, домашние работы или взаимодействие со студентами.

1. Быстрые правки. С их помощью можно решить большинство технических и небольших проблем: например, качество звука или видео, опечатки, добавление новых примеров, непоследовательность модулей, непонятные формулировки, битые ссылки, недостатки инструкций, проблемы с доступом.
2. Бэклог. Сюда можно отнести, например, дефекты речи лектора, ошибки в теории, устаревшую информацию из содержания курса, неэффективность домашних заданий, нарушение принципов педагогики — когда в структуре занятий нет привычной, выверенной логики. Однако перезапись требует немалых ресурсов, поэтому стоит учитывать, будет ли от такого радикального шага экономическая выгода.
3. Переосмысление. Переосмыслить можно как весь курс, так и отдельные модули. Возможно, у конкурентов получилось лучше и стоит перенять их опыт? А может быть, стоит изменить длительность обучения? Переосмысление может осуществляться как с точки зрения изменения рынка, так и с точки зрения негативных или позитивных отзывов о курсе. Но в любом случае такую оценку стоит делать в рамках полугода-года после запуска курса, иначе переосмысление будет просто невыгодным.

Примеры факапов с выводами из них

Можно, конечно, рассказать про «успешный успех», но это не очень интересно. Расскажу о нескольких проблемных ситуациях из своей рабочей практики — и о том, как мы с ними поступили.

История с внезапной сменой формата

Однажды во время записи курса выяснилось, что спикер довольно сильно заикается. Я понял, что долго слушать его будет невозможно и надо срочно что-то менять. Поэтому мне пришлось сесть с ним рядом и записывать контент вместе: где-то говорил он, где-то я, а в некоторых моментах мы переходили на диалог. Мы никогда так раньше не делали, но дефекты речи спикера — это то, что невозможно в дальнейшем исправить, поэтому пришлось выкручиваться.

История с математической проблемой

В рамках одного из моих курсов по таргетингу я рассказывал, как считается воронка продаж. И ошибся дважды: в презентации приписал лишний ноль, а на записи прочёл написанное. Большинство студентов, конечно, поняли, что это обыкновенная опечатка, но для кого-то она была серьёзным провалом: как же он может учить, если не знает элементарной математики? Исправил я ошибку только через два месяца. Она не мешала студентам изучать тему и дальше получать знания, хоть и вызывала сиюминутное недовольство.

История с «великим экспериментом»

Еще один пример — курс по маркетингу. Я решил поэкспериментировать и заявил: в топку теорию, мы вас на практике научим вести Instagram*. Только практика, только хардкор: создаёшь профиль, био, запускаешь таргет!

Идея была грандиозной — ни много ни мало изменить рынок образования. Но облажался я с ней по полной программе, ведь нарушил устоявшийся паттерн поведения. Оказалось, что студентам всё-таки необходим вводный модуль с объяснением, что такое маркетинг, почему он перспективен, какими терминами маркетологи пользуются и какие у них зоны ответственности. Без теоретической части вау-эффект был равен нулю.

В итоге мы переписали курс, и с новыми вводными получилось гораздо лучше и понятнее для наших студентов.

История, в которой вообще всё пошло не так

У нас был курс «Веб-аналитика с нуля», в котором мы собрали максимум ошибок. Первая заключалась, собственно, в названии. Мы смотрели на него так: на курсе дают базовые знания о предмете «веб-аналитика», значит, обучение идёт с нуля. При этом мы знали, что в эту сферу не приходят совсем со стороны, изучать веб-аналитику полноценно могут только люди с определённым уровнем знаний в маркетинге вообще. Но оказалось, что обыватель воспринимает это примерно так: «Я недавно шил обувь, а теперь смогу стать веб-аналитиком». В итоге те, кто выбрал курс, ориентируясь на фразу «с нуля», не были знакомы даже с азами маркетинга. Неудивительно, что восприятие курса было у них неправильным.

Вторая ошибка: мы дали большую инструкцию по созданию сайта на платформе Tilda, чтобы показывать использование веб-аналитики на практике. Но студенты не были к этому готовы, в их зону компетенций не входит вёрстка сайтов — и мы были не вправе требовать от них этого.

Третья ошибка вскрылась внезапно. В какой-то момент Tilda изменила правила: бесплатный конструктор больше не подразумевал нужного нам инструмента. В силу ограничения сервиса выполнить домашнее задание стало невозможно. Нам это, конечно, добавило седых волос: тысяче учащихся надо было как-то обеспечить платный доступ к сервису. В итоге удалось договориться с платформой на промокоды.

Осталось дать главную рекомендацию: чтобы итераций в петле улучшений было немного, нужно сразу сделать хорошо. Однако ошибки допускают все, с этим нужно просто смириться.