Что такое аудит онлайн-курса и как его провести методисту

Из этой статьи вы узнаете:

• что представляет собой аудит курса;
• какие данные для него потребуются;
• почему отзывы студентов нужно собирать не только в конце, но и в середине курса;
• чем поможет методисту-аудитору отдел продаж;
• что именно придётся оценивать;
• как внедрить улучшения и не потерять фокус.

Принципы продуктового подхода гласят, что первая версия продукта должна быть разработана в кратчайшие сроки. Это, конечно, распространяется и на сферу образования. Когда курс уже прошли несколько групп, кажется очевидным, что пришла пора проанализировать первые результаты и улучшить программу.

В этом поможет аудит онлайн-курса, то есть комплексный анализ всех его аспектов:

• методологии,
• контента,
• пользовательского опыта,
• обратной связи от студентов.

Аудит покажет сильные и слабые стороны продукта, поможет выяснить, почему студенты не справляются с учёбой или вообще её бросают, какую реальную пользу приносит им обучение и приносит ли в принципе.

Простого изучения базового набора метрик, конечно, недостаточно. Оценивать курс нужно поэтапно и системно. Об этом, к сожалению, многие забывают и сразу переходят к точечным изменениям. На деле важно помнить, что сначала мы отвечаем на глобальные вопросы — достижима ли цель курса, работает ли его структура, как смысловые блоки помогают достичь образовательных результатов. И только потом анализируем сам продукт — от манеры подачи материала до практикоориентированности заданий.

Рассмотрим подробнее, что пригодится в процессе аудита и как проанализировать готовый онлайн-курс.

Шаг №1

Собираем информацию

На первый взгляд всё понятно — выгружаем доступные данные, смотрим на отзывы. На деле источников ценных сведений множество, и лучше собрать всю возможную информацию, чтобы составить полную картину происходящего с курсом.

Аналитика

Есть несколько основных метрик, которые помогут провести анализ и оценку курса. Многое здесь зависит от возможностей платформы и школы, но в целом набор стандартный:

• COR (англ. Completion Rate) — показатель доходимости. Эта метрика демонстрирует, сколько студентов доходит до конца курса и как получается удержать аудиторию.
• CSI (англ. Customer Satisfaction Index) — индекс удовлетворённости клиентов. Позволяет выяснить, довольны ли пользователи теми или иными аспектами обучения: уроками, заданиями, уровнем обратной связи.
• NPS (англ. Net Promoter Score) — индекс лояльности клиентов. Его уровень говорит о готовности ученика порекомендовать курс своим друзьям и знакомым.

Даже базовая аналитика способна выявить первые недочёты. Например, вы увидите, какие уроки или модули становятся причиной оттока студентов, вызывают трудности и недопонимание.

Читайте также:

Как оценить эффективность онлайн-курса

Информация от студентов

Некоторые методисты и продюсеры курсов собирают обратную связь со студентов лишь в конце обучения — и многое упускают из-за этого. Впечатления быстро забываются, поэтому комментарии о подзабытых уроках часто общие, неинформативные. Это риск потерять ценные сведения, поэтому мнения студентов о программе и её отдельных блоках лучше собирать в процессе учёбы.

Вот что понадобится для аудита:

• Быстрые оценки уроков и модулей на платформе.
• Отзывы студентов. Лучше всего, если у них есть возможность сразу оставить комментарии, а не только поставить оценку.
• Анкеты обратной связи. Когда пользователь может рассказать о своих впечатлениях сразу после завершения модуля и урока, шансов получить действительно подробный и информативный отзыв значительно больше. Иногда в процессе учёбы студентам приходят и неплохие идеи для точечных улучшений качества курса. А вот анкета в конце обучения позволит оценить, достиг ли студент заложенной в программе цели.
• Глубинные интервью со студентами. Важно опрашивать разные группы учащихся: и тех, кто окончил курс, и тех, кто решил прекратить обучение на разных этапах. Тогда вы получите максимум разносторонней информации, сможете выявить причины низкой доходимости и исправить слабые места курса.

Глубинные интервью и анкеты обратной связи особенно хорошо работают для немассовых курсов. Например, в моей практике был синхронный курс, когда удалось поговорить со студентами уже после первого потока и ко второму значительно улучшить материал. На основе только количественных метрик сделать выводы было бы сложно, поскольку оценки были единичными.

Дополнительные источники

К ним относятся все, кто так или иначе взаимодействует со студентами:

• Куратор курса.

Такой специалист лучше других знает, какие вопросы чаще всего задают студенты, с какими трудностями сталкиваются, как они воспринимают контент и как меняется их мотивация в процессе обучения.

• Эксперт или проверяющий преподаватель.

Эту роль может выполнять как один специалист, так и целый пул экспертов.

Если курс синхронный, преподаватель может поделиться своими впечатлениями о группе, мотивации и активности учеников. А ещё рассказать о том, как они воспринимают материал и где наблюдаются трудности.

В асинхронном курсе именно проверяющий преподаватель знает, как студенты справляются с домашними заданиями, что вызывает у них основные сложности и вопросы.

• Отдел продаж.

Сотрудники отдела продаж общаются с потенциальными клиентами и могут дать полезные данные об их потребностях и запросах. Именно они расскажут, почему люди отказываются приобретать курс, что волнует вашу аудиторию и какие критерии играют ключевую роль для принятия решения о покупке.

• Конкуренты.

Нелишним будет проанализировать продукты других компаний. Возможно, у них появились новые курсы по нужной теме или обновления в уже известных программах. Обратите внимание и на отзывы их студентов — что им нравится, а что они считают недостатками. Такая информация может стать хорошим источником идей для улучшений качества курса.

Собственные впечатления

Аудит — хорошая возможность посмотреть на курс глазами студента. Именно поэтому проводить процедуру должен сторонний методист, который не участвовал в разработке программы. Пройдите курс от начала до конца и оцените свои впечатления — всё ли вам, как учащемуся, было понятно и удобно.

Однако полагаться только на своё восприятие не стоит. Всё же это очень индивидуальная вещь, да и методист, в отличие от студентов, лишь оценивает курс, а не учится на нём всерьёз. Тем более что тема для него может быть неинтересной. Поэтому прохождение курса не всегда поможет отразить реальную картинку, но с точки зрения пользовательского опыта будет в любом случае полезным.

Шаг №2

Анализируем данные

Когда вся необходимая информация собрана, можно приступать к общему анализу. Учитывайте, что данных может быть много, поэтому старайтесь сохранить фокус.

Целевая аудитория

Проверьте, правильно ли её определили на этапе разработки курса и не появились ли новые вводные. Для этого посмотрите результаты интервью и проанализируйте данные от тех, кто уже прошёл курс.

Проблемы могут встретиться самые разные. Например, курс позиционировался как возможность получить профессию с нуля, а на деле уроки подходят только тем, у кого уже есть определённый фундамент знаний. Новички совсем не понимают, о чём идёт речь, поэтому быстро теряют мотивацию и веру в свои силы. Чтобы этого не произошло, надо создать им так называемые пререквизиты — то есть предваряющий мини-курс или отдельные занятия, которые дадут базовые знания для обучения по основной программе. Например, на курс обучения цифровым профессиям (разработчик, тестировщик, аналитик, интернет-маркетолог и так далее) могут записаться люди, у которых нет элементарной цифровой грамотности — конечно, им понадобится вводный курс.

Читайте также:

Как построить курс, который приведёт новичка-студента к профессиональному мастерству

Цель и образовательные результаты

Проверьте, сформулирована ли цель обучения и соответствует ли она критериям измеримости и достижимости. Проанализируйте, смогли ли студенты достичь этой цели и образовательных результатов, меняется ли их поведение, и если да, то как именно.

Хорошо, если для программы составляли карту компетенций — она поможет выяснить, все ли знания, умения и навыки прорабатывают ученики.

Программа и содержание

Прежде всего, программа должна соотноситься с целями и образовательными результатами. Также важно проверить, насколько логична и понятна её структура — в этом может помочь дорожная карта курса (если она есть).

Вот ещё несколько аспектов, которые помогут оценить содержание курса:

• Повторы и противоречия. С одной стороны, их быть не должно, ведь это предсказуемо отталкивает пользователей. С другой — не каждый повтор случаен. Поэтому нужно отличать «косяки» от элементов программы, которые специально включены для закрепления материала.
• Распределение нагрузки. В идеале программа должна быть гармоничной, чтобы студенту не приходилось на одном модуле вкалывать, а на другом совсем расслабиться и ничего не делать. Посмотрите, как пользователи проходят уроки — какие медленнее, какие быстрее. Возможно, есть и те, после которых студенты вообще бросают курс. Каждый такой случай проанализируйте.
• Соотношение теории и практики. Здесь тоже требуется определённая гармония: если курс состоит из одних упражнений или, наоборот, из голой теории без какой-либо практики, то студенты вряд ли увидят в этом ценность.
• Наличие кейсов и примеров. Практика показывает, что чем их больше и чем ближе они по содержанию к реальным задачам, тем лучше.

Читайте также:

Что такое Learning Journey Map, как создать и использовать этот инструмент

Образовательные форматы

Безусловно, лучше, чтобы в форматах была вариативность, тогда и учиться интереснее, и срабатывает совсем другой механизм запоминания информации. Но выбор того или иного формата в каждом случае должен быть обоснован. Проще говоря, на вопрос «почему здесь именно лонгрид и как он помогает донести знания» у вас должен быть чёткий аргументированный ответ, а не догадки и гипотезы.

Но какой бы ни был формат, важно проверить несколько важных аспектов оформления:

• «Гигиенический» минимум качества. Посмотрите на контент с технической точки зрения. Например, картинка в видео должна быть качественной, а звук чистым. Текст же должен быть удачно свёрстан без съехавших абзацев и смешения четырёх разных шрифтов. Также обратите внимание на ошибки, опечатки, технические огрехи (не съехал ли где-то абзац или картинка, нет ли грамматических ошибок в субтитрах).
• Единый стиль. Каждый элемент должен быть оформлен единообразно, чтобы пользователю было комфортнее с ними работать.
• Работа преподавателя. Оцените, как он взаимодействует с аудиторией, как преподносит материал, даёт ли практические задания.
• Понятные инструменты. Если в рамках курса нужно использовать нестандартные или незнакомые большинству программы, девайсы и приложения, то проверьте, все ли студенты ими владеют или стоит включить в программу вспомогательный урок (например, сделать скринкаст, ролик, инструкцию).

Всё это кажется очевидным, но на деле не совсем так. Например, в одной из наших программ мы постоянно использовали доску Miro для групповой работы. Но оказалось, что не все студенты уверенно владеют базовыми инструментами этого сервиса — это снижало их мотивацию, вызывало дискомфорт. За два дня мы спроектировали мастер-класс, чтобы показать основные принципы работы цифровой доски. И, по оценкам студентов, их уровень владения сервисом увеличился со среднего показателя 1,9 до 7,3, а в дальнейшем они успешно справлялись со всеми заданиями.

Читайте также:

5 типичных трудностей, которые возникают у методистов с экспертами онлайн-курсов

Образовательная среда

Конечно, здорово, если ещё на этапе проектирования методист сумел предугадать возникающие у студентов вопросы и заранее на них ответить. Например, дал на вводном занятии дорожную карту курса и объяснил его структуру, подготовил чёткие инструкции для практических заданий и предусмотрел систему напоминаний.

Но в реальности так происходит далеко не всегда, поэтому проанализировать среду очень важно. В первую очередь она должна быть безопасной. Что это значит? В программе курса есть вводное занятие и знакомство, а студентам объяснили, как строится обучение и чего от них ждут. Проверьте, достаточно ли этого учащимся — возможно, потребуются какие-то дополнительные инструкции, которые сделают процесс обучения удобнее и проще.

Студентам также должны быть понятны правила взаимодействия с другими учащимися, экспертами и кураторами. Как быстро ученики получают ответы на вопросы, насколько развёрнуто дают обратную связь? Чтобы получить представление об этом, можно почитать чат для студентов и попросить куратора предоставить все комментарии и вопросы, которые ему приходили.

Кроме того, проверьте, насколько удобна для учеников платформа, то есть её интерфейс и технические возможности. Например, большинство ваших студентов смотрят курс со смартфонов, значит, стоит подумать, как сделать мобильную версию ещё удобнее и привлекательнее.

Ещё один полезный инструмент, который пригодится в оценке, — путь студента. Его можно составить (или обновить) на основе интервью, опросов и отзывов. Он может дать немало идей для улучшения качества курса.

Оценочные мероприятия

Тщательно проверьте всё, что связано с практикой:

• задания — действительно ли они выполнимы, не слишком ли сложные или, наоборот, чересчур лёгкие;
• инструкции — точно ли они хорошо прописаны и понятны;
• сложности, с которыми сталкиваются студенты в процессе работы над задачами;
• тесты — с ними часто возникают проблемы (например, плохо сформулированы вопросы или они слишком простые);
• соотношение формирующего и итогового оценивания — проверьте, как оценки за практические задания и финальную работу коррелируют друг с другом;
• обратная связь — какой tone of voice у проверяющего преподавателя, насколько расширенные ответы он даёт.

Получить ответы на эти вопросы поможет аналитика: отзывы, анкеты, интервью и, конечно, метрики. Например, проанализируйте, сколько времени и итераций занимают у студентов практические занятия, как долго их проверяют преподаватели и кураторы.

Почему это важно? Приведу в пример курс из моей практики. Время его прохождения должно было занимать два месяца. Когда первый поток учащихся завершил обучение, выяснилось, что первый модуль студенты прошли за семь дней, как планировалось. А вот на следующие у них уходило от двух до трёх недель, то есть в два-три раза больше, чем предполагали создатели программы. С домашними заданиями тоже было непросто — в некоторых модулях количество итераций доходило до четырёх. Мы предположили, что именно в заданиях и заключалась проблема, поскольку выполнение практических работ было для студентов обязательным условием.

Мы полностью переработали задания: создали новые, понятные описания, подготовили шаблоны, чтобы побороть страх студентов перед «чистым листом». Организовали эту практику так, чтобы последовательно приближать учащихся к разработке финальной работы — тогда становится понятна ценность промежуточных домашних заданий и есть стимул постараться, чтобы верно сделать с первого раза.

Отдельно провели брифинг с проверяющим преподавателем и договорились, что он будет давать подробную обратную связь и направлять студентов в поисках верного решения. Это должно было сократить количество попыток выполнить задания.

В результате и время прохождения модулей сократилось (в среднем от семи до 12 дней), и количество итераций сдачи домашних заданий снизилось (в среднем до 2,35).

Читайте также:

Как составить отличное задание для студентов онлайн-курса: гайд для начинающих методистов

Продвижение и продажа

Полезно оценить не только методическую составляющую, но и маркетинговую стратегию: как продаётся курс, о чём спрашивают клиенты, что приводит их к положительному решению о покупке или отказу от неё.

Они подскажут, что ищут клиенты и точно ли рекламное предложение отражает все особенности курса.

Читайте также:

Как запустить свой онлайн-курс и не прогореть

Шаг №3

Работаем над улучшением качества курса

Заведите бэклог, где будут обозначены недочёты, идеи по их исправлению, предполагаемые улучшения. Скорее всего, список будет длинным, но не стоит пытаться охватить всё и сразу. Изменения нужно вводить поэтапно и системно.

Для начала стоит расставить приоритеты:

• Выберите ключевую проблему, которую хотите решить сейчас, и сформулируйте целевой результат.
• Определите, какие улучшения помогут эту проблему решить.
• Оцените, какие из них можно внедрить быстро и недорого, как они повлияют на достижение результата.

Главное, чтобы это не превратилось в латание дыр — поэтому проблемы стоит выбирать существенные. Например, если заменить только отдельные уроки, где были очевидные недостатки, а неудачную в целом структуру программы оставить на потом или вообще не трогать, то результаты вряд ли порадуют. Студенты продолжат «сливаться» с курса, не обращая внимания на изменения.

Именно поэтому и стоит собрать всю возможную информацию, тщательно расставить приоритеты и проверить гипотезы — только тогда курс будет действительно улучшен.