Кейс: как улучшить корпоративный курс с помощью бета-тестирования

Руслан Закиров

• Старший педагогический дизайнер в провайдере облачных и АI‑технологий Cloud.ru;
• больше десяти лет в образовании;
• из учителя математики в специалиста по анализу данных (Data Scientist) и обратно к обучению;
• обладатель гранта мэра Москвы за вклад в развитие московского образования.

В корпоративном обучении педдизайнеры часто попадают в ловушку рутины: в какой-то момент мы начинаем «штамповать» курсы буквально на автомате, упуская из виду какие-то важные нюансы. Нам уже чисто на основе своего опыта кажется, что тот или иной приём или формат либо продолжительность обучения точно сработают хорошо, а какие-то понятия мы уже не считаем нужным объяснять сотрудникам в начале курса, потому что кажется, что это и так все знают. Словом, глаз замыливается.

Проверить, действительно ли сотрудники хорошо воспримут курс, помогает бета-тестирование — это когда небольшая группа учащихся проходит курс до официального запуска. Обратная связь от тестировщиков позволяет усовершенствовать программу так, чтобы для основной аудитории процесс учёбы был максимально полезным и комфортным. О том, как провести бета-тестирование и на что оно влияет, расскажу на примере из практики в Cloud.ru.

Зачем проводить бета-тестирование

Для начала стоит кратко сказать, какие преимущества есть у бета-тестирования.

Во-первых, бета-тестирование отражает клиентоцентричный подход к созданию обучения. Иными словами, он полезен тогда, когда курсы не «штампуют» для галочки, а стараются сделать их действительно информативными и полезными для работы. К тому же слушателям будет приятнее и комфортнее учиться на курсе, о котором они знают, что он сделан с учётом их пожеланий (по крайней мере — с учётом пожеланий их коллег, таких же сотрудников, как они сами).

В корпоративном обучении часто забывают о клиентоцентричности: сотрудники вроде бы всё равно придут учиться. Конкретно нашему отделу напоминанием о клиентоцентричности служит тот факт, что мы создаём не только внутреннее, но и внешнее обучение компании. А если мы заботимся о клиентах, странно было бы не заботиться и о собственных коллегах. К тому же клиентоцентричный подход влияет и на нашу работу тоже — её ценность и объёмы.

Представьте, что вы разработали программу для клиентов о том, как пользоваться конкретным продуктом компании. В процессе тестирования вы выяснили, в каком формате лучше донести тот или иной контент, где не хватает подробностей, а где — наоборот, информации слишком много. Доработанный продукт помогает снизить нагрузку и затраты на техническую поддержку: пользователи сами справляются с большинством проблем в два клика. С внутренними курсами ситуация аналогичная.

Во-вторых, бета-тестирование позволяет отделу обучения проверить свои гипотезы и найти то, что стоит улучшить. Причём не только в конкретной программе, но и в процессах работы в целом. Заранее протестированный курс потребует меньшего количества переделок в будущем, позволит добиться более высоких показателей уже на старте — например, удовлетворённости и вовлечённости. Да, это метрики в основном для отдела обучения, но они хорошо говорят о качестве работы этого отдела и об интересе сотрудников к программе.

При этом бета-тестирование не требует длительного периода подготовки или значительных ресурсов. Покажу на примере, сколько это занимает времени, как проходит и чего можно ожидать в результате.

Читайте также:

Мнение: почему корпоративному обучению не стоит отказываться от «метрик тщеславия»

Пример бета-тестирования курса

В качестве примера приведу процесс бета-тестирования курса по продуктам Cloud.ru, который я разрабатывал для сотрудников компании. Курс этот обязательный, его прохождение в рамках бета-тестирования занимает около двух часов (а вместе с заполнением опросников — около трёх). Хотя подобные учебные программы по продуктам в компании уже были, этот курс я собирал буквально с нуля — чтобы объединить всю информацию в единый актуальный и подробный материал.

В процессе разработки я провёл бета-тестирование два раза. В первый раз — чтобы понять, какой формат контента будет лучше отвечать содержанию программы. В ней было много технической информации, теории, так что хотелось отследить, в каком варианте её будет удобнее воспринимать учащимся — в видео, слайдах или лонгридах. Я сделал три прототипа курса — по одному на каждый формат. Затем отобрал 30 сотрудников и разделил на три группы: каждая проходила курс в одном из форматов. В итоге остановился на смешанном варианте — лонгриды и видео: курсы в этих форматах получили больше положительных отзывов и лучшую доходимость.

Во второй раз бета-тестирование провёл, когда курс был уже готов. Мы объединили усилия с коллегой, которая готовила к запуску короткий слайдовый курс по кибербезопасности. То есть тестировали в итоге два курса — мой и её.

О втором бета-тестировании расскажу подробно.

Шаг 1. Разработка механики тестирования

На первом этапе важно продумать, как будет выглядеть процесс бета-тестирования — от набора участников до анализа результатов. Для нашего проекта мы пришли к следующей схеме:

• Публичное объявление о наборе участников и запись на бета-тестирование. О том, как именно мы уведомляли, я поделюсь дальше, а пока скажу о сроке и мотивации. Мы давали сотрудникам четыре дня, чтобы заполнить заявку на участие, после чего форма закрылась. Чтобы дополнительно мотивировать коллег, мы организовали для тестировщиков розыгрыш подарков (брендированные пауэрбанки). Получить приз могли только те, кто прошёл до конца хотя бы один курс из двух.
• Бета-тестирование в течение двух недель. Изначально мы хотели дать сотрудникам десять дней на прохождение двух курсов, но решили, что этого срока может не хватить — ведь люди будут тестировать их в рабочее время. Так что срок тест-драйва увеличили до двух недель. По истечении этого времени доступ к курсам закрывался автоматически. Незадолго до окончания срока на платформе iSpring, где были опубликованы наши курсы, пользователи получали напоминание, что скоро доступ закроется, и просьбу пройти обучение до конца.
• Сбор обратной связи в процессе и после прохождения курсов. Участникам мы предложили подробные анкеты, чтобы получить от них как можно больше информации.
• Анализ результатов. Мы отслеживали не только прямую обратную связь от тестировщиков, но и дополнительные показатели. Например, следили за метрикой затраченного времени — как именно люди проходят курс, где задерживаются, а где, наоборот, проходят слишком быстро.
• Розыгрыш подарков среди участников — его проводили в прямом эфире, победителей выбирали с помощью рандомайзера среди тех, кто прошёл один или оба курса.
• Доработка курсов и финальный релиз.

План мы с коллегой собрали в одном документе, к которому всегда можно было обратиться.

Шаг 2. Разработка опросников

Самый трудный этап в бета-тестировании — разработка вопросов. Их нужно сформулировать так, чтобы получить максимум информации от тестировщиков, вызвать желание поделиться мыслями и впечатлениями. Короткое «Что вы думаете о курсе?» не подойдёт.

В нашем случае опросники состояли из нескольких разделов:

• Польза — мы замеряли NPS, полезность полученных знаний, применимость их в работе.
• Взаимодействие с платформой — вопросы о технической стороне курса. Например, тяжело или легко было воспринимать информацию, не был ли шрифт слишком крупным (или, наоборот, мелким), хорошо ли работало видео.
• Взаимодействие с контентом — эмоциональный и поведенческий отклик. Например, какие чувства у человека возникли, когда он только открыл курс и увидел первую страницу.
• Проверка знаний — тяжело ли было проходить тесты после обучения, было ли достаточно теории, чтобы хорошо с ним справиться.

В анкеты мы включали закрытые и открытые вопросы, отдельно добавляли поля для того, чтобы сотрудники могли поделиться впечатлениями в свободной форме.

Технически это было организовано так: курс по продукту делился на четыре блока, после каждого участники заполняли опросник (там же, где проходило обучение, — на платформе iSpring). Финальную анкету об общих впечатлениях нужно было заполнить уже после прохождения обучения до конца — для этого я использовал внутренний сервис для опросов.

После сбора обратной связи с тремя тестировщиками я провёл отдельные интервью. Выбрал тех, кому очевидно было важно поделиться своими мыслями, у них буквально наболело — по тексту это обычно понятно. Мы обсудили их комментарии, если нужно было, я задавал наводящие вопросы. Например, просил сравнить наш курс с тем, который сотрудник проходил в какой-нибудь онлайн-школе: что из использованных там удачных подходов нам, по его мнению, стоило бы перенять?

Читайте также:

Как совершенствовать готовый учебный курс: разбираем реальный пример

Шаг 3. Реализация

Чтобы набрать участников бета-тестирования, мы заранее заручились поддержкой коллег из внутренних коммуникаций и маркетинга, чтобы донести информацию до сотрудников. Объявление о приглашении желающих принять участие в бета-тестировании распространяли в общем корпоративном канале в соцсетях и в рассылке.

В нашем письме мы:

• Кратко рассказали о курсах, которые предстоит тестировать.
• Объяснили, почему это тестирование имеет значение: нам важно учитывать мнение коллег, сделать обучение для них комфортным и интересным.
• Пообещали учитывать все замечания и комментарии — то есть что участники тестирования обязательно увидят результат своего труда, станут сопричастными к важному проекту.
• Рассказали о розыгрыше подарков и объяснили условия участия.

Отдельно уже на самих бета-курсах мы предупредили участников, что они могут встретить недочёты, ошибки, столкнуться с техническими сложностями — ведь это не финальный продукт. У тестировщиков также были дополнительные возможности об этих сложностях сообщить: во-первых, такой функционал есть на самой платформе, где размещён курс, а во-вторых, у них были наши контакты для связи.

Что мы получили в результате бета-тестирования

Для начала стоит рассказать о цифрах. Весь процесс — от идеи до релиза — занял около полутора месяцев. Поучаствовать в бета-тестировании курса по продуктам компании захотели 130 человек, из них полностью его завершили 25 человек. На курс по кибербезопасности записался 101 человек, а прошёл его до конца 41.

Доходимость выглядит невысокой, но мы и на такую не рассчитывали, честно говоря — надеялись, что хотя бы десять человек примут участие. Ведь это не обязательный курс, а тестирование «чернового варианта».

Кроме того, на показатели повлияли два фактора. Во-первых, параллельно с тестированием компания готовилась к выходу важного продукта, так что многие команды были очень заняты. А во-вторых, некоторым действительно не хватило времени пройти оба курса. Были сотрудники, попросившие продлить доступ к программам, — они возвращались через пару недель и присылали нам отдельный файл с подробными комментариями и впечатлениями (наши формы для сбора обратной связи тогда уже были закрыты).

По итогам анализа результатов опросов и отдельных интервью мы с коллегой действительно переработали кое-что в своих курсах.

Приведу пример некоторых изменений, которые я внёс в свой курс по продуктам компании после бета-тестирования:

• Кое-что поменял в структуре. Оказалось, что не всем была понятна логика изложения, поэтому некоторые блоки курса пришлось поменять местами, где-то добавить дополнительные подводки. Кроме того, по результатам отслеживания, как именно люди проходят курс, сделал блоки более равномерными по времени прохождения, отрегулировал нагрузку на учащихся — видно было, что на некоторых моментах они «пробуксовывали» и элементарно уставали.
• Дополнил курс новой информацией. Не все термины и понятия, которые, казалось, должны быть знакомыми сотрудникам, оказались такими на самом деле. Бета-тестирование выявило, где требуются разъяснения. Ряд блоков дополнил максимально подробными примерами для наглядности.
• Включил больше инфографики и иллюстраций — чтобы немного оживить материал.
• Дополнил систему проверки — неожиданно для меня оказалось, что сотрудникам не хватило трудных вопросов в тестах, да и в целом им хотелось больше вопросов. Им было важно удостовериться, что они действительно поняли материал и могут двигаться дальше со спокойной душой.

Конечно, всё это произошло в результате использования нескольких инструментов одновременно: обратной связи, метрик на платформе и глубинных интервью. Пересобранный курс я показал уже отдельной выборке коллег из разных отделов, которые не видели черновой вариант, не объявляя о новом наборе участников. А после такой дополнительной проверки устроили официальный запуск.

Советы, что учесть в бета-тестировании

Чтобы бета-тестирование принесло максимум пользы, к нему нужно хорошо подготовиться. Вот несколько советов, которые я могу дать на основе своего опыта:

• Тщательно продумывайте вопросы. Самое сложное — это добиться честной обратной связи. Для этого придётся серьёзно поработать над формулировками — чтобы человеку действительно захотелось поделиться своими мыслями и эмоциями, вдумчиво ответить. Сочетайте закрытые и открытые формы вопросов, обязательно оставляйте место для комментариев.
• Дайте побольше каналов связи. Пусть у участников будет больше возможностей с вами связаться, не только через опросник — иногда людям проще зайти в личку в корпоративной социальной сети и указать на ошибку или техническую проблему напрямую.
• Донесите важность бета-тестирования. Сотрудники должны понимать, зачем они участвуют в тестировании курса. Нелишним будет напомнить, что они помогут не просто вам лично, но десяткам, сотням или даже тысячам других людей (зависит, конечно, от размеров аудитории и компании) — потому что мнение участников бета-тестирования позволит сделать обучение лучше, эффективнее и удобнее для всех.
• Мотивируйте к участию. Подарки, корпоративные бейджики, достижения, рейтинги — что угодно, главное задействуйте систему дополнительной мотивации. Давайте признаем: на голом энтузиазме далеко не уедешь, люди не хотят просто так тратить своё время, даже если знают, что это принесёт пользу.
• Выберите верное время для бета-тестирования. Если сотрудники доводят до ума огромный проект в короткие сроки, они вряд ли будут писать подробные комментарии и брать дополнительную нагрузку. Конечно, нагрузка будет всегда, но лучше выбирать наиболее удобный и спокойный для всех слот.

А главное правило бета-тестирования в том, чтобы у него была конкретная цель. Конечно, здорово услышать, что вы сделали классный курс, — но целью это всё же не считается. Что ей может быть? Например, проследить, меняется ли поведение слушателя или совершает ли он конкретное действие. Именно от цели будет зависеть выбор инструментов для сбора обратной связи и анализа, а также то, как вы будете воспринимать полученный фидбэк.