Как измерить качество корпоративного обучения: 4 показательных кейса

Метрик эффективности и качества в корпоративном обучении много, и зачастую каждая учебная программа требует своего подхода. Но есть общие для всех трудности, подводные камни и принципы. Эксперты в сфере корпоративного обучения поделились своими кейсами и опытом на первом онлайн-митапе сообщества Digital Learning и «Яндекс.Кью» «Образование». А мы законспектировали их выступления.

Что определяет качество обучения

«Если мы не измеряем <…> метрики качества продукта, связи метрик продукта с финансовым результатом, то мы просто плывём по течению, как бревно, как лес, который сплавляют по реке. Или иногда можем болтаться в проруби», — пошутил в начале встречи модератор, директор по развитию Skypro и куратор сообщества «Образование» «Яндекс.Кью» Михаил Свердлов.

Безусловно, метрики очень нужны. И чтобы в них разобраться, важно для начала понять, какое обучение в целом можно назвать «качественным». Участники дискуссии выделили несколько критериев:

• результат обучения соответствует ожиданиям бизнеса;
• сотрудники сознательно выбирают обучение и видят в нём пользу — то есть воспринимают не как обязаловку, а как полезный инструмент для профессионального и личного развития;
• обучение «прямой дорогой» ведёт к запланированному результату всех стейкхолдеров, включая участников и заказчика от бизнеса;
• обучение позволяет бизнесу ускориться — оптимизировать процессы, быстро и эффективно «встраивать» сотрудников в нужные процессы;
• процесс и результат этого обучения хоть кому-то небезразличен.

Расскажем, каким опытом поделились участники, говоря о конкретных подходах.

Кейс первый

Как оценить курс до его начала

Оценивать качество электронного курса стоит ещё на этапе подготовки — до того, как его увидят сотрудники, считает директор по обучению Цифровой академии ВТБ Ульяна Раведовская.

«Прогнозные» же метрики позволяют как минимум сократить издержки: вовремя исправить ошибки и несовершенства, заменить упражнения, отредактировать тексты и так далее.

Эксперт рассказала, как использовали такую оценку в Корпоративной академии Росатома (где она до недавнего времени возглавляла методический отдел) — в ближайшее время её планируют ввести и в Академии ВТБ.

Каждый курс оценивал экспертно-методический совет, в него входили руководители академии, включая генерального директора. Изначально состав совета был значительным — десять человек. Зато это, по словам спикера, позволило руководству договориться о критериях качества продуктов и смотреть на них с одинаковых позиций. После этого, спустя некоторое время, оценку качества курса стала давать уже комиссия из трёх человек — хотя состав постоянно менялся, входили в неё по-прежнему только руководители.

Курсы оценивали по нескольким критериям:

• Конкретика и реалистичность цели и задач курса.

То есть задачи должны соответствовать планируемым изменениям в знаниях, умениях и установках. Обычно с конкретностью этих задач проблем не возникает, но совсем иначе обстоит дело с реалистичностью. «Очень часто даже к часовым курсам прикручивают задачи — сформировать три каких-то сложных умения. Это нереалистично. Смотреть на эту тему — цели и задачи — бывает очень полезно», — пояснила эксперт.

• Польза интерактивных упражнений.

Обучение должно быть таким, чтобы по его итогам сотрудники могли проанализировать и осознать информацию, которую им дают в рамках курса, а также получить подробную обратную связь. При этом без упражнений на формирование знаний и умений не обойтись, уверена Ульяна Раведовская. И они должны соответствовать цели и задачам курса.

По словам эксперта, типичная ошибка — включать в курс формальные упражнения, которые можно выполнить, просто «пощёлкав» по кнопкам, даже не пройдя сам курс. Конечно, это не то, что нужно. А что нужно на самом деле? «Если мы хотим конкретный результат, совокупность упражнений должна давать возможность продвинуться к этому результату», — пояснила Ульяна.

• Актуальность и объективность содержания курса.

Содержание курса должно соответствовать целям и задачам, современному состоянию науки, а также точке зрения автора инструментов или подходов. Особенно важен здесь последний пункт. «Довольно часто разработчики не перепроверяют [содержание]: они загружают свою интерпретацию какого-то подхода или инструмента и не сверяются с первоисточниками. Тогда мы дезинформируем наших участников», — отметила спикер.

• Лаконичность оформления, простота языка и отсутствие противоречий.

Проще говоря, в курсе не должно быть длинных предложений, которые невозможно понять с первого раза, сложных аббревиатур или, например, перечислений на отдельный абзац.

«Это большой вызов, особенно для людей, которые пришли из синхронного обучения. Мы привыкаем к тому, что, заметив непонимание участника, переформулируем, объясним как-то ещё, ответим на вопросы. [Если] в курсе такой возможности нет, тогда нужно сделать так, чтобы содержание было понятно сразу, не было никаких противоречий. Классическая история с противоречиями — это когда мы одно и то же в разных частях курса называем разными словами, надеемся, что участник догадается, что мы имеем в виду одно и то же», — пояснила Ульяна.

Также в курсе должны быть примеры и реалистичные кейсы.

• Ясность графического оформления курса.

Например, все иконки и кнопки должны быть стандартизированы, важные элементы нужно выделять, а в оформлении использовать не более трёх разных шрифтов.

• Удобство навигации — в три клика.

У учащегося должна быть возможность быстро вернуться к упражнению или нужной информации. Создать обучение «в три клика» — это целое искусство, отметила спикер, но очень важное, потому что, чем дольше путь сотрудника — тем меньше шансов, что обучение будет успешным, а сотрудник будет перепроверять себя.

Ульяна Раведовская отметила, что прогнозные метрики хорошо коррелируют с откликами сотрудников и уровнем NPS, а также с содержанием комментариев, которые оставляют учащиеся, когда оценивают академию в целом.

Читайте также:

Как проектировать корпоративные программы обучения

Кейс второй

Зачем и как оценивать вовлечённость

Вовлечённость — безусловно, одна из ключевых метрик в синхронном обучении. Однако оценивать нужно действия и результаты не только учащихся, но и преподавателей, тренеров. Конечно, проще всего это делать в режиме онлайн с помощью современных технологий. Именно о таком кейсе рассказала CEO Training Space и директор по развитию Oblako Group Тамара Кочарова.

В 2020 году она с коллегами запустила длительную программу для 200 руководителей крупной производственной компании. За обучение отвечали десять тренеров, все они должны были работать по единому стандарту и сценарию. Однако промежуточные результаты — по итогам первого месяца обучения — не соответствовали ожиданиям создателей программы и заказчика.

Возможности платформы, на которой проходило обучение, позволяли провести анализ ситуации: например, посмотреть, как часто учащиеся переключались на другие вкладки в браузере, как быстро завершали тренинг-сессию. Выяснилось, что участники программы выходят из онлайн-комнаты за 20 минут до окончания самой сессии.

Проанализировали и работу самих тренеров. Их оценивали по способности следовать единому сценарию, доходимости и вовлечённости группы, оценке по итогам обучения. Оказалось, например, что если один тренер ведёт сессию почти два часа, другой почему-то — полтора часа. Некоторые тренеры пропускали что-то в сценарии тренинга. Всё это повод для анализа и гипотез. В результате по окончании тренинговых сессий на основе анкет обратной связи удалось определить лидеров и аутсайдеров среди тренеров. Трое из десяти не соответствовали принятым в компании стандартам.

По итогам оценки команда проекта запустила супервизии и программу переподготовки digital-тренеров, а также ввела контроль тайминга сессий. Это принесло плоды: показатели вовлечённости увеличились на 23%. А вот оценка удовлетворённости выросла несущественно — на 0,8%. Тамара Кочарова подчеркнула: если бы оценка качества проводилась только по обратной связи от участников, то можно было бы подумать, что никаких изменений в тренинге не произошло, да и никаких проблем с ним изначально не было. Поэтому полагаться на одну только обратную связь — недостаточно.

Вовлечённость напрямую влияет на результат, который получит заказчик обучения. А зависит она во многом от тренеров. Поэтому Тамара настоятельно советует оценивать работу онлайн-тренеров. «Неважно, Zoom вы используете, Teams, Training Space — сделайте это, потому что от этого зависит вовлечённость. А от вовлечённости зависит качество», — заключила она.

Читайте также:

12 инструментов для образовательных онлайн-мероприятий

Кейс третий

Как оценить качество по таксономии Блума

Один из представленных кейсов был посвящён обязательному обучению в смешанном формате, о нём рассказала руководитель группы развития управленческих компетенций компании Burger King Мария Овчинникова.

Чтобы оценить качество обязательных программ, которые должны пройти сотрудники для перехода на новую должность, специалисты компании построили метрики на основе таксономии Блума. То есть проверку проводят на нескольких уровнях:

• Знание.

Этот показатель оценивают с помощью опросов и тестов, «зашитых» в учебные мероприятия. «То есть не на выходе, а в процессе: тренеры это [замеряют], или внутри курса мы это [замеряем], чтобы понимать, в какой момент человека вернуть назад, чтобы его доучить, чтобы он запомнил то, что должен запомнить», — пояснила Мария Овчинникова.

• Понимание.

Понимание проверяют через тестирование уже по результатам учебных мероприятий. При этом проходной балл решили задать не в начале, а в процессе обучения.

«Мы предположили <…>, каким может быть проходной балл. При этом, когда наши сотрудники начали проходить эти тесты, мы через оценку сложности и дискриминативности этих вопросов <…> оценили, какой реальный показатель внутри. Мы выставили целевое значение — 80% прохождение тестов и по курсам, и по тренингам», — прокомментировала эксперт.

• Проявление и анализ.

Для этого уровня предусмотрена метрика поведенческих индикаторов. Формулировали их специалисты по обучению вместе с внутренними экспертами компании. Замер проводится с помощью чек-листов, которые заполняют руководители, оценивая поведение своих сотрудников через определённые периоды времени после их обучения. Для этого установили конкретные поведенческие индикаторы, оценка делается по шкале: «проявляется», «проявляется нерегулярно», «проявляется стабильно» и «проявляется при определённых условиях».

«Нам важно, какое количество поведенческих индикаторов после обучения проявляется стабильно, по результатам замеров», — прокомментировала Мария.

Есть и отдельная метрика, которая находится вне рамок таксономии, — своевременность. То есть качество обучения зависит не только от его содержания, но и от сроков и времени подготовки сотрудника, которые требует бизнес.

Читайте также:

Тренды и вызовы корпоративного обучения: мнения T&D-специалистов

Кейс четвертый

Как оценить качество обучения по выбору сотрудников

С метриками обязательного обучения всё более-менее понятно, но как рассчитать качество программ, которые сотрудники выбирают по собственному желанию? Об этом рассказала руководитель школы методистов Skillbox и основатель проекта LXD hero Евгения Ращупкина.

Школа методистов — это внутренний проект методического отдела Skillbox, он направлен на создание среды для саморазвития методистов. Обучение для них не является обязательным, а, скорее, представляет набор полезных — в основном синхронных — активностей. Среди них, например, воркшопы, клуб поддержки, Buddy Club, встречи по обмену опытом.

Как рассказала Евгения, для оценки качества в школе методистов используют:

• Целевые метрики.

К ним относятся:

• CSAT, то есть насколько участники довольны учебными мероприятиями;
• количество авторов и спикеров. Например, в четвёртом квартале 2021 года сфокусировались на том, чтобы стимулировать методистов больше выступать на профессиональных мероприятиях и писать экспертные статьи. То есть не только потреблять экспертный контент, но и создавать его, обмениваясь опытом.

• Опережающие метрики.

То есть охват (сколько сотрудников участвуют в обучении), посещаемость синхронных мероприятий (сколько приглашённых реально их посетили) и среднее количество мероприятий на одного человека.

Спикер привела ещё одну довольно необычную метрику, которая опосредованно может говорить о качестве обучающего продукта, хотя сосредоточена в основном на путях развития продукта (то есть какие элементы стоит приоритезировать, а от каких можно отказаться).

Евгения решила измерить product market fit, то есть соответствие продукта рыночному спросу. Она предложила участникам Школы методистов опрос: как они отнесутся к тому, что возможностей для развития — тех или иных фишек школы — будет больше или меньше? А результат посчитала и визуализировала с помощью калькулятора результатов по модели Кано. Он получился довольно неожиданным: оказалось, что методистам хочется ещё больше активностей. Правда, полностью доверять такому опросу Евгения Ращупкина не стала и отметила, что это даёт дополнительный повод для размышлений.

Читайте также:

7 инсайтов о том, чего на самом деле хотят сотрудники от корпоративного обучения

Как не стоит измерять качество

Казалось бы: вот готовые кейсы — бери и делай. Но не всё так просто. Это скорее идеи, от которых можно отталкиваться, разрабатывая свою систему метрик. Мария Овчинникова предупредила, что не стоит слепо копировать чужие метрики и алгоритмы их расчёта. А свои метрики важно формулировать, исходя из собственных целей и обстоятельств, согласовывая с заказчиком. И конечно, очень важно познакомить команду, разрабатывающую обучение, с алгоритмом расчёта выбранных метрик.