Все
Истории
Дизайн
Код
Геймдев
Бизнес
Маркетинг
Управление
Кино
Музыка
Проектная фотография
Развитие
Здоровье
Деньги
Образование
EdTech
Корп. обучение
Блог Skillbox
Глоссарий
Спецпроекты
Профориентация
Как оценить эффективность методистов, методологов и педагогических дизайнеров
Просто создать хороший продукт — недостаточно, да и не все специалисты знают, как сделать это осознанно. Что с этим делать — снова обсудили эксперты.
Об анализе качества образовательного продукта уже немало сказано, да и инструменты в целом понятны. А вот тема оценки компетенций и эффективности методиста как никогда актуальна, и здесь инструментарий, во-первых, не столь уж широк, а во-вторых, всё ещё вызывает вопросы.
Проблемы в этой сфере обсудили эксперты на сессии «Компетенции методистов и дизайнера образовательного опыта» в рамках конференции Digital Learning 5.0, организованной одноимённым сообществом. В фокусе оказались четыре вопроса:
- Как показатели эффективности методолога связаны с парадигмами и стратегиями?
- Почему метрики эффективности стоит «декомпозировать»?
- Зачем оценивать сам процесс работы методиста, а не только результат?
- Для чего оценка эффективности нужна самим методистам?
Как показатели эффективности методолога связаны с парадигмами и стратегиями
Дискуссия началась с «вечной темы» — кто же на самом деле такие методологи, методисты и дизайнеры педагогического опыта и за что они отвечают. Безусловно, их функции значительно различаются, однако на деле специалистам в сфере образования — тем более корпоративного — приходится использовать «подмену понятий».
Например, руководитель направления методологии внутреннего обучения soft skills в департаменте управления знаниями «Ростелеком» Анастасия Савельева призналась: если сказать заказчику обучения, что над проектом обучения будет работать педдизайнер, заказчик может не понять. То же самое — в случае с методистом. Те, кто только косвенно относится к образованию, обычно подвержены стереотипам: дизайнер — это человек, кто оформляет презентации, а методист — в лучшем случае какой-то человек из школы или университетского деканата, который занимается планированием уроков.
Казалось бы, в этом нет ничего такого, люди из бизнеса и не обязаны знать такие тонкости. Но в результате создаётся путаница и неразбериха: кем же на самом деле должен быть специалист по обучению и какие функции он должен выполнять. Ведь во многом от этого зависит, как оценивать его работу и эффективность.
Есть и ещё один важный базовый аспект оценки эффективности специалистов в сфере образования, считает основатель Dedu Center, специалист по маркетингу и андрагогике Виктория Дерюгина.
«Если мы говорим про эффективность работы методолога, она на самом деле в том, что он/она/они могут держать некую рамку образовательного опыта. У нас совершенно не принята такая конструкция, у нас не принято говорить про образовательную стратегию — если у нас про методологов не принято говорить, то про стратегию это вообще сразу ругательное какое-то слово (это я как человек, который всю жизнь занимается стратегиями, [говорю])», — отметила она.
По мнению спикера, на российском рынке обучения не развито стратегическое планирование, а без него говорить об эффективности просто неуместно — нет чёткой системы координат, по которой можно было бы судить. В идеале как раз методолог должен быть «хранителем стратегии»: представлять себе некую исходную позицию, в которой находится его организация, роль создаваемого им продукта и основные координаты, то есть начальную и финальную точку обучения. Проще говоря, специалист должен понимать, что он делает, а главное ― зачем.
Сюда же Виктория отнесла другую проблему, которая, по её наблюдениям, характерна для отечественной образовательной индустрии, — причём не только для методологов, но и для других специалистов.
«Мы замечаем, что на российском рынке, в отличие от, например, американского рынка образования, категорически не принято говорить про парадигмы обучения», — сказала она.
По словам спикера, многие методологи удивляются, когда узнают, что за рубежом при проектировании обучения исходят из какой-то определённой парадигмы — например, бихевиоризма, конструктивизма. То есть нашим специалистам эти конструкции часто неизвестны. Хотя, по идее, это большая часть правильного стратегического планирования.
«И это как раз разница, которую мы видим с международным опытом: [там] любой профессионал в этой сфере может ответить на вопрос: „В какой парадигме, какой системе координат я работаю? И почему я в неё верю или нет?“» — прокомментировала Виктория.
По оценке эксперта, только небольшой процент образовательных провайдеров в России осознанно работали с парадигмами или учили этому своих специалистов, хотя оценка их эффективности напрямую зависит от этой рамки.
С этой точкой зрения согласился и доцент практики Университета ИТМО, директор по образованию «ПостНаука.Academy» Максим Скрябин. Он отметил, что для методологов и методистов важным качеством является осознанность своих действий. Однако он подчеркнул, что на практике с этим есть проблемы: «Для некоторых было неожиданно, что можно проектировать обучение по-разному, что [есть] обратный педдизайн, что можно не только этим способом проектировать, а использовать другие подходы».
Почему метрики эффективности стоит «декомпозировать»
Обычно работу специалистов по обучению оценивают с точки зрения внутреннего и внешнего качества, отметил Максим Скрябин. С первой оценкой всё понятно — это различные чек-листы, соответствие определённым стандартам качества, которые проверяют ещё до запуска продукта.
А внешнее качество оценивают с помощью поведенческих метрик, таких как COR, CSI и так далее. Однако, по мнению эксперта, «холодные» данные необходимо декомпозировать: например, если удовлетворённость действительно можно измерить, то с доходимостью или вовлечённостью не всё так просто.
В пример он привёл интерактивный учебник, разработанный «ПостНаука.Academy». Оценивают работу методиста в компании по тому, как пользователь взаимодействует с учебником, в том числе смотрят и на вовлечённость. Но можно ли считать вовлечённость зоной ответственности методиста? Максим Скрябин считает, что стоит разделять эту метрику в целом и отдельные активности, направленные на образовательный результат.
Схожей точки зрения придерживается и Анастасия Савельева. Она считает, что первая проблема измерения любых метрик (и методиста, и всей команды, работающей над образовательным проектом) — в определении того, кто и на что влияет. Допустим, человек успешно прошёл этап тестирования: что конкретно повлияло на его хороший результат? Это учебник был такой замечательный или это тренер молодец? А может, задание было слишком простым и с ним даже без обучения любой легко справится?
Именно поэтому, подчёркивает Анастасия, с метриками стоит обращаться аккуратно и внимательно, чтобы не произошло подмены понятий. Вот какие метрики эффективности специалистов по обучению она предложила использовать:
- насколько учащийся успешен на каждом шагу программы и приводит ли обучение к адекватному решению его задачи;
- успешен ли он в решении практических задач после обучения.
В качестве отдельной важной компетенции Анастасия Савельева выделила умение проектировать и проверять гипотезы: «Это не эффективность в основной работе, но это метрика, на которую мы обращаем внимание, когда выбираем сотрудника или определяем, работать с ним дальше или не работать. Мне кажется, что этот фокус тоже нужно держать, помимо образовательного».
Зачем, кроме результата, оценивать сам процесс работы методиста
Виктория Дерюгина предложила ещё один не совсем обычный метод оценки эффективности методистов (хотя не только их) — анализировать сам процесс создания продукта. Курс мог очень понравиться пользователям, принести нужные результаты и в целом показать высокое качество, однако сделать ещё один такой же нереально.
В то же время курс, который с точки зрения работы методиста был спроектирован идеально, может оказаться бесполезным пользователям. В качестве аналогии спикер привела производство обычного товара — молока.
«Если провести параллель — нас же интересует [не только], понравилось ли наше молоко людям или нет. Нас ещё интересует вопрос, насколько производство этого молока в целом было для нас эффективным. Если мы потратили все деньги на то, чтобы произвести самое лучшее молоко на свете, оно „зашло“, оно классное, но мы не можем воспроизвести это молоко, это единственная партия на земле — это не самый лучший результат, честно говоря», — объяснила Виктория.
Для оценки, по её словам, в Dedu Center используют простой диагностический инструмент — опрос разработчиков и ведущих программы, экспертов, которые участвовали в создании продукта, заказчиков и участников обучения:
«Мы задаём примерно одни и те же вопросы <…> про то, как строился образовательный процесс, процесс производства. Если среди всех перечисленных групп мы слышим совершенно разные представления о том, зачем этот образовательный продукт был нужен и за счёт чего он работает (то есть какая была методология), <…> как происходил процесс создания этого продукта, то в целом это тревожно, это надо поправлять. Честно скажу, у нас все сопротивляются, кто с нами работает. Все говорят: „Нам не до этого“, — но мы стараемся, стоим на своём».
Анастасия Савельева, в свою очередь, добавила, что обратить внимание стоит на систему обмена опытом, ведь проблемы с эффективностью могут зависеть и от неё. «У нас могут параллельно идти несколько крупных проектов. Слава богу, если мы общаемся, обмениваемся опытом по горячим следам — что сломалось, что поменять, что сделать и так далее. Но системно далеко не везде это настроено, это уже следующий уровень. <…> Кажется, что, откровенно, на этом этапе мы много полезности теряем, потому что мы не делаем системно выводы из того, что случилось, и у нас эти грабли продолжают быть разложены по пути следования», — объяснила она.
Читайте также:
Для чего оценка эффективности нужна самим методистам
Обычно оценку эффективности специалиста по обучению рассматривают как инструмент для заказчиков или руководителей. Но на деле такую оценку полезно давать себе всем «образованцам» — и включать рефлексию в план профессионального развития, отметил Максим Скрябин.
Рефлексивные методики, например развитие метакогнитивных навыков, популярны в современных образовательных практиках, однако применяют их те, кто учится, а не те, кто учит. Хотя последним тоже не помешало бы.
«Эту же штуку можно сделать и для самого методиста — чтобы он отрефлексировал свой процесс работы, отрефлексировал, что он, например, узнал в процессе выполнения того или иного проекта», — объяснил спикер.
Если в случае с саморазвитием преимущества рефлексии и оценки своей эффективности в целом очевидны, то в плане карьеры результаты могут быть не столь утешительны. Педдизайнерам, методистам и методологам часто просто некуда расти в профессиональном плане. Конечно, стандартный рост есть: из специалиста можно превратиться в тимлида, руководителя и даже топ-менеджера. Однако, как отмечает Виктория Дерюгина, в реальности рынок не может предложить больше, чем просто переход от одного проекта к другому.
