Все
Дизайн
Код
Геймдев
Бизнес
Маркетинг
Управление
Кино и музыка
Фотография
Развитие
Здоровье
Деньги
Образование
EdTech
Корп. обучение
Блог Skillbox
Спецпроекты
Профориентация
Как в проблемно-ориентированном обучении используют цифровые данные для оценки качества
Йерун ван Мериенбур, создатель модели 4C/ID, объяснил, чем полезен онлайн в обеспечении непрерывного повышения качества образовательных программ.
Проблемно-ориентированное обучение активно используется во многих университетах мира, и в ДПО оно столь же популярно. Но его эффективность, то есть связь между планируемыми и реальными результатами, зависит от постоянных наблюдений за процессом учёбы и усовершенствований этого процесса.
Именно на этом аспекте сосредоточился профессор обучения и преподавания из Университета Маастрихта Йерун ван Мериенбур в своём выступлении на «Конференции исследователей высшего образования — 2021» НИУ ВШЭ. Пересказываем основные тезисы его выступления.
Зачем нужны аналитические данные и модель LAB-ID
Ван Мериенбур рассказал о модели, которую вместе с коллегами использует для постоянного совершенствования учебных курсов. Она называется LAB-ID, или Learning Analytics Based Instructional Design. Фактически это педагогический дизайн, основанный на аналитике учебных данных. Как отметил специалист, такой подход может стать ответом на вопрос, действительно ли учебные задачи оказывают на процесс обучения и его результаты тот эффект, который заложили проектировщики программы.
Появление LAB-ID стало логичным продолжением двух важных тенденций в сфере профессионального образования — развития методов обучения, основанного на решении задач, и развития смешанного обучения.
Развитие методов обучения, построенного на решении задач
Обучение, основанное на решении задач (task-centered methods), активно изучается на протяжении последних 30 лет. К нему можно отнести проектно- и проблемно-ориентированное обучение (project- и problem-based learning), а также командно-ориентированное обучение (team-based learning) и обучение, построенное на вызовах — «челленджах» (challenge-based learning).
Ван Мериенбур выделяет три основных этапа развития:
- 1990–2000-е — изучение эффективности проблемно-ориентированного обучения. «Есть особые навыки, навыки XXI века. И методы обучения такого рода становятся эффективными, [поскольку] помогают студентам [выработать] необходимые для них навыки коллективной работы, коллективного решения проблем. Это важное преимущество методов, которые построены на решении задач», — отметил ван Мериенбур.
- 2005–2015-е — исследователи рассматривали составляющие проблемно-ориентированного обучения и определяли, почему оно является действенным и что делает его таким. При этом, считает эксперт, именно в этот период стало понятным, что обучение, основанное на решении задач, специфично — его невозможно использовать под копирку в любом университете мира. «Стало абсолютно очевидно, что эффективная система высшего образования должна работать в собственном контексте, она должна развиваться с участием студентов и всех, кто принимает участие в этом процессе», — сказал он.
- 2015-й — настоящее время — перед исследователями встал новый вопрос: как спроектировать программу обучения, основанного на решении проблем, в конкретном контексте. Ответом на этот вопрос стало появление четырёхкомпонентной модели, то есть 4С/ID.
Напомним, что четырьмя компонентами этой модели являются:
- Учебные задачи — проблемы, проекты, челленджи, кейсы, профессиональные задачи. Они, в свою очередь, разделяются на множество мелких подзадач и строятся по принципу «от простого к сложному».
- Сопровождающая информация — основной теоретический материал, который помогает работать над задачами. Это могут быть лекции, учебники, статьи или исследования, полезные примеры.
- Своевременная информация — материал, который студенты получают в процессе работы над задачами.
- Частичная практика — рутинные задачи, позволяющие довести умения до автоматизма и сформировать навыки.
Модель 4С/ID, подчеркнул ван Мериенбур, работает на повышение качества образования и описывает не работу преподавателя, а действия, предлагаемые студентам. Её эффективность подтверждается выводами исследователей: использование модели оказывает значительный эффект на результаты обучения, а особенно эффективна она в высшем образовании (в противоположность базовому, то есть школьному).
Развитие смешанного обучения
Вторая тенденция — появление методов смешанного обучения, то есть совмещение очной и дистанционной формы (blended-learning methods). Во время пандемии оно стало особенно популярным — и в вузах тоже. Ван Мериенбур отмечает, что если грамотно построить смешанное обучение, то можно добиться куда большей гибкости образовательных программ.
Объединение задачецентричного подхода со смешанным форматом позволит сделать обучение максимально эффективным, тем более что все предпосылки для этого уже есть. Однако одна проблема всё же остаётся.
«Мы знаем, как разрабатываются программы, как они внедряются, что делается для повышения эффективности и гибкости программ в высшем образовании. Мы стремимся к использованию комплексных методов обучения, связанных с использованием сочетания различных методик. Мы находимся в процессе непрерывного улучшения наших программ обучения, [но] пока недостаточно эффективно оцениваем их качество, чтобы непрерывно их улучшать», — пояснил профессор.
Почему привычные методы оценки качества не работают
Казалось бы, оценить качество курса — процедура стандартная. Однако, подчёркивает ван Мериенбур, данные, которые обычно для этого используются, далеко не всегда эффективны и достоверны.
В пример он приводит:
- Отметочную систему. Баллы иногда связаны со специфическими учебными задачами, однако баллы сложно конкретизировать и наполнить действительно ценной информацией.
- Оценивание обучения самими студентами. Учащиеся, объясняет эксперт, и сами иногда не знают, что для них полезно. Кроме того, они часто сконцентрированы на поведении преподавателя, могут быть предвзятыми и поэтому зачастую неспособны оценить реальное качество как самого обучения, так и получаемых знаний.
- Экспертное оценивание. Хотя это ценный инструмент оценки качества образования, у сторонних экспертных групп не всегда есть достаточный объём информации или полное представление о том, как та или иная задача влияет на весь процесс обучения и его результаты.
Благодаря смешанному обучению педдизайнерам стало гораздо проще собирать основные данные о том, как студенты проходят курс или выполняют отдельные задания, — вся информация поступает в режиме онлайн. Например, получить их можно в рамках работы с дашбордами, то есть визуализированными данными о прогрессе студентов, развитии их предметно-специфических навыков и компетенций, оценке общего удовлетворения от процесса учёбы.
«Такие показатели могут использоваться преподавателями или командой педагогических дизайнеров для улучшения курса. Это, конечно, процесс итеративный, он должен обеспечивать постоянный цикл улучшений курса», — отметил ван Мериенбур.
При этом, подчеркнул он, индикаторы улучшения относятся к курсу в целом и не призваны, как, например, в модели ADDIE, подгонять программу под нужды индивидуализированного обучения.
Как используют данные в Университете Маастрихта
Недостатки, которые обнаруживаются в процессе обучения, ван Мериенбур называет «индикаторами улучшения». Хотя таких индикаторов множество и в Маастрихте ещё ведётся работа по их выявлению, профессор привёл три любопытных примера. Все они связаны с медицинским образованием, однако их можно переложить и на другие тематические направления.
Пример первый: систематический подход к решению комплексной задачи
Если студентам необходимо выполнить сложную, комплексную задачу, то показателем эффективности здесь выступает системный подход к её решению. Например, в ходе симуляции студентам предлагают провести быструю диагностику «виртуального» пациента с угрожающим жизни заболеванием. Для этого им необходимо воспользоваться известной в медицине процедурой ABCDE, который применяют при срочном оказании первой помощи. Эта последовательность действий, позволяющая обнаружить проблему и купировать её. Для оценивания систематичности используется скрытая марковская модель.
Индикатором улучшения в данном случае будет отсутствие системности в процессе оценки состояния пациента.
«Если уровень [системности] низкий, то это указывает на то, что какие-то изменения надо произвести в курсе или задании, чтобы студенту было легче действовать системно. Например, [мы можем] включить некоторые ограничения, чтобы сама система мешала перейти к следующему этапу, пока он не выполнит то, что полагается на предыдущем этапе. Или [мы можем] увеличить количество методических указаний прямо во время выполнения задания. Например, чтобы появлялись надписи или всплывающие окна, напоминающие, что надо выполнить эту часть задания, прежде чем переходить к следующей», — пояснил ван Мериенбур.
Пример второй: глубинное изучение теоретического материала
Студенты часто используют стандартную стратегию изучения теории — они просто постоянно перечитывают текст. Так появляется иллюзия понимания, отмечает ван Мериенбур, но активного вспоминания, то есть возможности в нужный момент извлечь из памяти нужную информацию, это не даёт.
Показателем эффективности в данном случае будет частое и своевременное использование самопроверки, считает ван Мериенбур. В пример он привёл исследование, проведённое в Университете Восточного Теннесси (США). Студентам-первокурсникам, изучающим фармакологию, предложили проверить свои знания с помощью онлайн-тестирования (оценки за него не выставлялись). Во время теста невозможно было скопировать информацию из браузера, чтобы подсмотреть ответ в поисковых системах. Если ответ был верным — он засчитывался, а если неверным, то студенты видели только сам вопрос и все варианты ответа без указания на правильный. В итоге исследователи обнаружили, что существует серьёзная корреляция между количеством попыток пройти самопроверку и результатами экзаменов: чем больше попыток пройти тест делал студент, тем лучше он потом сдавал экзамен.
При этом, отмечает ван Мериенбур, сильные студенты обычно чаще пользуются такой стратегией, чем слабые, и самопроверка может быть предиктором (предсказывающим признаком) более высоких результатов на экзамене.
«Если [студенты прибегают к самопроверке] недостаточно [часто], то нужно искать пути изменения курса, чтобы мотивировать их использовать самопроверку: сделать её обязательной или просто напрямую учить их стратегии обучения. Причём мы должны смотреть не только на частоту, но и на своевременность, потому что некоторые студенты начинают заниматься самопроверкой за два дня до экзамена, а это надо делать с начала курса. В идеале она должна использоваться регулярно», — резюмировал эксперт.
Однако студенты часто просто не знают о пользе самопроверки, поэтому ван Мериенбур с коллегами начал предлагать учащимся информацию об эффективности такого подхода. Кроме того, в Маастрихте студентам стали задавать разработку экзаменационных заданий для других учащихся, и такая коллективная работа тоже стала частью самопроверки.
«Это открывает глаза студентам. Они отказывались верить, что самопроверка или повторение помогает им добиться лучших результатов. А мы им показали, что получается на практике, — многие студенты были изумлены. <…> Нужно показать им наглядно, что это поможет добиться лучших результатов», — сказал профессор.
Пример третий: сбор и интерпретация информации
Студенты-медики часто выполняют задачи по постановке диагноза, и в этой работе им важно собрать как можно больше данных о пациенте. Но учащиеся склонны рано бросать работу: они делают выводы ещё до того, как вся релевантная информация собрана, а то и вовсе собирают не те данные, что нужны.
Всю работу в Маастрихте студенты выполняют онлайн, поэтому преподаватели или кураторы могут видеть, как быстро она была закончена, что учитывалось при выполнении задания. «Очень важно обеспечить сбор данных полностью, чтобы студенты не выносили решение, если не собрали релевантную информацию. <…> Если студент не собрал всю релевантную информацию, но уже заканчивает задание, заполняя чек-лист, надо использовать различные методы, например мнемонические, чтобы он не завершал работу преждевременно», — объяснил ван Мериенбур.
Безусловно, каждый курс специфичен, поэтому и индикаторы улучшения могут быть разными. Однако такой вариант, как, например, самопроверка, универсален.
«И методы blended-learning, и task-centered-методы хорошо известны, но мы видим, что есть проблема — оценка курсов, это [их] ахиллесова пята. А значит, необходимо срочно увязать конкретную учебную деятельность с предполагаемым эффектом для уровня обучения и эффективности студентов, поскольку эту информацию нам нужно иметь, чтобы заниматься постоянной работой над улучшением курсов. Аналитика учебного процесса и основанные на ней улучшения могут оказать поддержку процессу постоянной оценки и доработки учебных курсов», — заключил ван Мериенбур.
