Как работает доказательное образование в EdTech: опыт «Яндекс Практикума»

15 ноября состоялась ежегодная онлайн-конференция «Яндекса» про образование YaC/e. Представители «Яндекс Практикума» рассказали, как в компании применяют доказательный подход к обучению. Эту тему раскрыли в двух выступлениях:

• руководитель Лаборатории образовательных технологий в «Яндекс Практикуме» Мария Ковалёва — в докладе «Методическая экспертиза и наука о данных в поисках доказательств в образовании»;
• главный психометрик компании Дмитрий Аббакумов — в докладе «Загадочная история Бенджамина Блума и другие секреты доказательного образования».

Пересказываем основные тезисы их выступлений.

Что такое доказательное образование и какие «доказательства» используются

Спикеры объяснили понятие доказательного образования как конструирование образования на основе доказательств, полученных научным методом. Прежде всего речь идёт о регулярном проведении статистических исследований, которые, например, помогут узнать, как учатся разные студенты, какие образовательные методы работают лучше или хуже, как сделать обучение более эффективным, а также о сборе цифровых данных и их анализе. Как отметила Мария Ковалёва, подход подразумевает масштабирование эффективных методик, использование искусственного интеллекта и машинного обучения.

Описывая выстраивание системы доказательного образования, Мария привела как метафору пирамиду. В её фундаменте находятся данные, каркас включает опыт использования этих данных в реальной жизни, а пик — это статистические исследования, помогающие выявить новые инсайты. И если хотя бы один из этих уровней исключить — башня рухнет. Например, если строить образовательный продукт, основываясь не на данных, а лишь на своих представлениях о том, каким должно быть эффективное обучение (пусть даже это представления опытного преподавателя или методиста), то можно допустить ошибку, потому что представления могут быть ложными стереотипами. Использование данных без статистических исследований тоже даёт неполную картину, потому что одни и те же данные можно интерпретировать по-разному.

Как отметил Дмитрий Аббакумов, задача доказательного образования — найти такую педагогическую технологию, чтобы учебный материал и формат его объяснения помогали конкретному учащемуся достигать поставленной образовательной цели.

Кроме того, доказательный подход упрощает коммуникацию со студентами и повышает их доверие. В качестве примера спикер привёл выводы исследования, проведённого одной американской образовательной платформой: если, предлагая учащемуся пройти тренировку перед тестом, сообщить ему, что, например, в 60% случаев эта тренировка помогает достичь лучших результатов, то такая коммуникация работает лучше по сравнению с вариантом: «Потренируйся, пожалуйста, и у тебя всё получится».

Дмитрий назвал и трёх китов доказательного образования:

• качественные данные, без которых не может быть доказательности;
• валидные математические модели, то есть такие, которые в математической формуле репрезентируют реальность;
• интерпретируемость и прозрачность.

Мария Ковалёва также предупредила о некоторых явлениях, которые важно учитывать при проведении исследований и анализе данных для улучшения образовательного продукта:

• Парадокс исследовательских интересов. Суть в том, что для исследований важны как желательные, так и нежелательные значения. Например, чтобы проанализировать готовность студентов рекомендовать пройденный курс, нужно изучить позиции не только тех, кто советует его, но и тех, кто этого не делает. Хотя для бизнеса в целом, конечно, важно, чтобы нежелательных значений было как можно меньше.
• Парадокс применимости выводов. Каждая команда разработчиков курсов хочет, чтобы исследования проводились именно среди их студентов, потому что учащиеся разных программ различаются. И когда получены данные по конкретному курсу, хочется сравнить — а как у других?
• Парадокс отдельных действий. Разработчики образовательного продукта всегда хотят знать, какой эффект оказало на бизнес-метрику какое-то отдельное их действие — но в большинстве случаев к результату приводит комплекс действий, а не что-то одно.
• Парадокс очарованности данными. Работая с данными, нужно не забывать, что есть что-то помимо них. То есть не стоит перечёркивать методическую экспертизу.

Как доказательный подход помогает довести студентов до конца обучения

Говоря о том, как конкретно доказательное образование может сделать обучение более эффективным, Мария Ковалёва привела пример: допустим, благодаря исследованиям известно, что уверенность в своих знаниях помогает учащимся не сойти с дистанции и дойти до конца курса. Значит, нужно бороться с синдромом самозванца у студентов, с их ощущением, что они ещё слишком много не знают и никогда в жизни с не справятся с тем объёмом, который им надо освоить. Это ощущение «обездвиживает» человека, мешает ему раскрыться.

Мария объяснила, что повышать уверенность студентов в своих способностях можно, рассказывая реальные истории тех, кто уже отучился — как они тоже думали, что у них ничего не выйдет, но потом добились успеха. Иногда про свой синдром самозванца рассказывают наставники, то есть люди, которые уже доказали свою экспертность и преподают. То, что даже они всё равно иногда ощущают сомнения, показывает учащимся, что это бывает со всеми, помогает бороться.

А ещё стоит улучшать отдельные фрагменты программ, которые потенциально способны снижать эту уверенность в своих силах. Имеются в виду наиболее сложные темы, на которых у студента больше шансов споткнуться и впоследствии бросить учёбу. Избежать этого можно, если разбить сложную тему на несколько этапов и усложнять задания постепенно.

Кроме того, важно повышать ощущение практической ценности получаемых знаний, потому что это тоже помогает студентам ощутить уверенность в своих знаниях. Мария Ковалёва привела такой пример: на одном из курсов по дата-анализу было замечено, что при прохождении одной из тем у учащихся сильно падает уверенность в своих знаниях. Стали разбирать контент и увидели, что один из сложных терминов объясняется на абстрактных понятиях. Условно — на «яблочках-апельсинках». Видимо, из-за этого студенты потом не могли связать это объяснение с задачами реального проекта. Когда в объяснение добавили примеры из рабочих задач, уверенность студентов в своих знаниях выросла.

Словом, очень важно показывать студентам, как тот или иной термин, та или иная идея применимы в реальной жизни. Давать практические задачи, практические проекты, привлекать реальных заказчиков хорошо для ощущения практической ценности знаний. Однако тут есть нюанс: если дать реальный проект новичкам-студентам слишком рано, это может, наоборот, демотивировать их, потому что из-за сложности такой задачи они видят не только то, что уже много знают, но и как много они ещё не знают.

Как же соблюсти баланс? Мария рассказала, как на факультете дата-анализа заметили падение у студентов уверенности в знаниях. Дело в том, что анализ данных — это действительно очень непростая сфера, и там в процессе обучения, от темы к теме постепенно накапливаются сложные знания, которые учащимся тяжело систематизировать, объединять. Тогда проектировщики сделали не только проекты внутри каждого спринта (то есть по каждой теме), но и сводный проект, очень похожий на реальный и учитывающий навыки, полученные в предыдущих спринтах. Картина получилась такой: до сводного проекта уверенность в знаниях падает, а после сводного проекта растёт — это значит, что благодаря сводному проекту студентов удаётся выводить из «пике».

Конечно, возникает вопрос: как в «Яндекс Практикуме» измеряют уверенность студентов в своих знаниях? По словам спикера — с помощью опросников.

Как доказательный подход позволяет сделать образование студентоцентричным

Дмитрий Аббакумов рассказал, что в «Яндекс Практикуме» вдохновились подходом под названием Mastery Learning («Обучение мастерству»). Его разработал американский психолог Бенджамин Блум, известный также по таксономии учебных целей — системе, предполагающей их классификацию по принципу «от простого к сложному».

Как объяснил Дмитрий Аббакумов, Блум пришёл к осознанию, что даже самые лучшие педагоги и лучший образовательный материал не работают одинаково для всех. Люди учатся по-разному, поэтому достигают разных результатов.

Психолог предложил проводить формирующую диагностику — этап, на котором определяется, насколько хорошо человек справился с учебным содержанием, ранее предложенным для изучения и практики. В зависимости от этого формируется дальнейший образовательный путь ученика. Происходит это следующим образом: те, кто справился с учебным материалом по итогам диагностики, переходят к следующей теме или получают дополнительные задачи для развития, а тем, кто не справился, предлагают поддержку (Дмитрий Аббакумов называл её в своём докладе «интервенцией», то есть вмешательством). Она может заключаться в альтернативных образовательных материалах.

Дмитрий отметил, что за сорокалетнюю историю подход Mastery Learning доказал свою эффективность. Если при традиционном подходе к обучению основная масса учеников показывает средние результаты, а кроме них есть те, кто справляется лучше или хуже, то при Mastery Learning большинство сдвигается в сторону отличных результатов.

Тем не менее и у этого подхода есть ограничения:

• Альтернативность интервенций. В течение многих лет считалось, что подход Блума упирается в невозможность организовать множество разнообразных вмешательств для разных учеников, так как настолько персонализировать обучение очень дорого.
• Громоздкость. Чтобы получить качественный, достоверный и надёжный результат формирующей диагностики, требуется объёмный тест, что существенно затрудняет применение подхода.
• Несвоевременность. Mastery Learning предполагает, что студент должен изучить существенную часть учебного материала (например, тему), прежде чем пройти диагностику. И получается, что, столкнувшись с трудностями и разочаровавшись в своём образовательном опыте, человек может бросить обучение ещё до того, как ему окажут поддержку, и даже до того, как разберутся, какая помощь ему была бы полезна.
• Несфокусированность. Тестирование по итогам одной большой темы не позволяет точно выявить ту её часть, которая вызвала у студента трудности.

Читайте также:

Как управлять когнитивной нагрузкой в обучении

Теперь искусственный интеллект и анализ данных позволяют преодолеть перечисленные ограничения Mastery Learning. В «Яндекс Практикуме» для этого разработали новую диагностическую технологию под названием «Дельта». Дмитрий Аббакумов в общих чертах описал, как она устроена.

Курс состоит из тем, темы — из уроков, а урок тоже делится на элементы — задачи, вопросы, квизы, материалы, которые нужно прочесть, и так далее. И для каждого из этих элементов — начиная с самых мелких и поднимаясь к более крупным уровням — рассчитывается так называемая метрика когнитивной посильности, которая показывает, насколько данный элемент посилен для среднего — то есть типичного — учащегося.

Продуктовая команда, методисты имеют представление о том, каков типичный студент конкретного курса, и создают образовательный контент, исходя из этого представления. Когда реальные студенты проходят курс, измеряется когнитивная посильность. Во-первых, она показывает, насколько это представление команды о возможностях среднего учащегося совпадает с реальностью. Проще говоря — справляются ли учащиеся. Отклонения называются дельтой. Эти отклонения могут быть как положительными, так и отрицательными. Отрицательные говорят о том, что учащемуся было труднее, чем планировалось, а положительные — о том, что ему было легче, чем типичному студенту. Если какие-то элементы курса вызывают много отклонений, это значит, что нужно пересматривать контент. Так происходит донастройка контента на типичного студента, если ожидания продуктовой команды где-то разошлись с реальностью.

Во-вторых, поскольку анализ отклонений ведётся по каждому студенту, результат ложится в основу поддержки для них. Кроме того, аналитический алгоритм позволяет прогнозировать доходимость на курсах. По словам Дмитрия Аббакумова, среди тех, кто бросает обучение, гораздо больше учащихся с отрицательной дельтой — 23% против 1% среди завершивших обучение.

Как объяснил спикер, проблему громоздкости в «Дельте» решает то, что для анализа используют данные о том, как студенты справляются с каждым отдельным элементом курса. То есть оценивание происходит прямо в процессе обучения.

Проблема несфокусированности тоже решается благодаря тому, что данные собираются по множеству мелких элементов — это позволяет понять, в какой именно момент у учащегося возникли затруднения.

А вот проблема несвоевременности пока решена не до конца, потому что сложности студентов всё равно удаётся выявить лишь после того, как они уже возникли. Однако Дмитрий Аббакумов анонсировал новую версию технологии — «Дельту+». Её идея в том, чтобы, основываясь на данных о дельтах студента по каждой задаче, делать прогноз о его возможных трудностях в следующей теме и таким образом работать на опережение.

В «Яндекс Практикуме» считают, что «Дельта» универсальна. Спикер объяснил, что технологию разрабатывали, предполагая, что она должна работать и в малочисленной группе учащихся, и в крупной EdTech-компании.