Образование
#Интервью

«У нас мало доказательного подхода в ежедневной работе учителя»

Доказательная медицина — это когда врач назначает только такое лечение, эффективность которого доказана. А что такое доказательное образование?

Иллюстрация: Ramblersen / Wikipedia / Studio Media / Sincerely Media / Unsplash / Дима Руденок для Skillbox Media

Татьяна Хавенсон

Кандидат наук об образовании. Директор департамента образовательных программ Института образования Высшей школы экономики. Научный руководитель магистерской программы «Доказательное развитие образования».


Фото: личный архив Татьяны Хавенсон


Доказательное образование — это как?

— Что такое «доказательное образование»? Можно его назвать управленческим или педагогическим подходом — или это общий принцип развития образовательной системы?

— Доказательный подход появился в разных областях, прежде чем добрался до образования. Его суть в том, что предпочтение нужно отдавать решениям, основанным на результатах исследований. Пожалуй, да, это общий принцип развития.

Мы хорошо видим, что медицина стала более доказательной: в ней борьба между ориентацией на опыт и строгим исследовательским обоснованием прошла несколько десятилетий назад. Хотя в России мы ещё сталкиваемся с тем, что тот или иной препарат или метод лечения считается правильным, потому что его рекомендует влиятельный профессор, но в большинстве развитых западных стран такого уже не встретишь: любой профессор, если он практикующий медик, опирается на исследования, и выбор методов лечения гораздо сильнее запротоколирован.

— А когда в образовании появился этот подход?

— Если говорить об истории исследований, они начались примерно после Второй мировой войны. Но проблема в том, что доказательный подход в образовании — совсем не то же, что в медицине или других сферах.

В образовании практически невозможны экспериментальные исследования: мы же не можем случайным образом приписывать детей к разным программам и учителям и смотреть на результаты через значительный промежуток времени. Большинство экспериментов в образовании упираются в этику на первом же шаге.

Фото: Gorodenkoff / Shutterstock

В целом в образовании преобладают не экспериментальные, а корреляционные исследования. Они не показывают, что такая-то методика является причиной более высоких или более низких результатов, но фиксируют, что есть устойчивая связь. Хороший пример — связь между наличием высшего образования у родителей и более высокими образовательными результатами детей.

Дело не в том, что образование родителей напрямую влияет на результаты детей, то есть это не сама по себе причина. А в том, что таким семьям свойственны установки и ценности, направленные на образование, они лучше ориентируются в образовательных возможностях и могут выбирать для своих детей лучшее.

Людей с высшим образованием больше в городах, где также больше образовательных возможностей, — и так далее. То есть причины в более конкретных вещах, но напрямую экспериментально они неизмеримы без этических сложностей. Мы можем судить о них только косвенно.

— К чему это ведёт на практике?

— К тому, что исследований по методикам обучения в широком смысле очень мало. Эксперименты есть, но их результаты очень узкие.

Есть такое понятие, как внутренняя и внешняя валидность исследования. Внутренняя валидность — когда оно сделано хорошо и качественно с методологической точки зрения, его результатам можно доверять. Внешняя — когда результаты исследования релевантны многим ситуациям.

Эти валидности входят в противоречие друг с другом. Чтобы провести хорошее с точки зрения внутренней валидности экспериментальное исследование, нужно зафиксировать все параметры ситуации. Но когда мы их фиксируем, исследование становится очень узким: его результаты будут релевантны только ситуациям с аналогичными параметрами.

Например, есть экспериментальные исследования, которые показали вполне чёткий эффект: если родителей вовлекают в учёбу детей через серии СМС-сообщений, успеваемость улучшается. Но результаты этих исследований ничего не говорят о том, будет ли такой же эффект наблюдаться в другой стране, с детьми другого возраста, с родителями из других социальных групп.

Фото: DimaBerlin / Shutterstock

Это противоречие между внутренней и внешней валидностью и ограничивает массовую доказательность в образовании, делает её в полной мере невозможной. Хотя большое количество единичных корреляционных исследований суммируется в метаанализы. И их результаты обладают высокой валидностью.

— Как именно доказательный подход используется в образовательной политике?

— Во-первых, для понимания контекста, в котором проводятся любые реформы, хоть большие, хоть маленькие. Новые образовательные практики и подходы плохо копируются из страны в страну, потому что образование очень культурно обусловлено и связано с контекстом. И нужно выявить общие черты, чтобы обосновать, что практика, которая была реализована в одной стране, приживётся и в следующей.

Во-вторых, любой реформе нужны, кроме основной цели, и промежуточные. Нужно простроить путь, как мы из той точки, где сейчас находимся, придём к тому, чего мы хотим. То есть необходимо наметить нужные шаги, оценить их с точки зрения реализуемости и спрогнозировать, к чему они могут привести.

— Получается, доказательный подход помогает убедить педагогов, родителей, учеников в том, что реформы нужны и возможны?

— Часто встречается мнение, что доказательная политика нужна, чтобы быть более убедительными.

Например, представим, что директор школы хочет внедрить какое-то изменение — допустим, открыть профильный класс. Если он просто скажет: «Мы сейчас сделаем так, и всем будет счастье», — это будет опора только на авторитет директора. А если он выступит с обоснованием, расскажет, за счёт каких ресурсов и шагов можно прийти к изменениям, то сможет убедить других людей — стейкхолдеров, учительское школьное сообщество, учеников, родителей или вышестоящие организации.

Когда нужен доказательный подход

— Доказательное образование — это всегда про разработку и проверку инноваций или классические дидактические подходы тоже теперь подвергаются сомнению?

— Если никто никогда не проверял эффективность старого решения, мы его проверяем как новое.

— Абсолютно любое решение нуждается в проверке?

— Конечно, есть решения настолько ежедневные, что не надо задумываться, надо делать — всё уже известно. Бывают и перегибы с доказательностью.

Ещё возможна ситуация, когда неважно, как принимается решение, — если у вас безграничное количество ресурсов и никто не пострадает от того, что вы ошибётесь.

Но если говорить об обычной ситуации, о школе, то можно сказать, что директору необходим доказательный подход, когда перед ним стоит задача защитить стратегию перед стейкхолдерами и получить статус или грант. Но и в том случае, когда нужно открыть дополнительные кружки или профильные классы, он может принять решение не только на основе собственного опыта, а ещё и подтянув дополнительную информацию для обоснования.

— Где ему собрать эту информацию?

— Хорошо бы собрать вместе четыре составляющие.

Первое — научные данные. Необязательно самим проводить эмпирические исследования, по многим темам можно найти публикации. Например, мы хотим внедрить в вузе модель проектного обучения CDIO, которая какое-то время гремела в образовании инженеров на Западе. Надо подумать и посмотреть, кто её уже внедрял, кто уже провёл исследование на эту тему, что об этом публиковали.

В случае разработки крупномасштабных программ на уровне страны часто проводятся собственные научные исследования. Вузы тоже могут себе это позволить, школы — редко. Но они могут смотреть, что уже сделано. На уровне школьного образования это международные сравнительные исследования — просто кладезь информации.

Вторая составляющая — данные, доступные из опыта. Нельзя сбрасывать со счетов, что у любой управленческой команды есть опыт предыдущих изменений и работы.

Третье — ценности и практика организации или стейкхолдеров. Решение принимается не в вакууме и не для вакуума. Любая организация имеет багаж, и даже если есть желание его изменить, не надо полностью игнорировать всё накопленное. Скорее всего, это приведёт к полному краху. Поэтому при принятии решения учитываются ценности и сложившаяся рутина.

Четвёртая составляющая — данные, доступные внутри организации, то, что сейчас любят называть «образовательная аналитика» или «учебная аналитика». В школах очень много данных — это всё полезные данные для принятия решений. На сайтах школ и вузов лежат отчёты, но, к сожалению, они воспринимаются ими как набор цифр, нужный не им, а вышестоящим органам. Они, как правило, сидят на этих данных, но не пользуются ими.

— А в большом масштабе, на уровне целых стран, эти четыре составляющие тоже учитываются?

— Да, это универсальная схема. Если идёт большая реформа, тем более надо посмотреть, что известно из науки, и учесть уже не просто ценности и опыт организации, а страновую специфику.

Фото: bodnar.photo / Shutterstock

В истории нет удачных примеров прямого копирования реформ из страны в страну. Есть внутристрановые примеры, когда один регион идёт следом за другим. А между странами слишком различаются культурные особенности. Это разные рынки труда, разная встроенность системы образования в социальную сферу, разная экономика. Но всё равно, когда внедряется реформа, тем более крупная, хорошо бы посмотреть, кто уже так делал.

— Тот факт, что для принятия решения так важны ценности и опыт организации, рутина — особенность образования? Или так во всех сферах?

— Это в той или иной мере важно во всех сферах, где применяется доказательный подход. Когда это касается сугубо медицинских проблем, наверное, люди плюс-минус одинаковы с биологической точки зрения. Хотя в разных странах по-разному строится лечение, и то, что реализуется в одной стране, не всегда копируется в другой.

Так, мы видели на примере эпидемии ковида, что, скорее всего, схемы лечения, разработанные в одной стране, будут работать и в другой. Другое дело, что они будут по-разному внедряться, — например, разным было доверие к вакцинации. Ценности сыграли свою роль.

Как приживается доказательный подход

— Если движение за доказательное образование — сравнительно недавняя тенденция, то на чём, если не на доказательствах, обычно основываются решения в образовании — на традициях?

— У нас чаще всего опора идёт на опыт и на ценности, а другие данные игнорируются. Хотя Россия до недавнего времени была одной из немногих стран, кто регулярно принимал участие почти во всех международных исследованиях. Таких стран в мире единицы.

То есть, может быть, у нас не так приживается доказательный подход, но есть уважение к исследованиям, понимание ценности участия в них и сбора данных.

Есть, конечно, примеры стран с более доказательной образовательной политикой. Прежде всего это англосаксонские страны — Великобритания, США, Канада, Австралия и западноевропейские и Скандинавские страны. Там гораздо больше распространён заказ на исследования со стороны государственных структур, принято анализировать эффективность внедрённых реформ.

— Как вы считаете, почему в некоторых странах доказательный подход приживается лучше?

— В странах, о которых я говорила, потребность в доказательной образовательной политике возникла в связи с большой подотчётностью чиновников и электорату, и начальникам. Каждый шаг, каждый потраченный фунт или доллар нужно обосновать. Это продвигает и научные исследования.

Когда в Институте образования запускалась магистерская программа по психометрике, у нас вёл занятия один американский эксперт в области экзаменов с высокими ставками. Мне очень запомнился его рассказ о том, как психометрику экзаменов, разработку вопросов для их экзаменов SAT и ACT и подходы к измерению сильно подтолкнула в развитии судебная система.

Когда ребёнок недобрал несколько баллов и не поступил в вуз, родители обращаются в суд. И в суде автор теста, инструмента по оцениванию знаний или вступительных испытаний должен обосновать каждую сотую балла. Это приводит к тому, что разработка инструмента становится очень серьёзной наукой.

С доказательным подходом то же самое. Чтобы исследования проводились, важна подотчётность, когда ты отвечаешь за свои решения. Например, чтобы доказать, что сейчас надо выделить деньги на разворачивание электронных дневников, нужно иметь данные о том, какие проблемы это решит, какому количеству детей поможет, насколько разгрузит учителя.

Фото: Lipatova Maryna / Shutterstock

Какие исследования можно считать доказательными

— В медицинской журналистике любят повторять иерархию доказательств. В самом низу пирамиды — частные мнения врачей, а на вершине — метаанализы. В исследованиях образования есть аналогичная иерархия?

— В образовании действует та же самая схема, где на верхушке иерархии — метаанализы экспериментальных исследований. Другое дело, что в образовании почти невозможны эксперименты. И метаанализы у нас обобщают результаты корреляционных исследований, которые не подразумевают эксперимента.

Получается, что в образовании шкала доказательств заужена. Было бы здорово, если бы мнение эксперта ценилось у нас меньше, как в развитых медицинских системах.

К сожалению, у нас много решений принимается на основе ценностей. Например, сейчас часто говорят, что нужен единый учебник. Но он нужен не потому, что дети от этого будут учиться лучше, — это даже не принимают в расчёт, опора идёт на другие факторы.

— Выходит, «обоснованное решение» — многозначный термин?

— Можно обосновывать свои решения с разных точек зрения. Мы тут обсуждали с коллегами пул исследований про дистанционное образование.

Допустим, мы выясним в результате таких исследований, что дистант — лучший выбор для качества образовательного результата. Или что он позволяет получать результат не хуже, чем офлайн, но с меньшими затратами. Выходит, надо внедрять дистант. Но что скажет социальная система регионов, если вузы перевести на дистант и отправить сотрудников на улицу? Она обрушится, и игнорировать это при разработке доказательной политики нельзя.

Обоснованное решение на то и обоснованное, что мы должны показать всю доказательную базу и учесть многие факторы. Это многозначный термин в хорошем смысле.

— Получается, в образовании ничего нельзя доказать окончательно? Любой вывод из научного исследования применяется в конкретном контексте, и некорректно говорить: «Этот подход всегда правильный, это точно работает»?

— Да, в образовании это так, и это не хорошо и не плохо. Сейчас многие надеются, что методы естественных наук, нейронауки скажут про образование что-то новое, что мы сможем найти доказательства в более универсальных биологических процессах. Движение в этом направлении есть, и это хорошая новость.

Плохая новость в том, что в образовательных результатах социальные факторы играют большую роль. Можно сказать, в споре генетиков и социальных наук социальные победили. В быту мы говорим об этом так: «У тебя есть талант, но, чтобы он раскрылся, надо работать».

Если мы имеем на старте двух детей с хорошими музыкальными или математическими способностями, но один будет что-то делать, а другой нет, они не придут к одинаковым образовательным результатам. Более того, если мы генетически менее склонного к музыке, но трудолюбивого ребёнка поставим в такие условия, что он будет очень много заниматься, он обойдёт того, у кого были лучше задатки на старте.

Фото: Amorn Suriyan / Shutterstock

— Какие выводы из этого делает доказательное образование?

— Государствам выгодно бороться с социальным неравенством. Способные дети рождаются во всех семьях. Но детям, которые родились в семьях, где образование ценится и где есть возможности его получать, значительно проще реализовать свой потенциал, чем тем, кто рождён в бедных и необразованных семьях.

Так как государство в целом заинтересовано в максимальной отдаче от человеческого потенциала, ему выгодно так строить образовательную систему, чтобы все дети, входящие в неё, реализовали свой потенциал. Ни одной стране это пока не удалось. Но минимизировать, сократить эту разницу удаётся многим.

— За счёт чего это удаётся? Какие примеры изменения образования на основе доказательного подхода известны в мире?

— Одним из известных толчков в развитии доказательного образования было исследование Джеймса Коулмана в шестидесятых годах в США. Коулмана называют отцом образовательного неравенства — он одним из первых показал, что образовательные результаты ребёнка зависят не от школы, а от семьи. Окончишь ли ты школу и пойдёшь ли в вуз, зависит не от того, что творится в твоей школе, а от того, есть ли высшее образование у твоих родителей.

В своё время это исследование потрясло американцев, и в результате они сильно реформировали всю образовательную систему — более или менее удачно. Одним из больших проектов, например, был No Child Left Behind. Это притча во языцех — формой реализации этого проекта было постоянное тестирование детей на образовательные результаты. Выросло целое поколение школьников, затестированных дальше некуда. Но с другой стороны, это дало понимание происходящего в школах, их подотчётность, обоснованное финансирование и так далее.

Других примеров доказательной политики много, сразу в голову приходят изменения, связанные с международными исследованиями в области школьного образования. Многие страны, столкнувшись с плохими результатами PISA, бросились реформировать свои образовательные системы.

PISA — исследование ОЭСР, более раскрученное, чем TIMSS и PIRLS. И в отличие от них, оно с самого начала планировалось не столько для исследовательских целей, сколько в интересах образовательной политики. И с его заданиями у многих возникали проблемы.

Например, наши дети за школьную жизнь привыкают, что в задаче в учебнике нет ничего лишнего. Что тебе дано в условии, то и нужно использовать в решении. Задачи PISA часто сформулированы таким образом, что из них ещё надо отобрать то, что использовать для решения. И многие страны — Финляндия, Эстония, да и Россия — стали менять содержание образования, ориентируясь на те показатели, которые измеряет PISA.

— А есть ли примеры решений, которые были приняты в России с учётом научных исследований в последние годы?

— Можно привести пример интересного проекта социального воздействия в одном из улусов в Якутии, где мы три года реализовывали программу развития и повышения образовательных результатов детей. Сейчас готовится похожий проект, но не по повышению образовательных результатов, а по более осознанному выбору образовательных траекторий, на Камчатке. Тут, по крайней мере, на региональном или муниципальном уровне разрабатывались конкретные решения и были получены конкретные результаты.

— Какие направления и темы исследований образования в России сейчас недоисследованы, отстают?

— Отстаёт вся область, которая у нас традиционно называется педагогикой. У нас мало доказательного подхода в ежедневной работе учителя. Исследований тьма, но они все очень слабые. Мы копируем старые модели без опоры на новую реальность.

Вопрос с образовательным неравенством отчасти недоисследован, потому что до сих пор не осознаётся государством как настолько важный, чтобы предпринимать крупные шаги. Исследования на эту тему накапливаются, и их можно было бы конвертировать в практику, но этого во многом не происходит.

В случае высшего образования — вся история с методикой и с организацией обучения.

Надо исследовать онлайн-обучение в вузах. Есть данные, что в пандемию качество упало, но это опросные данные, мнение преподавателей и студентов. К тому же они собраны именно в ситуации пандемии, когда было много сопутствующих сложностей, переход был реализован наспех. Но это не значит, что нужно полностью отказаться от онлайна — надо дальше исследовать, разрабатывать методы, которые позволят не терять качество. Накопленный опыт EdTech не копируется, потому что в вузах у студентов другие цели, мотивационные стратегии, ресурсные затраты.

Плюс вся повестка про специалитет, магистратуру, бакалавриат — мы около года назад начали линейку исследований магистратуры, этот уровень до сих пор сильно недоизучен.

Фото: Gorodenkoff / Shutterstock

И в теме с индивидуальными траекториями пока нет серьёзного научного осмысления. Крупномасштабные исследования показывают, что у 80% бакалавров и у 70% магистров никакого выбора нет — мы везде говорим про индивидуализацию, но подавляющее большинство наших студентов в глаза не видели даже курсы по выбору.

Почему доказательности нужно учиться

— Всегда ли поиск доказательности в образовании — благо? Какие проблемы этого подхода и ошибки в его применении можно назвать?

— В Великобритании есть почти анекдот: когда был введён закон, что ни одно решение нельзя принять без эмпирического обоснования, огромные бюджеты стали тратить на одни и те же исследования. То есть в очередном регионе разворачивалась программа по обеспечению детей питанием, и в очередной раз проводили исследование, что, если детей кормить, они будут лучше учиться. Но очевидно, что если соседняя земля реализовала эту реформу и уже провела исследование, скорее всего, на эти результаты можно ориентироваться. Закон в итоге пришлось переформулировать.

Распространённая ошибка — опора на некачественные исследования или подмена исследования экспертным мнением. Другая проблема — что включать в доказательную базу. Ведь ценности тоже могут быть её частью, только на научные результаты ориентироваться нельзя.

Бытовой пример: директор школы решил открыть профильные десятые классы по экономике и медицине, а подрастающий девятый класс хочет журналистику и химбио. То есть интересы школьников игнорируют, и это неправильно, хотя у директора могла быть своя доказательная база для этого решения — например, наличие учителей.

— Как в опыте других стран, которые уже давно внедряют доказательный подход в образовании, борются с ошибками?

— Развитие доказательного образования в западных странах повлекло за собой формирование целой инфраструктуры того, как практики могут пользоваться результатами исследований. Это университетские партнёрства, которые готовят для чиновников выжимки из последних исследований, так называемые дайджесты, и гайды про то, как читать, как заказывать, как оценивать исследования. Этому действительно нужно учиться.

Например, важно понимать, что при внедрении любой реформы нужно сразу начинать исследование для проверки её эффективности в будущем. Очень показательна история с ЕГЭ: когда его вводили, никто не догадался померить на тот момент отношение к вступительным экзаменам. Сейчас ЕГЭ критикуют все кому не лень, но не помнят, что к предыдущей системе было ещё больше вопросов, — это не замерили.

В случае стран, где доказательный подход — уже рутина, на исследования всегда заложен бюджет. Почему во многих странах чиновникам требуется степень PhD? Не для того, чтобы они прошли через это и как-нибудь защитились, а потому что для принятия решений нужны люди с поставленным исследовательским мышлением. Люди, которые органически не смогут принять серьёзное решение, не учитывая, что по этому поводу известно в науке.

— Институт образования ВШЭ видит свою задачу в том, чтобы выстраивать такую инфраструктуру в России?

— Мы сейчас точно один из немногих центров, где накапливается исследовательская база по образованию. Ещё можно назвать Российскую академию образования, ряд вузов. Но Инобр — самый масштабный такой центр, потому что мы в большей степени не образовательная организация, а научно-экспертная.

Курс

Методист образовательных программ

Вы с нуля пройдёте полный цикл создания образовательного продукта. Научитесь проектировать учебные программы для онлайн- и офлайн-курсов. Станете универсальным специалистом – сможете запустить свой проект или устроиться методистом в крупную компанию.

Узнать про курс

За какие профессии в образовании хорошо платят?

Подробнее
Обучение: Методист образовательных программ Узнать больше
Понравилась статья?
Да

Пользуясь нашим сайтом, вы соглашаетесь с тем, что мы используем cookies 🍪

Ссылка скопирована