В российских программах по повышению успеваемости школьников не нашли доказательной базы

К такому выводу пришли специалисты из Центра общего и дополнительного образования имени А. А. Пинского Института образования НИУ ВШЭ. О результатах нового исследования на совместном семинаре ВШЭ и Московского государственного психолого-педагогического университета (МГППУ) рассказала младший научный сотрудник центра Юлия Керша.

В чём заключалось исследование

Семинар ВШЭ и МГППУ называется «Школьная неуспешность: профилактика, диагностика, преодоление» и проводится с 2020 года. Под образовательной неуспешностью школьников понимают прежде всего отставание от сверстников в академических результатах. На последней встрече Юлия Керша представила первый метаанализ российских исследований по теме семинара.

Метаанализ — формат научной публикации, который позволяет обобщить противоречивые результаты сотен предыдущих экспериментов. В отличие от обзора научной литературы, метаанализ основан на статистических расчётах: выборки предыдущих исследований объединяют, их результаты приводят к единой шкале. Это позволяет давать общие оценки — например, в медицине можно определить эффект применения препарата или выяснить, какая причина стоит за большинством случаев заболевания.

Формат метаанализа распространился именно в медицинской сфере, но в последние десятилетия его переняли и в области доказательного образования. Например, метаанализом является знаменитая книга Джона Хэтти «Видимое обучение».

Метаанализов на основе данных российских исследований пока мало, а по теме образовательной неуспешности школьников их не было совсем. Юлия Керша с коллегами провела подобную работу впервые. Фактически это два метаанализа. Первый посвящён российским исследованиям факторов, влияющих на образовательную неуспешность. Второй — работам, основанным на данных из России и других стран бывшего СССР, о различных мерах и программах по улучшению академических достижений учащихся.

Что стало известно в результате

В метаанализе можно использовать далеко не любые работы. Чтобы результаты статистического обобщения были достоверными, оно должно основываться либо на обширных мониторингах, срезах или статистических измерениях (если исследуются какие-то факторы среды), либо на экспериментах (если предмет исследования — какая-то инновация). Причём во втором случае требования к формату исследования очень строгие — в идеале участники должны разделяться на экспериментальную и контрольную группы случайным образом, чтобы на результат не влияли посторонние факторы.

Юлия Керша и её коллеги собрали работы по двум темам за 2000–2022 годы. Изначально в базе было порядка 200 публикаций по каждой теме, но большинство из них не подошли под критерии метаанализа. В итоге исследование факторов, связанных с образовательной неуспешностью, базировалось на 21 публикации с общей выборкой из 366 тысяч учащихся младшей, основной и старшей школы. Самыми значимыми факторами оказались (по убыванию эффекта):

• когнитивные (показатели интеллекта);
• нейропсихологические (внимание, память, темп работы);
• демографические (пол, возраст);
• социально-экономические (состав семьи, культурный капитал, статус).

Работ по преодолению неуспешности нашлось больше — 27 публикаций из семи разных стран. Но общая выборка участников в них была гораздо меньше: около 15 тысяч учащихся младшей и основной школы. Впрочем, это ожидаемо — экспериментальную проверку эффективности различных программ трудно организовать в больших группах.

Оказалось, что практически все предлагаемые в исследованиях методы помогают повысить успешность учеников, но эффективность сильно различается. Наибольшее влияние оказали методы, основанные на различных педагогических технологиях, то есть на изменении практик преподавания материала. А использование онлайн-обучения, хотя тоже было эффективно, влияло на результаты обучения вдвое меньше.

При этом всего три публикации полностью отвечали «золотому стандарту» экспериментального исследования — то есть учащиеся в них распределялись по группам случайным образом. И если смотреть только на эти корректно проведённые эксперименты, то никакого значимого влияния инноваций в учебном процессе на академические достижения не обнаружено.

В целом, как сообщила на семинаре Юлия Керша, второй метаанализ показал — в России и на всём постсоветском пространстве нет доказательной базы для внедрения мер по улучшению академических достижений учащихся. Этот вывод предстоит перепроверить на расширенной подборке публикаций.

Почему образованию не хватает доказательности

Участники семинара в целом согласились с выводом исследования: доказательности образовательным решениям в России действительно не хватает. Например, как отметил один из руководителей семинара — профессор кафедры педагогической психологии МГППУ Евгений Исаев, до 2022 года в российских начальных школах использовали десять разных учебно-методических комплексов. При этом неизвестно, проходил ли хоть один из них экспериментальную проверку перед внедрением.

Однако некоторые считают, что в образовании в принципе не нужно рассчитывать на универсальные эффекты от одинаковых программ во всех школах страны. Так, по мнению Алексея Обухова, ведущего эксперта Центра общего и дополнительного образования имени А. А. Пинского, ключевые результаты в образовании достигаются в локальных экспериментах. Провести и описать их так, чтобы публикация соответствовала строгим правилам метаанализа, невозможно — слишком многое зависит от особенностей коллектива и образовательной среды, которые трудно уловить и описать формальным языком. Поэтому, например, нет подходящих для метаанализа публикаций о известных экспериментальных школах, которые появлялись ещё в СССР.

К тому же это в медицине можно изменить в схеме лечения один препарат или метод, а в образовании изменения никогда не ограничиваются одной переменной. Например, если меняется способ оценивания, значит, какие-то новшества появляются и в преподавании. То есть, считает Обухов, искать подходящие программы для школ нужно другими способами — экспериментальных результатов никогда не будет достаточно.

Юлия Керша согласилась, что дело не в недостатке идей или локальных экспериментов: в найденных публикациях сотни предложений, и многие из них не теоретические, а были опробованы в отдельных школах. Но проверять их экспериментально, считает она, всё равно нужно.

Как получить больше эмпирических данных? Юлия Керша предположила, что поможет распространение знаний о методах экспериментов в образовании, чтобы сами педагоги при желании могли проверить свои идеи в строгом научном формате. Возможен и второй вариант, когда тестированием разработок будут заниматься не практики, которые их предложили, а исследователи из научных организаций. Третий вариант — экспериментировать с программами, которые показали свою эффективность в других странах. Но уверенности, что зарубежные результаты подтвердятся в российском контексте, нет.