Проблему двух сигм Блума подвергли сомнению

Статью с разбором популярной идеи американского психолога Бенджамина Блума, прославившегося разработкой таксономии учебных целей, опубликовало издание Education Next. Её автор — профессор статистики и социологии из Техасского университета в Остине Пол фон Хиппель.

В чём суть проблемы двух сигм

В 1984 году Бенджамин Блум заявил в научной статье, что школьники, которые занимаются с учителем индивидуально, достигают результатов на два стандартных отклонения (они и обозначаются греческой буквой σ — сигма) выше, чем у тех, кто обучается по той же программе в составе класса, без индивидуальных инструкций. Это показали исследования двух его аспирантов, которые изучали эффективность индивидуальных занятий с учениками четвёртого, пятого и восьмого классов школы.

«На два стандартных отклонения» — что это такое и насколько это большая разница? Стандартное отклонение отражает разброс значений какого-либо показателя, например баллов за учебный тест, — то есть оно показывает, насколько в среднем отличаются друг от друга разные значения. Рост на две сигмы в примере Блума означал, что благодаря индивидуальному обучению учащиеся переходили от средних учебных результатов к выдающимся.

Проблема, которую описал Блум и которая получила название «проблема двух сигм Блума», заключается в том, что система образования не может предоставить каждому ученику персонального учителя и потенциал большинства детей так и остаётся нереализованным.

Блум призывал коллег искать массовые педагогические подходы, близкие по эффективности к индивидуальным занятиям. Сам он предлагал обучение, основанное на мастерстве (Mastery Learning), — подход, в котором занятия в классе дополняет индивидуальная обратная связь. При этом учащийся не переходит к новой теме, пока не освоена предыдущая, и каждый учится в своём темпе.

Как отмечает фон Хиппель, найденная Блумом проблема двух сигм привлекла внимание исследователей сразу после публикации о ней. За почти 40 лет её процитировали в других научных работах больше 5 тысяч раз! А с развитием IT к поиску новых обучающих подходов подключились EdTech-компании. Новый импульс этим начинаниям придал бум генеративных нейросетей: например, основатель Khan Academy Салман Хан в 2023 заявил, что технологии искусственного интеллекта могут дать каждому учащемуся персонального тьютора и тем самым решить проблему двух сигм.

Почему проблему двух сигм оспаривают

В то же время, отмечает Пол фон Хиппель, ряду учёных приведённые в статье Блума результаты давно казались нереалистичными. Другие исследования — в том числе метаанализы, то есть обобщения множества экспериментов, — показывали, что за счёт индивидуального репетиторства результаты учащихся улучшаются лишь на 0,33–0,37 стандартного отклонения. И это хороший показатель — любые другие улучшения в учебном процессе в экспериментах дают эффект в среднем в 0,1 сигмы. То есть многие исследования показывают, что индивидуальное обучение работает лучше, чем большинство других подходов, — просто разница не настолько впечатляющая, как писал Блум.

Поэтому Пол фон Хиппель решил обратиться к первоисточникам и проверить, почему исследования аспирантов Блума показали такой неправдоподобно высокий результат. В статье в Education Next автор признаётся в своих подозрениях, которые были до этого: по его мнению на тот момент, они просто плохо спланировали эксперименты, допустили ошибки при анализе данных и завысили эффекты случайно.

Но по текстам стало понятно, что все эксперименты были аккуратными и выводы, которые из них сделал Блум, выглядят достоверными. Тем не менее распространять оценку эффективности репетиторства из них на образование в целом, убеждён Пол фон Хиппель, было большой ошибкой. В исходных исследованиях было несколько особенностей, которые обусловили необычно высокий эффект от индивидуального обучения:

• Исследовали трёхнедельные курсы по новым для учащихся узким темам — теории вероятностей и картографии. Статистика по разным исследованиям в сфере образования показывает, что в узких темах инновационные подходы обычно дают куда более высокие эффекты, чем, например, в подготовке к экзаменам за весь школьный курс. А в новых темах действует ещё и эффект низкой базы — пока речь идёт об основах, темп обучения выше.
• Под репетиторством в этих исследованиях понимали полную замену обычного обучения в классе индивидуальным. Метаанализы показывают, что у такого формата эффект действительно выше, чем у репетиторства как дополнения к урокам в классе (хотя в других исследованиях он всё равно обычно не достигает двух сигм).
• Индивидуальное обучение в экспериментах дополнили тестами после каждой темы, индивидуализированной обратной связью по ним и повторными тестами, если ученик допускал более 10–20% ошибок. Фактически школьники, попавшие в исследованиях в группу с репетиторством, одновременно проходили обучение, основанное на мастерстве (то самое Mastery Learning). То есть на их результаты повлияла не только замена групповых занятий на индивидуальные сама по себе.
• Педагоги прошли дополнительную подготовку перед экспериментом. Точнее, это относилось только к тем, кто вёл индивидуальные занятия. И это проблема — неясно, насколько в ходе исследования различалась квалификация учителей, работавших с целыми классами, и репетиторов. Одинаковых условий для развития у них не было.

Пол фон Хиппель пришёл к выводу, что в экспериментах, на основе которых Блум сформулировал проблему двух сигм, индивидуальное обучение действительно могло быть очень эффективным. Но не стоит ожидать, что на практике репетитор-человек или ИИ-тьютор превратит любого ученика в идеального отличника.

При этом эксперт согласен, что обучающие технологии нужно развивать, чтобы сделать такие важные элементы обучения, как индивидуальные объяснения, регулярные проверки и обратную связь по ним, более доступными. Пока, по его оценке, ИИ-тьюторам ещё предстоит выйти на уровень хороших репетиторов людей. Ранее другой эксперт в области преподавания математики назвал важное «умение», которое предстоит развить у обучающих систем на основе ИИ.