На оценки учеников может влиять… расположение их фамилий в списке группы!

Такие результаты показало исследование, которое проводилось в Университете Мичигана (США). Его препринт доступен на портале SSRN.

Исследователи собрали из LMS Университета Мичигана все размещённые с 2014 по 2022 год данные об учебных программах, студентах и ​​заданиях. Всего они проанализировали более 31 миллиона оценок, охватывающих 851 582 задания и 139 425 учащихся.

Оказалось, что студенты, чьи фамилии начинались с букв A — E, получали оценку на 0,3 балла выше из 100 возможных баллов по сравнению со случайной выборкой. А учащиеся с фамилиями, начинающимися на последние буквы алфавита, получили оценку на 0,3 балла ниже, чем в случайной выборке. А ещё текстовые комментарии к их работам чаще были негативными. Таким образом, разрыв между обладателями разных фамилий составил 0,6 балла. Разница небольшая, но если она возникает постоянно, то наверняка отражается на средней оценке за курс.

Учёные предположили, что к концу списка преподаватели просто устают от проверки работ и из-за этого снижают оценки именно студентам с фамилиями на последние буквы алфавита. Для проверки этой гипотезы они изучили обратный вариант сортировки списков фамилий — от Z к A. В таком порядке было выставлено около 5% оценок выборки. В этом случае, как и ожидалось, лучшие оценки получили те, чьи фамилии начинались с последних букв алфавита, то есть гипотеза подтвердилась.

Хотя исследование проводилось на данных только Мичиганского университета, исследователи считают, что его результаты можно распространить на другие вузы и на школы. Чтобы снизить влияние на оценки таких факторов, как последовательность проверки работ, они предлагают несколько выходов. Один из них — сортировка списка студентов и сданных ими на проверку заданий, в случайном порядке. Полезны будут и встроенные в LMS инструменты для поддержки преподавателей — например, помощники для критериального оценивания. И, наконец, вузам стоит поддерживать нагрузку проверяющих на приемлемом уровне, чтобы усталость не влияла на их суждения. Добавим, что в этом, возможно, тоже смогут помочь технологии — для проверки некоторых учебных работ уже может использоваться ИИ. Можно предположить, что снижению усталости от процесса проверки могло бы помочь и дробление этого процесса на несколько дней (если, конечно, это возможно по срокам). Тогда преподавателю не пришлось бы проверять работы всего класса или всей группы за раз.

Ранее стало известно, что избыточная нагрузка преподавателей, напротив, может вести к «инфляции оценок». Так называют ситуацию, когда высокие отметки выставляют слишком часто, из-за чего они обесцениваются — уже нельзя сказать, что высокие баллы получают лишь авторы самых выдающихся работ. Исследователи считают, что преподаватели иногда завышают оценки, чтобы не пришлось иметь дела с разочарованными студентами, которые хотят исправить недостаточно хорошие баллы. Эта тенденция не похожа на то, что выявило исследование в Университете Мичигана, тем не менее в результатах есть и нечто общее: система оценивания в вузах выглядит довольно субъективной и подверженной случайным влияниям.