Успехи российских вузов в рейтинге QS оказались под подозрением

Центр исследований высшего образования Калифорнийского университета в Беркли (США) опубликовал научную статью о том, что результаты глобальных рейтингов вузов искажены конфликтами интересов.

Составители этих списков — коммерческие организации. Они оказывают аналитические, консалтинговые, рекламные и другие услуги тем же вузам, которые они оценивают. Об этом говорят в профессиональном сообществе не впервые. Но опубликованное Университетом Беркли исследование, как сообщает его автор Игорь Чириков (ассоциированный сотрудник Института образования Высшей школы экономики), — первое эмпирическое доказательство того, что конфликт интересов негативно влияет на результаты рейтингов. Он исследовал то, каким образом связаны Quacquarelli Symonds (один из самых влиятельных издателей университетских рейтингов) и ряд российских вузов. Исследователь подчёркивает, что позиция учреждения в топе может зависеть от числа контрактов, заключённых с составителем списка.

Обычно составители рейтингов не раскрывают, какие университеты закупают у них услуги. Но российские государственные вузы обязаны сообщать о таких контрактах на портале госзакупок. Для своего исследования Игорь Чириков использовал данные о продвижении 28 российских университетов в мировом рейтинге QS с 2016-го по 2021-й годы и об их контрактах с составителем списка в период между 2013 и 2020 годами. Речь о вузах, которые вошли в QS World University Rankings 2021, опубликованный в июне 2020. Это МГУ, СПбГУ, Новосибирский и Томский госуниверситеты, МФТИ, ВШЭ, МИФИ и другие.

Полученные данные исследователь сравнил с динамикой продвижения этих же учреждений в рейтинге другого издателя Times Higher Education (связанных с ним контрактов на портале госзакупок в 11 раз меньше). Кроме того, Чириков сопоставил, как прогресс этих 28 университетов по соотношению преподавателей и сотрудников представили в рейтинге QS и в отчётах Минобрнауки. Эта важная характеристика служит в списке QS показателем качества преподавания и весит 20% в общем балле университета. Информацию о ней предоставляют издателю сами университеты.

Оказалось, что с 2013 по 2020 годы включённые в исследование российские университеты потратили на явно связанные с издателем контракты (кроме них, там ещё могли быть услуги частных консультантов) более 2,8 млн долларов США. Это реклама на портале рейтингов QS, доступ к расширенной аналитике, консалтинг, участие в мероприятиях и так далее.

При этом некоторые учреждения вообще не закупали услуги компании напрямую, а некоторые заключили до 12 сделок. Поэтому исследователь поделил 28 вузов на две группы. Первая — это частые клиенты QS, а вторая — случайные клиенты или те, у кого вообще нет сделок с издателем. Первые заплатили по своим контрактам в среднем втрое больше денег, чем вторые (имеется в виду совокупная сумма). Какие из российских вузов относятся к первой категории, автор не уточняет.

В среднем те учреждения, которые являются частыми клиентами QS, за пять лет сдвинулись в рейтинге на 191 позицию выше. Университеты с меньшим числом контрактов улучшили результат в среднем на 74 места. При этом в другом мировом рейтинге от издания THE обе группы в тот же период двигались вверх в одинаковом темпе. То же касается показателя по числу студентов на одного преподавателя: в рейтинге QS за пять лет он заметно улучшился именно у вузов из первой категории. Данные Минобрнауки и THE показывают, что у всех 28 вузов этот показатель увеличился не так значительно, а темп изменений был практически одинаковым.

В исследовании предполагается, что при сборе информации для очередного рейтинга компания с большей вероятностью примет от своих частых клиентов искажённые данные — речь, например, о количестве студентов, приходящемся на одного преподавателя, и так далее. По крайней мере, так действуют подобные механизмы в других отраслях экономики. В заключение автор рекомендует университетам подумать, стоит ли использовать рейтинги с серьёзным конфликтом интересов, а составителям этих списков — раскрывать при публикации информацию о том, получали ли они деньги от проранжированных организаций.