Почему нельзя просто взять и перевести на русский хороший иностранный тест

Методы современной психометрики позволяют измерять и оценивать способности, качества, знания и навыки людей в самых разных условиях — при приёме на работу, в формате видеоигры или беседы, наблюдая за повседневными действиями или в учебной аудитории. Но найти готовый работающий психометрический инструмент не так-то просто.

На русском языке не всегда можно найти готовый хороший и надёжный инструмент, признают специалисты. Тогда почему бы не найти хороший, проверенный зарубежный тест и просто не перевести его на русский? Но если вы хотите, чтобы тест действительно работал, так не получится. Из этой статьи вы узнаете почему.

Кто помог нам разобраться

Алина Иванова

Старший научный сотрудник Центра психометрики и измерений в образовании Института образования Высшей школы экономики. Преподаватель магистерской программы «Обучение и оценивание как наука».

Риски неправильного перевода

Правильный перевод — не такая простая задача, как может показаться. Переводчик должен быть очень хорошо знаком с тематикой теста и отлично понимать контекст. А так бывает далеко не всегда.

Вот яркий пример. В 2015 году в Канаде начали использовать разработанный в США тест для медсестёр NCLEX-RN. Первые результаты оказались печальными: в первый год пройти экзамен и получить лицензию на работу смогли лишь 69,5% участников. При этом в США в тот же год экзамен успешно сдали 85%, а предыдущий канадский тест обычно проходили свыше 90%.

Одну из причин провалов выявило независимое исследование: оказалось, что тест неудачно адаптировали к канадским реалиям. Даже часть терминов и аббревиатур передали неверно. Больше всего проблем нашли во франкоязычной версии. Ошибки перевода и трудности со сдачей экзамена в первые два года, по некоторым оценкам, привели к нехватке медсестёр в отдельных районах Канады.

Всё ли можно перевести?

Канадский случай — пример прямых ошибок в переводе. Но даже если явных неточностей нет, перевод теста может не работать так, как надо.

В 1990-е годы в Израиле обнаружили, что русскоязычные абитуриенты лучше всех остальных справляются со вступительным экзаменом в вузы PET (Psychometric Entrance Test). Почему же? Оказалось, что в русскоязычной версии теста около трети заданий в языковой части проще, чем на иврите, в результате русскоязычные абитуриенты получали преимущество.

Эффект был непреднамеренным: сложные слова из иврита (например, библейские термины и новые, изобретённые в XX веке слова) перевели общеупотребительными русскими. И русскоязычным абитуриентам было проще вспомнить обычное разговорное слово или подобрать аналогию, чем тем, кто проходил оригинальный тест.

В разработке образовательных тестов любые тонкости имеют значение. Интересный пример есть в исследовании проблем перевода PISA-2000 с английского на финский язык.

Оригинальный английский текст, который использовался для проверки читательской грамотности, начинался с того, что некая «она» (she), сидит на берегу реки и размышляет. В этот момент у читателя нет точной информации о героине рассказа — это может быть и человек, и животное женского пола.

Но в финском языке такого личного местоимения женского рода нет. Поэтому в переводе появилось слово nainen, «женщина». Благодаря этому художественный рассказ стал более прямым и простым. Казалось бы, мелочь — но из-за неё финский текст уже нельзя считать эквивалентом оригинала.

Читайте также:

Что такое психометрика: интервью со специалистом

Адаптация — это не только перевод

Даже качественно переведённый иностранный тест может плохо работать. Некоторые инструменты измеряют качества и знания, существующие не во всех культурах. О таких качествах психометрики говорят, что они плохо адаптируются.

Например, это качество жизни, креативность, счастье. В разных культурах и на разных языках их определяют по-разному. Так, считается, что креативность в западной культуре оценивают скорее как способность к внезапным озарениям, инсайтам, а в восточной традиции — как умение продолжительно заниматься сложной интеллектуальной работой.

Если нет уверенности, что измеряемое качество существует в культуре, для которой переведён тест, то неясно, как трактовать его результаты.

Например, в исследовании PISA-2018 наряду с математической и читательской грамотностью проверялись так называемые глобальные компетенции. Один из текстов был связан с «быстрой модой» — производством дешёвой низкокачественной одежды, которую потребители массово скупают, но носят не больше одного сезона.

Задание рассказывало об эксперименте с автоматом по продаже футболок в Германии. Прежде чем сделать покупку, пользователь просматривал шокирующие фотографии условий труда на фабрике, где эти футболки производят. После этого девять из десяти человек вместо покупки жертвовали два евро на улучшение условий труда на этой фабрике.

От участников PISA требовалось объяснить, почему люди делали такой выбор. И в России верный ответ дали меньше половины. Это довольно низкий показатель по сравнению с лидирующими в PISA странами. Что же, у российских 15-летних подростков всё очень плохо с глобальными компетенциями? Или ситуация, в которой человек платит деньги, но отказывается от вещи, им просто непонятна в силу других причин? Учитывая, что уровень дохода многих семей в России заставляет экономить даже на одежде, второй вариант выглядит более вероятным.

Что нужно сделать, чтобы адаптировать тест

Первым переведённым тестом считается шкала интеллекта Симона — Бине. Французский оригинал разработали в 1905 году, а в 1911-м перевели на английский язык. К 1916-му тест проводили уже на семи языках. И до сих пор тесты интеллекта адаптируют чаще всего.

Долгое время адаптация теста означала только перевод. По оценке Рона Хамблтона, известного эксперта по измерениям в образовании, до 1995 года примерно 80% кросс-культурных исследований потерпели неудачу из-за плохо сделанной адаптации инструментов. В 1995 году он опубликовал статью, которая стала первым общепринятым руководством по адаптации тестов. А в 2005-м под его же соавторством вышла первая редакция методологических рекомендаций по адаптации тестов под эгидой Международной тестовой комиссии.

Сейчас действует вторая редакция документа. Вот какие шаги в ней прописаны.

• Ещё до начала адаптации экспертам необходимо оценить, как люди в стране, для которой планируется перевести тест, понимают измеряемое качество.
• Также до начала работы нужно получить согласие того, кто держит авторское право на тест, на проведение любых адаптаций — даже если не предполагается коммерческое использование новой версии.
• Затем эксперты ищут лингвистические, психологические, культурные различия и дают рекомендации по переводу.
• Перевод и адаптация проводятся так, чтобы задания и инструкции к заданиям имели тот же смысл, который был заложен в оригинальный инструмент, а все форматы заданий, шкалы, рубрики выставления баллов были правильно адаптированы к стране, где будет использоваться тест.
• Проверить качество адаптации позволяет эмпирический анализ. Его цель — подтвердить статистически, что конструкты, методы и процедуры (то есть условия проведения теста) эквивалентны оригинальным. Задания, в которых на этом этапе выявляются искажения, либо дорабатываются, либо выбрасываются.

Сложность в том, что созданный в одной стране инструмент никогда не получится перенести в другую, вообще ничего не изменив в нём. Например, в PISA всегда адаптируют под местные реалии аббревиатуры, единицы измерения, названия мест и даже имена, если специально не оговорено иное. Рекомендуется находить имя на русском языке, которое будет звучать похожим образом и начинаться на ту же букву. Например, «Арья» превращается в «Арину», «Элли» — в «Аллу». Это помогает участникам тестирования воспринимать описанные в тесте ситуации как аутентичные.

Но слишком большие изменения делают разные версии теста несопоставимыми. Это значит, что сравнивать между собой результаты измерений в разных странах нельзя. При обнаружении различий в результатах оценивания дело может быть не в том, что измеряемый конструкт у участников в странах развит по-разному, а в том, что где-то задания после перевода стали проще.

В некоторых случаях целесообразно проводить не адаптацию, а локализацию теста. Так сделали в ВШЭ с оценкой чтения в инструменте iPIPS (International Performance Indicators in Primary Schools). Этот тест предназначен для проверки знаний и способностей детей, поступающих в начальную школу.

Оригинальный англоязычный тест содержал задания-ловушки, которые должны были выявлять типичные проблемы начинающих читателей на английском. Делать прямой перевод этих заданий на русский, естественно, не имело смысла, поэтому на русском языке на базе той же теоретической модели создали новые задания.

Различия между двумя версиями получились значительными, и сравнить индивидуальные результаты ребёнка, который проходил тест на русском, с результатом его сверстника из англоязычной страны было нельзя. Хотя проводить сравнение на групповом уровне всё же можно, ведь два теста связаны — в основе обоих лежит одна и та же теоретическая модель развития у детей читательских навыков. Потому русскоязычный тест СТАРТ — локализация англоязычного iPIPS, а не полностью оригинальный инструмент.

Читайте также:

Разработка учебных тестов: инструкция, как это сделать

Зачем адаптировать тесты, если можно разрабатывать свои

Получается, что по времени и стоимости адаптация зарубежного теста обходится ничуть не дешевле, чем создание своего. Так может быть, лучше сразу разрабатывать новые инструменты — это хотя бы гарантирует, что проблем с переводом не будет?

При всех трудностях и ограничениях психометрики предпочитают адаптировать качественные и востребованные зарубежные методики всегда, когда это возможно и целесообразно. Дело в том, что проводить международные сравнения можно, только используя в исследованиях эквивалентные инструменты.

Только благодаря адаптации к разным языкам возможны такие международные сравнительные исследования, как PISA, международное исследование грамотности взрослых PIAAC, программа оценки математической и естественно-научной грамотности TIMSS и оценка читательской грамотности PIRLS. Среди других примеров — шкалы оценки образовательной среды в детском саду, школе и семье: ECERS и другие в этом семействе.