Психометрики рассказали, как использовать нейросети в разработке учебных тестов

ChatGPT и другие генеративные нейросети уже используют в образовании, среди прочего при разработке критериев оценки и при проверке учебных работ. Может ли ИИ помочь педагогам оценивать знания учеников? И можно ли с его помощью создавать задания в соответствии с правилами психометрики — науки об измерении и диагностике поведения людей и их психологических особенностей?

Этим вопросам был посвящён круглый стол «Роль психометрики в образовании в условиях цифрового мира» на XXIV Ясинской (Апрельской) международной научной конференции по проблемам развития экономики и общества.

В чём ИИ уже может помочь психометрикам и учителям

Сотрудники Центра психометрики и измерений в образовании НИУ ВШЭ рассказали о нескольких инструментах с применением ИИ и машинного обучения, над которыми работает центр.

Во-первых, это оценка с помощью машинного обучения ответов на открытые вопросы тестовых заданий. Примеры использования алгоритмов глубинного обучения в этих целях в международной практике появились ещё в 2014 году. Сейчас психометрики НИУ ВШЭ автоматизируют проверку ответов на компьютерные тесты системы «Прогресс». Это проверка математической, читательской и языковой грамотности в начальной школе. Обученные исследователи модели оценивают ответы школьников с точностью выше 90% — определяют, входят ли в ответы нужные слова (несмотря на орфографические ошибки и опечатки), достаточно ли указано подробностей, использована ли информация из только что прочитанного текста.

Во-вторых, ИИ способен автоматически генерировать задания для младшей школы. Автоматизировать написание однотипных математических задачек можно уже давно — достаточно заменить в условии числа, чтобы получить новую задачу. Теперь же большие языковые модели вроде GPT-3 позволили генерировать и текстовые задания. В перспективе это может снизить нагрузку на разработчиков тестов и учебных материалов — обновлять задания станет гораздо проще.

Специалисты НИУ ВШЭ дополнительно обучили разработанную командой «Сбера» модель ruGPT-3 Large на детской литературе, чтобы она автоматически создавала тексты для учеников начальных классов. Например, такие:

Пока проект только начали, и исследователи ещё не генерируют сами задания к текстам. Но в будущем такие материалы могут пригодиться на уроках русского языка и в тестах по нему.

Кроме того, на мероприятии рассказали о том, что в Центре психометрики и измерений в образовании начали разрабатывать ещё один инструмент. Он будет предназначен для генерации визуального контента — например, образов для сценарных заданий, которые воспроизводят в виртуальной среде жизненные ситуации.

Почему ИИ-инструменты для тестирования и оценивания ещё рано применять массово

Авторы инструментов на основе ИИ отмечают, что пока нейросети справляются далеко не со всеми аспектами разработки заданий. Больше всего вопросов вызывает система генерации текстов для начальной школы. Как отметила в докладе Дарья Грачёва, аспирант и сотрудник Института образования ВШЭ, сгенерированные нейросетью тексты не отличаются сюжетной и структурной связанностью.

У участников дискуссии есть и другие замечания к использованию нейросетей при разработке заданий. Один из главных поводов для беспокойства — возможные этические проблемы. В сгенерированных нейросетях может быть как плагиат, так и ссылки на несуществующие явления и тексты. В какой мере это допустимо в школе, ещё предстоит определить.

Недавно мы рассказывали об интересном эксперименте в США: на курсе по журналистике старшеклассники создали собственные модели машинного обучения для анализа данных. Судя по первым результатам, это не только познакомило учащихся с технологиями, но и помогло им разобраться в проблемах и ограничениях использования ИИ, чтобы ребята не доверяли ему слепо.