Найден способ определить, использовался ли ChatGPT при написании тестов

Новый подход предложили Кеннет Хансон, доцент кафедры химии и биохимии Университета штата Флорида и инженер по машинному обучению Бенджамин Соренсон. Их работа опубликована в Journal of Chemical Education. Её выводы пересказало издание ScienceDaily.

Авторы работы отмечают, что один из аспектов, которые особенно волнуют преподавателей в связи с распространением ИИ-инструментов, — жульничество при сдаче эссе, контрольных и прочих работ. Однако списывание с помощью нейросетей, включая ChatGPT, на тестах с множественным выбором (когда за вопросом следует несколько вариантов ответа, из которых нужно выбрать подходящие) обычно игнорируют. Данное исследование — первое, в рамках которого предлагают способ выявить, использовал ли студент ИИ при решении именно таких заданий.

Идея исследователей основана на том, что вероятность правильного ответа на любой тестовый вопрос зависит от двух вещей: насколько труден вопрос и каким объёмом знаний по темам, проверяемым в тесте, обладает студент.

Исследователи собрали ответы студентов Университета штата Флорида с экзаменов по химии за предыдущие пять семестров, обработав около тысячи вопросов. Благодаря этому они обнаружили некоторые закономерности:

• Студенты, которые в целом хорошо учатся, обычно отвечают правильно как на лёгкие, так и на трудные вопросы.
• «Середнячки», как правило, справляются с большинством простых вопросов и с частью трудных.
• Студенты с низкой успеваемостью чаще всего правильно отвечают только на лёгкие вопросы.

Во всех пунктах речь идёт о самостоятельной работе.

ChatGPT таким постоянством не отличается и может неправильно отвечать на многие простые вопросы и при этом давать верные ответы на все трудные. То есть поведение учащихся и нейросети заметно различается. Используя статистику соответствия, исследователи сверили результаты тестов и успеваемость их участников. Это позволило выявить, пользовался ли ученик ChatGPT, почти со стопроцентной точностью.

Авторы работы считают, что этот метод можно использовать, чтобы обнаружить применение любых чат-ботов на базе ИИ. Однако, как отметили исследователи, они не ожидали, что определить закономерности поведения ИИ будет так просто.

Кроме того, они отмечают некоторые ограничения разработанного способа. Так, он работает только в случае, если студент выполнил с помощью чат-бота все задания теста, и не поможет выявить, применялся ли ИИ точечно. А ещё по мере развития нейросети учатся всё лучше решать тесты и в итоге работа ChatGPT может стать неотличимой от работы студента-отличника.

Кстати, ранее исследователи выяснили, кто лучше проверяет эссе — ChatGPT или учитель.