Исследование: ChatGPT проиграл студентам в искусстве убеждения

Совместное английско-китайское исследование показало, что студенческие эссе превосходят тексты, сгенерированные ChatGPT, по количеству и разнообразию маркеров вовлечённости. Работам генеративного ИИ, которые были признаны связными и содержательными, не хватало одного важного момента — индивидуальности.

Для анализа учёные отобрали из коллекции реальных студенческих эссе 145 работ, написанных второкурсниками британских университетов до 2005 года. Темы эссе были разнообразными: отношения Великобритании с ЕС, транспорт, бокс, компьютеры и жизнь, парламентская система, и даже охота на лис. Для сравнения исследователи сгенерировали с помощью ChatGPT 4.0 145 текстов на те же темы. Промпты для нейросети повторяли задания, которые давались студентам, а также ChatGPT задали ​​​​определённую роль, реалистичный контекст, правила и тон письменного задания.

Изучив эти наборы текстов, учёные выявили в них такие маркеры вовлечённости:

• упоминания читателя (например, использование местоимений «мы» и «вы»),
• вопросы (включая риторические),
• отсылки к общим знаниям,
• директивы (побуждения к действию или размышлению),
• личные отступления.

Чтобы выяснить, какие работы содержат больше таких элементов, исследователи посчитали количество маркеров вовлечённости на 1 тысячу слов в эссе студентов и ChatGPT.

В результате выяснилось, что студенты гораздо активнее используют риторические приёмы: в их эссе в среднем встречалось 16,99 маркера вовлечённости на 1000 слов, тогда как в текстах ChatGPT показатель составил всего 5,40.

Особенно заметной оказалась разница в использовании вопросов и личных отступлений — последние практически отсутствовали в сгенерированных ГИИ работах. В то же время ChatGPT чаще ссылался на общие знания — это, по мнению исследователей, объясняется тем, что он обучался на огромных массивах текстовых данных.

Интересно то, что преподаватели, проверяющие студенческие работы, в основном не отличают сгенерированные нейросетью тексты от реальных эссе, — например, предыдущее исследование по теме в Великобритании показало, что работам нейросети даже выставляют более высокие оценки. Правда, неизвестно, насколько авторскими были эссе, которые использовались в этом эксперименте как студенческие — возможно, их авторы тоже сгенерировали с помощью ИИ.

Ранее лауреат Нобелевской премии по физике профессор Сол Перлмуттер призвал преподавателей обращать внимание учащихся на то, что сгенерированные с помощью ChatGPT тексты не отражают необходимое для научной работы критическое мышление. Он предложил студентам анализировать написанные роботами ответы, чтобы понять ограничения в рассуждениях ChatGPT и сравнить их с более надёжным научным анализом.