Как преподавателю понять, что текст сгенерирован нейросетью

Отличить текст, созданный ChatGPT или другими похожими инструментами, от написанного человеком не так уж просто. Да, хорошее владение темой поможет заметить «галлюцинации» ИИ — фейковые утверждения, которые нейросеть включает в текст, когда ей не хватает информации. Однако ChatGPT может быть очень убедительным, и при проверке письменных работ, будь то сочинение, эссе, курсовая или диплом, нельзя бы на 100% уверенным, что учащиеся написали их сами.

За помощью можно обратиться к специальным инструментам — ИИ-детекторам. Такая функция появилась у «Антиплагиата», подобный сервис разработала и OpenAI — компания, создавшая сам ChatGPT. Однако разработчики предупреждают, что эти инструменты несовершенны — они не всегда распознают сгенерированные тексты и, наоборот, иногда принимают за продукт генерации искусственным интеллектом текст, написанный человеком.

Журналист и преподаватель курса по писательскому мастерству Западного университета штата Коннектикут Эрик Офганг тоже столкнулся с этой проблемой при проверке студенческих работ. В статье для сайта Tech & Learning он поделился признаками, по которым он обычно отличает сгенерированные тексты от написанных человеком. Но при этом предостерегает учителей и преподавателей от обвинений учащихся в использовании ИИ, предлагая принимать подобные случаи как повод для разговора об уместном и этичном применении нейросетей.

Хотя описанные Офгангом признаки касаются англоязычных текстов, они, как представляется, вполне применимы и для русскоязычных.

Текст существенно длиннее, чем предполагает задание

Конечно, почти в каждой группе есть особо старательный студент, всегда делающий больше, чем требуется, и без всяких нейросетей. Но, по словам Эрика Офганга, такие ребята обычно пишут преподавателю с уточняющими вопросами, сдают задания раньше одногруппников, и их тексты чаще всего хорошо написаны. А вот когда длинный текст сдаёт студент, который раньше не был таким перфекционистом, это подозрительный «звоночек».

У сгенерированного нейросетью слишком объёмного текста, скорее всего, будут и другие недостатки. Например, он может представлять собой пространные рассуждения по заданной теме, но не отвечать на поставленный вопрос.

Текст не передаёт настоящие эмоции

Как замечает автор статьи, текст, сгенерированный нейросетью, можно сравнить с музыкой, играющей в лифте. Звучит она бодро и позитивно, но не передаёт настоящие эмоции. И если, например, предложить студентам написать о важных личных воспоминаниях или любимом увлечении, то сгенерированное эссе, по сравнению с созданным человеком, покажется пустым и безжизненным.

В тексте неуместно используются списки

Генеративные нейросети, в том числе СhatGPT, склонны формулировать ответы на любые запросы в виде перечней. Люди же, как правило, используют их в своих текстах не так часто. Например, для описания сложных идей формат списка вряд ли уместен. Даже в случае, когда этот формат подходит, большинство студентов нечасто структурируют информацию именно так, по наблюдению Офганга. Поэтому чрезмерное использование списков, по его мнению, может быть признаком того, что текст сгенерирован ИИ.

Нет опечаток, орфографических и пунктуационных ошибок

Текст, написанный человеком, не застрахован от опечаток, пропущенных запятых и нескладных формулировок. В то время как ChatGPT, по наблюдению автора статьи, создаёт очень гладкие тексты, в которых в среднем гораздо меньше ошибок, чем в работах многих студентов.

Текст отличается по стилю от других письменных работ студента

Эрик Офганг преподаёт писательское мастерство, а значит, читает очень много студенческих работ. И по его опыту, если стиль конкретного текста значительно выделяется среди других текстов, которые сдавал учащийся, это может говорить о плагиате или ИИ-генерации. Заметим, что ориентироваться на этот признак можно, только если у часто пишущего человека действительно есть характерные приёмы в тексте и вы хорошо с ними знакомы.

Просто ощущение, что что-то «не так»

По словам преподавателя, в некоторых текстах он замечает сразу несколько названных выше признаков, что вызывает сомнения в честности выполненной студентом работы. А в других случаях бывает сложно отметить конкретные индикаторы ИИ-генерации, но при чтении текста возникает стойкое чувство, что писал его не человек.

В такой ситуации Эрик Офганг нередко обращается за вторым мнением к коллеге-преподавателю. Если с его подозрениями соглашаются, сомнительный текст становится поводом для беседы со студентами об этике использования нейросетей в обучении. Автор статьи подчёркивает, что это именно беседа, а не обвинения. Тем более что доказать, что текст сгенерирован, практически невозможно.

В другой публикации преподаватель рассказал об одном из случаев, когда его подозрения подкрепились и сторонними мнениями, и результатами ИИ-детекторов. Тогда, прежде чем оценить работу, он отправил студенту письмо с предложением обсудить его текст и ответить на несколько вопросов. И одновременно разослал всем другим ребятам напоминания, что злоупотребление нейросетями против правил его курса. Студент, сдавший подозрительный текст, сообщение проигнорировал и поэтому не получил баллы за эту работу.