Как нейросеть ChatGPT поставила на уши гуманитарное образование

Кажется, из всех утюгов в последнее время слышно про ChatGPT. Это нейросеть, которая генерирует практически любые тексты в любом стиле. Якобы технологическая новинка если не убьёт, то вынудит сильно реформироваться чуть ли не всю сферу образования. Во всяком случае — гуманитарного. Давайте разберёмся:

• что такое ChatGPT и какие угрозы этот бот несёт образованию;
• как нейросеть почти сдала экзамены и в США, и в России — и как ещё её используют студенты;
• если уже появилась технология для противодействия мошенничеству, то почему это не снимает главную проблему;
• как ChatGPT может изменить процесс обучения.

Что такое ChatGPT

Начнём с предыстории: несколько лет назад компания OpenAI разработала алгоритм для обработки естественного (проще говоря, человеческого) языка под названием GPT-3. С её помощью можно было, например, генерировать тексты в разных стилях и форматах, а ещё создавать чат-боты. На практике это работает так: вы вводите начало текста, а алгоритм дописывает его за вас. Правда, доступ к этой разработке можно было получить только платно, и хотя говорили о ней много, пользовались далеко не все.

В ноябре 2022 года OpenAI презентовала новинку — бесплатный чат-бот ChatGPT на базе более совершенной версии алгоритма (GPT-3.5). Отдалённо он похож одновременно на поисковик и цифрового помощника. Вы можете задать боту любой вопрос, а он выдаст довольно содержательный ответ — и вам не придётся переходить по множеству ссылок в поисках нужной информации. Можно «попросить» бота сделать определённое действие: написать код, сценарий для рекламы или, например, эссе по философии, которое нужно сдать уже завтра. Потребуется указать тему, объём и, если нужно, дополнительные параметры. Спустя пару минут у вас будет готовая да ещё и уникальная работа, которую вполне можно сдать преподавателю.

Появление ChatGPT сразу же привело к панике и спорам в образовательном сообществе. Например, в издании The Atlantic вышло сразу два материала, посвящённых ChatGPT, с печальными заголовками «Студенческие эссе уже мертвы» и «Конец сочинениям в старшей школе». Их авторы задавались вопросом: если теперь думать и писать за человека могут алгоритмы, то как теперь учить? И действительно, стоит ли, например, задавать школьникам и студентам письменные работы на дом, чтобы приучить их собирать, обобщать, анализировать информацию и формулировать собственные выводы? Кто будет так напрягаться, если всё это теперь за тебя может сделать ИИ?

Известный в США эксперт по образовательной политике Рик Хесс опубликовал в Education Week колонку, где замечает: раз мы не можем развить у учащихся бескомпромиссную добросовестность (которая и сто лет назад, вообще-то, не была нормой), то у преподавателей появляется дополнительная забота и работа — убеждаться в том, что студенты действительно знают то, что им полагается, и действительно учатся, а не передают свои задачи ИИ. Поэтому появление ChatGPT знаменует начало новой эпохи в образовании.

А Илон Маск, один из владельцев OpenAI, выразился так: «Это новый мир. Прощай, домашка!»

Читайте также:

«Академическое мошенничество распространено во всём мире, и оно усиливается»

Почему ChatGPT посчитали угрозой для образования

Могло бы показаться, что причин для паники нет. В конце концов, к XXI веку пора бы привыкнуть: учащиеся всегда старались найти возможность облегчить себе задачи и списать. Меняются только способы и инструменты. Однако возможности нового бота, хоть они и ограниченны (об этом мы расскажем чуть позже), всё равно, кажется, слишком сильно расширяют масштаб академического мошенничества.

Упомянутый выше Рик Хесс, например, считает, что по сравнению с ChatGPT прежние мошеннические способы создания письменных учебных работ покажутся «лёгким ветерком», потому что этот инструмент «заменяет фрагментарное мошенничество оптовым и эффективным изготовлением».

Некоторые эксперименты и кейсы эти опасения, увы, подтверждают.

Чат-бот vs студенческое эссе

Одна из консалтинговых компаний в США решила проверить, насколько хорошо ChatGPT справится со студенческими эссе в сравнении с самими студентами. В компании наняли несколько преподавателей и попросили их составить задания по медицине, праву, литературному мастерству и истории. Затем это задание попросили выполнить нескольких студентов колледжей и, конечно, чат-бот (в отличие от него, студентам за работу заплатили).

Анонимные ответы проверяли всё те же преподаватели, составившие задания. Полученные от нейросети сочинения, правда, слегка подправили — например, убирали совсем уж очевидные повторы.

На каждую работу у нейросети уходило от трёх до 20 минут. У людей — около трёх дней. Результаты получились такими:

• Эссе по медицине: авторы-люди получили четвёрку и двойку, а нейросеть — твёрдую тройку.
• Эссе по истории: люди получили четвёрку и тройку с плюсом, нейросеть — четыре с минусом.
• Литературный рассказ: нейросеть получила единицу, а вот у людей оценки были лучше — пятёрка, тройка и двойка с плюсом.
• Эссе по праву: преподаватели оценили работу нейросети на твёрдую четвёрку, а сочинения людей — на пятёрку, тройку с минусом и единицу.

Авторы эксперимента также сравнили обратную связь, полученную студентами и чат‑ботом. Оказалось, что объём комментариев по разным видам проблем для людей и нейросети не сильно различался: например, бот получил 49,2% комментариев по грамматике и синтаксису, у людей этот показатель тоже оказался близким к этой цифре.

Чат-бот vs университетские экзамены

Преподаватели Школы права при Университете Миннесоты (США) решили проверить, сможет ли чат-бот хорошо написать экзамены по четырём разным курсам. Для этого нужно было пройти тест из 95 вопросов с вариантами ответа и 12 вопросов со свободными ответами. ChatGPT, по их мнению, справился «на троечку» — то есть не идеально, но экзамен он всё же «сдал».

В схожем эксперименте по бизнес-менеджменту, который провели в Уортонской школе бизнеса, бот сдал экзамены гораздо лучше — на четвёрку. Преподавательница, проводившая эксперимент, отметила, что, с одной стороны, чат-бот оказался большим молодцом, а с другой — допускал очевидные ошибки в простых математических примерах.

Кстати, ошибки — действительно слабое место ChatGPT. Всё же это не волшебник, а алгоритм, который работает на полученных от людей данных: эти данные могут быть неверны или недостаточно точны для корректной обработки. Например, в одном эксперименте бот с лёгкостью перепутал идеи Джона Локка и Томаса Гоббса. Как считает автор этого эксперимента, причина проста: эти философы слишком часто упоминаются вместе, а поскольку бот всё же не умеет думать по-настоящему, он выдал то, что посчитал наиболее подходящим под конкретный контекст.

Перечисленные эксперименты демонстрируют возможности ChatGPT: он способен генерировать текст (или код), распознать авторство которого может быть довольно трудно.

Читайте также:

«На прокторинг вешают вообще все неудобства, связанные с дистанционными экзаменами»

Чат-бот vs сочинение на ЕГЭ

ChatGPT хорошо работает на английском, а на русском языке бота со столь же впечатляющими результатами ещё нет. Возможно, поэтому академическое сообщество до сих пор считало, что рано переживать, — и, кажется, напрасно. Сначала расскажем о результатах одного эксперимента, а потом о скандале с использованием ChatGPT для написания дипломной работы на русском языке.

Результатами эксперимента поделился доцент школы филологических наук ВШЭ, учитель Лицея НИУ ВШЭ Михаил Павловец в своей статье для издания «Вести образования». С помощью коллег он «попросил» GPT-3 написать итоговое школьное сочинение на английском языке по нескольким параметрам (тема, опора на литературное произведение, объём). На работу у нейросети ушло несколько минут. Готовое произведение за секунды перевели в «Яндекс Переводчике» и безо всякой редактуры показали двум экспертам.

«Учителя-словесники, конечно, поморщатся от пары повторов или речевых небрежностей, но в целом признают: сочинение зачётное. В том смысле, что оно соответствует всем критериям ФИПИ: больше 350 слов, высказан тезис, развёрнут, подкреплён тремя аргументами, один из которых — „литературный аргумент“ (так он именуется в нормативных документах Минпроса), есть выводы. Собственно, я мог бы и сам вынести такую оценку этой работе, но попросил проверить её двух своих коллег — завкафедрой словесности Лицея НИУ ВШЭ Екатерину Бровко и известного столичного учителя с 30-летним стажем Сергея Райского: оба отметили некоторые речевые просчёты, но признали, что по всем критериям работа заслуживает оценки „зачтено“», — написал Михаил Павловец.

Чат-бот vs дипломная работа

В конце января 2022 года выпускник РГГУ Александр Жадан похвастался в социальной сети Twitter, что защитил написанный ботом диплом на тему «Теоретические аспекты управления современной организацией». Задачи боту студент ставил на английском языке и потом переводил сгенерированный текст на русский с помощью онлайн-переводчика. По словам автора поста, вышло «ненапряжно и прикольно».

Правда, «ненапряжно» было скорее преувеличением: юноша пишет, что ему пришлось несколько раз переделывать план диплома (бот с этим не справился, в отличие от научного руководителя), затем по частям давать алгоритму нужную информацию, потом дорабатывать кое-что самому или с помощью нейросети по замечаниям научного руководителя, а также использовать ещё и чужой диплом, чтобы бот мог сделать похожий текст. Схема «написать диплом с ChatGPT + скомбинировать с чужой работой + добавить своего» оказалась рабочей, констатирует экспериментатор.

В итоге работа получила хороший процент оригинальности — 82%, а на весь процесс с написанием и редактурой у выпускника ушло всего 23 часа (на первую версию — 11 часов, остальное на доработку). Комиссия оценила такое совместное творчество человека и ИИ на тройку, причём один балл, как пишет герой этой истории, ему снизили за поведение на экзамене. Автор поста предложил желающим посмотреть на его работу и оценить её качество.

Как и следовало ожидать, история вызвала огромный резонанс. Пресс-служба РГГУ выпустила сообщение, где пояснила, что в процессе подготовки этой выпускной квалификационной работы руководитель многократно делал студенту замечания по поводу качества представленных материалов, а на защите работы члены госкомиссии колебались между оценками «удовлетворительно» и «неудовлетворительно», и лишь презентация работы и ответы на вопросы склонили комиссию истолковать сомнения в пользу студента.

В вузе считают необходимым разработать инструментарий распознавания использования нейросетей при подготовке письменных работ. Кроме того, по сообщению РБК, в РГГУ выступили с предложением ограничить доступ к СhatGPT в образовательных организациях «из-за опасений по поводу негативного воздействия на обучение, а также безопасности и точности генерируемого системой контента».

Получается, «технология» создания дипломных работ с помощью СhatGPT вполне может стать массовой. По крайней мере, для тех, кому достаточно «троечки» (а что, разве мало таких студентов?). Ну и не стоит забывать о том, что сеть учится и развивается — не исключено, что скоро её творчество будет «тянуть» и на высокие баллы. Сейчас бот бесплатен, но даже после введения платы он может оказаться дешевле, чем написание диплома на заказ, — просто находка для любителей смухлевать. Хотя подождите… Получается, дело вовсе не в технологии, а в отсутствии желания учиться по-настоящему, честно? Согласитесь, тут есть о чём подумать.

Как учащиеся используют СhatGPT и как этому можно противодействовать

Конечно, основная проблема использования таких технологий связана с письменными работами. Студенты и школьники уже начали пользоваться алгоритмом, чтобы делать курсовые и эссе.

Например, автор новозеландского издания Canta при Кентерберийском университете пообщался со студенткой одного из местных вузов, которая воспользовалась нейросетью для этих целей. Причём она относилась к учёбе ответственно: посещала лекции, читала рекомендованную литературу. Только вот красиво сформулировать свои мысли не могла и чувствовала себя «наказанной» за это. Студентка посчитала, что, раз она честно занимается, но звёзд с неба не хватает, вреда от такого подлога не будет.

В декабре 2022 года газета The New York Post рассказала о том, как профессор Университета Фурмана Даррен Хикс поймал студента на том, что его работу написал чат-бот. «Я бы сказал, что чат-бот пишет как очень умный 12-летний ребёнок», — пояснил преподаватель. Например, некоторые речевые обороты были необычными или слишком простыми для студенческого эссе, объяснил он, — как будто это писал тот, у кого ещё нет собственного стиля. Причём каждый ответ бота уникален, даже если ты пытаешься повторить запрос (преподаватель даже попробовал это сделать, предположив, какую «задачу» поставил студент перед ботом).

Если бот пишет как умный подросток, значит, с его помощью очень легко сгенерировать школьные сочинения? Упомянутый в начале статьи Рик Хесс считает, что да. Текст, написанный с помощью бота, не всегда ясный или осмысленный, но то же самое можно сказать и о многих реальных работах учащихся, честно признаёт Рик. «Львиная доля учителей K-12 и колледжей, с которыми я разговаривал или слышал об этом, говорят мне, что им будет очень сложно с уверенностью отличить подлинную студенческую работу от стилей ChatGPT», — пишет он.

Однако в начале 2023 года на помощь преподавателям пришёл студент Принстонского университета: он создал проект GPTZero, который помогает распознать работу нейросети. Платформа анализирует предложенный ей текст по двум показателям:

• Преплексия — под ней здесь понимается, насколько знакомым и стройным текст кажется языковой модели: если он труден для понимания, то с большой долей вероятности писал текст человек.
• «Пакетные данные» — человек пишет длинные и короткие предложения, может растягивать мысль в одном абзаце, а в другом ограничиться коротким восклицанием. Формулировки алгоритмов куда скучнее, а тексты — ровнее.

На обновления о GPTZero уже подписались более 20 тысяч педагогов по всему миру, сообщало издание Tech Learning. Правда, и GPTZero может быть не до конца точным: когда ему предложили распознать девять эссе (шесть настоящих студенческих и три от чат-бота), он верно идентифицировал семь, а в двух случаях не смог этого сделать — одно сочинение было написано человеком, а другое — чат-ботом.

Почему проблема не только и не столько в мошенничестве

Волнение в образовательной сфере вызвала не только и не столько проблема роста академического мошенничества, сколько влияние технологий, подобных ChatGTP, на получение знаний в целом и на организацию образовательного процесса.

Исследовательница провела опрос среди американских и европейских студентов: оказалось, что они и сами видят угрозу в простых и уже привычных цифровых помощниках. Например, автоматическая проверка на ошибки в обычных программах вроде бы помогает их не совершать, но одновременно, кажется, сводит на нет навык письма (зачем стараться и задумываться, если программа поправит где надо). Эксперт перечисляет и другие проблемы: чем больше человек полагается на помощь технологий, тем больше «отрывается» от текста, теряет собственный стиль, а в конечном счёте — меньше опирается на собственные силы или любознательность в решении проблем. А значит, и не тренирует навыки.

Ещё одна беда в использовании подобных технологий — изменение подхода к гуманитарному образованию в целом.

Проще говоря, специалистам в сфере образования, похоже, придётся теперь не просто в дополнение к проверке уникальности работы проверять и её «человечность» (в смысле — нет ли следов ИИ), но и переосмыслить сам процесс обучения и его результаты.

Читайте также:

Образование — от людей, обучение — от роботов

Как СhatGPT может поменять процесс обучения и оценки его итогов

Когда прошёл первый шок от новинки, в экспертном сообществе поднялась волна рефлексии. За один только январь 2023 года в популярном издании Inside Higher Ed, посвящённом проблемам высшего образования, вышло около 16 статей на одну и ту же тему — как изменить подходы к образованию с учётом новой реальности.

Например, автор нескольких книг по литературному мастерству и преподаватель Джон Уорнер задаётся вопросом: а так ли уж ценны те задания, которые может сделать чат‑бот? Возможно, новые технологии приведут к переосмыслению самого процесса обучения и ценности того, чему реально можно научиться в вузе. Само по себе создание и поощрение знания, кажется, уже не ценно, отмечает Уорнер, и студенты прекрасно это знают, поэтому от поколения к поколению ищут «короткие пути» — например, списывают или находят ответы на экзамен у старшекурсников.

Специалисты сходятся во мнении, что новые технологии изменят и подходы к преподаванию. Например, преподавательница Рэйчел Эллиот Риголино предлагает такой выход: если многое за студентов теперь могут сказать нейросети, стоит воспользоваться этим моментом — и учить критическому подходу к чтению, редактуре и другим полезным в будущем навыкам.

Есть и другое мнение. Рик Хесс, например, считает, что от письменных заданий отказываться не надо, а нужно просто вернуть их выполнение в учебные аудитории под наблюдение преподавателей. А если и оставлять учащимся выполнение дома, то стоит требовать, чтобы они показывали преподавателям планы и заметки, проверять каждый этап процесса. Да, признаёт он, последние 10–20 лет образование благодаря цифровым технологиям всё больше двигалось в сторону первёрнутого класса, но теперь, кажется, технологии могут, наоборот, стать причиной отказа от этой модели.

В России же в ответ на скандал с дипломной работой, которую Александр Жадан написал с помощью нейросети, заместитель председателя комитета Госдумы по науке и высшему образованию Александр Мажуга назвал случившееся очень важным сигналом для педагогического сообщества о том, что нужно внимательно участвовать в процессе написания дипломных работ учащихся.

Сам автор дипломной работы и вовсе считает, что важность выпускных работ переоценена и они не стоят больших усилий. Такое же мнение без обиняков высказала в своем телеграм-канале Маргарита Симоньян: «Умение написать диплом не имеет ровно никакого отношения к готовности человека работать по специальности, к объёму и качеству полученных знаний, и вообще это филькина грамота, которой прикрывают неспособность действительно проверить знания и навыки объективным и честным способом».

А первый заместитель председателя того же комитета Олег Смолин хотя и посетовал, что «если вместо студентов дипломные работы будут писать нейросети, студенты разучатся вообще что-либо делать», но всё же высказался в том ключе, что запрещать подобные сервисы бесполезно, потому что всё равно найдётся способ их обойти. Надо идти по другому пути, считает он: «Студент на защите диплома должен оцениваться по тому, как он способен представить свою работу, объяснить, о чём она, ответить на вопросы комиссии. То есть нам нужно менять форму экзамена: от пассивного зачитывания содержания диплома, в лучшем случае с одним-двумя вопросами, перейти к настоящей защите, где студент должен доказать, что это его работа и он действительно способен её защищать».

Что касается представителей преподавательского сообщества, то, судя по результатам обсуждения в телеграм-канале «Наука и университеты», среди них есть разные мнения: от полного отказа от такого формата, как письменные выпускные квалификационные работы в бакалавриате (чтобы в качестве итогового испытания был междисциплинарный экзамен) до дифференцированного подхода — когда сильным студентам разрешается написать такую работу, а слабым троечникам придётся сдавать экзамен.