ChatGPT пока не способен сдать экзамен по истории на высокий балл

Доцент кафедры истории России УрФУ Михаил Киселёв провёл эксперимент, в рамках которого попытался выяснить, способны ли нейросети — в данном случае ChatGPT и Sage — успешно справиться с экзаменом по его предмету.

Как проходил экзамен

Специалист задавал им вопросы, призванные выявить уровень владения терминологией и знание фактов.

Оказалось, что обеим нейросетям хорошо даются вопросы по современной научной терминологии. Но с важными для историков и других гуманитариев нюансами языков разных эпох они не справляются: в ответах нейросетей неправильно проинтерпретированы устаревшие термины или использованы современные понятия, которые ещё не существовали в обсуждаемый период.

К примеру, Киселёв спросил у нейросетей, что такое завещание Василия III. В ответах и ChatGPT, и Sage этого правителя назвали царём — но этот титул официально принял его сын, Иван IV. Кроме того, в ответе ChatGPT использовалось слово «министры», которого в XVI веке в русском языке ещё не было. Тем не менее оба ответа историк счёл удовлетворительными.

Затем он переформулировал вопрос, спросив, что такое «духовная» Василия III (это устаревшее сейчас слово в XVI веке означало то же, что и завещание). И в ответах на изменённый вопрос обе нейросети начали импровизировать. В ответе ChatGPT было сказано, что «духовная» — это период правления Василия III, когда в России произошло значительное развитие православной церкви. А в ответе Sage — что это название церковной реформы правителя.

Потом их попросили рассказать, какие историки писали о завещании Василия III. По словам доцента, сначала они начали «лить воду» в ответ, а затем назвали наиболее известных дореволюционных историков вроде Сергея Соловьёва и Василия Ключевского. Киселёв отметил, что это был удачный ход: такие крупные специалисты, конечно, должны были хоть что-то написать об этом событии. Однако нейросети проигнорировали авторов специальных работ по этой теме, которых легко можно найти при помощи поисковика. Более того, нейросети упомянули в своих ответах придуманные факты — то есть несуществующих историков и несуществующие труды.

В чём проблема нейросетей

В результате доцент УрФУ пришёл к выводу, что нейросети хорошо справляются с материалом, который имеет однозначные ответы. Однако в остальном они имитируют самостоятельные рассуждения, попутно выдумывая факты. Точно так же ведут себя студенты-«импровизаторы», которые не знают весь материал, но владеют отрывочными сведениями и пытаются выстраивать свои ответы вокруг них. Вывод историка однозначен: с гуманитарными дисциплинами ИИ пока справляется на троечку.

Кстати, ранее стало известно, что ChatGPT успешно справился со сложным экзаменом по медицине. Он даже научился создавать онлайн-курсы. Правда, их качество пока оставляет желать лучшего.