ChatGPT помогает учиться лучше или только мешает? Что говорят исследования

Из этой статьи вы узнаете:

• какие исследования легли в основу обзора и как в них студенты и школьники использовали ChatGPT для учёбы;
• как применение ChatGPT влияет на успеваемость и когнитивные навыки учащихся;
• как применение ChatGPT влияет на мотивацию и самоэффективность учащихся;
• почему помощь от нейросети, похоже, плохо сказывается на усердии.

За каких-то пару лет помощники на основе генеративных нейросетей (всевозможные ИИ-репетиторы, ИИ-тьюторы и даже ИИ-преподаватели) уже прочно вошли в образовательную практику, а, например, в ОАЭ и Сингапуре уже решено массово использовать ботов-репетиторов в школах. Сторонники таких инициатив — в их числе, к примеру, Билл Гейтс и Свен Шютт, глава крупнейшего Международного университета прикладных наук IU, — уверены, что ИИ совершит прорыв в сфере образования за счёт персонализации контента, поддержания мотивации учиться и эффективного устранения пробелов в знаниях.

Другие же эксперты считают происходящее хайпом и убеждены, что реальный потенциал нейросетей в области обучения очень ограничен. Такого мнения придерживается, например, Дэн Майер, главный научный сотрудник компании Desmos, которая разрабатывает технологические решения для изучения математики.

Кто же прав? Пока на этот вопрос нет однозначного ответа. Ранее мы рассказывали о результатах метаанализа, в рамках которого учёные рассмотрели исследования, посвящённые использованию чат-ботов в образовательном процессе. Выводы оказались противоречивыми: некоторые работы показали негативное влияние ботов или не обнаружили какого-либо эффекта от их применения. Однако выяснилось, что нейросети всё же могут оказывать положительное влияние на учёбу: например, они способны повысить мотивацию и интерес к учёбе, а также её воспринимаемую ценность.

Стоит отметить, что в том метаанализе авторы рассматривали эффекты от использования разных языковых моделей и не фокусировались на какой-то конкретной. Но недавно появился аналогичный обзор научных работ, в рамках которого группа учёных из Китая проанализировала влияние на учёбу именно ChatGPT. Эта работа опубликована в издании Computers & Education и особенно актуальна, так как это, пожалуй, самый популярный и продвинутый чат-бот, который многие образовательные компании встраивают в свои продукты.

В целом метаанализ показал, что внедрение ChatGPT в процесс обучения может улучшить успеваемость, развить когнитивные навыки и повысить мотивацию к учёбе. Но с другой стороны — может значительно снизить усилия, которые прилагают учащиеся. Правда, эти выводы сделаны с кучей оговорок — расскажем о них подробнее.

Какие исследования включили в обзор

Учёные проанализировали 69 исследований, в которых рассматривались эффекты от применения ChatGPT в учебном процессе. Они охватывают разные ступени образования (от начальных классов до университета) и широкий спектр изучаемых дисциплин — от лингвистики до программирования и медицины. Следует сразу отметить, что результаты этих работ неоднозначны: в то время как одни выявили значительные улучшения в образовательных результатах, другие обнаружили негативное воздействие или отсутствие выраженных эффектов.

В метаанализ вошли как опросы, так и эмпирические исследования: экспериментальные и поперечные. Соответственно, эффекты от использования ChatGPT измерялись на основе субъективных оценок участников опросов, а также некоторых критериев, которые заранее определяли исследователи, проводившие эмпирические изыскания. Среди таких критериев — изменения в успеваемости, владении рядом когнитивных навыков, уровне мотивации, усилия, которые участники прилагали во время учёбы, и самоэффективность. Напомним, это один из компонентов социально-когнитивной теории Альберта Бандуры. Этот термин означает веру в собственные силы и в способность достичь успеха.

Что касается формы интеграции ChatGPT в учебный процесс, то чаще всего испытуемые в рассмотренных исследованиях использовали сам чат-бот от OpenAI, хотя в отдельных случаях применяли и приложения на его базе. Кроме того, в зависимости от эксперимента учащиеся могли использовать ИИ для разных задач: от работы с текстом (краткий пересказ, суммаризация, объяснение отдельных терминов) и анализа программного кода на наличие ошибок в нём до подготовки домашних заданий и решения контрольных тестов. Продолжительность экспериментов тоже сильно различалась — от десятиминутного сеанса коммуникации с чат-ботом до регулярного взаимодействия с ИИ на протяжении 16 недель.

В каждом исследовании принимало участие чуть больше ста человек.

Как применение ChatGPT влияет на успеваемость и когнитивные навыки

Многие проанализированные исследования показали, что ChatGPT и правда способен значительно повысить успеваемость. В данном случае имеется в виду, что у учащихся улучшались оценки после того, как они начинали использовать ИИ в образовательных целях. Исследователи предположили, что это стало следствием персонализации учебного опыта, предоставления постоянного доступа к различным данным и мнений о них, а также возможности глубже взаимодействовать с учебным материалом (например, боты могут давать дополнительные объяснения, подсказки и рекомендации).

Исследователи, конечно, попытались изучить положительное влияние на успеваемость в зависимости от ряда факторов:

• ступень образования, на которой применялся ChatGPT (школа или вуз);
• предметная область обучения;
• условия проведения эксперимента (в привычном классе или в лабораторных условиях);
• продолжительность и режим применения ChatGPT.

Оказалось, что использование чат-бота может быть полезным в самых разных областях — от искусства, социальных и гуманитарных предметов до медицины и естественных наук.

Что касается обстановки, в которой проводили включённые в обзор эксперименты, то в условиях обычного учебного класса заметили более выраженное положительное влияние на успеваемость, чем в лабораторных условиях.

Важным фактором оказалась и продолжительность взаимодействия испытуемых с ИИ. Наибольший эффект учёные обнаружили у экспериментов, которые длились от недели до месяца и меньший у более продолжительных исследований от пяти недель и более. А вот короткие эксперименты длительностью до недели не показали значимого результата.

Какие сомнения выразили сами авторы обзора

Похоже, к выводам о повышении успеваемости благодаря ChatGPT сами авторы обзора отнеслись скептически: они призывают относиться к ним с осторожностью. Дело в том, что в рамках некоторых включённых в обзор работ участникам экспериментов разрешали пользоваться нейросетями в том числе при выполнении заданий, направленных на оценку знаний — проще говоря, во время выполнения заданий, по итогам которых ставили оценку. А в ряде исследований вообще не указано, разрешалось ли участникам прибегать к помощи ИИ-помощников во время проверки знаний. Так что как минимум в некоторых случаях повышение успеваемости может быть связано вовсе не с повышением знаний у учащихся, а с более качественным выполнением заданий благодаря использованию нейросети, то есть с обычным списыванием.

Многие рассмотренные исследования показали, что участники значительно усилили свои навыки по анализу, оценке и синтезу новых знаний, благодаря использованию ChatGPT. Но авторы подвергли сомнению и этот эффект тоже.

Дело в том, что некоторые исследования, в которых обнаружилась связь между применением бота и ростом когнитивных способностей, базировались на самооценке учащихся. То есть они сами оценивали, повысились ли у них, например, способности к анализу информации и синтезу новых знаний после применения нейросети. Авторы метаанализа подчёркивают, что вообще-то такие выводы хорошо бы подкреплять результатами тестов и решениями различных задач, которые могли бы подтвердить развитие указанных навыков.

Читайте также:

Цитаты недели: почему плохо, что из образования «уходит сложность»

Как применение ChatGPT влияет на мотивацию и самоэффективность учащихся

Обзор исследований показал, что ChatGPT может повышать мотивацию к учёбе и делать процесс обучения более приятным. Об этом свидетельствуют результаты опросов учащихся и анкеты, которые они заполняли в течение наблюдений. Однако и здесь у авторов обзора возникли сомнения: поскольку основная часть рассмотренных исследований была не очень продолжительной, на их основе невозможно оценить, сохранился ли положительный эффект в долгосрочной перспективе. Это значит, что нельзя с уверенностью утверждать, будто рост мотивации был связан именно с внедрением ChatGPT в учебный процесс. Есть вероятность, что это был эффект от чувства новизны, когда необычный опыт взаимодействия с нейросетью усиливал желание учиться — но временно, пока эта практика не становилась привычной.

Проще говоря, возможно, что такой положительный эффект могло бы оказать любое интересное для учащихся изменение рутинного учебного процесса, даже нетехнологичное.

Кроме того, рост мотивации оказался неоднородным среди школьников и студентов — у первых эффект был выражен едва заметно. Как считают специалисты, это может быть связано с тем, что формат вузовских заданий и уровень их сложности больше соответствуют возможностям ChatGPT. Помимо этого, у студентов, возможно, больше опыта работы с новыми технологиями, поэтому им было проще использовать ИИ-инструменты.

А вот на самоэффективность (веру в собственные силы и в способность достичь успеха) применение ChatGPT, судя по результатам метаанализа, не влияет. Правда, в нескольких рассмотренных работах всё-таки было заявлено о положительном воздействии нейросети в этой области, однако авторы метаанализа отметили, что в них недостаточно были изучены механизмы, благодаря которым ChatGPT повысил самоэффективность. Ведь этот эффект мог быть связан как с развитием знаний и навыков благодаря тому, что учащиеся получали от нейросети индивидуальную обратную связь и подсказки, так и с ростом у них мотивации к учёбе за счёт улучшения эмоционального состояния. А это, в свою очередь, могло быть следствием эмпатичных ответов бота и с тем, что он часто хвалил учащихся.

Кстати, всего год назад американский эксперт по педагогике и внедрению ИИ в образовательный процесс Бенджамин Райли критиковал основанного на GPT‑4 ИИ‑тьютора, запущенного на крупной математической платформе Khan Academy, как раз за то, что тот недостаточно хвалит учащихся за успехи, и это непедагогично. Возможно, после этого GPT и основанные на этой нейросети ИИ‑помощники научились хвалить пользователей гораздо больше.

Почему помощь от нейросети, похоже, плохо сказывается на усердии

Метаанализ показал, что применение ChatGPT делает учебный процесс менее требовательным к умственным усилиям учащихся, и они прилагают их всё меньше, полагаясь на помощь бота. Проще говоря — слишком расслабляются.

Правда, в метаанализ попали и такие исследования, которые продемонстрировали положительное влияние нейросети на умственные усилия учащихся и рост их успеваемости, но напомним: поскольку участникам кое-где разрешали пользоваться нейросетью при решении тестовых заданий, эти выводы могут быть не очень достоверными. А вот та научная работа, где было отмечено, что учащимся запретили пользоваться ChatGPT во время теста, показала не только снижение умственных усилий, но ещё и ухудшение способности к рассуждению и аргументации.

Кстати, исследование, проведённое учёными из США и Венгрии (оно не вошло в этот обзор), показало, что старшеклассники действительно лучше справляются с тестами по математике после взаимодействия с ChatGPT, чем те, кто им не пользуется. Однако когда тем, кто применял нейросеть, закрыли к ней доступ, их результаты стали хуже, чем у тех, кто никогда не использовал ChatGPT. Вероятно, это тоже может быть свидетельством снижения когнитивных усилий на фоне применения бота.

Какие советы авторы обзора дали исследователям

В результате авторы обзора сделали осторожный вывод: похоже, ChatGPT действительно может иметь большой потенциал для образования, но чтобы в этом до конца убедиться, надо провести надёжные исследования. А именно — такие, в рамках которых:

• знания учащихся оценят объективно, без разрешения им пользоваться нейросетью при выполнении проверочных заданий;
• измерят долгосрочное воздействие ИИ-помощника на учебный процесс;
• исследуют механизмы, посредством которых ChatGPT оказывает (если оказывает) благотворное влияние на образовательные результаты.

Мы тоже надеемся в скором времени увидеть подобные исследования.