ChatGPT ухудшил успеваемость старшеклассников по математике

Исследователи из Университета Пенсильвании (США) решили оценить, как ИИ-репетиторы на основе генеративных нейросетей влияют на обучение математике. Для этого они провели эксперимент с участием почти тысячи учеников старшей школы в Турции в течение осеннего семестра 2023–2024 учебного года. Результаты работы доступны в виде препринта — то есть публикация пока не проходила рецензирование у независимых специалистов.

Классы случайным образом распределили на три группы — GPT Base, GPT Tutor и контрольную. ИИ-тьютор GPT Base, который использовала первая группа, имел стандартный интерфейс и возможности ChatGPT. GPT Tutor был специально настроен: он не давал прямого ответа на вопросы учащихся, а использовал подсказки. Кроме того, чат-бот обучили правильно давать обратную связь ученикам.

Обучение с использованием чат-ботов в экспериментальных группах затронуло лишь небольшую часть программы — около 15%. Школьники могли обратиться к помощи ИИ, когда решали задачи на закрепление темы, ранее объяснённой учителем. При этом результаты учащихся в экспериментальных группах были существенно выше, чем в контрольной: группа GPT Base справлялась с заданиями на 48% успешнее, чем те, кто не пользовался никакими ИИ-инструментами. Для группы GPT Tutor разница оказалась ещё выше и составила 127%. То есть с помощью чат-ботов ученики решали задачи по новой теме быстрее и правильнее, чем без них.

Однако, помимо работы с чат-ботом, каждая учебная сессия в курсе обязательно включала самостоятельный этап — мини-экзамен по изученной теме. И исследователи обнаружили, что на этапе самостоятельной работы учащиеся в классах GPT Base отставали от контрольной группы, школьники в которой не пользовались никакими ИИ-инструментами. Результаты у тех, кто пользовался в обучении обычным чат-ботом, оказались на 17% хуже, чем в контрольной группе. Получается, что когда школьники научились решать задачи с помощью чат-бота, то они привыкали использовать его подсказки и без них справлялись с математикой хуже.

Похоже, включённые в GPT Tutor защитные меры смягчили подобные негативные эффекты — с самостоятельным решением задач школьники из этой группы справлялись не хуже, чем участники в контрольной группе (но и не лучше!). Авторы исследования пришли к выводу, что ИИ-инструменты, как и многие другие технологии, влияют на образование противоречиво. С одной стороны, чат-боты способны существенно облегчить процесс освоения новой темы. С другой — их бесконтрольное использование может ухудшить результаты обучения. И для того, чтобы этого не происходило, над образовательными чат-ботами и другими ИИ-инструментами должны тщательно работать специалисты.

Необходимость точной настройки образовательных чат-ботов косвенно подтвердили и немецкие исследователи. Настроенный с помощью грамотных промптов чат-бот Iris, который помогает студентам изучать информатику, положительно оценила половина опрошенных учащихся. При этом большинство из них сообщили, что используют чат-бот при подготовке к экзамену, однако чувствуют себя достаточно комфортно на экзамене и без поддержки Iris. Как и GPT Tutor в исследовании на турецких старшеклассниках, этот чат-бот обучен не давать учащимся прямых ответов, а предлагает вместо этого подсказки и наводящие вопросы.

Ранее исследование выявило, что учащиеся, которые чаще использовали ChatGPT, ниже оценивали свои способности запоминать информацию и были более склонны к прокрастинации, чем те, кто пользовался этим инструментом реже. Кроме того, студенты, которые чаще использовали ChatGPT для своих академических задач, имели более низкую успеваемость. Авторы исследования рекомендуют разрабатывать учебные программы и стратегии преподавания, которые задействуют естественное любопытство учащихся. И тут на помощь могут прийти специально спроектированные образовательные боты.