Что, если создать для студентов не ИИ-репетитора, а... ИИ-ученика?

ИИ-тьюторами, ИИ-репетиторами и даже ИИ-преподавателями сейчас уже никого не удивить, но учёные из Китая решили поступить по-другому: сделать нейросеть — учеником для студентов. Идея в том, чтобы те, обучая такого ученика, и сами лучше разобрались в теме. Проще говоря, это безопасный тренажёр для применения концепции «хочешь понять сам — объясни другому». Рассказываем, что получилось, а оригинальное и подробное описание результатов эксперимента можно прочитать здесь.

Как проводили исследование

Участие в проекте принял 41 студент с навыками программирования на C++. Им поставили задачу — решить с помощью программирования головоломку «Восемь ферзей». Задача состоит в том, чтобы разместить все восемь шахматных фигур на 64-клеточной шахматной доске таким образом, чтобы ни одна из них не могла атаковать остальные. Это означает, что никакие два ферзя не могут находиться в одном ряду, столбце или диагонали. Студентам было нужно рассчитать все возможные координаты их размещения.

У всех участников эксперимента был доступ к вспомогательным материалам — трём видеолекциям. В них им объясняли задачу о восьми ферзях и алгоритм, используемый для её решения, а также то, как к ней подступиться, используя знания концепции искусственного интеллекта и программирования.

Студентов разделили на две группы: контрольную, участники которой пытались написать код полностью самостоятельно после просмотра лекций, и экспериментальную — в ней студенты должны были справиться с задачей, научив решать её ИИ-агента на основе ChatGPT.

Для этого авторы исследования настроили ИИ-агента так, чтобы он имитировал поведение ученика. Таким образом, участвующие в эксперименте студенты сами выступили в роли преподавателей для чат-бота. Это означало, что им нужно было:

• оценить первоначальное «понимание» ботом изучаемой темы;
• чётко объяснить ему обучающий материал;
• отвечать на вопросы бота;
• научить его пошагово решать головоломку;
• проверить, насколько хорошо ИИ-ученик «усвоил» материал и давать обратную связь до тех пор, пока тот не достигнет цели.

После эксперимента студенты прошли несколько тестов:

• на знание решения головоломки «Восемь ферзей» и алгоритма, с помощью которого она решается;
• на качество написания кода — то есть его корректность и читабельность;
• на способность к саморегулируемому обучению — речь о мотивации и умении выстроить образовательную стратегию.

Читайте также:

Что такое саморегулируемое обучение и почему это важно как для EdTech, так и для вузов

Что показал эксперимент

Как и ожидали организаторы эксперимента, участники из экспериментальной группы быстрее справились с задачей — в среднем почти за две попытки против почти трёх попыток студентов из контрольной группы.

Ещё оказалось, что студенты, обучавшие ИИ-бота решать головоломку, продемонстрировали значительно лучшее понимание концепций программирования по сравнению с контрольной группой. Это значит, что процесс объяснения алгоритмов «ученику» помог сформировать у них самих более глубокое понимание.

Более того, участники экспериментальной группы также написали более понятный и читабельный код. Вероятно, опыт объяснения своего кода «ученику» помог им лучше структурировать собственный код. Хотя возможно и то, что экспериментальный подход к обучению побуждал студентов уделять приоритетное внимание ясности своего кода.

Также у студентов, взаимодействовавших с ИИ-ботом, оказались лучше развиты навыки саморегуляции. По сравнению с другой группой они значительно лучше справлялись с составлением собственной образовательной стратегии, а также с самоконтролем усвоения материала.

Как объясняют учёные, более раннее исследование показало, что когда учащиеся выполняют роль преподавателя, это позволяет им почувствовать свою экспертность, что, в свою очередь, повышает самооценку и уверенность в себе. А другая научная работа подтвердила, что наблюдение за успехом своего ученика может отражать потенциал самих студентов, выполняющих роль преподавателя, к совершенствованию своих навыков, тем самым укрепляя их веру в свои возможности.

Читайте также:

Как связаны учебная мотивация, успеваемость и самооценка

Но в то же время студенты из экспериментальной группы допускали примерно столько же ошибок в коде, сколько и учащиеся из контрольной, даже чуть больше (хоть эта разница и оказалась статистически незначимой). Исследователи объяснили это тем, что, скорее всего, студенты, которые взаимодействовали с ИИ-ботом, создавали код с различными ошибками ещё на том этапе, когда его обучали. А успешно решить задачу им в итоге удалось за счёт того, что нейросеть сгенерировала полностью корректный код. В этом есть и очевидный минус — получается, что, препоручив задачу нейросети, студенты лишили себя возможности потренироваться в поиске ошибок в собственном коде.

Кроме того, ученик-бот на основе ChatGPT демонстрировал неестественно быстрое понимание материала. И он не мог поддерживать стабильную роль ученика — общался то как совсем новичок в теме, то как продвинутый учащийся. Наконец, бот не показал прогресса обучения.

Из-за особенностей этой нейросети, такой ИИ-ученик не мог полностью опираться на полученные ранее знания или демонстрировать лишь частичное понимание материала. Иными словами, взаимодействие с ним — не то же самое, что взаимодействие с человеком-учеником, который постепенно, шаг за шагом приходит к пониманию.

Получается, что сама идея включить в учебный процесс ИИ-учеников для студентов хорошая и может принести пользу, но ИИ-ботов для этого нужно тщательно доработать. Авторы эксперимента пояснили, что должна быть предусмотрена возможность допущения нейросетью ошибок, чтобы студенты могли практиковаться в их исправлении.

А ещё авторы подчеркнули, что для такого процесса обучения нужно создавать задания, в которых студентам придётся объяснять нейросети термины и правила, которые требуется знать и понимать для их решения. Это стимулирует самих студентов лучше в них разбираться.

Как ещё можно усовершенствовать подобного ИИ-бота

Британский эксперт в сфере онлайн-обучения Филиппа Хардман в своём блоге прокомментировала результаты этого исследования. Она тоже дала разработчикам образовательных решений ряд полезных советов о том, что должен уметь идеальный ИИ-ученик, чтобы помогать обучающимся людям лучше усваивать материал.

Во-первых, по её мнению, такой бот должен быть «контролируемым несовершенством». Филиппа также отметила, что нейросети стоит время от времени давать неправильные ответы, чтобы у «преподавателя» была возможность их исправить. Но помимо этого боту нужно уметь неправильно или частично «усваивать» — то есть ошибаться и в суждениях, которые он озвучивает своему «педагогу».

Во-вторых, важно, чтобы бот обеспечивал непрерывность образовательного процесса. Это означает, что ИИ-боту необходимо «помнить» прошлые диалоги и ссылаться на свой прошлый «опыт обучения», а также демонстрировать прогресс с течением времени, а не хаотично скакать с уровня новичка и профи.

В-третьих, бот должен вести себя естественно. То есть показывать, что материал даётся ему непросто, просить объяснить его иначе, имитировать замешательство, когда это уместно, а также задавать всё более сложные вопросы.

Наконец, должна быть возможность регулировать степень сложности взаимодействия с ИИ-ботом, базируясь на уровне подготовки студента. То есть если студент пока сам не очень глубоко изучил тему, то и ИИ-ученик не должен задавать слишком сложных вопросов по ней или допускать ошибок, которые его «преподаватель» пока не в состоянии обнаружить. Таким образом, настройка нейросети должна позволять пользователю последовательно развивать свои навыки и своё понимание темы благодаря общению с ИИ-учеником.

В целом же Филиппа уверена, что практика «объясни другому» — один из самых мощных педагогических подходов, и ИИ может стать ключом к её эффективному масштабированию. Однако для этого нужно, чтобы разработчики сосредоточились на создании более реалистичного поведения ИИ-ботов, исследователи изучили, как их разные стили поведения влияют на образовательный процесс, а создатели обучающих решений больше экспериментировали в этом направлении и делились своими наработками и опытом.