Эксперт назвал важное «умение», которому следует обучать ИИ-тьюторов

Инсайтом в своём блоге поделился Дэн Майер, экс-учитель математики, получивший докторскую степень Стэнфордского университета. Сейчас он главный научный сотрудник компании Desmos, выпускающей разные образовательные инструменты для изучения математики, и он исследует будущее этой дисциплины, а также технологий и обучения.

Изучая возможности технологических обучающих платформ, Дэн Майер заметил, что Khanmigo обучен помогать в решении заданий, но при этом совсем не умеет хвалить пользователя и отмечать его успехи. Напомним, Khanmigo — это чат-бот на основе GPT-4, запущенный Khan Academy, крупной американской образовательной платформой с уроками, лекциями и практическими занятиями по самым разным школьным темам.

Свою историю Дэн проиллюстрировал задачей, где пользователю Khanmigo нужно в специальных полях указать значения в уравнении линейной функции исходя из предложенного графика. Математик намеренно заполнил одно поле правильно, а другое — нет. То есть он симулировал ситуацию, когда ученик справился с заданием только частично и итоговый ответ считается неверным.

Бот, разумеется, был готов помочь, но сразу перешёл к наводящим вопросам о том, знает ли пользователь формулу линейной функции, что означают её отдельные компоненты, каков алгоритм решения подобных задач и так далее. Причём некоторые вопросы касались той части уравнения, которую Дэн решил верно. Автор несколько раз повторил этот эксперимент и пришёл к выводу, что нейросеть полностью игнорирует наличие у пользователя представлений о том, как решить задание, и то, что с одной его частью он уже справился. Проще говоря, бот не замечает успехи ученика и в первую очередь ищет ошибки.

Затем Дэн решил спросить в соцсетях у учителей о том, какую обратную связь они дали бы ребёнку, который не смог полностью решить задачу, но при этом справился с ней частично. Большинство педагогов сказали, что начали бы с похвалы за успешную часть. То есть это по сути общепринятая педагогическая стратегия.

Далее математик отметил, что на самом деле решить эту проблему несложно. Он доказал это, написав для ChatGPT промпт, содержащий требования к обратной связи для учеников. В запрос было включено простое условие: если часть задачи решена верно, то пользователя нужно похвалить. Затем он отправил боту задание и тот же ответ, что указал в Khanmigo. И результат оказался именно таким, как ожидал Дэн, — нейросеть первым делом отметила, что часть решения правильная, и только потом предложил перейти к разбору неверного фрагмента уравнения.

Стоит отметить, что Дэн показал только один пример «недружелюбного» пользовательского дизайна. Тем не менее можно предположить, что раз даже такие крупные игроки рынка EdTech упускают из виду этот нюанс, то подобных примеров в действительности может быть гораздо больше. А это значит, что разработчикам ИИ-тьюторов стоит обратить на это внимание. Кстати, в целом Дэн считает, что потенциал ботов-тьюторов в школьном образовании сильно ограничен.

Кроме того, ранее другой эксперт высказался о проблеме иного характера, но тоже связанной с использованием нейросетей в образовании. Аркадий Зильберман, CEO компании Language Bridge Technology, специализирующейся на обучении иностранным языкам, в заметке, размещённой на платформе eLearning Industry, отметил, что простое исправление ошибок пользователя в грамматике и произношении, которое обычно делают диалоговые цифровые помощники на платформах по изучению иностранных языков, на самом деле не помогает запоминанию материала. Он объяснил это тем, что такая корректирующая обратная связь демотивирует и не очень эффективна, потому что показывает слишком много ошибок. Исправленная версия, как объясняет Зильберман, не откладывается у пользователя в долговременной памяти, и он продолжает совершать те же ошибки.