Сильные и слабые стороны ChatGPT в разработке онлайн-курса

Как только появилась нейросеть ChatGPT, некоторые специалисты стали делать прогнозы, что с помощью этого инструмента гораздо легче и быстрее будет проектировать учебные курсы, а возможно, нейросеть даже полностью сможет создавать учебный контент. И такие примеры вскоре стали появляться. Правда, качество вызывало вопросы.

Сейчас уже сложно представить себе педагогического дизайнера, который не попробовал бы этот инструмент. Но насколько он полезен, как помощник в проектировании? Исследователи из четырёх университетов США решили это выяснить.

Для этого использовали серию промптов, чтобы разработать структуру онлайн-курса и в процессе оценить сильные и слабые стороны нейросети, а также возможности и риски, которые несёт её использование в педдизайне. Статья об этом эксперименте опубликована в журнале TechTrends.

Как проходило исследование

Для начала исследовательская группа подготовила вводные данные:

• название будущего курса («Мейкерспейс как пространство для обучения»);
• его краткое и расширенное описание;
• целевую аудиторию;
• планируемые результаты обучения;
• продолжительность и формат курса.

С использованием этих данных сформулировали первый промпт, чтобы ввести его в ChatGPT: «Используя модель обратного дизайна и информацию ниже, разработай план четырёхнедельного онлайн-курса для магистрантов, состоящий из планируемых результатов каждого модуля, методов оценки, практических занятий и домашних заданий».

Также исследователи сформулировали ещё шесть промптов, чтобы расширить каждый компонент. Например: «Создай вопросы для дискуссии, основанные на материалах модуля X» или «Создай пять тестовых вопросов по материалам модуля X: два вопроса с множественным выбором, два вопроса вида „истина или ложь“ и один вопрос, предполагающий ответ в форме короткого эссе».

Затем каждый из четырёх участников исследовательской группы последовательно ввёл все семь промптов в ChatGPT. Полученные результаты сохранили в документах, после чего провели SWOT-анализ. Этот метод помогает выявить внешние и внутренние факторы, относящиеся к объекту анализа, а также оценить их влияние — как негативное или позитивное. Название метода складывается из англоязычного названия категорий, по которым распределяются факторы:

• Strengths — сильные стороны;

• Weaknesses — слабые стороны;

• Opportunities — возможности;

• Threats — угрозы.

Сильные стороны ChatGPT в разработке структуры курса

По итогам анализа исследователи назвали такие сильные стороны ChatGPT:

• Хорошо формулирует цели и планируемые результаты обучения. Определяя цели и результаты, разработчики курсов обычно избегают слов «знать» и «понимать» — они не отражают конкретные действия студентов, и такие результаты сложно измерить. Как оказалось, ChatGPT тоже придерживается этого подхода и применяет корректные формулировки: «использовать», «создавать» и так далее. Кроме того, по словам исследователей, нейросеть предлагает задания и критерии оценки, соответствующие поставленной учебной цели каждого модуля.

• Предлагает подходящие инструменты и материалы. По оценке исследователей, ChatGPT составил вполне качественный набор инструментов и материалов для использования в курсе — например, собрал источники, которые позволят студентам углубиться в тему образовательных мейкерспейсов и больше узнать о методиках проведения творческих занятий со школьниками.

• Формулирует вопросы для дискуссий, побуждающие мыслить критически. Авторы эксперимента отметили, что ChatGPT предлагает глубокие вопросы, которые стимулируют студентов размышлять об изученном и соединять новые знания со своим личным опытом. Более того, по словам исследователей, эти вопросы помогут и самим преподавателям критически оценить содержание курса и выделить самое важное для того или иного модуля.

• Умеет ссылаться на материалы из других модулей. Нейросеть, как рассказали исследователи, сама, без дополнительных уточнений в промптах, упоминает видеолекции и тексты из прошлых модулей, создавая инструкции к заданиям. А в вопросах для дискуссий нередко ссылается на практические работы студентов.

Среди возможностей, которые ChatGPT даёт проектировщикам курсов, исследователи называют в первую очередь снижение нагрузки специалиста. С помощью нейросети можно быстро создать основу будущего курса с согласованными между собой учебными целями, заданиями и методами оценки. Также ChatGPT готов взять на себя трудоёмкую задачу поиска и подбора информации по теме. Хотя, как отмечают авторы эксперимента, здесь возможны и ошибки, поэтому релевантность и актуальность источников всё равно придётся проверять вручную.

Когда педдизайнер делегирует некоторые задачи нейросети, у него, как считают исследователи, появится больше времени для проектирования личностно-ориентированного обучения. Например, он может внедрить меры скаффолдинга для разных видов учебной деятельности, а также тщательнее продумать способы поддержки вовлечённости студентов в течение курса.

Слабые стороны ChatGPT

Эксперимент выявил такие слабые стороны ChatGPT при его применении в педагогическом дизайне:

• Нейросеть плохо «понимает» контекст. Так, с помощью ChatGPT исследователи разрабатывали структуру онлайн-курса для магистрантов, но ИИ не учёл эти условия, предлагая конкретные учебные мероприятия. По словам авторов, почти все активности подразумевали очное присутствие студентов в аудитории. Также ChatGPT плохо оценивает время, необходимое в реальности для выполнения того или иного задания. Например, ИИ выделяет студентам всего неделю на то, чтобы спроектировать творческое занятие, выбрать мейкерспейс и согласовать занятие с его менеджментом, набрать участников, провести занятие и оценить результаты — что, конечно, выполнить невозможно.

• Подобранные источники и материалы часто ненадёжны. Как известно, ChatGPT нередко галлюцинирует — ссылается на несуществующих авторов и рекомендует публикации, которых не найти ни в одной базе данных. В данном кейсе экспериментаторы тоже с этим столкнулись. По их мнению, это один из самых серьёзных недостатков нейросети.

• Инструкциям к заданиям не хватает конкретики. Качественные инструкции к заданиям должны быть конкретными и достаточно подробными, чтобы учащиеся без труда понимали, что именно им нужно сделать. И в этом возможности ChatGPT проявились не очень успешно — как отмечают исследователи, нейросеть склонна использовать расплывчатые формулировки и описывать задания самыми общими словами.

• Дискуссии строятся однообразно. Несмотря на то что ChatGPT, по мнению исследователей, качественно генерирует вопросы для обсуждения, во всех модулях они выстраиваются по одному шаблону. В реальном курсе такой подход вызвал бы у студентов скуку.

• Недостаточно глубины в тестовых вопросах и заданиях. Исследователи заметили, что в тестах, сгенерированных ChatGPT, проверялись только знания фактов — то есть, по сути, запоминание информации. С помощью таких тестов не получится оценить, например, как студенты поняли тот или иной принцип, способны ли применять его в разных контекстах. То же касается и заданий, предполагающих написание короткого эссе — вопросы для них тоже зачастую были довольно стандартными и общими.

• Частые сбои в генерации ответов. Авторы сообщают, что в процессе генерации нередко возникали системные ошибки — например, ChatGPT выдавал план только двух модулей вместо запрошенных четырёх и останавливался. А после промпта в духе «Продолжай» просто начинал сначала.

И в качестве главной угрозы исследователи назвали проблему контроля качества. По словам авторов эксперимента, она наблюдается сразу на нескольких уровнях — пользователи сталкиваются со сбоями в генерации, получают совершенно разные результаты по одним и те же промптам, да и в самом содержании выдачи могут быть фактические ошибки и ссылки на несуществующие источники.

Так может ли ChatGPT быть полезен разработчикам курсов?

Подводя итог эксперимента, исследователи озвучили вывод, что ChatGPT будет полезен на ранних этапах проектирования курса — с его помощью легко набросать первый прототип структуры, чтобы затем самостоятельно дорабатывать. Эффективна нейросеть и в начале разработки учебных материалов, когда методисту нужны идеи заданий или вопросов для дискуссии, дополнительные источники информации.

Однако, как подчёркивают авторы эксперимента, педдизайнеру необходимо уверенно ориентироваться в соответствующей предметной области, чтобы эффективно использовать ChatGPT в проектировании. Без собственных знаний не получится обнаружить и исправить ошибки ИИ, доработать структуру курса и учебные материалы.

Кроме того, исследователи задают вопрос: всегда ли полезно сокращать временные затраты на ранних этапах проектирования курса? По их мнению, когда методист сам ищет источники информации и выбирает из них важное, структурирует материал, это помогает глубже разобраться в теме курса, точнее сформулировать цели и задачи, а также понять, как связать их с действиями учеников. Поэтому, считают исследователи, стоит стремиться к балансу между использованием ИИ-инструментов и самостоятельной творческой и мыслительной деятельностью.