Сильные и слабые стороны ChatGPT в разработке онлайн-курса
Недавний эксперимент показал, что нейросеть для этой задачи может быть вполне полезна. Но и ограничения у неё достаточно серьёзные.
![](https://248006.selcdn.ru/main/iblock/fb1/fb180000718748551b4becf93e4a887b/0975aa4434820b1161198b5210465912.png)
![](https://248006.selcdn.ru/main/iblock/fb1/fb180000718748551b4becf93e4a887b/0975aa4434820b1161198b5210465912.png)
Иллюстрация: George Kini / Unsplash / PngTree / Freepik / Colowgee для Skillbox Media
Как только появилась нейросеть ChatGPT, некоторые специалисты стали делать прогнозы, что с помощью этого инструмента гораздо легче и быстрее будет проектировать учебные курсы, а возможно, нейросеть даже полностью сможет создавать учебный контент. И такие примеры вскоре стали появляться. Правда, качество вызывало вопросы.
Сейчас уже сложно представить себе педагогического дизайнера, который не попробовал бы этот инструмент. Но насколько он полезен, как помощник в проектировании? Исследователи из четырёх университетов США решили это выяснить.
Для этого использовали серию промптов, чтобы разработать структуру онлайн-курса и в процессе оценить сильные и слабые стороны нейросети, а также возможности и риски, которые несёт её использование в педдизайне. Статья об этом эксперименте опубликована в журнале TechTrends.
Как проходило исследование
Для начала исследовательская группа подготовила вводные данные:
- название будущего курса («Мейкерспейс как пространство для обучения»);
- его краткое и расширенное описание;
- целевую аудиторию;
- планируемые результаты обучения;
- продолжительность и формат курса.
С использованием этих данных сформулировали первый промпт, чтобы ввести его в ChatGPT: «Используя модель обратного дизайна и информацию ниже, разработай план четырёхнедельного онлайн-курса для магистрантов, состоящий из планируемых результатов каждого модуля, методов оценки, практических занятий и домашних заданий».
Также исследователи сформулировали ещё шесть промптов, чтобы расширить каждый компонент. Например: «Создай вопросы для дискуссии, основанные на материалах модуля X» или «Создай пять тестовых вопросов по материалам модуля X: два вопроса с множественным выбором, два вопроса вида „истина или ложь“ и один вопрос, предполагающий ответ в форме короткого эссе».
Затем каждый из четырёх участников исследовательской группы последовательно ввёл все семь промптов в ChatGPT. Полученные результаты сохранили в документах, после чего провели SWOT-анализ. Этот метод помогает выявить внешние и внутренние факторы, относящиеся к объекту анализа, а также оценить их влияние — как негативное или позитивное. Название метода складывается из англоязычного названия категорий, по которым распределяются факторы:
- Strengths — сильные стороны;
- Weaknesses — слабые стороны;
- Opportunities — возможности;
- Threats — угрозы.
Сильные стороны ChatGPT в разработке структуры курса
По итогам анализа исследователи назвали такие сильные стороны ChatGPT:
- Хорошо формулирует цели и планируемые результаты обучения. Определяя цели и результаты, разработчики курсов обычно избегают слов «знать» и «понимать» — они не отражают конкретные действия студентов, и такие результаты сложно измерить. Как оказалось, ChatGPT тоже придерживается этого подхода и применяет корректные формулировки: «использовать», «создавать» и так далее. Кроме того, по словам исследователей, нейросеть предлагает задания и критерии оценки, соответствующие поставленной учебной цели каждого модуля.
- Предлагает подходящие инструменты и материалы. По оценке исследователей, ChatGPT составил вполне качественный набор инструментов и материалов для использования в курсе — например, собрал источники, которые позволят студентам углубиться в тему образовательных мейкерспейсов и больше узнать о методиках проведения творческих занятий со школьниками.
- Формулирует вопросы для дискуссий, побуждающие мыслить критически. Авторы эксперимента отметили, что ChatGPT предлагает глубокие вопросы, которые стимулируют студентов размышлять об изученном и соединять новые знания со своим личным опытом. Более того, по словам исследователей, эти вопросы помогут и самим преподавателям критически оценить содержание курса и выделить самое важное для того или иного модуля.
- Умеет ссылаться на материалы из других модулей. Нейросеть, как рассказали исследователи, сама, без дополнительных уточнений в промптах, упоминает видеолекции и тексты из прошлых модулей, создавая инструкции к заданиям. А в вопросах для дискуссий нередко ссылается на практические работы студентов.
![](/upload/setka_images/12390816072024_0c9a01665518767b6e47de17c9cc81e1cfe7ffd7.jpg)
Среди возможностей, которые ChatGPT даёт проектировщикам курсов, исследователи называют в первую очередь снижение нагрузки специалиста. С помощью нейросети можно быстро создать основу будущего курса с согласованными между собой учебными целями, заданиями и методами оценки. Также ChatGPT готов взять на себя трудоёмкую задачу поиска и подбора информации по теме. Хотя, как отмечают авторы эксперимента, здесь возможны и ошибки, поэтому релевантность и актуальность источников всё равно придётся проверять вручную.
Когда педдизайнер делегирует некоторые задачи нейросети, у него, как считают исследователи, появится больше времени для проектирования личностно-ориентированного обучения. Например, он может внедрить меры скаффолдинга для разных видов учебной деятельности, а также тщательнее продумать способы поддержки вовлечённости студентов в течение курса.
Слабые стороны ChatGPT
Эксперимент выявил такие слабые стороны ChatGPT при его применении в педагогическом дизайне:
- Нейросеть плохо «понимает» контекст. Так, с помощью ChatGPT исследователи разрабатывали структуру онлайн-курса для магистрантов, но ИИ не учёл эти условия, предлагая конкретные учебные мероприятия. По словам авторов, почти все активности подразумевали очное присутствие студентов в аудитории. Также ChatGPT плохо оценивает время, необходимое в реальности для выполнения того или иного задания. Например, ИИ выделяет студентам всего неделю на то, чтобы спроектировать творческое занятие, выбрать мейкерспейс и согласовать занятие с его менеджментом, набрать участников, провести занятие и оценить результаты — что, конечно, выполнить невозможно.
- Подобранные источники и материалы часто ненадёжны. Как известно, ChatGPT нередко галлюцинирует — ссылается на несуществующих авторов и рекомендует публикации, которых не найти ни в одной базе данных. В данном кейсе экспериментаторы тоже с этим столкнулись. По их мнению, это один из самых серьёзных недостатков нейросети.
- Инструкциям к заданиям не хватает конкретики. Качественные инструкции к заданиям должны быть конкретными и достаточно подробными, чтобы учащиеся без труда понимали, что именно им нужно сделать. И в этом возможности ChatGPT проявились не очень успешно — как отмечают исследователи, нейросеть склонна использовать расплывчатые формулировки и описывать задания самыми общими словами.
- Дискуссии строятся однообразно. Несмотря на то что ChatGPT, по мнению исследователей, качественно генерирует вопросы для обсуждения, во всех модулях они выстраиваются по одному шаблону. В реальном курсе такой подход вызвал бы у студентов скуку.
- Недостаточно глубины в тестовых вопросах и заданиях. Исследователи заметили, что в тестах, сгенерированных ChatGPT, проверялись только знания фактов — то есть, по сути, запоминание информации. С помощью таких тестов не получится оценить, например, как студенты поняли тот или иной принцип, способны ли применять его в разных контекстах. То же касается и заданий, предполагающих написание короткого эссе — вопросы для них тоже зачастую были довольно стандартными и общими.
- Частые сбои в генерации ответов. Авторы сообщают, что в процессе генерации нередко возникали системные ошибки — например, ChatGPT выдавал план только двух модулей вместо запрошенных четырёх и останавливался. А после промпта в духе «Продолжай» просто начинал сначала.
![](/upload/setka_images/12390816072024_d99c2274cf22806fac1692dc341178dec3ecf4bc.jpg)
И в качестве главной угрозы исследователи назвали проблему контроля качества. По словам авторов эксперимента, она наблюдается сразу на нескольких уровнях — пользователи сталкиваются со сбоями в генерации, получают совершенно разные результаты по одним и те же промптам, да и в самом содержании выдачи могут быть фактические ошибки и ссылки на несуществующие источники.
Так может ли ChatGPT быть полезен разработчикам курсов?
Подводя итог эксперимента, исследователи озвучили вывод, что ChatGPT будет полезен на ранних этапах проектирования курса — с его помощью легко набросать первый прототип структуры, чтобы затем самостоятельно дорабатывать. Эффективна нейросеть и в начале разработки учебных материалов, когда методисту нужны идеи заданий или вопросов для дискуссии, дополнительные источники информации.
Однако, как подчёркивают авторы эксперимента, педдизайнеру необходимо уверенно ориентироваться в соответствующей предметной области, чтобы эффективно использовать ChatGPT в проектировании. Без собственных знаний не получится обнаружить и исправить ошибки ИИ, доработать структуру курса и учебные материалы.
Кроме того, исследователи задают вопрос: всегда ли полезно сокращать временные затраты на ранних этапах проектирования курса? По их мнению, когда методист сам ищет источники информации и выбирает из них важное, структурирует материал, это помогает глубже разобраться в теме курса, точнее сформулировать цели и задачи, а также понять, как связать их с действиями учеников. Поэтому, считают исследователи, стоит стремиться к балансу между использованием ИИ-инструментов и самостоятельной творческой и мыслительной деятельностью.
Больше интересного про образование ― в нашем телеграм-канале. Подписывайтесь!