Батл: кто разработает курс лучше — педдизайнер с помощью нейросети или без неё?

Курсы, сгенерированные с помощью искусственного интеллекта, — давно не новость, первые попытки создать такие были предприняты буквально через несколько месяцев после того, как ChatGPT пошёл в массы. А в 2024 году этот инструмент и вовсе стал привычным помощником для разработчиков учебных программ. Тем не менее вопросы по-прежнему остаются: так ли хороши нейросети в разработке онлайн-курса? Да и пойдут ли вообще люди учиться к ИИ?

Этими вопросами задаётся в том числе бывшая научная сотрудница Кембриджского университета, создательница системы проектирования обучения DOMS™️ и спикер TEDx, доктор Филиппа Хардман. В июле-августе 2024 года она провела интересный эксперимент с участием педдизайнеров. Во-первых, она хотела оценить, действительно ли ИИ помогает им в работе, а во-вторых — выяснить, смогут ли такие же педдизайнеры (их много среди её подписчиков) определить вклад искусственного интеллекта в работу коллег, проще говоря — понять, создан курс с помощью нейросетей или нет. Результаты доктор Хардман опубликовала в трёх частях в своём блоге: вот первая часть, вот вторая, а вот третья.

Мы кратко пересказываем суть эксперимента и выводы исследовательницы.

В чём заключался эксперимент

В эксперименте Филиппы Хардман было три участника:

• два опытных педдизайнера, один из которых выполнял все задачи в ходе эксперимента самостоятельно, а другой пользовался инструментами на основе генеративных нейросетей (ChatGPT 4o и Consensus GPT);
• человек без опыта в педдизайне — он тоже прибегал к помощи ChatGPT 4o и Consensus GPT.

Сразу оговоримся: автор эксперимента не раскрывает, каким именно был опыт участников, как давно они в профессии и можно ли утверждать, что профессионализм двух опытных педдизайнеров был равноценным.

Перед всеми участниками Филиппа поставила три одинаковые задачи:

• прописать образовательные цели онлайн-курса;
• выбрать стратегию преподавания на курсе;
• продумать общий план курса (то есть расписать, какие в нём будут модули).

Все эти задачи нужно было выполнить для курса, суть которого была сформулирована так: он должен давать предпринимателям и специалистам по маркетингу практические навыки и стратегии, чтобы они могли эффективно продавать и развивать инновационные продукты и услуги в динамичной среде.

То, как участники эксперимента справились с задачами, оценивали подписчики Филиппы Хардман в Substack и на платформе LinkedIn. Причём результаты Филиппа презентовала анонимно, так что подписчики не знали, кто выполнил тот или иной вариант выполнения задания — опытный педдизайнер или новичок, с применением нейросетей или самостоятельно. Подписчикам предлагалось угадать это. В опросе, по словам автора эксперимента, приняли участие около 200 педдизайнеров (точные данные она не привела).

По итогам анонимной оценки всех трёх заданий места среди участников распределились одинаково:

• лучше всех, по оценке подписчиков, справился опытный педдизайнер, применявший нейросети;
• на втором оказался новичок, выполнивший задания с помощью нейросетей;
• а опытный педдизайнер, работавший самостоятельно, без помощи нейросетей, оказался на третьем месте, то есть его результат оценили хуже, чем результаты остальных (даже новичка).

Самое любопытное в этом эксперименте то, что он, похоже, выявил некоторые стереотипы, которые уже успели сложиться среди разработчиков обучения относительно нейросетей. А именно: педдизайнеры склонны недооценивать возможности нейросетей (не доверяют им, почти как студенты) и переоценивать возможности человека. Разберём этот феномен подробнее.

Как оценили разработку целей обучения

С первой задачей — формулированием целей курса — хорошо справились опытный педдизайнер и новичок, пользовавшиеся нейросетями. Результаты опытного педдизайнера 70% респондентов (подписчиков Филиппы Хардман) посчитали хорошим или очень хорошим, а ещё 30% — прекрасным. Цели действительно были практичными, применимыми в реальной жизни и прописаны довольно подробно.

Цели, которые сформулировал новичок с помощью нейросетей, респонденты тоже оценили: 60% посчитали, что они написаны хорошо или очень хорошо. Они были уверены, что эту работу выполнил профессиональный разработчик обучения. Эти цели тоже были практичными и довольно подробными.

А вот цели от опытного педдизайнера, который не пользовался нейросетями, большинство подписчиков оценили как плохо сформулированные. Во-первых, их было достаточно мало (всего три, тогда как его опытный коллега с помощью нейросетей сгенерировал 12, а новичок — 18), а во-вторых, они не содержали никакого измеримого или практического результата: его цели предполагали, что учащиеся «выучат» и «поймут» материал, а также «получат инсайты» из курса. Интересно, что подписчики Филиппы решили, что эти цели формулировал как раз искусственный интеллект, а не человек-профессионал.

Из этих результатов автор эксперимента делает такие выводы:

• Людям трудно провести черту между работой человека и искусственного интеллекта, а представления о возможностях и ограничениях последнего часто ошибочны.
• У респондентов довольно значительно разошлись мнения о том, как вообще определять и формулировать цели обучения.

Ещё один вывод был связан скорее с тем, как писал промпты для нейросети новичок (по сути, просто «общался», как с человеком) и как — опытный педдизайнер (писал нейросети инструкции — вероятно, он уже имел опыт в промптинге для профессиональных целей). В результате оказалось, что при втором варианте нейросеть выдаёт результаты лучше. Это подтверждает, что пользование нейросетями — тоже навык, у разных пользователей в одной и той же нейросети получатся разные результаты. Продолжим эту мысль: если вы однажды попробовали приспособить нейросеть для своей работы, но то, что она выдала, вам не понравилось, это не повод делать вывод о том, что возможности нейросети очень слабые. Вполне возможно, вам просто стоит потренироваться в промптинге.

Читайте также:

Примеры запросов в ChatGPT для педагогов

Как оценили стратегию преподавания

В качестве стратегии преподавания на курсе опытный педдизайнер, работавший самостоятельно, предложил стандартные лекции и тесты к ним для самостоятельной проверки знаний. Респонденты такой вариант не оценили: большинство посчитали, что такой подход устарел и он не вовлекает студентов в обучение. Поэтому 63% опрошенных пришли к выводу, что этот вариант принадлежит новичку, а не опытному педдизайнеру.

Примечательно, что новичок с помощью нейросетей предложил очень современный подход — проблемно-ориентированный с использованием кейс-стади. Это решение респондентам очень понравилось. Автора этого решения угадали всего 27% опрошенных, а 51% посчитали, что этот вариант предложил тот опытный педдизайнер, который не пользовался нейросетями. Аргументы такого предположения показательны: во-первых, выбор стратегии респонденты связали именно с опытом (логика такая: у ИИ нет опыта, он есть только у человека), во-вторых, они посчитали этот выбор чётко обоснованным, что, по мнению респондентов, тоже говорило о том, что это выбор человека, а не машины.

Опытный педдизайнер с помощью нейросетей включил в стратегию преподавания метод «перевёрнутого класса», кейс-стади и воркшопы с экспертами. При этом 62% оценили такой выбор как хороший или очень хороший, а 33% — как прекрасный. Респонденты, в основном угадали, что автор этого варианта — опытный эксперт, работавший с нейросетями (потому что только эксперт может знать, какие методы удачно сочетаются друг с другом и как их комбинировать, а то, что эксперту помогал ИИ, определили по ссылкам на исследования и хорошей структуре ответа).

Вот какие выводы сделала Филиппа Хардман из второго эксперимента:

• Нейросети действительно могут стать неплохим помощником для разработчиков обучения. Более того, искусственный интеллект отчасти уравнивает опыт новичка и профессионала — потому что в эксперименте педдизайнер и человек, не имеющий отношения к разработке курсов, в целом отлично справились со своей задачей.
• При этом сами педдизайнеры всё ещё не верят в возможности ИИ и думают о них хуже, чем они есть на самом деле: ведь в этом эксперименте респонденты приписали работу плохого качества нейросетям, тогда как на самом деле это было не так.

Читайте также:

Учебные мероприятия: 10 типичных форматов

Как оценили план курса

С последней задачей — составить план курса — опытный педдизайнер, работавший без помощи нейросетей, справился лучше, чем с предыдущими. Респонденты в основном оценили его план как хороший. Он состоял из четырёх модулей, прописанных достаточно кратко и без каких-либо измеримых целей. Половина респондентов угадала, что этот вариант принадлежит тому, кто не пользовался нейросетями. Можно предположить, что работу искусственного интеллекта угадывают в том числе по детализации и объёму текста.

Программа новичка, пользовавшегося нейросетями, получилась в три раза длиннее и подробнее. Респондентам понравилось, что план достаточно детализирован, хорошо прописан, как будто при участии эксперта по теме курса. В результате 52% опрошенных смогли угадать автора, и это, по мнению Филиппы Хардман, говорит о том, что всё же некоторые верят в способность ИИ, с одной стороны, создать неплохой план курса, а с другой — выступить в роли виртуального специалиста нужного профиля.

На первом же месте по оценкам вновь оказался план опытного педдизайнера, прибегавшего к помощи нейросетей. Эта работа заметно отличалась от первых двух в лучшую сторону: модулей здесь, как и в плане новичка, получилось 12, но они содержали как теоретическую, так и практическую части, и к каждому модулю были указаны цели, которых нужно достигнуть учащимся. Опрошенные методисты работу оценили высоко, и подавляющее большинство верно определили автора. Они, с одной стороны, увидели, что план, скорее всего, написан всё же человеком — потому что он был хорошо проработан и явно написан опытным специалистом (это связали с самим контентом и с тем, что намечены учебные цели), а с другой — само оформление подсказывало, что без нейросетей не обошлось.

Третий эксперимент показал, что методисты всё же видят в ИИ некоторую пользу:

• он может выступать в роли тематического эксперта;
• служит неплохим инструментом для работы с текстом (что позволяет качественно «упаковать» идеи и наработки опытного педдизайнера);
• позволяет быстрее выполнять определённую часть работы.

Однако в готовом продукте педдизайнерам было важно «разглядеть человека»: они обращали внимание, на то, как именно написан план, заметен ли в нём «след» человека или машины.

Выводы у автора эксперимента

«Будущее учебного дизайна, скорее всего, зависит от симбиотических отношений между человеком и ИИ, — отмечает Филиппа Хардман. — Как и во всех случаях использования ИИ, специфика этих отношений будет варьироваться в зависимости от профиля пользователя».

С одной стороны, для опытного педдизайнера генеративные нейросети служат хорошим рабочим инструментом: они вполне эффективны, когда профессионал указывает им, что именно и как нужно сделать. Однако для этого нужны две вещи: хорошее понимание педдизайна в целом и понимание того, как работает нейросеть, ведь нужно и написать правильный промпт, и уметь правильно с таким «помощником» общаться, чтобы добиться наилучшего результата.

С другой стороны, нейросеть может послужить чем-то вроде наставника для тех, кто делает в педдизайне первые шаги: помогать чуть быстрее выполнять те задачи, с которыми непросто справляться новичкам — например, формулировать те же цели обучения. Этот сценарий не идеален, признаёт Филиппа Хардман, ведь в действительности нейросеть вряд ли может выступать в качестве настоящего эксперта-педдизайнера. Тем не менее некоторую помощь оказать она, как показал эксперимент, способна и даже неплохо.

«ИИ является мощной силой для профессионализации педдизайна; автоматизируя некоторые из наиболее функциональных элементов нашей роли (например, генерацию контента) и делая новый акцент на важности глубоких знаний предметной области, ИИ помогает нам достичь того уровня, к которому мы стремились десятилетиями, где наше внимание будет более сосредоточено на совершенстве и — в конечном итоге — влиянии», — заключает Филиппа Хардман.

Ну а как же интерпретировать тот факт, что опытный педдизайнер, который работал в этом эксперименте без нейросетей, потерпел фиаско на фоне остальных — даже новичка? Филиппа Хардман это не комментирует, но, во-первых, можно предположить, что наличие опыта не всегда стоит приравнивать к профессионализму, во-вторых, у опытных профессионалов могут быть стереотипы и шаблоны, мешающие им применять наилучшие решения (и эксперимент с заданием по стратегии преподавания это подтвердил). Ну а в‑третьих, это показательный кейс в пользу того, что не стоит переоценивать человеческий профессионализм — так же как не стоит недооценивать возможности нейросетей.