Батл: кто разработает курс лучше — педдизайнер с помощью нейросети или без неё?
Рассказываем про результаты хоть и не очень научного, но очень интересного и показательного мини-эксперимента.
![](https://248006.selcdn.ru/main/iblock/5d8/5d8837bc222865fb81362d929b7a7602/98e76414fddcccaa4bd21122239de755.png)
![](https://248006.selcdn.ru/main/iblock/5d8/5d8837bc222865fb81362d929b7a7602/98e76414fddcccaa4bd21122239de755.png)
Иллюстрация: Катя Павловская для Skillbox Media
Курсы, сгенерированные с помощью искусственного интеллекта, — давно не новость, первые попытки создать такие были предприняты буквально через несколько месяцев после того, как ChatGPT пошёл в массы. А в 2024 году этот инструмент и вовсе стал привычным помощником для разработчиков учебных программ. Тем не менее вопросы по-прежнему остаются: так ли хороши нейросети в разработке онлайн-курса? Да и пойдут ли вообще люди учиться к ИИ?
Этими вопросами задаётся в том числе бывшая научная сотрудница Кембриджского университета, создательница системы проектирования обучения DOMS™️ и спикер TEDx, доктор Филиппа Хардман. В июле-августе 2024 года она провела интересный эксперимент с участием педдизайнеров. Во-первых, она хотела оценить, действительно ли ИИ помогает им в работе, а во-вторых — выяснить, смогут ли такие же педдизайнеры (их много среди её подписчиков) определить вклад искусственного интеллекта в работу коллег, проще говоря — понять, создан курс с помощью нейросетей или нет. Результаты доктор Хардман опубликовала в трёх частях в своём блоге: вот первая часть, вот вторая, а вот третья.
Мы кратко пересказываем суть эксперимента и выводы исследовательницы.
В чём заключался эксперимент
В эксперименте Филиппы Хардман было три участника:
- два опытных педдизайнера, один из которых выполнял все задачи в ходе эксперимента самостоятельно, а другой пользовался инструментами на основе генеративных нейросетей (ChatGPT 4o и Consensus GPT);
- человек без опыта в педдизайне — он тоже прибегал к помощи ChatGPT 4o и Consensus GPT.
Сразу оговоримся: автор эксперимента не раскрывает, каким именно был опыт участников, как давно они в профессии и можно ли утверждать, что профессионализм двух опытных педдизайнеров был равноценным.
Перед всеми участниками Филиппа поставила три одинаковые задачи:
- прописать образовательные цели онлайн-курса;
- выбрать стратегию преподавания на курсе;
- продумать общий план курса (то есть расписать, какие в нём будут модули).
Все эти задачи нужно было выполнить для курса, суть которого была сформулирована так: он должен давать предпринимателям и специалистам по маркетингу практические навыки и стратегии, чтобы они могли эффективно продавать и развивать инновационные продукты и услуги в динамичной среде.
То, как участники эксперимента справились с задачами, оценивали подписчики Филиппы Хардман в Substack и на платформе LinkedIn. Причём результаты Филиппа презентовала анонимно, так что подписчики не знали, кто выполнил тот или иной вариант выполнения задания — опытный педдизайнер или новичок, с применением нейросетей или самостоятельно. Подписчикам предлагалось угадать это. В опросе, по словам автора эксперимента, приняли участие около 200 педдизайнеров (точные данные она не привела).
![](/upload/setka_images/18393620082024_7128d7ce20605c55202dd65c0c11f5f026448a49.jpg)
По итогам анонимной оценки всех трёх заданий места среди участников распределились одинаково:
- лучше всех, по оценке подписчиков, справился опытный педдизайнер, применявший нейросети;
- на втором оказался новичок, выполнивший задания с помощью нейросетей;
- а опытный педдизайнер, работавший самостоятельно, без помощи нейросетей, оказался на третьем месте, то есть его результат оценили хуже, чем результаты остальных (даже новичка).
Самое любопытное в этом эксперименте то, что он, похоже, выявил некоторые стереотипы, которые уже успели сложиться среди разработчиков обучения относительно нейросетей. А именно: педдизйанеры склонны недооценивать возможности нейросетей (не доверяют им, почти как студенты) и переоценивать возможности человека. Разберём этот феномен подробнее.
Как оценили разработку целей обучения
С первой задачей — формулированием целей курса — хорошо справились опытный педдизайнер и новичок, пользовавшиеся нейросетями. Результаты опытного педдизайнера 70% респондентов (подписчиков Филиппы Хардман) посчитали хорошим или очень хорошим, а ещё 30% — прекрасным. Цели действительно были практичными, применимыми в реальной жизни и прописаны довольно подробно.
Цели, которые сформулировал новичок с помощью нейросетей, респонденты тоже оценили: 60% посчитали, что они написаны хорошо или очень хорошо. Они были уверены, что эту работу выполнил профессиональный разработчик обучения. Эти цели тоже были практичными и довольно подробными.
А вот цели от опытного педдизайнера, который не пользовался нейросетями, большинство подписчиков оценили как плохо сформулированные. Во-первых, их было достаточно мало (всего три, тогда как его опытный коллега с помощью нейросетей сгенерировал 12, а новичок — 18), а во-вторых, они не содержали никакого измеримого или практического результата: его цели предполагали, что учащиеся «выучат» и «поймут» материал, а также «получат инсайты» из курса. Интересно, что подписчики Филиппы решили, что эти цели формулировал как раз искусственный интеллект, а не человек-профессионал.
«Большинство (64%) предположили, что эти цели были написаны новичком с помощью ИИ. Это наводит на мысль: большинство педдизайнеров по-прежнему считают, что высокое качество учебной разработки зависит от присутствия эксперта-человека», — отметила Филиппа Хардман.
Из этих результатов автор эксперимента делает такие выводы:
- Людям трудно провести черту между работой человека и искусственного интеллекта, а представления о возможностях и ограничениях последнего часто ошибочны.
- У респондентов довольно значительно разошлись мнения о том, как вообще определять и формулировать цели обучения.
Ещё один вывод был связан скорее с тем, как писал промпты для нейросети новичок (по сути, просто «общался», как с человеком) и как — опытный педдизайнер (писал нейросети инструкции — вероятно, он уже имел опыт в промптинге для профессиональных целей). В результате оказалось, что при втором варианте нейросеть выдаёт результаты лучше. Это подтверждает, что пользование нейросетями — тоже навык, у разных пользователей в одной и той же нейросети получатся разные результаты. Продолжим эту мысль: если вы однажды попробовали приспособить нейросеть для своей работы, но то, что она выдала, вам не понравилось, это не повод делать вывод о том, что возможности нейросети очень слабые. Вполне возможно, вам просто стоит потренироваться в промптинге.
![](/upload/setka_images/18393620082024_b86f7d27cd42ac0216d5257b25409b841cfca3fe.png)
Читайте также:
Как оценили стратегию преподавания
В качестве стратегии преподавания на курсе опытный педдизайнер, работавший самостоятельно, предложил стандартные лекции и тесты к ним для самостоятельной проверки знаний. Респонденты такой вариант не оценили: большинство посчитали, что такой подход устарел и он не вовлекает студентов в обучение. Поэтому 63% опрошенных пришли к выводу, что этот вариант принадлежит новичку, а не опытному педдизайнеру.
«Когда дело доходит до работы над стратегией обучения, мы, возможно, переоцениваем способности опытных разработчиков учебных программ и недооцениваем потенциал ИИ, который поможет нам производить работу более высокого качества, чем традиционные подходы, ориентированные только на людей. Это говорит о предвзятости, аналогичной той, которую мы наблюдали раньше: когда мы видим некачественную работу, мы склонны обвинять ИИ или неопытность, а не считать, что опытный человек иногда может работать хуже», — прокомментировала Филиппа Хардман.
Примечательно, что новичок с помощью нейросетей предложил очень современный подход — проблемно-ориентированный с использованием кейс-стади. Это решение респондентам очень понравилось. Автора этого решения угадали всего 27% опрошенных, а 51% посчитали, что этот вариант предложил тот опытный педдизайнер, который не пользовался нейросетями. Аргументы такого предположения показательны: во-первых, выбор стратегии респонденты связали именно с опытом (логика такая: у ИИ нет опыта, он есть только у человека), во-вторых, они посчитали этот выбор чётко обоснованным, что, по мнению респондентов, тоже говорило о том, что это выбор человека, а не машины.
Опытный педдизайнер с помощью нейросетей включил в стратегию преподавания метод «перевёрнутого класса», кейс-стади и воркшопы с экспертами. При этом 62% оценили такой выбор как хороший или очень хороший, а 33% — как прекрасный. Респонденты, в основном угадали, что автор этого варианта — опытный эксперт, работавший с нейросетями (потому что только эксперт может знать, какие методы удачно сочетаются друг с другом и как их комбинировать, а то, что эксперту помогал ИИ, определили по ссылкам на исследования и хорошей структуре ответа).
Вот какие выводы сделала Филиппа Хардман из второго эксперимента:
- Нейросети действительно могут стать неплохим помощником для разработчиков обучения. Более того, искусственный интеллект отчасти уравнивает опыт новичка и профессионала — потому что в эксперименте педдизайнер и человек, не имеющий отношения к разработке курсов, в целом отлично справились со своей задачей.
- При этом сами педдизайнеры всё ещё не верят в возможности ИИ и думают о них хуже, чем они есть на самом деле: ведь в этом эксперименте респонденты приписали работу плохого качества нейросетям, тогда как на самом деле это было не так.
![](/upload/setka_images/18393620082024_8da414cc561e262d4c3b29b6f3f5f48ca4c42f20.png)
Читайте также:
Как оценили план курса
С последней задачей — составить план курса — опытный педдизайнер, работавший без помощи нейросетей, справился лучше, чем с предыдущими. Респонденты в основном оценили его план как хороший. Он состоял из четырёх модулей, прописанных достаточно кратко и без каких-либо измеримых целей. Половина респондентов угадала, что этот вариант принадлежит тому, кто не пользовался нейросетями. Можно предположить, что работу искусственного интеллекта угадывают в том числе по детализации и объёму текста.
Программа новичка, пользовавшегося нейросетями, получилась в три раза длиннее и подробнее. Респондентам понравилось, что план достаточно детализирован, хорошо прописан, как будто при участии эксперта по теме курса. В результате 52% опрошенных смогли угадать автора, и это, по мнению Филиппы Хардман, говорит о том, что всё же некоторые верят в способность ИИ, с одной стороны, создать неплохой план курса, а с другой — выступить в роли виртуального специалиста нужного профиля.
На первом же месте по оценкам вновь оказался план опытного педдизайнера, прибегавшего к помощи нейросетей. Эта работа заметно отличалась от первых двух в лучшую сторону: модулей здесь, как и в плане новичка, получилось 12, но они содержали как теоретическую, так и практическую части, и к каждому модулю были указаны цели, которых нужно достигнуть учащимся. Опрошенные методисты работу оценили высоко, и подавляющее большинство верно определили автора. Они, с одной стороны, увидели, что план, скорее всего, написан всё же человеком — потому что он был хорошо проработан и явно написан опытным специалистом (это связали с самим контентом и с тем, что намечены учебные цели), а с другой — само оформление подсказывало, что без нейросетей не обошлось.
Третий эксперимент показал, что методисты всё же видят в ИИ некоторую пользу:
- он может выступать в роли тематического эксперта;
- служит неплохим инструментом для работы с текстом (что позволяет качественно «упаковать» идеи и наработки опытного педдизайнера);
- позволяет быстрее выполнять определённую часть работы.
Однако в готовом продукте педдизайнерам было важно «разглядеть человека»: они обращали внимание, на то, как именно написан план, заметен ли в нём «след» человека или машины.
Выводы у автора эксперимента
«Будущее учебного дизайна, скорее всего, зависит от симбиотических отношений между человеком и ИИ, — отмечает Филиппа Хардман. — Как и во всех случаях использования ИИ, специфика этих отношений будет варьироваться в зависимости от профиля пользователя».
С одной стороны, для опытного педдизайнера генеративные нейросети служат хорошим рабочим инструментом: они вполне эффективны, когда профессионал указывает им, что именно и как нужно сделать. Однако для этого нужны две вещи: хорошее понимание педдизайна в целом и понимание того, как работает нейросеть, ведь нужно и написать правильный промпт, и уметь правильно с таким «помощником» общаться, чтобы добиться наилучшего результата.
![](/upload/setka_images/18393620082024_253667c968678279cc14a24b0ee787a3aaa3c546.jpg)
С другой стороны, нейросеть может послужить чем-то вроде наставника для тех, кто делает в педдизайне первые шаги: помогать чуть быстрее выполнять те задачи, с которыми непросто справляться новичкам — например, формулировать те же цели обучения. Этот сценарий не идеален, признаёт Филиппа Хардман, ведь в действительности нейросеть вряд ли может выступать в качестве настоящего эксперта-педдизайнера. Тем не менее некоторую помощь оказать она, как показал эксперимент, способна и даже неплохо.
«ИИ является мощной силой для профессионализации педдизайна; автоматизируя некоторые из наиболее функциональных элементов нашей роли (например, генерацию контента) и делая новый акцент на важности глубоких знаний предметной области, ИИ помогает нам достичь того уровня, к которому мы стремились десятилетиями, где наше внимание будет более сосредоточено на совершенстве и — в конечном итоге — влиянии», — заключает Филиппа Хардман.
Ну а как же интерпретировать тот факт, что опытный педдизайнер, который работал в этом эксперименте без нейросетей, потерпел фиаско на фоне остальных — даже новичка? Филиппа Хардман это не комментирует, но, во-первых, можно предположить, что наличие опыта не всегда стоит приравнивать к профессионализму, во-вторых, у опытных профессионалов могут быть стереотипы и шаблоны, мешающие им применять наилучшие решения (и эксперимент с заданием по стратегии преподавания это подтвердил). Ну а в‑третьих, это показательный кейс в пользу того, что не стоит переоценивать человеческий профессионализм — так же как не стоит недооценивать возможности нейросетей.
Читайте также: