Coursera поделилась результатами эксперимента по проверке домашних работ с помощью ИИ

Образовательная платформа Coursera внедряет генеративный искусственный интеллект в процесс peer-to-peer-оценивания, как сообщается в блоге компании. Речь о взаимной проверке домашних работ учащихся, например эссе. Теперь вместо того, чтобы дожидаться, пока работу оценит кто-то из сокурсников, студенты получают мгновенный отклик от нейросети. Судя по представленным показателям, качество оценивания при этом тоже повышается. Эксперимент проводится не на всех учащихся на Coursera, а на студентах из отдельных регионов.

Как меняются показатели платформы

В рамках бета-тестирования функции с помощью генеративного ИИ оценили 300 тысяч заданий. Только 7% учащихся из тех, кого это коснулось, перешли обратно на взаимную оценку с другими студентами — то есть, очевидно, большинству оценки от нейросети показались вполне справедливыми.

Среди тех, кто решил отказаться от ИИ-проверок, 84% получили от нейросетей за свои работы баллы ниже проходных. В компании сообщили, что перепроверили работы с особенно низкими оценками вручную, чтобы убедиться, что обошлось без ошибок.

Кроме того, в Coursera рассказали о следующих изменениях:

• Доходимость до конца курса в экспериментальной группе увеличилась на 16,7%.
• Учащиеся получали оценки от ИИ в среднем в течение всего одной (!) минуты с момента отправки — в 900 раз быстрее по сравнению с 15 часами ожидания при проверке сокурсниками.
• Студенты в экспериментальной группе получили в среднем в 45 раз больше отзывов на свои работы, чем на всех остальных курсах платформы. Очевидно, далеко не все учащиеся Coursera обычно пишут отзывы на работы сокурсников, и в результате многие не получали обратной связи. ИИ закрыл этот пробел.

При этом разработчики позаботились о том, чтобы отзывы от нейросети были достаточно подробными (в среднем в них содержалось по 326 символов) и содержательными — промпты для этой задачи разработали с учётом лучших педагогических практик. Напомним, у многих чат-ботов, по оценкам экспертов, наблюдаются проблемы в обратной связи для пользователя-ученика: в частности, в неверном решении они замечают только ошибки и не умеют отмечать то, что учащийся сделал правильно.

Как меняются показатели студентов

В Coursera отметили, что не все метрики в эксперименте изменились позитивно. Некоторые показатели упали, например:

• Доля успешно сданных с первой попытки заданий составила 72% по сравнению с 88% при оценке людьми.
• Учащимся, чьи работы оценивали с помощью ИИ, в среднем потребовалось больше попыток для успешной сдачи.
• Оценки ИИ были в среднем на 3% ниже, чем выставленные людьми.
• Нейросеть с меньшей вероятностью, чем люди, выставляла идеальный балл (100%) и с большей вероятностью выставляла 0%, если работа не соответствовала ни одному из критериев оценки.

Несмотря на всё это, 90% тех учащихся, которые как-то отреагировали на полученные оценки, остались удовлетворены обратной связью от ИИ.

В итоге эксперимент в Coursera, по-видимому, признали успешным. В компании сообщили, что продолжат расширять систему оценивания с помощью ИИ. Эта функция — часть более масштабной инициативы Coursera по интеграции генеративного ИИ в образовательные продукты платформы. Однако уточняется, что пока ИИ-оценка не заменяет взаимную проверку работ ни в каких курсах, входящих в программы высшего образования на платформе (Degrees on Coursera).

Кстати, студенты вузов скептически относятся к тому, чтобы их оценивал ИИ, — хотя сами активно пользуются генеративными нейросетями. Например, результаты опроса 3800 студентов из 16 стран мира показывают, что 60% из них обеспокоены справедливостью оценок, которые ИИ может выставлять.