Разработаны принципы для оценки студенческих работ в эпоху ИИ

Принципы для университетов сформулировали представители австралийских вузов по заказу Независимого национального агентства страны по обеспечению качества и регулированию высшего образования.

Зачем потребовались эти принципы

Авторы документа отмечают, что появление генеративного искусственного интеллекта (ИИ) не только создало новые возможности для сферы образования, но и усугубило некоторые трудности — например, усложнило оценивание работ учащихся.

Наиболее серьёзной проблемой названо то, что студенты могут использовать ИИ при подготовке различных учебных работ. Причём нейросети способны создавать достаточно качественный контент, который может быть высоко оценён преподавателями. И точно определить, использовались ли такие технологии, практически невозможно. А разработать задания, при выполнении которых невозможно воспользоваться ИИ, очень сложно.

Отмечается, что всё это подсвечивает слабые места традиционных подходов к оценке. Поэтому их предлагается пересмотреть. Авторы уточняют, что игнорировать развитие технологий ИИ или запрещать их использование всё равно бесполезно. Их применение становится обычным явлением в учебных заведениях и на рабочих местах, и необходимо найти способы для интеграции этих инструментов в процесс обучения.

Подчёркивается, что предложенные принципы носят рекомендательный характер для вузов, поскольку учебные заведения, вероятно, будут по-разному модернизировать свои системы оценки.

Какие рекомендации включили в документ

Авторы отмечают, что технологии ИИ уже повсеместно распространены, а студентам предстоит и в будущем ими пользоваться. Поэтому, по их мнению, резонно не просто в некоторых случаях разрешить использовать эти решения при выполнении учебных работ, но и формулировать задания с учётом применения ИИ. Всего предложено пять принципов.

1. Задания должны оценивать то, как студенты взаимодействовали с ИИ. Это значит, что преподавателям стоит предлагать такие задания, которые побуждают учащихся критически оценивать роль и ценность таких технологий в учёбе и работе. Проще говоря, они должны оценивать то, насколько этично и ответственно действуют студенты при использовании нейросетей.

Пример. Студентам инженерного направления можно задать разработку робота, проектирование которого нужно делегировать ИИ. При этом учащиеся должны сами описать ограничения и риски, связанные с использованием (и неиспользованием) нейросетей при проектировании робота.

2. В течение всей программы обучения должна проводиться комплексная оценка знаний. Предполагается, что её следует проводить при помощи разных методов и комплексных задач, а также с содержательной обратной связью от преподавателей. Идея в том, что такой системный подход к оценке предоставляет множество способов судить об успеваемости учащихся, и это повышает достоверность общей оценки.

Пример. Компетенции будущих медиков нужно оценивать по ряду чётких результатов обучения студентов, которые подкрепляются множеством небольших заданий, включая письменные работы и взаимодействие с технологиями, а также наблюдаемые медицинские навыки, устные экзамены и отчёты от научного руководителя. Данные о результатах всех этих форм оценки нужно периодически сопоставлять и анализировать.

3. Оцениваемые задания должны демонстрировать ход мыслей студентов. Поскольку сгенерированный нейросетями текст зачастую трудно выявить, имеет смысл давать более глубокие задания. Имеется в виду, что они должны предоставлять возможность судить о ходе мышления и о компетенциях студентов. Это значит, что студенты должны рассуждать, демонстрировать критическое мышление, а также описывать процесс принятия решений и риски, включая риски этического характера. Предполагается, что эти компоненты ИИ в меньшей степени способен имитировать.

Пример. Студенты юридического факультета пишут эссе, в котором излагают позицию по некоему вопросу, основываясь на данных из разных источников. В их число входит личное мнение учащегося, а также идеи одногруппников, преподавателя и нейросети.

4. Нужны такие задания, для выполнения которых студентам потребуется взаимодействовать и друг с другом, и с ИИ. Как отмечают авторы, крайне важно, чтобы учащиеся умели сотрудничать друг с другом, используя нейросети и другие технологии. Например, студентов можно подтолкнуть к размышлению о роли людей и технологий в том, как выполнялась работа.

Пример. Будущие дизайнеры работают над групповым творческим проектом. Их просят при помощи ИИ создать описание дизайна интерьера. Кроме того, они должны вести дневник, в котором необходимо отразить весь процесс работы, а также описать вклад нейросети и свой.

5. Надо определить, в каких заданиях использовать ИИ недопустимо, и исключить нарушения в них. Авторы отмечают, что на многих этапах обучения возникает необходимость понять, на что студенты способны без помощи нейросетей. Однако вместо того чтобы пытаться бороться с использованием ИИ при подготовке вообще всех работ, нужно определить ключевые моменты образовательной программы и компетенции учащихся, владение которыми нужно подтвердить. А затем нужно выработать подход, который минимизирует возможность академического мошенничества.

Пример. Выпускники факультета информатики в качестве выпускной работы представляют проект — разрабатывают некую программу. Чтобы снизить вероятность жульничества, научные руководители встречаются с подопечными в течение всего времени работы над проектом и контролируют объём и качество написанного кода.

Кстати, летом объединение британских вузов под названием Russell Group сформулировало для учебных заведений принципы этичного использования генеративного ИИ. А уже осенью в Великобритании на первом международном саммите по безопасному использованию искусственного интеллекта приняли международную декларацию по безопасному применению ИИ. Её авторы указывают на риски, связанные с технологиями, которые уже применяются в повседневной жизни, в частности в сфере образования.