Эксперт предложил модель оценки ИИ-инструментов для школьного образования

Эксперт американского сообщества специалистов в сфере образовательных технологий EdTech Insiders Алекс Сарлин (ранее работал в таких EdTech-компаниях, как Coursera и 2U, теперь занимается консультированием в сфере EdTech) проанализировал, какие стратегии защиты от негативных последствий использования генеративных нейросетей в образовании применяются сегодня. С его точки зрения, требуется новая модель, которая позволит адаптировать существующие инструменты на основе ИИ для безопасной работы в школах.

Как сейчас контролируют образовательные ИИ-приложения

Использование инструментов на основе генеративных нейросетей в образовании вызывает у многих опасения и из-за того, что привычка полагаться на подсказки ИИ может негативно сказаться на результатах обучения, и по другим причинам. В частности, нейросети «галлюцинируют», и среди выданной ими ложной информации может быть что-то потенциально опасное для учащихся. Или нейросети могут быть не приспособлены для взаимодействия с детьми.

Сегодня для того, чтобы избежать отрицательных последствий применения ИИ-инструментов в образовании, по словам Алекса Сарлина, используется несколько стратегий:

• Формируется белый список приложений (то есть разрешённых в школах инструментов) с опорой на ограничения, которые уже существуют в приложениях.
• Работа учащихся с применением ИИ-инструментов ограничивается только конкретными заданиями учителя.
• Педагог включается в цепочку «инструмент — студент» для проверки запросов учащихся или ответов нейросети.
• Действия учащихся в самих ИИ-инструментах контролируются и отслеживаются.

Эксперт считает, что все эти ограничения неэффективны: они или попросту ненадёжны, или требуют слишком больших трудозатрат. Он предлагает обеспечивать безопасность ИИ-инструментов, по-другому оценивая их.

На чём можно выстроить сертификацию ИИ-инструментов для образования

Эксперт предлагает смотреть, как нейросеть отвечает на реальные промпты учащихся. Именно эти ответы должны проверять педагоги, детские психологи, консультанты и другие специалисты сферы образования. Такая экспертиза позволит оценивать новые инструменты или генеративные модели, и её можно адаптировать для оценки изображений и видео. Порядок такой сертификации можно закрепить в законе или в политике закупок учебного заведения.

Алекс Сарлин назвал критические темы, реакцию нейросети на которые требуется проверять детально:

• темы, связанные с буллингом и кибербуллингом;
• темы, связанные с насилием;
• поиск чьих-то персональных данных;
• попытки списывания и так далее.

Цель в том, чтобы ИИ-инструменты не выдавали, например, инструкций по обращению с оружием ни при прямом запросе, ни даже если пользователь пытается схитрить и пишет, что детальное описание нужно для сочинения.

Чтобы нейросети могли пройти такую проверку, придётся создать принципиально новые датасеты для их обучения. По мнению Алекса Сарлина, такой проект мог бы систематизировать экспертные знания профессиональных педагогов и психологов и действительно обеспечить безопасность учащихся в работе с ИИ-инструментами, при этом не ограничивая их в творчестве.

Ранее в США было выпущено руководство для поставщиков образовательных технологий на основе ИИ. В нём говорится об «общей ответственности» EdTech-компаний за разрабатываемые инструменты. В документе выделено пять ключевых областей, которые поставщики образовательных технологий должны учитывать при совместной работе со школами.