Для поставщиков образовательных технологий на основе ИИ разработали руководство

В новом руководстве управление образовательных технологий Министерства образования США представило концепцию «общей ответственности» поставщиков образовательных технологий, сообщает K-12 Dive. IT-компании должны активно управлять рисками, которые возникают при создании образовательных продуктов на основе искусственного интеллекта, в том числе на базе генеративных нейросетей.

О каких рисках речь

В руководстве указано, что педагоги видят множество возможностей использования ИИ для развития образования, но при этом их должны информировать о возможных рисках внедрения таких инструментов. Например, сегодня остро стоит вопрос конфиденциальности и безопасности используемых данных, предвзятости ИИ, возможной дезинформации, а также недостаточной прозрачности и объяснимости в работе систем.

Судя по комментариям представителей школьных округов, которые приводит K-12 Dive, они расценивают эти риски как критические. Например, один из них заявил, что в принципе школы готовы покупать инструменты на основе генеративного ИИ, но ни один из существующих сегодня нельзя использовать в образовании из-за нерешённых проблем с безопасностью и недостатка данных об эффективности.

А ещё ранее стало известно, что на грани краха находится стартап, который разрабатывал чат-бот Ed на основе ИИ для школ Лос-Анджелеса при поддержке местных властей. Мобильное приложение, в которое было вложено 6 миллионов долларов, рекламировалось как мощный инструмент одновременно для учащихся, их родителей и учителей. Предполагалось, что в нём можно будет как проходить дополнительные уроки по школьной программе, так и отслеживать посещаемость, оценки и даже перемещения детей в школу и обратно. Причину провала эксперты видят в слишком масштабных задачах, которые ставили перед собой стартап и местные власти. То есть разработчики явно не задумывались о доказательствах эффективности своего продукта — реализовать все заявленные функции в одном приложении было практически невозможно.

Что именно предлагают авторы руководства

Появление официального руководства для EdTech-компаний не связано с провалом Ed, но одна из задач этого документа — избежать таких историй в будущем. В документе управление образовательных технологий выделило пять ключевых областей, которые поставщики образовательных технологий должны учитывать при совместной работе со школами:

• Проектирование для образования. ИИ-инструменты должны создаваться для решения конкретных проблем образования с учётом его ценностей. Для этого разработчикам необходимо, во-первых, изучать реальные запросы целевой аудитории, а во-вторых, привлекать преподавателей и учащихся на всех стадиях разработки продуктов.
• Доказательный подход. Он предполагает, что разработчики изначально учитывают в EdTech-продуктах научные данные о том, как люди учатся, а также сотрудничают с исследователями с ранних этапов работы над новыми инструментами и в ходе тестирования новых функций собирают данные не только об их эффективности, но и о безопасности.
• Поддержка равенства и защита гражданских прав. Необходимо учитывать возможные проблемы с наборами данных, на которых обучаются ИИ-модели, — например, в них могут быть недостаточно или предвзято представлены учащиеся из разных этнических групп, и из-за этого готовые решения могут дискриминировать часть учеников. Ещё одно направление — обеспечение равного доступа к технологиям для учащихся с ограниченными возможностями.
• Обеспечение безопасности. Необходима выработка чётких стандартов на тему того, как защищается безопасность пользовательских данных, и ясная коммуникация на этот счёт.
• Прозрачность и завоевание доверия. Чтобы построить доверительные отношения, необходима совместная работа EdTech-поставщиков с педагогами и другими заинтересованными сторонами. Отдельное направление работы — повышение ИИ-грамотности учащихся и преподавателей.

По состоянию на июнь 2024 года 15 штатов США выделили ресурсы для интеграции ИИ в образование. Министерство добавило, что поставщики образовательных технологий также должны изучить соответствующие руководства по ИИ на уровне штатов и школ.

В прошлом году ЮНЕСКО призвала внедрять рекомендации по работе с ИИ в учебных заведениях. В ходе глобального опроса, который провела организация в 450 школах и университетах, выяснилось, что менее чем в 10% из них действуют официальные рекомендации по тому, как применять приложения с генеративным ИИ.