Разработана модель для оценки качества цифровых домашних заданий

Разработку представили на открытом семинаре Института образования НИУ ВШЭ — его исследователи участвовали в создании нового инструмента.

Как рассказали начальник отдела научно-исследовательских и опытно-конструкторских работ группы компаний «Просвещение» Ирина Ускова и заместитель директора по цифровому маркетингу и продуктам Юлия Рассказова, издательству потребовалось оценить качество цифровых домашних заданий в сервисе «Цифровые рабочие тетради». Это платформа с заданиями к учебникам для 4–11-х классов практически всех учебно-методических комплексов, изданных «Просвещением». Сервис интегрирован с Московской электронной школой и другими системами. Задания для него предоставляют сами авторы учебников — с запасом по каждой теме, чтобы учитель мог назначить ученикам домашнее задание, подходящее по уровню знаний и направленное на отработку нужных навыков.

На платформе уже более 170 тысяч таких заданий по разным школьным предметам, и вручную проверять всё у методистов сервиса, естественно, не получается. Чтобы автоматизировать процесс, в издательстве привлекли специалистов из Института образования НИУ ВШЭ. На семинаре о проекте рассказали научный сотрудник Международной лаборатории оценки практик и инноваций в образовании Ксения Адамович и научный сотрудник Лаборатории проектирования содержания образования Александра Михайлова.

Все метрики, на основе которых рассчитывается оценка качества, не раскрыли, но известно, что они относятся к пяти основным категориям:

• Востребованность. Имеется в виду то, как часто учителя выбирают это задание при назначении домашки на сервисе.
• Сложность. Учитывается, в частности, понятна ли формулировка задания, а также предполагаемая трудность его решения и реальная решаемость по данным платформы.
• Дискриминативность. Так называется качество задания, позволяющее различить разные уровни знаний. Например, слишком простые задания не дискриминативны, потому что с ними справляются школьники и с хорошими, и с недостаточными знаниями по теме.
• Ложное угадывание. Вероятность того, что правильный ответ на задание можно дать случайно.
• Дистракторы. Это неправильные варианты в заданиях с выбором ответа. Они не должны выглядеть очевидно неправильными, чтобы школьник не мог выбрать верный вариант просто по контрасту с ними.

Различные показатели в этих категориях оценивает цифровая модель, которую протестировали на выборке примерно из 16 тысяч заданий. Кроме того, результаты оценки по модели сопоставили с тем, как те же задания оценили учителя. К июню 2025 года это рассчитывают распространить на все «Цифровые рабочие тетради».

Оценку заданий модель выдаёт в виде комплексного количественного показателя, который назвали индексом доработки. Если его значение слишком высокое, в красной зоне, значит, у задания есть проблемы сразу по многим критериям, и методистам нужно его проверить. Авторы подчёркивают, что модель получилась динамической: данные по таким показателям, как востребованность и решаемость, набираются постепенно в течение учебного года. Поэтому оценка качества задания может колебаться. Только лишь из-за недостатка данных по паре направлений задание не может оказаться в красной зоне по индексу доработки.

Хотя новая цифровая модель разработана специально для оценки качества заданий к учебникам «Просвещения», на семинаре ученый секретарь НИУ ВШЭ и директор центра поддержки цифрового обучения Института образования Мария Лытаева предложила применять аналогичный подход в моделях оценки качества для других банков заданий. А ещё она отметила, что стоит адаптировать модель к оценке заданий, сгенерированных нейросетями, — даже если сейчас на сервисах компании таких заданий нет, в ближайшее время они наверняка распространятся.

Ранее стало известно, что НИУ ВШЭ и «Умскул» предложили модель оценки качества цифровых образовательных продуктов с более широкой областью применения — для оценки онлайн-курсов в сфере детского дополнительного образования.