Создана программа, способная проверять эссе на английском языке эффективнее учителя

Разработку представили победители Up Great «ПРО//ЧТЕНИЕ», конкурса по созданию ИИ-систем для проверки сочинений школьников. Об этом сообщает пресс-служба МФТИ.

Первое место получила команда DeepPavlov — она представила наиболее эффективное решение и выиграла приз размером в 80 млн рублей.

Что должны были создать конкурсанты

Конкурсная задача заключалась в том, чтобы создать такую нейросеть, которая сможет выявлять ошибки и комментировать их. Речь идёт о речевых, грамматических, логических, фактических и этических погрешностях. Язык сочинений, которые проверяет программа, мог быть русским или английским на выбор разработчиков.

Нужно было добиться сопоставимости результата работы искусственного интеллекта с результатом человека, который профессионально проверяет эссе в условиях ограниченного времени. Причём нейросети должны были тратить на проверку одной работы объёмом до 12 тысяч знаков не более 30 секунд.

Чтобы выявить эффективность работы программ, их решения сравнивали с решениями экспертов. А затем решения экспертов сравнивали друг с другом. После этого вычисляли соотношение точности решений в обоих случаях. Проще говоря, программа должна была выделить те же ошибки, что и человек, объяснив их аналогичным образом. Если соотношение превышало 100%, то технологический барьер считался пройденным.

Что получилось

Эффективность разработки команды DeepPavlov составила 107%. А на обработку одного эссе программе требуется всего 22 секунды.

Правда, пока инструмент недоступен педагогам. Как пояснил редакции Skillbox Media руководитель команды DeepPavlov и заведующий лабораторией нейронных систем и глубокого обучения МФТИ Михаил Бурцев, у решения пока нет пользовательского интерфейса. По его словам, на данный момент ищут партнёров, «заинтересованных в широком внедрении технологии и способных довести её до востребованного продукта».

Капитан конкурсной команды Денис Кузнецов в свою очередь сообщил, что сейчас решение находится в экспериментальном состоянии и его ждёт ещё один этап разработки, в течение которого инструмент сделают удобным для конечного пользователя. Условия использования разработки также будут сформулированы позднее.

Кстати, нейросети уже давно планируют внедрять в работу российских учителей. Это призвано облегчить педагогам жизнь. Например, ожидается, что к 2023 году искусственный интеллект будет заниматься подбором учебного контента для уроков. А ещё в Минпросвещения обещали запустить автоматическую проверку домашних заданий школьников.