В Skyeng разработали чат-бота, оценивающего уровень владения английским языком

Речь идёт о Detroit Test — чат-боте, способном определить уровень владения английским по итогу диалога с пользователем. Об этом нам сообщила пресс-служба Skyeng.

Что это за программа

В основе нейросети лежит несколько внутренних разработок Skyeng. С их помощью изучается активный словарный запас человека, проходящего тестирование, а также работает система предиктивной аналитики, способная предсказывать, какую ещё лексику знает пользователь. Другая особенность разработки в том, что устная английская речь распознаётся с учётом акцента носителей русского языка. Это позволяет системе корректнее различать речь и давать рекомендации на тему того, как улучшить навыки.

Сообщается, что любой пользователь может бесплатно пообщаться с ботом и получить отчёт о своём уровне владения английским. В закрытом тестировании модели приняла участие 1 тысяча человек.

В планах компании — верифицировать Detroit Test как один из способов подтвердить уровень владения языком, сделав его таким же стандартом качества, как IELTS и TOEFL.

Как проходит тестирование

Сначала бот представляется — разработчики выбрали для него образ андроида из 2049 года. Затем он начинает задавать своему собеседнику вопросы — про его имя, увлечения, работу и так далее. Отвечать боту нужно голосовыми сообщениями. А вот его реплики можно как прослушать, так и увидеть в текстовом варианте. Смена темы в диалоге происходит достаточно естественно — программа отмечает некоторые фрагменты из предыдущего сообщения пользователя и только потом предлагает перейти к следующему разделу.

Точность оценки зависит от продолжительности разговора. Разработчики отмечают, что при пятнадцатиминутном диалоге она повышается до 95%. При этом беседовать можно и дольше.

Как выглядит отчёт о знаниях

Программа анализирует речь по пяти основным показателям. Это произношение, словарный запас, грамматика, беглость и уровень взаимодействия в речи — последний показывает, насколько корректно пользователь понимает речевую ситуацию и отвечает в её рамках.

По завершении диалога пользователь получает отчёт, в котором указан его общий уровень владения языком, а также уровни по каждому отдельному показателю и общее число использованных в диалоге слов.

Потом программа даёт подробную обратную связь: выделяет сильные стороны собеседника и перечисляет моменты, которые стоило бы улучшить.

Кроме того, пользователь видит, сколько слов, по оценке программы, в его активном лексиконе. Кстати, в отчёте приводится перечень синонимов к употреблённым словам. А ещё пользователь получает запись и расшифровку своего диалога с ботом.

На зарубежном рынке уже тоже есть примеры, когда образовательные компании запускают ИИ-тесты для оценки уровня владения языком. Например, такие инструменты есть у Duolingo и международной образовательной компании IDP.

Кстати, недавно компания ETS, которая проводит TOEFL, внедрила инструмент на базе ИИ для подготовки к этому экзамену. Правда, некоторые эксперты считают, что полностью делегировать нейросетям проверку знаний пока не стоит — для надёжности результатов в этом процессе всё равно должен участвовать человек. Так, Кэролайн Браун, генеральный директор Password English Language Testing Ltd, рассказала, что в компании тоже используют ИИ для проведения тестов, однако их результаты проверяют люди.