В Duolingo рассказали про метрику TSLW — время, потраченное на хорошее обучение

Как сообщается в блоге Duolingo, в компании разработано множество собственных метрик, которые помогают улучшать продукт. Один из важнейших показателей называется «время, потраченное на хорошее обучение» (Time Spent Learning Well, сокращённо — TSLW).

Эта метрика отражает не просто время, потраченное на уроки в приложении, а промежутки, когда пользователь прогрессирует. В блоге рассказано, как этот показатель появился.

Сначала в Duolingo измеряли общее количество уроков, которые прошёл ученик. Логика была простая: чем больше пройдено занятий, тем лучше для обучения. В этом, конечно, был смысл, но потом оказалось, что это несовершенный показатель, так как в приложении представлены уроки разного уровня сложности, а это значит, что на них зачастую требуется разное количество времени. Например, у учащегося есть 15 минут в день, которые он может уделить занятиям в Duolingo, но за это время он может пройти, допустим, пять простых уроков или три сложных. То есть небольшое количество пройденных занятий не всегда означает, что пользователь учится недостаточно эффективно.

Поэтому в компании разработали метрику, которая отражает время, уделённое учёбе (заметим, измерение этого показателя — довольно распространённая практика для образовательных онлайн-платформ и приложений). Однако эта метрика тоже оказалась неидеальной по той же причине, что и первая, — разные ученики проводят время в приложении по-разному. Например, в Duolingo можно повторять пройденное или тренировать запоминание уже знакомых слов вместо того, чтобы осваивать новые темы на основных уроках по курсу.

В блоге отмечается со ссылкой на независимое исследование, проведённое специалистами из Университета Северной Аризоны и Университета Восточной Каролины, что количество завершённых уроков — самый сильный предиктор успехов в обучении. И хотя все упражнения и занятия в Duolingo имеют определённую ценность, в компании обнаружили, что именно продвижение от урока к уроку, то есть постепенный переход к более сложным материалам — это и есть наиболее полезная часть обучения. После этого и родилась метрика TSLW — она показывает время, когда пользователь перемещается между уроками, в том числе от более простых к более сложным (то есть выучивает что-то новое).

Поскольку в Duolingo хотели, чтобы учащиеся активно двигались по учебному пути, нужно было найти способы стимулировать их к этому. Сообщается, что для этого в приложении используются:

1. Ежедневные квесты — это набор заданий, которые нужно выполнить в течение дня. Причём их порядок тоже продуман: первое помогает включиться в учёбу, а следующие немного сложнее. В квестах предусмотрены такие задания, которые помогают продвигаться вперёд, — потратить на уроки определённое количество минут, завершить модуль и так далее.
2. Ежемесячные испытания — это аналогичная активность, которая отличается тем, что счёт ведётся не за день, а за месяц. Суть в том, что за это время нужно справиться с определённым количеством ежедневных заданий. За счет этого пользователей побуждают учиться каждый день и прогрессировать.
3. Списки лидеров — это рейтинги пользователей, которые обновляются раз в неделю. В приложении предусмотрено несколько «лиг», по результатам недели участников которых либо оставляют в текущей «лиге», либо переводят в более сильную или в более слабую. Это определяется на основании того, сколько очков опыта заработал ученик.

Кстати, ранее были названы продуктовые метрики, которые российские EdTech-компании считают самыми важными. Оказалось, что у детского и взрослого сегментов индустрии разные приоритеты.