«На прокторинг вешают вообще все неудобства, связанные с дистанционными экзаменами»

Из этого интервью вы узнаете:

• кто же всё-таки следит за процедурой экзамена — машина или человек;
• кто такие прокторы и где их готовят;
• помогает ли прокторинг развитию академической честности;
• правда ли, что экзамен можно провалить просто из-за отвода взгляда, и как связан с прокторингом детектор лжи;
• что происходит, если студенты выбирают между очным и онлайн-экзаменом;
• нужен ли прокторинг в корпоративном обучении;
• почему прокторинг на самом деле — лишь полумера и что нужно на самом деле.

Дмитрий Истомин

Директор компании «Экзамус»

---

Как устроен онлайн-прокторинг

— Опишите, пожалуйста, для совсем несведущих процедуру прокторинга на онлайн-экзамене. Вот студент подключается… Что происходит дальше?

— Давайте сначала проведём аналогию с обычным экзаменом, чтобы показать, что это не новая история. Что происходит, когда вы заходите в класс, чтобы сдать важный экзамен? Сначала вы показываете, что это вы: даёте, например, зачётку с фотографией, а в сертификационном центре — паспорт. Вас проверяют.

Дальше вам показывают, куда нужно сесть, и убеждаются, что у вас нет с собой ничего лишнего, сотовый телефон выключен, бумаг никаких посторонних нет. А в процессе сдачи экзамена, если вы будете разговаривать, вас попросят выйти либо хорошо предупредят.

— А на онлайн-экзамене что происходит?

— Ровно всё то же самое в онлайне. Перед стартом онлайн-экзамена, перед тем как вам выдают вопросы, вы показываете документ, вас идентифицируют. Вас просят показать рабочий стол, то есть чем вы пользуетесь. Это очень важная часть — посмотреть, что у человека за столом, убедиться, что он ничего не спрятал. Вас могут попросить выключить сотовый телефон, отложить его в сторону. После этого открываются экзаменационные вопросы.

Наблюдение может происходить в двух режимах — в синхронном и в асинхронном. В синхронном проктор смотрит, что студент делает, и может с ним чатиться. Это очень надёжный метод, но для него нужно, чтобы было достаточное количество прокторов, то есть наблюдающих.

В асинхронном режиме студент может в любой момент сесть и сдать экзамен — это, кстати, одно из преимуществ системы прокторинга. Проктор просматривает видеозаписи рабочего стола, веб-камеры и опционально изображения со смартфона, который как вторая камера ставится сбоку, чтобы было чётче видно происходящее.

— Обычно прокторинг подаётся как очень технологичная система, которая и сама всё может. Получается, что за процесс всё же отвечает человек, а не машина?

— Если мы посмотрим на развитие технологий искусственного интеллекта, компьютерного зрения и на то, как это применяется, то увидим маркетинговую составляющую: сейчас придёт умная машина, всё сделает, и люди будут не нужны.

Искусственный интеллект не может сейчас заменить человека. Более того, в Европейском союзе, например, согласно требованиям GDPR, без контроля человека машина ничего делать не может, чтобы не было предвзятости.

А что делают AI-технологии? Распознают видеоизображение, алгоритмы обнаруживают некоторые события — что человек повернулся, что в кадре находится кто-то помимо экзаменуемого, что появился голос или телефон. Из этих событий формируются паттерны поведения. В итоге автоматика даёт проктору рекомендации обратить внимание на определённые вещи. То есть она сильно ускоряет работу проктора в зависимости от правил его работы.

— А проктор — это какой-то особый специалист?

— Прокторы — это в основном бывшие или действующие преподаватели либо операторы рабочих мест. Это люди, у которых есть склонность внимательно, вдумчиво и по многу часов смотреть довольно скучное видео. Далеко не у всех людей это получается.

У нас нет специальных требований к ним, им не нужно какого-то особого технического образования или чего-то ещё. Мы на входе даём тестовые задания, чтобы проверить, могут ли они адекватно и вежливо общаться с другими, как они взаимодействуют в переписке. Дальше мы будущих прокторов тренируем, они проходят испытательный срок под присмотром «старших товарищей».

В итоге у нас до работы доходит порядка 60% людей, остальных мы отсеиваем. А оставшиеся работают — кто-то в реальном времени, кто-то асинхронно.

— Требования к прокторам и вообще к самой процедуре у всех вузов стандартные или они могут какие-то свои пожелания добавлять?

— У каждого вуза свои требования, и это определённая боль. Есть очень чёткая разница между тем, как действует система прокторинга на Западе, в Америке и в России. В США проктор — независимое лицо, которое принимает решение по поводу того, соблюдаются или нет правила поведения на экзамене. Проктор имеет право прекратить экзамен и вынести вердикт.

В связи с этим возникает масса нюансов, потому что поведение человека можно интерпретировать по-разному. Ведь одно дело, когда студент разложил книжки и списывает, другое — когда признаки списывания или подсказок лишь косвенные. Например, звучит голос за кадром — проктор имеет право это интерпретировать. Он не должен вникать, по поводу чего начался разговор — по поводу погоды или ещё чего-то. Может быть, там закодированные ответы какие-нибудь. Бывает по-разному.

И все вузы интерпретируют по-разному, в каждом своя степень жёсткости. На разные типы экзаменов и даже на разный контингент студентов бывают свои правила. Поэтому нам приходится адаптироваться к каждому вузу: есть согласованная с каждым методология, для каждого мы применяем различные адаптированные методики.

— Как вузы обычно предпочитают интерпретировать сомнительные случаи — помягче или пожёстче?

— Общего тренда нет. Например, университет может быть заинтересован в том, чтобы студенты оставались. Студенты — это же деньги, и в вузе десять раз подумают, прежде чем отчислить человека. Вместе с тем есть практика, когда вуз полностью доверяет нашим экспертам, то есть полностью исключён фактор влияния заинтересованных сторон. В США и Европе работает именно такая схема.

Может быть, вы слышали очень резонансную историю, когда из СПбГУ отчислили девушек за то, что якобы они два раза посмотрели не в ту сторону? Понятно, что это ерунда. Девушки уже не в первый раз завалили экзамен, при этом они и раньше попадались на списывании.

А вот к вступительным олимпиадам требования очень серьёзные, там жёсткий отсев.

— А бывают всё же случаи, когда студенты пожаловались, в вузе провели проверку и факт списывания не подтвердился?

— Бывает по-разному. Это всё равно некоторая интерпретация поведения. В суде есть экспертиза, есть разные мнения. Проктор в данном случае выступает экспертом. Он как эксперт может сказать: человек списывал. Вуз может пересмотреть, сказать: «Мы не согласны с этим экспертным мнением. Мы не берём его во внимание». Окей.

Согласно договору, вуз имеет право так делать, в этом нет ничего страшного. Мы отвечаем за нашу экспертизу, мы придерживаемся рекомендаций прокторов. Другое дело, что финальное решение выносим не мы.

Читайте также:

Необычная практика: творческие методы борьбы со списыванием

Справедливы ли упрёки в адрес прокторинга — и как он влияет на академическую честность

— В медиапространстве можно найти много претензий к прокторингу, но интересно, какие недостатки можете выделить вы как создатель одной из систем прокторинга. Может, что-то действительно стоило бы улучшить?

— Любая система несовершенна. Недостаток прокторинга уже в том, что его приходится придумывать. Люди почему-то не пишут честно экзамены. Главный баг в этом, а не в том, что прокторинг не может что-то поймать.

Например, авторизация по чертам лица — отработанная технология, но и её постоянно улучшают.

— Вы сказали, что прокторинг приносит в образование равенство. Это как?

— Это происходит благодаря повышению честности участников экзаменов. Я убеждён, что главная задача системы прокторинга (и мы уже успешно её выполняем) — именно в этом.

Очень понятный пример — камеры на дорогах. Если камер на дорогах нет, то все нарушают скоростной режим. Если повесить камеры, пускай даже фейковые, гораздо больше людей будут снижать скорость. Это сказывается и на общей безопасности дорожного движения.

Порядка пяти-семи процентов людей пытаются обмануть систему. Если они видят, что система реагирует, то они успокаиваются и дальше работают в нужном русле. Потом остаются один-два, максимум три процента, которые будут целенаправленно пытаться обмануть систему, пока у них не получится. Борьба за повышение качества, точности алгоритма, новые методы списывания — против одного-трёх процентов. От них наибольшее количество проблем. Но даже если мы не будем заморачиваться на них, всё равно у нас эффект уже очень хороший.

Есть и побочный эффект: люди, которые изначально честно сдают экзамены, прокторингу и возможности поймать нарушителей очень рады. Раздражает, когда я пишу экзамен честно, а сосед у меня списывает. Я знаю, что он списывает, но его никто не поймал, а он набрал много баллов. Хорошо, если я занял третье место и получил что хотел. А если я из-за этого не поступил в вуз? Это негативный фактор.

— Если говорить не про отдельный экзамен, а про систему в целом, как вы считаете, прокторинг помогает развивать культуру академической честности?

— Не надо путать причину со следствием. Применение прокторинга является свидетельством того, что в вузе задумываются об академической честности, но никак не наоборот.

Вы можете внедрить прокторинг в вузе, где не приветствуется честное поведение. Я вас уверяю, там найдут, как саботировать систему. Элементарно скажут: «У нас ничего не работает», «Система плохая», «Интернет виснет», «Камера не подключается», «Электричество отключили». Это не надуманные истории, мы с этим сталкивались, когда в целом вузе саботировали целиком проведение экзамена, потому что не было культуры академической честности.

Страшен ли прокторинг — или это миф

— Пока экзамены всё же есть, и, кажется, какие-то страшные меры там применяются. Например, активно жалуются на правило, что нельзя отводить взгляд от экрана дольше, чем на 15–20 секунд (а то и всего на пять). С чем такая, например, норма связана?

— Она связана в основном с мифологией. Никто не будет автоматом удалять с экзамена студента за то, что он на 20 секунд отвёл глаза. Но есть паттерны поведения: если вы будете сидеть и периодически куда-то подглядывать, сверяясь с подсказкой, это же видно. Там не нужно отводить взгляд на 20 секунд. Нужно десять раз отвести его на одну секунду, и вот паттерн поведения.

Очень много мифов со стороны студентов. Например, что мы передаём кому-то телефоны в базу, хотя мы их телефонов даже и не знаем. Много всего.

— Сохранность персональных данных действительно вызывает опасения. Да и список этих данных — например, пользователи возмущаются, что «Экзамус» смотрит интернет-страницы, которые они посещали до экзамена. Зачем?

— Нам не нужны данные о посещённых страницах. Мы собираем куки — это стандартная история. Вы кликаете, соглашаетесь со сбором этих данных, заходя на любой сайт. Просто, наверное, не читаете, что сказано в правилах сайта об этом. У нас стандартная схема: мы используем куки, к которым имеем доступ, чтобы проводить авторизацию пользователя в LMS.

— То есть насчёт сбора каких-то лишних данных вне данных об экзамене — это неправда?

— Я глубоко убеждён, что большинство людей, которые говорят о сборе каких-то лишних данных, скорее ищут, к чему прицепиться. Объективно мы не собираем больше данных, чем люди оставляют их на других сервисах. Паспорт? Вы регистрируетесь в сервисе, например, каршеринга, и тоже оставляете там все свои данные. Мы здесь ничего не добавляем.

Более того, нас уже многократно проверял Роскомнадзор с разных сторон, на нас писали жалобы. Ни разу не нашли существенных нарушений. Последний раз Роскомнадзор проверил нас и сказал: «Друзья, так вы не обрабатываете биометрические персональные данные, поскольку то, что вы храните, не соответствует определённому ГОСТу хранения фотографий, они недостаточно качественные, потому из этого воспроизвести ничего нельзя».

У меня есть бумага из Роскомнадзора, где написано, что мы не обрабатываем биометрические персональные данные. То, что мы сливаем данные, паспорта, телефоны, — это фейки, я на сто процентов гарантирую, что это неправда. Это подтверждено многократными проверками. Если бы нарушения были, мы бы уже не работали.

— Какой миф вы назвали бы самым распространённым и самым удручающим вас?

— Как раз история про отчисления за то, что отвели глаза на 20 секунд. Это квинтэссенция того, как хайпуют на какой-то теме.

Нам приходит много позитивных отзывов. «Как здорово, благодаря вам не надо было никуда ехать, я поступила в университет» — или про честность. Но, к сожалению, эти позитивные отзывы не получают хайпа в информационном поле.

За прошлый год мы промониторили под миллион студентов по всему миру. Человек сто из них громко рассказывают о том, что их несправедливо забанили. В процентном соотношении это ничто, но это формирует информационный фон. Удручает, что именно это идёт на публику, а люди в большинстве своём не вникают в детали. Они считают, что журналисты проводят фактчекинг, а если журналисты что-то транслируют, значит, так и есть. Но дело не всегда обстоит так, как транслируется.

— Скажите, а то, что «Экзамус» планировал ввести электрокардиограмму во время экзамена, то есть практически детектор лжи, — это тоже миф или вы действительно об этом задумывались?

— В 2015 году, когда мы только начинали, совместно с одним из вузов мы исследовали методы биометрической идентификации. Сравнили точность и сложность идентификации по лицу, по голосу, по ЭКГ, по ЭЭГ. Действительно, были сведения, что можно находить некоторые паттерны поведения с помощью этих инструментов. Но в итоге из-за того, что это очень сложно и нужны дополнительные девайсы, в эту сторону мы не пошли. Но «покопать» тему было интересно.

Итоги этих исследований оказались чрезвычайно полезны, мы до сих пор придерживаемся выработанной методологии. Выбрали для себя довольно простые и точные методы идентификации и идём к ним.

— Есть и ещё один «камень» в сторону прокторинга — он считается очень стрессовым. Студенты паникуют, даже просто из-за потенциальных технических проблем: что интернет упадёт, и всё, прощай оценка. Но на вашем сайте написано, что онлайн-экзамен с прокторингом, наоборот, стресс снижает. Вы чем-то можете такую точку зрения подтвердить?

— Предположим, что это простой онлайн-экзамен без прокторинга. Если там пропадёт интернет, это тоже повлияет на то, что студент его не сдаст. С чем связаны переживания — конкретно с прокторингом или в целом с онлайн-форматом? Надо чётко разделять это.

Я глубоко убеждён, что в том, что мы даём возможность сдать экзамен удалённо, есть польза. Мы обеспечиваем контроль, чтобы у вуза была уверенность, что всё действительно корректно. В данном случае мы говорим вузам: если не пандемия (когда всё онлайн), давайте, пожалуйста, людям варианты — сдавать дистанционно онлайн с прокторингом или офлайн в кампусе. Давайте посмотрим, какое количество людей выберет сдачу экзамена очно в аудитории под контролем преподавателя. Как вы думаете, сколько студентов реально приедет? Были такие прецеденты, когда экзамены проводились и так, и так. Меньше 5% изъявляли желание приехать лично.

Читайте также:

В вузы приходит новая версия «гибрида» — HyFlex. Что это за формат и почему он важен?

Почему у прокторинга непростая судьба

— Как вы считаете, прокторинг будет когда-нибудь восприниматься как норма?

— Давайте немножко про терминологию. Есть такая гравюра «Проктор в Оксфорде», датируется 1646 годом. Проктор — это человек, который следит за порядком в университете, в том числе при сдаче экзамена.

Прокторинг — это норма. Я уверен, когда вы учились в вузе, у вас не на всех экзаменах была полная свобода действий.

Онлайн-прокторинг — это то же самое, просто в онлайне. Я считаю, это норма. Если мы переводим экзамены в онлайн, почему они должны быть бесконтрольными? Почему мы согласны с тем, что если мы посадили людей в аудитории, то за ними нужно следить, а если они сдают онлайн, то не нужно? Можете объяснить эту логику? Почему онлайн-прокторинг не считается нормой, а прокторинг в классе считается?

— К преподавателям в аудитории обычно тоже есть претензии. Но очевидно, что к онлайн-прокторингу их больше — если судить по реакции, причём не только в России. В Европе и США появляются уже судебные иски от студентов. То есть до нормы далеко. Как вы такое сопротивление объясняете?

— Сопротивление происходит всему. Люди подают в суд буквально на всё — даже на то, что инструкция к микроволновке сделана неправильно, если говорить про США. Так что там и о поведении преподавателя в аудитории иски предъявляют, а не только об онлайн-прокторинге. В Штатах судебные иски по этому поводу были и 10, и 15 лет назад.

Вспомним аналогию с камерами на дороге. Я на первой машине мог ездить с какой угодно скоростью, потому что не было камер. Начали ставить камеры, было сопротивление: «Частная жизнь, меня фотографируют, как же так!» Ровно то же самое.

— Мы одни с таким подходом или у нас есть «коллеги»? Какие есть отличия от других стран?

— Это типовая проблема для многих стран. Есть страны, где такая ментальность, даже больший уклон к нечестности. И сопротивление есть во многих странах, и похлеще. Кое-где даже не начали внедрять прокторинг, потому что опасаются, что нужно будет ломать какие-то паттерны поведения общества.

В восточных странах, например, есть базовая установка, что хитрость — это хорошо, поэтому они всячески пытаются списывать, обходить систему. В западных странах, особенно скандинавских, всё очень чётко, они придерживаются правил. Там процент списывания существенно ниже.

Есть и большая разница в компьютерной грамотности. Люди, которые сдают вступительные экзамены из некоторых стран Латинской Америки и Африки, гораздо хуже знакомы с компьютерами. В связи с этим возникают некоторые проблемы и особенности.

Читайте также:

«Академическое мошенничество распространено во всём мире, и оно усиливается»

Почему в корпоративном обучении тоже нужен прокторинг

— Какой самый оригинальный способ обхода всех существующих правил вы можете вспомнить?

— Это был случай не из вузовской, а из корпоративной практики, мы ведь там тоже экзамены проводим. Проктор попросил показать комнату, и было чётко видно, как человек, который подсказывал, вылез из-под стола и попытался скрыться. И это взрослые люди.

— То есть ситуации в корпоративном и вузовском обучении не различаются? Может, есть статистика, кто чаще списывает?

— Мы все люди. Сегодня я студент, завтра работаю. Почему моё поведение может измениться? Поведение никоим образом не меняется. Люди — они люди и есть. Кто списывал в университете, тот, скорее всего, и в рабочей обстановке будет вести себя соответствующе. Особой разницы между вузами и корпорациями нет. Есть некоторые особенности поколений, разные способы списывания.

— А в чём измеряется эффективность онлайн-прокторинга? Предположим, никого не поймали за руку, был прекрасный экзамен, где никто не списывал. Вам заказчики будут задавать какие-то вопросы, мол, как это так, никого не поймали? Или вопросов не возникнет, всё замечательно, у нас академическая честность?

— Вопросов не возникнет. Один из заказчиков поделился с нами результатами исследования, сравнением ситуации до прокторинга и после прокторинга. Там есть сто команд. До внедрения прокторинга топ-10 команд выглядел определённым образом, а по результатам внедрения прокторинга в топе из этого списка остались только две команды.

Основной эффект в том, что, когда люди знают о мониторинге, они делают меньше попыток списывать. Да, пусть мы никого там не поймали за руку, но я гарантирую, что если бы не было системы контроля, то результаты были бы другими.

Почему прокторинг — на самом деле лишь полумера

— Что должно произойти, чтобы изменилось отношение к списыванию, это перестало считаться нормальным и поощряться?

— Я не знаю. Есть исследования по академической честности, по паттернам поведения общества. Наверное, существуют некоторые культурные особенности, установки и ценности, которые нужно воспитывать и прививать именно с детства. Это не про вуз, это про базовые установки. Я не знаю, что с этим делать. Я не специалист.

— А в чём видите свою миссию? В том, чтобы выводить на чистую воду нечестных?

— Ещё три-четыре назад года я для себя чётко сформулировал, что наша миссия не в том, чтобы поймать студентов на списывании. Это бессмысленно — ну поймали и поймали. По-хорошему, миссия должна быть в повышении успеваемости студентов в онлайн-образовании. Мы для себя сформулировали, что делаем инструменты, которые позволяют сократить разрыв между онлайн- и офлайн-обучением. Онлайн-экзамены — это самый яркий пример.

Сейчас всё движение EdTech, образовательные технологии — это анализ данных, анализ поведения студентов, адаптивное обучение. Мы предоставляем дополнительный слой данных, чтобы повысить успеваемость человека, и при этом даём опыт офлайна, когда есть эмоциональная вовлечённость преподавателей и студентов, — вот куда мы двигаемся, в чём наша цель.

Есть очень много сложностей, связанных с тем, как интерпретировать данные, какие методики использовать, мы пока это исследуем.

— То есть вы считаете, что будущее — за анализом данных, а прокторинг тогда станет не нужен?

— Я полностью согласен с тем, что онлайн-прокторинг сам по себе как метод надзора — это не то, к чему нужно стремиться. Это полумеры, которые нужно применять. Мы находимся в таких условиях, что по-другому никак. Но если говорить про прекрасную систему образования будущего, то да, там нет никакого прокторинга. Там есть анализ данных, которые собираются во время всех образовательных активностей, чтобы сразу стало понятно, воспринял студент материал или нет.

А следующий шаг — разработка компьютерного интерфейса, в том числе неинвазивной ЭЭГ. Это первый шаг в сторону brain-computer interface. Если мы пойдём в эту сторону и подключим VR, система прокторинга будет не нужна. У нас будет достаточное количество данных о том, воспринял человек информацию или нет, отработал он эти навыки или нет. Мы получим эти данные, напрямую сняв сигнал с мозга, и всё. Туда и надо идти.