читать 5-7 минут

Кейс работы с ВШЭ

Внедрение системы прокторинга «Экзамус» в ведущем университете, входящем в топ-20 рейтинга Emerging Economies 2020 и в топ-10 на Coursera по числу курсов.

Краткая справка
Экзамен с прокторингом ВШЭ
Методология
Сложности и вызовы, с которыми мы сталкиваемся
Почему нельзя обойтись только AI proctor
Что Экзамус делает в этом направлении

Краткая справка

Университет активно использует онлайн-технологии уже более 10 лет. В 2016 году онлайн-развитие было выбрано как инструмент стратегии в рамках смешанного и удаленного обучения – вуз размещает онлайн-курсы на различных платформах (Coursera, OpenEdu и т.д.). Кроме того, с 2018 года вступительные испытания стали также проводится в онлайн-режиме, что существенно повысило число иностранных абитуриентов.

Таким образом, для вуза система прокторинга является критически важным инструментом.

Экзамен с прокторингом ВШЭ

В 2016 году вуз принимал решение о том, нужно ли ему разрабатывать свою систему прокторинга или же можно использовать стороннего вендора. Руководство выбрало второй вариант. Между университетом и «Экзамусом» было заключено стратегическое партнерство, в рамках которого компания доработала систему прокторинга в соответствии с техническим заданием вуза. Развитие платформы продолжается и по сей день.

С самого начала «Экзамус» предоставлял полный сервис «под ключ», то есть помимо прокторинга обеспечивал техническую поддержку 24/7 для студентов и преподавателей. Например, настраивал систему тестирования и предоставлял своих прокторов на синхронные экзамены и для записи/постпросмотра

С ростом количества экзаменов вуз принял решение создать собственный центр прокторинга для повышения гибкости и снижения затрат. «Экзамус» передал университету всю методологию, документы по технической поддержке, провел тренинги прокторов и предоставил для них и администраторов системы подробные инструкции. Постепенно центр прокторинга взял на себя первую линию поддержки студентов и набрал штат специалистов для синхронного и асинхронного мониторинга. Также в образовательном учреждении начали проводить тренинги для преподавателей и управлять всем процессом через интерфейсы администрирования Moodle и «Экзамус». «Экзамус» обеспечивает вторую линию поддержки, обучение новому функционалу, подключает своих прокторов на пиковые нагрузки, и конечно же, предоставляет и развивает непосредственно систему прокторинга как сервис.

Методология

В большинстве сценариев «Экзамус» использует смешанную схему работы – сочетаются различные типы прокторинга и прокторов.

К примеру:

1. Разделение по типам прокторинга

Для важных итоговых экзаменов, например ГОСы/ГИА, используется синхронный прокторинг с живым наблюдением за каждым студентом. Здесь идет фокус на предварительную проверку экзаменуемых. Перед тем, как допустить учащегося к экзамену, проктор должен убедиться, что у него нет каких-либо запрещенных материалов или устройств. Как показывает практика, это сразу же отсеивает большую часть “читеров” и дает понять студентам, что наблюдатели настроены серьезно. После этого лишь 2-3% экзаменуемых предпринимают попытки списать.
Для рядовых экзаменов чаще применяется асинхронный прокторинг с проверкой всех студентов, либо выборочно в зависимости от результатов скоринга по алгоритму, описанному ниже.

2. Разделение по прокторам

Мы рады и всегда готовы обучить прокторов заказчика работе с любыми типами прокторинга и оказывать ему поддержку. В случае, если у клиента недостаточно специалистов, мы можем договориться о частичном использовании наших прокторских ресурсов для покрытия массовых экзаменов. В таком случае требуется четкое разделение по экзаменам/часам, которые берут на себя обе стороны.

Сложности и вызовы, с которыми мы сталкиваемся

1. Количество студентов на одного live-проктора. Мы увеличили количество экзаменуемых на одного проверяющего с 6 до 9, чтобы повысить производительность. Технически возможно и большее число студентов, но мы считаем данное количество оптимальным для работы без потери качества.

2. Проверка большого количества видео в короткие сроки. Для ускорения процесса мы увеличиваем количество прокторов, а также формируем рейтинги по количеству нарушений и другим параметрам. Используются все доступные инструменты архива.

3. Администрирование и поддержка большого количества экзаменов со смешанными типами прокторинга и прокторов. У вуза есть возможность самостоятельно создавать слоты/прокторов, записывать студентов, получать отчеты и аналитику без взаимодействия с командой поддержки «Экзамуса» благодаря расширенному доступу.

Почему нельзя обойтись только AI proctor

В целом точность автоматического распознавания состоит из двух частей:

1. Точность алгоритма распознавания события, например, отсутствия лица студента в кадре, наличие дополнительного человека в комнате, посторонние голоса, переключение окон на рабочем столе и т.д.
2. Точность интерпретации события как попытки списывания.

Повышение точности распознавания фото\видео может обеспечиваться за счет более сложных и ресурсоемких моделей. Так например, сервисы, распознающие лица, которые используются, например в банках, стоят не менее $0,5 за одну транзакцию. Во время одного экзамена алгоритмы «Экзамуса» в среднем используют функцию определения лиц более 100 раз.

Следовательно, мы ограничены возможностями повышения точности наших алгоритмов по экономическим причинам.

Но даже если довести эффективность работы алгоритмов до 100%, возникает много вопросов об интерпретации. Например, автоматически найденное событие “нет лица” может быть вызвано сразу несколькими причинами:

1. Человек закрыл лицо руками.
2. Человек отвернулся.
3. Человек частично вышел за пределы камеры, например, видно только левую часть лица.

Что нужно делать в этом случае? Должны ли мы генерировать событие Student is absent или нет? С одной стороны, студент сидит на месте, и проктор это видит. С другой, это может быть подозрительным поведением. Если мы принимаем решение исключать такие ситуации из числа подозрительных, тогда мы должны использовать более сложные нейросети, что крайне затратно экономически по описанной выше причине.

Таким образом, AI proctor видит подозрительное событие и отмечает его, но для того, чтобы удостовериться, что AI пометил факт списывания, необходим просмотр записи человеком.

Иногда по просмотру видео проктор может определить, списывание это или нет. В этом случае есть теоретическая возможность обучения автоматических алгоритмов на выявление таких ситуаций. Однако в случае, когда не видно явных действий в кадре, даже человек далеко не всегда может подтвердить, что студент списывает, и обучить киберпроктора этому практически невозможно.

Что Экзамус делает в этом направлении

1. У нас есть квалифицированные прокторы, которые проводят проверку видео в ускоренном режиме. Сообщения киберпроктора помогают быстрее проверять записи без потери качества. Эти прокторы уже натренированы выявлять поведение «читеров», и мы используем их экспертизу в том числе, чтобы оценивать точность скоринга. В зависимости от важности экзамена мы рекомендуем в некоторых случаях использовать синхронный режим.

2. Мы работаем над повышением эффективности AI proctor за счет повышения точности сетей без потери скорости и повышения стоимости. Например, сейчас мы заканчиваем обучать сеть распознанию лиц в масках и интегрируем в ИИ автоматическую проверку освещенности.

3. Мы проводим исследования, нацеленные на создание алгоритма, который будет искать нарушения, анализируя длительное поведение студента, то есть не по одному событию, а по их ряду. Например, увод взгляда через каждые 3-5 секунд свидетельствует о списывании. Здесь мы подключили исследователей из университета-партнера. Мы планируем презентовать MVP этого функционала в 2021 году.