Прокторинг. Что? Где? Когда? (часть I)

Начнем!

В этой статье мы разберем наш сервис онлайн-прокторинга:

1. Понятие прокторинга
2. Как работает система и как проходит экзамен
3. Какие режимы прокторинга существуют
4. Какие технологии применяются

Статья получилась объемной, поэтому последний пункт мы вынесли в отдельную часть (в конце статьи на неё будет ссылка).

TL;DR. Если совсем нет времени читать статью, но хочется узнать поподробнее про прокторинг, посмотрите наш короткий ролик:

I. Понятие прокторинга

Онлайн-прокторинг (ударение на первую "о") - наблюдение и контроль дистанционного испытания.

Термин происходит от английского слова proctor - следить, наблюдать. Кстати, это американский термин, в Великобритании чаще используется термин invigilator.


II. Как работает система, и как проходит экзамен

Сервис интегрируется в систему тестирования или СДО (систему дистанционного обучения).

Сервис онлайн-прокторинга Экзамус работает по технологии SaaS (Software as a Service), вся инфраструктура хранится в облачных сервисах. Студенту не нужно ничего устанавливать на компьютер, достаточно открыть браузер, зайти по нужной ссылке, пройти системную проверку, идентификацию личности и начать сдавать экзамен.

Забегая вперед - есть варианты работы сервиса и через инсталляцию расширения (extension) браузера, и по ссылке, но об этом мы расскажем в другой статье.

Система запрашивает доступ к камере и микрофону и проверяет их работу, а также стабильность интернет-соединения, наличие второго экрана, попытку "демонстрации" экрана. Если системная проверка пройдена успешно, студент должен пройти идентификацию личности - сфотографироваться и отправить свою фотографию с документом, удостоверяющим личность: правами, студенческим билетом, зачеткой.

После этого студент может начать экзамен. При этом, система транслирует информацию из 3 источников:

камеры;
микрофона;
рабочего стола компьютера.
После завершения экзамена система "соберет" их в единую комбинированную запись.

Важный момент - компьютер или телефон? Наш опыт показывает, что только десктопная версия даёт надёжный результат, поэтому всегда настоятельно рекомендуем именно её нашим заказчикам. Мобильная версия дает пользователю слишком много пространства для маневра. Но мы понимаем, что в некоторых случаях компьютеров просто нет, например, у полевых сотрудников на производстве. Про нашу мобильную версию мы отдельно напишем в одной из следующих статей.

В ходе экзамена система анализирует физические действия человека и его действия в компьютере. Система гибкая, правила можно настраивать под каждый экзамен - где-то разрешено использование калькулятора, а где-то можно пользоваться бумагой и ручкой.

Во время экзамена система автоматически фиксирует такие типы нарушений как:

- увод взгляда, если пользователь смотрит за пределы экрана. - отсутствие лица в кадре, если пользователь не в поле зрения камеры полностью, или не видно лица полностью. - наличие других лиц в кадре, рекомендуется также убрать из поля зрения портреты великих людей на стене, они могут быть автоматически распознаны как посторонние. - подмена тестируемого, если лицо в кадре не принадлежит лицу, сдающему экзамен. - любые человеческие голоса в кадре, даже если это голос сдающего, ведь сдающий может надиктовывать вопросы для "слива" информации другому человеку. - смена окон на рабочем столе пользователя, если пользователь решил переключиться из теста в поисковую систему или открыть постороннее приложение.

В режиме онлайн-прокторинга, когда наблюдатель - это человек, число видов нарушений возрастает, потому что человек может заметить нарушение по косвенным признакам, дополнительно регистрируются нарушения:

- использование телефонов, планшетов и прочих технических средств, - использование TeamViewer, Skype, RemoteAdmin и любых программ для трансляции рабочего стола, - использование виртуальных машин и тонких клиентов для сдачи экзамена посторонним человеком, - использование книг, конспектов, черновиков, - использование калькуляторов (если это запрещено), - невербальное общение (подмигивания, знаки руками, кивки головы и т.д).

Экзамус автоматически отмечает все потенциальные нарушения правил в отчете. Каждая запись о нарушении содержит в себе информацию о типе нарушения, например, увод взгляда от экрана или смена окна, и временную метку.

По итогам экзамена система рассчитывает общую вероятность нарушений во время экзамена: зеленая зона - вероятность низкая, желтая - средняя, красная - высокая.

То есть, мы сразу можем определить, кого точно стоит проверить в первую очередь.

Таким образом, по итогам экзамена по каждому участнику мы можем:

посмотреть и послушать запись с камеры, микрофона и рабочего стола;
посмотреть в хронологическом порядке все потенциальные нарушения;
нажав на любое нарушение, посмотреть на записи, что происходило в данный конкретный момент.
Под каждый режим разработаны свои интерфейсы и методологии работы прокторов, но об этом более подробно мы расскажем в следующих статьях.


III. Режимы прокторинга

1. Автоматический, то есть без участия человека-проктора.

Очевидным преимуществом этого режима является сокращение затрат на организацию экзаменов.

Но во многих ситуациях участие человека незаменимо:

если от результатов экзамена зависит судьба человека, мы не можем отдавать решение на откуп машине;
автоматика не может отследить некоторые неочевидные нарушения;
в то же время, автоматика очень чувствительна, и ей не объяснишь, что посторонний человек в комнате - это твоя мама, которая случайно зашла и сейчас уйдет;
случаи, когда нужно полностью контролировать процесс экзамена, например, предварительно провести экзаменуемого по определенному протоколу, прежде чем дать доступ к экзамену.
проктор может проследить, что сдающий соблюдает процедуру сдачи конкретного экзамена. Например, перед одним экзаменом студент должен показать, что его ладони не исписаны шпаргалками, а после другого экзамена - разорвать черновик на мелкие кусочки.
Поэтому кроме автоматического прокторинга существует 3 режима с участием человека:

2. Асинхронный - постпросмотр записи проктором;

3. Синхронный - дистанционное наблюдение в режиме онлайн и контроль экзамена проктором;

4. Идентификация - проктор только подтверждает личность сдающего перед входом в экзамен;

Под каждый режим разработаны свои интерфейсы и методологии работы прокторов, в одной из статей мы подробнее остановимся на них.


Итог

Итак, мы с вами поняли, что такое прокторинг, как в целом работает система, узнали какие режимы прокторинга существуют.

В следующей части мы разберем, какие технологии используются в системе.

Пишите в комментариях, какие темы вам интересны.

Подписывайтесь на наш блог!