читать 4-6 минут

Silk road: НЕгладкий путь к прозрачным экзаменам

Прокторинг ассоциируется с контролем исключительно онлайн-экзаменов. Мы и сами постоянно об этом говорим. Но контролировать очные экзамены тоже нужно. И очевидно, что привычных наблюдателей недостаточно для 100% уверенности в том, что все сдают честно.

Два года назад к нам обратился Международный университет туризма «Шёлковый путь» в г.Самарканд (Узбекистан) с запросом максимально прозрачно и честно провести очные вступительные тестирования с использованием сервиса прокторинга на платформе Moodle. Вот как мы реализовывали эту задачу.

Вероятность списать — 0%
Сложности (на самом деле, всего лишь особенности) проекта
Результаты

Вероятность списать — 0%

Тестировать нужно было 250 человек в день. Для экзамена оборудовали целый спортивный зал, который вместил 50 рабочих мест. В день проходило 5 сеансов тестирований, каждый из которых длился 2 часа.

Вот как контролировали соблюдение правил:

В распоряжении абитуриента только стол, стул и абсолютно «чистый» (от посторонних программ) компьютер. После каждого «сеанса» на компьютерах сбрасывали кэш.
Биометрическая идентификация при входе в сервис. Заранее собрали фотографии и загрузили их в систему, которая до начала экзамена подтверждает, что за компьютером находится именно тот человек, который должен.
Под потолком ~~спортивного зала~~ экзаменационного класса висела камера наблюдения: прямая трансляция велась на сайт и соцсети университета.
Присутствовали специально обученные наблюдатели.
Вишенкой на торте стал прокторинг: записывался рабочий стол сдающего, изображение с его веб-камеры и звук микрофона.

Тестовые задания держали в строгом секрете, чтобы избежать утечки. Доступ к ним был только у троих людей:

составитель тестов;
руководитель приёмной комиссии;
и сотрудник Экзамус, которому передали задания для загрузки в систему.

Выбрали асинхронный режим прокторинга

Это значит, что в течение экзамена за абитуриентами «следил» наш киберпроктор — искусственный интеллект. Все нарушения он фиксировал и автоматически передавал в систему.

Это могли быть:

отсутствие тестируемого в кадре;
открытие дополнительных вкладок (чтобы загуглить правильный ответ);
помощь посторонних;
использование смартфона и т.п.

После экзамена видео с нарушениями пересматривали уже люди — прокторы, которые подтверждали или опровергали нарушение правил.

Сложности (на самом деле, всего лишь особенности) проекта

Масштабность и новизна

Для организаторов экзаменов подобный опыт стал первым: у заказчика были опасения:

как создать итоговый тест;
правильно настроить компьютеры;
корректно установить ПО, чтобы всё работало;
что делать, если «всё сломается» во время экзаменов, когда идёт поток абитуриентов.

Все организационные вопросы взял на себя Экзамус: от формирования экзаменационных тестов и их загрузки в систему до контроля и предоставления отчётности.

Работа «в полях»

Чтобы помочь клиенту в преодолении этих сложностей, представители команды Экзамус (включая нашего фаундера Дмитрия Истомина) выехали на место, чтобы оперативно:

настраивать компьютеры;
устранять все возникающие неполадки;
консультировать абитуриентов по работе с сервисом.

Идентификация

Изначально заказчик хотел использовать для идентификации абитуриентов единую биометрическую систему. Но для её применения нужен был единый шаблон документа удостоверяющего личность. С этим были сложности: абитуриенты — иностранцы с разными образцами документов.

Решили использовать идентификацию от Moodle. Для нас это было впервые, могли возникать неполадки, бывало, что система « не пускала» абитуриента в тест. Спасло то, что наши коллеги на месте помогали быстро решать эти вопросы, чтобы сдающие приступили к заданиям вовремя.

Поддержка

Вступительные экзамены — ответственный процесс. Важно, чтобы ему не мешали технические неполадки и сложности с использованием системы.

Служба заботы Экзамус работала в усиленном режиме, несмотря на то, что из-за разницы часовых поясов экзамены стартовали в 6 утра по московскому времени.

Прокторы

Изначально перед нами стояла задача обучить прокторов на стороне заказчика. У нас есть такая услуга и существуют специально разработанные программы обучения и курсы. Мы проводили обучающие занятия, вебинары, работали с каждым индивидуально: созванивались и проводили работу над ошибками.

К началу экзаменов в университете приняли решение всё же довериться прокторам Экзамус — для надёжности. А обученных представителей ВУЗа привлекли в качестве наблюдателей и контролеров в экзаменационной аудитории.
В итоге, заказчик остался доволен, ведь теперь у него был пул обученных, квалифицированных прокторов с заделом на будущее.

Результаты

провели вступительные испытания для бакалавров и магистров;
организовали и проверили экзамен «под ключ» (вплоть до того что самостоятельно загружали тесты в систему);
помогли провести 1793 сессии (сеанса экзаменов);
повысили честность: из 100 человек какие-то попытки списать предпринимали не больше 5;
предоставили заказчику все видеозаписи и отчётность по каждому экзамену;
ускорили обработку результатов;
наладили систему, которая теперь может работать самостоятельно.

Таким образом, в этом кейсе уровень контроля стал, пожалуй, самым высоким за восьмилетнюю историю существования Экзамус.

А вот что рассказал СМИ ответственный секретарь приемной комиссии университета Феруз Нуров:

«Систему «Examus” до нас использовали в ведущих университетах США, европейских стран, России и Казахстана. Мы хотим обеспечить открытость, прозрачность и справедливость во время сдачи вступительных экзаменов. И самое важное — абитуриент, сдавший экзамен, сразу узнает, сколько набрал баллов. Сведения о принятых на учебу объявляют после завершения тестовых испытаний».