Разбираемся, можно ли эффективно проводить online-экзамены в телемосте?
Большинство из нас используют сервисы для видеоконференцсвязи (далее будем называть их ВКС) практически ежедневно. Некоторые используют ВКС и для проведения online-экзаменов: в вузах, корпоративных университетах, на олимпиадах и в online-школах.
Тестируемый включает веб-камеру и демонстрацию экрана, а человек, принимающий экзамен, следит за его действиями на другом конце провода.
Наиболее популярные системы ВКС:
В поисках расширенной функциональности более продвинутые организаторы экзаменов используют:
Благодаря открытому коду, последний, в связке с СДО (системой дистанционного образования) особенно популярен у учебных заведений.
Организаторы экзаменов прибегают к таким технологиям , чтобы в дистанционном режиме следить за соблюдением правил и быть уверенными, что тестируемый самостоятельно выполняет оценочную работу, не списывает. Почти как экзаменатор и сдающий в аудитории.
Сразу ответим на ключевой вопрос: «Можно ли следить за соблюдением правил экзамена, используя ВКС?».
Можно. Мы — за честные экзамены, достоверные результаты и эффективное обучение. Поэтому точно знаем: лучше использовать ВКС, чем просто полагаться на честность тестируемых.
В Экзамус за сдающими во время экзамена, помимо нейросетей, наблюдают прокторы . Это специалисты по прокторингу, наблюдатели, которые идентифицируют тестируемых и наблюдают за их поведением. Прокторы не оценивают знания, а следят за соблюдением правил и норм поведения тестируемых.
Специалисты Экзамус прошли специальное обучение и умеют распознавать даже самые изощрённые виды нарушений по косвенным признакам. Средний опыт команды прокторов Экзамус — 3-5 лет и десятки тысяч просмотренных видео.
Наши прокторы вложили частичку своей экспертизы в гайд «Online-экзамены без читерства»:
Если вы хотите получать действительно достоверные результаты экзаменов, ВКС вряд ли вам подойдёт. Разве что принимать экзамен по видеосвязи индивидуально с каждым сдающим и следить, чтобы он не списывал. Но даже в этом случае есть моменты, которые вы можете упустить. ВКС изначально создавалась для общения, в отличие от сервисов прокторинга, заточенных для анализа поведения сдающих.
Студенты, имея опыт пандемии и тотальной дистанционки, уже научились списывать не только с ВКС. Вам не составит труда найти целые статьи с вариантами читерства. Не говоря уже о чатах в мессенджерах для обмена опытом.
Сравнение ВКС и прокторинга
Специально для того чтобы online-экзамены были такими же честными, как традиционные, мы создали сервис прокторинга.
Он работает на основе искусственного интеллекта, который отслеживает поведение сдающего через:
Нейросеть (мы называем её Киберпроктор) обучена отслеживать такие нарушения как:
Прокторинг работает в трёх режимах:
Подробнее о них можно почитать здесь
В первых двух случаях киберпроктору помогает проктор-человек, который валидирует нарушения, зафиксированные автоматикой.
С прокторингом можно принимать не только письменные экзамены но и устные. В Экзамус создан отдельный продукт для проведения консультаций и экзаменов, предполагающих активное общение сдающего и экзаменатора. Сервис помогает мониторить действия сдающего на этапе подготовки к устному ответу по билету.
Его наличие — это и есть первое отличие прокторинга от ВКС. Нейросеть в Экзамус выполняет две функции:
Определить, что перед вами на ВКС находится именно тот, кто должен сдавать экзамен, а не его друг/репетитор/коллега, затруднительно. Если, конечно, вы не знаете его в лицо. Киберпроктор делает это автоматически.
Она нужна, чтобы убедиться, что у сдающего исправно работают интернет, камера, микрофон. От этого зависит качество данных, которые будет анализировать проверяющий. А значит — достоверность проверки.
Подробно рассказывали в этом посте.
2. В прокторинге проверка оборудования происходит автоматически и контролирует соблюдение правил как до начала экзамена, так и на всём его протяжении.
3. После сеанса прокторинга, помимо видео и различных отчетов, дополнительно фиксируется техническая информация: ошибки и проблемы, данные о скорости и скачках соединения, прочая значимая информация.
Прокторинг Экзамус также отслеживает использование:
Ещё одна опция, недоступная при проведении экзамена с ВКС. В качестве второй камеры выступает смартфон сдающего. Он размещает его так, чтобы было видно рабочее место, увеличивая угол обзора.
С этой фичей вероятность списать стремится к нулю:
Студент сдавал экзамен и неожиданно покинул ВКС. Наблюдатель это зафиксировал. А может и нет?
Студент вышел из ВКС, но продолжил выполнять тест, используя все доступные ему методы жульничества. Ведь за ним больше никто не наблюдает. А ещё, он мог совсем не подключаться к ВКС, и просто выполнить тест, который зачтётся в СДО.
Когда тестируемых немного, это можно контролировать руками: вести таблицы, отмечать, кто сдавал в ВКС, а кто нет. Аннулировать результаты тем, кто выполнял задания без контроля.
Но если объёмы большие, это становится настоящей проблемой.
В Экзамус для этих целей существует защита от сдачи без прокторинга:
Используя ВКС, организатор экзамена берёт всю отчётность на себя. Нужно оформить данные по каждому сдающему: соблюдались ли правила экзамена, кто и как их нарушал.
Пользователи прокторинга получают персональные и сводные итоговые отчеты с нарушениями и результатами скоринга.
После того как будет сформирована итоговая разметка нарушений для каждого сдающего, можно получить сразу несколько типов отчетов о прошедших сеансах с прокторингом. Например, статистику о сессиях в таблице, данные о зафиксированных нарушениях с информацией о них, pdf-отчет с изображениями подтвержденных нарушений.
Что происходит на экзамене, если что-то идёт не так? (трудности с подключением, загрузкой материалов и т.п.)
Ещё одна уникальная фича нашего прокторинга. Защищённый браузер: превращает устройство тестируемого в киоск для сдачи экзамена.
Защищённый браузер блокирует:
Прокторинг Экзамус также отслеживает использование:
Мы фиксируем нарушения и попытки списать при помощи камеры, микрофона, рабочего стола компьютера и телефона
Если возникли проблемы при использовании
Проект реализуется с грантовой поддержкой Фонда содействия инновациям, в рамках реализации Федерального проекта «Искусственный интеллект»
Исследования проводятся при грантовой поддержке Фонда «Сколково»