читать 8-10 минут

Прокторинг vs ВКС

Разбираемся, можно ли эффективно проводить online-экзамены в телемосте?

Содержание

Про online-экзамены и видеоконференцсвязь

Большинство из нас используют сервисы для видеоконференцсвязи (далее будем называть их ВКС) практически ежедневно. Некоторые используют ВКС и для проведения online-экзаменов: в вузах, корпоративных университетах, на олимпиадах и в online-школах.
Тестируемый включает веб-камеру и демонстрацию экрана, а человек, принимающий экзамен, следит за его действиями на другом конце провода.

Наиболее популярные системы ВКС:

  • Яндекс Телемост
  • Google Meet
  • ушедший (но не до конца) Zoom
  • MS Teams
  • популярный у молодёжи Discord
  • и VK-звонки, активно набирающие популярность в рамках импортозамещения

В поисках расширенной функциональности более продвинутые организаторы экзаменов используют:

  • Webinar
  • Контур Толк
  • и распространённый в корпоративном секторе Jazz by Sber
  • BigBlueButton

Благодаря открытому коду, последний, в связке с СДО (системой дистанционного образования) особенно популярен у учебных заведений.
Организаторы экзаменов прибегают к таким технологиям , чтобы в дистанционном режиме следить за соблюдением правил и быть уверенными, что тестируемый самостоятельно выполняет оценочную работу, не списывает. Почти как экзаменатор и сдающий в аудитории.

Сразу ответим на ключевой вопрос: «Можно ли следить за соблюдением правил экзамена, используя ВКС?».
Можно. Мы — за честные экзамены, достоверные результаты и эффективное обучение. Поэтому точно знаем: лучше использовать ВКС, чем просто полагаться на честность тестируемых.

Как это делать?

В Экзамус за сдающими во время экзамена, помимо нейросетей, наблюдают прокторы . Это специалисты по прокторингу, наблюдатели, которые идентифицируют тестируемых и наблюдают за их поведением. Прокторы не оценивают знания, а следят за соблюдением правил и норм поведения тестируемых.

Специалисты Экзамус прошли специальное обучение и умеют распознавать даже самые изощрённые виды нарушений по косвенным признакам. Средний опыт команды прокторов Экзамус — 3-5 лет и десятки тысяч просмотренных видео.

Наши прокторы вложили частичку своей экспертизы в гайд «Online-экзамены без читерства»:

  1. Как подготовиться к экзамену
  2. Популярные нарушения и способы борьбы с ними
  3. Практические советы для тех, кто принимает экзамен

✅ Скачать гайд

Насколько это эффективно?

Если вы хотите получать действительно достоверные результаты экзаменов, ВКС вряд ли вам подойдёт. Разве что принимать экзамен по видеосвязи индивидуально с каждым сдающим и следить, чтобы он не списывал. Но даже в этом случае есть моменты, которые вы можете упустить. ВКС изначально создавалась для общения, в отличие от сервисов прокторинга, заточенных для анализа поведения сдающих.

Студенты, имея опыт пандемии и тотальной дистанционки, уже научились списывать не только с ВКС. Вам не составит труда найти целые статьи с вариантами читерства. Не говоря уже о чатах в мессенджерах для обмена опытом.


Сравнение ВКС и прокторинга

Специально для того чтобы online-экзамены были такими же честными, как традиционные, мы создали сервис прокторинга.

Он работает на основе искусственного интеллекта, который отслеживает поведение сдающего через:

  1. веб-камеру
  2. трансляцию рабочего стола
  3. и микрофон

Нейросеть (мы называем её Киберпроктор) обучена отслеживать такие нарушения как:

  • увод взгляда от экрана (для использования шпаргалок)
  • использование смартфона
  • подмена или отсутствие тестируемого
  • помощь посторонних
  • смена активных окон, открытие дополнительных вкладок и т.п.

Прокторинг работает в трёх режимах:

  1. синхронный
  2. асинхронный
  3. автоматика

Подробнее о них можно почитать здесь

В первых двух случаях киберпроктору помогает проктор-человек, который валидирует нарушения, зафиксированные автоматикой.

С прокторингом можно принимать не только письменные экзамены но и устные. В Экзамус создан отдельный продукт для проведения консультаций и экзаменов, предполагающих активное общение сдающего и экзаменатора. Сервис помогает мониторить действия сдающего на этапе подготовки к устному ответу по билету.

Искусственный интеллект

Его наличие — это и есть первое отличие прокторинга от ВКС. Нейросеть в Экзамус выполняет две функции:

  1. подтверждает личность сдающего
  2. фиксирует нарушения

Определить, что перед вами на ВКС находится именно тот, кто должен сдавать экзамен, а не его друг/репетитор/коллега, затруднительно. Если, конечно, вы не знаете его в лицо. Киберпроктор делает это автоматически.

Интерфейс «Экзамус»
  • В случаях, когда не нужна супер-строгая проверка, можно использовать только автоматику и контролировать экзамены, не привлекая человеческий ресурс. В режимах, где задействован проктор, ИИ помогает ему: сигнализирует о подозрительных действиях сдающего.
  • Благодаря этому один проктор может эффективно наблюдать сразу за несколькими людьми в режиме онлайн.
  • Ещё один важный момент. Если человек может отвлечься и чего-то не заметить, то с киберпроктором это исключено.
  • Пока проверяющий в ВКС работает с одним сдающим, делая ему замечание, другие находятся в «серой зоне» и успешно списывают. Киберпроктор умеет следить сразу за всеми одновременно.
  • И ключевое. Человек, принимающий экзамен в ВКС, это, прежде всего Человек. Он банально устаёт: чем дольше длится экзамен, тем ниже качество его контроля.

Проверка оборудования

Она нужна, чтобы убедиться, что у сдающего исправно работают интернет, камера, микрофон. От этого зависит качество данных, которые будет анализировать проверяющий. А значит — достоверность проверки.
Подробно рассказывали в этом посте.

  1. В случае с ВКС проверка оборудования — это задача сдающего. Принимающая сторона не узнает:
    • вылетел он с экзамена из-за плохого интернета, или просто «отлучился», чтобы найти ответ на вопрос;
    • действительно у него в помещении так тихо, или он снизил чувствительность микрофона, чтобы слушать подсказки и т.п.

2. В прокторинге проверка оборудования происходит автоматически и контролирует соблюдение правил как до начала экзамена, так и на всём его протяжении.
3. После сеанса прокторинга, помимо видео и различных отчетов, дополнительно фиксируется техническая информация: ошибки и проблемы, данные о скорости и скачках соединения, прочая значимая информация.

Проверка оборудования Экзамус

Прокторинг Экзамус также отслеживает использование:

  1. второго экрана
  2. дополнительных мыши и клавиатуры
  3. виртуального окружения
  4. запущенных на компьютере процессов
  5. микронаушника

Запись экрана

  1. Есть ВКС, которые умеют записывать рабочий стол сдающего. Но это будет общая запись с маленькими окошками. В прокторинге запись ведётся отдельно по каждому студенту.
  2. При экзамене с прокторингом тестируемый не сможет приступить к тесту, пока не поделится всем экраном. В случае с ВКС можно показывать одно окно (или даже вкладку) и успешно гуглить в другом.
  3. После экзамена с прокторингом организатор получает запараллеленную запись с экрана и веб-камеры. Вы видите, что делает студент, и что в это время происходит у него на экране.
  4. На этой записи также отмечены все зафиксированные нарушения.
Интерфейс Экзамус

Вторая камера

Ещё одна опция, недоступная при проведении экзамена с ВКС. В качестве второй камеры выступает смартфон сдающего. Он размещает его так, чтобы было видно рабочее место, увеличивая угол обзора.

С этой фичей вероятность списать стремится к нулю:

  1. мы видим тестируемого через вэб-камеру
  2. видим его «со стороны» с помощью камеры смартфона
  3. наблюдаем, что он делает на рабочем столе
  4. задействуем смартфон сдающего, которым он уже не сможем пользоваться

Возможность сдать экзамен без контроля

Студент сдавал экзамен и неожиданно покинул ВКС. Наблюдатель это зафиксировал. А может и нет?

Студент вышел из ВКС, но продолжил выполнять тест, используя все доступные ему методы жульничества. Ведь за ним больше никто не наблюдает. А ещё, он мог совсем не подключаться к ВКС, и просто выполнить тест, который зачтётся в СДО.

Когда тестируемых немного, это можно контролировать руками: вести таблицы, отмечать, кто сдавал в ВКС, а кто нет. Аннулировать результаты тем, кто выполнял задания без контроля.
Но если объёмы большие, это становится настоящей проблемой.

В Экзамус для этих целей существует защита от сдачи без прокторинга:

  1. сдающий может приступить к экзамену только с включенным прокторингом;
  2. если он «вылетел» с экзамена из-за технических неполадок, то продолжить его сможет тоже только с прокторингом.

Отчётность и аналитика по результатам контроля

Используя ВКС, организатор экзамена берёт всю отчётность на себя. Нужно оформить данные по каждому сдающему: соблюдались ли правила экзамена, кто и как их нарушал.
Пользователи прокторинга получают персональные и сводные итоговые отчеты с нарушениями и результатами скоринга.

После того как будет сформирована итоговая разметка нарушений для каждого сдающего, можно получить сразу несколько типов отчетов о прошедших сеансах с прокторингом. Например, статистику о сессиях в таблице, данные о зафиксированных нарушениях с информацией о них, pdf-отчет с изображениями подтвержденных нарушений.

Интерфейс Экзамус

Техническая поддержка

Что происходит на экзамене, если что-то идёт не так? (трудности с подключением, загрузкой материалов и т.п.)

  • ВКС: либо экзамен придётся перенести, либо с решением проблемы ему будет помогать наблюдатель. Другие сдающие на это время останутся без присмотра.
  • Прокторинг: в Экзамус собрана база знаний по типичным проблемам, которые могут возникать у пользователей и организаторов тестирования. Работает Служба заботы, сотрудники которой отвечают в течение считанных минут и помогают решить все вопросы, возникающие во время экзамена.

Защищённый браузер

Ещё одна уникальная фича нашего прокторинга. Защищённый браузер: превращает устройство тестируемого в киоск для сдачи экзамена.

Защищённый браузер блокирует:

  1. запрещённые процессы
  2. открытие дополнительных вкладок для поиска ответов
  3. горячие клавиши
  4. копирование вопросов
  5. запуск экзамена в виртуальной машине
  6. переключение между приложениями
  7. использование виртуальной камеры (в т.ч. с подменой видеопотока, Nvidia Broadcast и др.)

Прокторинг Экзамус также отслеживает использование:

  1. второго экрана
  2. дополнительных мыши и клавиатуры
  3. виртуального окружения
  4. запущенных на компьютере процессов
  5. микронаушника

Резюме

  • Использовать ВКС для проведения экзаменов можно. И у нас есть гайд о том, как делать это правильно
  • С учетом всех рисков и деталей,рассчитывать на достоверность такого экзамена не стоит. Если вы хотите контролировать online-тестирования максимально эффективно, подключайте прокторинг
  • Оставляйте заявку на демо: мы покажем, как работает сервис и расскажем, как встроить его в вашу систему обучения

Экзамус — гарант честности

Мы фиксируем нарушения и попытки списать при помощи камеры, микрофона, рабочего стола компьютера и телефона

Нужна помощь

Если возникли проблемы при использовании

База знаний

Похожие статьи

Дистанционное обучение и прокторинг
Дистанционное обучение и прокторинг
Как отмечает платформа SalutJazz от Сбера, более 40 российских вузов практикует дистанционное обучение. Стоит отметить, что в разных источниках эта цифра разнится: многие платформы сообщают о том, что не менее 100 университетов и институтов России применяют технологии дистанционного образования. Среди них – Московский институт технологий и управления, Институт отраслевого менеджмента РАНХиГС, Институт международных экономических связей, Санкт-Петербургский гуманитарный университет профсоюзов , Севастопольский государственный университет и многие другие.
  • интересное
  • полезное
Прокторинг как важнейшая технология
Прокторинг как важнейшая технология
По данным сервиса опросов «Анкетолог», более 91 % россиян положительно относятся к онлайн-обучению, считая такой формат удобным и интересным. А 73 % опрошенных признались, что уже проходили образовательные курсы дистанционно. Неудивительно, что рынок EdTech продолжает расти и развиваться. Так, в 2023 году, по данным Smart Ranking, суммарная выручка крупнейших игроков в этой сфере превысила 119 млрд рублей.
  • интересное
  • полезное
Как не бояться онлайн-прокторинга?
Как не бояться онлайн-прокторинга?
Перед экзаменами студент часто спрашивают: как обойти прокторинг на экзамене? Ответ: никак, и даже пытаться не стоит. А вот подготовиться к нему стоит, и сегодня дадим подробную инструкцию. Поехали!
  • инструкции
  • полезное
  • советы
Нужно ли заклеивать камеру ноутбука?
Нужно ли заклеивать камеру ноутбука?
Может ли защитить ваши личные данные путем заклеивания камеры ноутбука? Развитие технологий такое стремительное, что вопрос безопасности встает с каждым днем все острее.
  • интересное
  • полезное
Служба ЗаботыЕсли вы столкнулись с технической проблемой, наша Служба Заботы с радостью поможет вам
Обратиться в Службу Заботы




logo FSIПроект реализуется с грантовой поддержкой Фонда содействия инновациям, в рамках реализации Федерального проекта «Искусственный интеллект»logo SKOLKOVOИсследования проводятся при грантовой поддержке Фонда «Сколково»