В целом точность автоматического распознавания состоит из двух частей:
1. Точность алгоритма распознавания события, например, отсутствия лица студента в кадре, наличие дополнительного человека в комнате, посторонние голоса, переключение окон на рабочем столе и т.д.
2. Точность интерпретации события как попытки списывания.
Повышение точности распознавания фото\видео может обеспечиваться за счет более сложных и ресурсоемких моделей. Так например, сервисы, распознающие лица, которые используются, например в банках, стоят не менее $0,5 за одну транзакцию. Во время одного экзамена алгоритмы “Экзамуса” в среднем используют функцию определения лиц более 100 раз. Следовательно, мы ограничены возможностями повышения точности наших алгоритмов по экономическим причинам.
Но даже если довести эффективность работы алгоритмов до 100%, возникает много вопросов об интерпретации. Например, автоматически найденное событие “нет лица” может быть вызвано сразу несколькими причинами:
1. Человек закрыл лицо руками.
2. Человек отвернулся.
3. Человек частично вышел за пределы камеры, например, видно только левую часть лица.
Что нужно делать в этом случае? Должны ли мы генерировать событие Student is absent или нет? С одной стороны, студент сидит на месте, и проктор это видит. С другой, это может быть подозрительным поведением. Если мы принимаем решение исключать такие ситуации из числа подозрительных, тогда мы должны использовать более сложные нейросети, что крайне затратно экономически по описанной выше причине.
Таким образом, AI proctor видит подозрительное событие и отмечает его, но для того, чтобы удостовериться, что AI пометил факт списывания, необходим просмотр записи человеком.
Иногда по просмотру видео проктор может определить, списывание это или нет. В этом случае есть теоретическая возможность обучения автоматических алгоритмов на выявление таких ситуаций. Однако в случае, когда не видно явных действий в кадре, даже человек далеко не всегда может подтвердить, что студент списывает, и обучить киберпроктора этому практически невозможно.