Программные продукты и системы

Перед авторами данного исследования стояла задача разработки системы автоматизированной проверки любых по длине ответов на открытые вопросы. Преподавателю необходимо создать набор коротких односложных предложений с мыслями, которые должны присутствовать в ответе студента. Предложения в ответе студента могут быть любой сложности. Разрабатываемая система должна уметь анализировать ответы обучающихся на русском языке и на основе сравнения с эталонным ответом преподавателя выставлять предварительную оценку. При сравнении необходимо учитывать не только полностью совпадающие слова, но и синонимы, антонимы, должны игнорироваться формы и склонения слов, учитываться различные возможные написания дат  и имен собственных, а также использование местоимений. Помимо этого, должны учитываться обычные и многоуровневые отрицания и их влияние на итоговый смысл слов и предложения в целом. За использование антонимов и отрицаний, инвертирующих смысл написанного, при расчете оценки должны начисляться штрафы. Для автоматического выставления «задание зачтено» и «задание не зачтено» преподавателю следует определять пороги отсечения. Так, если уровень правильности меньше нижнего порога, решение считается неверным. Если доля правильности больше верхнего порога, решение автоматически засчитывается. Если набранная оценка оказалась между двумя порогами, то требуется ручная проверка преподавателем, о чем ему приходит уведомление.
Подробное описание дается в статье "Автоматизация проверки семантической составляющей  текстовых ответов обучающихся в цифровой образовательной платформе", авторы Леонов А.Г., Мартынов Н.С.,  Мащенко К.А., Шляхов А.В., Холькина А.А. (МГУ им. М.В. Ломоносова, а также ФГУ ФНЦ НИИСИ РАН, МПГУ, Институт информационных систем Государственного университета управления, Национальный исследовательский технологический университет «МИСиС»).