Software & Systems

Повторное использование учебных материалов сетевых образовательных ресурсов является одним из наиболее перспективных подходов для разработки систем электронного обучения. Технологии Semantic Web [1] и Linked Data [2] позво- ляют системам обмениваться данными в сети с использованием онтологий и уникальных идентификаторов ресурсов URI (Uniform Resource Identi­fier). Системы с помощью данных технологий могут интегрировать и адаптировать данные из сторонних источников. Формальное описание данных и семантические связи между объектами дают возможность осуществлять сложный анализ данных системы. В системах электронного обучения использование данных в формате RDF (Resource Description Framework) позволяет представлять структуру курса как набор связей и объектов, таких как курс, лекция, модуль и тест [3]. Система ECOLE является системой электронного обучения, функционал которой основан на использовании онтологий и семантических технологий [4]. В системе ECOLE студенты могут проходить курсы, изучать предметные области, используя лекции и литературу, и проверять свои знания с помощью учебных тестов и практик. Действия студентов в системе записываются в онтологии с помощью статистического модуля и связываются с другими объектами образовательного процесса. Хранение данных системы в онтологиях позволяет анализировать данные, используя прямые и косвенные связи между объектами.

Обзор аналогов. Семантические технологии широко используются в образовательных ресурсах в большинстве развитых стран. Наиболее известный проект в области связанных данных – инициатива Linked Universities (альянс европейских университетов, распространяющих свои данные, программы, курсы и учебные материалы в формате Linked Data). Другой пример успешного использования семантических технологий в системе дистанционного обучения – Open University. Это исследовательский университет дистанционного обучения с более чем 240 тысячами студентов.

Семантические технологии используются в прикладных образовательных системах. Одной из таких систем является SlideWiki [5]. Это образовательная платформа, позволяющая составлять курсы на основе презентаций. Платформа реализует возможность повторного использования данных созданных курсов при составлении нового курса.

Цели и задачи. Система ECOLE производит автоматическую агрегацию и гармонизацию учебных материалов из открытых, опубликованных источников. Автоматическое наполнение системы может повлиять на качество учебных материалов и учебных курсов. Одной из ее задач является анализ качества учебных курсов. Система предоставляет преподавателям необходимую информацию для внесения корректировок в учебный курс с целью повышения качества образовательного процесса. Полученная системой статистика по деятельности студентов в системе, такая как прохождение лекций, ответы на вопросы тестов и результаты практических работ, позволяет оценивать знания студентов по предметным терминам и областям в режиме реального времени. На основе данной оценки студенты и преподаватели могут осуществлять мониторинг процесса обучения.

Основной целью настоящей работы является разработка нового подхода к автоматизированной оценке знаний студентов в системе электронного обучения на основе семантических технологий. Для этого необходимо разработать онтологическую модель оценки знаний студентов и интегрировать ее в онтологическую модель системы ECOLE, а также выполнить расчеты рейтинга знания студентом предметного термина на основе прохождения лекций и тестов, значения (важности) предметного термина в процессе образования, рейтинга знания студентом предметной области на основе значения и рейтинга знания предметных терминов.

В данной работе рассматриваются проблемы оценки знаний студентов, являющейся значительной частью учебного процесса [6–9]. Предложенный подход основывается на расчете оценки знаний с помощью предопределенного набора метрик и семантических технологий.

Модель данных

Онтологическая модель системы ECOLE. В основе модели данных системы ECOLE лежит модульная онтология, включающая следующие модули:

–      модуль учебных материалов – онтология, описывающая отношения между курсами, модулями, лекциями, тестами, практиками и предметными терминами;

–      модуль тестов – онтология, описывающая содержание тестов, вопросы, ответы, варианты тестов;

–      модуль деятельности и результатов студента в системе обучения – онтология, позволяющая хранить статистику по действиям студентов в системе и результаты обучения студентов, включая правильные и неправильные ответы на тесты, прохождение лекций и результаты экзаменов.

Модуль учебных материалов основан на онтологиях верхнего уровня, рекомендованных к использованию при описании учебных материалов. При разработке данного модуля использовались онтологии AIISO (The Academic Institution Internal Structure Ontology), BIBO (The Bibliographic Ontology) и MA-ONT (The Ontology for Media Resources). Модуль учебных материалов – это связующее звено для всех модулей разработанной онтологии. Одной из главных особенностей онтологии является возможность прямого и косвенного междисциплинарного связывания объектов в курсах.

Модуль оценки знаний студентов в онтологической модели системы. Для реализации методов автоматизированной оценки рейтингов и знаний студентами предметных терминов и областей необходимо разработать и интегрировать в онтологическую модель системы модуль оценки знаний студентов. Это онтология, которая позволяет хранить автоматически вычисленные оценки знаний студентов по определенным концептам и предметным областям. Онтологическая модель модуля оценки знаний студентов представлена на рисунке.

Онтология модуля содержит класс Rate (Оценка) и 5 подклассов, которые описывают следующие разновидности оценки:

–      Lecture Term Rate – оценка предметного термина в контексте лекций;

–      Test Attempt Term Rate – оценка предметного термина в контексте прохождения одного теста;

–      Average Test Term Rate – средняя оценка предметного термина за все тесты;

–      Total Term Rate – общая оценка предметного термина;

–      Domain Rate – оценка предметной области.

Каждый из классов оценки обладает возможностью хранения цифрового значения оценки value. Также онтология позволяет связывать объекты оценок с объектами студентов из модуля деятельности и результатов студента в системе обучения и объекты тестов из модуля тестов с объектами терминов из модуля учебных материалов. Разработанная онтология дает возможность добавлять новые классы оценок для хранения новых метрик при изменении алгоритмов расчета оценок.

Метод

Подход к автоматизированному анализу знаний и рейтингов студентов системы электронного обучения основан на семантическом анализе действий студентов в системе электронного обучения в проекции образовательного процесса и учебных материалов. Целью подхода является автоматизированный вывод рейтинга знаний студента по определенной предметной области учебной дисциплины. Рейтинг знания предметной области зависит от рейтингов входящих в нее предметных терминов. Расчет рейтинга знания предметного термина зависит от метрик оценки действий студента в системе. Набор метрик может варьироваться в зависимости от возможных действий студентов в системе, структуры онтологии и необходимой точности вычислений. В предложенном подходе используются метрики знакомства с термином и проверки знания термина с помощью тестов. Расчет рейтинга знаний предметной области производится с учетом значения (важности) предметных терминов в образовательном процессе.

Рейтинг знания термина, как и рейтинг знания предметной области, варьируется от 0 до 1. Метрика знакомства с термином является бинарной и обозначает факт изучения студентом предметного термина с использованием теоретического материала. В разработанном подходе изучением предметного термина является завершение студентом лекции, связанной с данным термином в системе электронного обучения. Изучить предметный термин студент может только один раз. В разработанном подходе данная метрика составляет 15 % от общего рейтинга знаний предметного термина.

Метрика проверки знания предметного термина с помощью тестов основана на статистическом анализе правильных и неправильных ответов студента на задания учебных курсов, которые связаны с данным термином. В разработанном подходе данная метрика составляет 85 % от общего рейтинга знаний предметного термина. Метрика рассчитывается как нижняя граница доверительного интервала Вильсона для параметра Бернулли по количеству правильных и неправильных ответов, используя формулу

,

где z1–a/2 – квантиль от 1–a/2 от стандартного нормального распределения; p – доля правильных ответов; n – общее количество ответов.

Сумма двух полученных метрик для предметного термина в соответствии с их долями является общим рейтингом знания предметного термина. Предметные области и предметные термины в соответствии с разработанной моделью не зависят от учебных материалов и могут повторно использоваться во множестве учебных курсов. Связи между терминами, описывающие необходимость одного термина для изучения другого, позволяют рассчитать значение предметного термина в образовательном процессе. Чем больше предметных терминов, для изучения которых необходим определенный термин, тем выше значение данного термина. При расчете учитывается количество терминов на разных уровнях зависимости. Уровнем зависимости является глубина косвенной зависимости одного термина от другого через набор терминов. Например, на втором уровне находятся термины, зависимые от предметных терминов, зависимых от рассматриваемого предметного термина. Значение термина рассчитывается с использованием трех уровней зависимости по формуле , где n – количество терминов, связанных с данным термином на каждом уровне зависимости; k – номер зависимого уровня;  – константное значение термина.

Итоговый рейтинг знания студентом предметной области учебной дисциплины рассчитывается как сумма рейтингов предметных терминов, входящих в предметную область. При расчете необходимо учитывать относительное значение термина в предметной области. Для этого необходимо рассчитать суммарное значение предметной области, используя формулу , где Wt – значение предметного термина; n – количество терминов в предметной области.

Относительное значение термина в предметной области рассчитывается по формуле , где Wt – значение термина; Wf – значение предметной области.

Рейтинг предметной области является суммой рейтингов предметных терминов в соответствии с их относительными значениями: , где Rt – рейтинг термина; Dt – относительное значение термина в предметной области.

Представленный подход позволяет производить автоматизированную оценку знания студентами предметных областей. Поддержка набора метрик позволяет системе варьировать алгоритмы расчета оценки, добавляя, изменяя и удаляя необходимые метрики. Помимо оценки предметных областей, данный подход можно применять к любым объектам образовательного процесса, напрямую или косвенно связанным с предметными терминами. Подход позволяет производить оценку учебных курсов и специальностей.

Результаты

Модуль автоматического расчета оценки и рейтинга знаний студента по предметным тер- минам и областям был разработан на языке Python и интегрирован в систему электронного обучения ECOLE с использованием Django Web Frame- work [10]. Работа модуля применена при прохождении студентами курса «Интеллектуальные системы». В результате работы модуля было рассчитано значение для предметных терминов из области «Экспертные системы». В данный момент в предметной области содержатся 43 термина. Десять терминов с наибольшим значением представлены в таблице. Полученные результаты демонстрируют значение предметных терминов в образовательном процессе. Для изучения предметных терминов одной области могут потребоваться знания терминов другой предметной области. Таким образом, значения терминов не зависят от предметных областей, к которым данные термины относятся. Расчеты показывают, что базовые понятия в предметной области не являются самыми важными в ней.

Значения предметных терминов области «Экспертные системы»

The subject terms for “Expert systems” field

При прохождении студентом лекций и тестов модуль рассчитывает рейтинги предметных терминов и областей в соответствии с разработанными методами. В результате студенту демонстрируется список предметных областей и терминов с оценками.

В заключение отметим, что в статье был описан новый подход к анализу и автоматизиро- ванной оценке знаний и рейтингов студентов в системах электронного обучения. Он основан на анализе косвенных связей в онтологии системы с использованием технологий Semantic Web и Linked Data. Подход позволяет студентам получать оценку своих знаний по предметным терминам и областям в режиме реального времени. На основе полученных оценок студент может корректировать процесс своего обучения и повторно изучать определенные учебные материалы.

В будущем планируется проведение экспериментов на большом количестве студентов с целью анализа точности работы подхода. Из результатов текущего исследования следует, что двух метрик недостаточно для получения точной оценки знаний студента. В дальнейших работах планируется включение в алгоритм вычисления оценки знаний дополнительных метрик, таких как количество попыток сдачи теста, срок сдачи теста, количество повторений теоретического материала, время чтения теоретического материала. Расчет значения термина также может быть улучшен с использованием более сложных связей между терминами. Данные связи могут быть получены путем включения в онтологию системы внешних наборов данных с готовыми таксономиями.

На основе предложенного подхода в системах электронного обучения может быть разработан набор дополнительного функционала, основанного на интеллектуальной обработке информации. На основе оценок студентов может быть реализована рекомендательная система, которая поможет студентам в поиске подходящих учебных материалов, дополнительных учебных курсов, лабораторий, исследовательских проектов и вакансий.

Внешний интерфейс системы ECOLE доступен по адресу http://ecole.ifmo.ru, а разработанные онтологии – по адресу https://github.com/ailabitmo/ linked- learning-datasets.

Литература

1.     Berners-Lee T., Hendler J., Lassila O. The semantic web. Scientific American, 2001, vol. 284, no. 5, pp. 28–37.

2.     Bizer C., Heath T., Berners-Lee T. Linked data-the story so far, 2009, 420 p.

3.     Klyne G., Carroll J.J. Resource description framework (RDF): Concepts and abstract syntax. 2006, 60 p.

4.     Parkhimovich O., Mouromtsev D., Kovrigina L., Koz- lov F. Linking e-learning ontology concepts with NLP algorithms. Open Innovations Association (FRUCT16), 2014, Proc. 16th Conf. IEEE, 2014, pp. 60–65.

5.     Khalili A. et al. SlideWiki: elicitation and sharing of corporate knowledge using presentations. Knowledge Engineering and Knowledge Management, Springer Berlin, Heidelberg, 2012, pp. 302–316.

6.     O'Donnell E., Sharp M., Wade V., and O'Donnell L. Per­sonalised E-Learning: The Assessment of Students Prior Know­ledge in Higher Education. Handbook of Research on Education and Technology in a Changing Society, 2014, pp. 744–755.

7.     Čisar S.M. et al. Computer adaptive testing of student knowledge. Acta Polytechnica Hungarica, 2010, vol. 7, no. 4, pp. 139–152.

8.     Rafferty A.N., Davenport J., Brunskill E. Estimating Student Knowledge from Paired Interaction Data. Proc. EDM, 2013, 4 p.

9.     Gierlowski K., Nowicki K. A novel architecture for e-learning knowledge assessment systems. Intern. Journ. of Distance Education Technologies (IJDET). 2009, vol. 7, no. 2, pp. 1–19.

10.  Holovaty A., Kaplan-Moss J. The definitive guide to Django: Web development done right. Apress, 2009, 536 p.