Возрастающая популярность дистанционного обучения обусловила необходимость стандартизации подходов к созданию дистанционных (электронных) курсов. Важнейшая характеристика электронного курса (ЭК) – его качество, то есть совокупность свойств, способствующих приобретению полноценных знаний, умений, навыков. В настоящей статье описывается один из подходов к автоматизации тестирования и количественной оценке качества ЭК. Рассмотренный подход и созданные программные средства могут быть применены и на этапе разработки курса, и для оценки качества готового курса при решении вопроса об его использовании в образовательном процессе.

Методика оценки обобщенного показателя качества ЭК

ЭК представляет собой средство получения знаний в системах дистанционного обучения, использующее информационные технологии (ИТ) для доставки контента, организации общения с тьютором, а также для усиления эффекта понимания обучаемым материала и приобретения знаний, умений и навыков. Качество ЭК определяется как совокупность свойств, способствующих получению обучаемым знаний, умений и навыков.

Для оценки качества ЭК предлагается использовать две группы показателей:

1)    показатели методических свойств курса, в состав которых входят показатели качества текстовых материалов, качества системы контроля знаний обучаемого, показатели достаточности использования возможностей ИТ, показатели структуры курса, а также актуальности и правильности контента;

2)    показатели технических свойств курса, включающие показатель соответствия требованиям стандартов ГОСТ Р ИСО/МЭК 12119-20 00 и ГОСТ Р ИСО 9127-94, показатели доступности каждого слайда, показатель контрастности фона и текста.

Значение каждого из перечисленных показателей зависит от характеристик ЭК.

Качество текстовых материалов определяется следующими характеристиками:

–      читабельность: вычисляется на основе таких данных, как доля сложных слов, состоящих более чем из 4 слогов,  доля коротких предложений (менее 13 слов);

–      грамотность: оценивается на основе данных о доле грамматических и орфографических ошибок в единице объема текста;

–      понятность: определяется доля предложений с неоднозначным пониманием (оценивается экспертом), доля несогласованных предложений, количество сокращений, синонимов специальных терминов (по отношению к общему числу специальных терминов) и число специальных терминов, не внесенных в глоссарий.

Качество системы контроля знаний обучаемого определяется следующими характеристиками ЭК: размер пула вопросов, показатели разнообразия вопросов и соотношения типов вопросов.

Показатели достаточности использования возможностей ИТ – это доля слайдов с иллюстрациями, анимацией, видеосюжетами и слайдов с интерактивной графикой (от общего числа слайдов с графическими материалами), доля интерактивных симуляций, симуляций и видеосюжетов со звуковым сопровождением.

Структурные показатели определяются наличием вводного раздела, глоссария, поиска по глоссарию, промежуточного тестирования (после каждого раздела курса), а также долей разделов курса, не содержащих демонстрационных примеров, и разделов, не содержащих интерактивные симуляции, от общего числа разделов, целью изучения которых является привитие умений (навыков).

Значение обобщенного количественного показателя методических свойств ЭК определяется как взвешенная сумма значений показателей отдельных элементов множества методических свойств, а показатель каждого методического свойства – как взвешенная сумма характеристик ЭК.

Обобщенная количественная оценка качества ЭК определяется как взвешенная сумма показателей методических и технических свойств: Θ = =γМ×yМ +γТ ×yТ, где Θ – оценка качества курса; yМ – обобщенный показатель методических свойств; yТ – обобщенный показатель технических свойств; γМ, γТ – весовые коэффициенты методической и технической составляющих (γТ +γМ=1).

Результат расчетов зависит от значений множества весовых коэффициентов. Значения этих коэффициентов находятся экспертным путем. При этом значения весовых коэффициентов для каждого показателя нормируются так, что их сумма всегда равна единице. При условии, что значения исходных характеристик ЭК изменяются в диапазоне от нуля до единицы, нормирование весовых коэффициентов приводит к тому, что показатель качества ЭК также изменяется в диапазоне от нуля до единицы. Этот факт позволяет установить пороговое значение показателя качества при выработке решения о приемке курса.

Описание программной системы автоматизированной оценки качества ЭК

В учебно-научном центре «МИИТ-Эксперт» (г. Москва) разработана автоматизированная система оценки качества ЭК (АСКДК).

АСКДК позволяет получить в автоматическом режиме характеристики ЭК, используемые как исходные данные для подсчета отдельных показателей, а также для определения обобщенной количественной оценки качества ЭК. На рисунке 1 представлена схема работы системы АСКДК, на которой указана последовательность этапов процедуры тестирования курса. Тестирование осуществляет тестировщик средствами АСКДК.

Назначение АСКДК. Программная система предназначена для автоматизации процесса тестирования ЭК по следующим направлениям:

–      определение среды разработки (IBM Know­ledge Producer, IBM Content Producer, WebSoft CourseLab);

–      расчет исходных характеристик;

–      расчет обобщенного показателя качества.

В состав АСКДК входят подсистемы

–      определения среды разработки ЭК (ПАРСДК), включающая программу AppCH построения дерева курса и программу CourseParser, идентифицирующую версию стандарта SCORM;

–      определения показателей качества текста ЭК (ЛИНГДК), в состав которой входит программа WordTextAnalize для выявления не включенных в глоссарий специальных терминов и нерасшифрованных аббревиатур, встречающихся в курсе;

–      подсчета обобщенной количественной оценки качества ЭК (ТЕСТДК).

Подсистема ПАРСДК выполняет следующие функции:

–      определяет среду разработки ЭК на основе анализа имен файлов и папок, которые создаются в фоновом режиме при разработке ЭК; программа CourseParser определяет среду разработки курса на основе анализа стандарта SCORM [1];

–      подключает модуль анализа ЭК, соответствущий данной среде разработки ЭК;

–      строит дерево ЭК;

–      обеспечивает возможность загрузки выбранного слайда в дереве ЭК с целью выявления экспертом недоработок, ошибок, а также проверки работоспособности имеющихся на слайде ссылок;

–      позволяет отмечать ошибки и вносить замечания на скриншоте выбранного слайда;

–      сохраняет полученные данные о слайде в XML-файле;

–      обеспечивает формирование промежуточного протокола тестирования ЭК в виде совокупности скриншотов слайдов, требующих исправления.

Подсистема ЛИНГДК подсчитывает и выводит на экран статистику документа: число страниц в документе или его фрагменте, число параграфов, абзацев, общее количество предложений в тексте или его фрагменте, количество коротких простых предложений, состоящих не более чем из 13 слов, общее число слов во фрагменте текста, число нерасшифрованных аббревиатур, число специальных терминов, помещенных в глоссарий, и терминов, имеющихся в тексте курса, но отсутствующих в глоссарии, число грамматических ошибок, а также морфологические характеристики текста (число слогов в словах и число слов, в которых более четырех слогов).

В программе WordTextAnalize вычисляется частота вхождения каждого слова и составляется список, в котором слова расположены в порядке убывания их частоты. Слова, принятые за специальные термины, выделяются желтым цветом. Тестировщик может наблюдать этот список на экране и выбрать специальные термины из выделенных слов. Все выбранные слова на следующем шаге работы программы пропускаются через глоссарий курса. Результатом работы программы являются списки терминов, не нашедших свое отражение в глоссарии курса, и аббревиатур, не расшифрованных в тексте курса.

Подсистема ТЕСТДК автоматически опре- деляет долю вопросов различного типа, долю слайдов с иллюстрациями, с интерактивной графикой, с анимацией и видеофрагментами, с симуляциями, а также наличие глоссария и поиска по глоссарию.

На основе указанных характеристик рассчитываются следующие показатели качества текста ЭК: доля коротких предложений (менее 13 слов), нерасшифрованных аббревиатур (от общего числа слов в тексте), специальных терминов, обнаруженных в курсе и отсутствующих в глоссарии (от общего числа специальных терминов в ЭК), читабельность текста по Флешу [2], отношение числа грамматических ошибок к числу слов в тексте.

На основе указанных составляющих подсистема ТЕСТДК автоматически подсчитывает обобщенные показатели качества текста и качества ЭК. Формулы для расчета указанных показателей приведены во внутриотраслевой методике количественной оценки качества электронных образовательных ресурсов, утвержденной РЖД.

Средства для работы АСКДК. При работе программной системы используется IBM PC-сов­местимое устройство с установленной операционной системой Windows XP-7. Запуск системы и остальных программ, входящих в ее состав, осуществляется из файла VitC.exe.

На рисунке 2 показан результат работы системы АСКДК при тестировании ЭК «Архитектура высокопроизводительных вычислительных систем».

Результатом работы системы АСКДК является итоговый протокол тестирования курса в форматах RVF, DOC, PDF, XML. В протоколе указываются дата тестирования, название курса, количественные значения обобщенной оценки качества и ее составляющих, а также решение тестировщика о приемке курса, если тестированию подвергается готовый курс. Если тестирование осуществляется на этапе разработки курса, в протоколе указываются рекомендации по его улучшению. Для этого разработана специальная форма заключения экспертизы курса (рис. 3).

Применение АСКДК позволяет в значительной степени исключить субъективизм в оценке качества ЭК.

Отметим наличие показателей качества ЭК, оценивание которых осуществляется вне рассмотренной процедуры тестирования. Это показатели актуальности и правильности контента и соответствия государственным стандартам, устанавливающим требования к программным системам образовательного назначения. Проверка соответствия требованиям государственных стандартов осуществляется при сертификации ЭК в государственных органах добровольной сертификации.

В заключение следует отметить, что разработанная программная система упрощает работу тестировщика ЭК и позволяет получить обобщенную количественную оценку качества курса, основанную на учете широкого спектра его характеристик.

Литература

1.     Щинов В. Стандарты в электронном обучении // Технологии e-learning. 2006. № 12. URL: http://websoft-elearning.blogspot.ru/2006/11/1_21.html (дата обращения: 21.12.2012).

2.     Библиотека ресурсов интернет-индустрии I2R.ru URL: http://www.i2r.ru/static/676/out_22565.shtml (дата обращения: 21.12.2012).