Программные продукты и системы

Точный расчет латентных параметров индикаторов диагностических тестов, предназначенных для контроля качества образовательного процесса, является необходимым условием обеспечения эффективности управления качеством образования в учреждениях профессионального образования. Параметры рассчитываются путем обработки результатов тестирования достижений студентов в учебе или результатов анкетирования различных аспектов воспитательной деятельности с помощью теории латентных переменных (теории IRT) [1]. При небольшом числе участников матрица результатов тестирования (выборка) оказывается тоже небольшой. Поэтому трудность заданий и индикаторов рассчитывается с большой погрешностью, что не позволяет с приемлемой точностью определить качество подготовки обучаемых и снижает эффективность управления образовательным процессом.

Для повышения точности расчета латентных параметров по выборкам малого объема в работе [2] предложено использовать бутстреп-метод, суть которого заключается в размножении исходной матрицы результатов, формировании из размноженных данных большого количества бутстреп-матриц и в их обработке. Выполнение этой про- цедуры вручную требует больших затрат труда и времени, что создает непреодолимое препятствие для практического использования такого подхода.

Целью настоящей работы является разработка алгоритма и ПО для расчета предельных оценок латентных параметров индикаторов диагностических тестов на основе бутстреп-метода в условиях ограниченного объема экспериментальных данных.

Для реализации поставленной цели на базе программного комплекса RILP-1 [3], ранее созданного в Южно-Российском государственном университете экономики и сервиса (г. Шахты), был разработан программный комплекс RILP-Multi (Свид. об офиц. регистр. прогр. для ЭВМ № 2010611111 от 05.02.2010), предназначенный для подготовки данных, на основе которых производится расчет предельных оценок параметров индикаторов по результатам тестирования ограниченного объема. К алгоритмам расчета латентных параметров индикаторов и участников тестирования по матрице ответов студентов, которые используются в RILP-1, добавлен алгоритм для размножения исходной матрицы малого объема и расчета оценок параметров индикаторов бутстреп-методом. На основе полученных данных осуществляется расчет предельных оценок параметров индикаторов. Блок-схема алгоритма показана на рисунке 1.

На начальном этапе осуществляются загрузка программы в оперативную память компьютера и настройка инструментов для обработки результатов тестирования ограниченного объема.

На втором этапе в одном из форматов – *.prn, *.dat или *.txt – производится загрузка файла, в котором хранятся результаты тестирования в виде матрицы. Первый столбец состоит из фамилий участников тестирования, все остальные элементы матрицы – это ответы каждого из участников на индикаторы теста. Ответы могут отображаться либо в дихотомическом виде (1 – правильный ответ, 0 – неправильный), либо в виде цифр от 1 до n, где n – количество вариантов ответов на каждое задание (индикатор). Во втором случае в последней строке матрицы указываются номера правильных ответов.

Третий этап – загрузка и настройка параметров размножения исходной матрицы, которые задаются в двух формируемых файлах – MultiDa­ta.txt и MultiDataConst.txt.

В файле MultiData.txt в следующем порядке указываются:

–    количество проектов;

–    их названия;

–    способ формирования бутстреп-матриц (путем случайного выбора или путем нарезки);

–    количество перемешиваний m строк размноженной матрицы;

–    число формируемых бутстреп-матриц n;

–    количество строк N в бутстреп-матрицах.

В файле MultiDataConst.txt содержится следующая информация:

–    количество новых проектов;

–    название проекта, из которого будут считываться данные;

–    способ формирования бутстреп-матриц;

–    название нового проекта;

–    количество бутстреп-матриц в новом проекте;

–    количество строк в каждой бутстреп-матрице нового проекта.

Файл MultiData.txt используется программой в тех случаях, когда для каждого проекта создается своя общая матрица. Если же проекты создаются из одной общей матрицы, используется файл MultiDataConst.txt.

После загрузки всех необходимых данных программой комплекса RILP-Multi осуществляется формирование общей матрицы (этап четыре). Для этого исходная матрица размножается по строкам путем копирования первоначальной матрицы K раз (число K считывается из файла настроек), а полученные матрицы совмещаются по столбцам.

На пятом этапе производится перемешивание строк общей матрицы: программа случайным образом поочередно выбирает из общей матрицы по две строки, которые меняются местами. Число таких пар строк определяется заданным в файле MultiData.txt количеством перемешиваний m. Если значение параметра m равно нулю, данный этап работы алгоритма пропускается.

Для облегчения поиска полученных данных в корневом каталоге программы создаются каталоги для вывода бутстреп-матриц, результатов обработки проектов и хранения технической информации (шестой этап).

Седьмой этап алгоритма предусматривает сохранение на жестком диске текстовых файлов с информацией о настройках, при которых был получен каждый проект после размножения. Эти файлы используются программой для дальнейшей обработки данных.

На восьмом этапе из общей матрицы формируются бутстреп-матрицы в соответствии с заданными в файлах MultiData.txt и MultiDataConst.txt параметрами: количеством бутстреп-матриц n в проекте и числом строк N в каждой матрице. Если число строк в бутстреп-матрице не задано, оно выбирается равным числу строк исходной матрицы по умолчанию. Возможны три способа получения бутстреп-матриц: 1) программа формирует бутстреп-матрицы путем случайного выбора строк общей матрицы с их возвратом; 2) строки общей матрицы выбираются также случайно, но обратно в матрицу не возвращаются; 3) бутстреп-матрицы получаются путем их последовательной «нарезки» из размноженной матрицы.

Каждый из полученных проектов бутстреп-матриц сохраняется в созданных ранее каталогах (этап девять).

На десятом этапе обрабатываются полученные проекты, результаты сохраняются в специальных папках каталогов.

Дальнейшая обработка данных и расчет предельных оценок трудностей заданий выполняются с использованием Excel.

Апробация программного комплекса RILP-Multi проводилась на матрице результатов тестирования размером 50´42, кратность размножения которой варьировалась от 1 до 50000. Количество извлекаемых бутстреп-матриц изменялось от 5 до 5000, число строк в бутстреп-матрицах – от 0,4k до 4k, где k – количество строк исходной матрицы.

Результаты апробации показали высокую надежность работы комплекса в различных режимах обработки исходной матрицы. На рисунке 2 в качестве примера приведен график зависимости оценки выборочного среднего трудности  одного из заданий педагогического теста от числа извлекаемых бутстреп-матриц в проекте n, а на рисунке 3 – гистограмма распределения значений , полученных с помощью комплекса RILP-Multi.

Таким образом, предложенный алгоритм и созданный на его основе программный комплекс RILP-Multi обеспечивают получение из исходной матрицы результатов тестирования заданного количества бутстреп-матриц, обработку их с использованием методов математической статистики и теории латентных переменных, а также расчет предельных оценок латентных параметров индикаторов диагностических тестов в условиях ограниченного объема экспериментальных данных. Использование программного комплекса позволит повысить точность калибровки средств диагностики результатов образовательной деятельности в учреждениях профессионального образования, обеспечить проведение мониторинга и повышение эффективности управления качеством образования.

Литература

1.   Нейман Ю.М., Хлебников В.А. Введение в теорию моделирования и параметризации педагогических тестов. М.: Прометей, 2000. 169 с.

2.   Елисеев И.Н. Исследование предельных оценок латентных переменных по выборкам малого объема // Методы и алгоритмы принятия эффективных решений: матер. Междунар. науч. конф. (МАПР–09). Таганрог, ТТИ ЮФУ, 2009. Ч. 2. С. 29–35.

3.   Елисеев И.Н., Елисеев И.И., Фисунов А.В. Програм- мный комплекс RILP-1 // Программные продукты и системы. 2009. № 2. С. 178–181.