Программные продукты и системы

При исследовании широкого круга проблем, связанных с моделированием и параметризацией диагностических тестов [1], необходимо иметь модель дихотомической матрицы результатов тестирования, используя которую, можно было бы оценить генеральные значения βj и θi латентных параметров однопараметрической дихотомической модели Раша [2, 3]. Элементы такой матрицы должны соответствовать модели Раша, используемой в качестве модели измерения латентных параметров β и θ, а статистические параметры удовлетворять критериям качества виртуального теста-модели, результаты выполнения которого эти элементы матрицы представляют. Строки модели-матрицы – это совокупности нулей и единиц, оценивающие выполнение виртуального набора индикаторов каждым из виртуальных участников тестирования, а ее столбцы – результаты выполнения каждого из индикаторов каждым из участников. Суммирование элементов модели-матрицы по строкам позволяет получить значения индивидуальных баллов xi участников тестирования, а сложение значений элементов столбцов модели-матрицы – значения индивидуальных баллов yi индикаторов. В соответствии с рекуррентными формулами, используемыми для расчета значений латентных параметров модели Раша, именно на основе этих индивидуальных баллов участников тестирования и заданий оцениваются генеральные значения θi и βj латентных параметров [1, 3].

В общем случае генеральная дихотомическая матрица результатов тестирования должна иметь достаточно много строк и столбцов. Количество строк определяет объем необходимой виртуальной выборки студентов, что проблемой не является (по крайней мере в общем случае). Количество столбцов – это число виртуальных индикаторов диагностического теста-модели, на практике ограниченное разумными пределами. Например, рекомендуется включать в педагогический тест 50 заданий. Увеличение количества заданий сверх этой цифры приводит к утомляемости участников тестирования, поэтому полученные значения θi и βj в этом случае нельзя считать объективными [3]. С учетом данного обстоятельства формируемая матрица ответов может содержать достаточно большое количество строк и ограниченное число индикаторов L (L≈50). В связи с этим под термином «генеральная модель» будем понимать модель дихотомической матрицы с достаточно большим количеством строк и ограниченным количеством столбцов, по которым рассчитываются генеральные значения θi и βj латентных параметров, из нее формируются подматрицы для решения задач, связанных с моделированием и параметризацией педагогических тестов.

Ограничение числа индикаторов привносит определенные трудности в процесс создания генеральной дихотомической матрицы. Поскольку значения индивидуальных баллов xi могут быть только целочисленными, ограничение числа индикаторов, с одной стороны, усложняет обеспечение нормативности матрицы ответов, с другой – снижает точность расчетной оценки латентного параметра θi .

Понятие нормативности для экспериментальной дихотомической матрицы результатов означает, что в ней участники тестирования с разным уровнем подготовленности θ представлены в тех же пропорциях, что и в генеральной матрице ответов. Если же говорить о дихотомической матрице ответов, используемой для расчета генеральных значений θi и βj, то для нее выполнение требования нормативности означает одновременное соблюдение двух условий.

1.   Все индикаторы теста-модели должны быть разной трудности. Расположение их на оси латентной переменной β должно соответствовать статистической плотности распределения вероятности ρβ значений βj. Если это нормальное распределение, то в его центральной части значения βj должны располагаться гуще, при удалении от центра – реже.

2.   Плотность расположения всех N участников тестирования на оси латентной переменной θ должна соответствовать распределению, определяемому законом распределения плотности вероятности ρθ значений θi. Среди них обязательно наличие участников с одинаковыми значениями θi, причем их число ni должно соответствовать распределению плотности вероятности ρθ. В выборке должны присутствовать только те участники тестирования, уровень подготовленности которых соответствует целочисленным значениям xi, изменяющимся в диапазоне от 1 до L-1.

Формирование модели дихотомической матрицы результатов тестирования

На первом этапе формирования модели матрицы выбираются законы распределения значений латентных переменных θi и βj. Как показывает опыт массовой обработки результатов централизованного тестирования, ЕГЭ, а также обработки результатов тестирования уровня подготовленности студентов многоуровневого университетского комплекса «ЮРГУЭС» (г. Шахты), статистики θi и βj распределены по нормальному закону [3]. Поэтому при формировании модели дихотомической матрицы ответов предполагалось, что значения θi и βj подчинены нормальному закону распределения с плотностями ρθ и ρβ соответственно:

,                                                                                                             (1)

.                                                                                                             (2)

На втором этапе оцениваются интервалы изменения переменных θi и βj. Чтобы обеспечить валидность теста-модели по отношению к виртуальной генеральной выборке студентов, интервалы изменения θi и βi желательно выбирать одинаковыми, равными [-a; a].

Задавая числа интервалов разбиения выбранного диапазона изменения переменных θi и βi равными νθ и νβ, находим длину частичных интервалов Δθ и Δβ:

,                                                                                                                                                                                                      (3)

,                                                                                                                                                                                                      (4)

где числа νθ и νβ должны быть нечетными.

Задаем значения параметров mθ, σθ и mβ, σβ законов распределения плотности вероятности θi и βj. Используя значения mθ и mβ в качестве центров распределений, определяем границы интервалов разбиения диапазонов изменения для θ и β.

Находим число участников тестирования nν в каждом интервале разбиения. Для k-го интервала формула для вычисления nk будет иметь вид

,                                                                                     (5)

где θнк – нижняя граница k-го интервала; ρθ(θ) – плотность распределения вероятности латентной переменной θ. Рассчитываем значения уровня подготовленности участников тестирования по интервалам. Для k-го интервала разбиения расчетное выражение имеет вид

, (, ),

где , eк – малая величина, наличие которой исключает попадание значений θkm на границу интервала. Полученные значения θkm объединяем в одну общую выборку  (;), элементы которой будут упорядочены по возрастанию уровня подготовленности участников тестирования от 1-го к N-му (в модели-матрице они расположены сверху вниз).

Рассчитываем число lν индикаторов в каждом интервале разбиения. Для s-го интервала оно определится выражением

,                                                                                                           (6)

где βнs – нижняя граница s-го интервала; ρβ(β) – функция плотности распределения вероятности латентной переменной β.

Определяем значения βsm уровня трудности индикаторов для s-го интервала разбиения:

, (, ),

где , βнs – нижняя граница интервала; es – малая величина, использование которой исключает попадание значений βsm на границы интервала. Объединяя полученные значения βsm, получим выборку (, ), элементы которой упорядочены по возрастанию значений трудности от 1-го к L-му (в модели-матрице они будут расположены слева направо).

Используя найденные выборки  и  и выражение для модели Раша, находим индивидуальные баллы  и :

, ,                                                                                                             (7)

.

Округляем полученные значения  и  до целочисленных xi и yj. Проверяем выполнение равенства

.                                                                                                                                                       (8)

Если равенство не выполняется, корректируем значения xi и yj за счет изменения числа участников тестирования N.

По найденным значениям xi и yj формируется первоначальная модель дихотомической матрицы результатов тестирования M0. Поскольку элементы выборки  упорядочены по возрастанию значений слева направо, а выборки  – сверху вниз, результаты выполнения наиболее трудных индикаторов будут располагаться в крайних правых столбцах матрицы, а результаты ответов на индикаторы наиболее подготовленных студентов – в самых нижних строках матрицы. Заполнение матрицы элементами «1» целесообразно начинать с ее правой нижней части. Единицы должны быть распределены по ячейкам матрицы M0 таким образом, чтобы сумма их по каждой строке была равна соответствующему индивидуальному баллу xi участника тестирования с номером i, а сумма единиц по каждому столбцу – индивидуальному баллу yj задания под номером j. Заполнение матрицы единицами осуществлялось справа налево, снизу вверх. После расстановки единиц пустые ячейки матрицы заполняются нулями, и получается первичная (предварительная) модель матрицы M0. На этом заканчивается первый этап формирования модели генеральной дихотомической матрицы результатов тестирования.

На втором этапе обеспечиваются адекватность элементов матрицы M0 модели Раша, а также соответствие системообразующих свойств индикаторов и их критериальной валидности научно обоснованным критериям качества. При заданных значениях индивидуальных баллов xi и yj элементы матрицы M0 необходимо расположить таким образом, чтобы они были адекватны модели Раша, обладали требуемыми системообразующими свойствами и критериальной валидностью.

В современных программных средствах адекватность проверяется, как правило, на основе критерия согласия c2. Адекватность считается обеспеченной, если вероятности  и  соответствия модели Раша индивидуальных баллов всей совокупности индикаторов и всех участников тестирования в целом равны 1 или близки к 1. Это условие должно выполняться также для каждого индикатора и для каждого тестируемого в отдельности.

Второй этап начинают с проверки адекватности полученной матрицы M0, для чего она обрабатывается с помощью программных средств, реализующих дихотомическую модель Раша, например, с помощью программного комплекса RILP-1 [4], и анализируются полученные значения вероят- ностей согласия  и . Как правило, их первоначальные значения близки к нулю. Для повышения  и  случайным образом осуществляются перестановки нулей и единиц в парах столбцов или строк, и каждый раз проверяется, как меняются значения  и . При их возрастании изменения в матрице сохраняются. Процесс перестановки повторяется до тех пор, пока каждое из значений  и не приблизится к едини- це. Как показал эксперимент, при достижении адекватности автоматически обеспечиваются необходимые значения (Rbj>0,3) точечного бисериального коэффициента корреляции Rbj, характеризующего критериальную валидность индикаторов, а также их коэффициентов интеркорреляции rij, определяющих системообразующие свойства всей совокупности индикаторов.

Таким образом, после обеспечения адекватности индикаторов и участников тестирования модели измерения Раша получается модель генеральной дихотомической матрицы ответов M в окончательном виде.

Рассчитанные по матрице M значения латентных переменных  и  могут отличаться от значений  и , которые изначально выбирались как оценки генеральных. Это обусловлено тем, что  и  рассчитывались по округленным значениям индивидуальных баллов xi и yj, а не по  и , определяемым по значениям  и . Поэтому генеральными значениями qi и bj латентных переменных окончательно выбираем значения  и : qi=, bj=. В качестве параметров законов распределения статистик qi и bj принимаем значения, рассчитанные по сформированной матрице ; ; ; , где ,  и , – выборочные средние и выборочные дисперсии значений  и .

На заключительном этапе проверяем соответствие законов распределения полученных значений qi и bj нормальному закону. С этой целью строим гистограммы распределения этих значений, считая центрами распределения mq и mb, с длиной интервалов разбиения, определяемых выражениями (3), (4). Проверяем выполнение критерия согласия c2 для полученных гистограмм, используя выражения (1), (2) для законов распределения плотностей вероятностей. Равенство или близость к 1 вероятностей согласия  для статистики qi и  для статистики bj свидетельствует о том, что полученную модель дихотомической матрицы можно считать генеральной. Если хотя бы одна из величин  или  заметно отличается от 1, обрабатывают полученную матрицу и анализируют расположение характеристических кривых индикаторов и персональных кривых участников тестирования на осях латентных переменных. Снижение величины  возникает, как правило, из-за отклонений плотности распределения указанных кривых на этих осях от нормального закона. То есть из-за нарушения условия нормативности сформированной матрицы. Для ее восстановления корректируют расположение кривых на осях латентных переменных, изменяя значения xi или yj.

Проведение вычислительного эксперимента

Первоначальным планом вычислительного эксперимента предусматривалось формирование модели дихотомической матрицы с числом индикаторов L=51 и числом участников тестирования N=1020. Значение индивидуального балла xi при заданном числе индикаторов может изменяться в пределах от 1 до 50. В первом приближении это соответствует изменению уровня подготовленности q участников тестирования в интервале от минус 3,912 до 3,912 логит. Конкретные первоначальные значения латентного параметра q рассчитывались по значениям xi в предположении, что они изменяются в диапазоне от 1 до 50 с шагом Δx=1. Для расчета использовалась формула .

Полученные значения  представлены в столбце 4 таблицы 1. Значения  рассчитывались по формуле .

Диапазон их изменения выбирался таким же, как и для значений .

Рассчитанные значения  приведены в столбце 2 таблицы 1. Исходные значения оценок математических ожиданий  и  выбирались равными 0. Первоначальные оценки стандартных отклонений  рассчитывались исходя из правила трех сигм, характерного для нормального закона распределения.

Таблица 1

Данные для формирования первичной модели матрицы

Для нахождения числа тестируемых по интервалам разбиения  и тестируемых с одинаковым уровнем знаний ni строилась гистограмма распределения значений . Для этого выбранный диапазон варьирования латентных переменных разбивался на несколько интервалов. С учетом рассчитанных значений  ширина интервала разбиения Δθ выбиралась равной 0,8 логит. Поскольку число интервалов vq должно быть нечетным, диапазон изменения латентных переменных был расширен до [-4,4; 4,4] логит. После этого значение vq оказалось равным 11. Первый интервал разбиения располагался симметрично относительно центра распределения . Для расчета числа участников  в каждом интервале разбиения использовалась формула (5). Значения  для интервалов слева направо составили: 5, 18, 58, 126, 194, 218, 194, 126, 58, 18, 5. По ним построена гистограмма распределения, и с помощью критерия согласия c2 проверено ее соответствие нормальному закону распределения. Значение вероятности согласия  оказалось близким к 1.

Аналогичные процедуры были проделаны для значений  в предположении, что Δβ=Δθ=0,8 логит, vβ=vθ=11. При построении гистограммы значения βj не повторялись. Значения  для двух крайних интервалов оказались равными 0,263. Поскольку  может принимать только целочисленные значения и рассчитанные значения =0,263 намного меньше 1, число разбиений vβ пришлось уменьшить, отбросив два крайних интервала. Поэтому число заданий сократилось до 49. Их распределение по интервалам разбиения составило 1, 3, 6, 9, 11, 9, 6, 3, 1. Проверка показала, что полученная гистограмма распределения значений  соответствует нормальному закону распределения с вероятностью согласия , очень близкой к 1.

По найденным значениям  и  с помощью формул (7) рассчитаны значения индивидуальных баллов  и  (столбцы 5, 8 табл. 1), которые были округлены до целочисленных значений  и  (столбцы 6, 9 табл. 1). Проверялось выполнение равенства . Для его достижения пришлось снизить число участников тестирования до 1008.

Далее по значениям  и  сформирована модель дихотомической матрицы М0, как было описано выше. Обработка полученной матрицы программным комплексом RILP-1M позволила уточнить значение оценки стандартного отклонения  для латентного параметра q. Она оказалась равной =1,407 логит. С использованием этого значения  пересчитывались ранее полученные  и находились новые . По значениям , которые оставлялись неизменными, и  рассчитывались новые значения  и , округляемые до целочисленных величин xi и yj. Для обеспечения выполнения условия (8) число участников тестирования пришлось увеличить до 1009. По значениям xi и yj была сформирована новая модель дихотомической матрицы М1. Изменением расположения ее элементов при неизменных значениях xi и yj обеспечивались их адекватность модели Раша, необходимые системообразующие свойства индикаторов и их критериальная валидность. В результате была получена окончательная модель генеральной дихотомической матрицы М.

Параметры латентных переменных θ и β, а также величины, характеризующие показатели качества теста-модели, рассчитанные с помощью программного комплекса RILP-1M по сформированной модели матрицы, приведены в таблицах 2 и 3.

Таблица 2

Статистические параметры теста-модели

Из таблицы 2 видно, что статистические показатели, характеризующие качество теста-модели, являются высокими. Коэффициент дифференциации участников тестирования составил 0,926. Значения коэффициента надежности, рассчитанные разными методами, оказались больше 0,9 и составили:

– 0,929 для метода Кронбаха (α Кронбаха);

– 0,926 для метода Спирмана–Брауна (он же характеризует гомогенность теста-модели);

– 0,934 для метода, основанного на использовании среднего значения коэффициента интеркорреляции индикаторов.

Адекватность совокупности индикаторов и всех тестируемых в целом модели Раша является высокой: вероятности соответствия результатов выполнения индикаторов их теоретическим характеристическим кривым и теоретическим персональным кривым участников составляют соответственно 0,999 и 1,0 (последние столбцы табл. 2). Анализ значений коэффициентов интеркорреляции индикаторов rij показал, что все они положительные и не превышают 0,3, а это является свидетельством соответствия их системообразующих свойств принятым критериям [5].

В столбце 3 таблицы 3 приведены значения вероятности  для каждого индикатора в отдельности. Видно, что они составляют не менее 0,4, что говорит о допустимости гипотезы об адекватности модели Раша каждого индикатора в отдельности. Аналогичный вывод справедлив и для участников тестирования. Из анализа значений бисериального коэффициента корреляции Rb (последний столбец таблицы 3) видно, что они составляют не менее 0,3, что говорит о соответствии критериальной валидности индикаторов теста-модели принятым критериям [5].

Таблица 3

Параметры индикаторов

На рисунках 1 и 2 изображены гистограммы распределения значений qi и bj, а также кривые плотности вероятности нормального закона распределения, полученные с использованием статистических параметров, которые указаны в первых четырех столбцах таблицы 2. О соответствии статистик qi и bj нормальному закону распределения свидетельствуют высокие значения вероятности согласия (≈1), полученные на основе критерия согласия χ2.

На рисунке 3 показано расположение характеристических кривых индикаторов pj(θ) на оси латентной переменной θ. Визуальный анализ расположения кривых позволяет заключить, что плотность их распределения удовлетворяет нормальному закону распределения.

Таким образом, полученные данные свидетельствуют о том, что сформированная модель дихотомической матрицы ответов представляет собой результаты выполнения модели теста с высокими показателями качества и может считаться генеральной.

Большие размеры полученной модели генеральной дихотомической матрицы ответов не позволяют привести ее в тексте статьи.

Литература

1. Нейман Ю.М., Хлебников В.А. Введение в теорию моделирования и параметризации педагогических тестов. М.: Прометей, 2000. 169 с.

2. Rasch G. Probabilistic Models for Some Intelligence and Attainment Tests. Copenhagen, Denmark : Danish Institute for Educational Research, 1960.

3. Елисеев И.Н. Методы, алгоритмы и программные комплексы для расчета характеристик диагностических средств независимой оценки качества образования: монография. Новочеркасск: Лик, 2010. 316 с.

4. Елисеев И.Н., Елисеев И.И., Фисунов А.В. Програм- мный комплекс RILP-1 // Программные продукты и системы. 2009. № 2. С. 178–181.

5. Аванесов В.С. Основы научной организации педагогического контроля в высшей школе. М.: Исслед. центр по пробл. управл. кач-вом подгот. спец-тов при МИСиС, 1989. 68 с.