Journal influence
Bookmark
Next issue
Experimental acknowledgement of consistency of estimations of difficulty of tasks of a test
The article was published in issue no. № 2, 2012 [ pp. 153 ]Abstract:The results of numerical experiments confirmed the consistency of maximum likelihood estimates of the latent parameter «difficulty of the task» Rush's dichotomous one-parameter model at the fixed number of tasks of test L of identical test difficulty and indefinitely increasing the sample size of students N. It is shown, that under the same conditions of estimation of level of preparation of n-th student, calculated from the permissible dichotomous response matrix, tend in probability to their original estimates .
Аннотация:Состоятельность оценок максимального правдоподобия латентного параметра «трудность задания» однопара-метрической дихотомической модели Раша при фиксированном числе одинаковых по трудности заданий теста L и неограниченно возрастающем объеме выборки студентов N подтверждена результатами вычислительного экспери-мента. Показано, что при этих же условиях оценки уровня подготовки i-го студента, рассчитанные по допустимой дихотомической матрице ответов, стремятся по вероятности к их первоначальным оценкам .
Authors: (ein@sssu.ru) - , Ph.D | |
Keywords: Rush's model, the latent parameter, the test task, consistency of assessments, test, dichotomous matrix |
|
Page views: 13042 |
Print version Full issue in PDF (5.19Mb) Download the cover in PDF (1.31Мб) |
Для независимой оценки состояния учебной работы образовательного учреждения в качестве входных данных используются результаты тестирования учебных достижений обучаемых с помощью педагогических тестов. При прочих равных условиях надежность этих результатов будет определяться качеством тестов и входящих в них за- даний. Одним из важных показателей качества последних является точность определения латентного параметра «трудность задания» теста bj (точность калибровки задания). Чем точнее определены значения bj, тем с меньшей погрешностью будут найдены значения qi латентного параметра «уровень подготовки» студента. Оценки
где
Важным требованием к оценкам максимального правдоподобия Пусть На практике объем выборки N участников тестирования можно сделать достаточно большим, но число заданий L теста ограничивается разумным значением, при котором зависимость результатов выполнения теста от утомляемости тестируемых можно считать несущественной (как правило, L=50 [2]). В связи с этим важно знать, обладают ли оценки максимального правдоподобия латентных параметров однопараметрической дихотомической модели Раша, рассчитанные по матрице ответов с достаточно большим числом строк N и ограниченным числом столбцов L, свойством состоятельности. В [2] теоретически исследована состоятельность оценок Полученные в [2] теоретические результаты нуждаются в экспериментальной проверке. Целью этой работы является экспериментальное исследование состоятельности оценок максимального правдоподобия Провести экспериментальные исследования с использованием реального теста не представляется возможным, поскольку на практике нельзя получить L тестовых заданий абсолютно одинаковой трудности. В связи с этим проверка проводилась на основе вычислительного эксперимента в два этапа. На первом этапе с помощью имитационного моделирования создавалось несколько выборок значений q1, q2, …, qN в предположении, что они распределены по нормальному закону. Значения математического ожидания mq и стандартного отклонения sq выбирались равными mq=0, sq=1,414 логит. В дальнейшем модель матрицы формировалась двумя способами. В соответствии с первым из них для каждой из полученных выборок qi
Формирование модели матрицы вторым способом проводилось на основе моделирования в соответствии с алгоритмом, описанным в [5]. Были сформированы 3 матрицы: 501´49, 1002´49 и 3007´49. Их обработка показала, что во всех трех случаях оценки На втором этапе вычислительного эксперимента осуществлялась проверка справедливости теоретически полученных результатов для значения bj, отличного от нуля. Для этого с помощью описанного в [5] алгоритма формировалась генеральная дихотомическая матрица ответов размером 1012´49. Термин «генеральная матрица» понимается в том же смысле, что и в работе [5]. По сформированной генеральной матрице ответов с помощью программного комплекса RILP-1M рассчитывались генеральные значения qi и bj латентных параметров ( Анализ показал, что для всех виртуальных заданий полученные значения Таким образом, результаты вычислительного эксперимента подтверждают полученный теоретическим путем вывод о стремлении оценок максимального правдоподобия Литература 1. Нейман Ю.М., Хлебников В.А. Введение в теорию моделирования и параметризации педагогических тестов. М., 2000. 168 с. 2. Елисеев И.Н., Шрайфель И.С. Модель оценивания латентных параметров дихотомической модели Раша // Изв. вузов: Технич. науки. 2011. № 6. С. 37–46. 3. Елисеев И.Н., Шрайфель И.С. Доказательство несостоятельности стандартных оценок латентных параметров дихотомической модели Раша // Изв. вузов: Электромеханика, 2012. № 1. С. 85–96. 4. Елисеев И.Н., Елисеев И.И., Фисунов А.В. Програм- мный комплекс RILP-1 // Программные продукты и системы. 2009. № 2. С. 178–181. 5. Елисеев И.Н. Модель дихотомической матрицы результатов тестирования // Программные продукты и системы. 2011. № 3. С. 80–86. |
Permanent link: http://swsys.ru/index.php?page=article&id=3136&lang=en |
Print version Full issue in PDF (5.19Mb) Download the cover in PDF (1.31Мб) |
The article was published in issue no. № 2, 2012 [ pp. 153 ] |
Perhaps, you might be interested in the following articles of similar topics:
- Экспериментальные исследования состоятельности оценок латентных параметров модели Раша
- Модель дихотомической матрицы результатов тестирования
- RILP-Multi для расчета предельных оценок параметров индикаторов бутстреп-методом
- Калибровка заданий теста с использованием бутстреп-метода
- Алгоритмическая основа генерации тестов с учетом радиационного воздействия
Back to the list of articles