Journal influence
Bookmark
Next issue
Calibration test tasks using bootstrap method
The article was published in issue no. № 2, 2010Abstract:The article substantiates the possibility of using bootstrap method for calibration of the test tasks. The basis of computer experiments shows that using this method can significantly reduce the size of interval estimates difficult tasks.
Аннотация:В статье обосновывается возможность использования бутстреп-метода для калибровки заданий теста. На основе машинного эксперимента показано, что с помощью этого метода можно значительно снизить величину интервальных оценок трудности заданий.
Authors: (ein@sssu.ru) - , Ph.D | |
Keywords: a bootstrap method, calibration, the test task, test |
|
Page views: 11039 |
Print version Full issue in PDF (4.97Mb) Download the cover in PDF (1.38Мб) |
Важным этапом создания надежных педагогических и диагностических тестов для управления качеством образовательной деятельности в учреждениях профессионального образования является калибровка (определение трудности) их заданий (индикаторов). Калибровка проводится с помощью современных методов и программ расчета латентных переменных на основе обработки результатов тестирования. Как правило, объем используемой выборки студентов невелик (от 20 до 50 человек), из-за чего погрешность калибровки получается недопустимо большой. Причем выборка эта является единственной, и увеличение ее объема за счет накопления данных в течение определенного времени зачастую неприемлемо.
Указанного недостатка лишены методы увеличения объема выборки, в которых используется непосредственное размножение экспериментальных результатов тестирования, такие как бутстреп-метод, метод складного ножа [1] и их модификации. За счет размножения исходной выборки с их помощью создается выборка существенно большего объема. Целью данной работы является исследование возможности использования бутстреп-метода для снижения погрешности калибровки трудности заданий теста и уменьшения величины ее интервальных оценок. Для исследования была выбрана матрица результатов тестирования студентов (выборка) размером 50´42. Формирование бутстреп-выборок производилось следующим образом. Исходная матрица тиражировалась большое число раз (N), причем каждая последующая матрица располагалась строго под предшествующей. При таком размножении положение столбцов всех матриц сохранялось неизменным. В результате тиражирования получалась выборка большего объема, число столбцов которой оставалось равным 42, а количество строк возрастало в N раз. Затем из нее случайным образом отбирались с возвращением n матриц размером 50´42, каждая из которых обрабатывалась, как и исходная матрица, с помощью программного комплекса RILP-1 [2]. Число n менялось. На первом этапе количество тиражирований N выбиралось равным 100, и строки полученной матрицы размером 5000´42 не перемешивались. Из нее последовательно извлекались с возвращением группы матриц с n=10, 25, 50, 75, 100, 200, 300,…, 2000. В результате обработки матриц находились бутстреп-выборки βj(Б)* (j=1, 2, 3, …, n). Каждое из рассчитанных бутстреп-значений βj(Б)* усреднялось по n выборкам, и определялись оценки среднего значения Зависимость величины
Относительные погрешности γβj* и γσj* рассчитывались по одной группе матриц с n=600 (s=1) и при усреднении по группам матриц с различными значениями n и s (см. табл.). Зависимость γβj* и γσj* от числа s групп бутстреп-матриц
Из таблицы видно, что погрешность расчета менее 1 % и для На втором этапе исследовалось влияние на результаты оценок Анализ результатов показал, что зависимость γβj*(m) носит случайный характер. Разброс значений относительно Расчет предельных оценок Таким образом, перемешивание строк размноженной матрицы приводит не к повышению устойчивости оценок На третьем этапе оценивались и сравнивались интервалы изменения значений βj* и Здесь k – число строк в исходной матрице; U(p) – число, зависящее от величины доверительной вероятности p. С учетом данного выражения отношение λ ширины интервалов изменения исходного значения βj* и полученного бутстреп-значения Таким образом, использование бутстреп-метода позволяет существенно уменьшить величину интервальных оценок трудности заданий теста и за счет этого повысить точность их калибровки. Литература 1. Efron B. Bootstrap methods: Another look at the jackknife Ann. Statist, 1979. V. 7. № 1, pp. 1–25. 2. Елисеев И.Н., Елисеев И.И., Фисунов А.В. Программный комплекс RILP-1 // Программные продукты и системы. 2009. № 2. С. 178–181. 3. Орлов А.И. Эконометрика: учеб. пособие для вузов. М.: Изд-во «Экзамен», 2002. С. 83. |
Permanent link: http://swsys.ru/index.php?id=2524&lang=en&page=article |
Print version Full issue in PDF (4.97Mb) Download the cover in PDF (1.38Мб) |
The article was published in issue no. № 2, 2010 |
Perhaps, you might be interested in the following articles of similar topics:
- Экспериментальные исследования состоятельности оценок латентных параметров модели Раша
- Экспериментальное подтверждение состоятельности оценок трудности заданий теста
- RILP-Multi для расчета предельных оценок параметров индикаторов бутстреп-методом
- Алгоритмическая основа генерации тестов с учетом радиационного воздействия
- Программное обеспечение акустооптических процессоров
Back to the list of articles