Авторитетность издания
Добавить в закладки
Следующий номер на сайте
Калибровка заданий теста с использованием бутстреп-метода
Аннотация:В статье обосновывается возможность использования бутстреп-метода для калибровки заданий теста. На основе машинного эксперимента показано, что с помощью этого метода можно значительно снизить величину интервальных оценок трудности заданий.
Abstract:The article substantiates the possibility of using bootstrap method for calibration of the test tasks. The basis of computer experiments shows that using this method can significantly reduce the size of interval estimates difficult tasks.
Авторы: Елисеев И.Н. (ein@sssu.ru) - Южно-Российский государственный университет экономики и сервиса, г. Шахты, кандидат технических наук | |
Ключевые слова: бутстреп-метод, калибровка, задание теста, тест |
|
Keywords: a bootstrap method, calibration, the test task, test |
|
Количество просмотров: 13600 |
Версия для печати Выпуск в формате PDF (4.97Мб) Скачать обложку в формате PDF (1.38Мб) |
Важным этапом создания надежных педагогических и диагностических тестов для управления качеством образовательной деятельности в учреждениях профессионального образования является калибровка (определение трудности) их заданий (индикаторов). Калибровка проводится с помощью современных методов и программ расчета латентных переменных на основе обработки результатов тестирования. Как правило, объем используемой выборки студентов невелик (от 20 до 50 человек), из-за чего погрешность калибровки получается недопустимо большой. Причем выборка эта является единственной, и увеличение ее объема за счет накопления данных в течение определенного времени зачастую неприемлемо.
Указанного недостатка лишены методы увеличения объема выборки, в которых используется непосредственное размножение экспериментальных результатов тестирования, такие как бутстреп-метод, метод складного ножа [1] и их модификации. За счет размножения исходной выборки с их помощью создается выборка существенно большего объема. Целью данной работы является исследование возможности использования бутстреп-метода для снижения погрешности калибровки трудности заданий теста и уменьшения величины ее интервальных оценок. Для исследования была выбрана матрица результатов тестирования студентов (выборка) размером 50´42. Формирование бутстреп-выборок производилось следующим образом. Исходная матрица тиражировалась большое число раз (N), причем каждая последующая матрица располагалась строго под предшествующей. При таком размножении положение столбцов всех матриц сохранялось неизменным. В результате тиражирования получалась выборка большего объема, число столбцов которой оставалось равным 42, а количество строк возрастало в N раз. Затем из нее случайным образом отбирались с возвращением n матриц размером 50´42, каждая из которых обрабатывалась, как и исходная матрица, с помощью программного комплекса RILP-1 [2]. Число n менялось. На первом этапе количество тиражирований N выбиралось равным 100, и строки полученной матрицы размером 5000´42 не перемешивались. Из нее последовательно извлекались с возвращением группы матриц с n=10, 25, 50, 75, 100, 200, 300,…, 2000. В результате обработки матриц находились бутстреп-выборки βj(Б)* (j=1, 2, 3, …, n). Каждое из рассчитанных бутстреп-значений βj(Б)* усреднялось по n выборкам, и определялись оценки среднего значения Зависимость величины
Относительные погрешности γβj* и γσj* рассчитывались по одной группе матриц с n=600 (s=1) и при усреднении по группам матриц с различными значениями n и s (см. табл.). Зависимость γβj* и γσj* от числа s групп бутстреп-матриц
Из таблицы видно, что погрешность расчета менее 1 % и для На втором этапе исследовалось влияние на результаты оценок Анализ результатов показал, что зависимость γβj*(m) носит случайный характер. Разброс значений относительно Расчет предельных оценок Таким образом, перемешивание строк размноженной матрицы приводит не к повышению устойчивости оценок На третьем этапе оценивались и сравнивались интервалы изменения значений βj* и Здесь k – число строк в исходной матрице; U(p) – число, зависящее от величины доверительной вероятности p. С учетом данного выражения отношение λ ширины интервалов изменения исходного значения βj* и полученного бутстреп-значения Таким образом, использование бутстреп-метода позволяет существенно уменьшить величину интервальных оценок трудности заданий теста и за счет этого повысить точность их калибровки. Литература 1. Efron B. Bootstrap methods: Another look at the jackknife Ann. Statist, 1979. V. 7. № 1, pp. 1–25. 2. Елисеев И.Н., Елисеев И.И., Фисунов А.В. Программный комплекс RILP-1 // Программные продукты и системы. 2009. № 2. С. 178–181. 3. Орлов А.И. Эконометрика: учеб. пособие для вузов. М.: Изд-во «Экзамен», 2002. С. 83. |
Постоянный адрес статьи: http://swsys.ru/index.php?page=article&id=2524&lang=&lang=&like=1 |
Версия для печати Выпуск в формате PDF (4.97Мб) Скачать обложку в формате PDF (1.38Мб) |
Статья опубликована в выпуске журнала № 2 за 2010 год. |
Возможно, Вас заинтересуют следующие статьи схожих тематик:
- Экспериментальные исследования состоятельности оценок латентных параметров модели Раша
- Экспериментальное подтверждение состоятельности оценок трудности заданий теста
- RILP-Multi для расчета предельных оценок параметров индикаторов бутстреп-методом
- Алгоритмическая основа генерации тестов с учетом радиационного воздействия
- Программное обеспечение акустооптических процессоров
Назад, к списку статей