Современная теория педагогического тестирования имеет приблизительно шестидесятилетнюю историю, инициированную основополагающей работой Раша [1]. Методика практического применения тестирования изложена в ряде монографий [2]. Много работ посвящено методам конструирования педагогических тестов [3]. Программное обеспечение обработки результатов тестирования включено во многие статистические пакеты, в частности в открытую систему R [4].
Несмотря на многочисленные исследования модели Раша и ее расширений, остается открытым вопрос о распределении трудностей заданий системы тестирования в зависимости от контингента испытуемых для обеспечения наилучшей точности результатов испытаний.
Критериально-ориентированный подход в педагогическом тестировании позволяет оценивать степень усвоения испытуемыми необходимого учебного материала. Авторы заданий разрабатывают спецификации тестов, а затем по ним задания с подробной детализацией области содержания. Так как точность результатов тестирования зависит от распределения уровней подготовленности испытуемых и трудностей тестов, при разработке заданий важно обеспечить не только соответствие тестов спецификации и элементу содержания, но и адекватное соотношение трудностей тестов, особенно при ожидаемом асимметричном распределении подготовленности аттестуемых специалистов, сдвинутом в положительном направлении оси степени подготовленности в логитах.
Цель данной работы – оценка соотношения трудностей тестов, при котором минимизируется средняя дисперсия измерения уровня подготовленности в зависимости от его распределения.
Постановка задачи
За основу взята одна из основных моделей теории моделирования и параметризации тестов – однопараметрическая модель Раша.
Пусть тест состоит из K заданий различной трудности {δj} (j=1, ..., K). Результат выполнения задания оценивается по дихотомическому принципу: ставится единица, если задание выполнено правильно, и ноль, если задание выполнено неверно. Пусть тест выполняли N испытуемых (i=1, ..., N), каждый со своим уровнем подготовленности θi. В этом случае вероятность того, что участник с уровнем подготовленности θi выполнит верно задание трудности δj, определяется функцией успеха:
. (1)
Множество всех таких единиц и нулей образует матрицу ответов А={аij}, (j=1, ..., K) и (i=1, ..., N). Величины θi и δj – это латентные параметры модели Раша. Наблюдаемыми являются элементы матрицы ответов, по этой информации предлагается оценить трудность задания и уровень подготовленности тестируемого.
Дисперсия измерения уровня подготовленности испытуемого определяется формулойhttp://testolog.narod.ru/Ege32.html - _ftn6
(2)
преобразованной к удобному для дальнейших выкладок виду формулы (2.4.10) монографии [3].
Для исследования зависимости точности тестирования от контингента испытуемых предполагается, что уровень подготовленности в логитах имеет гауссово распределение с положительным средним: плотность распределения подготовленности гауссова pθÎN(M¸, d¸2).
Оптимизация системы тестирования заключается в создании такой системы тестов, в которой уровни трудности для набора заданий обеспечивают минимальное математическое ожидание дисперсии уровня подготовленности испытуемых, а именно в решении задачи
Метод решения задачи
![](phpThumb/phpThumb.php?w=300&src=//uploaded/image/2013-2/2013_2_38.jpg)
выпукла по βj в силу выпуклости функции ch() и ее неотрицательности, а свертка плотностей (8) выпукла в соответствии с работой [5].
Для решения задачи выпуклой минимизации применяли метод нулевого порядка (случайного поиска) в математическом пакете Matlab, а целевую функцию – многомерный интеграл – вычисляли методом Монте-Карло.
Результат решения задачи оптимизации при pθÎN(2, 1,1) 8 K=25 ?@54AB02;5= =0 @8AC=:0E 1 8 2.
Для сравнения с группой обычного контингента испытуемых на рисунке 3 показан результат решения задачи оптимизации при pθÎN(0, 1,7) 8 K=25.
В отличие от группы аттестуемых специалистов обычный контингент учащихся должен иметь нормальное распределение подготовленностей с нулевым средним и среднеквадратичным отклонением 1,7 и практически быть сосредоточенным на интервале от –5 до 5 логит.
![\](uploaded/image/2013-2/image886.gif)
Анализ решения
При базовом равномерном распределении трудностей тестов в случае сдвинутого относительно нуля распределения подготовленностей специалистов для минимизации разбросов систему тестов необходимо конструировать с более простыми заданиями ниже среднего уровня подготовленности и с более сложными заданиями правее среднего уровня подготовленности в интервале приблизительно удвоенного разброса распределения подготовленностей аттестуемых с дальнейшим стремлением к равномерному распределению.
Для группы обычного контингента учащихся оптимальное распределение трудностей тестов существенно ближе к равномерному, чем для группы со сдвинутым относительно нуля распределением подготовленностей с тем же характером отклонений от равномерного распределения.
В заключение следует отметить, что авторами предложен метод конструирования тестов при критериально-ориентированном подходе. Его отличительной особенностью является минимальная средняя дисперсия оценки уровня подготовленности испытуемого. Отбор трудностей заданий проводится с учетом минимизации введенного критерия оптимизации. Рассматриваемый в статье метод позволяет сконструировать тест в зависимости от предполагаемого распределения уровня подготовленности испытуемых и количества заданий.
Литература
1. Rasch G., Probabilistic models for some intelligence and attainment tests, Copenhagen, Denmark: Danish Institute for Educational Research, 1960, 199 p.
2. Нейман Ю.М., Хлебников В.А. Введение в теорию моделирования и параметризации педагогических тестов. М.: Прометей, 2000. 168 с.
3. Челышкова М.Б. Теория и практика конструирования педагогических тестов: учеб. пособие. М.: Логос, 2002. 432 с.
4. Mair P., Hatzinger R., Journ. of Statistical Software, 2007, May, Vol. 20, Iss. 9.
5. Сижук П.И., Сижук Т.П. О выпуклости свертки р-симметричных выпуклых и звездообразных функций с отрицательными коэффициентами // Вестн. Ставропольского гос. ун-та. 2009. № 63. C. 79–82.
References
1. Rasch G., Probabilistic models for some intelligence and attainment tests, Copenhagen, Denmark Danish Inst. for Educatio n-al Research, 1960, 199 p.
2. Neyman Yu.M., Khlebnikov V.A., Vvedenie v teoriyu modelirovanija i parametrizatsii pedagogicheskikh testov [Introduc-tion to theory of modeling and educational tests parameterization], Moscow, Prometey, 2000, 168 p.
3. Chelyshkova M.B., Teoriya i praktika konstruirovaniya pedagogicheskikh testov [The theory and practice of educational tests creation], Moscow, Logos, 2002, 432 p.
4. Mair P., Hatzinger R., Journal of Statistical Software, 2007, May, Vol. 20, iss. 9.
5. Sizhuk P.I., Sizhuk T.P., Vestnik Stavropolskogo gosudarstvennogo universiteta [Bulletin of NCFU], 2009, no. 63, pp. 79–82.