Software & Systems

Современная теория педагогического тестирования имеет приблизительно шестидесятилетнюю историю, инициированную основополагающей работой Раша [1]. Методика практического применения тестирования изложена в ряде монографий [2]. Много работ посвящено методам конструирования педагогических тестов [3]. Программное обеспечение обработки результатов тестирования включено во многие статистические пакеты, в частности в открытую систему R [4].

Несмотря на многочисленные исследования модели Раша и ее расширений, остается открытым вопрос о распределении трудностей заданий системы тестирования в зависимости от контингента испытуемых для обеспечения наилучшей точности результатов испытаний.

Критериально-ориентированный подход в педагогическом тестировании позволяет оценивать степень усвоения испытуемыми необходимого учебного материала. Авторы заданий разрабатывают спецификации тестов, а затем по ним задания с подробной детализацией области содержания. Так как точность результатов тестирования зависит от распределения уровней подготовленности испытуемых и трудностей тестов, при разработке заданий важно обеспечить не только соответствие тестов спецификации и элементу содержания, но и адекватное соотношение трудностей тестов, особенно при ожидаемом асимметричном распределении подготовленности аттестуемых специалистов, сдвинутом в положительном направлении оси степени подготовленности в логитах.

Цель данной работы – оценка соотношения трудностей тестов, при котором минимизируется средняя дисперсия измерения уровня подготовленности в зависимости от его распределения.

Постановка задачи

За основу взята одна из основных моделей теории моделирования и параметризации тестов – однопараметрическая модель Раша.

Пусть тест состоит из K заданий различной трудности {δj} (j=1, ..., K). Результат выполнения задания оценивается по дихотомическому принципу: ставится единица, если задание выполнено правильно, и ноль, если задание выполнено неверно. Пусть тест выполняли N испытуемых (i=1, ..., N), каждый со своим уровнем подготовленности θi. В этом случае вероятность того, что участник с уровнем подготовленности θi выполнит верно задание трудности δj, определяется функцией успеха:

.                          (1)

Множество всех таких единиц и нулей образует матрицу ответов А={аij}, (j=1, ..., K) и (i=1, ..., N). Величины θi и δj – это латентные параметры модели Раша. Наблюдаемыми являются элементы матрицы ответов, по этой информации предлагается оценить трудность задания и уровень подготовленности тестируемого.

Дисперсия измерения уровня подготовленности испытуемого определяется формулойhttp://testolog.narod.ru/Ege32.html - _ftn6

                   (2)

преобразованной к удобному для дальнейших выкладок виду формулы (2.4.10) монографии [3].

Для исследования зависимости точности тестирования от контингента испытуемых предполагается, что уровень подготовленности в логитах имеет гауссово распределение с положительным средним: плотность распределения подготовленности гауссова pθÎN(M¸, d¸2).
Оптимизация системы тестирования заключается в создании такой системы тестов, в которой уровни трудности для набора заданий обеспечивают минимальное математическое ожидание дисперсии уровня подготовленности испытуемых, а именно в решении задачи

Метод решения задачи

выпукла по βj в силу выпуклости функции ch() и ее неотрицательности, а свертка плотностей (8) выпукла в соответствии с работой [5].

Для решения задачи выпуклой минимизации применяли метод нулевого порядка (случайного поиска) в математическом пакете Matlab, а целевую функцию – многомерный интеграл – вычисляли методом Монте-Карло.

Результат решения задачи оптимизации при pθÎN(2, 1,1) 8 K=25 ?@54AB02;5= =0 @8AC=:0E 1 8 2.

Для сравнения с группой обычного контингента испытуемых на рисунке 3 показан результат решения задачи оптимизации при  pθÎN(0, 1,7) 8 K=25.

В отличие от группы аттестуемых специалистов обычный контингент учащихся должен иметь нормальное распределение подготовленностей с нулевым средним и среднеквадратичным отклонением 1,7 и практически быть сосредоточенным на интервале от –5 до 5 логит.

Анализ решения

При базовом равномерном распределении трудностей тестов в случае сдвинутого относительно нуля распределения подготовленностей специалистов для минимизации разбросов систему тестов необходимо конструировать с более простыми заданиями ниже среднего уровня подготовленности и с более сложными заданиями правее среднего уровня подготовленности в интервале приблизительно удвоенного разброса распределения подготовленностей аттестуемых с дальнейшим стремлением к равномерному распределению.

Для группы обычного контингента учащихся оптимальное распределение трудностей тестов существенно ближе к равномерному, чем для группы со сдвинутым относительно нуля распределением подготовленностей с тем же характером отклонений от равномерного распределения.

В заключение следует отметить, что авторами предложен метод конструирования тестов при критериально-ориентированном подходе. Его отличительной особенностью является минимальная средняя дисперсия оценки уровня подготовленности испытуемого. Отбор трудностей заданий проводится с учетом минимизации введенного критерия оптимизации. Рассматриваемый в статье метод позволяет сконструировать тест в зависимости от предполагаемого распределения уровня подготовленности испытуемых и количества заданий.

Литература

1.     Rasch G., Probabilistic models for some intelligence and attainment tests, Copenhagen, Denmark: Danish Institute for Educational Research, 1960, 199 p.

2.     Нейман Ю.М., Хлебников В.А. Введение в теорию моделирования и параметризации педагогических тестов. М.: Прометей, 2000. 168 с.

3.     Челышкова М.Б. Теория и практика конструирования педагогических тестов: учеб. пособие. М.: Логос, 2002. 432 с.

4.     Mair P., Hatzinger R., Journ. of Statistical Software, 2007, May, Vol. 20, Iss. 9.

5.     Сижук П.И., Сижук Т.П. О выпуклости свертки р-сим­метричных выпуклых и звездообразных функций с отрицательными коэффициентами // Вестн. Ставропольского гос. ун-та. 2009. № 63. C. 79–82.

References

1.  Rasch G.,  Probabilistic models for some intelligence and attainment tests, Copenhagen, Denmark Danish Inst. for Educatio n-al Research, 1960, 199 p.

2.  Neyman Yu.M.,  Khlebnikov V.A.,  Vvedenie v teoriyu modelirovanija i parametrizatsii pedagogicheskikh testov [Introduc-tion to theory of modeling and educational tests parameterization], Moscow, Prometey, 2000, 168 p.

3.  Chelyshkova M.B.,  Teoriya i praktika konstruirovaniya pedagogicheskikh testov  [The theory and practice of educational tests creation], Moscow, Logos, 2002, 432 p.

4.  Mair P., Hatzinger R.,  Journal of Statistical Software, 2007, May, Vol. 20, iss. 9.

5.  Sizhuk P.I., Sizhuk T.P.,  Vestnik Stavropolskogo gosudarstvennogo universiteta  [Bulletin of NCFU], 2009, no. 63, pp. 79–82.