На правах рекламы:
ISSN 0236-235X (P)
ISSN 2311-2735 (E)

Авторитетность издания

ВАК - К1
RSCI, ядро РИНЦ

Добавить в закладки

Следующий номер на сайте

2
Ожидается:
16 Июня 2024

Оптимизация системы тестов при квалификационном тестировании специалистов

Tests collection optimization for experts qualification testing
Статья опубликована в выпуске журнала № 2 за 2013 год. [ на стр. 185-188 ]
Аннотация:Статья посвящена исследованию процесса конструирования системы педагогических тестов при использовании критериально-ориентированного подхода. Рассмотрена зависимость точности оценивания латентных параметров при использовании модели Раша от вероятностных характеристик контингента испытуемых. Предложена модель описания группы испытуемых специалистов в виде несимметричного относительно нуля распределения подготовленностей в положительном направлении. Решена задача минимизации средней дисперсии измерения уровня подготовленности испытуемого по соотношению трудностей заданий в экзаменационном тесте. Определено оптимальное распределение трудностей заданий при заданном распределении уровней подготовленности. Построена зависимость оптимального распределения трудностей тестов в задании в виде отклонения от равномерного распределения. При- ведена зависимость дисперсии ошибки тестирования при равномерном и оптимальном распределении трудностей заданий от уровня подготовленности испытуемых. Построена зависимость оптимального распределения трудностей заданий для обычной группы испытуемых с симметричным относительно нуля распределением подготовле н- ностей. Для минимизации дисперсии ошибки необходимо конструировать более простые тесты, ниже среднего уровня подготовленности, и более сложные, выше среднего уровня, в интервале приблизительно удвоенного разброса распределения подготовленностей с дальнейшим стремлением к равномерному распределению.
Abstract:The article considers the process of pedagogical tests system creation using criterion-referenced approach. The dependence of the estimation accuracy of latent parameters using the Rasch model from probabilistic characteristics of subjects was elaborated. A model of the test specialists description is proposed as asymmetric with respect to zero allocation in a positive direction. The task of minimizing average variance of level of testee expertise estimation in reference to tests har dness is completed. The optimal distribution of task’s easiness for a given distribution of level of expertise was elaborated. The optimal distribution of the tasks for a given distribution of level of expertise was found. The dependence of the optimal distribution of test’s tasks as a deviation from the uniform distribution was found. There is a dependence of tests error variance from the level of testee expertise when uniform and optimal distribution of test’s tasks. The dependence of test’s tasks optimal distribution for a group of subjects with level of expertise symmetrical distribution around zero was elaborated. To minimize the error variance it is necessary to construct a simple test below the average level of testee expertise and more complex tests than the average level. An interval of level of testee expertise distribution should be doubled and aim for uniform distribution.
Авторы: Бессарабов Н.А. (nikitabes@mail.ru) - Государственный научно-исследовательский институт авиационных систем (аспирант), Долгопрудный, Россия, Кондратенко Т.Н. (tanya@fgosniias.ru) - Государственный научно-исследовательский институт авиационных систем (начальник лаборатории), Москва, Россия, Тимофеев Д.С. (timofeev@fgosniias.ru) - Государственный научно-исследовательский институт авиационных систем (начальник сектора ), Москва, Россия
Ключевые слова: конструиро-, функция успеха, логит, модель раша, математическая теория тестирования
Keywords: designing tests,, success function, logit, Rush's model, mathematical theory test
Количество просмотров: 9354
Версия для печати
Выпуск в формате PDF (7.68Мб)
Скачать обложку в формате PDF (1.35Мб)

Размер шрифта:       Шрифт:

Современная теория педагогического тестирования имеет приблизительно шестидесятилетнюю историю, инициированную основополагающей работой Раша [1]. Методика практического применения тестирования изложена в ряде монографий [2]. Много работ посвящено методам конструирования педагогических тестов [3]. Программное обеспечение обработки результатов тестирования включено во многие статистические пакеты, в частности в открытую систему R [4].

Несмотря на многочисленные исследования модели Раша и ее расширений, остается открытым вопрос о распределении трудностей заданий системы тестирования в зависимости от контингента испытуемых для обеспечения наилучшей точности результатов испытаний.

Критериально-ориентированный подход в педагогическом тестировании позволяет оценивать степень усвоения испытуемыми необходимого учебного материала. Авторы заданий разрабатывают спецификации тестов, а затем по ним задания с подробной детализацией области содержания. Так как точность результатов тестирования зависит от распределения уровней подготовленности испытуемых и трудностей тестов, при разработке заданий важно обеспечить не только соответствие тестов спецификации и элементу содержания, но и адекватное соотношение трудностей тестов, особенно при ожидаемом асимметричном распределении подготовленности аттестуемых специалистов, сдвинутом в положительном направлении оси степени подготовленности в логитах.

Цель данной работы – оценка соотношения трудностей тестов, при котором минимизируется средняя дисперсия измерения уровня подготовленности в зависимости от его распределения.

Постановка задачи

За основу взята одна из основных моделей теории моделирования и параметризации тестов – однопараметрическая модель Раша.

Пусть тест состоит из K заданий различной трудности {δj} (j=1, ..., K). Результат выполнения задания оценивается по дихотомическому принципу: ставится единица, если задание выполнено правильно, и ноль, если задание выполнено неверно. Пусть тест выполняли N испытуемых (i=1, ..., N), каждый со своим уровнем подготовленности θi. В этом случае вероятность того, что участник с уровнем подготовленности θi выполнит верно задание трудности δj, определяется функцией успеха:

.                          (1)

Множество всех таких единиц и нулей образует матрицу ответов А={аij}, (j=1, ..., K) и (i=1, ..., N). Величины θi и δj – это латентные параметры модели Раша. Наблюдаемыми являются элементы матрицы ответов, по этой информации предлагается оценить трудность задания и уровень подготовленности тестируемого.

Дисперсия измерения уровня подготовленности испытуемого определяется формулойhttp://testolog.narod.ru/Ege32.html - _ftn6

                   (2)

преобразованной к удобному для дальнейших выкладок виду формулы (2.4.10) монографии [3].

Для исследования зависимости точности тестирования от контингента испытуемых предполагается, что уровень подготовленности в логитах имеет гауссово распределение с положительным средним: плотность распределения подготовленности гауссова pθÎN(M¸, d¸2).
Оптимизация системы тестирования заключается в создании такой системы тестов, в которой уровни трудности для набора заданий обеспечивают минимальное математическое ожидание дисперсии уровня подготовленности испытуемых, а именно в решении задачи

Метод решения задачи

выпукла по βj в силу выпуклости функции ch() и ее неотрицательности, а свертка плотностей (8) выпукла в соответствии с работой [5].

Для решения задачи выпуклой минимизации применяли метод нулевого порядка (случайного поиска) в математическом пакете Matlab, а целевую функцию – многомерный интеграл – вычисляли методом Монте-Карло.

Результат решения задачи оптимизации при pθÎN(2, 1,1) 8 K=25 ?@54AB02;5= =0 @8AC=:0E 1 8 2.

Для сравнения с группой обычного контингента испытуемых на рисунке 3 показан результат решения задачи оптимизации при  pθÎN(0, 1,7) 8 K=25.

В отличие от группы аттестуемых специалистов обычный контингент учащихся должен иметь нормальное распределение подготовленностей с нулевым средним и среднеквадратичным отклонением 1,7 и практически быть сосредоточенным на интервале от –5 до 5 логит.

\

Анализ решения

При базовом равномерном распределении трудностей тестов в случае сдвинутого относительно нуля распределения подготовленностей специалистов для минимизации разбросов систему тестов необходимо конструировать с более простыми заданиями ниже среднего уровня подготовленности и с более сложными заданиями правее среднего уровня подготовленности в интервале приблизительно удвоенного разброса распределения подготовленностей аттестуемых с дальнейшим стремлением к равномерному распределению.

Для группы обычного контингента учащихся оптимальное распределение трудностей тестов существенно ближе к равномерному, чем для группы со сдвинутым относительно нуля распределением подготовленностей с тем же характером отклонений от равномерного распределения.

В заключение следует отметить, что авторами предложен метод конструирования тестов при критериально-ориентированном подходе. Его отличительной особенностью является минимальная средняя дисперсия оценки уровня подготовленности испытуемого. Отбор трудностей заданий проводится с учетом минимизации введенного критерия оптимизации. Рассматриваемый в статье метод позволяет сконструировать тест в зависимости от предполагаемого распределения уровня подготовленности испытуемых и количества заданий.

Литература

1.     Rasch G., Probabilistic models for some intelligence and attainment tests, Copenhagen, Denmark: Danish Institute for Educational Research, 1960, 199 p.

2.     Нейман Ю.М., Хлебников В.А. Введение в теорию моделирования и параметризации педагогических тестов. М.: Прометей, 2000. 168 с.

3.     Челышкова М.Б. Теория и практика конструирования педагогических тестов: учеб. пособие. М.: Логос, 2002. 432 с.

4.     Mair P., Hatzinger R., Journ. of Statistical Software, 2007, May, Vol. 20, Iss. 9.

5.     Сижук П.И., Сижук Т.П. О выпуклости свертки р-сим­метричных выпуклых и звездообразных функций с отрицательными коэффициентами // Вестн. Ставропольского гос. ун-та. 2009. № 63. C. 79–82.

References

1.  Rasch G.,  Probabilistic models for some intelligence and attainment tests, Copenhagen, Denmark Danish Inst. for Educatio n-al Research, 1960, 199 p.

2.  Neyman Yu.M.,  Khlebnikov V.A.,  Vvedenie v teoriyu modelirovanija i parametrizatsii pedagogicheskikh testov [Introduc-tion to theory of modeling and educational tests parameterization], Moscow, Prometey, 2000, 168 p.

3.  Chelyshkova M.B.,  Teoriya i praktika konstruirovaniya pedagogicheskikh testov  [The theory and practice of educational tests creation], Moscow, Logos, 2002, 432 p.

4.  Mair P., Hatzinger R.,  Journal of Statistical Software, 2007, May, Vol. 20, iss. 9.

5.  Sizhuk P.I., Sizhuk T.P.,  Vestnik Stavropolskogo gosudarstvennogo universiteta  [Bulletin of NCFU], 2009, no. 63, pp. 79–82.


Постоянный адрес статьи:
http://swsys.ru/index.php?page=article&id=3490&lang=
Версия для печати
Выпуск в формате PDF (7.68Мб)
Скачать обложку в формате PDF (1.35Мб)
Статья опубликована в выпуске журнала № 2 за 2013 год. [ на стр. 185-188 ]

Возможно, Вас заинтересуют следующие статьи схожих тематик: