Программные продукты и системы

Качественное управление образовательным процессом невозможно без надежных, профессионально разработанных контрольно-измеритель­ных материалов (КИМ), представляющих собой совокупность заданий или индикаторов с известными характеристиками, объединенными в тест. Разработка и проверка их качества – длительная и трудоемкая процедура, для ее выполнения требуются многофункциональные программно-инстру­ментальные средства. У используемых для обработки результатов тестирования и оценки качества КИМ отечественных программ R-Latent [1] и Analizator [2] ограниченная область применения. Например, объем выборки участников тестирования, результаты которых могут быть обработаны с помощью R-Latent, не должен превышать нескольких сотен; число индикаторов теста не может превышать 100. Кроме того, ни с помощью R-Latent, ни программного модуля Analizator невозможно провести дистракторный анализ КИМ, а без него нельзя полноценно оценить их качество. Результаты расчета оценок латентных переменных, полученные с помощью отечественных программных средств, могут существенно отличаться от значений, которые дает использование зарубежных программ аналогичного назначения.

Приобретение зарубежных программных продуктов, например, разработанной в Мердокском университете (Австралия) лицензионной диалоговой системы RUMM 2020, связано с установлением прямых контактов с дальним зарубежьем, что зачастую затруднительно. Кроме того, интерфейс зарубежных программ не русифицирован, а это создает большие сложности в работе.

Таким образом, задача создания отечественных программно-инструментальных средств, позволяющих рассчитать значения латентных параметров индикаторов КИМ и объектов измерения, оценить качество КИМ, является актуальной.

Для решения этой проблемы центром тестирования Южно-Российского государственного университета экономики и сервиса (г. Шахты) разработан программный комплекс RILP-1 (Рашевский измеритель латентных переменных), предназначенный для оценки характеристик объектов измерения и индикаторов теста-измерителя по результатам их выполнения, представленным дихотомической переменной. В качестве объектов измерения могут использоваться учебные достижения учащихся, процессы и подпроцессы системы менеджмента качества образования (СМКО) вуза, различные аспекты воспитательной работы и т.д.

Программный комплекс RILP-1 позволяет провести обработку результатов тестирования, получить основные статистические характеристики индикаторов КИМ и исследуемого объекта измерения (например, уровня знаний студента) и оценить качество материалов на основе классической теории тестов и теории моделирования и параметризации педагогических тестов. Результаты тестирования должны быть представлены в виде двухмерной матрицы в форматах prn или txt. Комплекс позволяет:

1) получить значения параметров общей статистики для обрабатываемых результатов, включающей в себя:

−    значения оценок моментов 1–4-го порядков для индикаторов и для участников тестирования;

−    значение коэффициента дифференциации участников тестирования;

−    значения коэффициента надежности результатов тестирования и теста-измерителя, полученные по формулам Кронбаха, Спирмена–Бра­уна, по среднему значению коэффициента интер-корреляции индикаторов;

2) построить:

−    гистограммы распределения индивидуальных баллов тестируемых и индикаторов;

−    совмещенные гистограммы распределения для латентных параметров участников тестирования и трудности индикаторов в логарифмической шкале;

3) получить следующую информацию об индикаторах:

−    общее количество верных ответов на каждый индикатор (индивидуальный балл индикатора) Yj и доля верных ответов на него pj;

−    оценки начальных βj0* и уточненных βj* значений трудности индикаторов в логитах и стандартные ошибки для них;

−    дифференцирующая способность индикаторов aj;

−    значения χ2 и вероятность соответствия характеристической кривой индикатора модели Раша;

−    оценки коэффициентов корреляции индивидуальных баллов индикаторов с индивидуальными баллами тестируемых (бисериальных коэффициентов);

−    оценки средних значений коэффициентов корреляции индикаторов друг с другом;

4) рассчитать матрицу коэффициентов корреляции каждого индикатора с другими индикаторами;

5) получить следующую информацию об участниках тестирования:

−    значения первичного Xi и тестового Ti баллов каждого участника;

−    доли верных pi и неверных qi ответов участника на все индикаторы теста;

−    значения оценок латентного параметра θi участника тестирования и погрешность его расчета в логитах;

6) построить характеристические кривые:

−    всех индикаторов;

−    каждого индикатора в отдельности с информацией, необходимой для оценки соответствия кривой принятой модели измерения (модели Раша);

−    каждого индикатора с указанием графической информации о том, как работают ответы индикаторов (заданий) закрытой формы;

7) получить индивидуальные кривые участников тестирования;

8) построить информационные функции индикаторов и теста-измерителя в целом.

Программный комплекс RILP-1 обеспечивает надежную работу с матрицами результатов тестирования размером до 32000´5000.

Панель управления комплексом после загрузки матрицы результатов тестирования показана на рисунке 1. До начала обработки матрицы необходимо указать, в каком виде должны быть представлены полученные данные (опции «Отображать имена участников», «Отображать номера заданий» и т.д.). В разделе «Настройки» указывается размер загруженной матрицы (число строк и число столбцов), из каких элементов она составлена (из 0 и 1 или представлена цифрами, соответствующими номерам выбранных ответов тестируемых). Перед началом анализа указывается число интервалов, на которые должен разбиваться массив результатов обработки. Исходя из этого разбиения подсчитываются значения χ2 и вероятность соответствия характеристик индикаторов (заданий) модели Раша. Минимальное число разбиений – 3. Если направление влияния индикатора на объект измерения носит обратный характер, то путем выделения соответствующего ему столбца анализируемой матрицы и выполнения операции инвертирования (клавиша «Инвертировать результат») нули заменяются на единицы, а единицы на нули. После выполнения команды «Проанализировать» в левой части экрана монитора появляется панель «Результаты», структурная схема которой представлена на рисунке 2. Выбирая нужную опцию путем нажатия соответствующих клавиш, можно посмотреть полученные результаты по разделам. Сохранение полученных результатов обеспечивается вводом команды «Сохранить полный отчет».

Проведение дистракторного анализа обеспечивается загрузкой матрицы результатов тестирования, элементами которой являются номера ответов, выбранных тестируемыми. Отображение результатов анализа осуществляется в режиме просмотра характеристических кривых каждого из индикаторов нажатием клавиши «Соответствие модели измерения». После нажатия клавиши на графике характеристической кривой появляются ломаные линии, построенные для различных вариантов ответов на индикатор.

Линия, соответствующая верному ответу, помечается звездочкой.

Сравнение данных анализа, полученных для одной и той же матрицы результатов тестирования с помощью программного комплекса RILP-1 и диалоговой системы RUMM 2020, показывает, что различия между ними не превышают 10 % для легких и трудных индикаторов. Объясняется это тем, что в комплексе и в системе выбраны разные алгоритмы расчета трудности индикаторов и латентного параметра тестируемых. Кроме того, отличаются и алгоритмы распределения результатов тестирования по выбранным интервалам разбиения при оценке соответствия характеристических кривых индикаторов принятой модели измерения. Продолжая сравнение возможностей RILP-1 и RUMM 2020, следует отметить, что в диалоговой системе, в отличие от комплекса, не предусмотрены расчет бисериального коэффициента и построение информационных функций. Кроме того, управление программами в RILP-1 намного проще, чем в RUMM 2020. Но по сравнению с RILP-1 несомненным существенным преимуществом диалоговой системы RUMM 2020 является возможность обработки результатов тестирования, представленных политомической переменной, поэтому авторы работают над новой модификацией программного комплекса, обеспечивающего выполнение работ и такого рода.

Пакет программного комплекса RILP-1 может быть установлен на компьютер, оснащенный ОС Windows 2000, XP с объемом оперативной памяти не менее 128 Мб и быстродействием процессора более 1 ГГц. Кроме того, для работы комплекса требуется пакет Microsoft Office.

Подводя итог, можно сказать, что созданный программный комплекс позволяет автоматизировать процедуру оценивания качества КИМ и их экспертизу, обеспечивая снижение трудозатрат и времени на разработку надежных индикаторов и тестов-измерителей для систем оценки качества как в педагогике, так и в социально-экономичес­ких системах.

Литература

1. Елисеев и.н., Елисеев И.И. Технология создания педагогического теста с помощью программных средств «R-Latent // Развитие системы тестирования в России»: тез. докл. Второй всеросс. конф. М., 2000. Ч. 5. С. 31–32.

2. Елисеев И.Н., Елисеев И.И., Мальцев И.М., Гладилин А.Н Комплекс программных средств для обеспечения процедуры тестирования и оценки качества тестовых материалов // Пути совершенствования подготовки специалистов для текстильной промышленности: тез. докл. Междунар. науч.-методич. конф. М.: МГТУ им. А.Н. Косыгина, 2002. С 50–51.

3. RUMM2020 Manuals URL: http://www.rummlab.com.au/ demo/marmgetstart.pdf (дата обращения: 18.11.2008).