Software & Systems

В настоящее время достаточно интенсивно разрабатываются и используются разнообразные системы тестирования, которые представляют собой как отдельные самостоятельные программные продукты, так и модули, встроенные в обучающие системы.

Применение интерактивных обучающих систем позволяет индивидуализировать процесс обучения, обеспечить самоконтроль и централизованный контроль знаний обучаемого с диагностикой ошибок и обратной связью с процессом управления знаниями. Под интерактивностью в статье понимается способность обучающей системы активно взаимодействовать с обучаемым и преподавателем.

В данной статье предлагаются модель и алго­ритмы интерактивного оценивания знаний, кото­рые позволят любому преподавателю с мини­мальными усилиями создавать качественные тес­товые задания, дифференцированно оценивать знания, определять сценарий обучения, повышать качество учебного процесса.

В работе [1] предложена функциональная модель  интерактивной обучающей системы, разработанная на основе компонентного подхода:

,                                            (1)

где K – множество компонент обучающей сис­темы; Pf – набор процедур для формирования компонент; N – множество параметров, определяющих интерактивную обучающую систему; Y – оценка полученного знания.

В модели используются 10 компонент: компонента исследования, принятия решения, формирования контента, компонента интерактивности, обучения, компонента оценивания, контроля, компонента формирования теоретического мате­риала, тестового материала, сценариев обучения. Под компонентой понимаются модель, под­система, программа.

Анализ литературных источников показывает, что практически не уделяется внимание компо­ненте интерактивности. Тема оценивания знаний активно дискутируется, но до настоящего времени нет обобщенной интерактивной модели оценивания, которая затрагивает вопросы оценивания качества тестирующего материала, оценивания тестовых заданий (ТЗ), определения их весовых коэффициентов, организации процесса тестирования, выбора метода оценивания знаний и выработки рекомендаций по дальнейшему обучению.

Данная статья посвящена компоненте оценивания.

Модель компоненты оценивания

Предлагаемая модель компоненты оценивания Kоц представлена соотношением

Kоц =áX, M, Pz, Rp, Yñ,                                       (2)

где X – множество тестовых материалов; M – оценка тестового материала на основе показателей качества тестовых заданий ; Pz – процедура оценивания знаний;  – решения преподавателя; Y – результат оценивания знаний, Y=(y1, y2), где y1 – традиционная оценка, y2 – балльно-рейтинговая оценка.

Предложенная модель является интерактивной.

Таким образом, разработка компоненты оценивания предполагает выполнение следующих шагов: подготовку тестового материала и базы сценариев тестирования, разработку алгоритма определения весовых коэффициентов ТЗ и обобщенного алгоритма интерактивного оценивания знаний, а также определение управляющих воздействий по дальнейшему процессу обучения.

Подготовка тестового материала преподавателем-предметником выполняется в соответствии с методологическими требованиями к программно-дидактическим тестам, ТЗ и технологиям компь­ютерного тестирования [2].

На первом шаге определяются показатели оценивания ТЗ, заложенные в основу решающих правил для классификации их на допустимые (корректные), недопустимые ТЗ и требующие индивидуального рассмотрения. Правила могут быть сформированы как экспертом, так и с помощью алгоритмов формирования решающих правил по обучающим выборкам.

Процедура оценки корректности ТЗ сводится к следующим шагам.

1.  Преподаватель-предметник подготавливает множество ТЗ: .

2.  Определяется множество показателей p, по которым будут оцениваться ТЗ, . Наиболее распространенными показателями ТЗ являются форма, сложность формы ТЗ, синтаксическая грамотность вопроса, ответа, соответствие ТЗ предметной области, вероятность угадывания правильного ответа и др.

3. Определяетcя значение показателей . Каждое ТЗ xi описывается вектором , , .

4.  На основе требований и с учетом введенных показателей формируются решающие правила: РП1 – решающее правило отнесения ТЗ к классу допустимых ТЗ; РП2 – решающее правило отнесе­ния ТЗ к классу недопустимых ТЗ.

5.  С помощью решающих правил РП1, РП2, множество ТЗ {X} разбивается на классы , , : класс допустимых, недопустимых и класс промежуточных значений, соответственно. Класс  содержит m1 элементов, класс  содержит m2 элементов,  – m3 элементов, m=m1+m2+m3.

Решающее правило РПj строится в виде су­перпозиции решающих функций: .

(3)

где s1 – количество решающих правил, описываю­щих класс допустимых, а s2 – недопустимых ТЗ.

В общем виде решающее правило  имеет вид дизъюнктивно-конъюнктивной фор- мы:

, ,                            (4)

где  – критерий корректности ТЗ, сформиро­ванный на основе параметров .

6.  По результатам классификации эксперт модифицирует, совершенствует решающие правила, в некоторых случаях пересматривает параметры  и их значения. Такая ситуация возникает, если по результатам классификации количество ТЗ (m3) в классе  превосходит пороговое значение a3.

7.  Формируется множество ТЗ: исключаются из множества X и выдаются рекомендации по их модификации,  включаются (исключаются) в исходное множество X по усмотрению эксперта.

Подготовка базы сценариев тестирования. Сценарий тестирования определяется следую­щими параметрами: способ представления вы­борки ТЗ; процедура выбора ТЗ; ограничение на время тестирования; сложность ТЗ, предъявляе­мых в начале тестирования; процесс изменения сложности предъявляемых ТЗ; зависимость вы­бираемого ТЗ от ответа обучаемого; процесс от­вета на ТЗ; возврат к обучающему материалу; по­вторное тестирование; ограничение на количество попыток тестирования (только для самообучения); требование ввода ответа на все ТЗ; вывод результатов тестирования; требование вывода неверных ответов (только для самообучения); требование вывода рекомендаций по изучению теоретиче­ского материала; требование вывода правильных ответов (только для самообучения); возможность просмотра обучающего материала во время тестирования (только для самообучения); возможность подсказки при неправильном ответе на ТЗ (только для самообучения); объем базы ТЗ.

На основе параметров можно сформировать следующий обобщенный алгоритм сценария тес­тирования.

1.  Определить значения всех параметров.

2.  Сформировать выборку из ТЗ длины h.

3.  Определить способ выбора ТЗ из экзаменационной выборки.

4.  В случае преднамеренного способа выбора все ТЗ экзаменационной выборки упорядочить по степени сложности.

5.  Выбрать способ представления выборки ТЗ (для оценивания целесообразно предъявлять ТЗ по одному элементу, для самоаттестации это не имеет значения).

6.  Задать (отменить) ограничение на время тестирования.

7.  Случайный способ выбора ТЗ реализовать с помощью генератора случайных чисел, а для преднамеренного способа выбора ТЗ необходимо определить сценарий их предъявления: от про­стого ТЗ к ТЗ средней сложности, а затем к сложному; от ТЗ средней сложности к сложному; от ТЗ средней сложности к простому. Переход от одного уровня сложности к другому (на более высокий или более низкий) выполняется в зависимости от ответа на предыдущее ТЗ.

8.  Определить правила ввода ответов на ТЗ: последовательно, в порядке их поступления или произвольно.

9.  Разрешить обучаемому вернуться к обучаю­щему материалу, получить подсказку при непра­вильном ответе. Данные действия возможны только при самоаттестации.

10.     Разрешить повторное тестирование при оценивании знаний. При самоконтроле запрещать повторное тестирование нецелесообразно.

11.     Разрешить вернуться к обучающему мате­риалу перед повторным тестированием.

12.     Задать требование ввода ответа на все ТЗ экзаменационной выборки.

13.     Определить параметры вывода результатов тестирования: вывод количества неверных ответов, вывод номера или содержания ТЗ, на которые получены неверные ответы, вывод реко­мендаций по дальнейшему обучению, вывод правильных ответов.

Алгоритм определения весовых коэффициентов ТЗ приписывает вес тестовым заданиям, который будет использоваться при оценивании знаний.

1.  Каждое тестовое задание xiÎX оценивается преподавателем-экспертом по степени сложности: простое, сложное, средней сложности. Таким образом, исходное множество X разбивается на классы . В дальнейшем классы  будем называть классами простых, сложных ТЗ и ТЗ средней сложности.

2.  Элементы каждого класса  упорядочиваются по степени сложности в соот­ветствии с процедурой упорядочения.

3.  Упорядоченные ТЗ ранжируются: каждому элементу xi класса , , присваивается свой ранг di, определяемый по формуле

,                                                          (5)

где di – ранг i-го элемента в классе , , , , d0=0, ; D – шаг приращения; n – количество градаций в классе ; , где a, b – минимальная и максимальная градации в классе  соответственно.

4.  Определяется весовой коэффициент wi ТЗ xi, , где  – весовой коэффициент класса ТЗ, заданный экспертом.

Процедуру упорядочения рассмотрим на при­мере одного класса .

1.  Выбирается пара ТЗ .

2.  Тестовые задания xq и xp оцениваются по сложности, то есть между ними устанавливается одно из соотношений:

xq > xp, xq < xp, xq ~ xp                                           (6)

(знак > означает превосходство одного ТЗ над другим по степени сложности).

3.  Выбирается следующий элемент xr из класса , и аналогично (6) устанавливается весовое соответствие  между выбранными элементами, , . Отметим, что может возникнуть такая ситуация, когда  или  (при сравнении рассматриваются эквивалентные ТЗ). В этих случаях xp и xr или xq и xr будут иметь одинаковый ранг.

4.  Определяется местонахождение следую­щего элемента xi класса  в построенном упорядоченном ряду элементов.

5.  Процесс упорядочения происходит до тех пор, пока все элементы класса  не будут пред­ставлены в виде упорядоченного ряда , где .

Обобщенный алгоритм интерактивного оценивания знаний разрабатывается следующим образом.

1.   Каждому тестовому заданию xi ставится в соответствие набор значений параметров :

-    параметр p1 характеризует правильность ответа на ТЗ:

-    p2 – вес тестового задания;

-    P3 – суммарное время ответа на ТЗ.

На параметр p3 накладывается ограничение, по

достижении которого тестирование прекращается и выставляется итоговая оценка.

2.   Итоговая оценка  вычисляется по фор­муле:

.                                             (7)

4.   При аттестации по балльно-рейтинговой системе оценка  масштабируется в соответствии с количеством баллов , отведенных на дан­ный тест (аттестацию):

,                                                           (8)

где  – количество баллов, за которые эксперт выставляет наивысшую оценку.

5.   Традиционная оценка выставляется в соответствии с соотношением:

,                         (9)

где граничные значения yотл, yхор, yудовл определя­ются экспертным путем (в Казанском государственном техническом университете им. А.Н. Туполева приняты следующие значения: yотл=86, yхор=71, yудовл=51).

Определение управляющих воздействий по дальнейшему обучению осуществляется в соответствии с решающими правилами Rp, сфор­мированными экспертным путем: rp1 – допустить к итоговой аттестации; rp2 – пройти повторное обучение; rp3 – признать итоговую оценку знаний; rp4 – провести дополнительное оценивание знаний; rp5 – сформировать новый контент.

В заключение следует отметить, что предложенная модель и алгоритмы интерактивного оценивания знаний, используемые при создании интерактивных обучающих систем, позволяют создавать качественные тестовые задания, выставлять оценку знаний с учетом сложности ТЗ, адаптировать процесс обучения под обучаемого и преподавателя, создавать интеллектуальные интерактивные обучающие системы, повышать качество обучения.

Литература

1.   Александрова Л.А., Тумбинская М.В. Модель интерактивной обучающей системы // Программные продукты и системы. 2009. № 2. С. 175–178.

2.   Васильев В.И., Киринюк А.А., Тягунова Т.Н. Требования к программно-дидактическим тесто­вым материалам и технологиям компьютерного тестирования. М.: Изд-во МГУП, 2005. 27 с.