Программные продукты и системы

При разработке автоматизированных систем обучения (АСО) особое внимание уделяется системе контроля знаний. Это и неудивительно, поскольку данная система должна позволять, с одной стороны, обучающемуся определять уровень своих знаний и пробелы в них (если они есть) по конкретным темам, с другой – преподавателю определять уровень знаний обучающегося, пробелы в обучении, работоспособность (достоверность, валидность, надежность) составленного теста.

С помощью системы управления БД тестирования, входящей в контролирующую часть АСО, преподаватель также может провести корректуру тестовых заданий.

Для выполнения этих функций контролирующая система должна обеспечивать

-      возможность простого и понятного создания теста в компьютерном варианте, то есть автоматизированного по способу подачи информации и перехода с одного вопроса на другой;

-      возможность оценивать работу обучаемого и в некоторых режимах комментировать и направлять ее;

-      сбор и анализ данных;

-      доступ к настройкам теста, в том числе и к его графическому представлению – кадру;

-      возможность корректировать вопросы и ответы на них.

Создаваемый интерфейс, с которым работают преподаватель и обучающиеся, должен быть понятным и простым в использовании. Интерфейс, представленный в АСО, выпускаемых НИИ «Центрпрограммсистем» (г. Тверь) и другими фирмами, по мнению автора, для обучающегося сделан очень хорошо, а для преподавателя при создании автоматизированного тестового задания и его адаптации он не очень удобен, а потому хотелось бы внести некоторые предложения.

В АСО оценка знаний, как правило, осуществляется на основании отношения количества правильных ответов на вопросы к общему числу вопросов тестового задания. Правильность ответа определяется путем сравнения ответов обучающегося на задаваемые вопросы с эталонными ответами преподавателя.

Для контроля могут использоваться вопросы в форме, требующей от обучающегося

–      утверждения или отрицания (типа «Да» или «Нет»);

–      сложного высказывания;

–      завершения высказывания (предложения);

–      выбора полного и правильного ответа из серии предложенных;

–      вычисления;

–      задания расстановки указанных элементов в правильной последовательности.

<img data-cke-saved-src="uploaded/image/2013-2/image265.gif" src="uploaded/image/2013-2/image265.gif" alt="\" Подпись:"="" style="float: left; width: 610px; height: 179px;" class="thumb">Создание обучающей и контролирующей частей АСО идет покадрово. Прежде всего преподаватель определяется с БД, где будет сохранен тест. В ней создается группа таблиц для обработки теста. Графическое представление таблицы, в которой находятся вопросы и ответы, весовые коэффициенты ответов и самого вопроса, выводится на экран в виде кадра вопроса. Чтобы внести данные в вопросную таблицу, преподаватель каждый вопрос и варианты ответов на него прописывает вручную в этом кадре, переходя от первого до последнего вопроса своего тестового задания. Как правило, при подготовке к созданию контрольного блока материал, отобранный преподавателем для теста, помещается в отдельной таблице. Но загрузить эти данные в тестовую таблицу АСО преподаватель не может, так как это не предусмотрено программой и, вероятно, вызвано тем, что в БД контролирующей части АСО таблица с вопросами имеет строго определенную структуру. Чтобы вносить данные в такую таблицу с помощью импортирования или копирования, необходимо знать ее структуру. Преподаватель, как правило, этого не знает и составляет свою таблицу так, как удобно ему. Неизвестно, предлагали ли разработчики преподавателям использовать для переброски данных таблицы с заданной структурой, но хотелось бы предложить вид этой таблицы и объяснить, почему именно такой. Хотя, несомненно, разработчики контролирующей части АСО пользуются таблицами с аналогичной структурой.

Рассмотрим решение этой проблемы на примере тестового задания, состоящего из однотипных вопросов.

Пусть тест будет содержать m вопросов, максимальное количество ответов на один вопрос – n. Каждый вопрос имеет свой весовой коэффициент ai, i=1, …, m. В свою очередь каждый ответ имеет свой весовой коэффициент bij, j=1, …, n, причем, если правильных ответов несколько, нужно указать все и определить их весовые коэффициенты при условии, что

.                                                                 (1)

Тогда, если правильный ответ один, то только один из bij равен 1, остальные равны 0. Обучающийся может выбрать любой из ответов и зафиксировать свой выбор нажатием кнопки, щелчком мыши или вводом данных с клавиатуры. При этом в таблице теста в ячейке Выб_отij будет произведена запись, что это выбор j-го ответа i-го вопроса теста, который может принимать значение 1. В ячейках выбора тех ответов, которые не были отмечены обучающимся, будут 0, так как по умолчанию в начале тестирования Выб_отij для всех значений i и j равен 0.

Все эти данные можно свести в таблицу тестовой методики с m вопросами и n ответами на каждый вопрос (см. табл. 1).

Таблицу с ответами на тест можно представить в виде матрицы m×n:

,                                            (2)

где .                                                      (3)

Тогда таблица из БД с баллами за каждый ответ на вопросы теста будет иметь вид, представленный в таблице 2.

Таблица 2

Каждая из ее строк соответствует одному вопросу, следовательно, количество баллов, которое можно набрать за ответ на каждый вопрос, будет определяться следующим выражением:

.                                               (4)

Если какое-либо из dij будет равно 0, значит обучающийся не выбрал ни одного правильного ответа на этот вопрос, то есть он не набрал ни одного балла, следовательно, дал неверный ответ; если dij>0, ответ на вопрос был выбран правильно полностью или частично, то есть из предлагаемого перечня были выбраны не все правильные ответы, а только часть. Тогда таблица с подсчитанными баллами по вопросам теста будет иметь вид, представленный в таблице 3.

Таблица 3

Набранное количество баллов по данному тесту равно

,                                                (5)

а максимальное, или эталонное, количество баллов равно , так как .

В итоговую таблицу по тесту пойдет общий полученный балл, равный , а итоговое соотношение выполненных заданий теста можно подсчитать по формуле

.                                                    (6)

Для определения зависимости оценки от соотношения правильно выполненных заданий теста воспользуемся таблицей 4.

Таблица 4

Данный вид оценки хорошо использовать, если оценка ставится на основании тестового набора, задания которого имеют однотипную структуру.

В случае, если тестовое задание состоит из вопросов с различной формой представления, для подсчета оценки их можно сгруппировать в отдельные подтесты с однотипными вопросами и к каждому подтесту применить эти процедуры. Сначала подсчитать оценки по каждому подтесту, а потом вывести итоговую оценку за контроль.

Тогда общую оценку по всем подтестам можно подсчитать аналогично подсчету рейтинговой оценки, которая сейчас широко используется в вузах РФ:

,                                                     (7)

где Тобщ – итоговая оценка по всем тестовым наборам; Ti – оценка за i-й тест; Li – количество вопросов в i-м тесте (тестовом наборе); К – количество тестов, на основании которых выводится оценка обучаемому.

Подробное описание получения оценки за тест понадобилось для того, чтобы показать, какой, на взгляд автора, должна быть таблица для вопросов теста (табл. 1).

Любая СУБД позволяет создавать таблицы и задавать их структуру. Используя такой шаблон при разработке автоматизированного тестового задания, преподаватель сможет сам создать нужную ему таблицу для ввода тестового материала. Сначала он задает количество столбцов, типы данных, которые будут в них, и количество строк. Типы данных и способ их использования в АСО, разработанных «Центрпрограммсистем», рассмотрены очень хорошо и доступно. На основании этого в автоматическом режиме по запросу преподавателя создается таблица, содержащая m вопросов с n ответами на каждый вопрос и весовыми коэффициентами (см. табл. 5)

Она имеет такую же структуру, как таблица 1, но столбцы с выборами ответов сгруппированы в правой части. При создании по умолчанию все Выб_отij=0 для i=1, …, m, j=1, …, n. Такая таблица будет иметь всего k столбцов: k=1+1+1+n+n+n= =3*(n+1), где первая единица – столбец с номером вопроса; вторая единица – столбец с текстом вопроса; третья единица – столбец с весовым коэффициентом вопроса; первая n – n столбцов с вариантами ответов; вторая n – n столбцов с весовыми коэффициентами этих вариантов ответов; третья n – n столбцов с вариантами выбора этих ответов.

Левая часть таблицы 5, содержащая текст вопроса, весовой коэффициент вопроса, возможные ответы и их весовые коэффициенты, должна быть заполнена преподавателем. Он может сделать это вручную или с помощью копирования данных из своей таблицы, но для этого ее нужно создать определенным образом и заполнить (см. табл. 6).

При подготовке автоматизированного теста, состоящего из m вопросов и n ответов на каждый вопрос, преподаватель должен создать таблицу размерностью m×(3+2n).

Таким образом, получается, что разработчикам контролирующей части АСО необходимо дополнить свой программный продукт командами на создание таблицы для вопросов по определенным параметрам, которые вводятся преподавателем: количество строк m и количество ответов n на вопрос тестового задания. На основании этих данных будет создана таблица с размерностью m´3(n+1) (табл. 5).

Тогда при создании автоматизированного теста у преподавателя будет возможность выбора способа ввода данных для вопросов – в табличной форме или последовательно в кадре создания вопроса. Если он выбирает табличную форму ввода данных, то должен следовать переход на кадр для ввода количества строк и количества вариантов ответов, далее на кадр для задания типов данных столбцов, затем на кадр с готовой пустой таблицей (табл. 6), в которую можно вставить данные, используя буфер обмена, и на кадр для просмотра и редактирования каждого вопроса.

После ввода данных и в процессе отладки автоматизированного теста преподавателю приходится прибегать к процедуре корректуры теста. Часто для этого ему необходимо анализировать работу теста.

БД контролирующей части АСО устроена таким образом, что после тестирования в БД контроля сохраняются оценки каждого обучаемого, прошедшего контроль с помощью тестирования, за каждое тестовое задание или одна итоговая. На их основании можно сделать вывод только об успеваемости, а не о соответствии созданного преподавателем теста диагностическим задачам. Для этого нужны дополнительные данные об ответах обучаемых на каждый вопрос. Это позволило бы выявить вопросы, вызвавшие наибольшее или наименьшее затруднение, время, которое следует отводить на тот или иной вопрос, наиболее трудные для изучения темы.

Поэтому для анализа усвоения материала необходимо сохранять ответы обучающихся. В таблице 7 показано, как можно сохранить ответы одного обучающегося.

Сохраняя в такой таблице ответы всех прошедших тестирование, можно собрать достаточный материал для анализа. Впоследствии эти данные необходимо экспортировать, например, в Excel или в другие статистические программы, с помощью которых преподаватель сможет провести анализ результатов, что поможет в корректуре тестовых заданий.

Возможно, внесение небольших изменений в таблицы БД и интерфейс контролирующей части АСО поможет облегчить создание тестовых заданий для контроля действий и знаний обучающихся. Тогда преподаватели больше будут пользоваться автоматизированным тестированием, особенно на этапах входного и текущего контроля. Эти же изменения помогут преподавателям и при корректуре тестовых заданий.

Литература

1.     Захарова И.Г. Информационные технологии в образовании. М.: ACADEMIA, 2003. С. 132–153.

2.     Долгов А.И., Мартыненко А.Ф., Преснухин В.В. Обработка показателей в компьютерных методиках оценки образовательного процесса // Программные продукты и системы. 2012. № 1 (97). С. 107–111.

3.     Положение о проведении текущего контроля и промежуточной аттестации слушателей (курсантов) ВУНЦ ВМФ «ВМА». СПб: ВУНЦ ВМФ «ВМА», 2010.

4.     MyTest X. URL: mytest.klyaksa.net (дата обращения: 25.03.2013).

References

1.  Zakharova I.G.,  Inform. tekhnologii v obrazovanii  [IT in education], Moscow, ACADEMIA, 2003, pp. 132–153.

2.   Dolgov A.I., Martynenko A.F., Presnukhin V.V., Programmnye produkty i sistemy  [Software and Systems], no. 1 (97), 2012, pp. 107–111.

3.  Polozhenie o provedenii tekushchego kontrolya i prome-zhutochnoy attestatsii slushateley (kursantov) VUNTs VMF «VMA» [Regulation  on  realization of ongoing monitoring and interim attestation of students (cadets) of the Navy Military Training and Sci. Centre «Navy Academy»]. St. Petersburg, 2010.

4.  MyTest  X, Available at:  mytest.klyaksa.net  (accessed 25 March 2013).