Программные продукты и системы

После введения обязательного ЕГЭ в ведущих вузах страны усилилась тенденция к проведению интернет-олимпиад, вытесняющих традиционные предметные олимпиады. В данной работе сформулированы важнейшие классификационные признаки дистанционных олимпиад и вытекающие из них требования к архитектуре автоматизированных систем проведения научных соревнований.

По сравнению с обычными олимпиадами дистанционные имеют ряд недостатков [1]:

·     невозможность вносить коррективы в условия, если задача оказалась некорректной;

·     невозможность следить за ходом мысли участников, обусловленная применением тестов multiple choice с выбором ответа из числа предложенных;

·     невозможность апелляции или проведения собеседования в сомнительных случаях;

·     невозможность исправления данного ответа или обнаруженной неточности;

·     жесткость фиксации последовательности выдаваемых задач;

·     зависимость проведения олимпиады от технических проблем, которые могут возникнуть из-за перегруженности сервера;

·     вероятность ошибок участников, связанных с технической стороной дела, – от недостаточного знания компьютерных технологий до случайных сбоев в работе техники;

·     возникновение необходимости проведения тура с заранее не известным количеством участников при некоторых технологиях проведения соревнований;

·     опасность утечки материалов в случае, когда условия задач находятся в Интернете, хотя и в защищенном до начала соревнований виде;

·     невозможность верификации личного участия и вероятность фальсификации результатов;

·     трудность выбора подходящего времени для одновременного проведения олимпиады во всех регионах России и вероятность появления неравноценных вариантов заданий.

Для сохранения достоинств и максимального устранения недостатков требуется создать адекватные информационные среды, обеспечивающие участие в дистанционных соревнованиях – от ЕГЭ и олимпиад вузов до исследовательских конкурсов и чемпионатов мира Association for Computing Machinery (ACM) по программированию. Корректная постановка задач по созданию таких информационных сред требует четкой классификации типов научных соревнований с автоматизированной обработкой решений [2]. Классификационные признаки могут относиться к различным сторонам проведения научных соревнований и иметь социально-педагогический, предметный, технический и организационный аспекты.

На архитектуру информационных сред существенно влияют следующие факторы.

1. Демократизм доступа, определяемый наличием или отсутствием предварительного отбора или ценза для участников соревнований.

2. Синхронизация ключевых моментов (начало соревнований, доступ к полному варианту заданий, окончание тура и окончание соревнования, доступ к своим текущим и итоговым результатам, а также к результатам других участников, оглашение итогов).

3. Наличие равнозачитываемых вариантов с априорной декларацией унификации их трудности и количества получаемых за них баллов.

4. Возможность повторного прохождения отдельного тура (или соревнования полностью). Естественно возникающий при многократных попытках вопрос – возможное снижение баллов в зависимости от числа подходов.

5. Возможность исправления ответов и решений в рамках одной и той же соревновательной попытки.

6. Последовательность выдачи заданий (жесткая, цензовая или свободная – по выбору участника).

7. Форма ввода ответов и решений – от выбора ответа из числа предложенных, ввода числа, выражения или рисунка до эссе в свободной форме. Автоматическая проверка ограничивает тип возможных ответов и, в частности, исключает форму эссе, применяемую в ЕГЭ (часть C).

8. Обученность участников специальным формам ввода ответов и решений.

9. Способы проверки правильности решения. Это может быть сверка с правильным ответом, сравнение по признакам, тестирование на достаточном наборе тестов или проверка по формальному описанию. Проверка вручную не только включает человеческий фактор, но и накладывает ограничение на формат проведения соревнований: в этом случае проверка, подведение итогов и оглашение результатов откладываются на значительный срок.

Факторы 7–9, связанные с вводом и проверкой решений, позволяют сделать следующий вывод: для полноценного проведения соревнований и тестирований разных типов требуется система, поддерживающая максимально разнообразное количество способов ввода решений и последующих методов проверки, способная расширяться путем добавления новых модулей ввода и проверки.

10. Интеллектуальная обработка решений, предполагающая реакцию на неверные и неполные решения.

11. Организация диалога и имитация устного собеседования с участником.

12. On-line диагностика ответов и решений. При ограниченности технических ресурсов предоставление такой диагностики участникам соревнований может носить цензовый характер, то есть касаться узкого круга участников соревнований, прошедших, выражаясь спортивным языком, квалификацию.

Кроме того, на архитектуру могут влиять средства стимулирования активности участников и способы подсчета баллов и оглашения итогов.

13.     Оперативная информация о результатах участника.

14.     Оперативная информация об индивидуальных результатах других участников.

15.     Результаты по отдельным задачам (то есть количество участников или команд, решивших это задание).

16.     Различные способы подсчета баллов: от априорной оценки трудности заданий до связи цены задачи с количеством не решивших ее участников.

17.     Штрафы за количество попыток решения задачи и количество прохождений тура.

18.     Оглашение итогов текущей деятельности участника. Степень подробности может варьироваться от простого сообщения, решена задача или нет, до развернутого анализа (в обучающих системах) навыков, сильных и слабых мест, выдачи рекомендаций и т.д.

Использование опций, формирующих тип соревнования и соответствующей ему информационной среды, должно соответствовать цели проведения конкретных научных соревнований (от учебно-тренировочных до рейтинговых). Заметим, что не любое сочетание классификационных признаков порождает реализуемый тип соревнования, так как выбор опций не является независимым.

Естественно, система проведения соревнований должна удовлетворять современным требованиям, предъявляемым к информационно-комму­никационным системам: быть платформонезависимой, иметь web-интерфейс и пр. Кроме того, архитектура автоматизированной системы проведения научных соревнований должна обеспечить выполнение таких требований, как

-    поддержка продуктивной деятельности участников, решение творческих задач;

-    обеспечение преемственности с традиционной системой соревнований;

-    использование наработанных задач и форм проведения научных соревнований;

-    разделение предметной сферы деятельности ученика (взаимодействие со средой задачи) и дидактической составляющей, связанной с организацией проведения соревнований [3, 4];

-    автоматизация процессов регистрации, диалога, проверки, обеспечения регламента соревнований.

Это означает, что требуются блоки:

·     для поддержки необходимой операционной среды задачи и ведения диалога с участником (или обучаемым), который входит в состав клиентской части системы и поддерживает взаимодействие ученика с задачей, предоставляя интерфейс, специфичный для данного типа задач;

·     для верификации решения задачи, который входит в состав серверной части системы и отвечает за обработку решения, полученного в процессе взаимодействия ученика со средой задачи;

·     для поддержки регламента соревнования и всех процессов, относящихся к проведению научного соревнования.

Выделение первых двух блоков в отдельную подсистему позволяет сделать систему открытой, постепенно наращивая количество разнообразных модулей, соответствующих различным типам задач, используемых в дистанционных конкурсах. Эта подсистема позволяет соединять в одном соревновании всевозможные задания, от тестовых вопросов с простой формой ответа до задач со сложной структурой ответа.

Третий блок, блок управления соревнованием, формирует регламент участника, исполнение которого поддерживается системой автоматически; в этом блоке осуществляются администрирование банков задач и соревнований, управление правами на участие в соревнованиях, выдача участникам условий задач и модулей для поддержки решения задач, хронометраж, передача решений участников модулям проверки решений, составление таблицы результатов, сохранение истории отосланных решений, публикация результатов соревнования в соответствии с правами на просмотр.

Взаимодействие блоков должно предусматривать минимальный набор возможностей системы:

-    управление правами на участие в соревновании;

-    выдача участникам условий задач и модулей для ввода ответов и решений задач в соответствии с регламентом участника;

-    хронометраж и синхронизация ключевых моментов соревнования;

-    перенаправление решений участников соответствующим модулям проверки решений и составление итоговых таблиц результатов соревнований по принятой системе оценок;

-    сохранение истории отосланных решений;

-    выдача результатов соревнования в соответствии с правами на просмотр;

-    администрирование банков задач и видов соревнований;

-    дополнительный выбор классификационных опций.

Отдельно можно предусмотреть общение участников соревнований с жюри и рассылку информации о соревнованиях, проведение ознакомительных и тренировочных туров, обучение и подготовку участников соревнований и т.д.

В данной работе рассмотрены возможности, которые в общем случае должна иметь система проведения удаленных соревнований. Основными требованиями к такой системе являются поддержка большого количества методов ввода и проверки решений [5] с возможностью расширения количества соответствующих модулей и поддержка различных регламентов проведения соревнования. Широкие возможности системы, конечно, делают полноценную работу с ней доступной только для технических специалистов. Например, модули ввода решений в принципе могут быть созданы только программистами. Но если система уже создана и настроена, программисты реализовали модули ввода и проверки, создана среда автоматической генерации задач, то пользоваться результатом сможет уже широкий круг преподавателей вузов, учителей и методистов.

Литература

1. Максимов Д.В., Рукшин С.Е. Достоинства и недостатки интернет-олимпиад / В сб.: Некоторые актуальные проблемы

современной математики и математического образования. СПб: БАН, 2010. С. 140–142.

2. Рукшин С.Е. Классификация типов научных соревнований с автоматической обработкой решений // Науч.-технич. вест. СПбГУ ИТМО. 2010. № 3. С. 121–125.

3. Башмаков М.И., Поздняков С.Н., Резник Н.А. Информационная среда обучения. СПб: «Свет», 1997.

4. Ivanov S., Pozdnyakov S. Computers in productive teaching of mathematics or how information technologies can support intellectual freedom of the learner. The 10-th International Congress on Mathematical Education, National presentation: Russia, Selected materials, Copenhagen, Denmark, July 4–11, 2004, pp. 115–124.

5. Рукшин С.Е. О технологиях автоматической проверки решений математических задач / В сб.: Некоторые актуальные проблемы современной математики и математического образования. СПб: БАН, 2010. С. 142–147.