Программные продукты и системы

С.А.Пиявским ([1]-[3]) предложена новая образовательная технология управляемого развития научных способностей. Ядром технологии и ее основным отличием от других является блок моделирования. Этот блок основывается на математической модели развития одаренности, разделяющей научные способности на 36 отдельных элементов по функциям и уровням исследовательской деятельности. Разделение по функциям примерно соответствует последовательности решения любой научной задачи.  Таких функций  девять: поиск тематики (1), постановка задачи (2), формирование идеи и плана решения (3), выбор и освоение обеспечения (4), реализация отдельных элементов плана решения задачи (5), синтез результатов (6), оформление результатов (7), защита (8), внутренняя критика (9).  Разделение по уровням характеризует  сложность научной задачи. Уровней  исследовательской деятельности четыре - фрагментов (1), задач (2), проблем (3) и направлений (4). Таким образом, уровень научных способностей в целом характеризуется совокупностью значений, задающих степень выраженности у личности каждого из 36 элементов научной квалификации

В [2] описывается создание программного обеспечения этой технологии, состоящего из четырех взаимосвязанных частей (блоков): тестирования, мониторинга, моделирования и управления. Ядром технологии является подробно описанный в [2] блок моделирования. В настоящей статье рассматривается другой важнейший блок технологии – блок тестирования. Его основное назначение состоит в определении исходных данных для блока моделирования. Соответственно, главная его особенность состоит в том, что он должен измерять уровень научной квалификации личности по 36 составляющим элементам.

Блок тестирования организован следующим образом. Его центральной частью является банк тестовых вопросов. Вопросы разделяются на три группы:

·    вопросы тестируемому, правильность ответа на которые оценивается автоматически. Это вопросы, ответ на которые может быть представлен как выбор из вариантов или как число.

·    вопросы тестируемому, правильность ответа на которые оценивается  экспертом. Это вопросы, ответ на которые может быть представлен только в виде текста и, соответственно, не может быть оценен компьютером.

·    вопросы эксперту. Это вопросы о тестируемом, задаваемые эксперту и предназначенные для контроля. Например, сюда могут входить вопросы такие, как: “Оцените знания студента по строительной механике”.

Используются вопросы следующих типов:

1. Вопрос с единичным выбором вариантов, среди которых только один -    правильный.

2. Вопрос с единичным выбором вариантов, расположенных в виде качественной шкалы.

3. Вопрос с количественным ответом для сверки с правильным. Аналогичен типу 1.

4. Вопрос с количественным ответом, оцениваемым по линейной шкале.

5. Вопрос с количественным ответом, оцениваемым по логарифмической шкале.

6. Вопрос с множественным выбором вариантов, проверяемый на правильность набора.

7. Вопрос с множественным выбором вариантов, оцениваемый по сумме выбранных.

8. Вопрос, предусматривающий текстовый ответ. Оценивается экспертом. Оценка качественная.

Алгоритм тестирования

Предлагается следующий  алгоритм оценки уровня квалификации по отдельному элементу исследовательской деятельности на основе обработки ответов тестируемого и эксперта на соответствующие вопросы.

Введем обозначения:

N - число вопросов, влияющих на данный элемент

Ri - оценка правильности ответа тестируемого на вопрос i, i = 1..N

Rimax – максимально возможная оценка правильности ответа на вопрос i, i = 1..N

Ci- приведенная оценка правильности ответа на вопрос i, i = 1..N,

Pi – оценка, показывающая, насколько полно данный вопрос характеризует содержание соответствующего элемента научной квалификации. Например, знание иностранных языков сильно характеризует квалификацию по функции освоения обеспечивающих элементов, но практически не влияет на квалификацию по функции синтеза.

Psum – требуемая полнота представления данного элемента исследовательской деятельности совокупностью вопросов, содержащихся в базе вопросов системы.

E – промежуточное значение уровня квалификации тестируемого в отношении соответствующего элемента исследовательской деятельности,

Xdef – опорное значение уровня квалификации тестируемого в отношении соответствующего элемента исследовательской деятельности; задается экспертно для всего контингента тестируемых

Xmin и Xmax – уровни квалификации тестируемого, соответствующие наихудшим и наилучшим вариантам ответа на все вопросы

X - итоговое значение уровня квалификации тестируемого в отношении соответствующего элемента исследовательской деятельности,

Исходными данными здесь являются оценки Ri , максимальные оценки Rimax, важности Pi , общая важность Psum и “средняя” квалификация Xdef .

Согласно формулам ПРИНН [1],[3]:

- приведенные оценки правильности ответов

, i=1..N - в случае качественных оценок

, i=1..N - в случае количественных оценок

- промежуточное значение уровня квалификации тестируемого

- значение квалификации, соответствующее наихудшим ответам на вопросы (при E = 0)

- значение квалификации, соответствующее наилучшим ответам на вопросы (при E = 1)

- итоговое значение квалификации

Описание программной системы

Описанный выше подход был реализован в виде программы тестирования. В программу также заложены функции создания базы вопросов. Программа написана в среде быстрой разработки Borland Delphi 3 для Windows 95 [4, 8]. Программа обладает развитым диалоговым интерфейсом и позволяет вести работу в трех режимах - тестируемого, эксперта и администратора.

Режим тестируемого имеет две функции - ответ на вопрос и просмотр результатов. Человек, вошедший в систему в качестве тестируемого, вначале отвечает на задаваемые вопросы. Затем, после того, как эксперт оценит его ответы, тестируемый может просмотреть результаты (в виде распределения научной квалификации по 36 элементам и интегральную характеристику).

В режиме эксперта имеется возможности просмотра и оценки им любых анкет. При этом эксперт отвечает на предъявляемые ему вопросы о тестируемом, а также оценивает ответы тестируемого на ряд вопросов, предполагающих такую оценку.

Самый обширный режим программы - режим администратора. Задача администратора - выполнять служебные функции (регулирование доступа экспертов и тестируемых, ведение списка анкет и т.д.) и, самое главное - создавать, изменять, дополнять базы вопросов. Администратор может вводить вопросы и настраивать параметры, характеризующие их влияние на элементы квалификации, прогнозировать результат расчета при различных вариантах ответа. Также администратору предоставлены средства для определения степени заполнения базы вопросов и ее “слабых мест”, т.е. элементов квалификации, недостаточно охваченных вопросами.

В программе имеются средства для вывода на печать разнообразных сведений как об анкетах тестируемых, так и о базе вопросов.

База вопросов, результаты тестирования и настройки программы хранятся в 7 файлах формата dbf.

Особенности формирования базы вопросов

Оценить степень влияния вопроса на различные элементы квалификации достаточно сложно. Поэтому ниже предлагается методика их формирования. Она иллюстрируется на примере формирования базы вопросов для оценки научной квалификации бакалавров наук по направлению “Строительство”, специализация “Основания и фундаменты”.

Все способности человека предлагается разбить на 3 группы: общие (не зависящие от научной деятельности), специальные инвариантные (для любой области научной деятельности) и специальные профессионально-ориентированные (для конкретной области научной деятельности). Каждая из групп может быть разбита на подгруппы и для каждой подгруппы определено влияние на элементы квалификации. Тогда для вопроса, определяющего способность по конкретной подгруппе, сразу можно определить и влияние на элементы квалификации. Например, подгруппа “Знание компьютерных технологий” больше всего влияет на квалификацию по функциям реализации и оформления. Тогда вопрос: “Оцените свои знания AutoCAD” будет влиять на квалификацию таким же образом. Для некоторых вопросов, которые можно отнести одновременно к двум подгруппам, влияние на элементы квалификации определяется сложением влияний двух подгрупп.

Список подгрупп способностей, а также их влияний на элементы квалификации, который может использоваться достаточно широко, приведен ниже (в скобках указаны зависимые функции научной квалификации, перечисленные в начале данной статьи).

Список подгрупп общих способностей: интеллект (все функции), креативность (все функции), способность к критическому анализу (1, 3, 9) , трудолюбие (4,5,7), скорость мышления (4,5,8), способность переключения между задачами (3), умение докладывать (8).

Список подгрупп специальных инвариантных способностей: Умение работать с литературой (1,3,4), знание математики (4,5,6), Знание компьютерных технологий (4-8), знание оформительских технологий (7), Умение писать статьи (8), Научные связи (для студентов и магистров - связи научного руководителя) (1), Языковая подготовка (1,4,7,8).

Список подгрупп специальных профессионально-ориентированных способностей: знание истории дисциплины (1), знание основных понятий (2,4-6), знание смежных дисциплин (4-6), знание конкретных терминов, законов, формул и т.п. (4,5), связь с практикой (1,5,8), связь с наукой (1,4-8).

При формировании базы вопросов наибольший акцент необходимо делать на формулирование вопросов, раскрывающих группу профессионально-ориентированных способностей. Для человека, не являющегося специалистом в нужной области, при формировании подобных вопросов необходим ряд источников информации. В данной работе при создании базы вопросов по в области “Основания и фундаменты” нами были использованы публикации в центральной печати, учебная литература ([7]), нормативная литература, справочная литература. документы по сертификации специалистов и фирм, учебно-методический комплекс дисциплин, консультации специалиста.

Этот набор источников также можно порекомендовать для других областей науки.

В первую очередь нужно поставить вопросы, оценивающие знания истории дисциплины, основных понятий и законов, смежных дисциплин и конкретных формул, законов понятий. Для оценки необходимо сформировать множество понятий и терминов, характеризующее текущее состояние в области. Для этой цели можно использовать в качестве основного источника публикации в центральной печати. Также возможно использование экзаменационных вопросов по соответствующим дисциплинам.

В качестве примера, при формировании базы вопросов по фундаментостроению нами было проанализировано около 40 статей из [5]. При этом предпочтение отдавалось терминам с большим числом упоминаний. Распределение терминов и вопросов по разделам отражено в ниже (в скобках – число упоминаний): Геология (18); Механика грунтов – классификация (40), физические свойства (49), механические свойства (30), прочие свойства (32), напряжения и деформации (37); Основания и фундаменты -  фундаменты мелкого заложения (8), свайные фундаменты (23), инженерные методы (44), механизмы (13); Строительная механика, теория упругости, сопромат (15); Математика (25). 

Помимо вопросов, оценивающих знание понятий, терминов, законов, в базе должны присутствовать вопросы, характеризующие связь тестируемого с практикой и с наукой. Эти вопросы могут быть сформированы на основе документов о сертификации (например, [6]). Вопросы должны ставиться таким образом, чтобы определить, удовлетворяет ли тестируемый требованиям сертификации. Так, в число специальных инвариантных способностей входит знание математики. В данной базе, учитывая специфику основной области - фундаментостроения, математические вопросы посвящены проверке знания теории вероятностей и математической статистики.

C использованием описанных выше рекомендаций сформирована база вопросов для оценки научной квалификации бакалавров наук по направлению “Строительство”, специализация “Основания и фундаменты”, включающая 91 вопрос. Из них:

- 3 вопроса задаются эксперту

- 22 вопроса требуют оценки эксперта

- 52 вопроса требуют выбора единственного правильного ответа

- 4 вопросов требуют ответа текстом.

Влияние вопросов на элементы квалификации можно увидеть с помощью средств создания базы вопросов. На рис. 1 приведен экран, сформированный программой, который показывает, насколько полно тест определяет различные элементы квалификации.

Из рис. 1 видно, что разработанная база вопросов позволяет наиболее полно определять квалификацию на двух первых уровнях научной деятельности. Два верхних уровня научной деятельности в этом тесте слабо охвачены вопросами, что закономерно, так как тест разрабатывался для оценки квалификации студентов и магистров. Недостатком базы вопросов в ее текущем состоянии является слабый охват функций формирования идей и самокритики.

Созданное программное обеспечение и база вопросов использовались для определения квалификации около 25 студентов четвертого и пятого курсов. На данном этапе обучения разброс квалификации оказался небольшим: от 0.15 до 0.22.

Рассмотрим в качестве примера квалификацию одного из протестированных студентов (см. рис. 2). Общая его квалификация равна 0.22, что показывает, что он еще не является подготовленным специалистом в области фундаментостроения. Тем не менее, он в достаточной степени способен выполнять функции освоения обеспечивающих элементов, реализации фрагментов, синтеза и оформления. Квалификация по функции реализации имеет высокое значение даже на уровне направлений.

Слабыми местами студента являются функции поиска задачи, формирования идей, защиты и самокритики. Также недостаточно сильно развита функция постановки задачи.

Таким образом, созданное программное обеспечение позволило не только оценить уровень подготовки студентов, но и определить структуру их квалификации.

 Направления дальнейшего развития.

Реализованное программное обеспечение может в дальнейшем стать частью целостной системы программного обеспечения новой образовательной технологии, разрабатываемой на кафедре ПМиВТ СамГАСА. В эту систему войдут блоки математического моделирования, тестирования и мониторинга. Таким образом, моделирование развития научных способностей можно будет производить с обратной связью, индивидуально корректируя стратегию развития в зависимости от уже достигнутых результатов.

Система тестирования также может быть внедрена в качестве дополнения к стандартной системе оценки уровня подготовки.

Список литературы

1.С.А. Пиявский. Оптимальное управление развитием научных способностей школьников и студентов. Самара, СамГАСА, 1998.

2.       С.А.Пиявский, Д.Е.Кадочкин. Программное обеспечение образовательной технологии развития одаренности. “Программные продукты и системы”, 1998, 2.

3.        О.П.Смирнов, С.Н.Падалко, С.А.Пиявский. САПР: Формирование и функционирование проектных модулей. Москва, Машиностроение, 1987.

4.        Borland Pascal with Objects. Version 7.0. Language guide. -Borland International, Inc., 1992.

5.        Журнал “Основания и фундаменты” (1998, 1997, 1994, 1991 гг.)

6.       Реестр РНКМГиФ “Лучшие фирмы и организации, работающие в области фундаментостроения”. Российский национальный комитет по механике грунтов и фундаментостроению, Москва, 1997.

7.       С.Б.Ухов и др. Механика грунтов, основания и фундаменты: Учебник. М, 1994.

8.       Ч. Калверт. Delphi 2. Энциклопедия пользователя. Киев, НИПФ “ДиаСофт Лтд.”, 1996.