Программные продукты и системы

Экспертиза – это исследование и установление таких фактов и обстоятельств, для выяснения которых необходимо привлечение специальных знаний, которыми обладают наиболее компетентные в отношении объекта экспертизы люди – эксперты. В настоящее время сложилась технология согласования их позиций и обработки полученной экспертной информации для количественной оценки объекта экспертизы [1]. Однако зачастую в экспертном сообществе существуют настолько различные взгляды на объект экспертизы и, соответственно, методы его количественной оценки, что их не удается объединить в рамках традиционно понимаемой экспертной процедуры.

В то же время, поскольку объект экспертизы един, необходимо разработать технологию, которая позволила бы в максимально возможной степени согласовать оценки, полученные по различным экспертным методикам.

Назовем такую согласованную экспертизу многокомпонентной (схема представлена на рисунке 1).

Ее особенность состоит в том, что обработку сведений, полученных от экспертов в различных компонентах экспертизы, предлагается проводить, используя единый аппарат многокритериальной оптимизации – ПРИНН [2]. Он позволяет рассматривать результаты ответов экспертов на вопросы экспертной анкеты в качестве значений некоторых критериев и рассчитывать комплексное значение оцениваемых экспертами параметров объекта в зависимости от ответов экспертов и степени их авторитетности (так называемой политики выбора). Поскольку каждый из компонентов экспертизы обладает некоторой неопределенностью (разноречивостью экспертных оценок внутри компонента), можно частично использовать ее для согласования итоговых оценок объекта, полученных в рамках отдельных компонентов экспертизы. Для учета этой неопределенности используется аппарат нечетких множеств Заде. Соответственно, многокомпонентную экспертизу характеризуют следующие параметры: степень определенности экспертиз по отдельным компонентам OS, степень соответствия многокомпонентной экспертизы максимально вероятным оценкам экспертов Kexp, степень отклонения целевых параметров объекта экспертизы, рассчитанных по различным ее компонентам, на базе обучающей совокупности Kres и соответствующий коэффициент корреляции Kcorr:

,

,

,

.

Здесь S, K – номера компонентов многокомпонентной экспертизы; hS – количество вопросов анкеты; t – номер вопроса в анкете; VtS – количество элементов множества ответов на вопрос t анкеты; r – номер ответа на вопрос t; qSt – номер ответа на вопрос t, принятый в текущем алгоритме обработки результатов компонента экспертизы; i – номер объекта обучающей совокупности; m – количество объектов обучающей совокупности; QS, QK – вектор уровней значимости вопросов анкеты эксперта K-го компонента экспертизы.

Разработан программный комплекс, реализующий описанную технологию многокомпонентной экспертизы. Оптимальное согласование политик выбора отдельных компонент осуществляется методом ограниченного перебора.

Результаты использования этого комплекса при проведении многокомпонентной экспертизы творческих компетенций студентов, обучаемых по специальности 230201 – Информационные системы и технологии, отражены на рисунке 2. Экспертиза содержала два компонента: оценка конкретных знаний, умений и навыков, которыми обладают обучаемые, и оценка результатов их деятельности (выполненных исследовательских работ). Для многокомпонентной экспертизы степень соответствия максимально вероятным оценкам экспертов составила 43–80 %. Обучающая совокупность включала 45 студентов старших курсов факультета информационных систем и технологий Самарского государственного архитектурно-строительного университета, контингент студентов, на котором проводилась экспертиза, составлял 114 человек.

Результаты, представленные на рисунке 2, показывают, как и следовало ожидать, что компетентность студентов-информационников в таких сугубо творческих функциях, как поиск проблемы и формирование основных идей по ее решению, а также синтез результатов деятельности, ниже, чем в таких более рутинных функциях, как реализация плановых заданий, их оформление и защита. В то же время все компетенции в достаточной мере сбалансированы. Это, в частности, является следствием того, что в процессе управления развитием творческих компетенций студентов при выполнении ими серии курсовых работ и проектов руководители использовали многокомпонентную экспертизу и целенаправленно развивали отстающие компетенции обучаемых.

Литература

1.   Литвак Б.Г. Экспертные технологии в управлении. М.: Дело, 2004.

2.   Смирнов О.Л., Падалко С.Н., Пиявский С.А. САПР: формирование и функционирование проектных модулей. М.: Машиностроение, 1987.