ISSN 0236-235X (P)
ISSN 2311-2735 (E)

Journal influence

Higher Attestation Commission (VAK) - К1 quartile
Russian Science Citation Index (RSCI)

Bookmark

Next issue

2
Publication date:
16 June 2024

A questionnaire information system “Apofasi”

Date of submission article: 11.12.2013
UDC: 004.457
The article was published in issue no. № 4, 2014 [ pp. 222-228 ]
Abstract:The article describes the software that implements data processing and analysis of expert interviews for predictive estimate of economic and social systems reactions on the possible control actions. Existing software prod-ucts for data collecting and processing have drawbacks when calculating the predictive estimate of economic and so-cial systems reactions based on processing and analyzing data obtained from the expert interview. As a result, there is low information awareness because of frequent processing of semantically equivalent information, a large quantity of empty rated values in the hypercube tables. That’s why there is no possibilit y to perform data analysis which is not foreseen by a questionnaire plan. What’s more important, the expert’s confidence in each answer choice is not taken into consideration. Moreover experts’ opinions are not fully analyzed because they can be different in confidence level of predictive estimate for system reaction to the possible management actions. In order to eliminate the mentioned di s-advantages, a processing approach to the questionnaire procedure has been developed. This approach is different b e-cause it includes processes of extra analyzing of the expert estimation results with multivariate analysis to take the best managing decision.
Аннотация:В статье описывается ПО, реализующее обработку и анализ данных экспертных опросов для получения прогнозной оценки реакций социально-экономических систем на возможные управляющие воздействия. Существующие программные продукты сбора и обработки данных имеют «упущения» при расчете прогнозной оценки реакций социально-экономических систем, основанной на обработке и анализе информации, полученной в ходе экспертного опроса. Следствием этих недостатков является низкая информативность данных, так как зачастую обрабатывается семантически эквивалентная информация, присутствует большое количество пустых значений показателей в таблицах гиперкубов, отсутствует возможность проведения анализа данных, не предусмотренного планом анкетирования, не учитывается степень уверенности эксперта в каждом из вариантов ответа, а также недостаточно полно и точно взвешиваются мнения экспертов, имеющие несколько различающихся по степени уверенности прогнозных оценок реакции системы на возможные управляющие воздействия. С целью устранения перечисленных недостатков разработан процессный подход к процедуре анкетирования, отличающийся от существующих наличием дополнительной обработки результатов экспертного оценивания при проведении их многомерного анализа с целью принятия управленческих решений.
Authors: Kamaev V.A. (kamaev@cad. vstu.ru) - Volgograd State Technical University, Volgograd, Russia, Ph.D, Melikov A.V. (AlexeyV.Melikov@yandex.ru) - Voronov Penza Artillery Engineering Institute Ministry of Defense of the Russian Federation, Penza, Russia, Ph.D
Keywords: questionnaire informational system, multidimensional data model, the theory of counts, data warehouse, economic and social system, predictive estimate, fuzzy sets theory, expert information
Page views: 9971
Print version
Full issue in PDF (6.61Mb)
Download the cover in PDF (0.95Мб)

Font size:       Font:

Предлагаемая информационная система анкетирования (ИСА) «Апофаси» представляет собой ПО для получения прогнозной оценки реакций социально-экономической системы (СЭС) (Свид. о регистр. электронного ресурса № 17686 от 14.12.2011 г., авторы: Меликов А.В., Макарычев П.П.) на возможные управляющие воздействия с использованием web-технологий в режиме удаленного доступа [1].

 

Сложность управления СЭС обусловлена сильным влиянием случайных факторов на объект управления (ОУ), малой изученностью реакций ОУ на конкретные управляющие воздействия, наличием значительного синергетического эффекта, а также трудностями в организации мониторинга поведения таких систем. Кроме того, в СЭС присутствует антропогенный фактор, имеющий по своей природе нестатистический характер. Все это не позволяет в должной мере изучать процессы, происходящие в СЭС, методами математической статистики, затрудняет оценку репрезентативности выборки и исследование поведения системы при изменении параметров прогнозируемого объекта, что в совокупности приводит к значительным погрешностям получаемых прогнозных оценок в задачах управления СЭС. Поэтому при управлении СЭС используют методы экспертного оценивания (ЭО), следовательно, от того, какими способами были проведены сбор и обработка экспертной информации (ЭИ), будет зависеть достоверность полученной прогнозной оценки реакций СЭС на возможное управляющее воздействие.

На основании анализа существующих программных продуктов сбора и обработки данных («Analysis Services» и «Excel» компании Microsoft, «Data Mining» компании Oracle, «Deductor» компании BaseGroup и web-сервисов, таких как «ProstOpros» и «WebAnketa») были выявлены недостатки в обработке и анализе ЭИ, следствием которых является низкая информативность данных, так как не учтена степень уверенности эксперта в каждом из вариантов ответа; недостаточно полно и точно взвешены мнения экспертов, имеющие несколько различающихся по степени уверенности прогнозных оценок реакции СЭС на возможные управляющие воздействия [2].

Следующий шаг для достижения намеченной цели заключался в разработке процессного подхода к процедуре анкетирования (рис. 1), отличающегося от существующих наличием процессов дополнительной обработки результатов ЭО при проведении их многомерного анализа с целью принятия управленческих решений. ЭИ, собранная системой анкетирования, преобразуется в агрегированные данные многомерного хранилища, при анализе которых проверяется уровень значимости атрибутов экспертов, влияющих на компетентность в предметной области, и учитывается степень уверенности эксперта в каждом из вариантов ответа, что позволяет повысить информативность выводов, получаемых в результате обработки данных экспертных опросов.

В связи с предложенным процессным подходом к процедуре анкетирования возникла необходимость разработки математической модели преобразования данных экспертных опросов из исходной БД в агрегированные данные хранилища, позволяющей обработать данные в иерархиях, изначально не предусмотренных при сборе ЭИ [3], что, в свою очередь, повысит достоверность прогнозной оценки реакций системы и, как следствие, улучшит управление СЭС в целом.

В работе для реляционных БД, используемых как исходные данные для гиперкубов, определены функциональные и многозначные зависимости. Данные зависимости используются при создании иерархий многомерной модели (ММ). Поскольку схема иерархий – это ориентированный ациклический и слабо связанный граф, для функциональной зависимости, где атрибуты из множества D располагаются в иерархии выше атрибутов из множества C, так как различные значения C определяют одинаковое значение D, добавляется дуга , а для многозначной зависимости, где атрибуты из C располагаются в иерархии выше атрибутов из D È E, так как при существовании двух кортежей, совпадающих по C, существуют еще два кортежа с тем же значением C, добавляется дуга . Таким образом, в граф H добавляют- ся вершины для атрибутов из множества L, отсутствующих в схеме иерархий в качестве вершин (рис. 2) [4].

Одним из условий эффективной организации данных является снижение занимаемого объема памяти на дисковом пространстве ЭВМ. Вес гиперкуба G – его размерность, помноженная на количество конкретных для него показателей: VG = k1 ´ k2 ´ …´ kn ´ m, где m – количество определенных для гиперкуба показателей g; ki – количество значений по измерению fi (i = 1, 2, …, n).

При снижении количества пустых (нулевых) значений показателей, то есть при увеличении плотности гиперкуба, модель организации данных становится улучшенной. Пусть один из показателей в срезе гиперкуба равен 0. Тогда имеет место следующее разложение исходного гиперкуба, которое записывается в виде суммы нескольких гиперкубов меньших размерностей:

В результате получается, что суммарный вес разложения меньше веса исходного гиперкуба. Для достижения максимального улучшения модели данная процедура проводится итерационно по другим измерениям гиперкубов до исчезновения срезов, вырожденных по показателю [5].

При построении моделей запросов формируются схемы отношений, описывающие одну таблицу хранилища данных (ХД). Посредством объединения атрибутов однотипных схем отношений задается произвольная совокупность многоместных отношений, выраженных в специфической структуре, называемой C-системой (S[XYZ]), которая описывает структуру ХД. В применении к описанию структуры ХД построенной модели C-система имеет вид , где F, K, P, R, T – измерения. В результате транзитивного замыкания (рис. 3) получается:

.

Так, для формируемых C-систем выполняются аксиомы матроидов, что позволяет представить схему ХД в виде классификации подмножеств исходного множества, представляющей собой обобщение идеи независимости элементов. Такое представление структуры ХД позволяет решить задачу уменьшения диаметра графа с использованием «жадного» алгоритма [6]. Максимальная длина дуги графа – вычисленная из выражения r(vi)=maxjd(vi, vj), где d – элементы графа D(G) с расстояниями vi, vj (i, j = 1, 2, …, n, n – количество вершин графа) – не превышает его диаметра (рис. 4).

Такое представление многомерной модели данных, во-первых, обеспечивает их надежное и компактное хранение в сложных информационных структурах и возможность выделения значимой информации в процессе обработки данных, что в совокупности повышает эффективность обработки ЭИ и, как результат, достоверность прогнозной оценки реакций СЭС, во-вторых, способствует проектированию на ее основе адаптивной, интегрируемой и динамичной ИСА.

После обоснования многомерной логической схемы данных в информационной системе была разработана методика анализа данных, собранных в ходе экспертного опроса, на основе теории нечетких множеств. Методика учитывает степень уверенности эксперта в каждом из вариантов ответа и позволяет получить более полную и точную взвешенную обобщенную прогнозную оценку реакций СЭС на возможные управляющие воздействия. Она состоит из следующих шагов: получение интегральной оценки, получение ЭИ, определение степени компетентности экспертов, получение обобщенного мнения экспертной группы, получение однозначного количественного результата опроса [7].

Остановимся на наиболее интересных моментах разработанной методики анализа данных. Итак, на шаге 1 применяется метод анализа иерархий [8]. Преимуществом применения иерархической структуры для анализа данных являются возможности разделения проблемы на составные задачи и фокусирования на интерпретации результатов отдельно анализируемой составляющей (рис. 5).

На шаге 2 эксперт производит выбор нескольких количественных оценок, которые включены в анкету и соответствуют его пониманию выбранного ответа. Для облегчения процесса задания степени уверенности в ответах на поставленные вопросы эксперты используют вербально-числовую шкалу Харрингтона (табл. 1).

Каждому вопросу P ставится в соответствие лингвистическая переменная  значениями которой являются варианты ответов , где J i – количество вариантов ответа на i-й вопрос. Значение лингвистической переменной описывается в виде нечеткого множества, которое задается на базовом (четком) множестве действительных чисел , где s – весь возможный диапазон оценок лингвистической переменной Li. Результат сопоставления каждой оценки из вышеприведенного множества с количественным показателем степени уверенности – значение функции принадлежности, задаваемой вектором-строкой:  .

Однако сформировать группу экспертов одинаковой компетентности на практике весьма трудно. В связи с этим необходимо определить степень компетентности каждого эксперта и учесть ее при анализе ЭИ и получении обобщенной прогнозной оценки [9].

Таблица 1

Ответ k-го эксперта на целевой i-й вопрос анкеты

Table 1

The answer of k-th expert for the objective i-th question

№ эксперта

Возможные значения изменения показателя эффективности, %

–75

–50

–25

0

25

50

75

1

0

0

0

0,3

1,0

0,8

0

Примечание: жирным шрифтом выделена высокая вероятность повышения показателя эффективности наполовину.

На шаге 3 для выявления вспомогательных характеристик в инструментарий экспертного опроса включается соответствующее множество дополнительных вопросов  Каждому вопросу Dn ставится в соответствие множество дополнительных ответов  Для преобразования ответов экспертов на дополнительные вопросы в количественные коэффициенты компетентности каждому -му варианту ответа на Dn-й вопрос ставится в соответствие положительный коэффициент   Величина данного коэффициента зависит от номера варианта ответа на дополнительный вопрос. В результате выбор k-м экспертом однозначно определяет некоторый коэффициент из множества , который обозначается через . Эта величина зависит от всех ответов на дополнительные вопросы. Влияние уровня компетентности эксперта на нечеткую количественную меру реализуется путем выполнения операции «размывания» по следующему правилу: .

Для повышения точности прогнозной оценки реакций СЭС рассчитывается уровень компетентности экспертов для каждого дополнительного вопроса анкеты, включенного в инструментарий экспертного опроса, то есть определяются веса влияния каждой характеристики на компетентность эксперта. Проверка отличия характеристик экспертов осуществляется с помощью дисперсионного анализа (F-критерий), проводимого перед применением метода K-средних. Таким образом выявляются значимые характеристики экспертов в каждом кластере. Если p(F) меньше уровня значимости a, то нулевая гипотеза отвергается, в противном случае принимается (табл. 2).

Таблица 2

Значимые характеристики экспертов

Table 2

Experts significant features

Характеристики (Ch) экспертов

F-критерий

p-значение

Ch1

4,29

< 0,01

Ch2

1,18

> 0,05

Chw

5

< 0,01

При получении весов влияния характеристик на компетентность экспертов используется модифицированный метод нестрогого ранжирования, с помощью которого определяются обобщенные на случай предпочтения/безразличия атрибуты по отношению друг к другу веса Фишберна, обозначенные через Fbi:

где » – отношение безразличия; > – отношение предпочтения. В качестве модели при оценке реакций СЭС на управляющие воздействия Rctn принимается кортеж, в котором система отношений предпочтения одних атрибутов другим по степени их влияния на компетентность Km: Rctn =, где Gr – ориентированный граф, имеющий одну корневую вершину и не содержащий петель и горизонтальных ребер в пределах одного уровня иерархий; Atr – набор ка- чественных оценок уровней каждого атрибута в иерархии; E – система отношений предпочтения атрибутов по степени их влияния на компетентность:  где Atrbi и Atrbj – атрибуты i-й и j-й вершин одного уровня иерархии. Наложение системы отношений предпочтения/безразличия на фрагмент графа показано на рисунке 6 [10].

Шаг 4 сводится к получению обобщенного мнения экспертной группы. В результате опроса множества всех экспертов  для каждого i-го вопроса анкеты получается K нечетких количественных мер  которые учитывают степени компетентности опрашиваемых экспертов. Нечеткое множество, характеризующее обобщенное мнение группы экспертов, определяется как пересечение нечетких мнений экспертов, имеющее функцию принадлежности,  . Применяя конъюнкцию к нечетким множествам, соответствующим ответам экспертов, получаем обобщенную нечеткую оцен- ку, представленную множеством наименьших операндов по результатам экспертного опроса (табл. 3).

Таблица 3

Пример обработки нечетких оценок группы экспертов

Table 3

An example of processing fuzzy values of an expert group

№ эксперта

Возможные значения изменения показателя эффективности, %

Коэф. Km

–75

–50

–25

0

25

50

75

1

0

0

0

0,3

1,0

0,8

0

1,0

2

0

0,1

0,4

1,0

0,4

0,1

0

0,3

2*

0

0,5

0,7

1,0

0,7

0,5

0

K

0

0

0,3

0,8

1,0

0,8

0

0,8

K*

0

0

0,4

0,8

1,0

0,8

0

Обобщенная

оценка

0

0

0

0,3

0,7

0,5

0

Однозначный

результат

0,7

Примечание: * – «размывание» нечеткой количественной меры.

На шаге 5 получается однозначный количественный результат опроса. Для его получения выбирается элемент, имеющий максимальное значение степени принадлежности к полученному обобщенному нечеткому множеству мнений группы экспертов:  Применяя дизъюнкцию к элементам нечеткого множества обобщенной оценки, получим однозначный количественный результат экспертного опроса, соответствующий максимальному значению операнда, который указывает на конкретный элемент базового множества Ui.

В действительности разработана математическая модель определения компетентности экспертов, позволяющая рассчитывать уровень компетентности опрашиваемого для каждого вопроса анкеты в отдельности, что способствует повышению эффективности обработки данных и точности прогноза; и методика представления ЭИ, учитывающая степень уверенности эксперта в каждом из вариантов ответа и позволяющая получить более полную и точную взвешенную обобщенную прогнозную оценку реакций СЭС на возможные управляющие воздействия.

Основываясь на построенной модели обработки данных, авторы спроектировали и реализовали ХД для Microsoft SQL Server 2008. Программные средства сбора информации, которые имеют трехуровневую архитектуру, были разработаны с использованием платформы Java EE и фреймворка Struts. Процессы извлечения, преобразования и загрузки данных реализованы как исполняемые скрипты языка php. Процедуры обработки и анализа данных реализованы с использованием математического пакета Matlab. С помощью системы компьютерной алгебры Maple была смоделирована и реализована процедура получения прогнозной оценки в задаче управления СЭС. Пользовательский интерфейс ИСА написан по технологии ASP.NET. С помощью разработанных програм- мных средств автоматизированы процессы сбора, хранения, обработки и анализа данных экспертного опроса, а также получения обобщенной прогнозной оценки мнений экспертной группы.

Основная страница ПО содержит ссылки на подсистемы ИСА и справки о ней. Структуру самой ИСА можно разбить на взаимодействие четырех модулей: общая статистика, детальная статистика, отчет, решение (рис. 7). Пользователь осуществляет попытку входа в систему, после чего получает страницу с выбором возможностей системы. Система предлагает общий просмотр статистики, адекватной выбранному пользователем временному интервалу. В детальной статистике пользователю предлагается выбрать интересующий уровень детализации. В системе возможен просмотр результатов как статистического, оперативного, так и интеллектуального анализа данных, образующих отчет. Система дает оценку прогнозного решения и обосновывает ее в подсистеме «Решение». В конце пользователь завершает работу с системой путем закрытия сессии web-браузе­ра. Система поддерживает работу на русском и английском языках.

Реализованное ПО в виде ИСА «Апофаси» успешно внедрено в Пензенском государственном университете для управления системой менеджмента качества, в администрации Железнодорожного района г. Пензы для управления деятельностью органов местного самоуправления и в ЗАО ПФК «Аттика» (г. Волгоград) для принятия управленческих решений, способствующих сокращению времени простоя технологического оборудования и повышению эффективности производства.

Литература

1.     Афонин А.Ю., Макарычев П.П. Система анкетирования на основе Web-технологий // Изв. вузов. Поволжский регион. Технические науки. 2010. № 3 (15). С. 49–56.

2.     Меликов А.В. Обработка и анализ экспертной информации для управления социально-экономическими системами: дис…канд. техн. наук. Волгоград: Изд-во ВолгГТУ, 2013. 136 с.

3.     Камаев В.А., Заболотский М.А., Полякова И.А., Тихонин А.В. Когнитивный анализ качества подготовки специалистов в вузах // Современные наукоемкие технологии. 2005. № 6. С. 26–27.

4.     Редреев П.Г. Разработка и исследование обобщенной табличной модели данных со списочными компонентами: автореф…канд. физ.-мат. наук. Челябинск: Изд-во ЮУрГУ, 2011. 16 с.

5.     Меликов А.В. Применение теории множеств для организации данных исходной реляционной базы данных // Прикаспийский журнал: управление и высокие технологии. 2011. № 4 (16). С. 16–22.

6.     Алексеев В., Таланов В. Графы и алгоритмы // ИНТУИТ. 2006; URL: http://www.intuit.ru/studies/courses/101/ 101/info (дата обращения: 11.10.2013).

7.     Камаев В.А., Меликов А.В. Анализ анкетных данных и оценки прогнозного решения на их основе к задаче управле- ния // Изв. ВолгГТУ. 2012. № 15 (102). С. 90–96.

8.     Саати Т. Принятие решений. Метод анализа иерархий. М.: Радио и связь, 1993. С. 78–87.

9.     Баранов Л.Г., Птушкин А.И., Трудов А.В. Нечеткие множества в экспертном опросе // Социология. 2004. № 19. С. 9–15.

10.  Ажмухамедов И.М. Нечеткая когнитивная модель оценки компетенций специалиста // Вестн. Астраханского гос. тех. ун-та. 2011. № 2. С. 186–190.

References

1.  Afonin A.Yu., Makarychev P.P. Web-based survey system. Izv. vuzov. Povolzhsky region. Tekhnicheskie nauki
[Univ. Proc. Volga reg. Technical Sciences]. 2010, no. 3 (15), pp. 49–56 (in Russ.).

2.  Melikov A.V.  Obrabotka i analiz ekspertnoy informatsii dlya upravleniya sotsialno-ekonomicheskimi
sistemami [Expert Data Processing and Analysis for Social and Economic Systems Management]. PhD Thesis. Volgo-grad. St. Tech. Univ. Publ., Volgograd, 2013, 136 p.

3.  Kamaev V.A., Zabolotsky M.A., Polyakova I.A., Tikhonin A.V. Cognitive quality analysis of training special-ists in universities.  Sovremennye naukoyomkie tekhnologii  [Modern  High Technologies]. Moscow, 2005, no. 6,
pp. 26–27 (in Russ.).

4.  Redreev P.G.  Razrabotka i issledovanie obobshchyonnoy tablichnoy modeli dannykh so spisochnymi
komponentami  [Development and  Research  of  Generalized Table Data Model  with  List Components].  PhD  Thesis.
South-Ural St. Univ. Publ., Chelyabinsk, 2011, 16 p.

5.  Melikov A.V. The use of set theory for the data management of the input relational database.  Prikasp.  zhurn.:
upravlenie i vysokie tekhnologii  [Caspian  Journ. Management and  High Technologies]. 2011, no. 4 (16),
pp. 16–22 (in Russ.).

6.  Alekseev V., Talanov V.  Grafy i algoritmy  [Graphs and  Algorithms]. INTUIT Publ. 2006, available at:
http://www.intuit. ru/studies/courses/101/101/info (accessed October 11, 2013).

7.  Kamaev V.A., Melikov A.V. Analysis of questionnaire data and  estimation of a predictive decision according
to management task.  Izvestiya Volgogradskogo gos. tekhnicheskogo universiteta   [The news of Volgograd State Tech-nical Univ.]. 2012, no. 15 (102), pp. 90–96 (in Russ.).

8.  Saaty T.  Prinyatie resheny.  Metod analiza  ierarkhy  [Decision-making. Analytic hierarchy process]. Moscow,
Radio i svyaz Publ., 1993, pp. 78–87 (in Russ.).

9.  Baranov L.G., Ptushkin A.I., Trudov A.V. Fuzzy sets in expert survey.  Sociologiya  [Sociology]. 2004, no.  19,
pp. 9–15 (in Russ.).

10. Azhmukhamedov I.M. Fuzzuy cognitive estimate model for specialist’s reference. Vestnik Astrakhanskogo gos.
tekhnicheskogo universiteta [The Bulletin of Astrakhan State Tech. Univ.]. 2011, no. 2, pp. 186–190 (in Russ.).


Permanent link:
http://swsys.ru/index.php?page=article&id=3927&lang=&lang=en&like=1
Print version
Full issue in PDF (6.61Mb)
Download the cover in PDF (0.95Мб)
The article was published in issue no. № 4, 2014 [ pp. 222-228 ]

Perhaps, you might be interested in the following articles of similar topics: