ISSN 0236-235X (P)
ISSN 2311-2735 (E)

Journal influence

Higher Attestation Commission (VAK) - К1 quartile
Russian Science Citation Index (RSCI)

Bookmark

Next issue

4
Publication date:
09 September 2024

Getting of the group expert estimation of different index values: stepwise procedure and software support

The article was published in issue no. № 2, 2011
Abstract:There are presented the procedure and instruments of getting of the group expert estimation of different index values (degree of damage, expenses, profit, volume, event occurrence time and etc.) on condition that estimation includes 3 values of the required index: minimal, maximal and the most probable.
Аннотация:В данной работе рассматриваются процедура и инструментарий получения групповой экспертной оценки значений различных показателей (величины ущерба, затрат, прибыли, времени наступления события и др.) при условии, что оценка включает три значения искомого показателя: минимальное, максимальное и наиболее вероятное.
Authors: (gnh@donpac.ru) - , Ph.D
Keywords: confidence limits of response function value, covariates errors, coefficient of variation and response function error, covariates errors, simulation
Page views: 12260
Print version
Full issue in PDF (5.35Mb)
Download the cover in PDF (1.27Мб)

Font size:       Font:

Предлагаемый автором подход ориентирован, во-первых, на использование многошаговой процедуры, на каждом шаге которой осуществляется имитационное моделирование, и, во-вторых, на интеграцию метода Дельфи (разработан для прогнозирования будущего [1, 2]) с экспертизой, направленной на получение обобщенного мнения группы экспертов о возможном диапазоне значений искомого показателя. Такое объединение дает ряд преимуществ, в частности, предоставляет специалистам, участвующим в экспертизе, возможность рассматривать возражения и предложения других членов экспертной группы в атмосфере, свободной от влияния личных качеств участников. Одновременно появляется возможность использовать так называемое информированное интуитивное суждение специалиста-эксперта путем создания таких условий, когда эксперт может активно взаимодействовать с другими специалистами в этой области или в областях, касающихся прочих аспектов изучаемой проблемы.

При этом непосредственное общение специалистов друг с другом заменяется тщательно разработанной программой последовательных шагов, на каждом из которых реализуется полный цикл экспертизы, включая информирование специалистов-экспертов о результатах предыдущего шага [1, 2].

Разработчики метода Дельфи отмечают, что даже когда имеется формальная математическая модель, например, модель развития различных сторон экономики, исходные предположения, область применимости модели, интерпретация выходных данных – все это в значительной степени зависит от интуиции соответствующего специалиста. При отсутствии строгих и общепринятых теоретических обоснований и вытекающей из этого неизбежной необходимости полагаться на интуитивные заключения специалистов существуют лишь два выхода: первый – в отчаянии воздеть руки к небу и отложить принятие решений…; второй – сделать все возможное… и попытаться получить приемлемые по качеству обобщенные суждения специалистов, а затем рационально их использовать. При этом при отборе специалистов для участия в экспертизе, помимо объективных характеристик (должность, стаж работы, образование и др.), желательно учитывать даваемую ими оценку собственной компетентности (чаще всего по 10-балльной шкале).

Предположим, описанная интеграция с методом Дельфи реализована. Но как определить, что коллективное мнение стабилизировалось и пора прекращать дальнейшие опросы? С какой вероятностью, например, не будет превышено определенное значение искомого показателя и значение показателя будет находиться в заданных доверительных границах?

Для ответа на подобные вопросы, по мнению автора, единственно обоснованной процедурой является предлагаемая последовательность шагов.

1. Оценки каждого i-го эксперта на j-м шаге Э(j)i (минимальное, максимальное и наиболее вероятное значения показателя) представляются в виде треугольного распределения.

Подпись:  
Распределение функции Э(1)об
2. Обобщенное коллективное мнение n экспертов об искомом значении анализируемого показателя определяется как среднее n случайных величин, имеющих треугольное распределение (мнений n участников экспертной группы) путем реализации на каждом k-м шаге имитационного моделирования функции Э(k)об=(ΣЭ(k)i)/n, iÎn.

В качестве инструментальных средств для реализации имитационного моделирования могут использоваться программные продукты [3, 4], позволяющие с минимальными трудозатратами (в автоматизированном режиме) строить имитационную модель.

3. В результате имитационного моделирования на каждом k-м шаге получают статистические характеристики (математическое ожидание, дисперсию, коэффициент вариации, эксцесс, асимметрию) и распределение (гистограмму) значений искомого показателя – функции Э(k)об=f(Э(k)i).

4. После каждого шага (цикла экспертизы) участников экспертной группы знакомят с объяснениями, представленными в защиту сильно отличающихся оценок анализируемого показателя, и предлагают при желании изменить свои предыдущие ответы.

5. На каждом очередном j-м шаге оценивают изменение значений коэффициента вариации К(j)var функции Э(j)об. При отклонении коэффициента вариации от предыдущего значения, например, на 5 % и менее, можно считать, что оценки экспертов стабилизировались и целесообразно завершить экспертизу, то есть, если ׀К(j)var–К(j+1)var׀´ ´100/К(j)var %<5 %, можно завершать экспертизу.

6. На основании результатов имитационного моделирования на последнем шаге оценивают доверительные границы значений искомого показателя и вероятность того, что его значения окажутся больше или меньше определенного числа.

Пример. Пусть группа из 10 экспертов оценивает величину ущерба от нарушения в системе информационной безопасности объекта. Итоги экспертизы представлены в таблице 1.

Таблица 1

Результаты трех шагов (циклов) экспертизы

Эксперт

Шаг 1

Шаг 2

Шаг 3

Значения

Мин.

Вероятн.

Макс.

Мин.

Вероятн.

Макс.

Мин.

Вероятн.

Макс.

Э1

12

18

32

10

18

30

10

18

30

Э2

6

10

18

8

12

21

9

12

21

Э3

8

12

40

8

12

35

8

12

30

Э4

5

10

18

9

10

22

9

10

22

Э5

7

15

25

8

15

20

10

15

20

Э6

11

16

20

11

16

20

11

16

20

Э7

13

19

27

13

17

22

12

17

22

Э8

10

19

24

10

14

24

10

14

24

Э9

4

11

21

9

11

21

9

11

26

Э10

14

20

25

14

15

25

12

15

25

                     

Примечание: жирным шрифтом выделены значения показателя, измененные экспертом на очередном шаге.

На рисунке показана гистограмма распределения функции Э(1)об на первом шаге.

Результаты имитационного моделирования после каждого из трех шагов экспертизы представлены в таблицах 2–4.

Таблица 2

Результаты моделирования на шагах 1–3

Параметр

Значение

Шаг 1

Шаг 2

Шаг 3

Переменная

Э(1)об

Э(2)об

Э(3)об

Число итераций

10000

10000

10000

Среднее

16,335

16,013

16,016

Дисперсия

1,295

1,018

0,965

Среднее квадратическое отклонение

1,138

1,009

0,982

Коэффициент вариации, Кvar

0,070

0,063

0,061

Асимметрия

0,153

0,142

0,114

Эксцесс

–0,123

–0,109

–0,200

Минимум

12,829

12,368

12,827

Максимум

20,435

19,752

19,659

Модальный интервал

16,09 : 16,63

15,53 : 16,06

15,76 : 16,24

Таблица 3

Значения накопленной вероятности на шагах 1 и 3

Xmin

Xmax

Вероятность попадания функции Э(1)об в указанный диапазон значений

Накопленная

вероятность

Шаг 1

12,83

13,37

0,003

0,003

13,37

13,92

0,010

0,013

13,92

14,46

0,031

0,043

14,46

15,00

0,077

0,120

15,00

15,55

0,130

0,251

15,55

16,09

0,174

0,425

16,09

16,63

0,189

0,614

16,63

17,18

0,156

0,771

17,18

17,72

0,111

0,881

17,72

18,26

0,070

0,951

18,26

18,80

0,031

0,981

18,80

19,35

0,013

0,995

19,35

19,89

0,004

0,999

19,89

20,43

0,001

1,000

Шаг 3

12,83

13,32

0,001

0,001

13,32

13,80

0,007

0,008

13,80

14,29

0,026

0,035

14,29

14,78

0,069

0,104

14,78

15,27

0,127

0,230

15,27

15,76

0,177

0,408

15,76

16,24

0,188

0,596

16,24

16,73

0,167

0,763

16,73

17,22

0,125

0,888

17,22

17,71

0,067

0,954

17,71

18,20

0,031

0,985

18,20

18,68

0,012

0,997

18,68

19,17

0,003

1,000

Таблица 4

Статистические характеристики оценок экспертов

Пере-менная (эксперт)

Среднее значение

Стандартное отклонение, σ

Коэф. вари- ации

Мин.

знач.

Макс.

знач.

Э1

20,70

4,18

0,20

12,06

31,77

Э2

11,33

2,49

0,22

6,05

17,90

Э3

19,96

7,03

0,35

8,09

39,36

Э4

11,02

2,68

0,24

5,05

17,94

Э5

15,65

3,68

0,23

7,09

24,96

Э6

15,64

1,86

0,12

11,03

19,96

Э7

19,67

2,87

0,15

13,09

26,88

Э8

17,69

2,90

0,16

10,14

23,92

Э9

12,03

3,47

0,29

4,03

20,90

Э10

19,67

2,24

0,11

14,05

24,89

Э(1)об

16,34

1,14

0,07

12,83

20,43

Оценим целесообразность завершения экспертизы, то есть определим, насколько существенно изменился коэффициент вариации на очередном шаге. Для этого вычислим значение ½К(2)var– –К(3)var½´100/К(2)var=3,17 %<5 % – можно завершить экспертизу.

Обратим внимание, что в методиках, ориен- тированных на проведение нескольких туров опросов, как правило, отсутствуют четкие количественные критерии, свидетельствующие о возможности завершения экспертизы, о появлении стабильности в ответах экспертов.

Воспользовавшись данными из таблицы 3, можно определить вероятность того, что значения искомого показателя будут находиться в заданном диапазоне.

Итак, автором предложены процедура и инструментарий (программные системы автоматизированного синтеза имитационной модели) получения групповой экспертной оценки значений различных показателей – величины ожидаемого ущерба, затрат, прибыли, оборота, времени наступления события и прочего при условии, что оценка включает три значения искомого показателя: минимальное, максимальное и наиболее вероятное. Одна из особенностей предлагаемого подхода состоит в использовании имитационного моделирования для получения обобщенной экспертной оценки диапазона предполагаемых значений анализируемого показателя, вторая заключается в интеграции дельфийской процедуры, обычно используемой для прогнозирования, с экспертизой, направленной на получение значения искомого показателя. При этом непосредственное общение специалистов друг с другом заменяется тщательно разработанной программой последовательных шагов, на каждом из которых реализуется полный цикл экспертизы, включая информирование специалистов-экспертов о результатах предыдущего шага. Обобщенное коллективное мнение n экспертов об искомом значении анализируемого показателя определяется как среднее n случайных величин, имеющих треугольное распределение (мнений n участников экспертной группы), путем реализации имитационного моделирования. В результате имитационного моделирования получают оценки статистических характеристик (математического ожидания, дисперсии, коэффициента вариации, эксцесса, асимметрии) и распределение (гистограмму) значений искомого показателя.

Кроме того, в работе приведен численный пример определения номера шага, после которого целесообразно завершать экспертизу. Отмечено, что трудозатраты на получение групповой экспертной оценки значений различных показателей с использованием предложенного инструментария (системы автоматизированного построения имитационной модели) ничтожно малы. Так, для описанных примеров затраты времени на синтез имитационной модели и имитационное моделирование при использовании системы [4] составляли в среднем несколько секунд. Результаты имитационного моделирования дают возможность оценить доверительные границы значений искомого показателя и вероятность того, что его значения окажутся больше или меньше определенного числа.

Литература

1. Хелмер О. Анализ будущего: метод Дельфи // Научно-техническое прогнозирование для промышленности и правительственных учреждений; [пер. с англ.; под ред. Г.М. Доброва]. М.: Прогресс, 1972. С. 77–83.

2. Helmer O. Social Technology, NY, Basic Books, Inc., Publishers, 1966.

3. Конструктор имитационных моделей деловых процессов / Г.Н. Хубаев, С.М. Щербаков, А.А. Шибаев. № 2005612262; заявл. 02.08.2005; зарегистр. в Реестре 05.09.2005. М.: Роспатент, 2005.

4. Система автоматизированного синтеза имитационных моделей на основе языка UML «СИМ-UML» / Г.Н. Хубаев, С.М. Щербаков, Ю.А. Рванцов. № 2009610414; заявл. 20.11.2008; зарегистр. в Реестре 19.01.2009. М.: Роспатент, 2009.


Permanent link:
http://swsys.ru/index.php?page=article&id=2752&lang=en
Print version
Full issue in PDF (5.35Mb)
Download the cover in PDF (1.27Мб)
The article was published in issue no. № 2, 2011

Perhaps, you might be interested in the following articles of similar topics: