Программные продукты и системы

Предлагаемый автором подход ориентирован, во-первых, на использование многошаговой процедуры, на каждом шаге которой осуществляется имитационное моделирование, и, во-вторых, на интеграцию метода Дельфи (разработан для прогнозирования будущего [1, 2]) с экспертизой, направленной на получение обобщенного мнения группы экспертов о возможном диапазоне значений искомого показателя. Такое объединение дает ряд преимуществ, в частности, предоставляет специалистам, участвующим в экспертизе, возможность рассматривать возражения и предложения других членов экспертной группы в атмосфере, свободной от влияния личных качеств участников. Одновременно появляется возможность использовать так называемое информированное интуитивное суждение специалиста-эксперта путем создания таких условий, когда эксперт может активно взаимодействовать с другими специалистами в этой области или в областях, касающихся прочих аспектов изучаемой проблемы.

При этом непосредственное общение специалистов друг с другом заменяется тщательно разработанной программой последовательных шагов, на каждом из которых реализуется полный цикл экспертизы, включая информирование специалистов-экспертов о результатах предыдущего шага [1, 2].

Разработчики метода Дельфи отмечают, что даже когда имеется формальная математическая модель, например, модель развития различных сторон экономики, исходные предположения, область применимости модели, интерпретация выходных данных – все это в значительной степени зависит от интуиции соответствующего специалиста. При отсутствии строгих и общепринятых теоретических обоснований и вытекающей из этого неизбежной необходимости полагаться на интуитивные заключения специалистов существуют лишь два выхода: первый – в отчаянии воздеть руки к небу и отложить принятие решений…; второй – сделать все возможное… и попытаться получить приемлемые по качеству обобщенные суждения специалистов, а затем рационально их использовать. При этом при отборе специалистов для участия в экспертизе, помимо объективных характеристик (должность, стаж работы, образование и др.), желательно учитывать даваемую ими оценку собственной компетентности (чаще всего по 10-балльной шкале).

Предположим, описанная интеграция с методом Дельфи реализована. Но как определить, что коллективное мнение стабилизировалось и пора прекращать дальнейшие опросы? С какой вероятностью, например, не будет превышено определенное значение искомого показателя и значение показателя будет находиться в заданных доверительных границах?

Для ответа на подобные вопросы, по мнению автора, единственно обоснованной процедурой является предлагаемая последовательность шагов.

1. Оценки каждого i-го эксперта на j-м шаге Э(j)i (минимальное, максимальное и наиболее вероятное значения показателя) представляются в виде треугольного распределения.

2. Обобщенное коллективное мнение n экспертов об искомом значении анализируемого показателя определяется как среднее n случайных величин, имеющих треугольное распределение (мнений n участников экспертной группы) путем реализации на каждом k-м шаге имитационного моделирования функции Э(k)об=(ΣЭ(k)i)/n, iÎn.

В качестве инструментальных средств для реализации имитационного моделирования могут использоваться программные продукты [3, 4], позволяющие с минимальными трудозатратами (в автоматизированном режиме) строить имитационную модель.

3. В результате имитационного моделирования на каждом k-м шаге получают статистические характеристики (математическое ожидание, дисперсию, коэффициент вариации, эксцесс, асимметрию) и распределение (гистограмму) значений искомого показателя – функции Э(k)об=f(Э(k)i).

4. После каждого шага (цикла экспертизы) участников экспертной группы знакомят с объяснениями, представленными в защиту сильно отличающихся оценок анализируемого показателя, и предлагают при желании изменить свои предыдущие ответы.

5. На каждом очередном j-м шаге оценивают изменение значений коэффициента вариации К(j)var функции Э(j)об. При отклонении коэффициента вариации от предыдущего значения, например, на 5 % и менее, можно считать, что оценки экспертов стабилизировались и целесообразно завершить экспертизу, то есть, если ׀К(j)var–К(j+1)var׀´ ´100/К(j)var %<5 %, можно завершать экспертизу.

6. На основании результатов имитационного моделирования на последнем шаге оценивают доверительные границы значений искомого показателя и вероятность того, что его значения окажутся больше или меньше определенного числа.

Пример. Пусть группа из 10 экспертов оценивает величину ущерба от нарушения в системе информационной безопасности объекта. Итоги экспертизы представлены в таблице 1.

Таблица 1

Результаты трех шагов (циклов) экспертизы

Примечание: жирным шрифтом выделены значения показателя, измененные экспертом на очередном шаге.

На рисунке показана гистограмма распределения функции Э(1)об на первом шаге.

Результаты имитационного моделирования после каждого из трех шагов экспертизы представлены в таблицах 2–4.

Таблица 2

Результаты моделирования на шагах 1–3

Таблица 3

Значения накопленной вероятности на шагах 1 и 3

Таблица 4

Статистические характеристики оценок экспертов

Оценим целесообразность завершения экспертизы, то есть определим, насколько существенно изменился коэффициент вариации на очередном шаге. Для этого вычислим значение ½К(2)var– –К(3)var½´100/К(2)var=3,17 %<5 % – можно завершить экспертизу.

Обратим внимание, что в методиках, ориен- тированных на проведение нескольких туров опросов, как правило, отсутствуют четкие количественные критерии, свидетельствующие о возможности завершения экспертизы, о появлении стабильности в ответах экспертов.

Воспользовавшись данными из таблицы 3, можно определить вероятность того, что значения искомого показателя будут находиться в заданном диапазоне.

Итак, автором предложены процедура и инструментарий (программные системы автоматизированного синтеза имитационной модели) получения групповой экспертной оценки значений различных показателей – величины ожидаемого ущерба, затрат, прибыли, оборота, времени наступления события и прочего при условии, что оценка включает три значения искомого показателя: минимальное, максимальное и наиболее вероятное. Одна из особенностей предлагаемого подхода состоит в использовании имитационного моделирования для получения обобщенной экспертной оценки диапазона предполагаемых значений анализируемого показателя, вторая заключается в интеграции дельфийской процедуры, обычно используемой для прогнозирования, с экспертизой, направленной на получение значения искомого показателя. При этом непосредственное общение специалистов друг с другом заменяется тщательно разработанной программой последовательных шагов, на каждом из которых реализуется полный цикл экспертизы, включая информирование специалистов-экспертов о результатах предыдущего шага. Обобщенное коллективное мнение n экспертов об искомом значении анализируемого показателя определяется как среднее n случайных величин, имеющих треугольное распределение (мнений n участников экспертной группы), путем реализации имитационного моделирования. В результате имитационного моделирования получают оценки статистических характеристик (математического ожидания, дисперсии, коэффициента вариации, эксцесса, асимметрии) и распределение (гистограмму) значений искомого показателя.

Кроме того, в работе приведен численный пример определения номера шага, после которого целесообразно завершать экспертизу. Отмечено, что трудозатраты на получение групповой экспертной оценки значений различных показателей с использованием предложенного инструментария (системы автоматизированного построения имитационной модели) ничтожно малы. Так, для описанных примеров затраты времени на синтез имитационной модели и имитационное моделирование при использовании системы [4] составляли в среднем несколько секунд. Результаты имитационного моделирования дают возможность оценить доверительные границы значений искомого показателя и вероятность того, что его значения окажутся больше или меньше определенного числа.

Литература

1. Хелмер О. Анализ будущего: метод Дельфи // Научно-техническое прогнозирование для промышленности и правительственных учреждений; [пер. с англ.; под ред. Г.М. Доброва]. М.: Прогресс, 1972. С. 77–83.

2. Helmer O. Social Technology, NY, Basic Books, Inc., Publishers, 1966.

3. Конструктор имитационных моделей деловых процессов / Г.Н. Хубаев, С.М. Щербаков, А.А. Шибаев. № 2005612262; заявл. 02.08.2005; зарегистр. в Реестре 05.09.2005. М.: Роспатент, 2005.

4. Система автоматизированного синтеза имитационных моделей на основе языка UML «СИМ-UML» / Г.Н. Хубаев, С.М. Щербаков, Ю.А. Рванцов. № 2009610414; заявл. 20.11.2008; зарегистр. в Реестре 19.01.2009. М.: Роспатент, 2009.