Journal influence
Bookmark
Next issue
Getting of the group expert estimation of different index values: stepwise procedure and software support
The article was published in issue no. № 2, 2011Abstract:There are presented the procedure and instruments of getting of the group expert estimation of different index values (degree of damage, expenses, profit, volume, event occurrence time and etc.) on condition that estimation includes 3 values of the required index: minimal, maximal and the most probable.
Аннотация:В данной работе рассматриваются процедура и инструментарий получения групповой экспертной оценки значений различных показателей (величины ущерба, затрат, прибыли, времени наступления события и др.) при условии, что оценка включает три значения искомого показателя: минимальное, максимальное и наиболее вероятное.
Предлагаемый автором подход ориентирован, во-первых, на использование многошаговой процедуры, на каждом шаге которой осуществляется имитационное моделирование, и, во-вторых, на интеграцию метода Дельфи (разработан для прогнозирования будущего [1, 2]) с экспертизой, направленной на получение обобщенного мнения группы экспертов о возможном диапазоне значений искомого показателя. Такое объединение дает ряд преимуществ, в частности, предоставляет специалистам, участвующим в экспертизе, возможность рассматривать возражения и предложения других членов экспертной группы в атмосфере, свободной от влияния личных качеств участников. Одновременно появляется возможность использовать так называемое информированное интуитивное суждение специалиста-эксперта путем создания таких условий, когда эксперт может активно взаимодействовать с другими специалистами в этой области или в областях, касающихся прочих аспектов изучаемой проблемы. При этом непосредственное общение специалистов друг с другом заменяется тщательно разработанной программой последовательных шагов, на каждом из которых реализуется полный цикл экспертизы, включая информирование специалистов-экспертов о результатах предыдущего шага [1, 2]. Разработчики метода Дельфи отмечают, что даже когда имеется формальная математическая модель, например, модель развития различных сторон экономики, исходные предположения, область применимости модели, интерпретация выходных данных – все это в значительной степени зависит от интуиции соответствующего специалиста. При отсутствии строгих и общепринятых теоретических обоснований и вытекающей из этого неизбежной необходимости полагаться на интуитивные заключения специалистов существуют лишь два выхода: первый – в отчаянии воздеть руки к небу и отложить принятие решений…; второй – сделать все возможное… и попытаться получить приемлемые по качеству обобщенные суждения специалистов, а затем рационально их использовать. При этом при отборе специалистов для участия в экспертизе, помимо объективных характеристик (должность, стаж работы, образование и др.), желательно учитывать даваемую ими оценку собственной компетентности (чаще всего по 10-балльной шкале). Предположим, описанная интеграция с методом Дельфи реализована. Но как определить, что коллективное мнение стабилизировалось и пора прекращать дальнейшие опросы? С какой вероятностью, например, не будет превышено определенное значение искомого показателя и значение показателя будет находиться в заданных доверительных границах? Для ответа на подобные вопросы, по мнению автора, единственно обоснованной процедурой является предлагаемая последовательность шагов. 1. Оценки каждого i-го эксперта на j-м шаге Э(j)i (минимальное, максимальное и наиболее вероятное значения показателя) представляются в виде треугольного распределения. 2. Обобщенное коллективное мнение n экспертов об искомом значении анализируемого показателя определяется как среднее n случайных величин, имеющих треугольное распределение (мнений n участников экспертной группы) путем реализации на каждом k-м шаге имитационного моделирования функции Э(k)об=(ΣЭ(k)i)/n, iÎn. В качестве инструментальных средств для реализации имитационного моделирования могут использоваться программные продукты [3, 4], позволяющие с минимальными трудозатратами (в автоматизированном режиме) строить имитационную модель. 3. В результате имитационного моделирования на каждом k-м шаге получают статистические характеристики (математическое ожидание, дисперсию, коэффициент вариации, эксцесс, асимметрию) и распределение (гистограмму) значений искомого показателя – функции Э(k)об=f(Э(k)i). 4. После каждого шага (цикла экспертизы) участников экспертной группы знакомят с объяснениями, представленными в защиту сильно отличающихся оценок анализируемого показателя, и предлагают при желании изменить свои предыдущие ответы. 5. На каждом очередном j-м шаге оценивают изменение значений коэффициента вариации К(j)var функции Э(j)об. При отклонении коэффициента вариации от предыдущего значения, например, на 5 % и менее, можно считать, что оценки экспертов стабилизировались и целесообразно завершить экспертизу, то есть, если ׀К(j)var–К(j+1)var׀´ ´100/К(j)var %<5 %, можно завершать экспертизу. 6. На основании результатов имитационного моделирования на последнем шаге оценивают доверительные границы значений искомого показателя и вероятность того, что его значения окажутся больше или меньше определенного числа. Пример. Пусть группа из 10 экспертов оценивает величину ущерба от нарушения в системе информационной безопасности объекта. Итоги экспертизы представлены в таблице 1. Таблица 1 Результаты трех шагов (циклов) экспертизы
Примечание: жирным шрифтом выделены значения показателя, измененные экспертом на очередном шаге. На рисунке показана гистограмма распределения функции Э(1)об на первом шаге. Результаты имитационного моделирования после каждого из трех шагов экспертизы представлены в таблицах 2–4. Таблица 2 Результаты моделирования на шагах 1–3
Таблица 3 Значения накопленной вероятности на шагах 1 и 3
Таблица 4 Статистические характеристики оценок экспертов
Оценим целесообразность завершения экспертизы, то есть определим, насколько существенно изменился коэффициент вариации на очередном шаге. Для этого вычислим значение ½К(2)var– –К(3)var½´100/К(2)var=3,17 %<5 % – можно завершить экспертизу. Обратим внимание, что в методиках, ориен- тированных на проведение нескольких туров опросов, как правило, отсутствуют четкие количественные критерии, свидетельствующие о возможности завершения экспертизы, о появлении стабильности в ответах экспертов. Воспользовавшись данными из таблицы 3, можно определить вероятность того, что значения искомого показателя будут находиться в заданном диапазоне. Итак, автором предложены процедура и инструментарий (программные системы автоматизированного синтеза имитационной модели) получения групповой экспертной оценки значений различных показателей – величины ожидаемого ущерба, затрат, прибыли, оборота, времени наступления события и прочего при условии, что оценка включает три значения искомого показателя: минимальное, максимальное и наиболее вероятное. Одна из особенностей предлагаемого подхода состоит в использовании имитационного моделирования для получения обобщенной экспертной оценки диапазона предполагаемых значений анализируемого показателя, вторая заключается в интеграции дельфийской процедуры, обычно используемой для прогнозирования, с экспертизой, направленной на получение значения искомого показателя. При этом непосредственное общение специалистов друг с другом заменяется тщательно разработанной программой последовательных шагов, на каждом из которых реализуется полный цикл экспертизы, включая информирование специалистов-экспертов о результатах предыдущего шага. Обобщенное коллективное мнение n экспертов об искомом значении анализируемого показателя определяется как среднее n случайных величин, имеющих треугольное распределение (мнений n участников экспертной группы), путем реализации имитационного моделирования. В результате имитационного моделирования получают оценки статистических характеристик (математического ожидания, дисперсии, коэффициента вариации, эксцесса, асимметрии) и распределение (гистограмму) значений искомого показателя. Кроме того, в работе приведен численный пример определения номера шага, после которого целесообразно завершать экспертизу. Отмечено, что трудозатраты на получение групповой экспертной оценки значений различных показателей с использованием предложенного инструментария (системы автоматизированного построения имитационной модели) ничтожно малы. Так, для описанных примеров затраты времени на синтез имитационной модели и имитационное моделирование при использовании системы [4] составляли в среднем несколько секунд. Результаты имитационного моделирования дают возможность оценить доверительные границы значений искомого показателя и вероятность того, что его значения окажутся больше или меньше определенного числа. Литература 1. Хелмер О. Анализ будущего: метод Дельфи // Научно-техническое прогнозирование для промышленности и правительственных учреждений; [пер. с англ.; под ред. Г.М. Доброва]. М.: Прогресс, 1972. С. 77–83. 2. Helmer O. Social Technology, NY, Basic Books, Inc., Publishers, 1966. 3. Конструктор имитационных моделей деловых процессов / Г.Н. Хубаев, С.М. Щербаков, А.А. Шибаев. № 2005612262; заявл. 02.08.2005; зарегистр. в Реестре 05.09.2005. М.: Роспатент, 2005. 4. Система автоматизированного синтеза имитационных моделей на основе языка UML «СИМ-UML» / Г.Н. Хубаев, С.М. Щербаков, Ю.А. Рванцов. № 2009610414; заявл. 20.11.2008; зарегистр. в Реестре 19.01.2009. М.: Роспатент, 2009. |
Permanent link: http://swsys.ru/index.php?page=article&id=2752&lang=en |
Print version Full issue in PDF (5.35Mb) Download the cover in PDF (1.27Мб) |
The article was published in issue no. № 2, 2011 |
Perhaps, you might be interested in the following articles of similar topics:
- Некоторые результаты имитационного моделирования мультисервисных бортовых цифровых платформ стандарта DVB-RCS
- Система моделирования поведения групп робототехнических агентов с элементами социальной организации Кворум
- Имитационное моделирование пневмогидромеханической системы в компьютерном тренажере
- Программный комплекс поддержки принятия решений при оптимизации производственно-сбытового процесса
- Разработка специального программного обеспечения для ввода исходных данных при имитационном моделировании
Back to the list of articles