В последние годы рынок программных средств (ПС) быстро пополняется сотнями новых пакетов одного назначения. В такой ситуации потенциальный пользователь-покупатель сталкивается с серьезной проблемой: как среди множества конкурирующих программных продуктов (ПП) выбрать лучший, наиболее_лодхо-дящий для использования в конкретных условиях. При этом цены на ПС одного назначения колеблются в очень широких пределах и могут отличаться более чем на порядок. Но и знание цен мало помогает при попытке сравнить качество существующих ПП по экономическим критериям, оценить, хотя бы приблизительно, насколько одно ПС эффективнее другого, определить, даст ли данный программный пакет большую экономию эксплуатационных расходов, большую общую производительность большую экономию затрат живого труда, машинного времени.

Сегодня ни разработчики ПС, ни пользователи, ни фирмы-посредники не могут дать обоснованных ответов на поставленные вопросы.

Обсудим теперь, что же затрудняет сравнительную количественную, в том числе экономическую, оценку потребительского качества ПС. Сначала напомним, что одним из важнейших потребительских свойств большинства ПС для экономических приложений являются затраты на эксплуатацию программной системы, так как только в том случае можно оценить целесообразность покупки конкретного ПС, сопоставить эффективность данного ПС с другими аналогичного назначения, если, помимо стоимости самого ПС, известны затраты на его эксплуатацию, на освоение и внедрение.

Из каких же элементов состоят затраты на эксплуатацию конкретного ПС, что в себя включают? Прежде всего "это амортизационные отчисления по техническим средствам и другие составляющие стоимости машино-часа, амортизация самого ПС - нематериальный актив, а также затраты живого труда — расходы на оплату труда оператора и персонала, сопровождающего данное ПС (расходы на оплату труда персонала, обеспечивающего функционирование ПС в составе программного обеспечения общего назначения, обычно включаются в стоимость машино-часа).

Но так как для заданной конфигурации комплекса технических средств (ТС) стоимость одного машино-часа примерно одинакова, то, очевидно, главное - это, зная стоимость самого ПС, оценить затраты живого труда и машинного времени на функционирование ПС.

Однако сделать это не совсем просто. Во-первых, ни в технической документации, ни в научной периодике нет сведений, позволяющих оценить технико-эксплуатационные характеристики представленных на рынке ПС. Во многих случаях неизвестны даже перечни реализуемых конкретным ПС функций или, наоборот, что, может быть, гораздо важнее, тех функций, которые в данном программном пакете не реализованы. Неудивительно поэтому, что большинство разработчиков новых ПС не знакомо с эксплуатационными возможностями существующих. Аналогичная ситуация и с потенциальными покупателями. Во-вторых, это — проблема инвариантности сделанных выводов о потребительском качестве ПС к изменениям условий эксплуатации, к изменениям объема входной информации, числа записей в базе данных (БД), конфигурации комплекса технических средств и ДР.

Предлагаемая методика базируется на следующих утверждениях.

Процессы функционирования программных средств носят случайный характер. Их стохас-тичность обусловлена наличием ряда случайных параметров (факторов), среди которых определяющими являются:

-    текущий объем входной информации, баз данных, справочников, классификаторов;

-    текущие характеристики (параметры) опе ратора, пользователя;

-    число запросов определенного типа (число запусков программы) в единицу времени (час, день, месяц, год).

Время выполнения нескольких одинаковых запросов (функциональных операций) аппроксимируется усеченным нормальным законам распределения. Этот тезис легко обосновывается: закон распределения суммы п независимых случайных величин (п>3) с математическими ожиданиями и дисперсиями одного порядка приближается к нормальному (во многих случаях время выполнения одной функциональной операции также может быть аппроксимировано усеченным нормальным законом распределения).

Сравнительная экономическая оценка качества ПС должна базироваться на сопоставлении затрат на решение нужной потребителю задачи с использованием каждого из сравниваемых ПС, а не затрат на эксплуатацию того или иного ПС. Ведь существующие пакеты одного назначения обычно очень отличаются по составу реализуемых функций (выполняемых операций), по степени соответствия требованиям объекта автоматизации и пользователя. Так, в АРМ ОГМех на ВАЗе решаются одни задачи, на ЗИЛе - другие, в НПО НЭВЗ, ПО "Атоммаш", АО "Ростсельмаш" - третьи и т.д. Пересечение происходит в среднем по двум-трем задачам. Автоматизировано решение от 4 до 16 задач. Аналогичная, даже еще более пестрая картина наблюдается и по многим другим ПС - АРМ бухгалтера, АРМ "Банкир" и др.

Вариант обработки данных	Наименование Функциональной операции
	• • •	Изменение Формы вых. документа	Реализация запроса типа "G"	• • •	Изменение цветовой гаммы	• • •
1. Вручную 2. ПП "А" 3. ПП "В" • • •	• • • • • •  • • •   • • •	1 0 1 • • •	1 1 0 • • •	• • • . • • • • • • • • •	1 0 ♦ • •	• • • • • • • • • • • •

/ - операция выполняется; 0 — операция не реализована; "пусто" — для решения задачи выполнение не требуется.

Алгоритм реализации. Условимся в обозначе ниях:            

j - сравниваемое ПС, jel, r; i - отдельная функциональная операция (ручная или машинная), iel, п;

iij - число выполняемых в единицу времени

(например в день, месяц, год) операций типа njii

Шаг 1. Процесс решения задачи (вручную и на базе компьютерной технологии - по каждому сравниваемому ПС) представляется в виде набора отдельных функциональных операций.

Например, в АРМ бухгалтера такой операцией может быть расчет (выдача) конкретной формы финансовой отчетности, начисление определенного налога, закрытие одного балансового счета, выписка одного расходного ордера, расчет баланса и т.д., в АРМ ОГМех - выдача перечня установленного в текущем году оборудования, расчет плана-графика ППР и др. Причем некоторые операции будут выполняться только в условиях автоматизированной обработки данных (например получение страховой или архивной копии), другие — только вручную, выполнение третьих вручную просто невозможно (например отдельных операций по углубленному финансовому анализу с использованием экономико-математических методов), однако большинство - и в ручном, и в автоматизированном вариантах.

В зависимости от характера решаемой задачи те или иные функциональные операции (ручные или машинные) либо выделяются в качестве самостоятельных, либо включаются в состав группы, и эта группа операций рассматривается как одна функциональная операция.

Результаты реализации шага 1 представляют в табличном виде.

Шаг 2. Для выбранной конфигурации ТС (тип процессора, объем ОП) на контрольном (эталонном) примере по всем сравниваемым ПС оценивается время выполения каждой функциональной операции в зависимости от объема исходной информации (числа записей в БД, числа переменных и ограничений в задаче математического программирования и т.п.); оценивается также среднее значение и другие статистические характеристики времени выполнения каждой i-ой операции при ручном варианте обработки данных. Напомним, что пересечение разных ПС одного назначения по выполняемым функциональным операциям (и по решаемым задачам) может быть лишь частичным, неполным. Для каждой конфигурации технических средств формируется таблица, аналогичная построенной на шаге 1. Только в клетках такой таблицы вместо единиц будут указаны значения характеристик времени выполнения i-ой операции при использовании j-ro ПС, j-ro варианта обработки данных.

Шаг 3. Для конкретного пользователя или группы пользователей с одинаковой структурой функциональных операций по каждой i-ой операции определяется:

1)        среднее значение числа выполнений (реа лизаций) данной i-ой операции в единицу време ни — день, месяц или год — п. , дисперсия, коэф фициент вариации V[n.] и экспериментальный закон распределения. Например, операция "вы дача ведомости аналитического учета (по запро су) по заданному подотчетному лицу" выпол няется на предприятии А в среднем 51 раз в ме сяц (п. = 51), с дисперсией, равной 25, коэффи циентом вариации V[n.] = 0.1; закон распределе ния числа операций в месяц - усеченный нор мальный;

2)   среднее значение и желательно другие статистические характеристики и закон распре деления объема входной информации (БД, спра вочников и т.д.);          

3)        для j-ro (jel>r) сравниваемого ПС оцени ваются статистические характеристики времени выполнения каждой группы одинаковых функ циональных операций.

Так, если среднее время выполнения i-ой операции при использовании j-ro ПС равно, например, t.., то при выполнении п. таких операций в единицу времени, принятую в качестве базовой (день, месяц или год), среднее время выполнения данной группы одинаковых операций будет равно T.. = t. * п., а закон распределения времени выпоЛне^ия всей группы - усеченный нормальный.

Замечание. Группировка (классификация) потенциальных пользователей-покупателей ПС конкретного назначения осуществляется в зави-

самости от вида, интенсивности и других характеристик потоков заявок на выполнение тех или иных операций или, что то же самое, - в зависимости от числа выполняемых одинаковых операций в единицу времени.

При этом в одних случаях основное влияние на структуру операции у конкретного пользователя будет оказывать вид деятельности, в других — объем производства, в третьих — и то, и другое вместе и т.д. Так, у одного пользователя может быть в среднем N поставщиков и 1000 N потребителей, единиц оборудования, работающих, у другого - все наоборот; соответственно разным у них будет число операций по выписке расходных ордеров, накладных и т.п. Если же такое разбиение потенциальных пользователей на группы сделать невозможно из-за отсутствия исходной информации, то для конкретного пользователя можно без больших затрат получить достаточно достоверные данные о составе функциональных операций и интенсивности поступления заявок на выполнение отдельных операций, например путем ретроспективного анализа отчетных данных этого пользователя (для программ в области АСУ), либо проведя непосредственные наблюдения на объекте.

Шаг 4. Исходя из состава и структуры функциональных операций (ручных и машинных), нужных конкретному пользователю для решения рассматриваемой задачи, выбираются ПС -претенденты для сравнения, т.е. ПС, которые могут представить интерес для пользователя, для потенциальных покупателей.

Вполне вероятно, что часть необходимых для решения задачи функциональных операций данным j-ым пакетом не может быть выполнена.

В этом случае предполагается, что при использовании данного ПС эти операции будут выполняться вручную.

Шаг 5. С использованием имитационного (статистического) моделирования или аналитическими методами для каждого j-ro программного | пакета оцениваются статистические характеристики и закон распределения времени выполнения всего выделенного набора (смеси) функциональных операций.

Напомним, что в набор включаются все операции, выполнение которых необходимо для решения конкретной задачи: и машинные, и ручные, в т.ч. не реализуемые данным j-ым пакетом.

Замечание. По-видимому, имитационное моделирование потребует в среднем меньших затрат времени и средств, интеллектуальных уси-ляй, и модели с использованием, например GPSS ([3] и др.), будут исключительно простыми, гибкими и легко реализуемыми.

Шаг 6. На основании результатов моделирования или аналитических расчетов по каждому j-му (jeXr) программному пакету оцениваются затраты машинного времени и трудоемкость реализации смеси (выделенного набора) операций, а после приведения к одному году — годовые эксплуатационные расходы на решение всей задачи.

Шаг 7. Сопоставляются стоимости ПС, годовые расходы на решение задачи с использованием каждого из г программных пакетов, и с учетом оценки качественных характеристик ПС -интерфейса, документации и др. - делается выбор.

Статистические характеристики и законы рас пределения случайных величин. Таким образом, процесс решения задачи описывается стохас- тической моделью вида tc = f(t), (iel,n), по ведение которой характеризуется набором п случайных величин tj,...,t,...,tn, где t. - время выполнения i-ой функциональной операции (ручной или машинной), a tc - время выполне ния всей работы (время решения задачи, ком плекса задач). Очевидно, что точность прогно зов и выводов относительно системных характе ристик модели tc = f(t.) во многом определяет ся полнотой и достоверностью информации о параметрах t, (iel,n), об их статистических ха рактеристиках, законах распределения. Поэтому теперь мы обсудим возможные подходы к вы бору гипотез о законах распределения времени t. и tc, к содержательному (качественному) обо снованию этого выбора. Напомним, что время выполнения группы из п. (п>3) одинаковых функциональных (машинных) операций аппро ксимируется усеченным нормальным законом. Для операций, выполняемых вручную, и в тех случаях, когда время выполнения i-ой операции оценивается экспертным путем (например по трем параметрам-значениям: минимальное, максимальное, наиболее вероятное), в качестве описательной функции плотности распределе ния времени i-ой операции можно использовать бета-распределение, вычисляя математическое ожидание M[t.] и дисперсию D[t.] по известным формулам. Если выделенный набор включает достаточно большое число функциональных операций (несколько десятков), то на основании центральной предельной теоремы можно счи тать, что закон распределения времени выпол нения всего набора нормальный с параметрами: c           c

Mtt] 2M[t.],D[t] 2D[t.], (i6l,n).

В этих условиях, воспользовавшись таблицами функций Лапласа, легко определить вероятность выполнения выделенного набора операций за заданное время Tg, или, наоборот, с заданной вероятностью оценить время tc. При отсутствии теоретических предположений о законах распределения длительности функциональных операций и проблемах с оценкой точности получаемых результатов моделирования могут оказаться полезными выводы из доказанной в [4] теоремы (теорема 7.3.1.). Согласно этой теореме, для двух работ с одинаковой структурой_элементарных операций из t(1).<=st P\, (iel,n) следует, что tcl<=st t, и при уменьшении D[t.] уменьшается и M[tc] (здесь обозначение < =st — это отношение порядка, показывающее, что случайная величина

г . стохастически меньше, чем г '., и v ., г '., (ie l,n) - наборы операций одинаковой структуры).

Кроме того, теорема предоставляет возможность исследовать влияние выбора различных бета-распределений на системную характеристику tc и оправдывает использование нормальных распределений длительности отдельных функциональных операций. Можно также с помощью отношения порядка для функций распределения получать оценки сверху для математического ожидания времени выполнения всего выделенного набора функциональных операций (при использовании равномерных распределений).

Оценка статистических характеристик времени выполнения функциональных (машинных) операций осуществляется в несколько этапов. Сначала оценивается влияние различных факторов Х]ЭХ2,...,Х ,... на время выполнения одной операции из i-ой группы данным j-ом ПС и строится зависимость t.. = f(X.). Эта зависимость может быть получена путем спланированного экстремального эксперимента с использованием тестовых наборов данных. Затем для конкретного 1-го пользователя оцениваются статистические характеристики М[п.1] и D[n.l] и закон распределения числа выполняемых в единицу времени операций.

Ориентируясь на зависимость t.. = f(X ), к =1,2,... и зная диапазон изменения значений X у конкретного 1-го пользователя, легко оценить статистические характеристики М[г ..] и D[V'..] времени выполнения одной операции из i-ой группы при использовании j-ro ПС.

Причем на основании теоремы Рао-Блекуэл-ла можно утверждать, что полученное с учетом t.. = f(X *') значение дисперсии D[v ..] будет по крайней мере не больше дисперсии прямой оценки.

Теперь, воспользовавшись теоремой о случайной сумме независимых случайных величин, можно определить оценки M[T'J^ .] и DfP-" .] для группы из п. одинаковых операций при использовании j-ro ПС у 1-го пользователя.

Новизна и преимущества предложенного подхода характеризуются следующими положениями:

•      Поскольку нам не известны другие под ходы и методики, позволяющие корректно ко личественно оценивать и сопоставлять затраты на эксплуатацию разных ПС одного назначения, сравнивать ПС по экономическим критериям, то в этом смысле описанная методика, по-види мому, является новой; она имеет четко выра женную прикладную направленность.

•      При использовании методики впервые по является возможность корректно, более обосно ванно и с большей достоверностью осуществ лять следующее:

- соотносить потребности конкретного пользователя с возможностями существующих пакетов;

-    выделять из числа выполняемых вручную операций те, которые нужно реализовать в но вой версии ПС в первую очередь, чтобы мини мизировать расходы на решение задачи;

-    определять, выполнение каких машинных операций следует ускорить, например, перепро граммировав на ассемблере, модифицировав структуру БД и т.п.;

-    рассчитывать экономическую целесообраз ность автоматизированного решения конкретной задачи (комплекса задач), сопоставив затраты на ручной и машинный варианты;

-    выбирать оптимальную структуру БД (ин формационной системы) в процессе проектиро вания или модификации, базируясь, например, на результатах формализованного анализа ин формационных потребностей пользователей [1, 2]: ведь в процессе такого анализа будут опре делены состав реквизитов предметной области, содержание решаемых задач, перечень запросов к БД и их число в единицу времени. Задаваясь (при имитационном моделированиии или прове дении аналитических расчетов) конкретным на бором и интенсивностью выполняемых опера ций (запросов, задач), можно для разных струк тур БД оценить время реализации выделенного набора и выбрать ту структуру БД, которая по кажет максимальную производительность (ми нимальные затраты на эксплуатацию) при вы полнении всего заданного перечня задач, опера ций.

•      Методика является открытой, доступной как для модификации, совершенствования, уточ нения, так и для использования в усеченном варианте - при неполной или неточной исход ной информации, при проведении прикидочных, грубых расчетов и т.д. По мере пополнения БД информацией об эксплуатационных харак теристиках программных пакетов и результатах их сравнения, о требованиях пользователей к составу и структуре функциональных операций будет уточняться входная информация для имитационных моделей, повышаться досто верность проводимых расчетов.

•      Область применения как методики в целом, так и отдельных использованных в ней идей и подходов, по-видимому, достаточно ши рока. Для подтверждения этого тезиса обратим ся к специфичным программным системам - системам для защиты информации (исполняе мых программ, БД, текстовых файлов). Важнейшим потребительским свойством таких про граммных систем является качество выполне ния защитных функций. Это качество можно характеризовать значением вероятности вскрытия защиты за определенное время либо, наоборот, вероятности того, что за время t < Т защита не будет вскрыта, а также величиной среднего значения, дисперсии и законом распределения времени вскрытия защиты.

По аналогии с другими ПС при сравнительной оценке потребительского качества программных систем защиты информации вся работа по вскрытию (взлому) защиты также может быть представлена в виде последовательности элементарных операций. Для каждой такой операции определяются статистические характеристики и закон распределения времени ее выполнения, а затем с использованием имитационного моделирования или аналитическими методами для разных сравниваемых программных систем оцениваются вероятностные характеристики и законы распределения времени решения всей задачи по вскрытию защиты. Причем среднее время выполнения отдельных операций и диапазон его изменения могут быть оценены и экспертным путем: для отдельных операций эта оценка будет точнее, чем для задачи в целом.

Легко обнаружить, что хотя в данном случае предложенная методика оценки качества ПС использована в несколько модифицированном варианте, многие ее компоненты остались неизменными:

-     разбиение всей работы (задачи) на отдель ные операции;

-     оценка статистических характеристик и за конов распределения времени выполнения каж дой операции;

-     получение статистических характеристик времени решения всей задачи путем имитацион ного моделирования или аналитическими мето дами;

-     сравнение различных программных систем по величине затрат времени и средств на реше ние всей задачи и сопоставление этих затрат со стоимостью самого ПС и защищаемого объек та. Разница здесь только в том, что чем больше затраты на вскрытие защиты, тем лучше.

• В методике использован ряд нетривиальных решений, что позволило сделать ее достаточно простой, обозримой, требующей относительно небольших затрат на реализацию. Так, вместо моделирования множества из m потоков заявок разной интенсивности, с неизвестными, возможно, разными для каждого пользователя законами распределения интервалов времени между последовательными заявками на выполнение функциональной операции, в методике предлагается моделировать последовательность нормальных (при п. > 3, iel,n ) законов распределения времени выполнения каждой группы одинаковых операций.

Такое решение, во-первых, имеет вполне корректное обоснование, а во-вторых, его использование позволяет существенно упростить имитационные модели, многократно уменьшить затраты машинного времени на моделирование либо снизить трудоемкость аналитических расчетов, трудозатраты на реализацию методики в целом. Лишь в тех, по-видимому, немногих случаях, когда п. < 3 , придется определять закон распределения времени выполнения данной i-ой операции и его характеристики.

Список литературы

1.      Хубаев Г.Н. Анализ информационных потребностей пользователей при создании АРМ // Автоматизированные рабочие места в системе управления предприятием.— Л.: ЛИЭИ, 1989. - С. 44-51.

2.      Хубаев Г.Н. Экономика проектирования и применения банков данных. - Ростов-на-Дону: РИСХМ, 1989.

3.      Шрайбер Т.Дж. Моделирование на GPSS / Пер. с англ. - М.: Машиностроение, 1980.

4.      Штойяи Д. Качественные свойства и оценки стохасти ческих моделей. - М.: Мир, 1979.