Программные продукты и системы

В данной работе исследуются вопросы оценки эффективности мероприятий по развитию технологии открытых систем (ТОС) [1].

Эффективность системы – в общем случае совокупность свойств, характеризующих качество функционирования системы, оцениваемое как соответствие требуемого и достигаемого результатов [2]. При оценке систем принято различать качество систем и эффективность реализуемых ими процессов. При этом эффективность относят не к самой системе, а к выполняемым ею функциям.

Аналогично можно сформулировать и определение эффективности как технологии открытых систем (ТОС) и мероприятий, ее улучшающих. Можно говорить о качественных характеристиках собственно технологии (эффективность состава, структуры компонентов открытых систем с точки зрения стоящих перед технологией целей и задач, эффективность реализации отдельных характеристик и свойств систем и т.п.) и эффективности получения результатов с помощью открытых систем и компонентов (дешевле, быстрее, точнее и т.п.).

Методологическая сложность такой оценки обусловлена двумя факторами. Во-первых, отсутствуют какие-либо статистические данные (и даже подходы к оценке) в этой области. Во-вторых, оцениваемые свойства носят преимущественно качественный характер (интероперабельность, понятность, дружественность, масштабируемость и т.п.), что неизбежно приводит к необходимости использования экспертных оценок, аппарата теории измерений и шкалирования (использования более слабых шкал, чем шкалы отношений).

Оценка экономической эффективности

При разработке или приобретении компонентов и систем встает вопрос об экономической целесообразности рассматриваемых вариантов. Оцениваются в первую очередь функциональные характеристики вариантов систем. Характеристики открытости лишь отчасти относятся либо совсем не относятся к функциональным характеристикам. Поэтому процентное выделение из общего объема стоимости части на решение вопросов открытости – дело политики и традиций организации. Задача заключается в максимизации эффективности использования выделенной доли средств. То есть получение максимально возможной экономической отдачи от затрат на открытость.

Непосредственный экономический эффект от применения новой концепции открытых систем и компонентов обусловлен снижением затрат на разработку и модификацию компонентов в тех случаях, когда эти компоненты могут быть найдены уже готовыми на стороне. Причем в концепции OpenSource львиная доля открытых компонентов может быть получена бесплатно. Разумеется, часть затрат (даже с бесплатными компонентами) останется (например, анализ, доставка, адаптация, освоение и обучение и т.п.), но все же суммарные затраты будут ниже при использовании готовых и наиболее подходящих компонентов, чем при их разработке или модификации.

Поэтому в качестве показателя экономической эффективности примем снижение стоимости системы (разработки или приобретения) при условии использования готовых сторонних компонентов, найденных при помощи модифицированной ТОС.

Кэок – коэффициент экономии от открытости компонентов. Идея этого показателя заключается в том, что, чем больше сторонних (бесплатных, условно бесплатных и т.п.) решений (компонентов) используется, тем лучше, поскольку меньше стоимость разработки системы при той же функциональности, больше функциональность при той же стоимости разработки системы (увеличение потребительской стоимости), лучше качественные характеристики (модифицируемость, сопровождаемость и т.п.) при тех же функциональности и стоимости.

Разумеется, выбор степени открытости системы у предприятия может быть различным: от осторожного до самого оптимистичного. Осторожная стратегия заключается в том, что предприятие выделяет небольшую долю средств (несколько процентов от полной стоимости разработки) на обеспечение некоторых свойств открытости. Эта стратегия оправдана в условиях отсутствия опыта, подготовленного персонала и уверенности в целесообразности работ в области открытости. Затраты носят, скорее, экспериментальный характер. Небольшой процент экономии средств при разработке уже может рассматриваться как мера эффективности применения ТОС.

При осторожной стратегии экономия средств определяется следующим образом. Обозначим стоимость разработки системы – S; часть средств, выделяемых на работы по обеспечению открытости, – ΔЅ; цену i-го закупаемого рыночного компонента (программы) – Црi; затраты на приобретение и адаптацию i-го открытого компонента (например OpenSource) – Зosi. Предполагается, что для всякого рыночного компонента всегда найдется соответствующий открытый компонент. Причем затраты на приобретение и адаптацию (обучение, тестирование и т.п.) открытого компонента ниже, чем у соответствующего рыночного компонента. Тогда число компонентов N, которые можно приобрести на рынке (коммерческих версий) ΔЅ, определяется так: .

Эти же компоненты, но в открытом исполнении можно приобрести на сумму Ѕos.

По определению Ѕos<ΔЅ.

Экономия средств от использования открытых решений в рублях составит: Этос=ΔЅ-Ѕos.

Как меру эффективности можно использовать отношение .

Кэок можно считать равным единице при Мэ больше 15 %. При меньших значениях Мэ значение Кэок будет также уменьшаться.

То есть при 15 % экономии средств работы по открытости можно считать успешными в случае выбора осторожной стратегии.

Смешанная стратегия использования открытых решений заключается в том, что задается определенный процент открытости в общем объеме всех решений системы. Этот процент может выбираться из следующих соображений:

-     реализация одного или нескольких наиболее значимых с точки зрения заказчика свойств открытости систем (например, только свойство интероперабельности);

-     при заданном уровне денежных средств на открытость по шкале характеристик системы (в которую включены характеристики и функциональные, и открытости) определяется процентная доля открытых характеристик (и компонентов) относительно общего объема характеристик (и компонентов).

Также по любым другим соображениям задается конкретное процентное соотношение открытости системы. В этом случае заданная мера открытости определяется таким образом: , где Vos – объем функций (компонентов) открытости; V – общий объем функций системы.

Тогда денежные средства на открытость Sos определяются как Sos=SU.

В свою очередь, средства на открытость распределяются на разработку и сторонних открытых решений: Sos=Sosсоб+Sosстор.

Отношение сторонних открытых решений к собственным дает некоторый коэффициент уменьшения стоимости разработки при заданном уровне открытости системы: .

Это означает, что с точки зрения экономии средств предпочтительнее сторонние открытые решения. Коэффициент определяется как отношение затрат на приобретение и адаптацию сторонних компонентов к затратам на разработку или модификацию подобных компонентов своими силами.

С помощью этого коэффициента можно определить экономию средств в открытых решениях:

.

Мерой экономической эффективности будет:

.

Значение коэффициента экономии Кэок можно принять близким к единице при условии Мэ<85 %. При Мэ>85 % значение Кэок будет меньше единицы.

Стратегия полной открытости системы заключается в максимально возможном способе подбора и разработки всех решений (компонентов). Тогда стоимость разработки S будет равняться стоимости открытых решений Sos. Это частный случай предыдущей стратегии: , , .

Значение коэффициента экономии Кэок можно принять близким к единице при условии Мэ<50 %. При Мэ>50 % значение Кэок будет меньше единицы.

То есть более предпочтительным является случай приоритетного использования сторонних открытых решений.

Научно-технические показатели

Показатели результативности открытых систем в новой концепции можно оценить через традиционные показатели точности, полноты и др.

Точность (r) поиска вычисляется как отношение найденных релевантных документов к общему числу найденных документов: .

Полнота поиска вычисляется как отношение найденных релевантных документов к общему их числу: , здесь дано обозначение количества документов: а – найденных релевантных; b – найденных, но нерелевантных; c – релевантных, не найденных системой; d – нерелевантных и не найденных системой.

Допустим, что число релевантных информационных объектов остается неизменным в сети, но новый инструмент описания дает возможность точнее сформулировать описание и запрос. Исследование показывает, что значение показателей результативности поиска растет при увеличении числа найденных документов, обусловленных повышением точности описаний компонентов.

Тогда коэффициенты повышения точности Кт и полноты Кп будут определяться: , , где r1, p1 – новые точность и полнота поиска.

Меры эффективности по точности Эт и по полноте Эп можно считать близкими к единице при Кт и Кп, равных 30–50 %.

Показатель обоснованности решений

В соответствии с предлагаемой концепцией существенно увеличивается число рассматриваемых решений и компонентов, что повышает обоснованность и эффективность выбранных решений.

Повышение обоснованности возможно следующим образом. Если учесть, что в старой концепции ТОС рассматривались только решения и компоненты в собственной БД (компоненты самого разработчика), то, очевидно, рассматривая компоненты, доступные в сети (от поставщиков по всему миру), существенно расширяется количество вариантов. Будем считать, что даже троекратное увеличение числа рассматриваемых вариантов является основанием для утверждения о достаточном повышении обоснованности принимаемых решений. Меньшее число вариантов в условиях сети маловероятно, большее – лишь улучшает показатель обоснованности: , где Nрк – число рассмотренных компонентов (в том числе и с использованием сети); Nкбд – число рассмотренных компонентов в собственной БД.

Меру эффективности по обоснованности ре- шений Эоб можно принять близкой к единице при Коб>5.

Показатель степени близости описания и запроса компонента

Важным научно-техническим показателем эффективности предлагаемой ТОС является степень близости описания компонента описанию запроса на поиск компонента. Метаописание компонентов должно строиться на основе онтологий предметной области (в частности, открытые системы и компоненты). Усиление описания производится введением более сильных шкал (порядка и интервалов). Запросы формируются на основе тех же онтологий и шкал. В некотором смысле запрос – идеальное представление заказчика о возможностях разыскиваемого компонента. А описание компонента – реальное представление о возможностях компонента. Поэтому степень совпадения (приближения) описания и запроса является мерой степени удовлетворенности заказчика найденным компонентом в рамках описания некоторой шкалы.

Показатель полноты запроса на компонент – эталонное описание требований по некоторой шкале , где Xi – важность эталонных характеристик запроса на поиск компонента.

Показатель полноты описания компонента по той же шкале, но с учетом степени реализации эталонных характеристик в конкретном компоненте вычисляется по формуле: , где ki – степень реализации эталонных характеристик компонента (0–1); тогда показатель степени близости описаний компонента и запроса на него .

Меру эффективности по степени близости описаний компонента и запроса на него Эбл можно принять близким к единице при Sb>80 %.

Показатель степени открытости компонента

Как было показано, степень открытости является вопросом политики и традиций предприятия. Эффект от открытости не может быть получен немедленно, и поэтому данный показатель не относится к экономическим. Но реализация заданной степени открытости системы или компонента является важной характеристикой при разработке информационных систем.

Решение вопросов измеримости и шкалирования информации приводит к необходимости построения метаописания компонентов на основе онтологий предметной области. Усиление описания производится введением более сильных шкал (порядка и интервалов).

В информационном пространстве открытых компонентов не только задаются правила построения метаописаний, но и предлагаются типовые шкалы оценки степеней открытости систем и компонентов. В качестве эталонных значений элементов шкал используются онтологии характеристик и свойств открытости. Оценивается степень реализации каждой характеристики открытости в конкретной системе.

Как уже было сказано, степень совпадения (приближения) описания характеристик компонента и шкалы является мерой степени открытости компонента по данной шкале.

Показатель степени открытости компонента – эталонное описание характеристик по некоторой шкале: , где Xi – важность эталонных характеристик шкалы открытости.

Показатель степени открытости компонента по той же шкале, но с учетом степени реализации эталонных характеристик в конкретном компоненте запишется в виде: , где ki – степень реализации эталонных характеристик компонента (0–1). Тогда показатель степени открытости описаний компонента и запроса на него .

Меру эффективности по открытости компонента Эотк можно принять близким к единице при Ок>80 %.

К социальным относятся показатели, отражающие существенные качественные аспекты работы с информацией и знаниями. Эти аспекты дают пользователям новые полезные возможности, которые трудно свести к экономическим показателям: возможность длительного сохранения информации и знаний, автоматическая понимаемость программами, широкая доступность и т.п.

Данные возможности могут быть формализованы через отражение в описаниях сведений об использованных при создании компонента онтологиях, соответствующих международных стандартов, общепринятых шкал измерений, общепринятого языка описания метаинформации и др.

Показателем социальной эффективности компонента или системы является оценка наличия некоторого набора фактов по порядковой шкале (есть или нет): , где Yik – число некоторых фактов, совпадающих с эталонным описанием (0 или 1); Yjэ – число эталонных фактов, делающих компонент социально привлекательным.

Меру социальной эффективности Эсоц можно принять близкой к единице при Сэ>80 %.

Интегральный показатель эффективности открытой системы

Прежде чем подставлять частные показатели эффективности в интегральный показатель, необходимо сделать их безразмерными по формуле , где Pi – ненормированное значение показателя; Pmin, Pmax – соответственно минимальное и максимальное значения показателя.

Интегральный показатель эффективности открытых систем и компонентов равен:

, где Кэок, Эт, Эп,, Эоб, Эбл, Эотк, Эсоц – частные показатели эффективности. С индексом k показатели относятся к оцениваемому компоненту, с индексом э – к эталонным значениям показателей (меняются в диапазоне от 0 до 1); аi – коэффициенты важности каждого показателя (i=0–1).

Интегральный показатель отражает степень приближения открытости компонента к некому идеальному значению, который пользователь считает эталонным.

В качестве показателей сравнения систем и технологий в сфере информационных технологий (ИТ) выберем «Среднестатистические мировые показатели эффекта от внедрения ИТ-систем» (http://corporatesystems.ru/it-management-396.html), в таблице 1 это 1, 2, 3-я колонки.

В этом списке, естественно, нет характеристик, непосредственно связанных со свойствами открытости систем и компонентов. Но, безусловно, такая связь есть, хотя и не всегда очевидная.

Здесь следует учитывать непрямое (косвенное) влияние улучшения свойств ИТ-систем (информационных и программных систем, компонентов, сервисов, агентов и т.п.) на улучшение показателей любой другой экономической или технической системы. Например, улучшение (через повышение степени открытости) программной системы «Материально-техническое снабжение» влияет на сам процесс материально-технического снабжения. Эта связь определяется тем, что любая ИТ-система (решение) направлена на повышение эффективности какой-либо деятельности. Поэтому эффективность самой ИТ-системы также влияет на конечную эффективность деятельности. А реализация свойств открытости ИТ-систем (решений) и есть способ повышения их эффективности.

Таблица 1

Проявление полезного эффекта самих ИТ-систем на качество и результативность работы технических и экономических систем обусловлено оптимизацией следующих факторов:

-     скорость прохождения информации, ее восприятия и понимания;

-     стоимость издержек, связанных с информационной обработкой;

-     повторное использование информации;

-     снижение рутинных информационных операций;

-     доступность информации;

-     снижение рисков, связанных с неверной интерпретацией информации человеком, и т.п.

Свойства открытости ИТ-решений в разной степени, но влияют на повышение эффективности каждой отдельно взятой ИТ-функции. Где-то это влияние прямое и очевидное, например, повышение доступности технической информации через повышение доступности (открытости) информационных ресурсов. А где-то его можно определить только через снижение стоимости отдельных информационных операций.

В первой характеристике, «Снижение количества задержек при поставках продукции заказчикам», роль ИТ-решений определяется повышением информированности сторон о состоянии заказа (поставляемой продукции) и оперативности принятия решений. Этим и определяется высокий процент эффекта (90 %) от внедрения ИТ-решения.

Обеспечение высоких показателей свойств открытости этого ИТ-решения (реализующих компонентов) позволит снизить стоимость ИТ-решения, использовать информационные результаты ИТ-систем партнеров (заказчиков, сторонних организаций), применить новые алгоритмы в решении рутинных интеллектуальных задач класса интеллектуальной рутины.

Поэтому количество задержек при поставках продукции снизится в большей степени. При этом повысится надежность решений и снизится стоимость этой информационной операции. Экспертно установлено, что дополнительное снижение данного показателя оценивается в 40 % (относительная величина).

Во второй характеристике, «Уменьшение неснижаемых остатков на складах материалов», роль ИТ-решений определяется более высокой информированностью производителя о конъюнктурных изменениях на мировом рынке и потребностях в предлагаемой продукции, что, в свою очередь, существенно влияет на размер остатков на складе, более короткой информационной связью между всеми участниками производственного и рыночного процессов.

Открытость ИТ-решений позволяет включать в информационный процесс сервисы и информационные ресурсы, которые изначально не закладывались в систему. Тем самым повышается эффективность принятия решений относительно остатков на складе. В условиях глобализации экономики и быстрой сменяемости состава участников любого рыночного процесса свойство открытости ИТ-решения существенно повышает эффективность по второму показателю. Экспертная оценка об относительном повышении этого показателя составляет 80 %.

В третьем показателе, «Повышение оборачиваемости запасов», роль ИТ-решений та же, что и во втором. Возможность широкого использования информации, рассеянной по всей глобальной сети, и высокоавтоматизированная обработка этой информации определяются не столько применением собственно ИТ-решений, сколько свойствами открытости этих решений. Поэтому оборачиваемость запасов тесно связана с возможностью информационного взаимодействия с партнерами, о которых ничего не было известно системе при разработке. Экспертная оценка об относительном повышении этого показателя составляет 100 %.

Дальнейшее обоснование влияния степени открытости на результативность ИТ-систем и решений при повышении эффективности производственных функций можно опустить. Экспертные оценки относительного повышения показателей эффекта от внедрения ИТ-систем за счет реализации свойств открытости приведены в таблице 2.

В результате анализа и оценки при сопоставлении показателей с аналогичными разработками можно сделать вывод о том, что предлагаемое развитие ТОС может принести существенное повышение показателей эффективности не только ИТ-решениям, но и непосредственно тем процессам и системам, к которым они применяются.

Экономическая эффективность предлагаемого развития ТОС определяется повышением эффективности ИТ-решений при выполнении производственных, организационных, экономических или других задач. Как уже было показано, при сопоставлении показателей (см. табл. 2) такое повышение эффективности наблюдается, и оно может быть оценено в относительных единицах.

Таблица 2

Здесь не рассматривается общий интегральный эффект от внедрения новой ТОС, речь идет только об экономической выгоде, которая может быть получена сразу.

Интерпретировать значения показателей в таблице можно следующим образом. По каждой производственной функции может быть получено некоторое повышение эффективности за счет применения ИТ-систем (). А применение ТОС (с использованием идей развития) позволяет получить дополнительный прирост этого эффекта. Повышение выражается неким коэффициентом прироста эффективности . Будем считать, что этот прирост и есть мера прироста эффективности характеристики за счет ТОС. Выразим повышение показателей эффекта от внедрения ИТ и прирост от ТОС в виде коэффициентов.

Тогда показатель средневзвешенного прироста по всем характеристикам за счет применения ТОС запишется:. Подставляя значения из таблиц, вычисляем P, которое будет равно 104,122 %.

В результате работы по оценке эффективности мероприятий по развитию ТОС можно сделать следующие выводы.

Несмотря на отсутствие достаточной статистической базы применения ТОС в информационных системах, эффективность предлагаемых мероприятий поддается количественной оценке. В силу особенностей рассматриваемой задачи наиболее приемлемыми методами оценивания предлагаемых мероприятий являются экспертные оценки, построенные  на основе теории измерений и шкалирования. Получаемые результаты при оценке важны не сами по себе. Наибольшую ценность представляют именно процесс построения шкал, формализация предпочтений и определение направления эффективного совершенствования ТОС. Предлагаемый подход может быть методически перенесен на аналогичные области количественной оценки информации, имеющей качественный характер.

Литература

1.   Бойченко А.В., Кондратьев В.К., Филинов Е.Н. Основы открытых информационных систем. – М.: Издат. центр АНО «ЕОАИ», 2004. – 128 с.

2.   Теория систем и системный анализ в управлении организациями: Учеб. пособ. / Под ред. В.Н. Волковой и А.А. Емельянова. – М.: Финансы и статистика, 2006. – 848 с.