В процессе эксплуатации и сопровождения информационной системы (ИС), а также при ее модернизации возникает необходимость оценки качества компонентов системы. Актуальность и практическая значимость этой задачи подтверждается тем, что к настоящему времени появилось большое число российских компаний, основным видом деятельности которых является аудит ИС. Одной из важнейших задач аудита ИС является формализация показателей качества и методологии их расчета, на основе которых должна быть получена оценка состояния ИС  в целом и отдельных ее компонентов. Существуют различные стандарты оценки качества ИС и процесса ее разработки. Их анализ показывает, что актуальной является задача разработки системы обобщенных и частных количественных показателей, позволяющих оценить качество ИС. Такая система показателей должна базироваться на общепри- нятых стандартах качества ИС и комплексной модели ИС, отражающей все элементы ее архитектуры.

В данной статье для оценки качества ИС предлагается использовать понятие «добротность ИС», определяется перечень показателей добротности ИС и методика их расчета.

Отправной точкой оценки качества ИС является определение самого понятия ИС. Под ИС будем понимать совокупность аппаратно-программных средств, предназначенных для автоматизации бизнес-процессов организации.

В соответствии с современными концепциями разработки корпоративных автоматизированных систем архитектура ИС представляется в виде пятиуровневой схемы:

1) уровень автоматизируемых функциональных задач (уровень функциональных требований);

2) уровень прикладных программных комплексов, реализующих функциональные требования;

3) уровень интеграции, включающий компоненты, реализующие внутреннее взаимодействие программных комплексов ИС и внешнюю интеграцию с внешними автоматизированными системами;

4) уровень информационного обеспечения (баз данных) – совокупность объектов нормативно-справочной информации и оперативных данных, которые создаются, хранятся и обрабатываются в ИС;

5) уровень инфраструктуры, включая организационную, техническую составляющую и компоненты обеспечения информационной безопасности. Компоненты инфраструктуры обеспечивают функционирование компонентов верхних уровней ИС.

Такое представление позволяет выделить главные составляющие ИС и построить систему показателей добротности, непосредственно связанных с элементами архитектуры ИС.

Используя пятиуровневое представление, добротность ИС представляется вектором в пятимерном пространстве:

.

Интерпретация значений координат вектора добротности ИС заключается в том, что они определяют добротность соответствующего уровня ИС пятиуровневого представления:

 – функциональная добротность (ФД) ИС,

 – прикладная добротность (ПД) ИС,

 – интеграционная добротность (ИД) ИС,

 – добротность информационного обеспечения (ДИО) ИС,

 – техническая добротность (ТД) ИС.

Численным выражением значения общей добротности ИС является нормированная длина вектора :

,

где  – значение добротности ИС.

Представление добротности ИС в виде вектора в пятимерном пространстве позволяет:

-  разложить обобщенную характеристику ИС на составляющие и оценить добротность каждого уровня (в пятиуровневом представлении ИС) в отдельности;

-  оценить изменение добротности ИС в целом и добротности каждой составляющей ИС в отдельности в процессе развития системы;

-  сравнить две ИС, имеющие одинаковую величину добротности, которые при этом могут существенно различаться по состоянию отдельных уровней.

Для визуального изображения добротности ИС используется двухмерное графическое представление – линия добротности ИС (рис. 1).

Если линия добротности является горизонтальным отрезком, располагающимся на уровне максимально значения координат вектора  (на рисунке – отрезок АЕ), то ИС является «идеальной». Это означает, что аппаратно-программные компоненты ИС, используемые на каждом уровне, полностью соответствуют предъявляемым на этом уровне требованиям, а ИС в целом имеет разумную, рациональную, достаточно продуманную организацию компонентов, потоков управления и информационных ресурсов и обеспечивает выполнение всех функциональных и дополнительных (нефункциональных) требований. Линия добротности реальной унаследованной ИС представляет собой ломаную линию.

Графическое представление позволяет наглядно отобразить добротность каждого уровня ИС, оценить положение унаследованной ИС относительно «идеальной» ИС, а также сравнить две и более ИС в целом и по каждому уровню в отдельности.

Для вычисления добротности ИС необходимо рассчитать координаты  вектора , то есть значения добротности каждого уровня ИС. Для этого используются частные количественные показатели добротности.

ФД определяется уровнем и эффективностью автоматизации функциональных задач и рассчитывается по формуле .

Уровень автоматизации А вычисляется как отношение числа автоматизированных задач (с учетом степени автоматизации) к общему числу задач, подлежащих автоматизации и перечисленных в функциональных требованиях к системе. Эффективность автоматизации  вычисляется как среднее значение величины, отражающей сокращение трудоемкости решения задачи после ее автоматизации (вычисляется как отношение разности времени выполнения задачи с помощью автоматизированной системы и времени выполнения задачи вручную ко времени выполнения задачи вручную).

Значение ФД ИС показывает, насколько система удовлетворяет предъявляемым функциональным требованиям. С этой точки зрения добротная ИС – это система, с помощью которой автоматизировано максимальное число функциональных задач организации и максимально снижена трудоемкость их выполнения.

ПД ИС показывает, насколько функционирующие в ней программные комплексы удовлетворяют потребностям пользователей. При оценке ПД ИС во внимание принимаются внешние показатели работы программных приложений, которые влияют на работу пользователей системы. При этом не рассматривается внутренняя структура приложений, организация потоков управления и потоков данных в них. ПД рассчитывается по следующей формуле , где  – показатель дружественности интерфейса пользователя программных комплексов (вычисляется как отношение числа программных комплексов, для которых не требуется модернизация интерфейса пользователя к общему числу программных комплексов);  – среднее значение устойчивости работы программных комплексов, которое вычисляется как отношение времени полезной работы комплекса (разность общего времени работы и суммарного времени восстановления после сбоев) к общему времени работы комплекса;  – показатель времени отклика (показатель, вычисляемый как отношение числа программных комплексов, для которых время отклика на запросы пользователей является удовлетворительным к общему числу программных комплексов);  – показатель достаточности эксплуатационной документации программных комплексов (вычисляется как отношение числа программных комплексов, для которых не требуется доработка эксплуатационной документации к общему числу программных комплексов).

ИД ИС определяется количеством автоматизированных взаимодействий между программными комплексами и рассчитывается по формуле , где  – количество пар программных комплексов (учитываются пары взаимодействующих программных комплексов типа «внутренний-внутренний» и «внутренний-внешний»), между которыми требуется реализация автоматизированного обмена;  – количество пар программных комплексов, между которыми реализован автоматизированный обмен.

Необходимость автоматизированного обмена между программными комплексами определяется функциональными задачами, выполнение которых они автоматизируют. Если одна функциональная задача использует результаты выполнения другой, то между реализующими их программными комплексами должен быть автоматизированный обмен (интеграция).

ДИО определяется нормализованностью структуры базы данных () и полнотой информационного обеспечения () и рассчитывается по формуле .

Нормализованность структуры базы данных зависит от номера нормальной формы, которой она соответствует. Структура информационного обеспечения (базы данных), при которой исключаются аномалии дублирования, вставки, удаления данных и транзитивных зависимостей неключевых атрибутов от ключевых атрибутов, должна соответствовать третьей нормальной форме и выше. Поэтому значение показателя  принимается равным 1, если нормальная форма базы данных ИС больше третьей или вычисляется как отношение значения нормальной формы базы данных к значению 3 в противном случае. Показатель  особенно эффективен для оценки качества структуры информационного обеспечения крупной ИС, в которой функционирует большое число программных комплексов, создаваемых различными разработчиками. Низкое значение , может быть следствием того, что отсутствует единая система ведения базы данных, учитывающая потребности всех программных комплексов, что в свою очередь приводит к различным аномалиям работы с данными, которые усложняют процесс сопровождения и синхронизации данных, а также увеличивают затраты на поддержание их в актуальном состоянии.

Наполнение информационного обеспечения ИС включает в себя данные двух типов: нормативно-справочная информация и оперативные данные. Показатель полноты информационного обеспечения  рассчитывается как отношение числа объектов данных, хранение которых поддерживается в ИС, к общему числу объектов, которые должны храниться в базе данных ИС, исходя из функциональных требований к ней.

ТД ИС определяется состоянием следующих компонентов системы:

·   организационной инфраструктуры (организационное обеспечение), включая штатных специалистов, сопровождающих и обслуживающих ИС;

·   технического обеспечения – общесистемной аппаратно-программной инфраструктуры, включающей аппаратное обеспечение (серверы, рабочие станции, коммуникационное оборудование и каналы передачи данных), а также общее программное обеспечение (операционные системы и входящие в них стандартные компоненты, системы управления базами данных, почтовые приложения, приложения связи и передачи данных);

·   инфраструктуры безопасности – совокупности организационных и аппаратно-программных компонентов, обеспечивающих требуемый уровень безопасности ИС.

ТД ИС рассчитывается по формуле

,

где  – укомплектованность персонала, обслуживающего ИС (рассчитывается как отношение фактического числа технического персонала к числу персонала, предусмотренного штатным расписанием);

 – охват пользователей (рассчитывается как отношение числа автоматизированных рабочих мест к общему числу сотрудников организации, которые должны работать с ИС);

 – средний коэффициент надежности функционирования компонентов технического обеспечения (коэффициент надежности рассчитывается как отношение времени работы компонента технического обеспечения без сбоев к общему времени работы);

 – затратность сопровождения ИС (принимается равным 0, если стоимость владения ИС меньше совокупных затрат на поддержание ее работоспособности, а в противном случае рассчитывается как разность значения 1 и отношения стоимости владения к совокупным затратам на поддержание работоспособности системы);

 – средний запас прочности компонентов технического обеспечения (рассчитывается как отношение времени работы компонента технического обеспечения не с пиковыми нагрузками к общему времени работы);

 – уровень информационной безопасности (вычисляется по специализированной методике, учитывающий такие аспекты информационной безопасности, как наличие политики безопасности, организационная поддержка безопасности, физическая защита, наличие технических средств защиты и т.д.).

Значения всех показателей добротности ИС нормированы в диапазоне от 0 до 1. Это позволя- ет использовать характеристики ИС с различ- ными единицами и шкалами измерения для получения частных и интегрированных оценок ее состояния.

ИС, значение добротности каждого уровня которой равно единице, будем называть абсолютно добротной ИС. Значение добротности реальной ИС показывает ее состояние относительно абсолютно добротной ИС. В процессе существования и эксплуатации ИС неизбежно ее изменение, а значит, и изменение значения и линии добротности ИС. Это связано с изменениями функциональных задач, решаемых ИС, с расширением перечня используемых программных средств, состава хранимых и обрабатываемых данных, с появлением внешних ИС, с которыми осуществляется взаимодействие, с устареванием или изменениями конфигурации общесистемного обеспечения. Изменения на любом уровне ИС возникают также при проведении ее модернизации (или реинжиниринга), что, в свою очередь, приводит к изменению добротности ИС.

Таким образом, значение добротности ИС и линия добротности ИС могут использоваться для оценки динамики изменения состояния ИС в процессе ее существования, а также оценки результатов модернизации ИС.

При модернизации ИС необходимо оценить, как изменилась та или иная составляющая добротности и не нарушена ли добротность в целом. Сравнение добротности ИС, полученной после завершения модернизации, с добротностью той же ИС до ее проведения позволяет провести формальный анализ результатов модернизации ИС.

Модернизация ИС признается успешной только в том случае, если в результате ее выполнения увеличилась добротность ИС в целом и нет ни одного уровня ИС, добротность которого снизилась. Успешная и неудачная модернизация с использованием линий добротности представлена графически на рисунке 2.

Предлагаемая система показателей добротности ИС применима для оценки качества ИС различных типов. Кроме того, система показателей добротности является расширяемой как по составу показателей, так и по методикам их расчета. Например, если для системы реального времени важно, насколько качественно работает техническая инфраструктура, то предложенная система показателей может быть расширена показателями, специфичными для оценки качества компонентов технического обеспечения в контексте их использования в системах реального времени.

Описанные показатели добротности ИС успешно применялись в нескольких работах по обследованию и модернизации государственных ИС различного типа. Примерами таких работ являются: «Проведение диагностического обследования и разработка концепции развития Информационно-телекоммуникационной системы Счетной палаты Российской Федерации», выполненная в 2003 году, и «Модернизация Государственной автоматизированной системы «Выборы»», выполненная в 2001-2004 годах.