Software & Systems

Задача обеспечения устойчивости функционирования распределенных информационных систем (РИС), несмотря на интенсивное развитие средств хранения и обработки информации, до сих пор стоит очень остро. Данное обстоятельство связано с ростом объемов критически важных данных, хранящихся и обрабатываемых в системе, с ограниченными материальными средствами, выделяемыми на создание и развертывание РИС, огра-ниченной пропускной способностью каналов передачи данных и других характеристик сети, с влиянием дестабилизирующих факторов различной природы.

На предприятиях промышленности, в организациях и государственных учреждениях различных уровней эксплуатируется большое количество информационных систем (ИС), требующих хранения больших объемов данных, критичных для решения задач управления. К таким ИС относятся системы учета и хранения конструкторской документации, системы электронного документооборота, ИС управления персоналом, ERP-системы и др.

Надежное и бесперебойное функционирование данных систем является залогом эффективного функционирования организаций и предприятий в различных сферах экономики. Под устойчивостью функционирования системы понимается ее способность выполнять возложенные функции с заданными показателями качества в условиях воздействия дестабилизирующих факторов [1, 2].

В настоящее время наиболее эффективными для обеспечения устойчивости функционирования РИС являются следующие подходы [3, 4]:

–      совершенствование информационно-вычислительного процесса, в том числе в части обеспечения его устойчивости;

–      создание высоконадежных подсистем хранения и резервирования данных.

В общем случае можно утверждать, что устойчивость функционирования РИС непосредственно зависит от устойчивости процессов хранения и обработки данных (ХОД) в системе вычислительных средств распределенной сети. Для повышения устойчивости процессов ХОД на этапе проектирования эксплуатации РИС целесообразно рациональное распределение элементов ПО и информационных массивов по узлам вычислительной сети, а при воздействии дестабилизирующих факторов, в случае структурной деградации сети – их перераспределение [1].

Решение задач организации процессов ХОД позволяет повысить эффективность функционирования системы за счет снижения издержек, связанных с разрушением информации, включая потери от невозможности решения задач и получения недостоверных результатов, за счет уменьшения времени и затрат на восстановление разрушенной или искаженной информации, рационального использования внешней памяти вычислительных средств для размещения данных РИС и т.д.

Практическое решение вопросов оптимизации распределения (перераспределения) информационных ресурсов, а также управление данным распределением в РИС связаны с развитием теории дискретной оптимизации. Большая размерность, дискретность, нелинейность указанных задач и необходимость их решения в жестких временных рамках (на этапах эксплуатации и совершенствования) порождают задачу многомерности, дискретности и поиска путей снижения размерности сформулированных задач, разработки и использования эффективных методов их решения.

Основу РИС составляет система ХОД, предназначенная для организации надежного, а также отказоустойчивого хранения данных, высокопроизводительного доступа серверов к устройствам системы ХОД.

Для рациональной организации процессов ХОД в РИС в структуре системы ХОД создают центры ХОД, основной задачей которых является реализация эффективных, с точки зрения решаемых в системе задач, процессов хранения и обработки информации.

Вследствие ограниченности материальных средств, выделяемых на создание РИС, хранение и обработка информации в них осуществляются в ограниченном количестве центров ХОД, создаваемых в соответствующих узлах сети. В центрах ХОД аккумулируются мощные вычислительные средства и средства хранения данных, обеспечивающие решение функциональных задач как отдельного сегмента сети, так и системы в целом.

Таким образом, для обеспечения устойчивости функционирования РИС разработан комплекс математических моделей (рис. 1) в следующем составе:

–      оптимизация распределения элементов ПО функциональных задач по узлам сети;

–      оптимизация распределения информационных ресурсов по центрам ХОД;

–      определение рационального уровня расходов на формирование комплекса средств хранения данных в центрах ХОД;

–      оптимизация состава технических средств системы ХОД;

–      оптимизация распределения резерва информационных ресурсов по центрам ХОД.

Задача определения числа и месторасполо- жения центров ХОД в РИС решается с целью по- лучения такого плана распределения центра ХОД, который обеспечивал бы использование наиболее скоростных каналов передачи данных при информационном обмене. Определение количества и месторасположения центров ХОД в системе ХОД возможно путем решения задачи о p-медиане [5], которая относится к классу задач целочисленного линейного программирования. Для ее решения обычно используется метод ветвей и границ.

Целью решения задачи оптимизации состава технических средств системы ХОД, составляющих основу центра ХОД, является получение такого состава технических средств, который обеспечивал бы максимальное значение коэффициента готовности системы в целом при соблюдении ограничений на общий объем пространства средств хранения, на время восстановления системы, на стоимость системы резервирования.

Пусть все средства хранения данных, претенденты на включение с состав комплекса технических средств центра ХОД, делятся на I групп. В каждую i-ю группу средств хранения входят Zi средств хранения, имеющих номера с 1 по Zi. Заданы стоимость, время восстановления и объем информационного пространства каждого средства хранения данных.

Тогда по критерию максимума значения коэффициента готовности системы хранения данных в целом задача оптимизации состава средств хранения может быть сформулирована следующим образом [6]. Найти такие значения переменных zi (i=1, 2, …, I), что

                                               (1)

при ограничениях

–      на стоимость системы резервирования:

                                                  (2)

–      на время восстановления системы резервирования:

                                               (3)

–      на общий объем средств хранения:

                                                  (4)

–      на значения переменных:

zi=1, 2, …, Zi,                                                           (5)

где Cдоп – максимально допустимая стоимость системы хранения и резервирования; TВ доп – максимально допустимое время восстановления системы хранения и резервирования; Viдоп – максимально допустимый информационный объем системы хранения и резервирования данных; I – число видов средств хранения информации.

Задача (1)–(5) относится к классу задач выбора комплекса технических средств, и для ее решения применяются методы динамического программирования [7].

В связи с тем, что затраты на построение системы ХОД в центре ХОД существенны по размеру и значительно растут при ужесточении требований к надежностным показателям качества их функционирования, необходимо обоснование рациональности выбора их размера.

Для определения рационального уровня расходов на формирование комплекса средств хранения данных в центрах ХОД предлагается использовать методику, основанную на применении элементов теории вероятностей и теории благосостояния (принцип оптимальности по Парето) [8, 9], суть которой состоит в следующем.

Пусть q – параметр, характеризующий уровень сохранности информации в РИС, 0 £q £1. Обозначим через Zф потери от разрушения или нарушения целостности информации в РИС, которые зависят от определенного в РИС уровня обеспечения сохранности информации (ОСИ), описываемого значением параметра q. Будем считать, что эта величина принимает максимальное значение при q = 0 (отсутствие системы ОСИ) и значение, равное нулю, при q=1 (наличие «абсолютной» системы ОСИ). Таким образом, имеем функцию вида Zф = Zф(q), q Î [0, 1].

При отсутствии системы ОСИ (q = 0) потери от разрушения или искажения информации в РИС составляют С1 единиц. Будем считать, что с ростом величины q значение потерь Zф уменьшается по экспоненциальному закону и при q=1 становится практически равным нулю. Этим требованиям удовлетворяет функция

Параметр a, входящий в это выражение, можно вычислить из уравнения , где e – параметр, учитывающий степень важности информации, обращающейся в РИС.

Пусть Zc – затраты на создание системы ОСИ, которые описываются функцией вида Zc = Zc(q), q Î [0, 1].

Эта функция описывается зависимостью .

Здесь С2 – стоимость создания «абсолютной» системы ОСИ, при которой уровень сохранности информации q = 1. Параметр b определяется по формуле .

При разработке системы ОСИ естественным требованием является минимизация затрат Zф и Zс путем выбора значения вероятности q на интервале [0, 1], то есть .

Данные целевые функции противоречивы, так как с ростом значения q затраты Zф убывают, а затраты Zc возрастают. Это позволяет установить некоторый компромисс между значениями затрат Zф и Zc.

Для реализации такого подхода сформулируем двухкритериальную задачу оптимизации вида .

Парето-оптимальное решение этой задачи будем искать путем минимизации линейной свертки критериев: .

Здесь l Î (0, 1) – параметр свертки критериев.

Для решения задачи можно использовать необходимое условие экстремума функции L (q, l), которое записывается как

.

Решая это уравнение, получаем параметрическую зависимость вида q = q(l), lÎ(0, 1), которая описывает множество парето-оптимальных решений задачи в пространстве решений.

После подстановки функций Zф=Zф(q) и Zc=Zc(q) в условие экстремума L(q, l) получим [7]:

.

Решая это уравнение, получим конкретный вид зависимости:

.

Для определения допустимых значений па- раметра свертки l, входящего в это выражение, примем, что задано значение q*, определяющее границу вероятности q, то есть минимально допустимый с точки зрения ОСИ уровень. Тогда парето-оптимальные значения вероятности q(l) должны удовлетворять неравенству вида q* £ q(l) £1.

При этом минимальное значение lmin Î (0, 1) определяется как .

При q(l) <1 имеем следующее ограничение на значение параметра l:  при замене q* на величину q(l)=0,85.

В связи с тем, что уровень ОСИ, при котором q=1, на практике недостижим, но разработчик стремится обеспечить такой уровень, значение С2 можно формировать двумя путями: заданием разработчиком величины С2, при которой, с его точки зрения, будет достигнут максимально возможный уровень ОСИ в РИС (30–50 % стоимости системы ОСИ), и использованием значения С2 из практики разработки и функционирования хорошо защищенных систем ХОД.

Так, при q*=0,85, C1=150 000 000, C2=48 000 000 можно получить множество значений уровня обеспечения ОСИ путем варьирования значений параметра l в интервале [0.999977, 0.999999].

Пример графиков функций Zф(q) и Zс(q) при ε = 0,01 для особо важной информации (ИС учета и хранения конструкторской документации), ε = 0,0001 для важной информации (информационных массивов электронного документооборота, договорные материалы), ε = 0,000001 для информационных массивов, хранящих информацию, важную в течение заданного периода времени (текущая переписка), представлен на рисунке 2.

Из рисунка 2 видно следующее:

–      график зависимости Zc1(q) является некорректным, поскольку при затратах на разработку систем информационной безопасности, равных 0, вероятность обеспечения безопасности при функционировании системы ХОД q ®0;

–      при уменьшении величины e наблюдается уменьшение значения функций Zф(q) и Zс(q) при одинаковом значении аргумента.

Исходя из этого, можно сделать вывод о том, что для систем ОСИ, в которых обращается информация с более высокой степенью важности, минимальное значение в интервале варьирования параметра l должно быть больше, чем для системы ХОД с более низкой степенью важности.

Таким образом, множество значений вероятности обеспечения ОСИ в РИС и соответствующие им значения потерь от потери или искажения информации и затрат на создание системы ОСИ возможно определить путем варьирования значений параметра свертки l в интервале [lmin, lmax], что позволит выбрать значение требуемой вероятности ОСИ из полученного множества. При этом в качестве исходных данных для получения вышеуказанного множества выступает незначительный набор данных.

На основе результатов решения задач определения числа и месторасположения центров ХОД в РИС, оптимизации состава технических средств системы ХОД формализованы задачи оптимизации распределения элементов ПО функциональных задач по узлам сети и оптимизации распределения резерва информационных ресурсов по центрам ХОД.

Для простоты дальнейших рассуждений примем следующее допущение: время получения информации из информационного массива равно 0, то есть оперативность получения данных для решения задач не зависит от каналов передачи данных и размещения информационного массива по узлам сети.

Пусть задана сеть, состоящая из L вычислительных комплексов.

В сети решается К задач. Для каждого j-го узла сети сформирован и определен перечень задач, решение которых разрешено должностным лицам. Решение каждой из задач связано с формированием и обработкой соответствующего числа запросов на получение (сохранение, изменение) данных из (в) информационных массивов.

Размещение ЭПО по узлам сети определяется планом распределения, задаваемым матрицей

Тогда выражения для определения вероятности успешного решения Pjk, времени решения задач , объема информации, передаваемой по каналам связи при решении каждой задачи на каждом вычислительном комплексе (узле сети) Ljk(j=1, 2, …, L; k=1, 2, …, K), имеют вид

где  – вероятность успешной передачи информации между узлами j и i при решении на j-м вычислительном комплексе k-й задачи, ; – вероятность успешной передачи запроса (сообщения) на решение и сообщения с результатом решения должностным лицом j-го узла сети k-й задачи в i-м узле сети соответственно; Fij – число ИС, пересылаемых при передаче из i-го узла сети в j-й; Tijk – среднее время передачи сообщения из i-го узла сети в j-й при решении k-й задачи должностным лицом j-го вычислительного комплекса: ,  – среднее время передачи запроса на решение и сообщения, содержащего результаты решения должностным лицом j-го вычислительного комплекса k-й задачи в i-м узле сети соответственно;  – время выполнения k-го ЭПО на l-м вычислительном комплексе должностным лицом j-го узла при наличии всех исходных данных; tjk = 1, если должностные лица j-го вычислительного комплекса решают k-ю задачу, tjk = 0 в противном случае; ljk – интенсивность решения k-й задачи должностными лицами j-го вычислительного комплекса;  – объем запроса, формируемого должностными лицами j-го вычислительного комплекса на решение k-й задачи;  – объем сообщения с результатами решения должностными лицами j-го вычислительного комплекса k-й задачи; uk – объем внешней памяти, занимаемый k-м ЭПО.

С использованием данных выражений задача распределения ЭПО по критерию минимума объема информации, передаваемой по каналам связи при выполнении в РИС всех ЭПО (при решении всех функциональных задач), может быть сформулирована следующим образом. Определить такие значения jkj (k=1, 2, ..., K; j=1, 2, ..., L), что

                                            (6)

при ограничениях

–      на время решения задач:

 j=1, 2, ..., L, k=1, 2, ..., K;            (7)

–      на вероятность успешного решения задач:

 j=1, 2, ..., L, k=1, 2, ..., K;                (8)

–      на объем исходного информационного пространства:

 j=1, 2, ..., L;                                   (9)

–      на значения переменных:

 k=1, 2, ..., K;                                       (10)

k=1, 2, ..., K;  j=1, 2, ..., L,        (11)

где  – допустимое значение времени решения k-й задачи должностными лицами j-го вычислительного комплекса;  – допустимое значение вероятности успешного решения k-й задачи должностными лицами j-го вычислительного комплекса; Vj – максимально допустимый объем информационного пространства.

Задача (6)–(11) относится к классу линейных задач дискретного программирования с булевыми переменными и со смешанными ограничениями.

План распределения программ по узлам сети используется в качестве исходных данных для задачи распределения информационных массивов по центрам ХОД. В качестве информационного массива могут рассматриваться БД, массив электронных образов документов, обрабатываемых и циркулирующих в системе, и т.п. Необходимо распределить информационные массивы по центрам ХОД таким образом, чтобы минимизировать время решения всех задач в РИС.

Для простоты дальнейших выводов используем следующие допущения:

–      информационный обмен между ЭПО при решении задач осуществляется посредством сохранения промежуточных и конечных результатов в информационные массивы;

–      время выполнения запросов к информационным массивам пренебрежительно мало по сравнению со временем передачи информации по каналам связи.

Введем следующие обозначения: M – количество информационных массивов;  – матрица распределения ЭПО по узлам сети (l=1, 2, …, K, j=1, 2, …, L), jij = {0, 1};  – матрица связи ЭПО и информационных массивов (l=1, 2, …, K, m=1, 2, …, M), , если l-й ЭПО имеет информационный обмен в процессе своего решения с m-м информационным массивом, и 0 в противном случае;  – матрица распределения информационных массивов (m=1, 2, …, M, jÎXp); Llm – среднее значение суммарного объема информационного обмена l-го ЭПО при его выполнении с m-м информационным массивом; lэ – длина эталонного сообщения;  – среднее время доведения эталонного сообщения от i-го узла сети к j-му;  – среднее время выполнения l-го ЭПО в j-м узле без учета информационного обмена с информационными массивами; Xp – множество номеров узлов сети, в которых создаются центры ХОД (результат решения задачи о p-медиане).

Тогда задача оптимизации распределения информационных массивов по критерию минимума среднего времени решения всех задач в РИС может быть сформулирована следующим образом.

Определить такие значения ymj, m=1, 2, …, M, jÎXp, что  при ограничениях

–      на объем пространства на носителях для хранения информационных массивов:

 jÎXp;

–      на значения переменных:

, ykj = {0, 1}.

Данная задача относится к классу задач целочисленного линейного программирования с булевыми переменными [10, 11]. Для ее решения может быть применен метод ветвей и границ.

Задача оптимизации распределения резерва информационных ресурсов по центрам ХОД решается с целью получения такого плана распределения резерва информационных ресурсов по центрам, который обеспечивал бы минимальное время восстановления работоспособности системы ХОД в случае нарушения целостности информации при соблюдении ограничений на стоимость хранения резерва информационных ресурсов.

Пусть N – число центров ХОД, создаваемых в системе; M – число информационных массивов, хранящихся и обрабатываемых в центрах ХОД. Известны распределение информационных массивов по центрам ХОД, задаваемое матрицей  i=1, 2, …, M, j=1, 2, …, N, а также объемы каждого i-го информационного массива Vi и пропускная способность каналов передачи данных между каждыми l-м и m-м центром ХОД – . Тогда можно определить значение среднего времени восстановления i-го информационного массива в случае его искажения или разрушения:  где  – время выполнения работ по развертыванию и подключению (регламентных работ) i-го информационного массива после его восстановления в l-м центре ХОД;  i=1, 2, …, M,  j=1, 2, …, N – матрица распределения резерва информационного массива по центрам ХОД, причем  i=1, 2, …, M, xij, yij=0 " i, j.

В этом случае задача распределения резерва информационного массива по центрам ХОД по критерию минимума общего значения среднего времени восстановления информации в системе ХОД [12, 13] может быть сформулирована следующим образом.

Определить такие значения  i=1, 2, …, M, j=1, 2, …, N, что

                         (12)

при ограничениях

–      на стоимость хранения резерва информационного массива:

;                                       (13)

–      на значения переменных:

yij = {0, 1},                                                               (14)

 i=1, 2, …, M, xij, ylij=0 " i, j,            (15)

где Cj – стоимость хранения единицы объема информации в j-м центре ХОД; v – размер единицы объема хранения информации; Cдоп – максимально возможное значение стоимости хранения резерва информационного массива в системе ХОД.

Задача (12)–(15) относится к классу задач дискретного линейного программирования с булевыми переменными и может быть сведена к задаче о ранце [14], для решения которой может использоваться метод ветвей и границ [14]. Ее решение позволит минимизировать время восстановления работоспособности системы ХОД в случае нарушения целостности информации.

Разработанные математические модели обес- печения устойчивости функционирования РИС могут быть использованы на этапе проектиро- вания, при эксплуатации и совершенствовании РИС (рис. 1).

На стадии проектирования РИС для построения процесса ХОД последовательно решаются задачи определения числа и месторасположения центров ХОД в РИС, оптимизации состава комплекса средств хранения данных, оптимизации распределения ПО функциональных задач по узлам сети, оптимизации распределения информационных массивов по центрам ХОД, оптимизации распределения резерва информационных массивов по центрам ХОД.

На этапе эксплуатации в случае, когда воздействие дестабилизирующих факторов имело негативные последствия для РИС, например, нарушение функционирования отдельных сегментов сети, разрушение информационных массивов, выход из строя средств хранения и обработки данных и т.п., для обеспечения сохранения работоспособности РИС могут последовательно решаться задачи оптимизации распределения ПО функциональных задач по узлам сети, резерва информационных массивов и информационных массивов по центрам ХОД. При этом перераспределению подлежат те элементы ПО, информационные массивы и их резерв, нормальная эксплуатация которых была нарушена при воздействии дестабилизирующего фактора. Это обеспечит устойчивость функционирования РИС путем реорганизации процесса ХОД.

Для обеспечения оперативности принятия решения по реорганизации процесса ХОД решение указанных задач целесообразно производить методом ветвей и границ с применением алгоритма предварительного определения порядка ветвления переменных. В качестве метода оценки границ решения использовать симплекс-метод, в качестве стратегии ветвления – глобально-поисковую или локально-избирательную стратегию. При решении указанных задач должны учитываться результаты размещения остальных ЭПО и информационных массивов и их резерва, а также результаты воздействия дестабилизирующих факторов на функционирование узлов сети, центров ХОД, каналов передачи данных.

На этапе совершенствования РИС с вводом в эксплуатацию новых комплексов средств хранения и обработки данных, развертыванием новых сегментов распределенной вычислительной системы математические модели обеспечения устойчивости функционирования РИС могут решаться как в полном объеме, так и выборочно.

Для решения формализованных задач возможно использование разработанного програм- много комплекса [15, 16], реализующего метод ветвей и границ по решению задач дискретной оптимизации с булевыми переменными с применением алгоритма предварительного определения порядка ветвления переменных на основе использования теории двойственности. Использование теории двойственности для определения порядка ветвления переменных в методе ветвей и границ позволяет сократить время решения разработанных математических моделей в среднем в 8 раз. Применение разработанного программного комплекса позволяет получить решение разработанных задач за время, приемлемое для их практического применения.

Таким образом, использование разработанного комплекса математических моделей позволит обеспечить устойчивое функционирование РИС на этапах проектирования, эксплуатации и совершенствования.

Литература

1.     Повзнер Л.Д. Теория систем управления: учеб. пособие для вузов. М.: Изд-во МГГУ, 2002. 472 с.

2.     Николаев В.И., Брук В.М. Системотехника: методы и приложения. Л.: Машиностроение, 1985. 199 с.

3.     Есиков Д.О. Способы повышения устойчивости функционирования вычислительной системы // Молодежные инновации: сб. статей 7-й молодеж. науч.-практич. конф. Тула: Изд-во ТулГУ, 2012.

4.     Есиков Д.О., Есиков О.В., Савватеев С.С., Стру- ков А.В., Сухарев Е.М. Математические модели, методики и алгоритмы обеспечения устойчивости функционирования современных систем хранения и обработки данных // Нелинейный мир. 2013. № 9. С. 621–632.

5.     Кристофидес Н. Теория графов. Алгоритмический подход. М.: Мир, 1978. 430 с.

6.     Yesikov D.O. Increase of level of stability of functioning of systems of storage and data processing at the expense of realization of actions for ensuring safety of information // High Performance Computing 3rd Intern. Conference (HPC-UA 2013), pp. 416–420.

7.     Михалевич В.С., Волкович В.Л., Волошин А.Ф. Метод последовательного анализа  в задачах линейного программирования большого размера // Кибернетика. 1981. № 4. С. 114–120.

8.     Подиновский В.В., Ногин В.Д. Парето-оптимальные решения многокритериальных задач. М.: Физматлит, 2007. 256 с.

9.     Есиков Д.О. Применение теории оптимальности по Парето для обоснования требуемых значений параметров надежности функционирования комплексов средств хранения информации // Труды Российского науч.-технич. об-ва радиотехники, электроники и связи им. А.С. Попова. 2014. Вып. XXXII. 325 с.

10.  Кини Р.П., Райфа Х. Применение решений при многих критериях: предпочтения и замещения. М.: Радио и связь, 1981. 560 с.

11.  Есиков Д.О. Математические модели построения подсистемы обеспечения сохранности информации в распределенных информационных системах // Труды Российского науч.-технич. об-ва радиотехники, электроники и связи им. А.С. Попова. 2014. Вып. XXXII. 325 с.

12.  Воронин A.A., Морозов Б.И. Надежность информационных систем: учеб. пособие. СПб: Изд-во СПбГТУ, 2001.

13.  Есиков Д.О., Абрамов П.И. Математическая модель обеспечения сохранности информации в распределенных информационных системах за счет резервирования информационных массивов // Труды Российского науч.-технич. об-ва радиотехники, электроники и связи им. А.С. Попова. 2014. Вып. XXXII. 325 с.

14.  Алексеев О.Г. Комплексное применение методов дискретной оптимизации. М.: Наука, 1987. 248 с.

15.  Есиков Д.О., Ивутин А.Н. Программа решения задач целочисленного линейного программирования с булевыми переменными. Свид. о гос. регистр. программы для ЭВМ № 2014619322.

16.  Есиков Д.О. Программа распределенного решения задач целочисленного линейного программирования с булевыми переменными методом ветвей и границ. Свид. о гос. регистр. прогр. для ЭВМ № 2014619324.