Software & Systems

Современное развитие информационно-вычислительных и сетевых технологий, ПО и аппаратных средств позволяет организовывать сложные географически распределенные вычислительные системы для поддержки проведения массовых ресурсоемких фундаментальных и прикладных исследований. В частности, в научном сообществе ведутся активные работы по созданию и использованию Грид-систем различного назначения [1, 2], среди которых важное место отводится вычислительным Грид-системам.

В данной статье представлен опыт, накопленный в Институте динамики систем и теории управления СО РАН (ИДСТУ СО РАН) в области организации высокопроизводительных параллельных и распределенных вычислений.

Одной из разновидностей Грид-систем является интегрированная кластерная система – распределенная вычислительная среда, предназначенная для решения фундаментальных и прикладных вычислительных задач и характеризующаяся следующими особенностями:

-     в качестве узлов системы выступают вычислительные кластеры;

-     кластеры организуются на базе как выделенных, так и невыделенных вычислительных машин и, следовательно, существенно различаются по степени надежности своих вычислительных ресурсов;

-     на разных уровнях интеграции системы существуют различные категории пользователей, в том числе нуждающиеся в высокоуровневых средствах организации вычислительного процесса решения задачи;

-     вычислительные кластеры используются пользователями системы совместно с владельцами этих кластеров;

-     задание пользователя представляет собой спецификацию процесса решения задач, содержащую информацию о требуемых вычислительных ресурсах, исполняемых прикладных программах, входных/выходных данных, а также другие необходимые сведения;

-     множество заданий пользователей рассматривается с точки зрения теории очередей и представляется в виде совокупности потоков заданий с приоритетами;

-     поток заданий характеризуется динамичностью, стохастичностью, неоднородностью, отсутствием обратной связи, неординарностью, стационарностью;

-     свободных ресурсов системы недостаточно для одновременного обслуживания всех заданий, находящихся в очередях;

-     в рамках системы функционируют распределенные проблемно-ориентированные програм- мные комплексы, размещенные в ее узлах;

-     в общем случае в системе имеется программно-аппаратная вычислительная избыточность (программа может быть размещена и выполнена в разных узлах системы, а одни и те же вычисления могут производиться с помощью различных программ);

-     в системе нет единой политики админи- стрирования вычислительных кластеров, на кластерах применяются различные принципы и ме- ханизмы обработки потоков заданий разных типов.

В настоящее время в ИДСТУ СО РАН в рамках САТУРН-технологии [3] разработаны новые программные инструменты [4, 5] для создания интегрированных кластерных систем:

–      среда непроцедурного программирования СиКруС для синтеза параллельных программ на языке Fortran-DVM с учетом ресурсных ограничений используемой вычислительной системы и продолжительности исполнения прикладных модулей;

–      инструментальный комплекс ORLANDO для автоматического конструирования асинхронных параллельных программ в вычислительных кластерах;

–      инструментальный комплекс DISCOMP для организации распределенных пакетов прикладных программ в разнородных вычислительных средах;

–      инструментальный комплекс DISCENT для организации интегрированных кластерных сред;

–      графическая инструментальная среда СИ­РИУС для моделирования и анализа эффективности функционирования интегрированных кластерных сред;

–      мультиагентная среда децентрализованного планирования вычислений и распределения ресурсов, функционирующая на основе вероятностных моделей надежности интегрированной кластерной системы и экономических механизмов регулирования спроса и предложения ресурсов.

Перечисленные инструментальные средства обеспечивают поддержку всех научно-техничес­ких процессов, связанных с решением в интегрированной кластерной системе фундаментальных и прикладных задач на основе парадигм параллельного и распределенного программирования.

Технология интеграции инструментальных средств организации проблемно-ориентированных распределенных вычислений базируется на согласованном применении следующих компонентов:

-     методы автоматизации процессов концептуализации предметных областей решаемых задач, построения вычислительных моделей, проведения имитационного и полунатурного моделирования вычислительных систем, выполнения параллельных и распределенных вычислений, мониторинга работы вычислительных систем;

-     мультиагентные средства управления вычислительными процессами решения прикладных и фундаментальных исследовательских задач, планирования и распределения вычислительных ресурсов;

-     инструментальные программные средства создания и применения проблемно-ориентирован­ных программных комплексов различного назначения, в том числе параллельных и распределенных пакетов прикладных программ;

-     программно-аппаратные средства (вычислительные кластеры и системное программное обеспечение для их интеграции и управления), в рамках которых осуществляются создание и применение проблемно-ориентированных програм- мных комплексов.

Перечисленные компоненты объединяются в технологическую схему (см. рис.) решения прикладных и фундаментальных исследовательских задач с заданными параметрами уровня их обслуживания (временем, стоимостью и надежностью процесса решения задачи). Объединение компонентов осуществляется на основе оригинальной объектной модели [6], которая обеспечивает взаимосвязанное представление проблемно-ориенти­рованного, программно-аппаратного, имитационного и управляющего слоев знаний об интегрированной кластерной системе, а также всестороннее исследование необходимых свойств (эффективность, надежность и др.) проектируемых для этой системы прикладных программных комплексов различного назначения.

Использование в инструментальных средствах единой модели интегрированной кластерной системы позволяет обеспечить комплексирование по данным для всех проблемно-ориентированных программных комплексов, разрабатываемых с помощью этих средств. Это дает возможность использования в процессе создания нового программного комплекса фрагментов описания предметных областей, функциональных модулей, исходных данных и результатов вычислений, имеющихся в других комплексах. Вследствие этого сокращаются сроки разработки прикладного программного обеспечения и проведения вычислительных экспериментов.

В качестве примеров практического использования представленных в статье инструментальных средств можно привести ряд практически важных задач, решенных в интегрированной кластерной системе ИДСТУ СО РАН, в том числе

-     параллельное решение систем булевых уравнений общего вида;

-     декомпозиция алгоритма филогенетического классификатора CARMA;

-     имитационное и полунатурное моделирование алгоритмов планирования и распределения ресурсов в распределенных вычислительных средах;

-     моделирование процессов складской логистики;

-     комплексирование по данным разработанных пакетов моделирования складской логистики.

В заключение отметим, что в статье представлен подход к организации проблемно-ориентиро­ванных распределенных вычислений, обеспечивающий единую технологическую схему решения широкого спектра задач в интегрированной кластерной системе, а также комплексную инструментальную поддержку всех научно-технических процессов в ней.

Основное отличие представленного подхода от традиционно применяемых к организации разнородных распределенных вычислительных сред подходов в комплексном использовании методов и средств инженерии знаний, методов автоматического построения параллельных распределенных планов решения непроцедурных постановок задач на вычислительной модели предметной области в виде системы булевых уравнений, децентрализованной схемы управления решением поставленной задачи с использованием группы интеллектуальных агентов, концептуального, имитационного и полунатурного моделирования создаваемых проблемно-ориенти­рованных распределенных программных комплексов.

Литература

1.     Foster I., Kesselman C., Tuecke S., Intern. Journ. of High Performance Computing Applications, 2001, Vol. 15, no. 3. pp. 200–222.

2.     Baker M., Buyya R., Laforenza D., Software: Practice and Experience, 2002, Vol. 32, no. 15, pp. 1437–1466.

3.     Опарин Г.А. Сатурн – метасистема для построения пакетов прикладных программ. В кн.: Пакеты прикладных программ. Методы и разработки. Новосибирск: Наука, 1982. С. 130–160.

4.     Бычков И.В., Опарин Г.А., Новопашин А.П., Феоктистов А.Г., Корсуков А.С., Сидоров И.А. Высокопроизводительные вычислительные ресурсы ИДСТУ СО РАН: Текущее состояние, возможности и перспективы развития // Вычислительные технологии. 2010. Т. 15. № 3. С. 69–82.

5.     Бычков И.В., Опарин Г.А., Феоктистов А.Г., Корсу- ков А.С. Децентрализованное управление потоками заданий в интегрированной кластерной системе // Вестн. НГУ. Сер.: Информационные технологии. 2011. Т. 9. Вып. 2. С. 42–54.

6.     Опарин Г.А., Феоктистов А.Г. Модели и инструментальные средства организации распределенных вычислений // Параллельные вычисления и задачи управления: тр. IV Междунар. конф. М.: Изд-во ИПУ РАН, 2008. C. 1126–1135.