Software & Systems

Кластерная вычислительная система представляет собой совокупность вычислительных узлов, объединенных коммуникационной средой, предназначенной для обмена данными и организации процесса вычислений. Помимо вычислительных узлов в кластерную вычислительную систему могут входить узлы специального назначения, например, узлы ввода-вывода, управления, мониторинга. Довольно часто коммуникационная среда организована в виде нескольких сетей, отличающихся своим функциональным назначением. Принято различать коммуникационную сеть, предназначенную для обмена данными между вычислительными узлами в процессе вычислений; транспортную сеть, предназначенную для передачи данных между вычислительными узлами и хранилищем данных; управляющую сеть, предназначенную для организации вычислений и мониторинга вычислительной системы.

Сетевые решения вычислительной системы МВС15000ВМ

Коммуникационная среда вычислительной системы МВС15000ВМ включает коммуникационную сеть, выполненную по технологии Myrinet (пропускная способность 2 Гбит/с), и раздельные транспортную и управляющую сети, выполненные по технологии Gigabit Ethernet. Каждый вычислительный узел кластера имеет адаптер Myrinet M3S-PCIXD-2-I. Вычислительные узлы подключаются при помощи оптических кабелей связи к двум 256-портовым и одному 128-портовому коммутаторам сети Myrinet. Коммутаторы связаны друг с другом в кольцо таким образом, чтобы обеспечивалась возможность одновременного установления попарных соединений между всеми вычислительными узлами. Скорость передачи данных между двумя вычислительными узлами с использованием библиотек MPI находится на уровне 200-250 Мбайт/сек.

Транспортная сеть Gigabit Ethernet предназначена для соединения решающего поля с управляющей станцией, параллельной файловой подсистемой и файл-сервером NetApp F840. Ядром сети является высокопроизводительный коммутатор Cisco Catalyst 6509. Второй уровень организован на коммутирующих модулях Nortel Networks, встроенных в базовые блоки вычислительной системы, объединяющие по 14 вычислительных узлов. К коммутирующему модулю каждого базового блока подключены внутренними гигабитными каналами 14 вычислительных модулей базового блока. Коммутирующий модуль каждого базового блока подключен к центральному коммутатору Cisco Catalyst 6509 агрегированными канала- ми 4 Гбит/с.

Управляющая сеть, построенная с использованием технологии Gigabit Ethernet, предназначена для запуска программ на счёт вычислительными модулями, а также для передачи служебной информации о ходе вычислительного процесса и состоянии подсистем. Центральным коммутатором является Cisco Catalyst 6509. Второй уровень организован на коммутирующих модулях Nortel Networks, встроенных в базовые блоки. К коммутирующему модулю каждого базового блока подключены внутренними гигабитными каналами 14 вычислительных модулей базового блока. Коммутирующий модуль каждого базового блока подключен к центральному коммутатору Cisco Catalyst 6509 каналом 1 Гбит/с.

Центральный коммутатор вычислительной системы МВС-15000BM подключается к сети Межведомственного суперкомпьютерного центра (МСЦ) РАН одним 10-гигабитным и 8-гигабитными агрегированными оптическими каналами связи.

Коммуникационная среда вычислительной системы МВС6000IМ

Вычислительные узлы связаны между собой высокоскоростной коммуникационной сетью Myrinet (пропускная способность 2 Гбита/сек), транспортной сетью Gigabit Ethernet и управляющей сетью Fast Ethernet. Коммуникационная сеть Myrinet предназначена для высокоскоростного обмена между ВМ в ходе вычислений. Сеть реализована на базе 128 портового полносвязного коммутатора Myrinet. Скорость передачи данных между двумя вычислительными узлами с использованием библиотек MPI находится на уровне 200-250 Мбайт/сек.

Транспортная сеть Gigabit Ethernet предназначена для соединения решающего поля с управляющей станцией, параллельной файловой подсистемой и файл-сервером NetApp F840.

Сеть Fast Ethernet предназначена для начальной загрузки программ и данных в ВМ, а также для передачи служебной информации о ходе вычислительного процесса и состоянии подсистем.

Транспортная и управляющая сети реализованы как виртуальные локальные сети (VLAN) на центральном коммутаторе системы Cisco Catalyst 6509. Каждый вычислительный узел системы подключается к центральному коммутатору двумя интерфейсами Gigabit Ethernet (один для управляющей сети, другой – для транспортной).

Центральный коммутатор вычислительной системы МВС-6000IM подключается к сети МСЦ одним оптическим каналом 10GigabitEthernet.

Объединение кластерных вычислительных систем в сеть суперкомпьютерного центра

Сеть МСЦ РАН предназначена для организации эффективного и надежного обмена данными между вычислительными и информационными ресурсами внутри центра, а также для обеспечения доступа к ресурсам центра извне.

Под вычислительными ресурсами подразумеваются вычислительные установки различного типа: вычислительные кластеры и серверы. Под информационными – хранилища данных, серверы файловых служб и системы ввода-вывода, серверы и кластеры баз данных, серверы и системы различного назначения (веб-серверы и порталы, поисковые системы, видеосерверы и серверы видеоконференций, IP-телефонии и др.). Кроме того, для функционирования сети необходимы служебные серверы для обеспечения службы доменных имен, аутентификации, авторизации, учета, мониторинга и т.п.

Вычислительный или информационный ресурс может входить в локальную сеть как отдельный хост (возможно с несколькими интерфейсами), сеть или даже совокупность сетей в зависимости от организации информационных потоков между ресурсом и локальной сетью. Например, вычислительная система на общей памяти, подключенная к локальной сети единственным интерфейсом однозначно выступает в сети как хост. Вычислительный кластер, состоящий из головной машины и набора вычислительных узлов, которые объединяются вычислительной, транспортной и служебной сетями, может рассматриваться:

·     как отдельный хост, если весь информационный обмен с внешними по отношению к кластеру ресурсами осуществляется исключительно головной машиной и вся внутренняя структура кластера скрыта от внешнего мира;

·     как отдельная сеть, если информационный обмен с внешними по отношению к кластеру ресурсами осуществляется не только головной машиной, но и отдельными узлами кластера, но только через один интерфейс (или одну сеть, например, транспортную для доступа к внешней файловой системе);

·     как совокупность сетей, если информационный обмен с внешними по отношению к кластеру ресурсами осуществляется не только головной машиной, но и отдельными узлами кластера, причем с использованием нескольких интерфейсов (или нескольких сетей, например, транспортной для доступа к внешней файловой системе и служебной для осуществления мониторинга единой системой мониторинга центра).

Приведенные рассуждения справедливы по отношению к любым кластерным системам. Подключение кластерной системы к сети центра как хоста вкупе с сокрытием его внутренней структуры упрощает структуру локальной сети суперкомпьютерного центра в целом, однако в ряде случаев влечет за собой потерю эффективности, производительности и гибкости. Если вычислительный кластер состоит из небольшого числа узлов и использует внешнюю (по отношению к кластеру) систему хранения данных, доступ к файловой системе этой системы хранения может с достаточной степенью эффективности осуществляться через головную машину кластера. Если же вычислительный кластер состоит из сотен и тысяч узлов, доступ к внешней файловой системе через головную машину будет узким местом, что приведет к падению скорости работы с файлами и снижению эффективности использования вычислительной системы. Для больших кластеров целесообразно организовать доступ к файловой системе через совокупность узлов ввода-вывода, которые непосредственно входят в состав вычислительной кластерной системы, или через отдельный кластер ввода-вывода. В последнем случае вычислительный кластер и кластер ввода-вывода представляют собой различные сети, взаимодействие которых осуществляется в рамках общей локальной сети.

Организация систем хранения данных в виде отдельных кластеров делает возможным одновременное их использование несколькими кластерными вычислительными системами, что позволяет производить независимую модернизацию вычислительных и информационных ресурсов в центре, облегчает поддержание в рамках центра единого информационного пространства, что, в свою очередь, и облегчает пользователям переход со старых вычислительных систем на новые.

С точки же зрения организации локальной сети суперкомпьютерного центра это накладывает повышенные требования по производительности межсетевого информационного обмена, разграничения и контроля доступа между внутренними сетями кластеров, а также к надежности сети в целом.

В МСЦ РАН в разные периоды одновременно находились в эксплуатации по две крупные кластерные вычислительные системы: МВС‑1000M (384 вычислительных узла) и МВС‑5000ВМ (168 узлов); МВС‑15000BM (584 узла) и МВС‑6000IM (128 узлов).

Следует отметить, что при обмене данными между внутренними сетями различных кластерных вычислительных систем эти сети должны оставаться в должной мере изолированными друг от друга и от общей локальной сети суперкомпьютерного центра. Это обусловлено прежде всего необходимостью ограничения непосредственного доступа пользователей к внутренним сетям вычислительных кластеров для обеспечения их надежного и безопасного функционирования. Кроме того, крайне нежелательно, чтобы отказы отдельного вычислительного комплекса повлекли за собой отказы или нарушение нормальной работы локальной сети суперкомпьютерного центра в целом. Таким образом, наиболее целесообразным представляется организация сетей кластерной вычислительной системы с использованием отдельного комплекса активного оборудования, который предназначен только для данной кластерной системы и полностью обеспечивает функционирование всех ее сетей и вычислительного комплекса в целом (включая предоставление необходимых сетевых сервисов, таких как служба доменных имен, аутентификация, авторизация, учет и др.) и не обеспечивает функционирования других частей локальной сети. В этом случае изоляция вычислительной системы от локальной сети центра не должна фатально сказываться на работоспособности вычислительной системы, общей локальной сети центра или иных вычислительных и информационных ресурсов.

В условиях обособления кластерных вычислительных систем организация эффективного информационного обмена между отдельными сетями разных кластеров по-прежнему остается возможной. Например, маршрутизация между двумя транспортными сетями разных кластерных систем может быть организована с использованием CEF на коммутаторе 3-го уровня, который не входит в состав ни одной из систем (конечно, при условии использования каналов с достаточной пропускной способностью).

При организации взаимодействия сетей кластерных вычислительных систем удобно использовать технологию виртуальных локальных сетей. Это сокращает потребности в активном оборудовании и каналах связи локальной сети. В частности, используя виртуальные локальные сети, можно организовать несколько сетей кластера на одном коммутаторе. Кроме того, можно использовать единственный физический канал (настроенный в транковом режиме), чтобы пробросить все сети кластера на внешний маршрутизатор для организации межсетевого взаимодействия разных кластеров.

При организации информационного обмена между крупными кластерными вычислительными и информационными системами требования к пропускной способности каналов, которыми эти системы подключаются к общей локальной сети, значительно возрастают. Поэтому в МСЦ РАН для подключения таких систем используются агрегированные каналы GigabitEthernet, объединенные по протоколам PAgP или LACP, или каналы 10GigabitEthernet.

Важнейшим требованием к сети суперкомпьютерного центра является надежность. Одним из факторов, определяющих надежность, является строгое структурирование сети. Благодаря структурированию отдельные части сети изолируются друг от друга, что позволяет избежать влияния неполадок. Другим фактором является резервирование активного оборудования и линий связи. В МСЦ РАН резервирование активного оборудования используется в основных маршрутизируемых коммутаторах ядра сети, обеспечивающих взаимодействие важнейших вычислительных и информационных ресурсов. Резервирование линий связи используется для подключения высокопроизводительных вычислительных кластеров и систем хранения данных. Кроме этого, используется резервирование серверов, предоставляющих основные сетевые сервисы: службу доменных имен, аутентификацию и авторизацию на основе LDAP, синхронизацию времени, почтовые службы и др. Немаловажным фактором для повышения надежности является наличие централизованной системы сетевого мониторинга.

Одним из аспектов общей надежности является способность сети защитить данные от несанкционированного доступа. Для обеспечения защиты сети центра используются защитные экраны и система обнаружения вторжений. Вычислительные кластерные системы дополнительно защищаются использованием в управляющей сети криптозащищенных командных каналов.

Сеть суперкомпьютерного центра включена в опорную сеть РАН с помощью нескольких каналов GigabitEthernet, что, с одной стороны, обеспечивает резервирование в случае выхода одного из каналов из строя, а с другой – предоставляет полосу пропускания, достаточную не только для скоростного доступа к вычислительным и информационным ресурсам центра, но и для их объединения в грид с ресурсами других компьютерных центров.