Software & Systems

МСЦ РАН является крупнейшим открытым суперкомпьютерным центром в нашей стране. Он имеет несколько технологических площадок в Москве, филиалы в других городах, является головной организацией проекта РИСП, участником проекта GEANT по развитию Европейской высокопроизводительной магистральной научно-исследовательской сетевой инфраструктуры. В работе центра накоплен опыт решения вопросов внешнего сетевого взаимодействия, которые стоят достаточно остро.

На двух технологических площадках в Москве функционируют высокопроизводительные вычислительные кластеры, системы хранения данных и различные информационные ресурсы. Кроме того, имеются два филиала в Санкт-Петербурге и Казани, на которых размещены части распределенного вычислительного кластера MBC15000BMD. Для эффективной работы суперкомпьютерного центра требуется объединение всех технологических площадок и филиалов объединенной сетью, обеспечивающей высокоскоростную и надежную связь, гибкость управления и сетевой организации, высокий уровень сетевой безопасности.

Одним из важнейших требований к объединенной сети суперкомпьютерного центра является ее производительность, определяющая скорость обмена данными между информационными и вычислительными ресурсами.

Процедура прохождения задачи на суперкомпьютере включает постановку задачи в очередь, запуск задачи из очереди на исполнение и освобождение вычислительной системы после счета. Данные, необходимые задаче для счета, должны быть доступны в локальной файловой системе суперкомпьютера к моменту запуска программы в очередь на счет.

Если вычислительный ресурс (суперкомпьютер) расположен на одной технологической площадке, а данные, необходимые для задачи, были подготовлены и загружены в хранилище данных на другой технологической площадке, то необходимо их копирование на технологическую площадку суперкомпьютера. Такая ситуация часто возникает если задача пускается на счет на разных компьютерах, в частности, при использовании ГРИД-систем.

Использование высокопроизводительных каналов связи между площадками обеспечивает быстрый доступ к сетевым файловым системам, даже если поддерживающие их серверы с данными расположены на удаленных площадках. Таким образом можно исключить необходимость копирования данных на локальную файловую систему суперкомпьютера, убрать дублирование данных и повысить эффективность использования хранилищ данных.

Основной канал связи между технологическими площадками МСЦ РАН в Москве организован по технологии 10 Gigabit Ethernet на базе одномодовой волоконно-оптической линии связи (4 км). До последнего времени производительности основного канала связи было достаточно для доступа суперкомпьютеров к хранилищам данных даже при условии их нахождения на разных технологических площадках. В настоящее время рассматриваются возможности наращивания производительности основного канала установкой оборудования волнового уплотнения DWDM или прокладкой дополнительных волоконно-оптических линий связи. Резервный канал использует VLAN опорной транспортной сети РАН. Поскольку магистральные каналы опорной транспортной сети РАН базируются на использовании технологии 10 Gigabit Ethernet, падение производительности сети при отказе основного канала заметно, но не приводит к фатальным последствиям.

Использование оптических каналов связи является наиболее предпочтительным для организации научных сетей, так как только они обеспечивают необходимые показатели производительности, гибкости и безопасности для научных приложений [1]. Если подразделения (филиалы) находятся в одном городе (или даже в пределах одного региона), то строительство или аренда оптической линии связи часто оказываются экономически оправданными, особенно с учетом перспектив роста, что подтверждается, например, опытом развития опорной транспортной сети РАН в Московском регионе. Сложнее обстоит дело, если необходимо связать филиалы в разных регионах страны. Для этого возможно арендовать у магистральных операторов связи либо канал связи на физическом уровне (L1), либо построить виртуальную частную сеть на основе услуги IP VPN по технологии MPLS, предоставляемой магистральным оператором связи, либо организовать виртуальную частную сеть через Интернет, используя подключения к региональным операторам связи. И физические каналы связи, и виртуальная частная сеть обеспечат безопасность и прозрачность информационного обмена между подразделениями/филиалами, что значительно упростит доступ к общим информационно-вычислительным ресурсам.

Аренда физических каналов связи, безусловно, гарантирует максимальную эффективность и гибкость построения объединенной сети, однако является наиболее дорогостоящей в нашей стране. Построение сети на основе IP VPN/MPLS значительно дешевле, и при этом обеспечиваются приемлемые показатели производительности. Еще дешевле построить VPN через Интернет, однако добиться при этом необходимой научным приложениям производительности в большинстве случаев нереально.

Наиболее эффективным способом обеспечения отказоустойчивости сети, как известно, является использование кольцевых топологий. Выход из строя узла или канала в кольце не приводит к потере связности между остальными узлами. Как показывает опыт эксплуатации сети EsNET [1], при применении кольцевых топологий можно обойтись без резервирования активного сетевого оборудования в узлах. Этот подтверждается опытом строительства и эксплуатации опорной сети РАН и сети МСЦ РАН.

Топология локальной сети МСЦ РАН включает два кольца: большое кольцо захватывает обе технологические площадки, его узлами являются коммутаторы серии Cisco Catalyst 6500, которые одновременно являются центральными коммутаторами сетей суперкомпьютеров МВС100K, MBC6000IM и части распределенного суперкомпьютера МВС15000BMD, а также коммутатор группы информационных ресурсов. Малое кольцо включает только коммутаторы главной технологической площадки, причем его каналы не совпадают с каналами большого кольца. В настоящее время кольцевая топология еще не реализована в полной мере для территориально-распределенной сети, включающей филиалы в Санкт-Петербурге и Казани. Для Казанского филиала предусмотрена организация кольца на основе основного канала IP MPLS и туннеля по протоколу SSH через Интернет в качестве резервного канала.

В [2] показано, что одним из важных аспектов интеграции кластерных вычислительных систем в локальную сеть суперкомпьютерного центра является объединение их транспортных сетей, поэтому возможность проброса структуры VLAN через канал связи между технологическими площадками является существенной для обеспечения эффективной работы суперкомпьютерного центра. Так как для резервного канала связи между площадками используется единственный VLAN, проброс VLAN-центра между технологическими площадками осуществляется с использованием туннелирования IEEE 802.1QinQ. При передаче из транка в туннель 802.1Q кадры, помеченные идентификаторами VLAN, не разбираются, а передаются как целое. Если кадры в дальнейшем попадают в транковый порт, они дополнительно помечаются в соответствии с протоколом 802.1Q полем VLAN, назначенным туннельному порту в системе коммутаторов провайдера.

Возможность организации согласованной системы виртуальных локальных сетей весьма важна и для каналов связи с территориально-удаленными подразделениями и филиалами, но реализовать ее в этом случае труднее и дороже. Для этого необходимо либо использование физического канала связи, либо виртуальной частной сети (VPN), основанной на туннелях с инкапсуляцией канального уровня в канальный (например, упомянутое выше туннелирование IEEE 802.1QinQ), либо на использовании технологии Ethernet over IP MPLS.

В настоящее время технология Ethernet over IP MPLS реализована (или реализуется) рядом производителей сетевого оборудования, например, Alcatel, Cisco Systems, Juniper Networks, Nortel Networks и др. Cisco Systems, например, разработала архитектуру, называемую Any Transport over MPLS (AtoM) [3], в которой на оконечных маршрутизаторах провайдера, обеспечивающего сеть MPLS, пользовательские пакеты канального уровня (L2) инкапсулируются, пересылаются через опорную сеть, разбираются на оконечных маршрутизаторах другого конца MPLS-цепи и пересылаются в пользовательскую сеть L2. Таким образом, использование MPLS-провайдера предоставляет пользователю связность канального уровня (L2). Описанная архитектура основана на разрабатываемом стандарте IETF draft, Architecture for Layer 2 VPNs. В настоящее время поддерживаются следующие механизмы:

· Ethernet поверх MPLS,

· ATM AAL5 поверх MPLS,

· Frame Relay поверх MPLS,

· ATM Cell Relay поверх MPLS,

· PPP поверх MPLS,

· HDLC поверх MPLS,

· эмуляция соединений (Circuit Emulation) поверх MPLS.

Ethernet поверх MPLS позволяет транспортировать трафик Ethernet (многоадресный и широковещательный) из исходной VLAN 802.1Q в VLAN 802.1Q назначения через магистральную сеть MPLS, отображая VLAN в путь с коммутацией меток (MPLS LSP). Ethernet поверх MPLS использует протокол пересылки меток (LDP) для динамической установки и очистки пути LSP через магистраль MPLS при динамическом выделении сервиса.

Таким образом, для построения согласованной системы VLAN в территориально-распределенных подразделениях/филиалах возможно использовать Ethernet поверх MPLS в сочетании с туннелированием IEEE 802.1QinQ.

Виртуальная частная сеть между филиалами суперкомпьютерного центра необходима и в случае, когда ее удается организовать только на сетевом (L3), а не на канальном уровне (L2), поскольку это единственный способ обеспечить безопасность и прозрачность информационного обмена, а значит, и эффективный доступ к общим информационно-вычислительным ресурсам. При организации виртуальной частной сети на сетевом уровне можно также использовать технологию MPLS в случае поддержки ее провайдером магистральных каналов или использовать криптографическую защиту соединений через Интернет (IPSec, OpenVPN и др.) Использование технологии IP MPLS представляется более предпочтительным, поскольку она позволяет обеспечить более высокую скорость передачи данных и качество сервиса при приемлемом для открытых приложений уровне сетевой безопасности. Так как IP MPLS позволяет осуществлять вложение меток, внутри корпоративной сети, объединяющей филиалы, возможно установить несколько корпоративных частных сетей. Это позволяет объединять и разделять группы сетей и информационно-вычислительных ресурсов между подразделениями и филиалами, хотя и более сложным способом, чем при использовании Ethernet поверх MPLS.

Таким образом, опыт построения объединенной сети МСЦ показывает, что в региональном масштабе наиболее эффективным подходом представляется построение сети на базе выделенной оптической инфраструктуры, а для связи между региональными филиалами использование IP VPN на основе MPLS.

Список литературы

1. Сеть для науки ESNet. (http://book.itep.ru/4/7/esnet.htm)

2. Овсянников А.П. Сети высокопроизводительных кластерных вычислительных систем и их интеграция в локальную сеть суперкомпьютерного центра. // Программные продукты и системы. - №2. – 2007. - С.17-19.

3. Any Transport over Multiprotocol Label Switching (AtoM). (http://www.cisco.com/en/US/products/ps6646/products_ ios_protocol_option_home.html)