ISSN 0236-235X (P)
ISSN 2311-2735 (E)

Публикационная активность

(сведения по итогам 2017 г.)
2-летний импакт-фактор РИНЦ: 0,500
2-летний импакт-фактор РИНЦ без самоцитирования: 0,405
Двухлетний импакт-фактор РИНЦ с учетом цитирования из всех
источников: 0,817
5-летний импакт-фактор РИНЦ: 0,319
5-летний импакт-фактор РИНЦ без самоцитирования: 0,264
Суммарное число цитирований журнала в РИНЦ: 6012
Пятилетний индекс Херфиндаля по цитирующим журналам: 404
Индекс Херфиндаля по организациям авторов: 338
Десятилетний индекс Хирша: 17
Место в общем рейтинге SCIENCE INDEX за 2017 год: 527
Место в рейтинге SCIENCE INDEX за 2017 год по тематике "Автоматика. Вычислительная техника": 16

Больше данных по публикационной активности нашего журнале за 2008-2017 гг. на сайте РИНЦ

Вход


Забыли пароль? / Регистрация

Добавить в закладки

Следующий номер на сайте

1
Ожидается:
16 Декабря 2018

Построение проблемно-ориентированных интерфейсов приложений суперкомпьютера «УРАН» на основе MS SharePoint

Design of the sharepoint-based problem-oriented application interfaces for the URAN supercomputer
Дата подачи статьи: 2013-11-07
УДК: 004.5, 004.75, 004.78
Статья опубликована в выпуске журнала № 3 за 2014 год. [ на стр. 177-182 ][ 27.08.2014 ]
Аннотация:В статье предлагается решение задачи построения проблемно-ориентированных веб-интерфейсов приложений суперкомпьютера «УРАН». Веб-интерфейсы строятся на основе ПО MS SharePoint с использованием свободно распространяемых расширений (решений SharePoint) Power web-part и Advanced Workflow Actions for SharePoint Designer 2010 от «iLove SharePoint». Данные расширения обеспечивают выполнение скриптов Windows PowerShell в среде SharePoint. Для организации взаимодействия систем на основе MS Windows и Linux используется свободно распространяемый набор командлетов PowerShell – SSH from PowerShell using the SSH.NET library. Приводится пример использования решения для моделирования пользовательской среды пакета MATLAB. Аналог среды MATLAB создается на странице веб-частей SharePoint за счет внедрения в эту страницу Power web-part, служащую контейнером PowerShell-скрипту, который использует объектную модель SharePoint для генерации элементов интерфейса. В этом скрипте осуществляются дополнительная обработка команд и данных, введенных пользователем, формирование и передача команд MATLAB на выполнение через монитор ресурсов SLURM, возвращение результатов и их отображение. Для более объемных задач предлагается использовать библиотеки документов и InfoPath форм. С этими библиотеками связываются рабочие процессы SharePoint, которые при помощи расширения Advanced Workflow Actions for SharePoint Designer 2010 запускают PowerShell скрипты, формирующие на основе заполненных форм за-дания и передающие их SLURM. Взаимодействие сервера SharePoint и головного узла кластера «УРАН» осуществ-ляется по протоколу SSH при помощи командлетов PowerShell SSH from PowerShell using the SSH.NET library. Также рассмотрены некоторые вопросы безопасности предлагаемого решения.
Abstract:The paper proposes an approach to create various problem-oriented Web interfaces for the URAN supercom-puter using Linux and Microsoft Windows operating systems. These Web interfaces are based on Microsoft SharePoint 2010 using two external extension modules from the “iLove SharePoint” bundle: Power Web-part and Advanced Workflow Ac-tions. These extensions provide the necessary functionality to run the Windows PowerShell scripts within SharePoint. The SSH.NET library provides the facilities to run the necessary PowerShell cmdlets to interact the systems. Also, this paper pro-vides an example of imitating the MATLAB user interface using the SharePoint Web-parts. This is achieved by implement-ing a Power Web-part that contains the PowerShell script which uses the SharePoint object model to generate the necessary user interface elements. The script performs user input and output processing, invocation of the SLURM resource manage-ment system, producing and transferring of the MATLAB commands. It is recommended to use InfoPath forms and docu-ment libraries to solve complex problems. It is possible to connect the SharePoint worker processes that create computational tasks to SLURM using Advanced Workflow Actions for SharePoint Designer 2010. The interaction between the URAN clus-ter's head node and SharePoint is carried out under the SSH protocol using SSH.NET library. The article also considers some security issues of the proposed solution.
Авторы: Ермаков Д.Г. (Ermak@imm.uran.ru) - Институт математики и механики УрО РАН, г. Екатеринбург, г. Екатеринбург, Россия, Гольдштейн М.Л. (mlg@imm.uran.ru) - Институт математики и механики УрО РАН, г. Екатеринбург, г. Екатеринбург, Россия, кандидат технических наук
Ключевые слова: advanced workflow actions for sharepoint d, параллельные вычисления, суперкомпьютерные технологии, облач-ные вычисления, распределенные информационные системы, веб-интерфейс, ms sharepoint, windows powershell, power web-part, суперкомпьютер «уран»
Keywords: advanced workflow actions for sharepoint d, parallel computing, supercomputer technologies, , distributed intelligent systems, web interface, microsoft sharepoint, windows powershell, power web-part, uran supercomputer
Количество просмотров: 5104
Версия для печати
Выпуск в формате PDF (5.36Мб)
Скачать обложку в формате PDF (1.03Мб)

Размер шрифта:       Шрифт:

Суперкомпьютерный вычислительный центр (СКЦ) Института математики и механики УрО РАН (г. Екатеринбург) оснащен суперкомпьютером «УРАН» – самым мощным в Свердловской области [1–3].

На базе СКЦ ведется работа по созданию облачного сервиса «Параллельный MATLAB». Кроме того, институт участвует в совместном проекте Сибирского и Уральского отделений РАН по построению облачной платформы на основе продуктов Microsoft [4].

Одним из ключевых инструментов облачной платформы на основе продуктов Microsoft является портал на основе MS SharePoint 2010 [5]. В рамках работ, направленных на формирование облачной платформы УрО РАН, SharePoint рассматривается как средство консолидации интерфейсов информационно-вычислительных ресурсов УрО РАН. Благодаря наличию расширений (решений) от «I Love SharePoint» [6, 7], таких как Power веб-часть и Advanced Workflow Actions for SharePoint Designer 2010, средства SharePoint 2010 могут быть расширены скриптами PowerShell, реализующими интерфейсы к различным приложениям.

Решения, основанные на облачных сервисах, не требуют от пользователей самостоятельной установки и настройки ПО. Для работы с ними на компьютере пользователя должен быть установлен только веб-браузер.

Суперкомпьютер «УРАН» работает под управлением ОС семейства Linux Scientific Linux 6.4 и RedHat 6.4. В то же время на большинстве ра- бочих мест пользователей установлены ОС семейства MS Windows. Таким образом, построение проблемно-ориентированных веб-интерфейсов приложений суперкомпьютера «УРАН» является актуальной задачей при реализации облачной платформы УрО РАН.

В качестве основных средств доступа к суперкомпьютеру из среды MS Windows предлагаются следующие программные продукты [8]:

–      программа putty для работы с командной строкой по протоколу SSH;

–      Nomachine NX-клиент для работы с сервером через графический интерфейс;

–      программа MobaXterm для удаленного запуска программ с использованием протокола X-Window;

–      WinSCP для обмена файлами между компьютером пользователя и кластером.

Для автоматизации взаимодействия ПО суперкомпьютера и ОС MS Windows предлагается использовать средства Windows PowerShell [9] с добавлением свободно распространяемого набора командлетов SSH from PowerShell using the SSH.NET library [10, 11]. Посредством этих командлетов в скрипте может быть установлено SSH-соединение с головной машиной кластера и выполнена любая допустимая (разрешенная данному пользователю) последовательность команд операционной среды кластера. Результаты выполнения команд и сообщения об ошибках возвращаются в виде свойств объекта PowerShell. При использовании данного подхода требуется установка дополнительного ПО на стороне пользователя.

Рассмотрим построение такого проблемно-ориентированного интерфейса на примере моделирования оболочки пакета MATLAB. Решение на основе моделирования пользовательской среды MATLAB

Для построения веб-интерфейса к средствам MATLAB суперкомпьютера, похожего на графический интерфейс пользовательской среды MATLAB, в структуре портала SharePoint создается страница веб-частей. На ней размещается Power веб-часть из набора «I Love SharePoint», которая служит контейнером для PowerShell-скрипта, выполняющего основные операции по обслуживанию интерфейса.

Используя объектную модель SharePoint, PowerShell-скрипт формирует на странице элементы формы, имитирующие основное окно ввода команд графической оболочки MATLAB. Форма, как и окно, состоит из поля ввода и кнопки «Ввод», полей для вывода служебных сообщений и для вывода результатов выполнения команд MATLAB, поля для накопления команд, заключаемых в операторные скобки (если накопление команд не требуется, это поле не отображается на странице веб-частей).

Основные действия в скрипте выполняются PowerShell-функцией – обработчиком события – нажатием на кнопку «Ввод». В этой функции можно выделить две стадии. Первая – простейший препроцессор, разбирающий командную строку, введенную пользователем. На этой стадии строка очищается от стоящих в начале и завершающих ее пробелов и нормализуется (то есть несколько следующих друг за другом пробелов заменяются одним). Проверяются символы завершения строки и разделители команд MATLAB. Если строка заканчивается многоточием (тремя точками), то в соответствии с синтаксисом команд MATLAB это означает, что ввод команды не закончен и ожидается продолжение команды. Введенная часть команды помещается в накопитель, и устанавливается флаг, указывающий на то, что формирование команды еще не завершено и передавать ее на суперкомпьютер для выполнения в среде MATLAB не нужно. Следующая введенная строка добавляется к сохраненной в накопителе части, и т.д. до тех пор, пока очередная введенная строка не будет содержать указатель на продолжение ввода команды. Когда получена последняя часть команды, флаг продолжения ввода команды снимается и полностью сформированная команда (или последовательность команд) отправляется на дальнейшую обработку и для передачи на выполнение на суперкомпьютер.

В составе MATLAB также имеются команды, представляющие собой операторные скобки (операторы сравнения и команды для организации циклов). Операторные скобки и команды, заключенные между ними, также не передаются на выполнение сразу, а собираются в единую последовательность в накопителе аналогично предыдущему случаю. Такие конструкции могут быть вложенными, поэтому в скрипте организуется счетчик, значение которого увеличивается при обнаружении открывающей операторной скобки и уменьшается при обнаружении закрывающей скобки. Таким образом, признаком завершения накопления строк конструкции с операторными скобками будет нулевое значение счетчика. Если введенная строка не указывает на необходимость накопления или накопление строк команд завершено, проверяется, заканчивается ли сформированная строка стандартным разделителем команд MATLAB (запятой или точкой с запятой), и, если нет, она дополняется в конце запятой.

Для моделирования сеанса работы с MATLAB также требуется к командам пользователя добавить команды MATLAB, восстанавливающие состояние сеанса, сохраняющие состояние сеанса и заканчивающие его работу. Когда строка из команд, предназначенная для выполнения на суперкомпьютере, окончательно сформирована, скрипт переходит ко второй стадии. На этой стадии осуществляется передача сформированной строки на суперкомпьютер для выполнения. Скриптом устанавливается SSH-соединение с головной машиной кластера, и выполняется команда запуска MATLAB в консольном режиме с переданной ей строкой команд пользователя в качестве параметра. Результат выполнения команд и сообщения об ошибках возвращаются в виде свойств объекта PowerShell (рис. 1). После этого соединение может быть разорвано, а результаты подвергнуты дополнительной обработке и помещены в соответствующие поля формы.

Следует отметить, что предлагаемый подход в части веб-интерфейса обладает рядом недостатков. Реактивность веб-интерфейса может быть недостаточно высокой. Это обусловлено тем, что при выполнении каждой законченной последовательности операций MATLAB PowerShell-скрипт выполняется заново. Каждый раз заново устанавливается SSH-соединение, восстанавливается среда MATLAB, выполняется ряд других операций, время на которые зависит от сложности запросов пользователя и их истории. В настоящее время остаются нереализованными две важные возможности, имеющиеся в стандартной графической среде MATLAB: прекращение выполнения текущей операции и интерактивные средства работы с графикой.

Интерфейс к MATLAB, построенный на основе данного подхода, может быть использован только для небольших вычислений, быстрого прототипирования или для изучения средств MAT­LAB. Для «тяжелых» вычислений следует использовать пакетную обработку m-файлов.

Решение на основе скриптов запуска пакетных заданий (m-файлов) MATLAB

Для запуска m-файлов интерфейс на основе SharePoint-портала может быть организован при помощи библиотеки документов и рабочих процессов SharePoint, связанных с этой библиотекой.

В области портала, предназначенной для обслуживания MATLAB, создается библиотека документов, предназначенная для загрузки m-фай­лов. В панели управления фермой SharePoint через оснастку управления типами файлов устанавливается разрешение на загрузку в библиотеку m-файлов.

Для запуска пользователями из командной строки m-файлов в пакетном режиме на суперкомпьютере «УРАН» подготовлены скрипты [12]:

–      mlprun – для частично параллельных программ (с parfor или spmd);

–      mlrun – для параллельных программ;

–      mlgrun – для программ с использованием GPU.

К атрибутам библиотеки документов SharePoint, предназначенной для размещения m-файлов, добавляется атрибут «Тип запуска», значение которого указывает, какой именно из скриптов нужно использовать для запуска данного m-файла. Также в эту библиотеку добавляются атрибуты для размещения значений параметров, которые будут передаваться скрипту при запуске, и атрибуты для отслеживания состояния задания в соответствии с результатами, выдаваемыми командой SLURM [13] sacct.

Для запуска выполнения m-файлов для библиотеки документов создается рабочий процесс, запускаемый вручную. Данный процесс, используя свободно распространяемое решение Advanced Workflow Actions for SharePoint Designer, вызы- вает PowerShell-скрипт, аналогичный используемому в Power веб-части. Этот скрипт на основе значений атрибутов библиотеки документов формирует командную строку запуска m-файла. Командная строка через установленное SSH-соеди­нение передается на головную машину кластера и там выполняется. Скрипт периодически запра- шивает состояние (статус) задания (в очереди, выполняется, выполнено), и результаты запроса записываются в соответствующие атрибуты библиотеки для данного m-файла, что позволяет пользователю отслеживать это состояние. Также можно создать дополнительные атрибуты и заносить в них требуемую информацию. Когда выполнение m-файла завершено, скрипт, а также рабочий процесс завершают работу (рис. 2).

Файлы с обрабатываемыми данными и m-фай­лы должны быть доступными как со стороны SharePoint, так и со стороны головной машины кластера. Для размещения файлов данных пользователей может быть создана отдельная библиотека документов.

В СКЦ Института математики и механики УрО РАН используется система хранения EMC2 Celerra NS-480, доступная серверу SharePoint и головной машине кластера «УРАН». Библиотека документов SharePoint может быть смонтирована на компьютере под управлением MS Windows как обычный сетевой каталог. Для синхронизации содержимого библиотек SharePoint с системой хранения можно использовать средства MS Windows Sync Framework и утилиту SyncToy [14, 15]. Синхронизация может запускаться PowerShell-скриптами, вызываемыми из рабочих процессов, и скриптами, находящимися в Power веб-частях. Дополнительно синхронизацию можно запускать по времени, например, в ночные часы и нерабочие дни для уменьшения количества передаваемых данных при синхронизациях. Такая синхронизация нужна также в случае изменения состояния файлов в файловом хранилище заданиями, запускаемыми другими способами.

Кроме того, файлы могут быть доступными для обработки (по чтению) по их URL-адресам. Например, в MATLAB может быть использована конструкция вида f=urlread('http://SPsite/Libra­ry…'), утилита wget и т.п.

Безопасность

Основные задачи разграничения доступа в данном подходе решаются стандартными средствами Active Directory и SharePoint.

PowerShell-скрипт, находящийся в Power веб-части, подписан и может редактироваться только пользователем с правами администратора серверной фермы SharePoint.

PowerShell-скрипт, запускаемый рабочим процессом, подписан и размещается в каталоге, доступ к которому ограничен учетными записями, под которыми выполняется ПО SharePoint.

В скрипте при установке соединения по протоколу SSH сначала происходит обращение к головной машине кластера от имени специальной учетной записи keyfetcher. Пароль этой учетной записи хранится в зашифрованном виде. Далее на стороне головной машины кластера выполняется специально подготовленный скрипт get_priv_key.sh , где username – пользовательский идентификатор, получаемый из атрибутов сессии SharePoint. Скрипт возвращает сгенерированный для пользователя, создавшего сессию, ключ SSH, после чего SSH-сеанс пользователя keyfetcher завершается. Далее создается сеанс от имени текущего пользователя SharePoint, в котором выполняются команды MATLAB.

В заключение отметим, что в работе предложена архитектура проблемно-ориентированного интерфейса приложений на основе MS SharePoint. Описанный подход применим для построения множества различных предметно-ориентирован­ных веб-интерфейсов на основе порталов и сайтов MS SharePoint.

На его основе организован интерфейс для запуска MPI задач [16].

Разработанный интерфейс опробован на суперкомпьютере «УРАН» в рамках облачного сервиса «Параллельный MATLAB».

Следует отметить, что, несмотря на наличие в SDK для кластеров под управлением ОС MS Windows Server с HPC Pack веб-части SharePoint для управления задачами и благодаря наличию набора PowerShell командлетов для взаимодействия с такими кластерами, использование предложенного подхода для ОС Windows будет весьма эффективным.

Литература

1.     TOP500 Supercomputer Sites. June 2013. URL: http:// www.top500.org/lists/2013/06/ (дата обращения: 09.08.2013).

2.     The Graph 500 List. June 2013. URL: http://www. graph500.org/results_jun_2013 (дата обращения: 09.08.2013).

3.     TOP 50 Суперкомпьютеры. URL: http://top50.super­computers.ru/?page=rating (дата обращения: 09.08.2013).

4.     Проект «Корпоративное облако СО РАН». URL: http://cloud.sbras.ru (дата обращения: 09.08.2013).

5.     Ноэл М., Спенс К. Microsoft SharePoint 2010. Полное руководство; [пер. с aнгл.]. М.: Вильямс, 2011. 880 с.

6.     Glessner C. iLove SharePoint. URL: http://www.ilove­sharepoint.com/ (дата обращения: 09.08.2013).

7.     iLove SharePoint. URL: http://ilovesharepoint.codeplex. com/ (дата обращения: 09.08.2013).

8.     Параллельные вычисления в УрО РАН. Программы удаленного доступа. URL: http://parallel.uran.ru/node/57 (дата обращения: 09.08.2013).

9.     Попов А.В. Введение в Windows PowerShell. СПб: БХВ-Петербург, 2009. 464 с. (Системный администратор).

10.  SSH from PowerShell using the SSH.NET library. URL: http://www.powershelladmin.com/wiki/SSH_from_PowerShell_using_the_SSH.NET_library (дата обращения: 09.08.2013).

11.  Installation of SSH Net Library. URL: http://sshnet. codeplex.com/discussions/435043 (дата обращения: 09.08.2013).

12.  Параллельные вычисления в УрО РАН. Использование системы Matlab для параллельных вычислений. URL: http://pa­rallel.uran.ru/node/176 (дата обращения: 09.08.2013).

13.  Yoo A., Jette M., Grondona M. SLURM: Simple Linux Utility for Resource Management. Lecture Notes in Computer Science. Job Scheduling Strategies for Parallel Processing. Springer-Verlag, 2003, vol. 2862, pp. 44–60.

14.  Microsoft Download Center. SyncToy 2.1. URL: http://www.microsoft.com/en-us/download/details.aspx?id=15155 (дата обращения: 09.08.2013).

15.  Мунро Дж. Обзор служебных программ. SyncToy. Microsoft TechNet Magazine. 2007; URL: http://technet.micro­soft.com/ru-ru/magazine/2007.03.utilityspotlight.aspx (дата обращения: 09.08.2013).

16.  Ермаков Д.Г., Берсенев А.Ю. Пользовательский интерфейс к суперкомпьютеру «УРАН» на основе MS SharePoint // Научный сервис в сети Интернет: все грани параллелизма: тр. Междунар. суперкомп-ной конф. (23–28 сент. 2013, Новороссийск). М.: Изд-во МГУ, 2013. С. 301–305.

References

1.     TOP500 Supercomputer Sites. 2013, available at: http://www.top500.org/lists/2013/06/ (accessed August 9, 2013).

2.     The Graph 500 List. June, 2013, available at: http://www. graph500.org/results_jun_2013 (accessed August 9, 2013).

3.     TOP 50 Superkompyutery [TOP 50 Supercomputers]. Available at: http://top50.supercomputers.ru/?page=rating (accessed August 9, 2013).

4.     Proekt “Korporativnoe oblako SO RAN” [The project “Corporate cloud of SB RAS”]. Available at: http://cloud.sbras.ru (accessed August 9, 2013).

5.     Noel M., Spence C. Microsoft SharePoint 2010 Unleashed 2005, 816 p. (Russ. ed.: Microsoft SharePoint 2010. Polnoe rukovodstvo. Moscow, Vilyams Publ., 2011, 880 p.).

6.     Glessner C. iLove SharePoint. Available at: http://www. ilovesharepoint.com/ (accessed August 9, 2013).

7.     iLove SharePoint. Available at: http://iloveshare­point.codeplex.com/ (accessed August 9, 2013).

8.     Parallelnye vychisleniya v UrO RAN. Programmy udalen­nogo dostupa [Parallel computation in the Ural branch of Russian academy of sciences. Remote access programs]. Available at: http://parallel.uran.ru/node/57 (accessed August 9, 2013).

9.     Popov A.V. Vvedenie v Windows PowerShell [Introduction to Windows PowerShell]. St. Petersburg, BHV-Peterburg Publ., 2009, 464 p.

10.  SSH from PowerShell using the SSH.NET library. Available at: http://www.powershelladmin.com/wiki/SSH_from_Power­Shell_using_the_SSH.NET_library (accessed August 9, 2013).

11.  Installation of SSH Net Library. Available at: http:// sshnet.codeplex.com/discussions/435043 (accessed August 9, 2013).

12.  Parallelnye vychisleniya v UrO RAN. Ispolzovanie sistemy Matlab dlya parallelnykh vychisleniy [Parallel computation in the Ural branch of Russian academy of sciences. Using Matlab for parallel computation]. Available at: http://parallel.uran.ru/node/176 (accessed August 9, 2013).

13.  Yoo A., Jette M., Grondona M. SLURM: Simple Linux Utility for Resource Management. Lecture Notes in Computer Science. Job Scheduling Strategies for Parallel Processing. Springer-Verlag Publ., 2003, vol. 2862, pp. 44–60.

14.  Microsoft Download Center. SyncToy 2.1. Available at: http://www.microsoft.com/en-us/download/details.aspx?id=15155 (accessed August 9, 2013).

15.  Munro J. A review of utility programs. SyncToy. Microsoft TechNet Magazine. 2007, March, available at: http://tech­net.microsoft.com/ru-ru/magazine/2007.03.utilityspotlight.aspx (ac­cessed August 9, 2013).

16.  Ermakov D.G., Bersenev A.Yu. User interface for URAN supercomputer based on MS SharePoint. Nauchny servis v seti Internet: vse grani parallelizma: tr. Mezhdunar. superkompyu­ternoy konf. [Proc. of int. supercomputer conf. “Scientific service in the Internet: all the sides of parallelism”]. Moscow, Moscow State Univ. Publ., 2013, pp. 301–305.


Постоянный адрес статьи:
http://swsys.ru/index.php?page=article&id=3880
Версия для печати
Выпуск в формате PDF (5.36Мб)
Скачать обложку в формате PDF (1.03Мб)
Статья опубликована в выпуске журнала № 3 за 2014 год. [ на стр. 177-182 ]

Возможно, Вас заинтересуют следующие статьи схожих тематик: