Программные продукты и системы

Неотъемлемой составляющей проектирования, реконструкции, планирования и управления трубопроводных систем (ТС) является моделирование режимов. В области оперативного диспетчерского управления наиболее востребованными являются модели, использующие в качестве исходных данные телеизмерений (ТИ) режимных параметров, в том числе поступающие в режиме реального времени. В этом случае моделируемый режим отражает фактическое состояние технологического процесса и результаты расчетов могут быть использованы для принятия оперативных решений по управлению. Об актуальности разработки таких моделей свидетельствуют принятые на уровне организаций стандарты, регламентирующие требования к онлайн-моделированию режимов.

В практике моделирования режимов ТС, в частности, газотранспортных и нефтетранспортных систем, наибольшее распространение получили гидравлические модели. Они основаны на физических законах сохранения и в случае нестационарных процессов описываются системами дифференциальных уравнений в частных производных. Решение таких систем само по себе является достаточно сложной вычислительной задачей, и для этого используются специализированные программно-вычислительные комплексы (ПВК).

В то же время адекватность моделей онлайн-режимов определяется не столько точностью численных методов решения уравнений, сколько погрешностью данных ТИ, несоответствием паспортных параметров объектов их фактическим значениям, некорректным решением задач настройки (адаптации) моделей к замерам и другими факторами [1].

Этими факторами вкупе со сложностью самих моделей объясняется отсутствие стандартизированного программного решения по онлайн-моделированию режимов на предприятиях, эксплуатирующих газотранспортные и нефтетранспортные системы нашей страны. Большинство эксплуатируемых на сегодняшний день ПВК моделирования ориентированы на проведение сценарных расчетов в ручном режиме. Их возможности по интеграции с внешними системами для загрузки ТИ ограничены поддержкой одного-двух протоколов и форматов взаимодействия без возможности расширения. В эксплуатируемых ПВК не решены задачи организации единого и автономного вычислительных процессов, охватывающих подготовку данных ТИ для использования в модели, непосредственно моделирование режимов, оценку адекватности результатов и адаптацию модели. Кроме того, модель онлайн-режима является основой для решения целого ряда режимно-технологических задач, таких как прогнозирование хода технологического процесса, расчет аналитических показателей, характеризующих функционирование ТС, расчет оптимальных управляющих воздействий и т.д. Современные ПВК ограничены в возможностях организации вычислений на основе онлайн-моделей и в основном не поддерживают расширения набора решаемых режимно-технологических задач.

Настоящая работа посвящена обоснованию целесообразности и разработке универсальной расширяемой вычислительной среды, которая позволила бы применять модели режимов ТС на основе ТИ при решении задач диспетчерского управления. Эти проблемы являются общими для различных ТС, но в данном случае они рассматриваются на примере трубопроводного транспорта газа.

Анализ особенностей моделирования на основе данных ТИ, актуальность задачи разработки новой среды

При разработке универсальной вычислительной среды моделирования режимов газотранспортных систем (ГТС) на основе данных ТИ необходимо учесть ряд специфичных особенностей.

· На сегодняшний день для решения задач моделирования режимов ГТС в газотранспорт- ной отрасли используются различные ПВК: ПК «Астра-газ», ПВК «Веста», ПВК «Волна» и др. [2–4]. Каждый из этих ПВК развивают и поддерживают небольшие коллективы разработчиков. Математические модели, реализованные в комплексах, закрыты. ПВК различаются составом задач диспетчерского управления и способом их решения, при этом они тесно интегрированы в бизнес-процессы эксплуатирующих организаций, что означает сложность замены одного комплекса на другой. Разрабатываемая вычислительная среда должна учитывать эту особенность и позволять использовать различные математические модели, реализованные в ПВК.

· Анализ практического опыта расчета режимов на основе ТИ показал, что на разных эксплуатирующих газотранспортных предприятиях могут использоваться существенно различающиеся подходы к передаче данных ТИ в ПВК (от текстовых выгрузок до промышленных протоколов семейства OPC). Кроме того, предполагается, что вычислительная среда может быть использована для различных систем трубопроводного транспорта, например, для нефтепроводов. В этих условиях набор возможных технологий, протоколов и форматов обмена данными становится еще шире. Поэтому разрабатываемая вычислительная среда должна поддерживать различные форматы и протоколы интеграции, а также быть расширяемой для реализации новых способов взаимодействия.

· Решение задач моделирования оперативного режима ГТС должно происходить автономно, без участия человека. На уровне диспетчерского пункта ГТС сбор и обновление данных ТИ для различных систем занимают от нескольких секунд до нескольких минут. При этом осуществляется сбор тысяч значений параметров, являющихся исходными данными для математической модели. В заданных условиях диспетчер или специалист по моделированию не имеет принципиальной возможности детально контролировать вычислительный процесс и управлять им, поэтому вычислительная среда должна предусматривать автономные вычисления.

· Цель применения моделей на основе данных ТИ – поддержка принятия оперативных диспетчерских решений по управлению режимами ГТС. В то же время в силу ряда факторов модель может не отражать состояние оперативного технологического процесса, что, в свою очередь, может приводить к принятию оши- бочных решений. Адекватность результатов моделирования при использовании данных ТИ во многом определяется качеством самих замеров [5], которые могут включать различные виды ошибок (случайная, систематическая, грубая), иметь пропуски в данных, обусловленные сбоями систем сбора. Практика расчета режимов ГТС показывает, что отмеченные особенности могут приводить к значительным погрешностям результатов. Другим важным фактором, влияющим на адекватность результатов моделирования, является настрой­ка (адаптация) эмпирических коэффициентов, заложенных в модель, на фактические режимы. Чтобы результаты моделирования были полезны диспетчерскому персоналу, вычислительная среда должна предоставлять набор методов предварительной подготовки данных ТИ, адаптации модели, оценки адекватности результатов моделирования, которые должны быть этапами единого вычислительного процесса.

· Предполагается, что вычислительная сре­да предоставляет возможности не только моделирования оперативного режима, но и решения на основе этой модели различных режимно-технологических задач. Примерами таких задач могут быть расчет запасов и балансов газа по системе и прогнозирование хода технологического процесса от оперативного состояния при внесении различных управляющих воздействий (сценарное моделирование). Набор решаемых задач может варьироваться для различных эксплуатирующих организаций. Поэтому разрабатываемая вычислительная среда должна быть открытой и предоставлять возможность использования компонентов для организации решения новых вычислительных задач.

· Еще одной важной особенностью разрабатываемой среды является повышенная вычислительная нагрузка на некоторые компоненты системы. Алгоритмы статистической обработки данных могут применяться к тысячам и десяткам тысяч параметров, при моделировании оперативного режима такая обработка должна производиться постоянно. При решении режимно-технологических задач в среде одновременно могут выполняться несколько процессов моделирования, причем в большинстве случаев задачи могут решаться параллельно, что позволяет организовать эффективные вычисления с помощью горизонтального подхода к масштабированию. Стоит также отметить, что необходимость в масштабировании актуальна не для всех компонентов среды.

На основе уже отмеченных особенностей можно сделать вывод о том, что вычислительная среда должна состоять из компонентов с разным набором функций: от интеграции данных до настройки математической модели. Компоненты имеют различные требования к вычислительным ресурсам. Разные компоненты могут быть частью разных сценариев использования среды. Например, в процессе решения большинства режимно-технологических задач не требуется выполнение процедуры адаптации модели, поэтому отказ компонента, отвечающего за адаптацию, не должен приводить к отказу всей среды. Кроме того, разные блоки имеют разную периодичность изменения, что особенно важно для сценария оперативного моделирования режимов. Обновление компонентов не должно приводить к длительной остановке оперативного моделирования, поскольку на основе результатов таких моделей принимаются решения по диспетчерскому управлению ТС.

Выделим следующие свойства разрабатываемой среды:

-     открытость для решения различных режимно-технологических задач;

-     расширяемость способов интеграции с системами сбора данных ТИ и ПВК моделирования;

-     масштабируемость при решении вычислительных задач;

-     поддержка распределенного взаимодействия компонентов как следствие различных требований к ресурсам и масштабируемости компонентов;

-     независимость развертывания, функционирования и обновления компонентов для обеспечения надежности.

Сегодня в практике эксплуатации газотранспортных обществ нет программного решения, обладающего перечисленными свойствами и позволяющего решать задачи моделирования режимов по данным ТИ с учетом приведенных выше особенностей. Поэтому актуальна задача проектирования и реализации описанной вычислительной среды.

Необходимо отметить, что вопросам применения современных информационных технологий при проектировании и разработке ПВК моделирования режимов в последние годы посвящено большое количество публикаций [6–8]. Результаты этих исследований учитывались при разработке архитектуры вычислительной среды. Так, предложенный в [7] подход к реа- лизации открытой интеграционной платформы использован для интеграции различных расчетных модулей и разрабатываемой вычислительной среды, а архитектура диспетчера компонентов и менеджера данных – для реализации управления процессом моделирования [8].

Однако рассматриваемым в настоящей работе специфическим особенностям в пуб- ликациях уделено недостаточно внимания. О необходимости дополнительных научно-технических исследований в этой области свидетельствует и отсутствие стандартного комплекса моделирования оперативных режимов на основе ТИ в практике эксплуатации газотранспортных и нефтетранспортных организаций.

Архитектура вычислительной среды

Одним из передовых направлений развития архитектур сложных распределенных систем является микросервисный подход [9]. Согласно принципам данного архитектурного стиля, система разбивается на небольшие функциональные блоки-микросервисы, взаимодействующие по сетевым протоколам и обладающие следующими свойствами: небольшой размер, строго определенный набор решаемых задач в ограниченном контексте, автономность [10].

Противоположностью микросервисного подхода обычно считают так называемую монолитную архитектуру, в рамках которой вся функциональность реализована в едином исполняемом файле или развертываемом компоненте. Выделяют следующие преимущества микросервисной архитектуры по сравнению с монолитной [11]:

-     простота разработки и тестирования за счет того, что система разделена на небольшие сервисы, имеющие строгие ограничения контекста;

-     повышенная устойчивость (отказ одного сервиса не приводит к отказу всей системы; сценарии использования системы, в которых отказавший сервис не является критичным, остаются работоспособными);

-     гибкость масштабирования (каждый сервис может масштабироваться независимо от других сервисов);

-     гибкость развертывания (развертывание и обновление каждого сервиса могут выполняться независимо от других сервисов).

Легко заметить, что преимущества отражают выделенные ранее свойства вычисли- тельной среды.

Одним из ключевых вопросов при проектировании приложения на основе микросервисной архитектуры является разбиение (декомпозиция) системы и решаемых ею задач на сервисы. На сегодняшний день не существует универсального алгоритма декомпозиции, но выделяют различные стратегии решения задачи: разбиение системы по бизнес-возможностям, разбиение по предметным областям [11]. В работе [12] отмечается, что для декомпозиции вычислительных приложений целесообразно использовать так называемое разделение на основе типа предоставляемых данных. Именно этот подход был использован в настоящей работе для разбиения разрабатываемой вычислительной среды на сервисы.

На рисунке 1 приведена принципиальная схема организации вычислительной среды.

Рассмотрим схему более подробно.

АРМ предполагает набор из нескольких пользовательских клиентских приложений, использующих среду для решения своих задач. Примером может быть АРМ SCADA-системы для визуализации результатов расчета оперативного режима или АРМ для решения определенных режимно-технологических задач.

Шлюз API (API Gateway) – специализированный сервис, являющийся единой точкой входа вычислительной среды для внешних клиентов. Его основная задача – маршрутизация, то есть направление поступающих на вход запросов к сервисам, которым эти запросы предназначены. Кроме того, данный компонент может выполнять функции обнаружения сервисов и балансировки нагрузки.

Брокер сообщений – специализированный компонент, являющийся промежуточным звеном между сервисами и обеспечивающий их коммуникацию за счет асинхронного обмена сообщениями. Каждый сервис определяет один или несколько каналов для приема или отправки сообщений, а также типы и форматы сообщений. Эти сообщения передаются не напрямую от сервиса к сервису, а опосредованно, через брокер сообщений. Использование брокера позволяет обеспечить слабую связанность между сервисами, а также их гибкое взаимодействие.

Гидравлическая модель ГТС – расчетный модуль, реализующий гидравлическое моделирование режимов ГТС. Модуль не является частью вычислительной среды, которая поддерживает работу с различными гидравлическими моделями, подключаемыми к ней через адаптеры.

Источники данных ТИ – набор информационных систем, БД, файлов определенного формата и т.д., в которых хранятся и обновляются данные ТИ. Для каждого типа источника данных реализуется специальный адаптер, через который данные ТИ могут быть загружены в вычислительную среду.

Вычислительная среда представлена набором сервисов (на схеме отображены только основные сервисы):

-     сервис источников данных предназначен для обеспечения возможности загрузки данных ТИ из произвольного источника данных;

-     сервис интеграции модели позволяет формировать идентификаторы параметров моделируемых объектов, в дальнейшем используемых для загрузки данных, во внешних системах;

-     сервис технологической схемы служит для формирования списка моделируемых технологических объектов, их параметров и связей;

-     сервис подготовки данных необходим для обработки данных ТИ, поступающих из сервиса интеграции, и подготовки их для использования в математической модели;

-     сервис моделирования предназначен для гидравлического моделирования режимов на основе данных ТИ, поступающих из источников;

-     сервис управления моделированием управляет процессами запуска, остановки, перезапуска и мониторинга состояния выполняемых в системе расчетов;

-     сервис адаптации является инструментом для решения задачи адаптации математической модели к данным ТИ;

-     сервис оценки адекватности результатов моделирования предназначен для решения задачи контроля погрешностей результатов моделирования оперативного режима;

-     сервис предоставления результатов моделирования используется для хранения исторических и оперативных результатов моделирования, а также предоставления их внешним клиентам.

Кроме того, в вычислительной среде преду- смотрена возможность подключения новых сервисов для решения режимно-технологических задач. Такие сервисы должны выполнять определенный контракт для поддержки обнаружения и проверки работоспособности. Они могут использовать возможности других компонентов вычислительной среды для решения своих задач.

Таким образом, разработанная вычислительная среда реализует требования следующим образом.

·     Сервисы взаимодействуют между собой опосредованно, через брокер сообщений, что позволяет подключать новые компоненты для решения режимно-технологических задач без модификации либо с минимальными, точечными модификациями вычислительной среды.

·     В рамках сервисов источников данных и моделирования предусмотрены специализированные адаптеры для подключения к разным источникам данных и расчетным модулям. В случае, если реализация адаптера по тем или иным причинам невозможна, решением может стать реализация отдельного сервиса, который будет отвечать за интеграцию с конкретным модулем.

·     Предлагаемая архитектура вычислительной среды поддерживает распределенное взаимодействие, то есть сервисы вычислительной среды могут быть развернуты на разных компьютерах. Для каждого отдельного сервиса может быть запущено несколько экземпляров (в том числе на разных машинах). Решение задачи балансировки нагрузки возможно либо отдельной надстройкой над экземплярами сервисов, либо в рамках API-шлюза.

·     Обновление сервисов может производиться раздельно и независимо, поскольку они представляют собой разные приложения. Сбой сервиса не приводит к нарушению работоспособности сценариев, в которых этот сервис не задействован.

Также необходимо отметить, что, несмотря на соответствие микросервисной архитектуры выделенным свойствам, данный архитектурный стиль имеет ряд недостатков. Система разбита на слабо связанные между собой приложения, которые могут находиться на разных компьютерах, что затрудняет реализацию и тестирование сценариев использования, охватывающих более чем один сервис. Распределенный характер среды затрудняет ее администрирование. Существенным недостатком являются дополнительные накладные расходы на передачу данных между сервисами. Однако для разрабатываемой в настоящей работе вы- числительной среды преимущества микросервисной архитектуры перевешивают недостатки.

Практическая реализация и апробация предложенной архитектуры

Как уже отмечалось, в настоящее время для эксплуатирующих газотранспортных обществ не существует стандартного решения в области моделирования режимов по данным ТИ. Разработанные архитектурные решения были реализованы и апробированы при решении задач диспетчерского управления для одного из газотранспортных обществ «Газпрома». Реализация среды направлена на решение следующих актуальных задач диспетчерского управления:

-     моделирование оперативного режима на основе данных ТИ и предоставление результатов расчета диспетчерскому персоналу;

-     автоматизированная адаптация расчетной модели;

-     расчет аналитических показателей оперативного режима ГТС, таких как запас газа, изменение запаса газа и т.п.;

-     расчет прогноза хода технологического процесса от оперативного режима при заданных пользователем сценариях.

Сервисы вычислительной среды были реализованы на языке C# платформы .NET Core. В качестве гидравлической модели вычислительная среда использует расчетный модуль ПВК «Веста». На рисунке 2 представлена принципиальная схема практической реализации среды решения задач диспетчерского управления газотранспортного общества на базе ПВК «Веста».

Согласно общепринятым практикам основными информационно-управляющими системами, используемыми диспетчерскими подразделениями, являются SCADA-системы. Данный класс систем применяется для решения двух основных задач: визуализация хода технологического процесса на основе ТИ, поступающих из систем автоматизации нижнего уровня, и предоставление возможности реализации дистанционных управляющих воздействий. Графический интерфейс вычислительной среды был реализован в виде экранных форм SCADA.

В качестве брокера сообщений вычислительной среды используется компонент ПВК «Веста» – очередь сообщений AsgardMQ [13]. Сервисы обмениваются между собой сообщениями формата AM (внутренний формат оче- реди).

Клиентские приложения (АРМы) направляют запросы (например, на запуск расчета) по протоколу http. Эти запросы поступают в разработанный специально для вычислительной среды компонент API Gateway, который генерирует сообщения в формате AM для конкретных сервисов-адресатов.

На схеме представлены основные сервисы, которые были специализированы под решение задач газотранспортного общества на базе ПВК «Веста». Для сервиса моделирования был разработан адаптер, позволяющий передавать расчетные задания и получать результаты гидравлической модели ПВК. Расчетный модуль является компонентом ПВК, поддерживающим обмен данных через очередь сообщений, поэтому для взаимодействия с ним используется именно этот механизм.

Интеграция данных вычислительной среды и информационных систем газотранспортных обществ заключена в двух сервисах. Загрузка данных ТИ в вычислительную среду осуществляется из двух источников данных SCADA-системы предприятия, интеграция с которыми поддержана в сервисе внешних источников. Оперативные данные в режиме реального времени поступают в вычислительную среду из OPC DA сервера SCADA-системы по протоколу OPC. Исторические данные ТИ, хранимые в БД истории SCADA-системы, загружаются с использованием SQL. Для поддержки этих протоколов обмена в сервисе реализованы специализированные адаптеры. Предоставление результатов решения расчетных задач осуществляется через соответствующий сервис. АРМ получают результаты по протоколу OPC из OPC DA сервера, который загружает их из сервиса по протоколу http.

На схеме также представлены сервис и АРМ прогнозирования хода технологического про- цесса (АРМ Forecast). Сервис прогнозирования является специализированным расширением вычислительной среды для решения задачи построения прогноза развития на 24 часа вперед. Сервис формирует прогноз на основе результатов расчета оперативного режима, которые он загружает из сервиса предоставления результатов, а также сценария развития ситуации, задаваемого пользователем в АРМ. В процессе решения задачи прогнозирования используются некоторые компоненты среды: сервис подготовки данных, сервис управления моделированием, сервис моделирования и др.

С помощью вычислительной среды обеспечивается моделирование режима реального времени всей ГТС, благодаря чему диспетчерский персонал получает информацию о расчетных значениях неизмеряемых параметров. На основе модели оперативного режима обеспечивается расчет запасов газа, результаты которого используются при сведении ежесуточных балансов. Кроме того, разработано решение задачи прогнозирования развития оперативного технологического процесса за счет гидравлического моделирования режимов по заданным пользователем сценариям. Разработанное решение введено в эксплуатацию и еже- дневно используется диспетчерским персона- лом.

Заключение

Таким образом, на основе анализа специфических особенностей применения гидравлических расчетных комплексов для решения задач диспетчерского управления ГТС были сфор- мулированы требования к реализации вычислительной среды моделирования на основе данных ТИ. Разработана архитектура среды, основанная на микросервисном подходе. Предложенные решения реализованы и апробированы при эксплуатации реальной ГТС.

Стоит отметить, что разработанные решения носят междисциплинарный характер. В них нет специфики области транспорта газа: вычислительная среда предусматривает интеграцию с различными расчетными модулями и различными источниками данных ТИ. Следовательно, она может быть использована для решения задач диспетчерского управления другими системами транспортировки углеводородов.

Литература

1.    Сарданашвили С.А., Голубятников Е.А. Применение методов повышения достоверности онлайн-данных и результатов моделирования режимов промысловых, магистральных, газораспределительных трубопроводных систем // Территория Нефтегаз. 2018. № 9. С. 24–34.

2.    Анучин Макс.Г., Анучин Мих.Г., Кузнецов А.Н., Каспиев Г.В., Кудрявцев В.В. Расчеты режимов транспортировки газа по комплексу «Волна» // DISCOM-2014: сб. тр. VI Междунар. науч.-технич. конф. М.: Газпром ВНИИГАЗ, 2014.

3.    Сарданашвили С.А., Митичкин С.К., Леонов Д.Г., Швечков В.А. Программно-вычислительный комплекс для решения задач эксплуатации и управления режимами газораспределительных систем // Газ России. 2015. № 3. С. 78–84.

4.    Цыбульник В.Н., Кутырев А.Л. Программно-вычислительный комплекс математического моделирования процессов транспорта газа «Астра-газ» // Газовая промышленность. 2013. № 8. С. 17–19.

5.    Сарданашвили С.А., Голубятников Е.А. Проблемы моделирования on-line режимов систем газоснабжения // Территория Нефтегаз. 2015. № 4. С. 32–37.

6.    Васильев А.В. Проектирование и реализация компонентной среды параллельного и распределенного моделирования систем газоснабжения // Автоматизация, телемеханизация и связь в нефтяной промышленности. 2013. № 2. С. 32–38.

7.    Леонов Д.Г. Методы, модели и технологии разработки и интеграции распределенных гетерогенных программно-вычислительных комплексов в транспорте газа. М.: Изд-во РГУ нефти и газа (НИУ) им. И.М. Губкина, 2017. 196 с.

8.    Халиуллин А.Р. Архитектурные решения и опытная реализация информационного обмена компонентов гетерогенных распределенных комплексов моделирования динамических процессов трубопроводных систем // Автоматизация, телемеханизация и связь в нефтяной промышленности. 2016. № 8. C. 17–24.

9.    Microservices. URL: http://martinfowler.com/articles/microservices.html (дата обращения: 08.06.2020).

10. Newman S. Building Microservices: Designing Fine-Grained Systems. O'Reilly Media Publ., 2015, 260 p.

11. Richardson C. Microservices Patterns: With Examples in Java. Manning Publ., 2019, 520 p.

12. Артамонов Ю.С., Востокин С.В. Разработка распределенных приложений сбора и анализа данных на базе микросервисной архитектуры // Изв. Самарского науч. центра РАН. 2016. Т. 18. № 4. С. 688–693.

13. Леонов Д.Г. Построение гетерогенных распределенных программно-вычислительных комплексов на основе открытой интеграционной платформы // Тр. РГУ нефти и газа им. И.М. Губкина. 2017. № 2. С. 125–135.

References

1. Sardanashvili S.A., Golubyatnikov E.A. Application of methods to increase the reliability of on-line data and simulation results for regimes of extractive, main, distribution pipeline systems. Oil and Gas Territory, 2018, no. 9, pp. 24–34 (in Russ.).
2. Anuchin Maks.G., Anuchin Mikh.G., Kuznetsov A.N., Kaspiev G.V., Kudryavtsev V.V. Calculation of gas transmission modes in volna software package. Proc. VIth Intern. Sc. Tech. Conf. DISCOM-2014. Moscow, 2014 (in Russ.).
3. Sardanashvili S., Mitichkin S., Leonov D., Shvechkov V. Software solution for control of gas distribution system operation modes. Gaz Rossii, 2015, no. 3, pp. 78–84 (in Russ.).
4. Tsybulnik V.N., Kutyrev A.L. Astra-Gaz software complex for mathematical simulation of gas transport processes. Gas Industry, 2013, no. 8, pp. 17–19 (in Russ.).
5. Sardanashvili S.A., Golubyatnikov E.A. Problems of gas supply systems on-line modes modeling. Oil and Gas Territory, 2015, no. 4, pp. 32–37 (in Russ.).
6. Vasilev A.V. Design and realization of component media of parallel and distributional modeling of gas supplying systems. Automation, Telemechanization and Communication in Oil Industry, 2013, no. 2,
   pp. 32–38 (in Russ.).
7. Leonov D.G. Methods, Models and Technologies of the Distributed Heterogeneous Software Systems Development and Integration for the Gas Transportation. Moscow, 2017, 196 p. (in Russ.).
8. Khaliullin A.R. Architectural solutions and trial implementation of data exchange between components of heterogeneous distributed software of nonsteady processes modelling in pipeline system. Automation, Telemechanization and Communications in the Oil Industry, 2016, no. 8, pp. 17–24 (in Russ.).
9. Microservices. Avaliable at: http://martinfowler.com/articles/microservices.html (accessed June 08, 2020).
10. Newman S. Building Microservices: Designing Fine-Grained Systems. O'Reilly Media Publ., 2015,
    260 p.
11. Richardson C. Microservices Patterns: With Examples in Java. Manning Publ., 2019, 520 p.
12. Artamonov Yu.S., Vostokin S.V. Development of distributed applications for data collection and analysis on the basis of a microservice architecture. Izvestia of RAS SamSC, 2016, vol. 18, no. 4, pp. 688–693 (in Russ.).
13. Leonov D. The application of open integration platform to the development of heterogeneous distributed software. Proc. of Gubkin Russ. State University of Oil and Gas, 2017, no. 2, pp. 125–135 (in Russ.).