Авторитетность издания
ВАК - К1
RSCI, ядро РИНЦ
Добавить в закладки
Следующий номер на сайте
№1
Ожидается:
16 Марта 2024
Статьи журнала №4 2019
1. Эволюция и особенности гиперконвергентных инфраструктур [№4 за 2019 год]Авторы: Лисецкий Ю.М. (Iurii.Lisetskyi@snt.ua) - Компания «ЭС ЭНД ТИ УКРАИНА» (генеральный директор), кандидат технических наук;
Аннотация: Статья посвящена гиперковергентным инфраструктурам, которые в настоящее время весьма востребованы предприятиями и организациями для построения гибкой ИТ-инфраструктуры об-лачного уровня, не используя для этого публичные ресурсы, а размещая оборудование в собственных центрах обработки данных или в частных облаках. Рассмотрены эволюция гиперконвергентных инфраструктур, их особенности и преимущества. Появление гиперконвергентных инфраструктур является закономерным этапом развития ИТ-инфраструктур и следующим логическим шагом от конвергентных инфраструктур. Концепция конвергентных инфраструктур предполагает комбинирование нескольких инфраструктурных компонентов в предварительно интегрированный комплекс с помощью связующего ПО. Эта кон-цепция, в свою очередь, является развитием традиционных подходов к построению ИТ-инфраструктуры. Гиперконвергентные инфраструкутры развивают концепцию конвергентных структур, добавляя в нее понятие модульности. Благодаря этому все необходимые виртуализиро-ванные вычислительные ресурсы, сетевые системы и системы хранения данных работают автономно внутри отдельных модулей, которые представляют собой готовые виртуализированные вычислительные ресурсы. Они, как правило, объединяются в группы, чтобы обеспечить отказо-устойчивость, высокую производительность и гибкость в создании ресурсных пулов. Одна из основных причин актуальности гиперконвергентных инфраструкутр заключается в том, что не все организации и предприятия для снижения затрат на построение собственной ИТ-инфраструктуры готовы перевести свои сервисы и приложения в публичное облако, хотя многие из них заинтересованы в реализации преимуществ облачных технологий в собственной инфраструктуре, а гиперконвергентные инфраструктуры дают возможность это сделать. Они являются альтернативой аренды облачных сервисов у сторонних компаний-провайдеров услуг, так как с их помощью стало возможным развертывание собственных частных облаков, которыми полностью распоряжаются организации и предприятия. Поэтому гиперконвергентная инфраструктура стала доминирующей аппаратной платформой для размещения частных облаков, виртуальных рабочих мест и сред разработки новых приложений.
Abstract: The paper considers hyperconverged infrastructures that are widely used by companies to build a flex-ible cloud-level IT infrastructure. This infrastructure only uses private data centers or clouds and do not use public resources.
The paper describes the evolution of hyperconverged infrastructures, their features and strong points. Emergence of hyperconverged infrastructures is a logical step forward in development of IT in-frastructures and the next level of converged infrastructures. The concept of hyperconverged infra-structures combines several infrastructure components into the complex initially integrated using con-nection software. This concept is a development of traditional approaches to building an IT infrastruc-ture. Hyperconverged infrastructures further develop the concept of converged infrastructures adding the modularity concept. It makes operation of all virtualized computing, network and storage resources autonomous inside separate modules, which are virtualized computing resources. Typically, they are grouped to provide fault tolerance, high performance and flexibility in building resource pools.
One of essential reasons why hyperconverged infrastructures are important is that not all enterpris-es are ready to migrate their services and applications into public cloud in order the eliminate costs of building own IT infrastructure. However, many of them are interested in taking advantages of cloud technologies in their infrastructures and hyperconverged infrastructures give such opportunity. They are a realistic alternative to leasing cloud services from third party providers as the hyperconverged in-frastructures enable deployment of private clouds fully under control of an enterprise. Therefore, hy-perconverged infrastructures dominate as a hardware platform to build private clouds, virtualized working places, and to develop new applications.
Ключевые слова: центр обработки данных, конвергентность, ит-инфраструктура, виртуализация, архитектура, модульность, компоненты, серверы, система хранения данных, гиперконвергентностьKeywords: data-processing centre, convergence, IT-infrastructure, virtualization, architecture, modularity, components, servers, Storage System, hyperconvergence
Просмотров: 10498
2. Верификация моделей систем на базе эквациональной характеристики формул CTL [№4 за 2019 год]
Авторы: Кораблин Ю.П. (y.p.k@mail.ru) - Российский государственный социальный университет, г. Москва (профессор), доктор технических наук; Шипов А.А. (a-j-a-1@yandex.ru) - Московский технологический университет (МИРЭА) (старший инженер-программист), кандидат технических наук;
Аннотация: В статье предложена и рассмотрена RTL-нотация, основанная на системах рекурсивных уравнений и привычных семантических определениях логики линейного времени LTL и логики ветвящегося времени CTL. В предыдущих работах авторов, когда данная нотация еще называлась RLTL-нотацией, было показано, что с ее помощью можно легко формулировать и верифицировать свойства логики линейного времени, в том числе и относительно моделей систем, заданных с по-мощью той же нотации. Затем были расширены возможности RLTL-нотации, благодаря чему с ее помощью стало возможным формулировать выражения не только логики LTL, но и логики ветвя-щегося времени. В результате этого появилась первая версия RTL-нотации. В данной статье представлена вторая версия RTL как результат доработки и упрощения семантических определений нотации, позволивших повысить наглядность и читаемость ее выражений. Целью статьи является демонстрация возможности использования RTL-нотации в качестве инструмента для формулировки и верификации свойств, задаваемых формулами обеих логик, на базе единых аксиом и правил. Это дает возможность RTL выступать в роли единой универсальной нотации данных логик. При этом за счет незначительных дополнений ее базовых определений нотация способна включать в себя выразительные особенности и других временных логик, что в перспективе позволит RTL стать полноценной универсальной временной логикой, обладающей всеми необходимыми инструментами и средствами для реализации всех этапов верификации.
Abstract: The paper proposes and examines the RTL notation based on systems of recursive equations and standard Linear Temporal Logic (LTL) semantic definitions and the Computational Tree Logic (CTL). When this notation was still called RLTL, the previous works of the authors showed that it enables easy formulation and verifying of LTL properties with respect to system models, even with those that are al-so specified using the RLTL notation. Then the authors expanded the capabilities of the RLTL notation, so it has become possible to formulate LTL and CTL expressions. Therefore, the first version of the RTL notation was created.
This article presents the second version of the RTL, which was the result of refinement and simpli-fication of notation semantic definitions, which allowed increasing the visibility and readability of its expressions.
The purpose of the article is to demonstrate the possibility of using the RTL notation as a tool to formulate and verify properties defined by formulas of both LTL and CTL logics using common axioms and rules. This lets RTL to become a single and universal notation for these logics. At the same time, it is possible for RTL to include expressiveness of other temporal logics too by minor additions to its basic definitions. It means that in future it is possible for RTL to become a full-fledged universal tem-poral logic that has all of the necessary tools and means for implementing all stages of verification.
Ключевые слова: верификация, model checking, эквациональная характеристика rtl, формулы временной логики, ltl, ctl, системы рекурсивных уравненийKeywords: verification, model checking, equational characteristic of rtl, temporal logic formulas, ltl, ctl, recursive equation systems
Просмотров: 7350
3. Метод трансляции первопорядковых логических формул в позитивно-образованные формулы [№4 за 2019 год]
Автор: Давыдов А.В. (andrey.davydov@datadvance.net) - Компания «ДАТАДВАНС» (технический писатель); Ларионов А.А. (bootfrost@zoho.com) - Институт динамики систем и теории управления им. В.М. Матросова СО РАН (программист); Черкашин Е.А. (eugeneai@icc.ru ) - Институт динамики систем и теории управления им. В.М. Матросова СО РАН (старший научный сотрудник);
Аннотация: В статье рассматриваются логическое исчисление позитивно-образованных формул (ПОФ-исчисление) и построенный на его основе метод автоматического доказательства теорем. ПОФ-исчисление впервые появилось в работах академиков РАН С.Н. Васильева и А.К. Жерлова в результате рассмотрения и решения задач теории управления и было описано как логический формализм первого порядка. Имеются примеры описания и решения задач теории управления, эффективно (с точки зрения выразительности языка и производительности средств доказательств теорем) решенных с помощью ПОФ-исчисления, например, управление группой лифтов, наведение телескопа на центр планеты, находящейся в неполной фазе, управление мобильным роботом. ПОФ-исчисление выгодно отличается от возможностей других, логических, средств формализации предметной области и поиска логических выводов выразительностью в сочетании с компактностью представления знаний, естественным параллелизмом их обработки, крупноблочностью и меньшей комбинаторной сложностью выводов, высокой совместимостью с эвристиками и широкими возможностями для интерактивного доказательства. В выделенном классе формул возможно построение конструктивного доказательства. Данный класс формул существенно шире класса хорновских дизъюнктов, используемых в языке Пролог: на логическую формализацию аксиоматической базы предметной области не накладываются никакие ограничения, а целевое утверждение – это конъюнкция запросов (в смысле языка Пролог). Для тестирования программной системы автоматического доказательства теорем (прувера), основанной на ПОФ-исчислении, использовалась библиотека задач TPTP (Thousands of Problems for Theorem Provers). Формат, в котором представлены задачи TPTP (называемые проблемами), де-факто стал стандартом среди сообщества, изучающего автоматизацию рассуждений. Возникает естественная необходимость в том, чтобы разрабатываемый прувер принимал на вход задачи в этом формате. Таким образом, возникла задача трансляции формул логики предикатов первого порядка, представленных в формате TPTP, в формат ПОФ. Эта задача нетривиальна из-за особой структуры формул ПОФ-исчисления. В данной работе предложены более эффективный (в сравнении с ранее разработанным алгоритмом в первой реализации системы автоматического доказательства теорем для ПОФ-исчисления) метод трансляции формул первопорядкового языка исчисления предикатов с сохранением исходной эвристической структуры знаний и его упрощенная версия для задач, представ-ленных на языке дизъюнктов. Под эффективностью понимаются количество шагов и длина получаемых формул. Предложенный метод был реализован в виде программной системы – транслятора языка первопорядковых логических формул в формате ТРТР в язык ПОФ. Приведены результа-ты тестирования разработанного метода, которые позволяют сделать вывод о том, что существует определенный класс первопорядковых формул, не принимаемый во внимание как особый существующими системами автоматического доказательства теорем, в то время как в ПОФ-исчислении для данного класса формул существуют специальные стратегии, повышающие эффективность поиска вывода.
Abstract: The paper considers the logic calculus of positively constructed formulas (PCF calculus) and based on it automated theorem proving (ATP) method. The PCF calculus was developed and described as a first-order logic formalism in works of S.N. Vassilyev and A.K. Zherlov as a result of formalizing and solv-ing problems of control theory. There are examples of describing and solving some control theory problems, effectively (from the point of view of the language expressiveness and the theorem proving means efficiency) solved using PCF calculus, for example, controlling a group of lifts; directing a tele-scope at the planet center, which is in an incomplete phase, and mobile robot control.
Comparing to the capabilities of other logical means for subject domain formalization and logic conclusion search, the PCF calculus have the advantage of the expressiveness combined with the com-pactness of knowledge representation, the natural parallelism of their processing, large block size and lower combinatorial complexity of conclusions, high compatibility with heuristics, and great capabili-ties for interactive proof. The selected class of formulas makes it possible to build constructive proofs. This class of formulas is much wider than the class of Horn clauses used in the Prolog. There are no re-strictions in the logical formalization of the axiomatic base of the subject domain, and the target state-ment is a conjunction of queries (in terms of the Prolog).
To test the ATP software system (prover) based on the PCF calculus the authors used the TPTP (Thousands of Problems for Theorem Provers) library. The TPTP format has become a standard in the community that studies automated reasoning. There is a natural need for the developed prover to ac-cept problems in this format as input. Thus, the problem of translating the first-order predicate logic formulas presented in the TPTP format to the POF format arises. This problem is nontrivial due to the special structure of the PCF calculus formulas.
The paper proposes a more efficient translation method (compared to the previously developed al-gorithm in the first implementation of the prover based on the PCF calculus) for the first-order predi-cate calculus language preserving the original heuristic knowledge structure, and its simplified version for the problems presented in language of clauses. The efficiency is a number of steps and the length of the obtained formulas. The proposed method was implemented as a software system – a language trans-lator of first-order TPTP logic formulas to the PCF calculus language. The paper presents test results of the developed method, which imply that there is a certain class of first-order formulas that are not tak-en into account as special by existing ATP systems, while the PCF calculus has special strategies that increase the efficiency of the inference search for such class of formulas.
Ключевые слова: алгоритмы трансляции, автоматическое доказательство теорем, математическая логикаKeywords: translation algorithms, automated theorem proving, mathematical logic
Просмотров: 6803
4. Интеллектуальный сбор информации из распределенных источников [№4 за 2019 год]
Автор: Ефимова М.С. (maria.efimova@hotmail.com) - Санкт-Петербургский государственный электротехнический университет «ЛЭТИ» им. В.И. Ульянова (Ленина) (аспирант);
Аннотация: В статье рассмотрена задача сбора данных из распределенных источников на примере анализа разнородной распределенной финансовой информации, сделаны анализ и сравнение существующих подходов к сбору информации. Большинство из них для решения проблемы предполагают сбор данных в единое хранилище с последующим их анализом, однако это вызывает задержку от момента генерации данных до момента применения к ним методов анализа, связанную с необходимостью передачи от источника к месту хранения. В результате существенно снижается оперативность принятия решений и увеличивается трафик в сети. Кроме того, сбор данных от всех источников может привести к значительным расходам в случае, если доступ к некоторым из них платный или ограничен тарифным планом. Рассмотренные подходы предполагают включение хранилищ данных, средств ETL (излечения, трансформации и загрузки), лямбда-архитектуры, облачных вычислений, туманных вычислений, а также анализ распределенных данных на основе модели акторов. Однако выявлено, что они не учитывают стоимость и приоритеты источников данных и не позволяют обращаться к ним динамически, следовательно, не удовлетворяют всем условиям поставленной задачи. В статье предложен и описан метод интеллектуального сбора информации с динамическим обращением к источникам данных в зависимости от текущей необходимости, стоимости и приоритета источников. Разработанный метод позволяет сократить трафик в сети, ускорить процесс анализа данных и снизить стоимость обращения к источникам данных.
Abstract: The paper describes collecting and analysing data from distributed data sources using an example of analysing heterogeneous distributed financial information, analyzes and compares existing approaches to information collection and analysis. Most of the existing approaches that solve this problem require all data to be collected in a single repository to perform analysis on that data. However, such methods imply a delay from the moment when the data is generated until the moment when the analysis methods are applied to it due to the need to transfer the data from the source to the storage location. This signifi-cantly reduces the decision-making efficiency and increases network traffic. In addition, collecting da-ta from all sources can lead to significant costs if access to some of the sources is not free or is limited by a tariff plan.
The considered approaches include data warehouses, ETL tools (extraction, transformation and loading), lambda architectures, cloud computing, fog computing, distributed data analysis based on the actor model. It has been concluded that these approaches do not take into account the cost and priori-ties of data sources and do not allow accessing them dynamically. Therefore, they do not meet all the requirements.
The paper proposes and describes a method of smart information collection with dynamic reference to data sources depending on current need, cost and source priority. The proposed method allows to re-duce network traffic, speed up data analysis and reduce the costs associated with accessing data sources.
Ключевые слова: интернет вещей, анализ финансовой информации, разнородные данные, распределенные источники, интеллектуальный анализKeywords: Internet of things, financial analysis, heterogeneous data, distributed data sources, smart data analysis
Просмотров: 8908
5. Исследование оптимального количества процессорных ядер для алгоритма многократной маркировки перколяционных кластеров на суперкомпьютерных вычислительных системах [№4 за 2019 год]
Авторы: Лапшина С.Ю. (lapshina@jscc.ru) - Межведомственный суперкомпьютерный центр РАН – филиал ФНЦ НИИСИ РАН (начальник научно-организационного отдела); Сотников А.Н. (asotnikov@iscc.ru) - Федеральный исследовательский центр «Информатика и управление» РАН, ул. Вавилова, 44-2, г. Москва, 119333, Россия (главный научный сотрудник), доктор физико-математических наук; Логинова В.Е. (vl@jscc.ru) - Межведомственный суперкомпьютерный центр РАН – филиал ФНЦ НИИСИ РАН (ведущий инженер-программист); Юдинцев К.Ю. (climenty@jscc.ru ) - Межведомственный суперкомпьютерный центр РАН – филиал ФНЦ НИИСИ РАН (научный сотрудник);
Аннотация: Статья посвящена выбору оптимального количества запрашиваемых процессорных ядер для запуска алгоритма многократной маркировки перколяционных кластеров. Работа выполнена в ходе проведения имитационных экспериментов задачи мультиагентного моделирования процессов распространения массовых эпидемий на современных суперкомпьютерных системах, установ-ленных в Межведомственном суперкомпьютерном центре РАН. Алгоритм может быть использован в любой области в качестве инструмента дифференцирования кластеров решетки большого размера, так как ему на вход подаются данные в формате, не за-висящем от приложения. В МСЦ РАН этот инструмент использовался для изучения задачи распространения эпидемий, для чего была разработана соответствующая мультиагентная модель. В модели рассматривается абстрактное заболевание, передаваемое контактным путем. В ходе моделирования определяется пороговое значение вероятности инфицирования (то есть сама вероятность инфицирования является изменяемым параметром), при котором возникает эффект перко-ляции на решетке распространения заболевания. Если это значение близко к индексу контагиозности конкретного заболевания, то следует ожидать распространения эпидемии в планетарном масштабе. В процессе имитационных экспериментов применялся усовершенствованный для многопроцессорной системы вариант алгоритма многократной маркировки перколяционных кластеров Хошена–Копельмана, связанный с механизмом линковки меток, который также может быть использован в любой области в качестве инструмента дифференцирования кластеров решетки большого размера. В статье дана оценка времени выполнения алгоритма многократной маркировки перколяционных кластеров Хошена–Копельмана при различных значениях входных параметров на четырех основных высокопроизводительных вычислительных системах, установленных в Межведомственном суперкомпьютерном центре РАН: суперкомпьютерах МВС-10П МП2 KNL, МВС-10П ОП, МВС 10П Торнадо, МВС-100К.
Abstract: The article considers the optimum number of processor cores for launching the Parallel Cluster Multi-ple Labeling Technique in the course of conducting simulation experiments on the problem of multi-agent modeling of the spread of mass epidemics on modern supercomputer systems installed in the JSCC RAS.
This algorithm can be used in any field as a tool for differentiating large lattice clusters, because he is given input in a format independent of the application. At the JSCC RAS, this tool was used to study the problem of the spread of epidemics, for which an appropriate multiagent model was developed.
The model considers an abstract disease transmitted by contact. During the simulation, the thresh-old value of the probability of infection is determined (i.e., the probability of infection itself is a varia-ble parameter), at which the percolation effect appears on the distribution grid of the disease. If this value is close to the contagiousness index of a particular disease, then there is every chance of expect-ing an epidemic to spread on a planetary scale.
In the course of imitation experiments, a variant of the Parallel Cluster Multiple Labeling Technique for percolation Hoshen-Kopelman clusters related to the tag linking mechanism, which can also be used in any area as a tool for differentiating large-size lattice clusters, was used to be improved on a multiprocessor system.
The article provides an estimate of the execution time of the Parallel Cluster Multiple Labeling Technique for Hoshen-Kopelman percolation clusters for various values of input parameters on high-performance computing systems installed in the JSCC RAS: MVS-10P MP2 KNL, MVS-10P OP, MVS 10P Tornado, MVS-100K.
Ключевые слова: мультиагентное моделирование, перколяционный кластер, механизм линковки меток, высокопроизводительные вычислительные системы, процессорные ядраKeywords: multi-agent simulation, percolation’s cluster, parallel cluster multiple labeling technique, high-performance computing systems, processor cores
Просмотров: 7872
6. Методы и средства моделирования системы управления суперкомпьютерными заданиями [№4 за 2019 год]
Авторы: Баранов А.В. (antbar@mail.ru, abaranov@jscc.ru ) - Межведомственный суперкомпьютерный центр РАН (доцент, ведущий научный сотрудник), кандидат технических наук; Ляховец Д.С. (anetto@inbox.ru) - Научно-исследовательский институт «Квант» (научный сотрудник);
Аннотация: В статье рассматриваются методы и средства моделирования систем управления суперкомпьютерными заданиями (СУЗ), таких как SLURM, PBS, Moab и отечественная система управления прохождением параллельных заданий (СУППЗ). Среди методов моделирования СУЗ выделены натурный эксперимент, моделирование СУЗ с виртуальным вычислителем, имитационное моделирование. Рассмотрены методы и способы по-строения модельного потока заданий. На примере СУППЗ показана невозможность точного воспроизведения натурного эксперимента. Поставлен вопрос об адекватности модели СУЗ, введены понятия адекватности в широком и узком смыслах. Показано, что адекватная в узком смысле модель СУЗ обеспечивает соответствие только интервальных показателей и не может быть использована в качестве прогнозной модели. Для определения адекватности в широком смысле рассмотрена численная оценка близости двух потоков событий СУЗ – реального и полученного в результате моделирования. В качестве меры близости двух потоков предложено нормализованное евклидово расстояние между двумя векторами, соответствующими сравниваемым потокам. Размерность векторов равна числу обработан-ных заданий, а компоненты векторов представляют собой времена пребывания заданий в системе. Для меры адекватности предложена методика ее определения, основанная на сравнении статистики работы реальной системы и модели СУЗ. На примере СУППЗ определено эталонное значение меры адекватности как нормированное евклидово расстояние между векторами времен пребывания заданий в системе, полученными от реальной СУППЗ и модели СУППЗ с виртуальным вычислителем.
Abstract: The paper discusses the methods and tools of modeling supercomputer job management systems, such as SLURM, PBS, Moab, and the domestic management system of parallel job passing. There are high-lighted job management system modeling methods including modeling with real supercomputer system, JMS modeling by a virtual nodes, and simulation modeling. The authors consider methods and tools for constructing a model job stream.
The management system of parallel job passing example shows the impossibility of accurate repro-ducing a full-scale experiment with real supercomputer. The paper investigates the adequacy of the job management systems model in a broad and narrow sense. It is shown that an adequate in the narrow sense job management system model ensures compliance only with interval indicators and cannot be used as a forecast model. The authors consider a numerical estimate of the proximity of two event streams in order to determine the adequacy in a broad sense. The first event stream is the stream of real supercomputer events. The second one is the stream of events produced by a job management systems model. The normalized Euclidean distance between two vectors corresponding to the compared streams is proposed as a measure of proximity of two streams. The vectors' dimension is equal to the number of processed jobs, the vectors components are the job residence times in the job management systems.
The method of adequacy determination is based on a comparison of the real supercomputer statis-tics and the results of job management systems modeling. The adequacy measure reference value is de-termined as the normalized Euclidean distance between the vectors of job residence times in the real system and in the job management system model.
Ключевые слова: адекватность модели, имитационное моделирование, планирование суперкомпьютерных заданий, системы управления заданиями, высокопроизводительные вычисленияKeywords: model adequacy, simulation, supercomputer job scheduling, job management system, high-performance computing
Просмотров: 8767
7. Подходы к разработке и отладке симуляторов на основе QEMU с помощью высокоуровневого языка описания архитектур PPDL [№4 за 2019 год]
Авторы: Дроздов А.Ю. (alexander.y.drozdov@gmail.com) - Московский физико-технический институт (технический университет) (профессор), доктор технических наук; Фонин Ю.Н. (fonin.iun@mipt.ru) - Московский физико-технический институт (технический университет) (научный сотрудник); Перов М.Н. (coder@frtk.ru) - Московский физико-технический институт (технический университет) (лаборант); Герасимов А.С. (samik.mechanic@gmail.com ) - Московский физико-технический институт (технический университет) (лаборант);
Аннотация: В статье описывается подход к разработке и отладке симуляторов на базе бинарной трансляции QEMU (Quick EMUlator), основанный на использовании высокоуровневого языка описания архитектур PPDL (Processor and Periphery Description Language). Применение бинарной трансля-ции в симуляторах позволяет ускорить работу на несколько порядков относительно симуляторов-интерпретаторов инструкции, а использование именно QEMU предоставляет широкий спектр возможностей как для отладки ПО, так и для динамического анализа приложений. Поэтому симуля-торы на основе бинарной трансляции, в частности QEMU, представляют интерес для разработчиков как систем на кристалле уровня системы, так и встроенного ПО. Однако процесс разработки бинарных трансляторов более сложен и трудоемок, чем разработка симулятора-интерпретатора инструкций. В отличие от симулятора-интерпретатора для создания QEMU-симулятора инструкции моделируемого процессора необходимо описать в виде последовательности так называемых tcg-микроинструкций. Основная сложность заключается в отладке такого симулятора, поскольку последовательность tcg-инструкций не исполняется непо-средственно, а транслируется в двоичный код хост-машины. Поэтому в отличие от интерпретатора невозможно использовать стандартные средства отладки для локализации ошибок, допускаемых программистом при описании инструкций в виде tcg-кода. Упростить задачу разработки QEMU-симулятора можно с помощью языка описания архитектур PPDL. Компилятор PPDL автоматически генерирует как симулятор-интерпретатор, так и набор компонент для QEMU-симулятора. Симулятор-интерпретатор генерируется в виде исходного кода на С++, что дает возможность отладки PPDL-описания ядра с помощью стандартного отладчика С\С++, например gdb или Microsoft Visual Studio. После отладки с помощью интерпретатора PPDL-описания посредством компилятора PPDL можно сгенерировать tcg-описания инструкций для QEMU. Таким образом, использование PPDL позволяет избежать отладки симулятора на уровне tcg-кода и, как следствие, существенно ускорить и упростить процесс разработки.
Abstract: The paper describes an approach to the development and debugging simulators based on QEMU (Quick EMUlator) binary translation. This approach is based on using PPDL (Processor and Periphery Descrip-tion Language) that is a high-level architecture describing language. Simulations based on binary trans-la-
tion work several times faster in contrast to instruction interpreters while providing a wide range of possibilities for software debugging, as well as for dynamic analysis of applications. Thus, binary translation simulators based on QEMU in particular are of high interest either to system-level SoC (System on Crystal) developers and to embedded software developers.
However, developing of binary translators is a more complicated and more time-consuming task compared to instruction interpreter development. Development of the QEMU simulator assumes the implementation of instructions of the simulated processor as a sequence of so-called tcg micro-operations. Tcg micro-operations are not executed directly, rather used for binary translation to the in-structions of the host machine. Therefore, there is no possibility to debug tcg description of instruc-tions using standard debuggers.
It is possible to simplify QEMU simulator developing using PPDL language. PPDL compiler gener-ates two simulators from PPDL description of processor: an interpreter and a QEMU component kit. The compiler generates an interpreter as a C++ source code. With generated C++ code, any debugger like gdb or Microsoft Visual Studio can debug PPDL description. Than from the same description PPDL compiler generates the QEMU description of a processor representing instructions as a sequences of tcg micro-operation. Due to PPDL, developers can avoid debugging of the tcg processor description and therefore accelerate development of a QEMU based simulator.
Ключевые слова: языки описания архитектур, qemu, симуляторKeywords: architecture describing languages, qemu, simulator
Просмотров: 8435
8. Особенности применения предметно-ориентированных языков для тестирования веб-приложений [№4 за 2019 год]
Авторы: Федоренков В.Г. (vlad.fedorenkov@gmail.com) - Санкт-Петербургский национальный исследовательский университет информационных технологий, механики и оптики (Университет ИТМО) (студент); Балакшин П.В. (pvbalakshin@gmail.com) - Санкт-Петербургский национальный исследовательский университет информационных технологий, механики и оптики (Университет ИТМО) (доцент), кандидат технических наук;
Аннотация: Перед разработчиками как крупных, так и небольших проектов, стремящихся выпустить по-настоящему качественный, хороший продукт с минимальным числом ошибок, часто встает немало вопросов относительно реализации процесса его тестирования. Данная работа посвящена поиску ответов на эти вопросы. В статье сравниваются основные методы, а также существующие программные средства создания и поддержки доменно-ориентированных языков (англ. DSL, domain specific language), нацеленных на использование в контексте работы с тестовыми сценариями для тестирования ин-терфейсов веб-приложений. Определены наиболее подходящие технические приемы и средства для решения подобных задач на основе опыта авторов и результатов схожих исследований других специалистов. Проведен обзор существующих подходов к работе с инструментом Selenium, ак-тивно использующимся (как в данной работе, так и в большинстве подобных проектов) при автоматизации процесса тестирования для имитации действий пользователя в веб-браузере. Описаны преимущества использования DSL в тестировании, определены функциональные и нефункциональные требования к созданию предметно-ориентированных языков для их дальнейшего эффек-тивного использования, рассмотрены различные методы создания DSL с точки зрения структуры языка. В качестве одного из основных критериев для работы было выбрано вовлечение нетехнических специалистов на каждом этапе тестирования (решение так называемой проблемы перевода), что особенно важно для реализации всестороннего тестирования программного продукта. Одной из ключевых особенностей статьи является демонстрация реализации прототипа DSL на основе Selenium с последующим тестированием и оценкой применимости реализованного прототипа. В упрощенном виде продемонстрирована структура внутреннего устройства языка по Java-пакетам. Сформулированы рекомендации по написанию DSL на основе ранее определенных тре-бований и произведенной оценки прототипа. Показан способ разработки дополнительного инструмента метапрограммирования для дальнейшего упрощения создания, поддержки, модификации тестовых сценариев и их миграции на новые платформы.
Abstract: The desire to release a high quality product with minimal errors often raises many problems regarding product testing for developers of both large and smaller projects. This work is devoted to searching for solutions for these problems.
The paper compares the main methods as well as the existing software tools for creating and sup-porting domain specific languages aimed at working with test scripts to testing interfaces of web appli-cations. It also considers existing tools for working with Selenium, reviews the methodology of writing DSL (with further selection of the most appropriate), shows how to implement a prototype of DSL based on Selenium and to test and assess the applicability of a prototype. It describes the advantages of using DSL in testing, its functional and non-functional requirements, shows the developed DSL in a simplified form, the language structure (Java-packages).
One of the main criteria for working with all of the abovementioned is the involvement of non-technical specialists at each testing stage (solving the so-called translation problem), which is im-portant for implementing comprehensive testing of a software product.
One of the key features of the article is the demonstration of implementing a DSL prototype based on Selenium, followed by testing and evaluating the applicability of the implemented prototype. The paper shows a method of creating an additional metaprogramming tool for further simplification of cre-ation, support, and modification of the developed test scripts.
Ключевые слова: selenium, функциональность, интерфейс, разработка, веб-приложение, тестирование, программное обеспечение, dslKeywords: selenium, functionality, interface, development, web application, testing, the software, dsl
Просмотров: 8956
9. Метод обнаружения веб-роботов на основе анализа графа пользовательского поведения [№4 за 2019 год]
Авторы: Менщиков А.А. (menshikov@.itmo.ru) - Санкт-Петербургский национальный исследовательский университет информационных технологий, механики и оптики (Университет ИТМО) (аспирант); Гатчин Ю.А. (od@mail.ifmo.ru) - Санкт-Петербургский национальный исследовательский университет информационных технологий, механики и оптики (Университет ИТМО) (профессор), доктор технических наук;
Аннотация: Согласно отчетам компаний, занимающихся защитой веб-ресурсов, каждый пятый запрос к типовому сайту в сети Интернет направлен вредоносными автоматизированными системами – веб-роботами. Веб-роботы по объему трафика уже преобладают над рядовыми пользователями веб-ресурсов. Своими действиями они угрожают приватности данных, авторскому праву, несут угро-зы несанкционированного сбора информации, влияют на статистики и приводят к ухудшению производительности веб-ресурса. Возникает необходимость обнаружения и блокирования источников таких средств. Существующие методы предполагают использование синтаксической и аналитической обработки логов веб-сервера для обнаружения веб-роботов. Этого недостаточно, чтобы надежно вы-являть веб-роботов, скрывающих свое присутствие и имитирующих поведение легитимных пользователей. В статье предлагается новый метод, отличительной особенностью которого является использование характеристик графа связности страниц защищаемого веб-ресурса для формирования признаков роботизированных пользовательских сессий. Характеристики анализируемых сессий включают не только особенности графа перемещений самого пользователя, но и признаки каждого из посещенных им узлов веб-ресурса (степени входа и исхода, меры центральности и другие). Для расчета таких характеристик строится граф связности страниц веб-ресурса. Данный метод заключается в анализе характеристик перемещений для каждой пользовательской сессии с целью классификации ее на роботизированную или принадлежащую легитимному пользователю. В статье проводится анализ шаблонов поведения пользователей веб-ресурса, описываются основные принципы извлечения необходимых данных из логов веб-сервера, способ построения графа связности страниц веб-ресурса, а также наиболее значимые характеристики сессий. Обсуждаются процедура обнаружения и выбор подходящей классификационной модели. Для каждой из исследуемых моделей производятся отбор гиперпараметров и перекрестная проверка результатов. Анализ точности и полноты обнаружения показывает, что при использовании библиотеки XGboost можно получить F1-меру порядка 0.96.
Abstract: According to reports of web security companies, every fifth request to a typical website is from mali-cious automated system (web robots). Web robots already prevail over ordinary users of web resources in terms of traffic volume. They threaten data privacy and copyright, provide unauthorized information gathering, lead to statistics spoiling, and performance degradation. There is a need to detect and block the source of robots.
The existing methods and algorithms involve syntactic and analytical processing of web server logs to detect web robots. Such approaches cannot reliably identify web robots that hide their presence and imitate the behavior of legitimate users.
This article proposes a method of web-robot detection based on the characteristics of the page web-graph. The characteristics of the analyzed sessions include not only the features of a user web graph, but also parameters of each node visited by him (in and out degrees, centrality measures, and others). To calculate such characteristics, a connectivity graph of pages was constructed.
Based on the analysis of these parameters, as well as the characteristics of the web robot's behav-ioral graph, the authors make a decision to classify the session.
The authors provide an analysis of different behavioral patterns, describe the basic principles of ex-tracting the necessary data from web server logs, and the method of the connectivity graph construction as well as the most significant features. The paper conciders a detection procedure and selection of an appropriate classification model. For each studied model, the authors select optimal hyperparameters and perform cross-validation of the results. The analysis of the accuracy and precision of such detec-tion shows that the usage of XGboost library allows obtaining F1 measure equals 0.96.
Ключевые слова: защита информации, теория графов, граф веб-ресурса, обнаружение веб-роботов, парсеры, защита веб-ресурсов, информационная безопасность, веб-роботыKeywords: security of the information, the theory of counts, website graph, web-robot detection, parsers, website protection, infosecurity, web-robots
Просмотров: 10226
10. Разработка импульсной нейронной сети с возможностью скоростного обучения для нейтрализации DDoS-атак [№4 за 2019 год]
Авторы: Пальчевский Е.В. (teelxp@inbox.ru) - Финансовый университет при Правительстве Российской Федерации (преподаватель); Христодуло О.И. (o-hristodulo@mail.ru ) - Уфимский государственный авиационный технический университет (профессор), доктор технических наук;
Аннотация: Эффективное обеспечение доступности данных является одной из ключевых задач в области информационной безопасности. Зачастую доступность информации нарушают DDoS-атаки. Несовершенство современных методов защиты от атак внешним несанкционированным трафиком при-водит к тому, что многие компании, ресурсы которых имеют выход в сеть Интернет, сталкиваются с недоступностью собственных сервисов, предоставляющих различные услуги/информацию. Как следствие – финансовые потери компании от простоя оборудования. Для решения данной проблемы разработана импульсная (спайковая) нейронная сеть для защиты от атак внешним несанкционированным трафиком. Основными преимуществами разработанной спайковой нейронной сети являются высокая скорость самообучения и быстрое реагирование на DDoS-атаки (в том числе и на неизвестные). Разработан новый метод самообучения импульсной нейронной сети, в основу которого входит равномерная обработка спайков каждым нейроном. За счет этого нейронная сеть в кратчайшие сроки обучается, как следствие – быстро и эффективно отфильтровывает атаки внешним несанкционированным трафиком. Также проведено сравнение разработанной спайковой нейронной сети с аналогичными решениями по защите от DDoS-атак. В результате сравнения выявлено, что разработанная нейронная сеть более оптимизирована под высокие нагрузки и способна в кратчайшие сроки обнаружить и нейтрализовать DDoS-атаки. Проведена апробация разработанной импульсной нейронной сети в условиях простоя и в режиме защиты от DDoS-атак. В результате данного тестирования получены нагрузочные значения на ресурсы вычислительного кластера. Длительное тестирование импульсной нейронной сети показывает достаточно низкую нагрузку на центральный процессор, оперативную память и твердо-тельный накопитель при массивных DDoS-атаках. Таким образом, оптимальная нагрузка не только повышает доступность каждого физического сервера, но и предоставляет возможность параллельного запуска ресурсоемких вычислительных процессов без какого-либо нарушения функционирования рабочей среды. Тестирование проводилось на серверах вычислительного кластера, где импульсная нейронная сеть показала стабильную работу и эффективно защищала от DDoS-атак.
Abstract: Effective data accessibility is one of the key challenges in information security. Often DDoS attacks violate in-formation availability. The imperfection of modern protection methods against attacks by external unauthorized traffic leads to the fact that many companies with Internet access are faced with the inaccessibility of their own services that provide various services or information. This results in company financial losses from equipment downtime. To solve this problem, the authors have developed a spiking neural network to protect against attacks by external unauthorized traffic.
The main advantages of the developed spiking neural network are high self-learning speed and quick response to DDoS attacks (including unknown ones). A new method of a spiking neural network self-training is based on uniform processing of spikes by each neuron. Due to this fact, the neural network is trained in the shortest possible time, therefore it quickly and efficiently filters attacks with external unauthorized traffic. The paper also compares the developed spiking neural network with similar solutions for protecting against DDoS attacks. As a result, it reveales that the developed neural network is more optimized for high loads and is able to detect and neutralize DDoS attacks as soon as possible.
The developed spiking neural network was tested in idle conditions and in protection against DDoS attacks. Load values were obtained on the resources of the computing cluster. Long-term testing of a pulsed neural net-work shows a rather low load on the central processor, RAM and solid state drive during massive DDoS attacks. Thus, the optimal load not only increases the availability of each physical server, but also provides the ability to simultaneously run resource-intensive computing processes without any disruption to the functioning of the work-ing environment.
Testing was carried out on computing cluster servers, where a spiking neural network showed stable operation and effectively protected from DDoS attacks.
Ключевые слова: информационная безопасность, вредоносный трафик, ddos-атаки, самообучение нейронной сети, спайковая нейронная сеть, сети, передача данных, информацияKeywords: infosecurity, malicious traffic, ddos attacks, neural network self-training, spiking neural network, networks, data transfer, information
Просмотров: 10449
| 1 | 2 | 3 | Следующая → ►
