Авторитетность издания
Добавить в закладки
Следующий номер на сайте
Интеллектуальный анализ и обработка больших разнородных данных для парирования угроз в сложных распределенных системах
Аннотация:Предложен метод для прогнозирования некоторых угроз в сложных распределенных системах. Метод основан на интеллектуальном анализе и обработке больших разнородных данных, полученных в результате автоматического контроля изменения уровня воды в водных объектах и температуры воздуха в точке измерения. Такой контроль позволяет повысить эффективность планирования и реализации мероприятий по парированию подобных угроз. Будущее значение уровня воды в точке измерения выбирается по результатам обработки данных, накопленных за все предыдущие паводковые периоды. В качестве анализируемых данных используются измеренные в равноотстоящие моменты времени значения температуры воздуха и уровня воды, вычислительные значения изменения уровня воды и температуры воздуха, а также прогнозные значения (по официальным данным гидрометслужбы) изменения температуры воздуха. На основании вычисления ретроспективной частоты изменения этой температуры и уровня воды в соответствующей точке в качестве прогнозируемого значения предлагается выбрать то, которому соответствует максимальная частота появления такого сочетания измеряемых параметров. Результаты экспериментальной оценки точности прогнозирования уровня воды в водных объектах Республики Башкортостан в паводковый период 2021 г. подтверждают применимость предложенного метода прогнозирования для поддержки принятия решений по парированию угроз в сложных распределенных системах от резкого подъема воды даже при недостаточно автоматизированной системе наблюдений. При более широком изменении высокоавтоматизированных программно-аппаратных комплексов мониторинга паводковой ситуации существенно возрастает количество анализируемых и обрабатываемых программными средствами данных. Это, с одной стороны, усложнит применение традиционных методов использования данных, а с другой – повысит эффективность и востребованность предложенного в данной работе метода.
Abstract:The paper proposes a method of intelligent analysis and processing of large heterogeneous data for predicting threats in complex distributed systems. The method is based on the results of automatic monitoring of changes in water level in water bodies and air temperature at the measurement point. Such monitoring makes it possible to increase the efficiency of planning and implementing measures to fend off such and similar threats. The method is based on general approaches and mathematical models previously used by the au-thors to develop adaptive algorithms for controlling gas turbine engines. It is particularly relevant in the context of the increasingly widespread introduction of software and hardware systems for monitor-ing the state of complex distributed systems and the exponential growth in the number of data used to support decision-making. The choice of the future value of the water level at the measurement point is based on the results of processing the data accumulated over all previous flood periods on the compliance of the water level and its changes per day with the values of air temperature and its changes over the same day. The ana-lyzed data are the values of air temperature and water level measured at equidistant points in time, computational values of changes in the water level and air temperature, as well as forecast values (ac-cording to the official data of the hydrometeorological service) of changes in air temperature. Based on the calculation of the retrospective frequency of changes in this temperature and the water level at the corresponding point, it is proposed to choose as the predicted the value that corresponds to the maxi-mum frequency of occurrence of such a combination of measured parameters. The paper presents the results of an experimental assessment of the accuracy of forecasting the wa-ter level in the water bodies of the Republic of Bashkortostan in the flood period of 2021 are. They confirm the applicability of the proposed forecasting method to support decision making to fend off threats in complex distributed systems from a sharp rise in water, even with the current insufficiently automated observation system. With a wider change in highly automated software and hardware com-plexes for monitoring the flood situation, the amount of data analyzed and processed by software sig-nificantly increases, which will complicate the application of traditional methods of data use, and, on the other hand, will increase the efficiency and relevance of the method proposed in this paper.
Авторы: Брекоткина Е.С. (brekotkina@mail.ru) - Уфимский государственный авиационный технический университет (доцент), Уфа, Россия, кандидат экономических наук, Павлов А.С. (asp.gis@gmail.com) - Уфимский государственный авиационный технический университет (доцент), Уфа, Россия, кандидат технических наук, Павлов С.В. (psvgis@mail.ru) - Уфимский государственный авиационный технический университет (профессор), Уфа, Россия, доктор технических наук, Христодуло О.И. (o-hristodulo@mail.ru ) - Уфимский государственный авиационный технический университет (профессор), Уфа, Россия, доктор технических наук | |
Ключевые слова: прогнозирование уровня воды, программно-аппаратные системы, прогнозирование угроз, сложные распределенные системы, интеллектуальный анализ |
|
Keywords: water level forecasting, software and hardware systems, threat forecasting, complex distributed systems, intelligent analysis |
|
Количество просмотров: 3161 |
Статья в формате PDF |
Развитие новых программно-аппаратных систем для мониторинга состояния сложных распределенных систем (СРС), позволяющих оперативно получать и обрабатывать большое количество параметров, дает возможность использования (при соответствующей переработке и адаптации) хорошо зарекомендовавших себя моделей и методов управления техническими системами. Авторы данной статьи имеют большой опыт разработки и использования статистических методов обработки большого количества измеряемых параметров для управления такими сложными техническими системами, как газотурбинные двигатели (ГТД). Анализ развития некоторых угроз в СРС, включающих в себя большое количество различных по своей природе и существенно удаленных друг от друга объектов, показал возможность применения этих методов анализа данных для формального описания зависимости определяющих состояние СРС параметров от наиболее значимых факторов и последующего прогнозирования угроз на основе выявленной зависимости. В качестве примера рассмотрим один из наиболее часто встречающихся в Республике Башкортостан видов угроз безопасности населению и территории – весеннее половодье (чаще называемое паводком). Размеры затопленных территорий (их границы, площадь и глубина) зависят от уровня воды в водных объектах, измеряемого на стационарных постах Росгидромета, а также на все более широко применяемых автоматических станциях наблюдения, принадлежащих местным органам власти. Высота подъема воды на каждом из этих постов наблюдения зависит от многих природных и техногенных факторов. К основным природным факторам относятся запасы воды в почве, глубина замерзания почвы, запасы воды в снеге, площадь и глубина снежного покрова, температура воздуха и другие метеопараметры, а также естественные ледовые заторы и лесные завалы. К техногенным факторам можно отнести плановый или аварийный сброс воды с гидротехнических сооружений, расположенных по течению выше точки измерения, строительство инженерных сооружений на самих водных объектах (мосты, водные переходы трубопроводов и др.) или вблизи них (дамбы, искусственные водоемы, набережные и др.), ледовые заторы (как следствие деятельности людей). Большое распространение в рамках прогнозирования значений уровня воды на основе ретроспективных данных получили статистические методы, например, обобщенные регрессионные модели [1–3], метод наименьших квадратов [4], численные методы [5, 6]. Однако при этом возникает проблема заблаговременности прогнозирования, так как основным назначением данных методов является краткосрочное прогнозирование значений уровня воды, чего зачастую недостаточно для раннего проведения противопаводковых мероприятий. Если рассматривать менее распространенные методы (гидрологические [7–9]) краткосрочного и заблаговременного прогнозирования паводка, то необходимо отметить проблему ресурсоемкости: длительность расчетов значений уровня воды непозволительна, особенно в критические (пиковые) моменты паводковых ситуаций. Этими проблемами занимаются как отечественные, так и зарубежные ученые, однако работ, описывающих методы раннего прогнозирования паводка на основе интеллектуального анализа ретроспективных данных с применением искусственной нейронной сети (ИНС), недостаточно. Для более качественного прогнозирования уровня воды в кратчайшие сроки с использованием устаревших архитектур ИНС (например, многослойного персептрона [10]) становится актуальной реализация предлагаемого авторами данной статьи метода. Построение зависимости будущих возможных значений определяющих параметров от их изменения в прошлом В работах [11, 12] предложен один из возможных подходов к прогнозированию будущих изменений уровня воды, основанный на применении ИНС для интеллектуального анализа измеренных значений только уровня воды. В данной статье рассматривается задача оперативной оценки изменения уровня воды (прогноз) на одни сутки вперед под воздействием наиболее значимых факторов на стационарных постах наблюдения. На каждом из этих постов ежедневно измеряется уровень воды h, и задача оперативного прогноза заключается в том, чтобы в конкретный момент времени измерения ti для каждого поста определить будущее значение (на следующий момент времени ti+1) уровня воды, которое будем обозначать hp. Необходимо отметить, что прогнозируемое значение уровня воды hpi+1 отличается от реально измеренного через день значения hi+1, поэтому для него вводится специальное обозначение: hpi+1 ¹ hi+ 1. В данной работе предлагается определять будущее значение уровня воды на основе анализа его изменения в аналогичных условиях в прошлом, при этом предполагается, что основным фактором, влияющим на резкий подъем уровня воды (а именно он представляет угрозу объектам СРС), является стремительное потепление, то есть большой рост температуры воздуха за сутки. Другими словами – изменение уровня воды в конкретной точке измерения наиболее существенно зависит от того, насколько изменилась температура воздуха в этой точке. Учитывая, что современная система метеонаблюдений и прогнозирования погоды дает достаточно точный прогноз изменения температуры воздуха на 1–3 дня вперед, для выявления зависимости уровня воды от изменения температуры воздуха и последующего применения выявленной зависимости для прогнозирования уровня воды эти спрогнозированные значения можно использовать как фактическое изменение температуры воздуха. Предлагается осуществлять выбор будущего значения уровня воды hpi+1 по результатам обработки накопленных за все предыдущие паводковые периоды данных о соответствии уровня воды и его изменения за сутки значениям температуры воздуха и ее изменениям за те же сутки [13, 14]. В качестве анализируемых данных используются измеренные в равноотстоящие моменты времени ti значения температуры воздуха Ti и уровень воды hi. Так как прогноз заключается в определении будущего значения, то есть вычисляется величина изменения уровня воды hpi = hi + Dhi в зависимости от изменения температуры TPi = Ti + DTi, для реализации предлагаемого метода прогнозирования дополнительно определяются изменения уровня воды Dhi и температуры DTi: Dhi = hi+1 – hi, DTi = Ti+1 – Ti. (1) Различные природные и техногенные факторы по-разному влияют на изменение уровня воды в точке измерения в соответствии с изменениями температуры в этой же точке за эти же сутки, и для прогнозирования необходимо определить статистическую зависимость Dhi от соответствующих значений hi, Ti, DTi и в дальнейшем использовать ее для определения будущих значений hp. Представим все измеренные на каждом отдельном посту наблюдения за предыдущий период времени значения параметров h, T, ∆h, ∆T в виде множества , (2) каждый элемент которого представляет собой измеренные значения параметров в i-й момент времени ti; p – общее количество наблюдений. Диапазоны возможных изменений каждого из этих параметров разбиваются на фиксированное число отрезков: (3) где M1, M2, M3, M4 – количество отрезков разбиения возможных значений соответствующего параметра. На основе анализа данных многолетних наблюдений за паводковой ситуацией (то есть множеств (2) и (3)) строится новое множество: (4) каждый элемент которого показывает количество элементов множества (2), удовлетворяющих следующим условиям: (5) при пробегании индексом i всех возможных значений, . Другими словами, число Njklm представляет собой частоту изменений уровня воды ∆h, попавших в отрезок [Dh l –1, Dhl], которые произошли при значениях параметров h, T, ∆T, попавших соответственно в отрезки [h j–1, Dhj], [Tk–1, Tk], [DTm–1, DTm]. На этапе прогнозирования в каждый конкретный момент времени ti измеряются текущие значения параметров hi и Ti. Как уже отмечалось, современные методы позволяют с приемлемой точностью прогнозировать изменение температуры воздуха, поэтому в этот момент времени известно прогнозируемое значение DTpi = Tpi+1 – Ti, которое будем считать фактическим, то есть полагаем DTi = DTpi. Далее определяются номера отрезков разбиения (3), в которые попали текущие значения hi, Ti, DTi, то есть такие текущие значения индексов jT, kT, mT, для которых (6) Из элементов множества N формируется новое множество N1 Ì N: (7) которое представляет собой множество частот появления ∆h при значениях трех остальных параметров, удовлетворяющих соотношени- ям (6). В качестве прогнозируемого значения изменения уровня воды предлагается выбирать середину того отрезка разбиения из (3) по ∆h, для которого частота появления такого значения ∆h наибольшая, то есть в качестве текущего значения индекса lT выбирается отрезок, удовлетворяющий условию , (8) в качестве прогнозируемого значения изменения уровня воды выбирается (9) а прогнозируемое значение уровня воды на следующий момент времени ti+1 определяется простым соотношением (10) При наступлении времени следующего контроля уровня воды измеряются фактические значения Ti+1, hi+1 и вычисляются фактические значения DTi и Dhi, что позволяет корректиро- вать значение одного элемента множества N, соответствующего отрезкам разбиения диапазонов изменения параметров (3), в которые попали фактические значения элемента (hi, Ti, Dhi, DTi), путем увеличения его значения на единицу. Это означает, что частота появления четверки значений (hiT, TkT, DhjT, DTmT), таких, что (11) увеличивается на единицу: (12) и при каждом следующем прогнозировании используется множество N с обновленными значениями его элементов, то есть в процессе паводковой ситуации процесс обучения модели прогнозирования продолжается. Экспериментальное исследование применимости предложенного метода Для исследования применимости и практического использования предложенного метода разработан алгоритм обработки поступающих с измерительных станций данных, блок-схема которого представлена на рисунке 1. Алгоритм реализован в виде комплекса программ (структура приведена на рисунке 2), разработанного с использованием MS SQL Server, Python, C# и осуществляющего вычисление прогнозируемых значений и их передачу в систему поддержки принятия решений местных и региональных органов исполнительной власти по подготовке и парированию угроз от паводка. Исследование проводилось по данным наблюдений за паводковой ситуацией в Республике Башкортостан в 2021 г. По каждому стационарному посту наблюдения Росгидро- мета (их в Башкортостане 41) на основе архивных данных наблюдения значений уровня воды и температуры воздуха (всего примерно по 12 тыс. значений каждого параметра) и вычисленных значений суточных изменений этих па- раметров (также примерно по 12 тыс. значений каждого из них) строилось множество N по приведенному выше алгоритму. Количество отрезков разбиения возможных значений каждого из параметров полагалось равным 10: M1 = M2 = M3 = M4 = 10. В каждый i-й день паводковой ситуации, начало которой характеризуется существенным подъемом уровня воды, на основе измеренных значений hi и Ti и прогноза значения DTpi осуществлялись прогноз значения Dhpi и вычисление hpi+1 по соотношению (10). Эти значения по каждому из постов наблюдения передавались в органы МЧС, где использовались для планирования и проведения мероприятий по парированию угрозы паводка для населения и территории (включая все инфраструктурные и промышленные объек- ты) [15, 16]. На следующий i+1-й день при получении фактического значения hi+1 вычислялась средневзвешенная квадратичная ошибка прогноза, а по завершении паводка по каждому посту наблюдения вычислялась средняя за весь паводок ошибка прогноза: (13) где p – количество дней наблюдения за паводковой ситуацией. Прогнозные и фактические значения уровня воды на примере стационарного гидрологического поста 76417 «Метели, река Ай» представлены в таблице. Средняя ошибка прогноза составила 0,047, что хорошо согласуется с другими методами прогнозирования и применяется для поддержки принятия решений по планированию и проведению мероприятий для парирования угроз от паводковой ситуации. Как уже отмечалось, основным мотивом для применения методов интеллектуальной обработки больших массивов данных, показавших высокую эффективность при управлении сложными техническими системами (на примере авиационных газотурбинных двигателей), послужило все более широкое применение высокоавтоматизированных программно-аппаратных систем мониторинга развития опасных для населения и территорий процессов в СРС. Все это имеет самое прямое отношение и к контролю развития паводковой ситуации. На сегодняшний день основным источником информации для раннего обнаружения и парирования угроз при паводке являются стационарные посты гидрометслужбы, которые один раз в сутки измеряют необходимые параметры, причем зачастую неавтоматизированными методами и с низкой точностью. То есть для поддержки принятия решений используется относительно небольшое количество не вполне точных данных, и в этих условиях применение предлагаемых подходов ограничено малым количеством и низкой точностью имеющихся данных. В текущем году проводилась опытная эксплуатация автоматических станций контроля паводковой ситуации, а в следующем планируется их ввод в промышленную эксплуатацию с постепенным выводом из эксплуатации ручных средств мониторинга. При этом осуществляется непрерывный динамический контроль всех необходимых параметров и возникает возможность их непрерывного использования аналогично тому, как это происходит уже доста- точно давно для технических объектов и си- стем. В этом случае количество используемых данных увеличится на несколько порядков (от одного значения в сутки до 24–240 и более), что обусловит еще большую эффективность и востребованность предлагаемых в данной статье методов. Существенное увеличение количества доступных для анализа и обработки данных позволит повысить точность прогноза за счет увеличения Mj, , так как это даст возможность уменьшить длину отрезка, определяемого соотношением (8) для вычисления прогнозируемого значения по соотношениям (9) и (10). При этом время, необходимое на собственно вычисление прогноза, практически не изменится даже при существенном увеличении количества анализируемых данных, так как собственно прогноз все равно вычисляется по соотношениям (8–10). Вычислительная нагрузка увеличится лишь на этапе обучения модели прогнозирования, то есть при вычислении элементов множеств N и N1, за счет проверки большого количества неравенств (5). Другими словами, время на обучение модели увеличится (в приведенном эксперименте оно составляло примерно 10 минут), но все равно будет меньше времени, необходимого для реализации мероприятий по парированию прогнозируемых угроз, то есть по-прежнему будет вполне приемлемым [17, 18]. Заключение Предложенный метод интеллектуального анализа и обработки больших разнородных данных о результатах контроля и прогнозирования развития угрозы от паводка в сложных распределенных системах, являющийся развитием предложенного авторами ранее адаптивного метода управления газотурбинными двигателями, показал достаточно высокую точность прогноза уровня воды в водоемах. Применение этого метода в составе программно-аппаратных систем соответствующими органами власти для раннего обнаружения и прогнозирования затопления территорий и расположенных на них объектов экономики и жизнедеятельности позволит более эффективно планировать и проводить мероприятия по парированию данного вида угроз и аналогичных им. Своевременность разработки и внедрения таких методов интеллектуального анализа больших массивов измерительной информации, а также их программной реализации подтверждается все более широким применением автоматических средств контроля состояния СРС и их отдельных объектов и подсистем, что приводит к экспоненциальному росту количества используемых для поддержки принятия решений данных. Работа выполнена при поддержке РФФИ, грант № 20-08-00301\20 – А. Литература 1. Supriya P., Krishnaveni M., Subbulaksmi M. Regression analysis of annual maximum daily rainfall and stream flow for flood forecasting in vellar river basin. Aquatic Procedia, 2015, vol. 4, pp. 957–963. DOI: 10.1016/j.aqpro.2015.02.120. 2. He Y., Yan Y., Wang X., Wang C. Uncertainty forecasting for streamflow based on support vector regression method with fuzzy information granulation. Energy Procedia, 2019, vol. 158, pp. 6189–6194. DOI: 10.1016/j.egypro.2019.01.489. 3. Luo X., Yuan X., Zhu S.., Xu Z., Meng L., Peng J. A hybrid support vector regression framework for streamflow forecast. J. of Hydrology, 2019, vol. 568, pp. 184–193. DOI: 10.1016/J.JHYDROL.2018.10.064. 4. Strupczewski W.G., Kaczmarek Z. Non-stationary approach to at-site flood frequency modelling II. Weighted least squares estimation. J. of Hydrology, 2001, vol. 248, no. 1, pp. 143–151. 5. Silvestro F., Rossi L., Campo L., Parodi A., Fiori E., Rudari R., Ferraris L. Impact-based flash-flood forecasting system: Sensitivity to high resolution numerical weather prediction systems and soil moisture. J. of Hydrology, 2019, vol. 572, pp. 388–402. DOI: 10.1016/J.JHYDROL.2019.02.055. 6. Hu R., Fang F., Salinas P., Pain C.C., Domingo N.D., Mark O. Numerical simulation of floods from multiple sources using an adaptive anisotropic unstructured mesh method. Advances in Water Resources, 2019, vol. 123, pp. 173–188. DOI: 10.1016/J.ADVWATRES.2018.11.011. 7. Tian J., Liu J., Yan D., Ding L., Li C. Ensemble flood forecasting based on a coupled atmospheric-hydrological modeling system with data assimilation. Atmospheric Research, 2019, vol. 224, pp. 127–137. DOI: 10.1016/J.ATMOSRES.2019.03.029. 8. Gomez M., Sharma S., Reed S., Mejia A. Skill of ensemble flood inundation forecasts at short- to medium-range timescales. J. of Hydrology, 2019, vol. 568, pp. 207–220. DOI: 10.1016/J.JHYDROL.2018. 10.063. 9. Lopes V.A., Fan F.M., Pontes P.R., Siqueira V.A., Collischonn W., Marques D.M. A first integrated modelling of a river-lagoon large-scale hydrological system for forecasting purposes. J. of Hydrology, 2018, vol. 565, pp. 177–196. DOI: 10.1016/J.JHYDROL.2018.08.011. 10. Velasco L., Serqunia R., Zamad M., Juanico B., Lomosco J. Week-ahead rainfall forecasting using multilayer perceptron neural network. Procedia Computer Science, 2019, vol. 161, pp. 386–397. DOI: 10.1016/j.procs.2019.11.137. 11. Пальчевский Е.В., Христодуло О.И., Павлов С.В., Соколова А.В. Анализ ретроспективных данных с применением технологий искусственного интеллекта для прогнозирования угроз в сложных распределенных системах // Вестн. компьютерных и информационных технологий. 2021. Т. 18. № 2. С. 39–45. 12. Palchevsky E.V., Khristodulo O.I., Pavlov S.V. Threats complex distributed systems parrying based on their development prognostication. Proc. VIII Sci. Conf. ITIDS, 2020, vol. 483, pp. 191–194. DOI: 10.2991/aisr.k.201029.036. 13. Noymanee J., Theeramunkong T. Flood forecasting with machine learning technique on hydrological modeling. Procedia Computer Science, 2019, vol. 156, pp. 377–386. DOI: 10.1016/j.procs.2019.08.214. 14. Han S., Coulibaly P. Bayesian flood forecasting methods: A review. J. of Hydrology, vol. 551, 2017, pp. 340–351. DOI: 10.1016/J.JHYDROL.2017.06.004. 15. Гундров Д.С. Автоматизированная система мониторинга и прогнозирования паводковой обстановки на водных объектах Краснодарского края и перспективы ее развития // Проблемы обеспечения безопасности при ликвидации последствий чрезвычайных ситуаций. 2018. № 1. С. 155–157. 16. Гребнев Я.В., Яровой А.В. Мониторинг и прогнозирование паводков на территории Красноярcкого края использованием нейросетевых алгоритмов // Сибирский пожарно-спасательный вестник. 2018. № 3. С. 13–16. 17. Bukvic A., Harrald J. Rural versus urban perspective on coastal flooding: The insights from the U.S. Mid-Atlantic communities. Climate Risk Management, 2019, vol. 23, pp. 7–18. DOI: 10.1016/j.crm.2018. 10.004. 18. Zhou Y., Guo S., Chang F. Explore an evolutionary recurrent ANFIS for modelling multi-step-ahead flood forecasts. J. of Hydrology, 2019, vol. 570, pp. 343–355. DOI: 10.1016/J.JHYDROL.2018.12.040. References
|
Постоянный адрес статьи: http://swsys.ru/index.php?page=article&id=4870&lang=&like=1 |
Версия для печати |
Статья опубликована в выпуске журнала № 1 за 2022 год. [ на стр. 005-013 ] |
Возможно, Вас заинтересуют следующие статьи схожих тематик:
- Прогнозирование угроз в сложных распределенных системах на основе интеллектуального анализа больших данных автоматизированных средств мониторинга
- Программа с элементами искусственного интеллекта для оценки реакционной способности радикальных реакций
- Интеллектуальный анализ данных в гуманитарных областях
Назад, к списку статей