Journal influence
Bookmark
Next issue
Regularized orthogonal models of probabilistic characteristics with the condition of its basic properties execution
Abstract:The representation of a probabilistic characteristic model as Fourier series is one of the most effective methods for model complexity reduction. The orthogonal function systems are widely used to solve the problems of identification, filtering, and analysis of dynamic systems. This success is often connected to the ability of presenting long time series as a more compact model. There are different methods to guarantee stability and validity of such probabilistic characteristic orthogonal model. They include: optimizing orthogonal model parameters, using numerically stable schemes for computing Fourier coefficients, designing weighted models that allow taking into consideration the aspects of dynamic system behavior, in particular, non-stationary systems, delayed system and so on. Nevertheless, the primary focus of the paper is on the method that takes into account the requirement of executing basic probabilistic characteristics property by an orthogonal model. This method is based on the need of computing the corrections for Fourier coefficients, which are determined with regard to the basic properties of both probabilistic characteristics and basic functions. As a result, a set of orthogonal models requires different implementations depending on a problem statement and a dynamic system. This paper generalizes the previously proposed mathematical models to implement the method that allows the following: to propose a general description of modifying factors in order to take into account basic properties of functional characteristics in a matrix form; to show that the proposed estimates are identical to the estimates regularized with L2-norm; to introduce a kernel function for describing basic properties of functional characteristics. The findings of the present study prove the stability of the proposed regularized estimates. The generalized mathematical models reduce the method of computing the corrected estimates for various functional characteristics to a unique algorithm. Therefore, this significantly improves the computational efficiency of further software implementation.
Аннотация:Представление модели вероятностной характеристики в виде разложения в ряд Фурье – один из наиболее эффективных способов понижения сложности модели. Широкое применение при решении задач идентификации, фильтрации и анализе динамических систем нашли ортогональные системы функций, позволяющие представить длинные временные последовательности в виде более короткого спектра разложения. Для повышения устойчивости и достоверности ортогональной модели вероятностной характеристики используются различные подходы: оптимизация параметров ортогональной модели; применение устойчивых численных схем для вычисления коэффициентов разложения; построение взвешенных моделей, позволяющих учесть особенности поведения динамических систем, в частности, нестационарных систем и систем с запаздыванием, и т.д. Особый интерес представляет метод, учитывающий необходимость выполнения ортогональной моделью основного свойства вероятностной характеристики. Он сводится к необходимости вычисления поправок для коэффициентов разложения, величина которых рассчитывается с учетом основных свойств вероятностных характеристик и базисных функций. Таким образом, построение совокупности ортогональных моделей требует различных реализаций в зависимости от постановки задачи и анализируемой динамической системы. Данная работа обобщает предложенный ранее математический аппарат для реализации описанного метода, который позволяет следующее: предложить обобщенное описание поправочных коэффициентов для учета основных свойств функциональных характеристик в матричной форме; показать, что предложенные оценки аналогичны оценкам коэффициентов, регуляризованным по норме L2; ввести ядровую функцию для описания основных свойств функциональных характеристик. Результатом работы является теоретическое обоснование устойчивости предложенных регуляризованных оценок. Предложенный математический аппарат для описания регуляризованных ортогональных моделей позволяет свести оценку поправочных коэффициентов для различных вероятностных характеристик и базисных функций к единому алгоритму и, как следствие, существенно повысить вычислительную эффективность ее программной реализации.
Authors: Prokhorov S.A. (sp.prokhorov@gmail.com) - Samara State Aerospace University, Samara, Russia, Ph.D, Kulikovskikh I.M. (kulikovskikh.i@gmail.com) - Samara State Aerospace University, Samara, Russia, Ph.D | |
Keywords: probabilistic characteristics, orthogonal models, kernel functions, regularization |
|
Page views: 3191 |
PDF version article Full issue in PDF (29.74Mb) |
Ортогональные модели вероятностных харак- теристик получены разложением в ряд по ортогональным базисам эмпирических зависимостей, таких как оценки плотностей и функций распределения вероятностей, корреляционных и спектральных функций и плотностей мощности [1–4] и т.п. Так как такой подход к построению моделей универсален, он является непараметрическим, что понижает интерпретируемость результирующих оценок. Один из способов повышения достоверности и устойчивости оценок вероятностных характеристик, полученных по ортогональной модели, – наложение дополнительного условия [1]. Данное условие формализуется исходя из необходимости выполнения основных свойств вероятностных характеристик, таких как значение в нуле и единице функции распределения, значение в нуле корреляционной функции, нормировка спектральной плотности мощности и т.д. В соответствии с этим условием оценки коэффициентов разложения пересчитываются с учетом поправочных коэффициентов. В работах [1, 2] более детально изложены специфика предлагаемого подхода, а также аналитические соотношения поправочных коэффициентов для различных вероятностных характеристик при разложении в ряды Лагерра, Лежандра, Дирихле, Чебышева, включая обобщенные базисы Сонина–Лагерра и Якоби [2]. Однако построение совокупности ортогональных моделей требует различных алгоритмических и программных реализаций в зависимости от постановки задачи и анализируемой динамической системы [1–4]. Данная работа обобщает предложенный ранее математический аппарат для формализации описанного метода, предлагая описание поправочных коэффициентов для учета основных свойств функциональных характеристик в матричной форме. Показано, что предложенные оценки аналогичны оценкам коэффициентов, регуляризованным по норме L2, что позволяет свести задачу вычисления поправочных коэффициентов к более общему представлению в форме задачи регуляризации исходных оценок коэффициентов. Кроме того, в работе дано теоретическое обоснование устойчивости полученных оценок через введение ядровой функции для описания основных свойств функциональных характеристик. Постановка задачи Поставим задачу построения ортогональной модели в матричной форме. Введем следующие обозначения. Пусть f Î Rn – вероятностная характеристика, F Î Rn´m – система ортогональных функций, b, b, c Î Rm – векторы стандартных, дополненных и поправочных коэффициентов Фурье соответственно. Тогда величина невязки [5–10] D Î R может быть задана в виде D(b) = (f – Fb)T(f – Fb), (1) откуда ¶D(b)/¶b = – 2FT(f – Fb). Потребуем выполнения необходимого условия ¶D(b)/¶b = 0, – FTf + FTFb = 0, (2) что позволяет представить оценки стандартных коэффициентов в виде b = (FTF)-1FTf. (3) Вычисление оценок коэффициентов с дополнительным условием Перепишем соотношение (1) с учетом дополнительного условия согласно [1]: D(b) = (f – Fb)T(f – Fb) + bTkϕl, (4) где kϕ Î Rm задает вектор значений, определяющий основные свойства системы ортогональных функций; l Î R – нормирующий коэффициент, определяющий поправочные коэффициенты. По аналогии можно записать: ¶D(b)/¶b = – 2FT(f – Fb) + kϕl, ¶D(b)/¶b = 0, – 2FTf + 2FTFb +kϕl = 0. С учетом нормального уравнения FTFb = FTf, следующего из (2), получим – 2FTFb + 2FTFb + + kϕl = 0, откуда оценки коэффициентов, дополненных к (3), примут вид b = b – (FTF)-1kϕl/2. (5) Запишем основное свойство вероятностной характеристики в виде kϕTb = kf, (6) где kf Î R задает величину, характеризующую основное свойство вероятностной характеристики. Принимая во внимание (5), представим (6) в виде kϕT(b – l/2(FTF)-1kϕ) = kf, откуда l/2 = – (kϕT(FTF)-1kϕ)-1(kf – kϕTb). (7) С учетом (5) и (7) введем обозначение для дополненных оценок b = b + c, откуда вектор оценок поправочных коэффициентов примет вид с = – (FTF)-1kϕl/2 = = (FTF)-1kϕ(kϕT(FTF)-1kϕ)-1(kf – kϕTb). Перепишем (1) в дополненных коэффициентах: D(b) = (f – Fb)T(f – Fb), D(b) = f Tf – 2f TFb + bTFFTb. С учетом того, что b = b + c, D(b) = f Tf – 2f TF(b + c) + (b + c)TFFT(b + c), D(b) = f Tf – 2bTFFTb – 2bTFFTc + bTFFTb + + 2bTFFTc + cTFFTc, D(b) = f Tf – bTFFTb + cTFFTc. Покажем, что при условии bTFFTc = 0 полученная модель идентична регуляризованной с некоторой ядровой функцией, заданной в матричной форме как K Î Rm´m. При этом введенное ядро за- дает основные свойства вероятностных характеристик и системы базисных функций. Вычисление регуляризованных оценок коэффициентов Представим соотношение (4) как (1) с регуляризацией по норме L2 [7–10]: D(b) = (f - Fb)T(f – Fb) + bTK-1b, откуда ¶D(b)/¶b = – 2FT(f – Fb) + 2K-1b, ¶D(b)/¶b = 0, – 2FT(f – Fb) + 2K-1b = 0, – FTf + FTFb + K-1b = 0, b(FTF + K-1) = FTf, b = (FTF + K-1)-1FTf. (8) Так как двойная операция обращения матриц может значительно повысить вычислительные затраты, преобразуем (8) к виду Fb = F(FTF + + K-1)-1FTf. Введя P = FKFT, получим Fb = P(P + In)-1f, где In Î Rn´n. Тогда оценки коэффициентов примут вид b = = KFT(FKFT + In)-1f, что идентично регуляризованным оценкам для взвешенной системы базисных функций. Выводы В данной работе рассмотрен предложенный ранее метод повышения достоверности и устойчивости ортогональных моделей вероятностных характеристик в терминах L2-регуляризации. Такая трактовка позволила решить следующие задачи: предложить обобщенное описание поправочных коэффициентов для учета основных свойств функциональных характеристик в матричной форме; показать, что предложенные оценки аналогичны оценкам коэффициентов, регуляризованным по норме L2; ввести ядровую функцию для описания основных свойств функциональных характеристик. Результатом данной работы является теоретическое обоснование устойчивости предложенных регуляризованных оценок. Практическая значимость полученного результата заключается в возможности оценивания поправочных коэффициентов для различных вероятностных характеристик и базисных функций с помощью одного алгоритма, что позволит предложить более эффективную программную реализацию. Работа выполнена при поддержке грантов Президента РФ № МК-6218.2018.9 и Минобрнауки РФ № 074-U01. Литература 1. Прохоров С.А. Аппроксимативный анализ случайных процессов. Самара: Изд-во СамНЦ РАН, 2001. 380 с. 2. Прохоров С.А., Куликовских И.М. Ортогональные модели корреляционно-спектральных характеристик случайных процессов: Лабораторный практикум. Самара: Изд-во СамНЦ РАН, 2008. 301 с. 3. Wahlberg B. System identification using Laguerre models. IEEE Trans. Automatic Control, 1991, vol. AC-36, pp. 551–562. 4. Van den Hof P.M., Heuberger P.S., Bokor J. System identification with generalized orthonormal basis functions. Automatica, 1995, vol. 31, no. 12, pp. 1821–1834. 5. Agresti A. Foundations of linear and generalized linear models. Wiley series in Probability and Statistics, 2015, 472 p. 6. Hastie T., Tibshirani R., Friedman J. The elements of statis- tical learning: Data mining, inference, and prediction. Springer series in Statistics, 2013, 745 p. 7. Pilonetto G., Nicolao G.D. A new kernel-based approach for linear system identification. Automatica, 2010, vol. 46, no. 1, pp. 81–93. 8. Chen T., Ljung L. Implementation of algorithms for tuning parameters in regularized least squares problems in system identification. Automatica, 2013, vol. 49, no. 7, pp. 2213–2220. 9. Pillonetto G., Dinuzzo F., Chen T., De Nicolao G., Ljung L. Kernel methods in system identification, machine learning and function estimation: A servey. Automatica, 2014, vol. 50, no. 3, pp. 657–682. 10. Aronszajn N. Theory of reproducing kernels. Transactions of American Mathematical Society, 1950, pp. 337–404. |
Permanent link: http://swsys.ru/index.php?id=4406&lang=en&page=article |
Print version Full issue in PDF (29.74Mb) |
The article was published in issue no. № 1, 2018 [ pp. 99-101 ] |
Perhaps, you might be interested in the following articles of similar topics: