Software & Systems

Ортогональные модели вероятностных харак- теристик получены разложением в ряд по ортогональным базисам эмпирических зависимостей, таких как оценки плотностей и функций распределения вероятностей, корреляционных и спектральных функций и плотностей мощности [1–4] и т.п. Так как такой подход к построению моделей универсален, он является непараметрическим, что понижает интерпретируемость результирующих оценок. Один из способов повышения достоверности и устойчивости оценок вероятностных характеристик, полученных по ортогональной модели, – наложение дополнительного условия [1]. Данное условие формализуется исходя из необходимости выполнения основных свойств вероятностных характеристик, таких как значение в нуле и единице функции распределения, значение в нуле корреляционной функции, нормировка спектральной плотности мощности и т.д. В соответствии с этим условием оценки коэффициентов разложения пересчитываются с учетом поправочных коэффициентов.

В работах [1, 2] более детально изложены специфика предлагаемого подхода, а также аналитические соотношения поправочных коэффициентов для различных вероятностных характеристик при разложении в ряды Лагерра, Лежандра, Дирихле, Чебышева, включая обобщенные базисы Сонина–Лагерра и Якоби [2].

Однако построение совокупности ортогональных моделей требует различных алгоритмических и программных реализаций в зависимости от постановки задачи и анализируемой динамической системы [1–4]. Данная работа обобщает предложенный ранее математический аппарат для формализации описанного метода, предлагая описание поправочных коэффициентов для учета основных свойств функциональных характеристик в матричной форме. Показано, что предложенные оценки аналогичны оценкам коэффициентов, регуляризованным по норме L2, что позволяет свести задачу вычисления поправочных коэффициентов к более общему представлению в форме задачи регуляризации исходных оценок коэффициентов. Кроме того, в работе дано теоретическое обоснование устойчивости полученных оценок через введение ядровой функции для описания основных свойств функциональных характеристик.

Постановка задачи

Поставим задачу построения ортогональной модели в матричной форме. Введем следующие обозначения. Пусть f Î Rn – вероятностная характеристика, F Î Rn´m – система ортогональных функций, b, b, c Î Rm – векторы стандартных, дополненных и поправочных коэффициентов Фурье соответственно. Тогда величина невязки [5–10] D Î R может быть задана в виде

D(b) = (f – Fb)T(f – Fb),                                  (1)

откуда ¶D(b)/¶b = – 2FT(f – Fb).

Потребуем выполнения необходимого условия

¶D(b)/¶b = 0, – FTf + FTFb = 0,                     (2)

что позволяет представить оценки стандартных коэффициентов в виде

b = (FTF)-1FTf.                                                  (3)

Вычисление оценок коэффициентов с дополнительным условием

Перепишем соотношение (1) с учетом дополнительного условия согласно [1]:

D(b) = (f – Fb)T(f – Fb) + bTkϕl,                    (4)

где kϕ Î Rm задает вектор значений, определяющий основные свойства системы ортогональных функций; l Î R – нормирующий коэффициент, определяющий поправочные коэффициенты.

По аналогии можно записать:

¶D(b)/¶b = – 2FT(f – Fb) + kϕl,

¶D(b)/¶b = 0,

– 2FTf + 2FTFb +kϕl = 0.

С учетом нормального уравнения FTFb = FTf, следующего из (2), получим – 2FTFb + 2FTFb + + kϕl = 0, откуда оценки коэффициентов, дополненных к (3), примут вид

b = b – (FTF)-1kϕl/2.                                        (5)

Запишем основное свойство вероятностной характеристики в виде

kϕTb = kf,                                                             (6)

где kf Î R задает величину, характеризующую основное свойство вероятностной характеристики.

Принимая во внимание (5), представим (6) в виде kϕT(b – l/2(FTF)-1kϕ) = kf, откуда

l/2 = – (kϕT(FTF)-1kϕ)-1(kf – kϕTb).                (7)

С учетом (5) и (7) введем обозначение для дополненных оценок b = b + c, откуда вектор оценок поправочных коэффициентов примет вид

с = – (FTF)-1kϕl/2 =

= (FTF)-1kϕ(kϕT(FTF)-1kϕ)-1(kf – kϕTb).

Перепишем (1) в дополненных коэффициентах:

D(b) = (f – Fb)T(f – Fb),

D(b) = f Tf – 2f TFb + bTFFTb.

С учетом того, что b = b + c,

D(b) = f Tf – 2f TF(b + c) + (b + c)TFFT(b + c),

D(b) = f Tf – 2bTFFTb – 2bTFFTc + bTFFTb + + 2bTFFTc + cTFFTc,

D(b) = f Tf – bTFFTb + cTFFTc.

Покажем, что при условии bTFFTc = 0 полученная модель идентична регуляризованной с некоторой ядровой функцией, заданной в матричной форме как K Î Rm´m. При этом введенное ядро за- дает основные свойства вероятностных характеристик и системы базисных функций.

Вычисление регуляризованных оценок коэффициентов

Представим соотношение (4) как (1) с регуляризацией по норме L2 [7–10]:

D(b) = (f - Fb)T(f – Fb) + bTK-1b,

откуда

¶D(b)/¶b = – 2FT(f – Fb) + 2K-1b,

¶D(b)/¶b = 0,

– 2FT(f – Fb) + 2K-1b = 0,

– FTf + FTFb + K-1b = 0,

b(FTF + K-1) = FTf,

b = (FTF + K-1)-1FTf.                                        (8)

Так как двойная операция обращения матриц может значительно повысить вычислительные затраты, преобразуем (8) к виду Fb = F(FTF + + K-1)-1FTf.

Введя P = FKFT, получим Fb = P(P + In)-1f, где In Î Rn´n.

Тогда оценки коэффициентов примут вид b = = KFT(FKFT + In)-1f, что идентично регуляризованным оценкам для взвешенной системы базисных функций.

Выводы

В данной работе рассмотрен предложенный ранее метод повышения достоверности и устойчивости ортогональных моделей вероятностных характеристик в терминах L2-регуляризации. Такая трактовка позволила решить следующие задачи: предложить обобщенное описание поправочных коэффициентов для учета основных свойств функциональных характеристик в матричной форме; показать, что предложенные оценки аналогичны оценкам коэффициентов, регуляризованным по норме L2; ввести ядровую функцию для описания основных свойств функциональных характеристик.

Результатом данной работы является теоретическое обоснование устойчивости предложенных регуляризованных оценок. Практическая значимость полученного результата заключается в возможности оценивания поправочных коэффициентов для различных вероятностных характеристик и базисных функций с помощью одного алгоритма, что позволит предложить более эффективную программную реализацию.

Работа выполнена при поддержке грантов Президента РФ № МК-6218.2018.9 и Минобрнауки РФ № 074-U01.

Литература

1.     Прохоров С.А. Аппроксимативный анализ случайных процессов. Самара: Изд-во СамНЦ РАН, 2001. 380 с.

2.     Прохоров С.А., Куликовских И.М. Ортогональные модели корреляционно-спектральных характеристик случайных процессов: Лабораторный практикум. Самара: Изд-во СамНЦ РАН, 2008. 301 с.

3.     Wahlberg B. System identification using Laguerre models. IEEE Trans. Automatic Control, 1991, vol. AC-36, pp. 551–562.

4.     Van den Hof P.M., Heuberger P.S., Bokor J. System identification with generalized orthonormal basis functions. Automatica, 1995, vol. 31, no. 12, pp. 1821–1834.

5.     Agresti A. Foundations of linear and generalized linear models. Wiley series in Probability and Statistics, 2015, 472 p.

6.     Hastie T., Tibshirani R., Friedman J. The elements of statis- tical learning: Data mining, inference, and prediction. Springer series in Statistics, 2013, 745 p.

7.     Pilonetto G., Nicolao G.D. A new kernel-based approach for linear system identification. Automatica, 2010, vol. 46, no. 1, pp. 81–93.

8.     Chen T., Ljung L. Implementation of algorithms for tuning parameters in regularized least squares problems in system identification. Automatica, 2013, vol. 49, no. 7, pp. 2213–2220.

9.     Pillonetto G., Dinuzzo F., Chen T., De Nicolao G., Ljung L. Kernel methods in system identification, machine learning and function estimation: A servey. Automatica, 2014, vol. 50, no. 3, pp. 657–682.

10.   Aronszajn N. Theory of reproducing kernels. Transactions of American Mathematical Society, 1950, pp. 337–404.