Программные продукты и системы

Основная задача, рассматриваемая в статье, – построение нейросетевой модели для оценки характеристической экспоненты процесса Леви. Первая работа, связанная с вычислением характеристик случайной последовательности, была выполнена в 1949 г. Д. Хеббом [1]. В ней рассматривались задачи самообучения нейросети. Впоследствии было доказано, что алгоритм обучения Д. Хебба непосредственно связан с вычислением главной компоненты. Более эффективный алгоритм обучения сети для вычисления главной компоненты последовательности может быть получен как частный случай метода стохастического градиента [2] с использованием отношения Релея. Если U – главный собственный вектор ковариационной матрицы последовательности, то n-е приближение к U вычисляется следующим образом (см., например, [2]):

                                                    (1)

В (1) последовательность h удовлетворяет условию  Xn – n-й элемент обучающей выборки.

Для определения нескольких главных компонент предлагается использовать ряд алгоритмов [3–6]) и метод стохастического градиента. Соответствующий алгоритм вычисления k главных собственных векторов ковариационной матрицы определяется системой равенств:

  (2)

Обоснование алгоритма и доказательство сходимости можно найти в работе [2]. Если многомерный закон распределения последовательности нормальный, с нулевым математическим ожиданием, то ковариационная матрица содержит полную информацию о законе распределения и использование метода главных компонент вполне оправданно. Если закон распределения не является нормальным, то метод главных компонент неполный, поскольку не учитывает всю информацию о поведении данных, например, связанную с моментами порядка три и более. Известен ряд работ [7, 8], в которых метод главных компонент обобщается на моменты более высокого порядка. Эти сети позволяют анализировать данные более сложной природы: приближать их поверхностью, отличающейся от плоскости, как в методе главных компонент. Применение метода главных компонент и обобщенного метода главных компонент для анализа данных не всегда целесообразно, так как не всегда существуют моменты необходимого порядка у анализируемого закона распределения. В то же время характеристическая функция существует для любого закона распределения [9].

В последнее время большой интерес прояв- ляется к процессам Леви [10] в связи с их использованием при моделировании в различных приложениях. Поведение процессов Леви полностью описывается параметрическим семейством одномерных законов распределения Ft(x). Семейство законов распределения однозначно определяется семейством характеристических функций:

.                (3)

В (3) характеристическая экспонента

            (4)

Несобственный интеграл Лебега в (4) вычисляется по мере Леви, обладающей следующим свойством:

.                                             (5)

Интеграл отвечает за скачкообразную составляющую процесса Леви. Приращения процесса Леви  – независимые и одинаково распределенные случайные величины с характеристической функцией  . Положив D=1, получим соотношение, которое в дальнейшем используем для оценки характеристической экспоненты. Далее будем использовать обозначение . Как уже отмечалось, случайные величины Y – независимые и одинаково распределенные случайные величины. Их общая характеристическая функция может быть представлена следующим образом:

Отсюда  

              (6)

Формула (6) позволяет вычислить характеристическую экспоненту, используя оценки A и B. Далее рассматривается оценка A(y), поскольку оценка B(y) выполняется аналогично.

Алгоритм обучения нейросети, использующий потенциальные функции. Структура нейросети, предназначенной для вычисления оценки A(y), показана на рисунке 1.

Допустим, необходимо вычислить характеристическую экспоненту в интервале значений аргумента [a, b]. Разобьем данный интервал на  частей с требуемой точностью вычислений. Определим потенциальную функцию U(y) следующими условиями:

–      носителем функции является симметричный интервал [–h, h];

–      функция симметричная;

–      функция является гладкой, на интервале [–h, 0] она возрастает, на интервале [0, h] убывает.

Примером такой функции может служить функция Ланцоша [11]:

В качестве критерия обучения рассмотрим средний квадрат отклонения:

. (7)

В (7) закон распределения Law(Y)= Law(Yt), yj – точки разбиения интервала [a, b]. Задача обучения заключается в вычислении минимума F(W).

Наиболее простая ситуация получается, если h совпадает с длиной элементарного интервала разбиения D. В этом случае критерий обучения (7) будет иметь следующий вид:

.                           (8)

Из этого соотношения выходит, что минимум критерия обучения достигается, когда Wj=E cos yjY. Следовательно, алгоритм обучения определяется равенствами:

.                                 (9)

Для общего случая (h>D) может быть применен стохастический аналог адаптивного алгоритма обучения [12]:

                        (10)

В формуле (10) ÑF(Wt–1, Yt) – стохастический градиент критерия F, l-я координата которого

g1=–ÑF(W0, Y1).

Рассмотрим пример оценки вещественной части характеристической функции для гиперболического распределения при помощи адаптивного алгоритма обучения.

Гиперболические распределения. В 1997 году О. Барндорфф-Нильсен предложил обобщенные гиперболические распределения [13]. Их введение обусловлено необходимостью описания некоторых эмпирических закономерностей в геологии, геоморфологии, турбулентности и финансовой математике.

Собственно гиперболическое распределение и гауссовское\\обратно-гауссовское распределение являются наиболее употребительными. Каждое из этих распределений представляет собой смесь нормальных законов:

 с плотностью

и  с плотностью

.(11)

В (11) K1(x) – модифицированная функция Бесселя третьего рода с индексом 1. Остановимся на одном из распределений, например на гиперболическом. Характеристическая функция благодаря (11) будет иметь вид:

.

С использованием соответствующей плотности (11) получим равенство для вещественной части характеристической функции:

     (12)

Формула (12) позволяет вычислить вещественную часть характеристической функции, используя численное интегрирование. Это, в свою очередь, позволяет определить различие между оценкой, полученной с помощью обучения нейросети, и значением, полученным по формуле (12). Для получения обучающей выборки использовались два генератора. С помощью первого генератора выбиралась дисперсия s2, при этом использовалась первая плотность из (11), затем генерировалась нормальная случайная величина N(m+as2, s2). Результаты расчетов приведены на рисунке 2. Параметры гиперболического распределения в эксперименте принимали следующие значения: a=0,1, m=0,5, a=0,2, b=0,1. Число итераций составило 325.

Таким образом, после обучения нейросеть с удовлетворительной степенью точности позволяет вычислять оценку основной характеристики процесса Леви – характеристической экспоненты.

Кроме перечисленных работ, следует упомянуть работу [14], в которой излагается идея оценки характеристической функции с помощью обучения нейросети. Основное отличие исследования, описанного в статье, состоит в использовании другого алгоритма обучения. Кроме этого, заметим, что данная методика применима только для процессов с независимыми и однородными приращениями, к которым относятся процессы Леви. В противном случае необходимо учитывать зависимость характеристической функции от времени.

Литература

1.      Hebb D.O. Organization of behavior. NY, Wiley, 1949, 335 p.

2.      Белявский Г.И. О некоторых алгоритмах определения главных компонент в пространстве признаков // Математический анализ и его приложения. Р-н-Д: Изд-во РГУ, 1975. № 7. С. 63-67.

3.      Sanger T.D. Optimal unsupervised learning in a single-layer linear feedforward neural network. Neural Networks 2, 1989, pp. 459-473.

4.      Oja E. Neural networks, principal components and subspaces. Int. Journ. of Neural Systems, 1989, no. 1, pp. 61-68.

5.      Oja E. Principal components, minor components and linear neural networks. Neural Networks, 1992, no. 5, pp. 927-935.

6.      Dente J.A., Vilela Mendes R. Unsupervised learning in ge­neral connectionist systems. Network: Computation in Neural Systems, 1996, no. 7, pp. 123-139.

7.      Softy W.R., Kammen D.M. Correlations in high dimensional or asymmetric data sets: Hebbian neuronal processing. Neural Networks, 1991, no. 4, pp. 337-348.

8.      Taylor J.G., Coombes S. Learning higher order correla­tions. Neural Networks, 1993, no. 6, pp. 423-427.

9.      Lukacs E. Characteristic functions, Griffin’s Statistical Monographs& Courses, Hafner Publishing Co., NY, 1960, no. 5, 216 p.

10.   Cont R., Tankov P. Financial modeling with jump proces­ses. London: Chapman Hall. CRC, 2004, 606 p.

11.   Жуков М.И. Метод Фурье в вычислительной математике. М.: Наука, 1992. 176 с.

12.   Белявский Г.И., Пучков Е.В., Лила В.Б. Алгоритм и программная реализация гибридного метода обучения искусственных нейронных сетей // Программные продукты и системы. 2012. № 4. С. 96-100.

13.   Barndorff-Nielsen O.E. Exponentially decreasing distribu­tions for the logarithm of particle size // Proceeding of the Royal Society. London: Ser. A, Math. Phys. 1977, vol. 353, pp. 401-419.

14.   Joaquim A. Dente, R. Vilela Mendes Characteristic functions and process identification by neural networks, 1997, pp. 1465-1471; URL: arXiv: physics 9712035 v1[physics.data-an] (дата обращения: 07.05.2015).