ISSN 0236-235X (P)
ISSN 2311-2735 (E)

Bookmark

Next issue

3
Publication date:
16 September 2019
-->

Study of approximative possibilities of radial-basic network with orthogonal polynoms

The article was published in issue no. № 3, 2012 [ pp. 25-27 ][ 12.09.2012 ]
Abstract:The article describes set up of the problem of approximation, provides rationalization for possibility to use the radial-basic neural network as an approximator of probability density function, gives the approximating statement for this network and statement for objective function, by means of which selection of basic function parameters and weight values is done. Besides, this article considers the possibility to use not only canonical Gaussian functions in the course of approximation of probability density function with a radial-basic network, but also sigmoidal functions, power functions and orthogonal polynoms of Legendre, Chebyshev of I and II kind, Laguerre and Hermite, and gives the relevant formulae. It compares the accuracy of approximation by means of computation of mean-square deviation. Approximation of probability density of Simpson and Rayleigh with a radial-basic network with sigmoidal, power functions as well as polynoms of Legendre, Chebyshev of I and II kind, Laguerre and Hermite are given as examples. At the end there is a recommendation to use the radial-basic network with polynoms of Legendre, Chebyshev of I and II kind as basic functions in case of increase of neurons number in the buried layer, because this network allows lower values of mean-square deviation than the one with canonical Gaussian functions to be achieved.
Аннотация:Описывается постановка задачи аппроксимации, обосновывается возможность использования в качестве аппрок-симатора плотности распределения вероятности радиально-базисной нейронной сети, приводятся аппроксимирующее выражение для данной сети и выражение для целевой функции, с помощью которой происходит подбор параметров базисных функций и значений весов. Рассматривается возможность использования при аппроксимации плотности распределения вероятности радиально-базисной сетью не только традиционных функций Гаусса, но и сигмоидальных и степенных функций и ортогональных полиномов Лежандра, Чебышева I и II рода, Лагерра и Эрмита. Приводятся соответствующие формулы. Сравниваются погрешности аппроксимации путем вычисления среднего квадратического отклонения. В качестве примеров приводится аппроксимация плотности вероятности Симпсона и Рэлея радиально-базисной сетью c сигмоидальными, степенными функциями, а также полиномами Лежандра, Чебышева I и II рода, Лагерра и Эрмита. Дается рекомендация по использованию радиально-базисной сети с полиномами Лежандра, Чебышева I и II рода в качестве базисных функций при увеличении числа нейронов в скрытом слое, так как такая сеть позволяет достичь более низких значений среднего квадратического отклонения, чем сеть с традиционными функциями Гаусса.
Authors: I.V. Lyozina (chuchyck@yandex.ru) - Samara National Research University, Samara, Russia, Ph.D
Keywords: , Laguerre, Tchebyshev, Legendre, orthogonal polynoms, radial basis network,
Page views: 5593
Print version
Full issue in PDF (7.64Mb)
Download the cover in PDF (1.33Мб)

Font size:       Font:

При проведении различного рода исследований зачастую приходится прибегать к обработке больших массивов однородной информации. При этом объем выборки может достигать огромных размеров, и оперировать им становится не очень удобно. Если в условиях конкретной задачи можно исходить из предположения о том, что данная выборка распределена по какому-либо закону, пусть даже нам неизвестному, то в таком случае можно перейти от хранения информации в виде числовых массивов к хранению по закону распределения числового ряда.

Кроме аппроксимации функций многочленами в последнее время все больше внимания уделяется приближению функций многих переменных с помощью линейных операций и суперпозиций функций одного переменного. Такое приближение осуществляется специальными формальными «устройствами» – нейронными сетями.

Возможность использования в качестве универсального аппроксиматора радиально-базисной нейронной сети (RBF) обосновывается с помощью теоремы об универсальной аппроксимации [1]. Аппроксимирующее выражение для RBF-сети может быть записано в виде

,                         (1)

где jk(x, a1, …, an) – семейство базисных функций; a1, …, an – набор неизвестных параметров базисной функции, которые настраиваются в процессе обучения; wk – весовые коэффициенты RBF-сети [2]. Проблему подбора параметров базисных функций и значений весов wk сети можно свести к минимизации целевой функции [2], которая записывается в форме

.             (2)

Чаще всего в качестве радиальной функции применяется функция Гаусса. В одномерном случае при размещении ее центра в точке ck она может быть определена [2] как

.                                            (3)

В разработанном программном комплексе аппроксимации законов распределения (Свид. о гос. регистр. прогр. для ЭВМ № 2011611521 от 16.02.2011, авторы Прохоров С.А., Лёзин И.А., Лёзина И.В.) в качестве узлов сети используются не только классические радиально-базисные функции, но и сигмоидальные функции:

;

степенные функции:

;

ортогональные полиномы Лежандра:

,

;

Чебышева I рода:

 

;

Чебышева II рода:

;

Лагерра:

;

Эрмита:

,

.

При использовании имитационного моделирования для генерации входных данных есть возможность оценить среднее квадратическое отклонение аппроксимации относительно теоретической плотности вероятности:

.                                      (4)

Согласно методике, изложенной в [3], в качестве метрологической характеристики можно выбирать максимальное значение модуля погрешностей оценки:

,                                        (5)

где S – число испытаний, зависящее от доверительной информации PД. Так, если PД=0,95, то число испытаний равно 29 независимо от закона распределения погрешностей.

Рассмотрим примеры различных плотностей вероятности и возможности RBF-сетей для их аппроксимации. В качестве базисных функций возьмем сигмоидальные, радиальные, степенные функции, а также полиномы Лежандра, Чебышева I и II рода, Лагерра и Эрмита. Объем каждой выборки N=10 000, число дифференциальных коридоров M=20, количество нейронов в скрытом слое K=5, K=10, K=15. На рисунке представлен результат аппроксимации плотности вероятности RBF-сетью.

В таблице приведены значения максимума для среднего квадратического отклонения для всех указанных выше базисов при числе испытаний, равном 29, и различном количестве нейронов в скрытом слое.

Значения максимума для среднего квадратического отклонения аппроксимации плотности вероятностей Симпсона и Рэлея RBF-сетью

К

Узлы сети

Полиномы

Сигмоидаль-ные

Радиальные

Степенные

Лежандра

Чебышева I рода

Чебышева II рода

Лагерра

Эрмита

Закон Симпсона

5

0,0455

0,0169

0,1113

0,0656

0,0655

0,0656

0,0773

0,0657

10

0,0495

0,0151

0,1074

0,0179

0,0178

0,0179

0,0519

0,0197

15

0,0168

0,0171

0,1106

0,0134

0,0147

0,0134

0,0407

0,0183

Закон Рэлея

5

0,0338

0,0121

0,0283

0,0099

0,0098

0,001

0,0162

0,0099

10

0,0304

0,0099

0,0281

0,0097

0,0098

0,0099

0,0099

0,0098

15

0,0103

0,0099

0,0206

0,0097

0,0097

0,0098

0,0099

0,0098

Аппроксимация плотности вероятности Симпсона ортогональными полиномами Лежандра RBF-сетью (K=15)

Исследования показали, что использование для аппроксимации плотности распределения вероятности RBF-сетей c сигмоидальными, степенными функциями, а также полиномами Лежандра, Чебышева I и II рода, Лагерра и Эрмита дало результаты не хуже, чем при использовании традиционных радиально-базисных сетей.

Литература

1.     Хайкин С. Нейронные сети: полный курс. 2-е изд.; [пер. с англ.]. М.: Издат. дом «Вильямс», 2006. 1104 с.

2.     Осовский С. Нейронные сети для обработки информации; [пер. с польск. И.Д. Рудинского]. М.: Финансы и статистика, 2002. 344 с.

3.     Методы нормирования метрологических характеристик, оценки и контроля характеристик погрешностей средств статистических измерений. РТМ 25139-74. М.: Минприбор, 1974.

4.     Прохоров С.А. Аппроксимативный анализ случайных процессов. Самара: СГАУ, 2001. 329 с.


Permanent link:
http://swsys.ru/index.php?page=article&id=3206&lang=en
Print version
Full issue in PDF (7.64Mb)
Download the cover in PDF (1.33Мб)
The article was published in issue no. № 3, 2012 [ pp. 25-27 ]

Back to the list of articles