ISSN 0236-235X (P)
ISSN 2311-2735 (E)

Journal influence

Higher Attestation Commission (VAK) - К1 quartile
Russian Science Citation Index (RSCI)

Bookmark

Next issue

4
Publication date:
09 December 2024

The article was published in issue no. № 2, 2008
Abstract:
Аннотация:
Authors: Uskov A.A. (prof.uskov@gmail.com) - Russian Federationn University of Cooperation, Mytishchi, Russia, Ph.D, () -
Keywords: neural network modeling, the law of distribution, computing experiment
Page views: 16047
Print version
Full issue in PDF (1.83Mb)

Font size:       Font:

В практике нейросетевого моделирования часто возникает задача оценки точности получаемых моделей [1-3]. Рассмотрим задачу нейросетевого моделирования в следующей постановке. Пусть имеется статический объект, имеющий n входов (векторный вход ) и один выход Y. Входы и выход данного объекта связаны некоторой нелинейной зависимостью:

,                                                                (1)

где  – функция неизвестного вида;  – случайная аддитивная помеха, отражающая действие неучитываемых факторов с нулевым математическим ожиданием и неизвестным распределением.

Необходимо построить нейросетевую модель данного статического объекта (оценку функции ) на основе обучающей выборки:

                                           (2)

и оценить точность полученной модели.

Задача оценки точности модели решается следующим образом. Обучающая выборка (2) случайным образом делится на собственно обучающую:

,                                         (3)

по которой и проводится обучение нейронной сети, и тестирующую:                (4)

(объем тестирующей выборки (4) выбирается обычно во много раз меньше объема обучающей выборки (3), то есть ), на основе которой производится оценка точности модели.

Рассмотрим ошибки модели: ,             (5)

где  – выход объекта;  – выход модели.

Ввиду наличия случайного шума  погрешность модели  можно считать случайной величиной. Максимальное абсолютное значение ошибки модели  и среднеквадратическое отклонения (СКО) ошибки модели  определяется формулами:

,                                                     (6)

,                                   (7)

где  – область моделирования;  – плотность распределения ;  – математическое ожидание  [4, 5].

Точечные оценки  и  могут быть получены с помощью формул:

,                                                (8)

,                                 (9)

где  – значения выхода объекта и модели в -й точке тестирующий выборки (4) соответственно; .

Описанные точечные оценки  и  часто не позволяют сделать однозначный вывод о качестве полученных моделей; преодолеть указанную сложность позволяют интервальные оценки.

Интервальные оценки точности моделей. Для конкретизации метода построения интервальных оценок необходимо проверить гипотезу нормальности распределения величины  с помощью “критерия ” Пирсона.

Сведем результаты опытов в L интервалов и оформим в виде статистического ряда (см. табл. 1).

Таблица 1

В таблице приняты следующие обозначения: , где  – число попаданий ошибки модели  в интервал .

На основе функции нормального закона распределения можно найти теоретические вероятности попадания в каждый интервал:

.              (10)

Проверка согласованности нормального и статистического распределений производится на основе анализа расхождения между теоретическими вероятностями  и наблюдаемыми частотами . В качестве меры расхождения используется взвешенная сумма квадратов отклонений:

.            (11)

Распределение  зависит от параметра r, называемого числом степеней свободы распределения. Число степеней свободы r, определяется согласно формуле:             r=L–R,                                                  (12)

где R – число независимых условий (связей).

Если выполняется условие , то закон распределения случайной величины  соответствует нормальному закону распределения с доверительной вероятностью . В зависимости от результатов проверки гипотезы нормальности распределения рассмотрим два случая.

1. Гипотеза нормальности распределения величины  выполняется.

Доверительный интервал для ошибки модели  выражается в виде:

,                                 (13)

где  – доверительная вероятность; ; Ф(×) – нормальная функция распределения.

Воспользовавшись свойствами распределенной по нормальному закону случайной величины, получим оценку максимальной абсолютной ошибки модели Maxd с доверительной вероятностью; b1 – доверительная вероятность, использующаяся при проверке гипотезы нормальности закона распределе- ния [4,5]:             .                               (14)

Верхняя оценка значения СКО ошибки модели  с заданным уровнем значимости  определятся формулой:       ,                              (15)

где  – значение закона распределения  с  степенями свободы отвечающее вероятности p;  – уровень значимости (,  – доверительная вероятность).

2. Гипотеза нормальности  не выполняется (закон распределения неизвестен).

На основании неравенства Чебышева можно записать:

,                                            (16)

где  – вероятность выполнения условия, стоящего внутри скобок;  – положительный параметр.

Проведя преобразования на основе (16), можно получить доверительный интервал для ошибки модели :

,                                  (17)

где  – уровень значимости (,  – доверительная вероятность).

В случае, когда для закона распределения случайной величины  выполняется гипотеза симметричности, можно получить более точную оценку:

.                           (18)

Метод проверки гипотезы симметричности закона распределения случайной величины описан в работе [6].

Для получения верхней оценки значения СКО модели  с заданной доверительной вероятностью  можно воспользоваться следующей приближенной формулой:

,                                         (19)

где  – доверительная вероятность; ; Ф(×) – нормальная функция распределения.

Вычислительный эксперимент. Выполним построение нейросетевых моделей и оценку их ошибки для объектов со структурой (1), описываемых следующими выражениями:

1)

2)

3)

где  в выражениях 1-3; при нормальном законе распределения аддитивной помехи ξ (математическое ожидание , СКО ) и доверительной вероятности = .

Для построения моделей использовались следующие методы: обобщенно-регрессионная нейронная сеть (GRNN), многослойный персептрон (MLP), сеть с радиальными базисными функциями и линейным выходным слоем (RBFN) [1-3]. Объем обучающей выборки составлял N=2900 (N1=2500, N2=400). Точки из обучающей выборки располагались случайным образом с равномерным законом распределения. Результаты вычислительного эксперимента приведены в таблице 2.

Таблица 2

Объект моделирования

СКО шума s(x)

Тип модели

Выполнение гипотезы о нормальности закона распределения s

Точечные оценки

Интервальные оценки

Maxd

(формула (14))

sd

(формула (15))

sd

(формула (19))

1)

0.8

GRNN

принимается

2.7167

0.84072

3.4076

0.9034

0.89716

MLP

принимается

4.1303

1.2207

4.9607

1.3118

1.3027

RBFN

принимается

3.2423

0.91394

3.6941

0.98208

0.97529

2)

1

GRNN

принимается

4.9261

1.5643

6.2764

1.6809

1.6693

MLP

принимается

3.852

1.0306

4.1366

1.1074

1.0998

RBFN

принимается

3.5154

1.1365

4.6116

1.2212

1.2128

3)

1

GRNN

принимается

9.8439

3.325

13.3311

3.5729

3.5482

MLP

отвергается

23.1141

9.9285

10.595

RBFN

отвергается

8.371

2.3892

2.5496

Рассмотренный подход к оцениванию точности моделей может быть полезен при нейросетевом моделировании. Современные системы компьютерной математики (MATLAB, MathCAD, Maple и др.) имеют набор встроенных статистических функций, что позволяет значительно упростить процессы как проверки гипотезы нормальности распределения, так и построения описанных интервальных оценок.

Список литературы

1.Галушкин А.И. Теория нейронных сетей. - М.: ИРПЖР. - Кн.1. - 2000.

2.Галушкин А.И. Нейрокомпьютеры. - Там же. - Кн.3. - 2000.

3.Круглов В.В., Борисов В.В. Искусственные нейронные сети. Теория и практика. - М.: Горячая линия-телеком, 2001.

4.Венцель Е.С. Теория вероятностей. – М.: Высш. шк., 1998.

5.Корн Г., Корн Т. Справочник по математике для научных работников и инженеров. - М.: Наука, 1984.

6.Орлов А.И. Методы проверки однородности связных выборок // Заводская лаборатория. - 2004. - Т.70. - №7.


Permanent link:
http://swsys.ru/index.php?page=article&id=750&lang=&lang=en&like=1
Print version
Full issue in PDF (1.83Mb)
The article was published in issue no. № 2, 2008

Perhaps, you might be interested in the following articles of similar topics: