Software & Systems

В практике нейросетевого моделирования часто возникает задача оценки точности получаемых моделей [1-3]. Рассмотрим задачу нейросетевого моделирования в следующей постановке. Пусть имеется статический объект, имеющий n входов (векторный вход ) и один выход Y. Входы и выход данного объекта связаны некоторой нелинейной зависимостью:

,                                                                (1)

где  – функция неизвестного вида;  – случайная аддитивная помеха, отражающая действие неучитываемых факторов с нулевым математическим ожиданием и неизвестным распределением.

Необходимо построить нейросетевую модель данного статического объекта (оценку функции ) на основе обучающей выборки:

                                           (2)

и оценить точность полученной модели.

Задача оценки точности модели решается следующим образом. Обучающая выборка (2) случайным образом делится на собственно обучающую:

,                                         (3)

по которой и проводится обучение нейронной сети, и тестирующую:                (4)

(объем тестирующей выборки (4) выбирается обычно во много раз меньше объема обучающей выборки (3), то есть ), на основе которой производится оценка точности модели.

Рассмотрим ошибки модели: ,             (5)

где  – выход объекта;  – выход модели.

Ввиду наличия случайного шума  погрешность модели  можно считать случайной величиной. Максимальное абсолютное значение ошибки модели  и среднеквадратическое отклонения (СКО) ошибки модели  определяется формулами:

,                                                     (6)

,                                   (7)

где  – область моделирования;  – плотность распределения ;  – математическое ожидание  [4, 5].

Точечные оценки  и  могут быть получены с помощью формул:

,                                                (8)

,                                 (9)

где  – значения выхода объекта и модели в -й точке тестирующий выборки (4) соответственно; .

Описанные точечные оценки  и  часто не позволяют сделать однозначный вывод о качестве полученных моделей; преодолеть указанную сложность позволяют интервальные оценки.

Интервальные оценки точности моделей. Для конкретизации метода построения интервальных оценок необходимо проверить гипотезу нормальности распределения величины  с помощью “критерия ” Пирсона.

Сведем результаты опытов в L интервалов и оформим в виде статистического ряда (см. табл. 1).

Таблица 1

В таблице приняты следующие обозначения: , где  – число попаданий ошибки модели  в интервал .

На основе функции нормального закона распределения можно найти теоретические вероятности попадания в каждый интервал:

.              (10)

Проверка согласованности нормального и статистического распределений производится на основе анализа расхождения между теоретическими вероятностями  и наблюдаемыми частотами . В качестве меры расхождения используется взвешенная сумма квадратов отклонений:

.            (11)

Распределение  зависит от параметра r, называемого числом степеней свободы распределения. Число степеней свободы r, определяется согласно формуле:             r=L–R,                                                  (12)

где R – число независимых условий (связей).

Если выполняется условие , то закон распределения случайной величины  соответствует нормальному закону распределения с доверительной вероятностью . В зависимости от результатов проверки гипотезы нормальности распределения рассмотрим два случая.

1. Гипотеза нормальности распределения величины  выполняется.

Доверительный интервал для ошибки модели  выражается в виде:

,                                 (13)

где  – доверительная вероятность; ; Ф(×) – нормальная функция распределения.

Воспользовавшись свойствами распределенной по нормальному закону случайной величины, получим оценку максимальной абсолютной ошибки модели Maxd с доверительной вероятностью; b1 – доверительная вероятность, использующаяся при проверке гипотезы нормальности закона распределе- ния [4,5]:             .                               (14)

Верхняя оценка значения СКО ошибки модели  с заданным уровнем значимости  определятся формулой:       ,                              (15)

где  – значение закона распределения  с  степенями свободы отвечающее вероятности p;  – уровень значимости (,  – доверительная вероятность).

2. Гипотеза нормальности  не выполняется (закон распределения неизвестен).

На основании неравенства Чебышева можно записать:

,                                            (16)

где  – вероятность выполнения условия, стоящего внутри скобок;  – положительный параметр.

Проведя преобразования на основе (16), можно получить доверительный интервал для ошибки модели :

,                                  (17)

где  – уровень значимости (,  – доверительная вероятность).

В случае, когда для закона распределения случайной величины  выполняется гипотеза симметричности, можно получить более точную оценку:

.                           (18)

Метод проверки гипотезы симметричности закона распределения случайной величины описан в работе [6].

Для получения верхней оценки значения СКО модели  с заданной доверительной вероятностью  можно воспользоваться следующей приближенной формулой:

,                                         (19)

где  – доверительная вероятность; ; Ф(×) – нормальная функция распределения.

Вычислительный эксперимент. Выполним построение нейросетевых моделей и оценку их ошибки для объектов со структурой (1), описываемых следующими выражениями:

где  в выражениях 1-3; при нормальном законе распределения аддитивной помехи ξ (математическое ожидание , СКО ) и доверительной вероятности = .

Для построения моделей использовались следующие методы: обобщенно-регрессионная нейронная сеть (GRNN), многослойный персептрон (MLP), сеть с радиальными базисными функциями и линейным выходным слоем (RBFN) [1-3]. Объем обучающей выборки составлял N=2900 (N1=2500, N2=400). Точки из обучающей выборки располагались случайным образом с равномерным законом распределения. Результаты вычислительного эксперимента приведены в таблице 2.

Таблица 2

Рассмотренный подход к оцениванию точности моделей может быть полезен при нейросетевом моделировании. Современные системы компьютерной математики (MATLAB, MathCAD, Maple и др.) имеют набор встроенных статистических функций, что позволяет значительно упростить процессы как проверки гипотезы нормальности распределения, так и построения описанных интервальных оценок.

Список литературы

1.Галушкин А.И. Теория нейронных сетей. - М.: ИРПЖР. - Кн.1. - 2000.

2.Галушкин А.И. Нейрокомпьютеры. - Там же. - Кн.3. - 2000.

3.Круглов В.В., Борисов В.В. Искусственные нейронные сети. Теория и практика. - М.: Горячая линия-телеком, 2001.

4.Венцель Е.С. Теория вероятностей. – М.: Высш. шк., 1998.

5.Корн Г., Корн Т. Справочник по математике для научных работников и инженеров. - М.: Наука, 1984.

6.Орлов А.И. Методы проверки однородности связных выборок // Заводская лаборатория. - 2004. - Т.70. - №7.