Software & Systems

Задача прогнозирования временных рядов достаточно часто встречается в технических, экономических, медицинских, биологических и иных приложениях, при этом для ее решения предложено множество подходов, связанных с идеями математической статистики, теории случайных процессов, распознавания образов и т.п., но жесткие статистические предположения о свойствах рядов ограничивают возможности перечисленных методов. Дело в том, что многие реальные процессы не могут быть адекватно описаны с помощью традиционных стохастических моделей, поскольку, по сути, являются существенно нелинейными и имеют либо хаотическую, либо квазипериодическую, либо смешанную основу. В данной ситуации адекватным аппаратом для решения задачи прогнозирования представляется аппарат искусственных нейронных сетей (НС) [1-3].

Теоретическое обоснование нейросетевых методов прогнозирования. Как известно, принципиальные отличия временного ряда от последовательности наблюдений, образующих случайную выборку, заключаются в следующем:

·     в отличие от элементов случайной выборки члены  временного ряда не являются независимыми;

·     члены временного ряда не обязательно являются одинаково распределенными, так что  при .

Это означает, что свойства и правила статистического анализа случайной выборки нельзя распространять на временные ряды. С другой стороны, взаимозависимость членов временного ряда создает специфическую базу для построения прогнозных значений анализируемого показателя по наблюдаемым значениям. В частности, одной из самых распространенных моделей прогнозирования, учитывающей указанную взаимозависимость, является модель линейной авторегрессии (АР):

,                             (1)

где  – прогнозируемое значение ряда;  – наблюдаемые значения (предыстория); n – порядок модели;  – коэффициенты модели, определяемые методами статистического оценивания по имеющимся экспериментальным данным [4].

Широко используются и другие линейные модели – скользящего среднего, авторегрессии-скользящего среднего (АРСС), авторегрессии-проинтегрированного скользящего среднего (АРПСС) и т.д. [5].

Между тем более общими для решения задачи прогнозирования представляются нелинейные модели вида:

,                                        (2)

где Ф(·) – некоторая нелинейная функция.

Эффективность нейросетевого подхода при прогнозировании (экстраполяции) временного ряда, основанного на представлении (2), обосновывается:

1)  теоремой Такенса [6]: если временной ряд порождается динамической системой, то есть значения  есть произвольная функция состояния такой системы, то существует так называемая глубина погружения n, которая обеспечивает однозначное предсказание следующих значений временного ряда с помощью некоторого функционального преобразования:

,                                          (3)

где  – функция неизвестного вида, но не зависящая явно от t;

2)  теоремой о полноте [1]: любая непрерывная функция на замкнутом ограниченном множестве  может быть равномерно приближена функциями, вычисляемыми НС, если функция активации нейронов дважды непрерывно дифференцируема и нелинейна (существуют и другие варианты данной теоремы).

Таким образом, выбрав достаточно большое n, можно гарантировать однозначную зависимость будущего значения ряда от его n предыдущих значений, то есть прогнозирование ряда сводится к задаче интерполяции функции многих переменных. Для восстановления оценки Ф(·) функции  по набору примеров, заданных историей данного временного ряда, НС подходит наилучшим образом.

Обратим внимание, что достаточными условиями для выполнения теоремы о полноте являются непрерывность функции  и стационарность временного ряда (в широком смысле), при которой .

Методика нейросетевого прогнозирования. Основные положения нейросетевого подхода к прогнозированию значений временного ряда приведем на примере методики прогнозирования для одномерного (скалярного) ряда, которая включает в себя реализацию следующих этапов.

1. Подготовка и предобработка исходных данных. Предполагается, что в распоряжении исследователя имеется достаточно длинная (не менее нескольких десятков) выборка из N значений рассматриваемого процесса  для равноудаленных моментов времени .

2. Выбор типа и структуры (топологии) НС. Судя по данным работ [1, 10-14], в задаче прогнозирования значений временных рядов используются такие типы НС, как многослойные персептроны (MLP); сети с радиальными базисными функциями; рекуррентные сети Элмана.

Рекомендации по структуре НС первого типа общеизвестны [3]: сеть должна иметь n входов, один выход и один скрытый слой, число нейронов L в котором рекомендуется выбирать по формуле:

,  (4)

при этом нейроны скрытого слоя должны иметь сигмоидальную функцию активации, а выходной нейрон – линейную.

Структура сети с радиальными базисными функциями однозначно определяется разновидностью данной сети (известны сети типа RB, RBE и GRNN), при этом в большинстве случаев требуется задание лишь одного параметра, определяющего ширину радиальных базисных функций (в большинстве случаев его приходится подбирать экспериментально).

3. Обучение и тестирование НС. Различные алгоритмы обучения НС перечисленных видов подробно описаны, например, в [4]. Отметим, что выбор того или иного алгоритма определяется не только вкусами и симпатиями пользователя, но и возможностями используемой им программы-нейроимитатора.

Качество прогнозирования обученной сети проверяется по тестирующей выборке. В режиме тестирования на входы НС подаются наборы значений  данной выборки, по которым сеть выдает прогнозируемое значение .

В качестве количественной оценки точности прогнозирования можно использовать:

·     среднеквадратическую ошибку

;                            (5)

·     коэффициент детерминации [15]

,                                     (6)

где , а значения  относятся к тестовому множеству.

Очевидно, минимальное значение обоих показателей равно нулю (в случае идеального прогноза); второй показатель, в отличие от первого, является безразмерным.

Укажем, что, исследуя результаты работы на тестовом множестве, можно получить несмещенную оценку способностей НС к обобщению, учитывая E, число свободных параметров (весов и смещений сети) w и объем тестового множества NT. Соответствующие оценки называются информационными критериями (IC).

Известны, например, следующие IC [2]: нормализованный IC Акаике (NAIC), нормализованный байесовский IC (NBIC) и итоговая ошибка прогноза (FPE), определяемые формулами:

,                                               (7)

,                                             (8)

.                                     (9)

Данные критерии вместе с показателями E и K дают информацию об адекватности нейросетевой модели и помогают выбрать такую модель подходящего уровня сложности.

4. Использование обученной НС для прогнозирования. Если точность прогноза на тестовом множестве удовлетворяет пользователя, обученную НС можно использовать для решения задачи прогнозирования значений временного ряда. Подставляя предсказанные значения на место истинных, получим предсказание на несколько (k) шагов вперед, что поясняется соотношениями:

                                    (10)

где в данном случае Ф(·) – зависимость, моделируемая обученной НС.

Очевидно, точность прогноза с ростом интервала прогноза k ухудшается, поэтому нейросетевой подход оправдан только для целей кратко- и среднесрочного прогноза.

Эффективность нейросетевого прогнозирования. Приведем результаты, известные из литературных источников. Например, исследовались характеристики качества работы НС в сравнении с другими методами на примере 18 временных рядов, соответствующих различным показателям экономики Великобритании (объем импорта, производство электроэнергии, потребление газа, совокупный доход частных лиц и т.д.). Экспериментальные данные состоят из ежемесячных и/или ежеквартальных показателей. Эти данные подвергались предварительной обработке, в частности, они обследовались на присутствие сезонных колебаний (с периодами 1 квартал и 1 год), и там, где сезонные колебания присутствовали, в качестве одного из входов сети брался соответствующий показатель. Входы были линейно масштабированы так, чтобы их значения находились между 0 и 1. В качестве обучающего множества использовались 70% данных, а оставшиеся 30% – для тестирования (оценки).

Нейросетевое моделирование (с помощью сетей типа MLP) начиналось с наиболее простой модели: с одним входным, одним скрытым и одним выходным слоем. Далее модель расширялась вплоть до шестивходовой модели с двумя скрытыми слоями, четырьмя нейронами в первом слое и двумя во втором с логистической функцией активации. Значения, полученные на выходе, преобразовывались обратно в исходный масштаб и анализировались на предмет среднего значения, среднеквадратической ошибки и т.п.

Прогнозы, которые выдавала сеть, сравнивались с результатами расчетов по другим моделям обработки временных рядов из пакета SPSS [16]. В их числе были различные методы авторегрессии, в том числе методы Холта-Уинтерса [9] и Бокса-Дженкинса [5].

Результаты проведенного анализа таковы: из 10 ежеквартальных показателей в трех случаях НС продемонстрировали примерно такую же эффективность, как и модель Бокса-Дженкинса, в шести случаях лучшую, и только в одном, для доходов частных лиц, заметно худшую.

Для 7 из 8 рядов ежемесячных показателей сеть дала значительно лучшие результаты, чем модель Бокса-Дженкинса АРПСС, а в единственном случае ошибки были одного порядка.

Суммируя результаты по всем 18 рядам, можно сказать, что стандартная модель НС очень хорошо справилась с анализом представленных экономических показателей, существенно лучше, чем модели АР и АРПСС.

В [14] приведен результат успешного моделирования (прогнозирования) временного ряда с помощью НС с радиальными базисными функциями. Следует отметить, что исследуемый ряд (модельный пример) удовлетворяет достаточным условиям теоремы о полноте.

Наряду с положительными оценками нейросетевого прогнозирования имеются и отрицательные. Так, в [11], в частности, отмечается, что НС плохо проводят анализ принципиально новых ситуаций. Заслуживают внимания выводы, приведенные в фундаментальном исследовании [17]:

·     хотя для некоторых рядов нелинейные прогнозы оказались лучше линейных, большинство нелинейных методов прогнозирования и все методы, основанные на НС, приводят к прогнозам, имеющим худшее качество, чем прогнозы, получаемые линейными методами;

·     защитой от слишком больших ошибок прогноза может быть комбинирование прогнозов, получаемых различными методами.

Суммируя изложенное, сделаем следующие выводы.

Нейросетевое прогнозирование может быть наиболее эффективным методом, когда преобразованный (и промасштабированный) ряд удовлетворяет условиям теоремы о полноте и имеет нелинейную структуру, а предыстория ряда достаточно представительна. В остальных случаях лучшие результаты могут быть достигнуты с помощью классических статистических методов.

Достоинством нейросетевых методов прогнозирования является отсутствие каких-либо требований о выполнении вероятностных предпосылок для значений ряда.

Перспективными для дальнейшего развития рассматриваемых методов являются некоторые новые подходы (адаптивное обучение, ансамбли моделей и др.), которые требуют, однако, тщательной экспериментальной проверки.

Список литературы

1.   Горбань А.Н., Россиев Д.А. Нейронные сети на персональном компьютере. - Новосибирск: Наука, 1996.

2.   Бэстенс Д.-Э., Ван ден Берг В.-М., Вуд Д. Нейронные сети и финансовые рынки: принятие решений в торговых операциях. - М.: ТВП, 1997.

3.   Круглов В.В., Борисов В.В. Искусственные нейронные сети. Теория и практика. -М.: Горячая линия – Телеком, 2002.

4.   Демиденко Е.З. Линейная и нелинейная регрессии. - М.: Финансы и статистика, 1981.

5.   Бокс Дж., Дженкинс Г. Анализ временных рядов. Прогноз и управление. Вып.1. - М.: Мир, 1974.

6.   The analysis of observed chaotic data in physical systems / H.D.I. Abarbanel, R.Brown, J.J.Sidorowich, L.S.Tsimring // Rev.Mod.Phys. 1993. № 65. P.1331-1391.

7.   Литтл Р., Рубин Д. Статистический анализ данных с пропусками. - М.: Финансы и статистика, 1991.

8.   Загоруйко Н.Г. Прикладные методы анализа данных и знаний. - Новосибирск: Изд-во ин-та математики, 1999.

9.   Кендэл М. Временные ряды. - М.: Финансы и статистика, 1981.

10.          Шумский А.С. Предсказание финансовых временных рядов (http://neurok.ru).

11.          Яковлев В.Л., Яковлева Г.Л., Власов А.И. Нейросетевые методы и модели при прогнозировании краткосрочных и долгосрочных тенденций финансовых рынков // Тр. 6 Всеросс. конф.: Нейрокомпьютеры и их применение. (НКП-2000). - М., 2000.

12.          Иванов М.Н. Анализ роста курса акций с применением нейронных сетей / Тр. 8-й Всеросс. конф.: Нейрокомпьютеры и их применение. (НКП-2002). - М., 2002. - С. 756-772.

13.          Секерин А.Б. Методы технологии нейронных сетей в краткосрочном прогнозировании налоговых поступлений // Там же - С. 774-781.

14.          Сергеев А.В. Прогнозирование временных рядов с помощью нейронных сетей с радиальными базисными функциями // Там же. - С. 1187-1191.

15.          Айвазян С.А., Мхитарян В.С. Прикладная статистика и основы эконометрики. - М.: ЮНИТИ, 1998.

16.          Бююль А., Цефель П. SPSS: искусство обработки информации. Анализ статистических данных и восстановление скрытых закономерностей. - СПб.: ООО "ДиаСофтЮП", 2002.

17.          Проблемы прогнозирования некоторых макроэкономических показателей / Р.М.Энтов, В.П.Носко, А.Д.Юдин и др. - М.: Ин-т экономики переходного периода, 2002 (http://www.iet.ru).