Программные продукты и системы

Существуют проблемные области (например, экономика), требующие высококачественного анализа и максимально возможного прогнозирования. Основной проблемой является то, что на экономическое состояние того или иного объекта (субъекта) влияет масса различных факторов, причем достаточно часто это влияние опосредовано. Поскольку при анализе только экономических факторов (нередко противоречивых, малодостоверных, а иногда и заведомо ложных) появляются низкокачественные результаты и прогнозы, то для получения более достоверных результатов (аналитических заключений) и прогнозов необходимо использовать для анализа данные, которые влияют косвенно либо прямо на объект исследования. Несомненно, такие данные зачастую не являются официальными и часто зашумлены побочной информацией, однако анализ именно этих данных может привести к более достоверному отображению экономической ситуации и порождению прогноза с достаточно высокой вероятностью.

Благодаря тому, что в системе будет применен новый комбинированный метод анализа и прогнозирования данных на основе генетического алгоритма, система сможет выдавать экономическую оценку и прогнозы не только с более высокой точностью, чем ее существующие аналоги, но и будет работоспособна уже после первых этапов обучения, в отличие от существующих аналитико-прогностических систем, требующих длительного предварительного сбора и анализа данных с последующим обучением.

Основные методы анализа и прогнозирования данной системы – cтатистический и нейронный анализ, а также генетический алгоритм.

Статистический анализ. Используем метод итерационного подбора коэффициентов с перебором функций и анализом результатов по уменьшению среднеквадратичного отклонения. Полагаем, что исследуемая зависимость – это функция одного фактора, являющаяся совокупностью функций аргумента (фактора):

,

где:  – значение входа;  – значение выхода;  – одна из совокупности функций аргумента,  – коэффициент влияния функции.

На первом этапе проанализируем количество экстремумов, направленность функции и выбор подходящей группы функций F1. На втором этапе найдем функцию (методом подбора) и ее весовой коэффициент (методом последовательных приближений), дающий наименьшее среднеквадратичное отклонение. После выбора функции и коэффициента для фактора X произведем выбор коэффициентов для факторов X1, X2 и т.д. Последующие этапы включают в себя нахождение методом подбора наиболее достоверных функций F2-n и их коэффициентов методом последовательных приближений для всей совокупности анализируемых факторов на всем диапазоне функции. В результате применения метода получаем коэффициенты и функции для основного показателя: Y=.

Нейронный анализ. Эффективным методом обучения нейронной сети является алгоритм обратного распространения ошибки (алгоритм наказания). Его суть состоит в том, что при ошибочном ответе нейросети навстречу потоку данных (от выхода ко входу) будут распространяться сигналы, соответствующие ошибочным ответам сети. В итоге каждый нейрон определит свой вклад в ошибку и пропорционально ему изменит свой вес.

Как и человеческий мозг, нейросеть нужно периодически дообучать, чтобы она всегда была в курсе дела. Это особенно важно, если внешние условия постоянно меняются: в данном случае будет видно преимущество нейросетевого прогнозирования перед статистическим, ведь статистика обременена обширным накопленным опытом, который будет перетягивать прогноз в неверную сторону, а ждать, пока опыт в новых условиях количественно превысит все то, что было раньше, несерьезно. Кроме того, чтобы получить прогноз с приемлемой точностью для статистических методов, необходимо долго накапливать этот самый опыт в виде записей в базе данных. Нейросеть же выдаст правдоподобный прогноз, имея на входе даже небольшую совокупность примеров. Хотя, конечно, на качестве прогноза это отразится.

Комбинированный анализ. Общеизвестно, что при увеличении зашумленности входных данных нейронная сеть показывает гораздо лучшие результаты прогнозирования, нежели дают статистические методы, однако в случаях, неявных (опосредованных) зависимостей, а также при анализе ряда сложных зависимостей (3-го и более порядка) нейронная сеть становится малоэффективной. Рассмотрим классический пример “неразрешимой” для нейронной сети задачи по перестановке цифр в двузначных целых числах:

Эвристика: анализ вышеуказанных рядов данных покажет, что в данном случае для получения результата выхода необходима простая перестановка цифр числа, получаемого на входе.

Нейронная сеть: решение этого типа задачи при применении четырехслойной сети 100´100´4 невозможно, поскольку наступает переобучение, а решение ее двухслойным блоком 100´100 сложно, ресурсоемко и бессмысленно, поскольку для полноты картины сети нужно будет предоставить полный числовой ряд от 10 до 99 и произвести огромное количество циклов обучения – даже после 10 000 эпох сеть выдает результаты погрешностью в 20 %.

Статистика: используя классический метод итерационного подбора функции с анализом результатов по уменьшению среднеквадратичного отклонения, получаем безошибочный результат функции: F1=|x/10|; F2=x∙10; F3=|x/10|, а также значения коэффициентов: K1= -100; K2=10; K3=1, которые приводят к простейшей формуле вида:  .

Таким образом, задача, неразрешимая для нейронной сети, решается легкодоступным традиционным статистическим методом. Отсюда вывод: для полноценного прогнозирования и анализа необходимо использовать комбинированную систему нейронная сеть + статистические методы.

Генетический алгоритм. Среди тысяч методов в задачах на поиск глобального экстремума функций генетические (или эволюционные) алгоритмы занимают особое место.

Эволюционная теория утверждает, что каждый биологический вид целенаправленно развивается и изменяется, чтобы наилучшим образом приспособиться к окружающей среде. Можно сказать, что эволюция – это процесс оптимизации всех живых организмов.

В данном случае в базе собранных данных существует ряд искусственно введенных признаков (индивидуальные и групповые номера) для тех или иных групп данных и функций, а также указывается их текущее жизненное состояние (вероятность выдачи достоверного прогноза) и наиболее вероятные брачные партнеры (показатели, на которые они предположительно влияют или которые влияют на них). Генетический алгоритм в системе нацелен прежде всего на уборку мусора в данных и на выявление наиболее жизнеспособных особей среди данных, функций и методов анализа. В зависимости от жизнеспособности (вероятности достоверного прогноза) особи на ее обработку будет выделяться большее количество ресурсов (процессорного времени), что позволит оптимизировать и ускорить вычисления в системе и, соответственно, получить наиболее достоверный прогноз или более точные результаты анализа.