Программные продукты и системы

В данной работе рассматриваются три основных типа интеллектуальных систем, представляющих парадигмы мягких вычислений: нейронные сети, нечеткие системы и нейро-нечеткие системы [1]. Создание эффективного алгоритмического ядра является сложной задачей, требующей больших интеллектуальных, финансовых и временных затрат, что на практике далеко не всегда удается обеспечить конечным пользователям. Автоматизация проектирования интеллектуальных информационных технологий позволяет значительно упростить процесс разработки систем поддержки принятия решений для конечных пользователей, не являющихся экспертами в данной области. Для этого авторы предлагают использовать генетические алгоритмы (ГА), хорошо зарекомендовавшие себя в глобальной оптимизации и обладающие гибкой структурой кодирования параметров.

На практике реальные задачи являются, как правило, большими и сложными для решения отдельной технологией. Коллективные методы принятия решений позволяют повысить эффективность и надежность конечного решения. В связи с этим для построения коллектива интеллектуальных систем и структуры их взаимодействия при получении результирующего коллективного решения, основанного на частных решениях индивидуальных технологий, предлагается применить алгоритм генетического программирования.

Искусственные нейронные сети. Эффективность качества моделирования нейронных сетей зависит от эксперта, проектирующего топологию и обладающего знаниями о тонкостях нейронных сетей и области решаемой задачи. С увеличением сложности проблемы проектирование нейронных сетей становится затруднительным. На практике, как правило, используются многослойные персептроны. Алгоритмом обучения таких нейронных сетей является алгоритм обратного распространения ошибки или его различные модификации, основанные на градиентном методе. Основные недостатки данного алгоритма – застревание в локальных минимумах функции ошибки, низкая скорость сходимости при малом шаге обучения, паралич сети при выборе большого шага и др.

Эффективность градиентных алгоритмов существенно зависит от начальной инициализации параметров, эволюционные алгоритмы (ЭА) значительно менее чувствительны к начальным условиям. Любой градиентный или ньютоновский метод может найти только локальный оптимум в окрестности начального решения, ЭА же пытаются найти глобальное решение.

Для преодоления упомянутых проблем предлагается применить ГА для генерирования структуры персептрона и настройки его весовых коэффициентов. При этом генерируется отдельная популяция структур нейронных сетей, а для каждой структуры – своя популяция весовых коэффициентов. Хромосома структуры нейронной сети кодируется следующим образом. Изначально исследователем задаются максимально допустимое число скрытых слоев и максимальное число нейронов на каждом слое. При кодировании проход по сети проводится сверху вниз и слева направо по каждому нейрону. Длина хромосомы каждого нейрона будет составлять 3 или 4 бита при использовании набора из 7 или 15 активационных функций соответственно. Равенство всех битов нулю означает отсутствие нейрона в данном месте, в остальных случаях имеем бинарный код номера функции активации.

Таким образом, длина хромосомы, кодирующей структуру нейронной сети, будет равна максимальному числу нейронов, умноженному на длину хромосомы одного нейрона. Весовые коэффициенты кодируются аналогично. Исследователем задаются интервал изменения весовых коэффициентов и дискретизация числа, на основании чего определяется количество бит n для кодирования вещественного числа. Длина хромосомы, кодирующей весовые коэффициенты, равна n, умноженному на число всех коэффициентов текущей сети.

Системы на нечеткой логике. При проектировании нечетких систем эксперт сталкивается с проблемой выбора исходных нечетких правил, набор которых может оказаться неполным или противоречивым. Выбор параметров функций принадлежности, описывающих входные и выходные переменные объекта, субъективен и может некорректно отображать реальную действительность. Поэтому для повышения обоснованности принятия решений при проектировании нечетких систем были применены ГА. Кодирование битовой строкой происходит следующим образом. Вначале кодируются входные параметры функций принадлежности, далее – выходные параметры, и в конце строки на каждую входную переменную добавляется терм игнорирования, позволяющий управлять как размером базы правил (общее количество правил), так и ее длиной (количество условий в антецеденте). Априори исследователь должен задать максимальное количество правил. При кодировании вещественных чисел (параметров функций принадлежности) необходимо указать дискретизацию вещественного числа. Интервал изменения переменных выбирается автоматически на основе нижней и верхней границ обучающего множества.

Нейро-нечеткие системы. Процесс генерирования нейро-нечетких моделей происходит в два этапа. Первый этап заключается в кластеризации исходных числовых данных методами конкурентного обучения с механизмом штрафования соперника, алгоритмом адаптивной резонансной теории или другими способами, после чего получаются грубые нечеткие правила. Второй этап состоит в тонкой настройке базы правил (семантики лингвистических термов) на основе градиентных алгоритмов, недостатки которых широко известны и препятствуют эффективному использованию нейро-нечетких систем. Поэтому здесь также целесообразно применить ГА.

При кодировании параметров функций принадлежности необходимо задать дискретизацию вещественного числа. Область определения переменных выбирается аналогично.

Самонастраивающийся ГА. Эффективность ГА в значительной степени зависит от его настроек. С целью сокращения параметров за основу был взят асимптотический ГА [2], в котором настраиваемым параметром является только тип селекции.

Обозначим zk вектор распределения вероятности выбора конкретного типа селекции. На каждом поколении осуществляется перерасчет распределения по формуле (20 % вероятности делится поровну между каждым значением параметра для исключения схождения значения к нулю): , где K – число значений настраиваемого параметра; ;  – отношение, где usedk – число применений оператора, successk – число применений, приведших к улучшению средней пригодности популяции по сравнению с предыдущим поколением. Изначально usedk инициализируются значениями, равными единице, чтобы избежать деления на ноль.

Коллективные методы проектирования интеллектуальных информационных технологий (ИИТ). Для повышения эффективности и надежности ИИТ предлагается применять метод генетического программирования при формировании коллектива ИИТ для решения сложных задач и формы взаимодействия его участников при получении результирующего решения, основанного на частных решениях индивидуальных технологий.

В данном подходе существуют два варианта гибридизации ИИТ. Первый заключается в построении математического выражения из результатов отдельных членов коллектива. Таким образом, элементами терминального множества алгоритма генетического программирования являются частные решения отдельных систем. Второй вариант состоит в формировании гибридной многослойной системы, состоящей из отдельных членов этого коллектива. Здесь терминальное множество представляется отдельной структурой ИИТ.

В первом случае на предварительном этапе необходимо заранее сгенерировать и обучить заданное число элементов терминального множества, которые в дальнейшем будут использоваться в работе алгоритма. Функциональное множество при данном подходе включает в себя арифметические операции и элементарные математические функции. Во втором варианте первоначально необходимо задать критерии останова при обучении отдельной технологии. Элементами функционального множества в данном случае являются правила соединения отдельных технологий между собой.

Апробация методов автоматизированного проектирования ИИТ на практических задачах. Программная система p-IT-on (projecting of intelli­gent technologies for overall needs) была разработана в среде Microsoft Visual Studio 2008 на платформе .Net Framework. Для апробации предложенных схем генерирования алгоритмического ядра ИИТ были решены следующие практические задачи (первые четыре взяты из репозитория машинного обучения UCI [3]).

1.     Классификация ирисов (4 признака, 3 класса, обучающая выборка – 135 единиц, контрольная – 15).

2.     Классификация вин (13 признаков, 3 класса, обучающая выборка – 163 единицы, контрольная – 15).

3.     Предсказание лесных пожаров (12 входных переменных и 1 выходная, обучающая выборка – 477 единиц, контрольная – 40).

4.     Распознавание типов земель по спутниковым изображениям (36 признаков, 6 классов, обучающая выборка – 4 435 единиц, контрольная – 2 000).

5.     Прогнозирование состояния турбины по вибрационным характеристикам (11 входных и 12 выходных переменных, обучающая выборка – 1 000 единиц, контрольная – 400).

6.     Моделирование процесса рудно-термичес­кой плавки (12 входных переменных и 1 выходная, обучающая выборка – 37 единиц, контрольная – 10).

7.     Прогнозирование деградации электрических характеристик солнечных батарей космического аппарата (7 входных и 4 выходные переменные, обучающая выборка – 177 единиц, контрольная – 20).

При решении каждой задачи были получены работоспособные системы. В таблице представлены наилучшие результаты решения практических задач из 20 запусков программы.

Примечание. В таблице приняты следующие обозначения: О – обучение, Э – экзамен. В задачах классификации в качестве ошибки приводится число неправильно классифицируемых объектов, для остальных задач – средняя относительная ошибка. Пустые ячейки таблицы соответствуют случаям, когда ИИТ не удалось обучить до приемлемого уровня.

В большинстве случаев наилучшее качество моделирования имеет нейро-нечеткая система. При этом все типы ИИТ демонстрируют эффективность, сопоставимую с известными результатами.

Приведем примеры построения коллектива на основе математического выражения из частных решений отдельных технологий. Изначально заранее были сгенерированы и обучены десять ИИТ каждого типа.

В задаче классификации вин получена следующая формула: , где C – номер класса. При этом ошибка распознавания составила 0 % как на обучающей выборке, так и на контрольной, что лучше, чем у нейросетевых и нечетких моделей по отдельности и сравнимо с нейро-нечеткими. Необходимо отметить, что лучшие отдельные ИИТ, превосходящие остальные по качеству моделирования, обычно не входят в итоговый коллектив, так как, видимо, не могут внести нужный вклад в коллективное принятие решения.

В задаче моделирования процесса рудно-термической плавки получено выражение , определяющее процентное содержание никеля в отработанном шлаке. Относительная ошибка составила 2,21 % на обучающей выборке и 2,33 % на тестовой, что лучше, чем у каждой индивидуальной ИИТ в отдельности.

В заключение отметим, что в данной работе предложены и реализованы методы автоматизированного проектирования ИИТ и их коллективов с помощью эволюционных алгоритмов. Работоспособность и эффективность предложенных методов подтверждена при решении ряда практических задач. Разработанная программная система, реализующая данные подходы, дает возможность автоматически генерировать нейросетевые модели, нечеткие и нейро-нечеткие системы, позволяя решать сложные задачи анализа данных и принятия решений. Автоматическое формирование коллектива ИИТ позволяет увеличить надежность и эффективность конечной системы.

Литература

1.     Engelbrecht A. Computational Intelligence: An Introduc­tion, John Wiley and Sons. 2007. 597 p.

2.     Galushin P., Semenkina O., Shabalov A. Comparative analysis of two distribution building optimization algorithms. Distributed computing and artificial intelligence. Advances in Intelligent and Soft Computing, 2012. Vol. 151, pp. 759–766.

3.     Frank A., Asuncion A. UCI Machine Learning Repository. URL: http://archive.ics.uci.edu/ml (дата обращения: 9.07.2012).