Software & Systems

Известно, что искусственные нейронные сети (ИНС), и в частности многослойные персептроны, стоят в ряду наиболее популярных интеллектуальных информационных технологий, применяемых для решения задач классификации. Популярность нейросетевого подхода не в последнюю очередь обоснована его достаточно высокой эффективностью в решении широчайшего круга практических задач. Тем не менее постоянное стремление к повышению качества классификации, возрастающие масштабы задач, повышение требований к скорости получения решений и необходимость адаптации нейросетевого подхода для использования в распределенных вычислительных системах приводят к необходимости разработки и применения подходов, существенно отличающихся от основанных на использовании одиночных нейронных сетей. В этой связи перспективным направлением использования интеллектуальных информационных технологий, в частности искусственных нейронных сетей, для решения задач классификации видится получивший в последнее время существенное развитие коллективный подход (подход, использующий ансамбль технологий). Использование такого коллективного подхода применительно именно к ИНС было впервые описано в [1], хотя коллективные подходы с другими техниками для классификации были известны и ранее [2]. В дальнейшем в рамках коллективного нейросетевого подхода разрабатывалось большое количество методов, некоторые успешно применялись не только для решения задач классификации, но как базовые технологии при моделировании и прогнозировании. Примеры успешного решения задач различного рода можно найти в [3–5]. В рамках данной статьи ограничимся рассмотрением применения коллективов ИНС именно для задач классификации.

Несмотря на то, что существует достаточно много вариантов выбора стратегии комбиниро- вания решений классификаторов, в случае использования подхода, основанного на коллективах нейронных сетей, одним из путей дальнейшего улучшения качества решений является повышение эффективности существующих и разработка новых продуктивных методов комбинирования решений отдельных нейронных сетей в коллективе. Рассмотрим новый трехэтапный метод комбинирования решений отдельных нейронных сетей в коллективе, развивающий идеи метода многоярусного обобщения [6]. Для агрегации решений отдельных нейронных сетей в нем предлагается использовать обучаемые индикаторные классификаторы второго уровня, формируемые с помощью метода генетического программирования (в общем случае в качестве классификатора второго уровня могут использоваться и другие технологии, в частности те же нейронные сети или классификаторы на нечеткой логике). Окончательное решение о классе поданного на вход примера принимается на основе анализа значений индикаторных классификаторов второго уровня.

Коллективы нейронных сетей

Коллектив нейронных сетей можно представить в виде пары (N, D), где N=(N1, N2, …, Nn) – набор нейронных сетей, решения которых учитываются при формировании общего коллективного решения; D – способ расчета коллективного решения на основе решений отдельных нейронных сетей (стратегия комбинирования). Таким образом, для использования коллектива нейронных сетей при решении конкретной задачи необходимо выполнить следующие шаги:

1)    формирование набора нейронных сетей N;

2)    выбор способа расчета общего коллективного решения D.

Выполнение каждого из этих шагов порождает отдельную задачу, для решения которой могут использоваться различные методы.

Традиционно наиболее ресурсоемким является первый этап, на котором определяются структура и параметры ИНС, используемые как классификаторы. Часто такие нейронные сети формируются в виде более простых структур в отличие от традиционных подходов, использующих одну нейронную сеть. Простые сети сравнительно легко обучить, и в то же время они менее склонны к переобучению из-за их более простой структуры. Выбор подобных сетей обусловлен тем, что каждая из них теоретически решает более простую задачу, полученную за счет декомпозиции исходной задачи в явном или неявном виде и распределения исходного множества на подмножества для каждого из классификаторов.

Второй этап, связанный с выбором стратегии комбинирования решений, обычно требует меньших вычислительных ресурсов – его трудоемкость зависит от выбранной стратегии комбинирования и сложности решаемой задачи. В случае выбора наиболее простых стратегий комбинирования этот этап занимает значительно меньше времени, чем первый. Однако ввиду того, что именно стратегии комбинирования решений являются одним из основных направлений повышения эффективности решения задач с использованием коллективного подхода, все больше вычислительных ресурсов перераспределяются именно в пользу второго этапа. Соответственно растет удельный вес этого этапа как в обеспечении более высокого качества решения задачи, так и в количестве ресурса, затрачиваемого на решение задачи в целом. В связи с этим актуальным становится вопрос о совершенствовании существующих и разработке новых эффективных стратегий комбинирования, которые обеспечивали бы интенсивное использование вычислительного ресурса, позволяя повысить эффективность решения задач.

Формирование способа расчета общего коллективного решения. Существуют два основных вида стратегий комбинирования, используемых при решении задач классификации с помощью наборов классификаторов, в частности с помощью коллективов нейронных сетей: селекция (selection) и слияние (или объединение – fusion). В основе селекционного подхода лежит предположение, что каждая отдельная технология решения задачи специализируется на конкретном локальном подпространстве решений задачи. Каждому подпространству соответствует отдельный классификатор, как, например, в [2], или в некоторых случаях отдельный классификатор может соответствовать нескольким локальным подпространствам решений задачи [7, 8]. Стратегия объединения предполагает одновременное использование всех технологий на всем пространстве рассматриваемой задачи.

Методы использования входного сигнала при формировании коллективного решения можно разделить на две группы.

Первая группа включает подходы (их можно назвать традиционными), использующие статические структуры для выработки общего коллективного решения. Схемы выработки решений в таких подходах статичны, не зависят от значений входных переменных.

Вторая группа включает методы, которые при формировании общего коллективного решения учитывают не только решения отдельных сетей-членов коллектива, но и непосредственно входные переменные. Такие методы называют динамическими из-за прямой зависимости способа формирования общего решения от значений входных переменных.

В первой группе принято выделять две подгруппы.

1.     Подходы, использующие неадаптивные структуры, в частности усреднение, правило максимума, медианное правило, а также голосование и правило Борда.

2.     Подходы, использующие различные алгоритмы для адаптации и настройки структур взаимодействия отдельных членов коллективов. Такие подходы представляют наибольший интерес ввиду множества вариантов их реализации и возможности улучшения качества классификации без выполнения наиболее затратного этапа формирования отдельных экспертов (нейронных сетей или других технологий). Активное развитие и разработка этих методов связаны с поиском дополнительных возможностей адаптации коллективных систем под конкретную задачу. Вовлекая некоторый дополнительный вычислительный ресурс на этапе обучения системы, обобщающей решения отдельных экспертов (в данном случае – отдельных нейронных сетей), эти методы часто способствуют повышению эффективности коллективных классификаторов. Важно, чтобы они позволяли интенсивно использовать вычислительные ресурсы. Это значит, что эти методы должны обеспечивать адекватный прирост качества коллективного решения по отношению к приросту количества вычислительных ресурсов, необходимых для выработки данного решения. Гарантировать такой интенсивный прирост способны технологии, позволяющие эффективно проецировать множество решений отдельных классификаторов в целевое пространство. Перечислим некоторые известные подходы.

·      Метод шаблонов решений (decision templates method) [9].

·      Взвешенное усреднение. Существует большое количество подходов, отличающихся способом расчета весовых коэффициентов. В различных методах используются всевозможные процедуры для отбора классификаторов, решения которых будут учитываться при формировании общего решения.

·      Метод многоярусного обобщения (stacked generalization me­thod) – технология использования коллективных классификаторов, позволяющая организовать двухступенчатую процедуру формирования решений группой классификаторов с нелинейной комбинацией отдельных решений. Существуют также различные модификации этого подхода, например динамический модифицированный метод многоярусного обобщения [6].

Предлагаемый подход. Для повышения эффективности выполнения этапа формирования общего решения в коллективах нейронных сетей был предложен эволюционный трехуровневый метод с декомпозицией задачи в неявном виде на втором уровне. В целом подход представляет собой расширение метода многоярусного обобщения за счет введения дополнительного промежуточного уровня в структуру процесса формирования решения задачи. Базовая схема вычисления решения с помощью метода шаблонов решений приведена на рисунке 1.

Очевидно, что в методе шаблонов решений на первом уровне происходит декомпозиция задачи в явном виде: каждый отдельный классификатор отвечает за отдельную область подпространства. На втором уровне осуществляются агрегация решений отдельных классификаторов и их проекция в целевое пространство. Предлагаемый подход несколько модифицирует описанную выше схему. Идея заключается в том, чтобы дополнить характерную для первого уровня метода шаблонов решений декомпозицию задачи в неявном виде (назовем этот процесс первым шагом проектирования решения) декомпозицией задачи в явном виде на втором уровне (второй шаг проектирования решения) и агрегацией решений на новом, третьем, уровне (третий шаг проектирования решений). Общая схема проектирования решений с помощью предлагаемого подхода представлена на рисунке 2.

Опишем этапы предлагаемого трехэтапного эволюционного метода формирования коллективного классификатора.

Этап 1: независимое формирование множества классификаторов – пула нейронных сетей, решения которых будут участвовать в выработке общего решения. Данный этап является общим для всех коллективных подходов. Для его выполнения (в случае использования в качестве классификаторов первого уровня нейронных сетей) предлагается использовать вероятностный метод для автоматизированного формирования структуры нейронных сетей [10].

В общем же случае может использоваться любой доступный эффективный способ формирования отдельных классификаторов выбранного типа. Количество ресурсов, доступных на этом этапе, определяется исходя из общих требований к времени решения задачи, необходимой точности и доступных вычислительных мощностей.

Отметим, что в общем случае в качестве классификаторов на первом уровне могут использоваться не только нейронные сети, но и любые другие технологии классификации, позволяющие получать на выходе вещественное либо дискретное значение, характеризующее принадлежность объекта, описываемого входным вектором, к какому-либо классу.

Этап 2: независимое формирование набора из m классификаторов второго уровня, где m совпадает с числом классов в рассматриваемой задаче. Входами классификаторов этого уровня являются значения, получаемые на выходе классификаторов первого уровня. При этом для каждого j-го классификатора второго уровня () обучение выполняется по следующему правилу: целевым значением на выходе классификатора для всех примеров, соответствующих классу с номером j, является 1, для всех остальных примеров целевым значением выхода классификатора j является 0.

Таким образом, на втором этапе выполняется декомпозиция задачи, когда каждый классификатор второго уровня формирует в пространстве поверхность, отсекающую объекты одного класса от объектов, относящихся к любому из других классов. Для решения этой задачи автор предлагает использовать метод, основанный на применении гибридного генетического программирования для комбинирования решений отдельных нейронных сетей [10].

Этап 3: агрегация решений классификаторов второго уровня с целью выработки общего решения – значения класса для входного набора. Выбор правила для формирования решения является предметом дальнейших исследований. В рамках предлагаемого подхода авторы использовали следующее простое и при этом очевидное правило: классифицируемый объект относится к тому классу, для которого соответствующий классификатор второго уровня выдал максимальное значение выходного сигнала.

Численные исследования

Для оценки эффективности предложенного метода был проведен ряд численных экспериментов. В ходе численных исследований, необходимых для проведения сравнительного анализа, были получены результаты и для других методов формирования коллективных классификаторов и подходов, использующих другие (неколлективные) методы классификации. Результаты для коллективных подходов получены в программной системе IT-Pegas, разработанной автором. В ходе исследований, помимо предложенного метода, были получены результаты для следующих подходов комбинирования решений классификаторов: простое усреднение, равноправное голосование, правило Борда и метод многоярусного обобщения. Для некоторых других подходов результаты взяты из [11]. Полный список методов приведен в первой колонке таблицы 1.

Таблица 1

В ходе экспериментов для оценки эффективности использовалась пятикратная кросс-проверка, при этом каждый раз результаты усреднялись по результатам проектирования и решения задачи с помощью пяти различных коллективов нейронных сетей. В качестве меры эффективности приводилось среднее значение оценки надежности классификации, которая рассчитывалась как отношение правильно классифицированных примеров к общему числу примеров в экзаменующей выборке. Для оценки статистической значимости результатов предлагаемого подхода использовался метод ANOVA.

При проектировании нейронных сетей, используемых в качестве классификаторов первого уровня, применялся вероятностный метод проектирования структур нейронных сетей [9]. В качестве базовой топологии нейронных сетей использовалась архитектура многослойного персептрона с максимальным числом скрытых слоев, равным двум, и максимальным числом нейронов на скрытых слоях, равным пяти. Для обучения сетей подошел генетический алгоритм с числом поколений, равным 100, количеством индивидов на каждом поколении, равным 100, и с дообучением лучшей сети. Конкретные типы операторов генетического алгоритма (тип селекции, тип  скрещивания, мутации) были выбраны в процессе предварительного тестирования.

В ходе экспериментов при проектировании классификаторов второго уровня для метода многоярусного обобщения использовалась нейронная сеть с архитектурой типа многослойный персептрон с двумя скрытыми слоями и не более чем с пятью нейронами на скрытом слое. При каждом прогоне структура нейронной сети формировалась заново с помощью метода автоматизированного проектирования структур нейронных сетей и обучалась с помощью генетического алгоритма с параметрами, указанными выше.

В качестве классификаторов второго уровня в предлагаемом трехэтапном методе использовались классификаторы, получаемые методом генетического программирования [12]. Число классификаторов на данном шаге эквивалентно числу классов в конкретной задаче. Количество поколений в методе генетического программирования для каждого классификатора равно 200, количество индивидов на каждом поколении – 100.

Во время численных исследований эффективность методов определялась на известных задачах классификации из репозитория Machine Learning Repository [13]. Информация о характеристиках задачи и объеме выборки в исходном наборе данных представлена в таблице 2.

Таблица 2

Результаты численных экспериментов приведены в таблице 1.

В целом результаты численных экспериментов показывают, что предлагаемый подход не менее эффективен, чем другие методы, результаты оценки эффективности которых рассматривались в ходе сравнительного исследования. Предлагаемый метод показывает лучшие результаты на задачах диагностирования заболевания печени (Liver Disorder) и задаче о выдаче кредитов (Credit Australia-1), однако следует учитывать, что конкретные условия получения результатов для неколлективных подходов на данных задачах (в частности объем вычислительных ресурсов) не приводятся.

В заключение отметим, что в статье изложены основные идеи использования коллективов нейронных сетей для задач классификации, описаны некоторые методы комбинирования решений отдельных классификаторов, используемые для широкого круга задач. Предложен новый трехэтапный метод решения задач классификации с помощью коллективов нейронных сетей. Описаны методы проектирования технологий выработки решений на каждом этапе предлагаемого подхода. Приведены результаты численного исследования эффективности предлагаемого метода и некоторых известных конкурирующих подходов. Результаты проведенных исследований показали, что на двух задачах предлагаемый метод позволяет выполнять классификацию более надежно по сравнению с методами, использующими другие стратегии комбинирования, и с некоторыми известными неколлективными подходами. В дальнейшем планируется апробировать предложенный метод на ряде сложных практических задач.

Литература

1.     Hansen L.K., Salamon P. Neural network ensembles, IEEE Transactions on Pattern Analysis and Machine Intelligence, 1990, № 12, pp. 993–1001.

2.     Растригин Л.А., Эренштейн Р.Х. Метод коллективного распознавания. Библиотека по автоматике. Вып. 615. М.: Энергоиздат, 1981. 78 с.

3.     Javadi M., Ebrahimpour R., Sajedin A., Faridi S., Zaker­nejad S., Improving ECG Classification Accuracy Using an Ensemble of Neural Network Modules, PLoS ONE, 2011, Vol. 6.

4.     Perrone M.P., Cooper L.N. When networks disagree: ensemble method for neural networks, Artificial Neural Networks for Speech and Vision, New York, Chapman & Hall, 1993, pp. 126–142.

5.     Shimshoni Y., Intrator N. Classification of seismic signals by integrating ensembles of neural networks, IEEE: Transactions on Signal Processing, 1998. Vol. 46, pp. 1194–1201.

6.     Wolpert D.H. Stacked generalization. Neural Networks, 1992, no. 5, pp. 241–259.

7.     Jacobs R.A., Jordan M.I., Nowlan S.J., Hinton G.E. Adap­tive mixtures of local experts. Neural Computation, 1991, no. 3, pp. 79–87.

8.     Plumpton C.O., Kuncheva L.I. Choosing parameters for Random Subspace ensembles for fMRI classification, Proceedings of Multiple Classifier Systems (MCS'10), Cairo, Egypt, LNCS 5997, 2010, pp. 54–63.

9.     Kuncheva L.I. Combining Pattern Classifiers. Methods and Algorithms, Wiley, 2004.

10.  Bukhtoyarov V., Semenkina O. Comprehensive evolu­tionary approach for neural network ensemble automatic design, Proc. of 2010 IEEE World Congress on Computational Intelligence, Barcelona, 2010, pp. 1640–1645.

11.  Sergienko R.B., Semenkin E.S. Michigan and Pittsburgh Methods Combining for Fuzzy Classifier Generating with Coevolutionary Algorithm for Strategy Adaptation, Proc. of 2011 IEEE Congress on Evolutionary Computation, New Orleans, LA, USA, 2011.

12.       Espejo P.G., Ventura S., Herrera F. A survey on the application of genetic programming to classification, IEEE: Transactions on Systems, Man and Cybernetics, 2009, Vol. 40, no. 2, pp. 121–144.

13.  Frank A., Asuncion A. UCI Machine Learning Repository. University of California, School of Information and Computer Science, Irvine, CA, 2010. URL: http://archive.ics.uci.edu/ml (дата обращения: 06.07.2011).