ISSN 0236-235X (P)
ISSN 2311-2735 (E)

Journal influence

Higher Attestation Commission (VAK) - К1 quartile
Russian Science Citation Index (RSCI)

Bookmark

Next issue

4
Publication date:
09 September 2024

Evolutionary three-stage approach for designing of neural networks ensembles for classification problems

The article was published in issue no. № 4, 2012 [ pp. 101-106 ]
Abstract:The use of neural networks ensemble approach for solving classification problems is discussed. Methods for forming ensembles of neural networks and methods for combining solutions in ensembles of classifiers are reviewed briefly. The main ideas of comprehensive evolutionary approach for automatic design of neural networks ensembles are described. A new variant of a three-level evolutionary approach to decision making in ensembles of neural networks is proposed for classification problems. Steps to produce solutions using proposed method are described. Comparative experiments on a number of known test problems (benchmarks) were carried out to evaluate the efficiency of proposed approach. A brief description of the used test problems is given. The conditions and results of the comparative statistical study of different classification methods efficiency are also described. The results of the numerical experiments which were carried out show that the proposed approach is not less effective on used test problems than the most of methods which were taken into consideration. And it also allows to obtain best results on a number of test problems. The directions for further investigations concerning evaluating of the efficiency of the proposed approach on wide range of large-scale data sets and prospects of applying approach in real-world applications are briefly marked in the conclusion.
Аннотация:Рассматривается приложение коллективов искусственных нейронных сетей для решения задач классификации. Дан краткий обзор некоторых методов формирования коллективов нейронных сетей и методов формирования решений задач, использующих ансамбли классификаторов. Изложены основные идеи комплексного эволюционного подхода к формированию коллектива нейронных сетей, разработанного автором. Предложен новый трехэтапный эволюционный подход выработки решений в коллективах нейронных сетей для задач классификации. Описаны этапы формирования решения задачи классификация с помощью данного подхода. Для оценки работоспособности и исследования эффективности предлагаемого метода были проведены сравнительные эксперименты на известных тестовых задачах. Приводится краткое описание использованных тестовых задач, описываются условия и результаты сравнительных статистических испытаний различных методов формирования коллективных решений на нескольких известных тестовых задачах. Результаты численных экспериментов позволяют сделать вывод о том, что эффективность подхода на рассматриваемом наборе задач не меньше, чем у большинства из включенных в рассмотрение конкурирующих подходов. В ряде задач подход оказывается наиболее эффективным. Обозначены направления дальнейших исследований эффективности подходов на более широком наборе сложных задач и перспективы их использования в реальных прикладных задачах.
Authors: Bukhtoyarov V.V. (vladber@list.ru) - Academician M.F. Reshetnev Siberian State Aerospace University, Krasnoyarsk, Russia, Ph.D
Keywords: combining strategies, ensembles, neural network, classifiers
Page views: 10755
Print version
Full issue in PDF (9.63Mb)
Download the cover in PDF (1.26Мб)

Font size:       Font:

Известно, что искусственные нейронные сети (ИНС), и в частности многослойные персептроны, стоят в ряду наиболее популярных интеллектуальных информационных технологий, применяемых для решения задач классификации. Популярность нейросетевого подхода не в последнюю очередь обоснована его достаточно высокой эффективностью в решении широчайшего круга практических задач. Тем не менее постоянное стремление к повышению качества классификации, возрастающие масштабы задач, повышение требований к скорости получения решений и необходимость адаптации нейросетевого подхода для использования в распределенных вычислительных системах приводят к необходимости разработки и применения подходов, существенно отличающихся от основанных на использовании одиночных нейронных сетей. В этой связи перспективным направлением использования интеллектуальных информационных технологий, в частности искусственных нейронных сетей, для решения задач классификации видится получивший в последнее время существенное развитие коллективный подход (подход, использующий ансамбль технологий). Использование такого коллективного подхода применительно именно к ИНС было впервые описано в [1], хотя коллективные подходы с другими техниками для классификации были известны и ранее [2]. В дальнейшем в рамках коллективного нейросетевого подхода разрабатывалось большое количество методов, некоторые успешно применялись не только для решения задач классификации, но как базовые технологии при моделировании и прогнозировании. Примеры успешного решения задач различного рода можно найти в [3–5]. В рамках данной статьи ограничимся рассмотрением применения коллективов ИНС именно для задач классификации.

Несмотря на то, что существует достаточно много вариантов выбора стратегии комбиниро- вания решений классификаторов, в случае использования подхода, основанного на коллективах нейронных сетей, одним из путей дальнейшего улучшения качества решений является повышение эффективности существующих и разработка новых продуктивных методов комбинирования решений отдельных нейронных сетей в коллективе. Рассмотрим новый трехэтапный метод комбинирования решений отдельных нейронных сетей в коллективе, развивающий идеи метода многоярусного обобщения [6]. Для агрегации решений отдельных нейронных сетей в нем предлагается использовать обучаемые индикаторные классификаторы второго уровня, формируемые с помощью метода генетического программирования (в общем случае в качестве классификатора второго уровня могут использоваться и другие технологии, в частности те же нейронные сети или классификаторы на нечеткой логике). Окончательное решение о классе поданного на вход примера принимается на основе анализа значений индикаторных классификаторов второго уровня.

Коллективы нейронных сетей

Коллектив нейронных сетей можно представить в виде пары (N, D), где N=(N1, N2, …, Nn) – набор нейронных сетей, решения которых учитываются при формировании общего коллективного решения; D – способ расчета коллективного решения на основе решений отдельных нейронных сетей (стратегия комбинирования). Таким образом, для использования коллектива нейронных сетей при решении конкретной задачи необходимо выполнить следующие шаги:

1)    формирование набора нейронных сетей N;

2)    выбор способа расчета общего коллективного решения D.

Выполнение каждого из этих шагов порождает отдельную задачу, для решения которой могут использоваться различные методы.

Традиционно наиболее ресурсоемким является первый этап, на котором определяются структура и параметры ИНС, используемые как классификаторы. Часто такие нейронные сети формируются в виде более простых структур в отличие от традиционных подходов, использующих одну нейронную сеть. Простые сети сравнительно легко обучить, и в то же время они менее склонны к переобучению из-за их более простой структуры. Выбор подобных сетей обусловлен тем, что каждая из них теоретически решает более простую задачу, полученную за счет декомпозиции исходной задачи в явном или неявном виде и распределения исходного множества на подмножества для каждого из классификаторов.

Второй этап, связанный с выбором стратегии комбинирования решений, обычно требует меньших вычислительных ресурсов – его трудоемкость зависит от выбранной стратегии комбинирования и сложности решаемой задачи. В случае выбора наиболее простых стратегий комбинирования этот этап занимает значительно меньше времени, чем первый. Однако ввиду того, что именно стратегии комбинирования решений являются одним из основных направлений повышения эффективности решения задач с использованием коллективного подхода, все больше вычислительных ресурсов перераспределяются именно в пользу второго этапа. Соответственно растет удельный вес этого этапа как в обеспечении более высокого качества решения задачи, так и в количестве ресурса, затрачиваемого на решение задачи в целом. В связи с этим актуальным становится вопрос о совершенствовании существующих и разработке новых эффективных стратегий комбинирования, которые обеспечивали бы интенсивное использование вычислительного ресурса, позволяя повысить эффективность решения задач.

Формирование способа расчета общего коллективного решения. Существуют два основных вида стратегий комбинирования, используемых при решении задач классификации с помощью наборов классификаторов, в частности с помощью коллективов нейронных сетей: селекция (selection) и слияние (или объединение – fusion). В основе селекционного подхода лежит предположение, что каждая отдельная технология решения задачи специализируется на конкретном локальном подпространстве решений задачи. Каждому подпространству соответствует отдельный классификатор, как, например, в [2], или в некоторых случаях отдельный классификатор может соответствовать нескольким локальным подпространствам решений задачи [7, 8]. Стратегия объединения предполагает одновременное использование всех технологий на всем пространстве рассматриваемой задачи.

Методы использования входного сигнала при формировании коллективного решения можно разделить на две группы.

Первая группа включает подходы (их можно назвать традиционными), использующие статические структуры для выработки общего коллективного решения. Схемы выработки решений в таких подходах статичны, не зависят от значений входных переменных.

Вторая группа включает методы, которые при формировании общего коллективного решения учитывают не только решения отдельных сетей-членов коллектива, но и непосредственно входные переменные. Такие методы называют динамическими из-за прямой зависимости способа формирования общего решения от значений входных переменных.

В первой группе принято выделять две подгруппы.

1.     Подходы, использующие неадаптивные структуры, в частности усреднение, правило максимума, медианное правило, а также голосование и правило Борда.

2.     Подпись:  
Рис. 1. Схема метода многоярусного обобщения
Подходы, использующие различные алгоритмы для адаптации и настройки структур взаимодействия отдельных членов коллективов. Такие подходы представляют наибольший интерес ввиду множества вариантов их реализации и возможности улучшения качества классификации без выполнения наиболее затратного этапа формирования отдельных экспертов (нейронных сетей или других технологий). Активное развитие и разработка этих методов связаны с поиском дополнительных возможностей адаптации коллективных систем под конкретную задачу. Вовлекая некоторый дополнительный вычислительный ресурс на этапе обучения системы, обобщающей решения отдельных экспертов (в данном случае – отдельных нейронных сетей), эти методы часто способствуют повышению эффективности коллективных классификаторов. Важно, чтобы они позволяли интенсивно использовать вычислительные ресурсы. Это значит, что эти методы должны обеспечивать адекватный прирост качества коллективного решения по отношению к приросту количества вычислительных ресурсов, необходимых для выработки данного решения. Гарантировать такой интенсивный прирост способны технологии, позволяющие эффективно проецировать множество решений отдельных классификаторов в целевое пространство. Перечислим некоторые известные подходы.

·      Метод шаблонов решений (decision templates method) [9].

·      Взвешенное усреднение. Существует большое количество подходов, отличающихся способом расчета весовых коэффициентов. В различных методах используются всевозможные процедуры для отбора классификаторов, решения которых будут учитываться при формировании общего решения.

·      Подпись:  
Рис. 2. Схема трехэтапного подхода формирования общего решения 
в коллективах нейронных сетей для задачи классификации
Метод многоярусного обобщения (stacked generalization me­thod) – технология использования коллективных классификаторов, позволяющая организовать двухступенчатую процедуру формирования решений группой классификаторов с нелинейной комбинацией отдельных решений. Существуют также различные модификации этого подхода, например динамический модифицированный метод многоярусного обобщения [6].

Предлагаемый подход. Для повышения эффективности выполнения этапа формирования общего решения в коллективах нейронных сетей был предложен эволюционный трехуровневый метод с декомпозицией задачи в неявном виде на втором уровне. В целом подход представляет собой расширение метода многоярусного обобщения за счет введения дополнительного промежуточного уровня в структуру процесса формирования решения задачи. Базовая схема вычисления решения с помощью метода шаблонов решений приведена на рисунке 1.

Очевидно, что в методе шаблонов решений на первом уровне происходит декомпозиция задачи в явном виде: каждый отдельный классификатор отвечает за отдельную область подпространства. На втором уровне осуществляются агрегация решений отдельных классификаторов и их проекция в целевое пространство. Предлагаемый подход несколько модифицирует описанную выше схему. Идея заключается в том, чтобы дополнить характерную для первого уровня метода шаблонов решений декомпозицию задачи в неявном виде (назовем этот процесс первым шагом проектирования решения) декомпозицией задачи в явном виде на втором уровне (второй шаг проектирования решения) и агрегацией решений на новом, третьем, уровне (третий шаг проектирования решений). Общая схема проектирования решений с помощью предлагаемого подхода представлена на рисунке 2.

Опишем этапы предлагаемого трехэтапного эволюционного метода формирования коллективного классификатора.

Этап 1: независимое формирование множества классификаторов – пула нейронных сетей, решения которых будут участвовать в выработке общего решения. Данный этап является общим для всех коллективных подходов. Для его выполнения (в случае использования в качестве классификаторов первого уровня нейронных сетей) предлагается использовать вероятностный метод для автоматизированного формирования структуры нейронных сетей [10].

В общем же случае может использоваться любой доступный эффективный способ формирования отдельных классификаторов выбранного типа. Количество ресурсов, доступных на этом этапе, определяется исходя из общих требований к времени решения задачи, необходимой точности и доступных вычислительных мощностей.

Отметим, что в общем случае в качестве классификаторов на первом уровне могут использоваться не только нейронные сети, но и любые другие технологии классификации, позволяющие получать на выходе вещественное либо дискретное значение, характеризующее принадлежность объекта, описываемого входным вектором, к какому-либо классу.

Этап 2: независимое формирование набора из m классификаторов второго уровня, где m совпадает с числом классов в рассматриваемой задаче. Входами классификаторов этого уровня являются значения, получаемые на выходе классификаторов первого уровня. При этом для каждого j-го классификатора второго уровня () обучение выполняется по следующему правилу: целевым значением на выходе классификатора для всех примеров, соответствующих классу с номером j, является 1, для всех остальных примеров целевым значением выхода классификатора j является 0.

Таким образом, на втором этапе выполняется декомпозиция задачи, когда каждый классификатор второго уровня формирует в пространстве поверхность, отсекающую объекты одного класса от объектов, относящихся к любому из других классов. Для решения этой задачи автор предлагает использовать метод, основанный на применении гибридного генетического программирования для комбинирования решений отдельных нейронных сетей [10].

Этап 3: агрегация решений классификаторов второго уровня с целью выработки общего решения – значения класса для входного набора. Выбор правила для формирования решения является предметом дальнейших исследований. В рамках предлагаемого подхода авторы использовали следующее простое и при этом очевидное правило: классифицируемый объект относится к тому классу, для которого соответствующий классификатор второго уровня выдал максимальное значение выходного сигнала.

Численные исследования

Для оценки эффективности предложенного метода был проведен ряд численных экспериментов. В ходе численных исследований, необходимых для проведения сравнительного анализа, были получены результаты и для других методов формирования коллективных классификаторов и подходов, использующих другие (неколлективные) методы классификации. Результаты для коллективных подходов получены в программной системе IT-Pegas, разработанной автором. В ходе исследований, помимо предложенного метода, были получены результаты для следующих подходов комбинирования решений классификаторов: простое усреднение, равноправное голосование, правило Борда и метод многоярусного обобщения. Для некоторых других подходов результаты взяты из [11]. Полный список методов приведен в первой колонке таблицы 1.

Таблица 1

Метод классификации

Оценка надежности классификации

Credit Australia-1

Credit Germany

Liver Disorder

Коллективный классификатор на нечеткой логике

0,921

0,821

0,757

Классификатор на нечеткой логике

0,891

0,794

0,725

Байесовский классификатор

0,847

0,679

0,629

Одиночный многослойный персептрон

0,833

0,716

0,693

Бустинг

0,760

0,700

0,656

Бэггинг

0,847

0,684

0,630

Метод случайных подпространств

0,852

0,677

0,632

Коллектив ИНС + простое усреднение

0,892

0,805

0,740

Коллектив ИНС + равноправное голосование

0,918

0,815

0,783

Коллектив ИНС + правило Борда

0,905

0,831

0,772

Коллектив ИНС + метод многоярусного обобщения

0,925

0,852

0,785

Предлагаемый подход

0,947

0,857

0,804

В ходе экспериментов для оценки эффективности использовалась пятикратная кросс-проверка, при этом каждый раз результаты усреднялись по результатам проектирования и решения задачи с помощью пяти различных коллективов нейронных сетей. В качестве меры эффективности приводилось среднее значение оценки надежности классификации, которая рассчитывалась как отношение правильно классифицированных примеров к общему числу примеров в экзаменующей выборке. Для оценки статистической значимости результатов предлагаемого подхода использовался метод ANOVA.

При проектировании нейронных сетей, используемых в качестве классификаторов первого уровня, применялся вероятностный метод проектирования структур нейронных сетей [9]. В качестве базовой топологии нейронных сетей использовалась архитектура многослойного персептрона с максимальным числом скрытых слоев, равным двум, и максимальным числом нейронов на скрытых слоях, равным пяти. Для обучения сетей подошел генетический алгоритм с числом поколений, равным 100, количеством индивидов на каждом поколении, равным 100, и с дообучением лучшей сети. Конкретные типы операторов генетического алгоритма (тип селекции, тип  скрещивания, мутации) были выбраны в процессе предварительного тестирования.

В ходе экспериментов при проектировании классификаторов второго уровня для метода многоярусного обобщения использовалась нейронная сеть с архитектурой типа многослойный персептрон с двумя скрытыми слоями и не более чем с пятью нейронами на скрытом слое. При каждом прогоне структура нейронной сети формировалась заново с помощью метода автоматизированного проектирования структур нейронных сетей и обучалась с помощью генетического алгоритма с параметрами, указанными выше.

В качестве классификаторов второго уровня в предлагаемом трехэтапном методе использовались классификаторы, получаемые методом генетического программирования [12]. Число классификаторов на данном шаге эквивалентно числу классов в конкретной задаче. Количество поколений в методе генетического программирования для каждого классификатора равно 200, количество индивидов на каждом поколении – 100.

Во время численных исследований эффективность методов определялась на известных задачах классификации из репозитория Machine Learning Repository [13]. Информация о характеристиках задачи и объеме выборки в исходном наборе данных представлена в таблице 2.

Таблица 2

Набор данных

Количество атрибутов

Объем выборки

Credit Australia-1

14

690

Credit Germany

20

1000

Liver Disorder

6

345

Результаты численных экспериментов приведены в таблице 1.

В целом результаты численных экспериментов показывают, что предлагаемый подход не менее эффективен, чем другие методы, результаты оценки эффективности которых рассматривались в ходе сравнительного исследования. Предлагаемый метод показывает лучшие результаты на задачах диагностирования заболевания печени (Liver Disorder) и задаче о выдаче кредитов (Credit Australia-1), однако следует учитывать, что конкретные условия получения результатов для неколлективных подходов на данных задачах (в частности объем вычислительных ресурсов) не приводятся.

В заключение отметим, что в статье изложены основные идеи использования коллективов нейронных сетей для задач классификации, описаны некоторые методы комбинирования решений отдельных классификаторов, используемые для широкого круга задач. Предложен новый трехэтапный метод решения задач классификации с помощью коллективов нейронных сетей. Описаны методы проектирования технологий выработки решений на каждом этапе предлагаемого подхода. Приведены результаты численного исследования эффективности предлагаемого метода и некоторых известных конкурирующих подходов. Результаты проведенных исследований показали, что на двух задачах предлагаемый метод позволяет выполнять классификацию более надежно по сравнению с методами, использующими другие стратегии комбинирования, и с некоторыми известными неколлективными подходами. В дальнейшем планируется апробировать предложенный метод на ряде сложных практических задач.

Литература

1.     Hansen L.K., Salamon P. Neural network ensembles, IEEE Transactions on Pattern Analysis and Machine Intelligence, 1990, № 12, pp. 993–1001.

2.     Растригин Л.А., Эренштейн Р.Х. Метод коллективного распознавания. Библиотека по автоматике. Вып. 615. М.: Энергоиздат, 1981. 78 с.

3.     Javadi M., Ebrahimpour R., Sajedin A., Faridi S., Zaker­nejad S., Improving ECG Classification Accuracy Using an Ensemble of Neural Network Modules, PLoS ONE, 2011, Vol. 6.

4.     Perrone M.P., Cooper L.N. When networks disagree: ensemble method for neural networks, Artificial Neural Networks for Speech and Vision, New York, Chapman & Hall, 1993, pp. 126–142.

5.     Shimshoni Y., Intrator N. Classification of seismic signals by integrating ensembles of neural networks, IEEE: Transactions on Signal Processing, 1998. Vol. 46, pp. 1194–1201.

6.     Wolpert D.H. Stacked generalization. Neural Networks, 1992, no. 5, pp. 241–259.

7.     Jacobs R.A., Jordan M.I., Nowlan S.J., Hinton G.E. Adap­tive mixtures of local experts. Neural Computation, 1991, no. 3, pp. 79–87.

8.     Plumpton C.O., Kuncheva L.I. Choosing parameters for Random Subspace ensembles for fMRI classification, Proceedings of Multiple Classifier Systems (MCS'10), Cairo, Egypt, LNCS 5997, 2010, pp. 54–63.

9.     Kuncheva L.I. Combining Pattern Classifiers. Methods and Algorithms, Wiley, 2004.

10.  Bukhtoyarov V., Semenkina O. Comprehensive evolu­tionary approach for neural network ensemble automatic design, Proc. of 2010 IEEE World Congress on Computational Intelligence, Barcelona, 2010, pp. 1640–1645.

11.  Sergienko R.B., Semenkin E.S. Michigan and Pittsburgh Methods Combining for Fuzzy Classifier Generating with Coevolutionary Algorithm for Strategy Adaptation, Proc. of 2011 IEEE Congress on Evolutionary Computation, New Orleans, LA, USA, 2011.

12.       Espejo P.G., Ventura S., Herrera F. A survey on the application of genetic programming to classification, IEEE: Transactions on Systems, Man and Cybernetics, 2009, Vol. 40, no. 2, pp. 121–144.

13.  Frank A., Asuncion A. UCI Machine Learning Repository. University of California, School of Information and Computer Science, Irvine, CA, 2010. URL: http://archive.ics.uci.edu/ml (дата обращения: 06.07.2011).


Permanent link:
http://swsys.ru/index.php?page=article&id=3319&lang=&lang=en&like=1
Print version
Full issue in PDF (9.63Mb)
Download the cover in PDF (1.26Мб)
The article was published in issue no. № 4, 2012 [ pp. 101-106 ]

Perhaps, you might be interested in the following articles of similar topics: