Software & Systems

Нейронные сети сегодня позволяют успешно решать различные задачи, связанные с обработкой и анализом данных в области робототехники, медицины, экономики, связи, автоматизации производства и пр. К таким задачам можно отнести распознавание образов, формирование моделей принятия решений, системы управления различными устройствами, системы массового обслуживания и многие другие.

При решении такого рода задач получены различные результаты, в которых рассматривается большое количество конфигураций нейронных сетей с различными принципами их обучения [1–3]. Алгоритмы обучения искусственных нейронных сетей (ИНС) подразделяют на два класса: детерминистские и стохастические. В основе детерминистских методов при обучении сети лежит строгая последовательность действий, направленная на коррекцию весов сети на основе значений входных величин, выходов, полученных в результате расчетов, и желаемых выходов. В стохастических методах при обучении сети изменение весов основано на псевдослучайных значениях. При этом сохраняются значения, которые ведут к улучшению ре- зультата.

Одним из классических методов обучения мно- гослойной сети является алгоритм обратного рас- пространения ошибок [4]. Основная идея этого алгоритма базируется на градиентных методах оптимизации и применима только к дифференцируемым функциям активации нейронов сети. Минимизация среднеквадратичной ошибки сети осуществляется градиентным методом наискорейшего спуска. Обучение нейронной сети классическими алгоритмами зачастую приводит к попаданию в локальные минимумы. Различные комбинированные алгоритмы, обеспечивающие широту (диверсификацию) изменения величин весов, исследовались неоднократно [5–7]. Применение биоинспирированных алгоритмов при решении задач поисковой оптимизации с нелинейной целевой функцией обеспечивает диверсификацию поиска решений. Одним из таких методов является алгоритм светлячков (firefly algorithm, FA) [8]. Ранее авторами был рассмотрен алгоритм [9], в котором весовые коэффициенты нейронной сети уточняются на основе алгоритма светлячков. Выявлено, что использование этого алгоритма позволяет получить более эффективное решение по сравнению с классическим методом настройки весовых коэффициентов. В то же время при обучении нейронных сетей количество нейронов и скрытых слоев влияет на быстродействие ее обучения, возникновение ошибок (в случае, если сеть не удалось обучить) и пр. Определение в общем случае этих параметров ИНС на сегодняшний день является до конца не изученной проблемой. Как правило, количество нейронов и скрытых слоев подбирается для каждой отдельной задачи [10–12]. В связи с этим большой интерес представляет вопрос о влиянии структуры нейронной сети на скорость и точность ее обучения.

В настоящем исследовании анализируется работа комбинированного алгоритма светлячков для настройки весовых функций для многослойных нейронных сетей с тремя входными нейронами, двумя скрытыми слоями, содержащими различное количество нейронов, и выходным слоем, содержащим один нейрон.

Описание алгоритма роя светлячков

В роли поисковых агентов выступают светлячки. В основе алгоритма лежит их поведение, наблюдаемое в живой природе. Для коммуникации между особями светлячки используют яркость света. Каждая особь характеризуется яркостью и позицией. При этом светлячки с наименьшей яркостью перемещаются к особям с наибольшей яркостью. Если яркость светлячков одинакова, они перемещаются произвольным образом. Яркость светлячка прямо пропорциональна величине целевой функции и обратно пропорциональна квадрату расстояния между особями:

,

где r – расстояние до светлячка; t – коэффициент поглощения света среды. Изменение позиции светлячка с номером i к светлячку с номером j осуществляется по формуле

где S – вектор, учитывающий изменение координаты перемещения светлячка; расстояние между светлячками с номерами i и j: .

Алгоритм состоит из следующих шагов.

С1. Задаем начальные значения свободным параметрам алгоритма светлячков. Обозначим через N количество светлячков, через M – количество итераций.

С2. Случайным образом задаем n начальных точек, соответствующих начальным положениям светлячков в начальный момент времени t = 0, X(0) = (X1(0), X2(0), …, Xn(0)), в пространстве R|X|.

С3. Вычисляем в этих точках значение целевой функции f(Xi(0)). Задаем значение счетчика числа итераций k = 0.

С4. Проверяем условие f (Xi(k)) > f (Xj(k)). Если условие истинно, передвигаем светлячка с номером j к светлячку с номером . Новое расположение светлячка с номером  вычисляем по формуле

где d – свободный параметр рандомизации; S – случайное число из интервала (–1; 1).

С5. Вычисляем значение f(Xj(k)). Если i < N, полагаем i = i + 1, переходим к шагу C4. Если условие ложно, проверяем условие j < N. Если условие истинно, полагаем j = j + 1, i = 1и переходим к шагу С4. Если i = j = N, завершаем алгоритм.

Настройка весовых коэффициентов искусственной нейронной сети светлячковым алгоритмом

Предлагаемый алгоритм обучения ИНС представлен на рисунке 1 и состоит из следующих шагов.

1.  Выполняем шаги C1–C2 алгоритма светлячков.

2. Создаем ИНС с первоначальной инициализацией весовых коэффициентов w, соответствующих положениям светлячков в начальный момент времени.

3. Повторяем шаги 4–9.

4. На вход сети подаем входной вектор Xi, для которого получаем выходное значение Yi.

5. Вычисляется вектор ошибки на выходе сети: di = Yi – Y.

6. Выполняем шаг C4 алгоритма светлячков.

7. Вычисляем изменение вектора весовых коэффициентов в области малых ошибок по формуле w(t + Δt) = w(t) + g × Xi × di, где g – коэффициент скорости обучения (0 < g £ 1).

8. Проверяем условие завершения обучения. Обучение завершается, если суммарная абсолютная ошибка по всем векторам меньше ранее заданного малого значения.

Результаты экспериментальных исследований

Для исследования были взяты трехслойные сети (рис. 2), реализующие функцию Xor.

При тестировании алгоритма для всех видов сетей были использованы одни и те же параметры. Для алгоритма светлячков количество агентов в рое N = 40, количество циклов (эпох) алгоритма t = 1. Для обучения нейронных сетей скорость обу- чения 0,3, импульс 0,1, точность 0,000001.

Размерность D меняется в зависимости от структуры нейронной сети и соответствует количе- ству связей в каждой сети. Результаты вычислительных экспериментов представлены на рисунках (http://www.swsys.ru/uploaded/image/2018-4/2018-4- dop/10.jpg, http://www.swsys.ru/uploaded/image/2018- 4/2018-4-dop/11.jpg).

Выводы

В результате проведенных исследований из рассмотренных трехслойных моделей сетей была выявлена структура, позволяющая находить достаточно эффективное решение поставленной задачи. Такой структурой оказалась {3;4;2;1}. Дальнейшие исследования могут быть направлены на улучшение полученного решения нахождения глобального оптимума за счет дальнейшей настройки свободных параметров алгоритма обучения для выявленной структуры сети.

Статья написана при поддержке гранта РФФИ № 16-01-00391 «Разработка комбинированных алгоритмов для решения распределительных и транспортных задач с использованием идеологии искусственных иммунных систем и биоинспирированных алгоритмов».

Литература

1.     Grossberg S. Nonlinear neural networks: Principles, me- chanisms, and architectures. Neural networks, 1988, vol. 1, no. 1, pp. 17–61. DOI: 10.1016/0893-6080(88)90021-4.

2.     Schmidhuber J. Deep learning in neural networks: An overview, Neural networks, 2015, no. 61, pp. 85–117. DOI: 10.1016/ j.neunet.2014.09.003.

3.     Каллан Р. Основные концепции нейронных сетей. М.: Вильямс, 2001. 288 с.

4.     Rumelhart D.E., Hinton G.E., Williams R.J. Learning representations by back-propagating errors. Nature, 1986, vol. 323, no. 6088, pp. 533–536. DOI: 10.1038/323533a0.

5.     Zhang J.R., Zhanga J., Lok Tat-Ming, Lyu M.R. A hybrid particle swarm optimization–back-propagation algorithm for feedforward neural network training. Applied mathematics and computation, 2007, vol. 185, no. 2, pp. 1026–1037. DOI: 10.1016/j.amc. 2006.07.025.

6.     Ozturk C., Karaboga D. Hybrid artificial bee colony algorithm for neural network training. Evolutionary Computation (CEC), Proc. IEEE Congress, 2011, pp. 84–88. DOI: 10.1016/j.amc. 2006.07.025.

7.     Nawi N.M., Khan A., Rehman M.Z. A new back-propagation neural network optimized with cuckoo search algorithm. Proc. Intern. Conf. on Computational Science and Its Applications. Springer, Berlin, Heidelberg, 2013, pp. 413–426. DOI: 10.1007/978-3-642-39637-3_33.

8.     Yang X.S. Firefly algorithms for multimodal optimization. Proc. Intern. Sympos. on Stochastic Algorithms. Springer, Berlin, Heidelberg, 2009, pp. 169–178. DOI: 10.1007/978-3-642-04944-6_14.

9.     Остроух Е.Н., Евич Л.Н., Панасенко П.А. Разработка гибридного алгоритма решения оптимизационных задач принятия решений и управления // Искусственный интеллект: проблемы и пути их решения-2018: сб. докл. Междунар. конф. M.: Арсенал Отечества, 2018. № 1. С. 165–168.

10.  Хайкин С. Нейронные сети: полный курс. М.: Вильямс, 2008. 1104 с.

11.  Галушкин А.И. Нейронные сети. Основы теории. М.: Горячая линия–Телеком, 2012. 496 с.

12.  Lin C.T., Lee C.S.G. Neural-network-based fuzzy logic control and decision system. IEEE Transactions on computers, 1991, vol. 40, no. 12, pp. 1320–1336. DOI: 10.1109/12.106218.

References

1. Grossberg S. Nonlinear neural networks: Principles, mechanisms, and architectures. Neural Networks. 1988, vol. 1,
   no. 1, pp. 17–61. DOI: 10.1016/0893-6080(88)90021-4.
2. Schmidhuber J. Deep learning in neural networks: An overview. Neural Networks. 2015, no. 61, pp. 85–117. DOI: 10.1016/j.neunet.2014.09.003.
3. Kallan R. Basic Principles of Neural Networks. Moscow, Vilyams, 2001, 288 p.
4. Rumelhart D.E., Hinton G.E., Williams R.J. Learning representations by back-propagating errors. Nature. 1986,
   vol. 323, no. 6088, pp. 533–536. DOI: 10.1038/323533a0.
5. Zhang J.R., Zhanga J., Lok Tat-Ming, Lyu M.R. A hybrid particle swarm optimization–back-propagation algorithm for feedforward neural network training. Applied Mathematics and Computation. 2007, vol. 185, no. 2, pp. 1026–1037. DOI: 10.1016/j.amc.2006.07.025.
6. Ozturk C., Karaboga D. Hybrid artificial bee colony algorithm for neural network training. IEEE Congress on Evolutionary Computation (CEC), 2011. 2011, pp. 84–88. DOI: 10.1016/j.amc.2006.07.025.
7. Nawi N.M., Khan A., Rehman M.Z. A new back-propagation neural network optimized with cuckoo search algorithm. Intern. Conf. on Computational Science and its Applications. Springer, Berlin, Heidelberg Publ., 2013, pp. 413–426. DOI: 10.1007/978-3-642-39637-3_33.
8. Yang X. S. Firefly algorithms for multimodal optimization. Intern. Symp. on Stochastic Algorithms. Springer, Berlin, Heidelberg Publ., 2009, pp. 169–178. DOI: 10.1007/978-3-642-04944-6_14.
9. Ostroukh E.N., Evich L.N., Panasenko P.A. Development of a hybrid algorithm for solving optimization problems of decision making and control. Artificial Inteligence: Problems and Solutions-2018: Proc. Intern. Conf. Moscow, Arsenal Otechestva Publ., 2018, no. 1, pp. 165–168 (in Russ.).
10. Khaykin S. Neural Networks: A Full Course. Moscow, Vilyams Publ., 2006,
11. Galushkin A. I. Neural Networks. Fundamentals of the Theory. Moscow, Goryachaya liniya–Telekom Publ., 2012, 496 p.
12. Lin C.T., Lee C.S.G. Neural-network-based fuzzy logic control and decision system. IEEE Trans. on Computers. 1991, vol. 40, no. 12, pp. 1320–1336. DOI: 10.1109/12.106218.