Программные продукты и системы

В последние годы большое внимание уделяется изучению и созданию искусственных нейронных сетей, которые используются в различных системах управления, аэронавтике, медицине и экономике. Прототипом для создания искусственного нейрона послужил биологический нейрон, нервная клетка головного мозга. Известно, что размер нервной клетки в поперечнике составляет 30 микрон (мкм). У тела нервной клетки имеются отростки, представляющие собой ветвящиеся структуры, называемые дендритами, они простираются на 200–300 мкм от тела клетки. Большинство нейронов имеют также более длинный отросток, называемый аксоном, который может иметь протяженность от 50 мкм до нескольких метров и быть разветвленным.

Под внешним воздействием нейрон может "сработать", создавая выходной импульс, который далее распространяется по аксону. Обычно это происходит под воздействием импульсов, поступающих из других нейронов через возбуждающие синапсы. Между моментом прихода импульса к данному нейрону и появлением сигнала на его выходе всегда имеется синаптическая задержка, равная примерно 1 мс. Таким образом, "вычислительные" элементы мозга действуют медленно по сравнению с элементами вычислительных машин, где скорости передачи сигналов измеряются в наносекундах.

Высокая "вычислительная эффективность" мозга достигается не за счет больших скоростей выполнения операций на нейронном уровне, а благодаря одновременному действию большого числа нейронов. В отличие от этого в вычислительных машинах все операции выполняются последовательно.

В настоящее время большое внимание уделяется моделированию и исследованию искусственных нейронных сетей, программа управления которыми должна работать в реальном времени, обладать способностью к обучению, максимально полно использовать поступающую извне информацию, иметь память о прошлых ситуациях, обладать способностью непрерывного обобщения и классификации поступающей информации.

В работе рассмотрена проблема моделирования и обучения искусственной нейронной сети достаточно общей топологии, описываемой системой дифференциальных уравнений с запаздыванием, вызванным конечным временем передачи сигнала от входного синапса к выходному (от одного нейрона к другому). Для решения этой задачи используется аппарат математической теории оптимального управления, позволяющий для различных критериев определить оптимальные весовые коэффициенты нейронной сети, и теория решения дискретных задач методами нелинейного программирования.

На динамическое поведение нейронной сети влияют такие факторы, как входные данные, топология сети и физические свойства отдельного элемента. В нашем случае выходные характеристики нейронной сети являются функцией топологии сети и входных данных. При этом учитывается влияние запаздывания при передаче сигнала от одного нейрона к другому. Взаимодействие нейронов описывается весовыми коэффициентами , которые характеризуют силу воздействия -го нейрона на -й нейрон. Если , то связь возбуждающая, если , то связь тормозящая, если , то связь либо нейтральна, либо отсутствует.

Коэффициенты  определяют организацию нейронной сети. Согласно [8] из многообразия организаций можно выделить три основных типа: иерархический тип, локальные сети и дивергентные сети с одним входом.

Иерархическая организация характерна для систем, воспринимающих и проводящих информацию в мозг, а также осуществляющих исполнительскую деятельность. В этих сетях информация передается последовательно от одного уровня к другому. Передача осуществляется конвергентно (несколько нейронов одного уровня контактируют с одним нейроном другого уровня) и дивергентно (нейрон одного уровня образует связи с несколькими нейронами другого уровня).

Считается, что конвергенция и дивергенция обеспечивают точность и надежность передачи информации.

Локальные сети образованы нейронами с короткими аксонами, нейроны этих сетей действуют как фильтры, удерживающие поток информации в пределах определенного иерархического уровня.

Дивергентные сети с одним входом характеризуются тем, что один нейрон образует выходные связи с очень большим числом других элементов, оказывает влияние на множество нейронов и может осуществлять связь со всеми иерархическими уровнями.

В некоторых работах рассматривается модульный принцип организации мозга, когда нейроны распадаются на ансамбли, динамически связанные между собой.

Разработанный здесь подход накладывает незначительные ограничения на топологию нейронной сети и может быть использован без каких-либо дополнительных изменений для работы нейронной сети в непрерывном режиме на заданном интервале времени.

Динамика нейронной сети описывается системой дифференциальных уравнений с запаздыванием

             (1)

начальные состояния сети заданы и характеризуют индивидуальный вход нейрона:

.                  (2)

Активационные функции  выбираются в следующем виде: , , , где  – постоянные величины. Весовые коэффициенты  рассматриваются как функции управления, которые выбираются таким образом, чтобы функционал (3) был минимальным:

.        (3)

В качестве функции  может быть выбрана энергия нейронной сети, функция Ляпунова, интеграл вероятности ошибки и т.д. Терминальная функция  характеризует состояние системы в конечный момент времени . Например, они могут быть заданы следующим образом:

,

где  – положительные параметры.

Введем обозначения , .

Задача оптимального управления состоит в определении весовых коэффициентов , минимизирующих функционал (3).

Теорема. Пусть задача (1)-(3) имеет оптимальное решение, тогда оптимальные функции управления ,  удовлетворяют системе алгебраических уравнений

,

где сопряженные функции  являются решением системы дифференциальных уравнений с опережающим аргументом

с граничными условиями

.

В модели могут быть учтены ограничения на функции управления . Если в задаче (1)–(3) присутствуют ограничения на функции управления , то из принципа максимума следует, что:                  =

.

Построим для непрерывной модели (1)–(3) соответствующую дискретную модель [4]. В дискретной модели состояние системы на  шаге описывается рекуррентными соотношениями вида

Минимизируемый функционал аппроксимируется функцией

,            (4)

здесь ,  – состояние -го нейрона на -м шаге; функции ,  характеризуют топологию нейронной сети, .

Оптимальные значения весовых коэффициентов  на -м шаге, , выбираются из условия минимума функции (4).

В этом случае оптимальные значения весовых коэффициентов и векторов состояний являются решением системы алгебраических уравнений

сопряженные векторы , входящие в данную систему, определяются условиями

где .

Задача определения оптимальных значений весовых коэффициентов решена с помощью метода проекции градиента и метода функций штрафа.

Приведем результаты анализа нейронной сети при условии, что на весовые коэффициенты наложены ограничения , , ,

На рисунках 1, 2 изображены функции, соответствующие оптимальному состоянию нейронной сети, , , оптимальные весовые коэффициенты , , и сопряженные функции , , . Целью работы нейронной сети является перевод ее из состояния (-1, 1, -0,5) в состояние (1, -1, 0,5). Эффект запаздывания учитывается у первого нейрона:

, .

Параметры режима, представленного на рисунке 1, следующие: коэффициенты , , , , точность вычислений 10-8. За 1062 итерации значение минимизируемого функционала достигло величины  (), что означает достаточно высокую эффективность метода.

Параметры режима, представленного на рисунке 2: коэффициенты , , , , точность вычислений 10-8. За 720709 итераций значение минимизируемого функционала достигло величины 3,1694692 ().

Список литературы

1.   Андреева Е.А. Оптимизация искусственной нейронной сети: Применение функционального анализа в теории приближений. //Сб. научн. тр. - Тверь: ТвГУ, 1996. - С. 7–12.

2.   Андреева Е.А., Колмановский В.Б., Шайхет Л.Е. Управление системами с последействием. - М.: Наука, 1992.

3.   Андреева Е.А., Пустарнакова Ю.А. Оптимизация нейронной сети с запаздыванием: Применение функционального анализа в теории приближений: //Сб. научн. тр. - Тверь: ТвГУ, 2000. - Ч.1 - С. 14–30.

4.   Евтушенко Ю.Г. Методы решения экстремальных задач и их применение в системах оптимизации. - М.: Наука, 1982.

5.   Интеллектуальные процессы и их моделирование. //Сб. под ред. Е.П. Велихова. - М.: Наука, 1987.

6.   Кащенко С.А., Майоров В.В. Об одном дифференциально-разностном уравнении, моделирующем импульсную активность нейрона// Математическое моделирование. - 1993. - Т. 5. - №12. - С. 13–25.

7.   Кащенко С.А., Майоров В.В. Волновые структуры в клеточной сети из формальных нейронов Хатчинсона// Радиотехника и электроника. - 1995. - Вып. 6. - С. 925–936.

8.   Майоров В.В., Мышкин И.Ю. Математическое моделирование нейронов сети на основе уравнений с запаздыванием// Математическое моделирование. - 1990. - Т. 2. - №11. - С. 64–76.

9.   Мышкис А.Д. Линейные дифференциальные уравнения с запаздывающим аргументом. - М.: Наука, 1972.

10.    Эльсгольц Л.Э., Норкин С.Ю. Введение в теорию дифференциальных уравнений с отклоняющимся аргументом. - М.: Наука, 1971.

11.    Эндрю А. Искусственный интеллект. - М.: Мир, 1985.

12.    Albertini F., Sontag E. For Neural Networks Function Determines Form// Neural Networks. 1993. Vol. 6. P. 975–990.

13.    Farotimi O., Dembo A., Kailath T. A general weight matrix formulation using optimal control// IEEE Transactions on neural networks. 1991.Vol. 2, №3.

14.    Hopfield J. J. Neural networks and physical systems with emergent collective computational abilities// Proc. Nat. Acad. Sci. 1988. Vol. 79. P. 2554–2558.