Software & Systems

В настоящее время для решения сложных, творческих, нетривиальных проблем в различных областях человеческой деятельности все чаще применяются многоагентные системы (МАС). Многие из них уже прочно вошли в жизнь людей, зарекомендовав себя незаменимыми помощниками в решении креативных задач [1–3]. Однако эффективность работы МАС существенно зависит от того, насколько эффективны агенты, «населяющие» систему. Эффективность работы самих агентов напрямую зависит от их «взаимоотношений», от их способности прийти к согласию относительно распределения функций и видов выполняемых работ. В [4] установлено, что к интеллектуальным агентам применимо понятие психо-поведенческого типа. В любой МАС можно выделить агентов трех основных психо-поведенческих типов: принуждающего, уклоняющегося и компромиссного [5]. Подробные характеристики каждого из перечисленных типов приведены в [6] и других работах авторов, поэтому здесь они не описываются.

Психо-поведенческий тип интеллектуального агента является пусковым механизмом его деятельности. Когнитивная архитектура агента включает кратковременную и долговременную память, в которой хранится информация о мнениях, знаниях и целях агента, а также модули обучения [7]. В работе [7] говорится о том, что программный агент может принять на себя определенные обязатель- ства или, наоборот, отказаться от предлагаемого задания, мотивируя это отсутствием компетентности, занятостью другой задачей и т.п. В то же время программный агент способен выполнять такие действия, как порождение, подавление и замена других программных агентов, активизация функций, сценариев деятельности, запоминание текущего состояния других агентов и пр. Поскольку интеллектуальным агентам присущи антропоморфные свойства, с учетом сказанного выше можно утверждать, что при взаимодействии агенты могут менять как свой начальный психо-поведенческий тип, так и типы других агентов МАС.

В данной статье авторы предлагают програм- мную модель, с помощью которой можно исследовать изменение численности агентов каждого типа в зависимости от силы влияния агентов одного типа на агентов других типов. Кроме того, изменение численности зависит и от начального количества агентов каждого типа в системе. Проведение исследования подобного рода важно, так как количественный состав агентов каждого психо-поведенческого типа в МАС влияет на эффективность ее работы. Например, избыточное количество агентов принуждающего типа ведет к созданию в МАС конфликтных ситуаций, а превалирующее число агентов уклоняющегося типа создает информаци- онный дефицит, приводит к снижению активности агентов в системе. И то, и другое – негативные проявления межагентных взаимодействий, тормозящие работу МАС. Разработанная авторами модель позволяет выявить те моменты, когда необходимо вмешательство либо извне, либо осуществляемое самими агентами (саморегулирование и самоорганизация) с целью недопущения подобных негативных проявлений.

Методология системной динамики

В качестве количественного инструментария, позволяющего проанализировать причинно-следственные связи [8], авторами статьи была выбрана системная динамика, представляющая собой достоверный метод количественного и качественного исследований сложных систем с высокой степенью наглядности, поскольку МАС относится к сложным системам, в том числе и с позиций теории управления.

Методологию моделирования системной динамики предложил еще в 1961 г. американский инженер, профессор Массачусетского технологического института Джей Форрестер [9]. Системная динамика представляет собой совокупность принципов и методов анализа динамических управляемых систем с обратной связью и их применение для решения производственных, организационных и социально-экономических задач. В системах поддержки принятия решений применение системной динамики позволяет объединить несколько функциональных пространств организации в единое целое и обеспечить организационный и количественный базис для выработки более эффективной управленческой политики [10]. Методология системной динамики неразрывно связана с компьютерным моделированием. Успехи в развитии последнего убеждают в том, что мышление и действия интеллектуальных агентов могут не только тщательно изучаться, пониматься и воспроизводиться, но и качественно улучшаться. Компьютерное моделирование – одно из наиболее эффективных из разработанных в настоящее время средств для поддержки и уточнения человеческой интуиции, обеспечивающее более глубокое понимание проблемы. Системная динамика как метод имитационного моделирования включает:

-     структуризацию объекта;

-     построение системной диаграммы объекта, где указываются связи между элементами;

-     определение переменных для каждого элемента и темпов их роста;

-     принятие гипотез о зависимости каждого темпа роста от переменных и формальное описание этих гипотез;

-     процесс оценки введенных параметров с помощью имеющейся статистики [11].

Философия системной динамики основывается на предположении, что поведение системы чаще всего определяется ее информационно-логической структурой. Информационное взаимодействие агентов, лежащее в основе функционирования МАС, изменяет их поведение, отношение к по- ставленным задачам и т.п. При этом могут быть выделены источники усиления воздействий, временных задержек, информационные обратные связи [12, 13]. Интеллектуальные агенты генерируют сложные ответные реакции даже на относительно простые изменения в МАС. Для упорядочения этих изменений и откликов хорошо подходит системная динамика. Один из аспектов методологии системной динамики заключается в предположении, что МАС более эффективно представима в терминах потоков и накопителей, нежели в терминах отдельных функций. Конечно же, в данном случае речь идет об информационных потоках.

Методология системной динамики достаточно наглядна, так как базируется на естественных логических конструкциях, причинно-следственных связях, что позволяет анализировать развитие системы во времени. Системная сущность МАС и высокая динамическая сложность межагентного взаимодействия являются неоспоримым обоснованием выбора методологии системной динамики для моделирования в настоящей работе.

Математическое, программное и информационное обеспечение

Математической основой системной динамики являются системы нелинейных дифференциальных уравнений первого порядка. Аналитическое решение многих таких систем затруднительно, поэтому для получения их численного решения и графической иллюстрации применяются пакеты имитационного моделирования. Программными средства­ми, поддерживающими подход системной динамики, являются AnyLogic, Arena, SimBioSys, eM-Plant, Tecnomatix Plant Simulation, SimuLab, VenSim, PowerSim, Stella, Ithink, ModelMaker и др. Для построения моделей в них используется графическое представление зависимостей переменных в виде так называемых stock and flow diagrams. Модели системной динамики хорошо реализуются в среде AnyLogic, так как AnyLogic является инструментом имитационного моделирования нового поколения, который основан на результатах, полученных в теории моделирования и в информационных технологиях за последнее десятилетие.

AnyLogic поддерживает разработку и моделирование систем обратной связи (диаграммы потоков и накопителей, правила решений, включая массивы переменных). Итак, с помощью AnyLogic можно выполнять следующее:

-     определять потоковые переменные одну за другой;

-     использовать автозаполнение при работе с формулами;

-     создавать копии переменных для лучшей читаемости модели;

-     использовать табличные функции со ступенчатой, линейной, сплайновой интерполяциями;

-     определять поведение функции за пределами допустимой области;

-     определять поддиапазоны и подразмерности;

-     объявлять переменные-массивы с заданной размерностью;

-     задавать различные уравнения для различных наборов элементов массива;

-     использовать как специальные инструменты системной динамики, так и возможности языка Java.

Для разработки сложных аналитических и имитационных моделей используются среды визуального программирования и моделирования MATLAB, MvStudium, AnyLogic, Arena и др. Программный пакет AnyLogic позволяет анализировать и моделировать системы динамического типа. Разные средства анимации, спецификации и анализа результатов, имеющиеся в AnyLogic, позволяют строить модели, имитирующие или анимирующие практически любой физический процесс (а также строить и многие другие модели), выполнять анализ моделей на компьютере без проведения реальных экспериментов и самостоятельных сложных вычислений. Все это обусловило выбор авторами среды имитационного моделирования AnyLogic Personal Learning Edition.

AnyLogic предоставляет специальные элемен- ты – динамические переменные для задания дифференциальных и алгебраических уравнений: накопитель (для дифференциальных уравнений) и динамическую переменную (для формул). Данные внутри модели задаются с помощью параметров (статические характеристики) и переменных (элементы данных, меняющие свое значение по ходу моделирования). В системной динамике накопители используются для представления таких объектов реального мира, в которых сосредоточиваются некоторые ресурсы. Накопители задают статическое состояние моделируемой системы. Их значения изменяются с течением времени согласно существующим в системе потокам. Таким образом, именно потоки задают динамику системы. В соответствии с классическим подходом входящие в накопитель потоки увеличивают его значение, а исходящие потоки уменьшают его [11].

Пусть NC(0), NF(0), NE(0) – начальное количество агентов компромиссного, принуждающего и уклоняющегося типов соответственно; NC(t), NF(t), NE(t) – численность агентов, меняющаяся со временем; aCF(t), aCE(t) – коэффициенты влияния агентов компромиссного типа на агентов принуждающего и уклоняющегося типов соответственно; aEC(t), aEF(t) – коэффициенты влияния агентов уклоняющегося типа на агентов компромиссного и принуж- дающего типов соответственно; aFC(t), aFE(t) – коэффициенты влияния агентов принуждающего типа на агентов компромиссного и уклоняющегося типов соответственно; , где T – последний момент прогона модели.

Тогда модель взаимодействия агентов, которое приводит к изменению численности представителей каждого психо-поведенческого типа, математически изображается следующим образом:

 (1)

Здесь вопреки классическому подходу потоки, входящие в накопители, уменьшают значения последних, а потоки, исходящие из накопителей, наоборот, увеличивают их значения. Это обусловлено логикой межагентного взаимодействия: каждая группа агентов своим влиянием вынуждает агентов двух других групп обрести такой же психо-поведенческий тип, причем успех воздействия зависит не только от величины коэффициентов влияния, но и от начальной и меняющейся со временем численностей агентов каждой из групп. Чем больше агентов становится в определенной группе, тем больше сила их влияния на агентов из других групп. Однако убежденность в собственном превосходстве ослабляет силу влияния этих агентов, вследствие чего у других агентов появляется шанс изменить ситуацию в свою пользу.

В таблице 1 показано соответствие между элементами модели (1) и этими же элементами в интерпретации системной динамики AnyLogic.

Все параметры, приведенные в таблице 1, могут изменяться в диапазоне от нуля до единицы. При этом равенство параметров нулю означает полное отсутствие влияния, равенство единице – максимальное влияние. На рисунке изображена построенная модель взаимодействия.

Модель дополнена шестью элементами типа «Бегунок» (slider), с помощью которых можно менять параметры влияния во время прогона модели. Для наглядности изменения численности агентов всех указанных типов во время работы модели в ней также предусмотрено построение временных графиков, где ось абсцисс – это ось времени, а ось ординат – численность агентов.

Работа модели взаимодействия агентов

Построенная модель запускается на выполнение нажатием специальной кнопки или клави- ши F5. В начальный момент времени все параметры равны нулю, поскольку до начала работы над общей проблемой агенты не имеют друг на друга никакого влияния. Как только они получают задание, начинается информационное взаимодействие. Каждый агент старается убедить других в своей правоте и привлечь их на свою сторону. Манера убеждения зависит от психо-поведенческого типа агента. Так, агенты принуждающего типа наиболее агрессивно проявляют себя на первых шагах взаимодействия, навязывая свою волю агентам двух других типов. Агенты уклоняющегося типа на первых порах не выражают агрессии, стараются избегать конфликтов и любых взаимодействий, которые могут привести к конфликтам. Агенты компромиссного типа сначала оказывают примиряющее влияние на агентов двух других типов, а затем действуют по ситуации. В зависимости от силы влияния и от начального количества агентов в системе их численность в процессе информационного взаимодействия постоянно варьируется. В силу своей интеллектуальности агенты меняют коэффициенты влияния, как только начинают осознавать, что агентов их типа (их сторонников) становится все меньше. Авторами работы было проведено множество экспериментов с моделью взаимодействия, в каждом эксперименте было выполнено не менее 70 прогонов модели. В таблице 2 приведена исходная информация для наиболее важных экспериментов.

Из таблицы видно, что в первом эксперименте начальное количество агентов каждого типа одинаково. Во всех остальных экспериментах начальная численность агентов менялась так, как показано в таблице 2. При этом в первом эксперименте в МАС насчитывается всего 99 агентов, а во всех остальных экспериментах – 100 агентов. Их общая численность со временем не меняется. Агенты не прибывают и не выбывают из системы на протяжении каждого эксперимента.

В таблице 3 приведены значения управляющих воздействий, генерируемых агентами в первом эксперименте, когда одни из них «начинают осознавать» свое превосходство, а другие – собственную незначительность. Модельное время равно 120 тактам.

Результаты прогонов № 5, № 6 и № 10 показаны на рисунках (см. http://www.swsys.ru/uploaded/ima ge/2018_1/2018-1-dop/26.jpg, http://www.swsys.ru/ uploaded/image/2018_1/2018-1-dop/7.jpg, http:// www.swsys.ru/uploaded/image/2018_1/2018-1-dop/8. jpg).

Наиболее оптимальный состав МАС был получен в первом эксперименте на десятом прогоне модели: 56 агентов компромиссного типа, 33 агента уклоняющегося типа и 10 агентов принуждающего типа. Эмпирическим путем установлено, что наличие в МАС большего количества агентов компромиссного типа и меньшего числа агентов принуж- дающего типа обеспечивает наиболее эффектив- ную работу системы. Окончательно получено, что численность агентов в МАС в процессе информационного взаимодействия на 82 % зависит от реакции агентов на изменение численности группы, к которой они относятся по психо-поведенческому типу, и на 18 % − от начальной численности агентов в системе. Таким образом, даже если на начальном этапе в системе будет численный перевес в пользу агентов уклоняющегося или принуждающего типа, то в процессе информационного взаимодействия под влиянием агентов компромиссного типа и собственного осознания  того, что от успеха всей системы зависит их собственное благополучие, такие агенты могут изменить свой тип на компромиссный. Просто это занимает больше времени.

Заключение

Анализ полученных результатов показывает нелинейный характер изменения численности агентов каждого психо-поведенческого типа при их взаимодействии. Наибольшую чувствительность модель демонстрирует к изменению таких пара- метров, как коэффициенты взаимного влияния. Модель построена на основе методологии системной динамики, одним из преимуществ которой является возможность применения экспертных оценок величин состояний исследуемых процессов. Разработчик модели может исключать ненужные переменные либо добавлять новые. Основой для сравнения результатов прогона модели выступает изменение параметров взаимодействия агентов разных типов при их неизменной первоначальной численности. Модель открыта для модификации с учетом того, что агенты могут как прибывать в систему, так и выбывать из нее в силу определенных причин. Выбытие агентов может происходить, например, если они не справились с заданием из-за отказа пойти на компромисс. Тогда логично, что их место могут занять и новые, и уже действующие в системе агенты. Для моделирования подобных ситуаций хорошо подходит среда имитационного моделирования AnyLogic.

В данной работе также обоснован выбор методологии системной динамики для исследования взаимодействия агентов в МАС, смены их психо-поведенческих типов. Модель, спроектированная на основе этой методологии, позволила увидеть, как меняется численность агентов каждого из представленных психо-поведенческих типов во времени, и выяснить, какие факторы влияют на это изменение в большей степени. Исследован характер влияния параметров взаимодействия агентов на их численность в МАС, в качестве которых были выбраны уровни уклонения, агрессии и убеждения. Эксперименты подтвердили зависимость динамики численности агентов разных типов от указанных величин.

Работа выполнена при поддержке РФФИ, грант № 15-07-05617-а.

Литература

1.     Городецкий В.И., Скобелев П.О., Бухвалов О.Л. Промышленные применения многоагентных систем: прогнозы и реалии // Проблемы управления и моделирования в сложных системах: тр. XVIII Междунар. конф. Самара. 2016. С. 137–162.

2.     Городецкий В.И., Бухвалов О.П., Скобелев П.О., Майоров И.В. Современное состояние и перспективы индустриальных применений многоагентных систем // Управление большими системами: сб. тр. 2017. № 66. С. 94–157.

3.     Массель Л.В., Гальперов В.И. Анализ надежности работы многоагентных систем с использованием графовой модели // Вестн. Иркутского гос. технич. ун-та. 2017. Т. 21. № 1. С. 72–80.

4.     Тарасов В.Б. От многоагентных систем к интеллектуальным организациям: философия, психология, информатика. М.: Эдиториал УРСС, 2002. 352 с.

5.     Мутовкина Н.Ю., Клюшин А.Ю., Кузнецов В.Н. Семантическое определение типа агента в многоагентной системе. Проблема межагентного взаимодействия // Открытые семантические технологии проектирования интеллектуальных систем = Open Semantic Technologies for Intelligent Systems (OSTIS-2013): матер. III Междунар. науч.-технич. конф. Минск: Изд-во БГУИР, 2013. С. 309–316.

6.     Mutovkina N.Yu., Klyushin A.Yu., Kuznetsov V.N. Stability of containment strategy in multi-agent systems. Automation and Remote Control, 2015, vol. 76, iss. 6, pp. 1088–1093.

7.     Тарасов В.Б. О спецификации когнитонов и инженерии интенций к обобщенной архитектуре деятельности агентов // Гибридные и синергетические интеллектуальные системы: матер. III Всерос. Поспеловской конф. с междунар. участием. 2016. С. 94–114.

8.     Sterman J.D. Business Dynamics. Systems thinking and modeling for a complex world. McGraw-Hill, Boston, 2000, 825 p.

9.     Forrester J.W. Industrial dynamics. Cambridge, MIT Press, 1961, 256 p.

10.  Комиссарова М.А. Возможности исследования сложных производственных систем // Вестн. Южно-Рос. гос. технич. ун-та (Новочеркасского политехнич. ин-та). Сер.: Социально-экономические науки. 2012. № 1. С. 42–50.

11.  Маликов Р.Ф. Практикум по имитационному моделированию сложных систем в среде AnyLogic 6. Уфа: Изд-во БГПУ, 2013. 296 с.

12.     Акопов А.С. Имитационное моделирование: учебник и практикум для академического бакалавриата. М.: Юрайт, 2015. 389 с.

13.  Коровин А.М. Моделирование систем: учебное пособие к лабораторным работам. Челябинск: Издат. центр ЮУрГУ, 2010. 47 с.