ISSN 0236-235X (P)
ISSN 2311-2735 (E)

Journal influence

Higher Attestation Commission (VAK) - К1 quartile
Russian Science Citation Index (RSCI)

Bookmark

Next issue

2
Publication date:
16 June 2024

The article was published in issue no. № 2, 2003
Abstract:
Аннотация:
Author: () -
Ключевое слово:
Page views: 12133
Print version
Full issue in PDF (1.36Mb)

Font size:       Font:

Модели коллективного поведения – предшественники теории агентов

Истоки исследовании по многоагентным системам, столь популярным сейчас во всем мире, восходят к работам по моделям коллективного поведения, которые были предложены еще в 60-е годы XX века М.Л. Цетлиным и его последователями [1]. По сути, в русле этих моделей были впервые построены простейшие агенты. В основе их поведения лежало допущение о полном априорном незнании агентом свойств той среды, в которой он действует, а также какой-либо априорной информации о наличии других агентов. Подобная ситуация описывается схемой (рис. 1). Здесь агент а не имеет никакой информации об агентах а1, а2,..., аN и воспринимает результаты их деятельности как свойства самой среды.

В свое время М.Л. Цетлина интересовал вопрос о возможности демонстрации агентом минимальной сложности целесообразного поведения в подобной среде. Термин «целесообразное поведение» понимался при этом следующим образом. Пусть на месте а находится датчик равновероятных сигналов, значения которых берутся из некоторого множества М. Когда на вход этого случайного механизма подается очередной сигнал о состоянии среды, датчик реагиПодпись:   
Рис. 1. Модель «неинформированного» агента по М.Л. Цетлину
рует на него выдачей одного из сигналов из М. Предполагается, что каждая пара: s, m, где s – фиксированное состояние среды, а m – отклик датчика, может быть оценена некоторым числом Е(s, m), характеризующим успех или неуспех отклика на состояние среды (величину поощрения или наказания для того, кто взаимодействует со средой). Если поощрения оцениваются положительными числами, а наказания – отрицательными, то алгебраическая сумма Е(s, m) за некоторый период времени (тактов взаимодействия со средой) будет характеризовать интегральный выигрыш-проигрыш случайного механизма.

Когда период времени является достаточно большим и фиксированным, действия любого агента можно сравнить с действиями случайного механизма. Если Е* есть накопленная сумма Е(s, m) для случайного механизма, a W* аналогичная сумма для агента а, то естественно считать поведение агента целесообразным, если W* > Е*, и нецелесообразным в противном случае.

Как показал М.Л. Цетлин, если среда является вероятностной и стационарной, то для организации целесообразного взаимодействия со средой достаточно иметь в качестве агента конечный автомат определенной структуры.

Подпись:  
Рис. 2. Классификация сред функционирования агентов
В [2] эта модель обсуждается с точки зрения поведения живых существ. Она полностью соответствует процедурам адаптации к неизвестным условиям среды, изучаемым в рамках стимульно-реактивной модели поведения животных и человека. Такие модели поведения задаются с помощью сетевых структур условных рефлексов. В [3] показано, что агенты такого уровня организации способны демонстрировать достаточно сложное целесообразное поведение.

Однако агенты, сложность которых сравнима с автоматной, оказываются малопригодными в средах, где стационарность отсутствует. Качественные изменения в среде требуют усиления адаптационных возможностей агентов, что в работах школы М.Л. Цетлина достигалось за счет перехода к автоматам с переменной структурой. Но даже такое усложнение структуры агента не приводило к поведению с максимальной целесообразностью, а обеспечивало лишь некоторый достаточный уровень целесообразности, величина которого зависит от свойств конкретной среды.

При переходе к коллективу агентов, решающих некоторую общую задачу, в работах М.Л. Цетлина и его последователей для агентов сохраняется автоматный уровень сложности и вышеупомянутый принцип «незнания о существовании других агентов». Координация усилий агентов в процессе достижения коллективной цели осуществляется путем подачи на входы агентов не истинных значений Е(s, m), а значений ЕС(s, m), подбираемых таким образом, чтобы направить действия агентов не на достижение личных локальных целей, а на достижение коллективной глобальной цели.

Таким образом, в моделях коллективного поведения автоматов агенты лишаются свойства автономности, их функционирование корректируется из некоторого центрального устройства управления, входящего в структуру среды. Это свидетельствует о том, что многоагентные системы (МАС), для которых принципиальным требованием являются децентрализация и автономность, не могут быть реализованы на уровне агентов автоматной сложности.

Классификация агентов в зависимости от среды

В современной литературе по МАС все еще продолжается дискуссия о содержательной интерпретации термина «агент». Спектр мнений по этому поводу простирается от того, что понятия «агент» и «многоагентная система» есть названия для специальных программных технологий (обеспечивающих «персонифицированный» интерфейс пользователя, активность программных объектов и т.п.) [4], до того, что агент есть модель человека – члена коллектива, занятого решением общей задачи [5]. Такой разнобой в трактовке понятия «агент» усугубляется еще и использованием термина «интеллектуальный агент», получившего широкое распространение в работах по моделям взаимодействия пользователей в компьютерных сетях. Поэтому полезно рассмотреть, по крайней мере, две классификации агентов, в основу которых положены: свойства среды, где действуют агенты, и  характеристики самих агентов. Первая классификация представлена на рисунке 2.

Все среды делятся на три больших класса. Замкнутые среды допускают конечное исчерпывающее описание. Оно может быть детерминированным или вероятностным. При этом агенты могут обладать полным знанием о среде и ее свойствах или получать информацию о ней в ходе своего взаимодействия со средой (как это было в моделях коллективного поведения в отечественных работах 60-х и начала 70-х годов) [1,2]. Важно, что замкнутые среды в принципе дают возможность достичь исчерпывающего (в детерминистском или статистическом смысле) знания о среде.

Открытые среды не предоставляет такой возможности. Знания об их свойствах и деятельности в таких средах хотя и могут увеличиваться с течением времени по мере накопления опыта, но не могут достигнуть уровня абсолютно полного ее описания. Открытый мир, характеризуемый подобной средой, может быть как детерминированным, так и недетерминированным, но в любом случае полное знание о среде не может быть представлено в виде неизменного окончательного описания.

Трансформируемые среды, в отличие от сред предыдущих типов, могут менять свои характеристики и реакции на действия агентов в зависимости от тех действий, которые агенты совершают в среде (например, агенты могут порождать новые объекты в среде и, в частности, новых агентов). Знания о таких средах и какие-либо их описания всегда носят временный «исторический» характер.

Если ввести понятие состояния среды, характеризуя его как исчерпывающий набор знаний об ее свойствах, то замкнутые среды будут задаваться одним состоянием. Состояния в открытых средах будут фиксироваться на некоторых «временных» интервалах, когда открытая среда может рассматриваться как замкнутая, а смена состояний будет происходить за счет появления таких новых знаний о среде и способах действия в ней, которые отменяют прежние закономерности, верные для ранее фиксированного состояния. В трансформируемых средах смена состояний может планироваться и инициироваться самими агентами.

Типология сред позволяет ввести типологию агентов по уровню их сложности. Замкнутые среды задаются с помощью формальных систем. Если воспользоваться классификацией Н. Хомского, то наиболее простые замкнутые среды будут описываться автоматными грамматиками (детерминированными или вероятностными). Соответственно, и агенты, взаимодействующие с такими средами, будут иметь автоматную сложность. Модели коллективного поведения автоматов [1,6] хорошо иллюстрируют этот случай. Более сложные замкнутые среды могут быть описаны на уровне контекстно-свободных грамматик; им соответствуют агенты, деятельность которых задается на уровне конечного набора правил и сценариев применения правил. Агенты такого типа в настоящее время активно используются в компьютерных сетях, действуя в рамках жестких протоколов и коммуникационных технологий (например, в рамках обменов «клиент-сервер»). Замкнутые среды, описание которых требует контекстно-зависимых грамматик с ограниченным контекстом, требуют от агентов способности к ситуативным (контекстным) действиям. Такие агенты должны обладать знаниями о среде и своих действиях в ней, а также способностью к выявлению и оцениванию контекстов. Сценарий действий для подобных агентов не может быть жестким. Он формируется в зависимости от тех контекстов, которые возникают в среде.

Утверждение о замкнутости мира, в котором действует агент, равносильно утверждению, что пара «среда-агент» задается некоторой формальной системой. Значит (по крайней мере, в принципе), деятельность агентов в таких средах может быть описана в рамках подходящего логического исчисления.

В зависимости от полноты знаний агента о среде и своих действиях исчисление может быть дедуктивным, индуктивным, правдоподобным, модальным, «мягким» и т.п. В качестве примера можно привести специальную модальную логику, предложенную для описания агентов, действующих в среде, но не имеющих полного знания о ней [7]. В этой логике используются четыре модальности, связанные с уверенностью агента в своих знаниях, и три модальности, связанные с целенаправленностью его поведения. Первая группа включает следующие модальности:

Know(a, p, s) – агент a знает, что в ситуации s имеет место событие р;

Believes(a, р, s) – агент а уверен, что в ситуации s имеет место событие р;

Kwhether(a, р, s) – агент а знает, что в ситуации s либо имеет место р, либо р не имеет места;

Doubts(a, р, s) – агент а не имеет знаний о том, как определять истинность или ложность утверждений о присутствии или отсутствии события р в s.

Вторая группа модальностей имеет вид:

Want(a, р, s) – агент а желает р в ситуации s;

Indif(a, р, s) – агент а не имеет предпочтений относительно р в s;

Wantstok(a, p, s) – агент а хочет узнать, имеет ли место р в s.

Кроме этих семи модальностей, в данной логике используется еще три когнитивных оператора, отражающих относительность знаний агента о среде:

К(a, s*, s) – агент а знает, что ситуация s* может быть альтернативой к реально фиксируемой им ситуации s;

В(a, s*, s) – агент а считает правдоподобным, что s* может быть альтернативной к реально фиксируемой им ситуации s;

G(a, s*, s) – агент а хочет иметь ситуацию s* как желательную альтернативу для реально фиксируемой им ситуации s.

Модальности Knowledge, Belief и Wants использованы в [7] для построения модального исчисления. Анализируя его, можно убедиться в малой эффективности подобного описания для организации деятельности агентов в практических системах. Но теоретическая значимость подобных построений несомненна, так как они определяют структурную и функциональную сложность агентов для фиксированных типов сред.

Для открытых сред описания в виде формальной системы недостаточно. Для отражения динамики среды и ситуативности действий агентов необходим переход к семиотическим системам и семиотическому моделированию [8,9]. Семиотическая система  может быть интерпретирована как динамическая, состояниями которой являются фиксированные формальные системы. По сути, ее можно рассматривать как двухуровневую систему, где на нижнем уровне фигурируют формальные системы, а на верхнем – модели изменений их компонентов в тех или иных контекстах. Переходы между состояниями порождают новые контексты, в рамках которых реализуются зависящие от этих контекстов процедуры. Структура агента, взаимодействующего с открытой средой, гораздо сложнее автоматной. Такой агент должен обладать семиотической базой знаний и уметь работать с фрагментами семиотических сетей. Агент семиотического уровня сравним по сложности с такими хорошо известными системами искусственного интеллекта, как экспертные системы.

Для трансформируемых сред в структуру агента должны быть включены средства для прогнозирования возможного развития процессов в среде в результате тех или иных действий, реализуемых агентом.

Классификация агентов по их собственным характеристикам

Две характеристики присущи всем агентам – автономность и целенаправленность. Отсутствие любой из них превращает агента в что-то другое. Однако этих двух характеристик явно недостаточно. Само требование целесообразности функционирования агента требует, чтобы он обладал свойством реактивности. Подобным свойством обладает любой живой организм и практически все искусственные системы, взаимодействующие с окружающей средой. Реактивность означает, что у агента есть средства для восприятия и анализа сообщений, поступающих из среды, и средства для воздействия на среду (в их число могут входить как физические, так и информационные воздействия) [2]. Наряду с автономностью и целенаправленностью реактивность присуща всем агентам.

Агенты автоматного уровня сложности полностью задаются процедурами, реализующими стремление к достижению поставленных перед агентом целей и возможность обмена со средой необходимыми для этого сообщениями. Эти процедуры встроены в структуру агентов при их аппаратной реализации или выглядят как неизменные программы при их программной реализации.

Следующий шаг на пути усложнения характеристик агентов является принципиальным. Знания о среде, собственных целях и способах достижения их «отрываются» от процедур, обеспечивающих целенаправленность и реактивность агента. Они становятся содержимым памяти агента, могут видоизменяться, пополняться, корректироваться. Агент такого уровня обладает свойством когнитивности. Это свойство может считаться пограничной характеристикой, отделяющей интеллектуальных агентов от неинтеллектуальных. Последующие свойства лишь наращивают уровень интеллектуальности агента.

Свойство коммуникабельности позволяет агенту реализовать персонифицированное общение. В основе коммуникабельности лежит та или иная модель дискурса и какие-то процедуры для интерпретации поступающих сообщений, их оценки и формирования собственных сообщений. Это требует от агента способности к рассуждениям. Умение рассуждать на основе получаемых сообщений и имеющихся знаний позволяет агенту принимать разные решения в разных ситуативных контекстах. Агент со свойствами когнитивности и коммуникабельности, обладающий способностью к рассуждениям, мало чем отличается от так называемых систем, основанных на знаниях, разновидностью которых он и является.

Способность к рефлексии – еще одно свойство, наличие которого повышает интеллектуальный уровень агента. Такая способность особенно важна при организации коллективного поведения агентов. Рефлексирующий агент способен к прогнозу действий других агентов в будущем, что позволяет ему планировать свою деятельность. В конфликтных ситуациях, меняя ранг рефлексивных рассуждений (см. [8]), агент может получить преимущество в решении своей задачи перед другими агентами. Способность к предвидению лежит в основе способности к целенаправленному обучению. Агенты, способные обучаться, – это еще одна ступень на пути к повышению интеллектуального уровня агента.

Сегодняшний уровень наших знаний о возможной структуре интеллектуальных агентов позволяет предвидеть те их свойства, которые будут реализованы в ближайшие годы. Первым из них является способность к нормативному поведению. Нет никаких принципиальных препятствий для снабжения агентов процедурами совершения нормативных поступков [9] и организации целенаправленного нормативного поведения [10]. Несколько сложнее обстоит дело с моделированием в агентах мотивационной (интенциональной) составляющей поведения. Способность к интенции характеризует деятельность всех живых существ. Цели должны быть не только известными (не обязательно осознаваемыми), но и служить генератором возникновения и продолжения деятельности по их достижению. У агента должны иметься специальные интенциональные характеристики [11]. В качестве примера в этой работе приводится два набора таких характеристик, предложенных Дж. Киссом и И. Шоэмом с С. Казинcом.

1)       Когнитивные: уверенность, знание, осведомленность;

конативные: мотив, обязательство, план;

аффективные: цель, желание, предпочтение.

2)       Информативные: уверенность, знание, осведомленность;

мотивационные: цель, выбор, план, желание, обязательство, приоритет;

социальные: нормативность, разрешение на выполнение действия.

Трудность воспроизведения подобных свойств в искусственных системах связана с тем, что в психологии они не имеют четкой интерпретации. Эти трудности в настоящее время преодолеваются в основном путем логической формализации когнитивных и интенциональных характеристик [7,11,12], что является, конечно, временным решением данной проблемы.

При использовании агентов в решении конкретных задач могут потребоваться и другие характеристики. Например мобильность, если речь идет о роботах (моботах), или гибкость структуры, если необходимо подстраивать структуру агента под решаемую задачу.

Социальные отношения на множестве агентов

Как следует из предыдущего изложения, агенты могут обладать разными уровнями сложности, от автоматного до сложности современных систем искусственного интеллекта. Отношения между агентами также могут иметь различную сложность. По-видимому, простейшим видом взаимодействия агентов является их связь через сообщения от среды, как это делалось в моделях коллективного поведения автоматов. Следующими по уровню сложности являются отношения коммуникации между не- или слабоперсонифицированными агентами (напри- мер, в технологиях, использующих «доску объявлений»). Сложнее организовать отношения ком- муникации между персонифицированными агента- ми [11].

Следующий по сложности уровень взаимодействия агентов образуют отношения координации, кооперации и коалиции. В отношения таких типов вступают агенты, занятые решением некоторой общей задачи или планирующие свою деятельность с учетом деятельности других агентов. Работы [11,13] демонстрируют возможные пути реализации подобных отношений в МАС. Появление отношений, имеющих социальный статус, вносит в коллектив агентов неравноправие отдельных его членов. Это обстоятельство принципиально. Неоднородность коллектива агентов – явление положительное. Переход от однородных коллективов к неоднородным, даже на уровне простейших автоматных коллективов, позволял им решать задачи, которые однородный коллектив решить не мог. В [14] приведено несколько примеров такого рода. «Социальная» организация множества автоматов позволяет разделить между отдельными подмножествами коллектива функции непосредственной деятельности по решению общей задачи, согласования действий и управления процессом движения к общей цели. Как известно, подобное разделение является базой для любого социального сообщества [15].

Понятие конфликта в социальной организации сообществ животных и людей играет фундаментальную регулирующую роль. Поэтому необходимость в изучении и моделировании на множестве агентов отношений конфликтности очевидна. До последнего времени конфликт в множестве агентов рассматривался как явление нежелательное, требующее своего устранения [8,13]. Однако (см. [16]) отношения конфликтности могут способствовать достижению общей цели. Это удивительное, на первый взгляд, свойство конфликтных отношений проявляется в системах управления, в основе которых лежит принцип гомеостата. Примерами подобных систем могут служить система поддержания свойства «свертываемость-несвертываемость» в крови человека за счет выброса в кровь конфликтующих друг с другом химических реагентов или взаимодействие симпатической и парасимпатической нервных систем. Поэтому в МАС требуется изменение взгляда на роль отношений конфликтности, которые могут оказаться полезным механизмом при организации коллективного поведения агентов.

В существующих моделях взаимодействия агентов реализуется в основном так называемое нормативное ритуальное поведение [10]. Естественным и необходимым шагом дальнейшего развития работ в этой области является переход к моделированию подражательного, ролевого и ситуативного поведения [10], что должно обеспечить существенное повышение деятельности коллектива агентов по решению общей задачи.

В работах по «искусственной жизни», всплеск которых наблюдается в последнее время, пока используются агенты с весьма низким уровнем сложности (как правило, автоматным [17,18]). Следующий шаг в этой области, несомненно, будет связан с повышением уровня сложности агентов и рассмотрением множества видов взаимодействия (как кооперативных, так и конфликтных отношений).

Список литературы

1. Цетлин М.Л. Исследования по теории автоматов и моделированию биологических систем. – М.: Наука, 1969.

2. Поспелов Д.А., Пушкин В.Н. Мышление и автоматы. – М.: Сов. радио, 1972.

3. Амосов Н.М., Касаткин А.М., Касаткина Л.М., Тала- ев С.А. Автоматы и разумное поведение. – Киев: Наукова думка, 1973.

4. Petrie Ch. What Is an Agent? // Intelligent Agents III. Agents Theories, Architectures and Languages/ Ed. by J.P.Muller, V.J. Wooldridge. – Berlin: Springer Verlag, 1996. – P. 41-43.

5. Franklin S, Graesser A. Is It an Agent, or Just a Program?// Intelligent Agents III. Agents Theories, Architectures and Languages/ Ed. by J.P.Muller, V.J.Wooldridge. – Berlin: Springer Verlag, 1996. – P.21-35.

6. Варшавский В.И. Коллективное поведение автоматов. – М.: Наука, 1973.

7. Errico В, Aiello L.C. Intelligent Agents in the Situation Calculus: an Application to User Modelling // Practical Reasoning. Proceedings of International Conference on Formal and Applied Practical Reasoning/ Ed. by D.M.Gabbay, H.J.Ohldach. – Berlin: Springer Verlag, 1996. – P.126-140.

8. Лефевр В.А. Конфликтующие структуры. – М.: Сов. радио, 1973.

9. Поспелов Д.А., Шустер В.А. Нормативное поведение интеллектуальных систем // Ученые записки Тартуского ун-та. – Тарту: ТарГУ, 1980. - Вып. 551. – С.92-107.

10. Гаазе-Рапопорт М.Г., Поспелов Д.А. От амебы до робота: модели поведения. – М.: Наука, 1987.

11. Haddadi A. Communication and Cooperation in Agent Systems. A Pragmatic Theory. –Berlin: Springer Verlag, 1996.

12. Gnessoum Z., Dojat М. A Real-Time Agent Mo- del in an Asynchronous Object Environment // Agents Breaking Away, 7-th Europian Workshop on Modelling Autonomous Agents in a Multi-Agent World. – Berlin: Springer Verlag, 1996. – P.190-203.

13. Martial F. von. Coordinating Plans of Autonomous Agents. – Berlin: Springer Verlag, 1992.

14. Варшавский В.В., Поспелов Д.А. Оркестр играет без дирижера. Размышления об эволюции некоторых технических систем и управлении ими. – М.: Наука, 1984.

15. Tarassov V. Evolutionary Semiotics. Artificial Life and Fuzzy Multi-Agent Systems – Basic Theoretical Approaches to Intelligent Organisation// Proceedings of the International Workshop on Distributed Artificial Intelligence and Multi-Agent Systems (DAIMAS'97, St.Petersburg, Russia, June 15-18, 1997). – SPb: SPIIRAS, 1997. – P.234-248.

16. Горский Ю.М. Гомеостатика. – Новосибирск: Наука, 1988.

17. Drogoul A., Ferber J. Multi-Agent Simulation as a Tool for Modeling Societies: Application to Social Differentiation in Ant Colonies//Artificial Social Systems. Proccedings of the 4th European Workshop on Modelling Autonomous Agents in a Multi-Agent World/ Ed. by C.Castelfranchi, E.Werner.–Berlin: Springer Verlag, 1992.–P.3-23.

18. Meyer J.A., Wilson S.W. From Animals to Animats. – Cambridge: MIT Press, 1991.


Permanent link:
http://swsys.ru/index.php?page=article&id=646&lang=en
Print version
Full issue in PDF (1.36Mb)
The article was published in issue no. № 2, 2003

Perhaps, you might be interested in the following articles of similar topics: