Программные продукты и системы

Вопросы моделирования процесса рассуждений человека-эксперта, проблемы извлечения экспертных знаний традиционно находятся в центре внимания специалистов в области искусственного интеллекта. Задавшись целью построения интеллектуальной системы, призванной в той или иной мере заменить человека, мы вынуждены пытаться как-то формализовать его практический опыт и знания в конкретной предметной области.

К настоящему моменту вопрос о том, как именно должна производиться подобная формализация, нельзя считать полностью исследованным. Предложено немало конкретных методов и схем [1-3, 13], предпринимаются и попытки их классификации [10]; однако в конкретных приложениях при построении реальных интеллектуальных систем, в первую очередь экспертных и прикладных систем поддержки принятия решений, разработчики уделяют преимущественное внимание построению сложных математических процедур обработки и/или структуризации полученной от эксперта информации, сравнительно редко задаваясь вопросом о том, можно ли считать эту информацию адехватной и пригодной для дальнейшей обработки, и если да, то до какой степени.

"Идеальный" эксперт, с точки зрения разработчика прикладной интеллектуальной системы (именующего себя инженером по знаниям), отвечает целому ряду условий. Рассмотрим некоторые высказывания, характеризующие процесс "извлечения" необходимых знаний из эксперта.

A.  Недостающую информацию можно полу чить от эксперта, задав ему необходимые вопросы.

Б. Эксперт четко осознает границы своих познаний.

B.  Эксперт может ответить на поставленный вопрос, если он лежит в этих границах.

Г. Эксперт обычно не ошибается. Д. Эксперта можно попросить оценить значение некоторого параметра, не поддающееся прямому измерению, и доверять этой оценке. Е. Эксперт обладает некоторой (хотя бы неявной) моделью предметной области, так что ответы на различные вопросы более или менее согласованы между собой.

Ж. Эксперт обычно может объяснить причины и/или мотивы своих решений, ответов, рекомендаций.

3. Чем подробнее задаваемые эксперту вопросы, тем больше он выдаст информации. И. Эксперт может сравнивать несколько ситуаций (вариантов, альтернатив и т.п.), находить в них различия и отмечать, принципиальны ли они и к чему приводят.

К. Эксперт способен учесть одновременное воздействие нескольких независимых или взаимозависимых факторов (параметров, критериев и т.д.).

Л. Эксперт рационален и последователен в своих предпочтениях, поэтому принимаемые им решения разумны и поддаются аксиоматизации.

М. Ответ эксперта почти не зависит от формы и последовательности задаваемых вопросов.

Н. Искренность ответов эксперта не позволяет вводить в заблуждение тех, кто задает ему вопросы.

О, Эксперт обычно беспристрастен.

П. Работа с группой экспертов позволяет обобщить, согласовать и интегрировать их мнения, поэтому несколько экспертов лучше, чем один.

Реальный разработчик склонен полагать эти утверждения если и не совсем истинными, то, во всяком случае, правдоподобными; некоторые из них спорны, некоторые сомнительны, а некоторые к вовсе неверны. И дело здесь не только в том, что реальный эксперт не может быть идеальным, поскольку он не свободен от присущих человеку свойств и особенностей, накладывающих отпечаток на его восприятие и поведение. В связи с этим при построении интеллектуальных систем развиваемый математический аппарат должен быть дополнен теми моделями процесса переработки информации и принятия решений человеком, целью которых является экспликация и формализация соображений, которыми он руководствуется, а также поиск и построение наиболее адекватных форм и методов сбора и представления экспертной информации.

Построение экспертных систем (в первую очередь загрузка базы знаний) должно производиться в диалоге между экспертом и специалистом в области искусственного интеллекта н предусматривать моделирование экспертом процесса переработки информации, формулировки и оценки им тех или иных выводов и вариантов решений, а также до некоторой степени формализацию имеющегося у него опыта и знаний в данной проблемной области. Экспликация неформальных, интуитивных, неточно определенных правил и закономерностей, которыми руководствуется эксперт, играет двоякую роль: во-первых, формализованный опыт эксперта полезен для пользователя экспертной системы (нередко сам пользователь - специалист в данной предметной области, но из-за отсутствия достаточного опыта не может принять решения в трудном случае); во-вторых, такая экспликация и формализация знаний оказывается полезной и самому эксперту, систематизируя его представления о предметной области.

Некоторые особенности "идеального" эксперта

Человеку свойственно ошибаться Античная мудрость

Врет ts.s очевидец!

Из милицейского фольклора

Эрудиция. Грамотного, квалифицированного эксперта отличают обширные познания в соответствующей проблемной области, понимание взаимосвязи ее частей.

Способность к отбору информации. Являясь специалистом в конкретной области, эксперт наделен способностью выделить нужную информацию в нужный момент и для нужной задачи.

Трудности при экспликации правил. Эксперт может с трудом сформулировать правила, которыми он руководствуется, в общем виде; их приходится строить опосредованно, на основе обработки способов решения многих сходных проблем.

Способность к грубому сравнению альтернатив. Как правило, для эксперта не представляет трудности, сравнив несколько проблемных ситуаций, указать на их сходство или различие, при этом иногда удается указать и причину различия.

Ограниченность в сравнении альтернатив. Человек способен сравнивать лишь однотипные, не слишком различающиеся между собой ситуации (варианты), имеющие, помимо видовых отличий, и много общего.В вопросах, задаваемых эксперту, это должно учитываться и не содержать требований сравнить несравнимое во избежание появления неадекватных ответов.

Компетентность. Не всегда будучи в состоянии сформулировать свои правила в общем виде, эксперт, однако, умеет находить особый подход к каждой проблеме, знает, когда следует отступать от общих правил.

Активное владение своими знаниями. Эксперт активно владеет знаниями в своей области: он способен к творческим действиям и к получению новых знаний, легко адаптируется к изменениям условий задачи, способен к обучению, самообучению и тренингу; в рассуждениях он умеет упрощать сложности и абстрагироваться от ненужных подробностей.

Трудности в экспликации знаний. Эксперт обычно знает больше, чем осознает, ему трудно отвечать на вопросы, касающиеся причин принятия того или иного решения (т.е. эксплицировать свои знания), поэтому при общении с экспертом приходится ограничиваться косвенными вопросами.

Кроме того, границы своих знаний эксперт обычно определяет недостаточно четко, поэтому он не всегда способен распознать свою недостаточную компетентность в конкретном вопросе.

Способность к сегментации. При решении нечетко структуризованных, неформальных проблем человек склонен неявно ставить промежуточные подзадачи, которые продвигают его по пути основного решения. Число их обычно невелико, и переход к очередной подзадаче нередко сопровождается перекодировкой анализируемой информации, использованием новых форм ее представления.

Даже в том случае, когда путь решения сразу не просматривается, квалифицированный эксперт способен интуитивно почувствовать большую или меньшую перспективность предлагаемых шагов (и соответствующих узлов дерева решения), а нередко и оценить ее в достаточно грубой вербализованной шкале.

Коммуникативность. Хороший эксперт сам заинтересован в диалоге, его отличает открытость, коммуникативность, стремление к совместному поиску истины. Кроме того, эксперт в определенных случаях извлекает пользу из диалога, позволяющего ему взглянуть на свою предметную область под новым, нередко неожиданным углом и структуризовать и систематизировать свои знания.

Профессионализм, Хорошему эксперту -профессионалу в своей области — присущи уверенность в принятии решений и чувство ответственности за свои действия. Эти качества способны сыграть и отрицательную роль — тогда, когда эксперт действует вблизи границы своих знаний, но не осознает этого.

Невозможность работы с детальными шкалами. Человек-эксперт плохо воспринимает излишне детализированные шкалы значений признаков. Психофизические данные указывают, что человек с уверенностью различает не более 7±2 градации на шкале некоторого признака (параметра) [15]. Если число градаций (делений) на шкале превосходит 7 ±2, то соседние градации начинают сливаться и уже не могут быть четко разграничены. Поэтому вполне понятным становится тот факт, что при описании и анализе конкретных ситуаций эксперт, столкнувшись с детализированной шкалой того или иного параметра, часто (явно или неявно) пытается перейти от его точных значений к укрупненным градациям, число которых вдоль шкалы оказывается существенно меньшим. Подобные градации, как правило, нечетки, и области, покрываемые ими, могут взаимопересекаться и не иметь выраженных границ.

Хорошим примером сказанному может служить оценка состояния больного экспертом-врачом. При измерении температуры тела обычная шкала используется от 34 до 41 градусов с шагом 0.1 и содержит около 70 делений. Эксперт-врач не видит особой необходимости в строгом различении температуры, допустим, в 37.1° и 37.2°, объединяя их в укрупненную градацию "субфебрильная температура". Число таких градаций обычно невелико , и границы между ними нерезки. Для формального описания этих градаций к конкретных особенностей перехода эксперта от детальных значений параметра к нестрогим градациям представляется естественным использовать аппарат теории лингвистических переменных.

Отметим, что число таких укрупненных градаций, размеры областей, ими покрываемых, и их расположение на шкале не являются чем-то неизменным; они должны определяться в диалоге с экспертом применительно к решаемой проблеме. Возможный подход к их формальному построению приведен в [6].

Неуверенность в условиях многокритериаль-ности. В условиях многокритериальное™ при необходимости давать оценки и принимать решения человек чувствует себя не очень уверенно. Практика показывает, что при принятии решений в условиях многокритериальное™ реально учитывается и воспринимается не более 3-5 критериев (параметров); если же их оказывается больше, то возможны следующие варианты поведения [7,15]:

—  неявно выделяется несколько основных кри териев, и решение фактически опирается на учет только их значений; значения же прочих принимаются во внимание только в тех слу чаях, когда они претерпевают резкие изменения и/или выходят за некоторые "разумные" преде лы (при этом соответствующий критерий неяв но включается в число основных за счет исклю чения другого);

—  также неявно формируются новые, укруп ненные критерии, число которых значительно меньше, и каждый из них является некоторой комбинацией или функцией исходных;

—  имеет место и то, и другое.

Трудности при анализе множества альтернатив. Человек не способен к прямому рассмотрению и перебору множества альтернатив. Если количество альтернатив обширно и плохо структурировано, то даже простой выбор наилучшей (или наиболее характерной для какой-то внешней ситуации) альтернативы превращается в тяжелую для практического решения проблему; еще безнадежнее выглядит часто предлагаемая эксперту задача ранжирования. Действительно, линейное ранжирование альтернатив представляет собой измерение человеком их интегральной ценности, важности, степени сходства с чем-либо в неявно задаваемой порядковой шкале, ко тогда число градаций на ней, как уже отмечалось, не должно превышать 7±2.

Некоторым паллиативом в такой ситуации могут служить многочисленные многошаговые схемы, предусматривающие постепенное расслоение множества альтернатив, сопровождающееся внесением в него все большего порядка [9]. В таких многошаговых схемах задача эксперта становится намного проще, однако результат в большой степени зависит от конкретных особенностей избранной произвольной схемы.

Непоследовательность. В своих суждениях, высказываниях и предпочтениях человек непоследователен, что приводит к тому, что экспертная информация оказывается противоречивой н для ее корректировки приходится разрабатывать и использовать специальные процедуры. Противоречия в ответах эксперта или вытекающие из этих ответов могут устраняться либо с участием эксперта, либо без него.

Нерациональность. Выбор, осуществляемый человеком, часто не бывает рациональным, и его мотивы и основания могут и не поддаваться логике. Это утверждение резко контрастирует с известными постулатами о наличии у человека некоей функции ценности (полезности) и его стремлении максимизировать ее значения. В [12] убедительно доказывается, что в реальных ситуациях выбора в условиях риска субъект очень часто не затрудняет себя подобными соображениями, выбирая в итоге не самую оптимальную стратегию. Частично это можно объяснить и тем, что математико-статнетическая идеология, видимо, плохо укладывается в человеческом подсознании, подверженном склонности к персонификации предполагаемого противника3.

Трудности в получении количественных оценок. Человек во многих случаях неспособен оценить численное значение того или иного критерия (параметра) с удовлетворительной, стабильно малой погрешностью (что связано с чрезмерной детальностью шкалы). Ситуация осложняется тем, что рассматриваемый экспертом критерий часто не поддается непосредственному измерению, шкала, предлагаемая эксперту, бывает искусственной, отдельные ее градации не имеют четкого физического смысла и т.д.

Дело обстоит лучше, когда оценка эксперта складывается из нескольких компонент, каждая из которых имеет фиксированную величину, и добавляется при выполнении какого-либо условия (как это практикуется, например, в отдельных видах спорта типа гимнастики или фигурного катания). Эксперт при этом фактически вычисляет свою оценку, решая несколько раз сравнительно более простую задачу: "Имеет ли место данный элемент? Добавить в нарастающий итог соответствующую компоненту."

Некатегоричность. В своих суждениях человек чаще всего не слишком категоричен, склонен к использованию нечетких категорий, расплывчатых понятий, определений и выводов. Обычно человек сам хорошо осознает это, од-

На практике величина добавляемой компоненты может зависеть не только от присутствия данного элемента, но и от степени его проявления; если эта степень оценивается экспертом в достаточно грубой шкале, его оценка довольно устойчива и разница не очень существенна-

нако некорректно требовать от него, чтобы он сам оценил в достаточно детальной шкале степень своей уверенности, вероятность того или иного следствия при данных посылках, значение функции принадлежности того или иного нечеткого множества и т.п. С учетом всего сказанного ответ, получаемый от него, немногого стоит.

"Неидеальные" эксперты в реальных условиях

Я ль на свете всех милее, Всех румяней и белее? И ей зеркальце в ответ:

— Ты, конечно, - спору нет!

А.С. Пушкин

—  A (U насчет диеты, доктор? - спрашивает пациент, совершенно перетрусив.

Ответы на этот вопрос бывают весьма разнообразны <„,> Если время уже близится к полудню н доктор зверски голоден, он говорит:

—  О, ешьте побольше, не бойтесь. Мясо, овощи, крахмал, клен, цемент, что хотите. Но еелн доктор только что позавтракал и еле дышит после пирога с черникой, он твердо заявляет:

—  Я не советую вам есть. Ни V коем случае. Ни крошки! Голод вам не повредит.

С. Ликок

Как мы уже знаем, даже "идеальный" эксперт далек от идеала, чего же ждать от реального человека, информация от которого неминуемо несет на себе отпечаток его состояния и личностных характеристик! Какие же особенности реального человека-эксперта приходится принимать во внимание при проектировании и разработке интеллектуальных систем?

Профессиональная гордость. Эксперт склонен в душе поглядывать свысока на интервьюирующих его разработчиков прикладных систем. Следствием этого может стать ситуация, когда эксперт, не уверенный В своем ответе, акцентирует свою уверенность, стараясь "не потерять лица", хотя вполне может осознавать свои сомнения по поводу ответа на поставленный вопрос. Ответить же просто "не знаю" или "не уверен" ему мешает профессиональная гордость.

Чрезмерная любезность. Ситуация, аналогичная предыдущей, может возникнуть и в том случае, когда эксперт, напротив, очень стремится к диалогу. Стремление непременно ответить на вопрос может помешать эксперту отказаться отвечать, если он не вполне уверен в ответе.

Зависимость ответа от контекста и формы вопроса. Ответ, даваемый экспертом на вопрос, может находиться в большой зависимости от контекста диалога и от формы самого вопроса. Как в форме самого вопроса, так и в предшествующем контексте могут содержаться неявные или даже явные "наводки", оказывающие определенное воздействие на мнение эксперта и на его ответ.

Умолчание. Эксперту свойственно забывать, что его партнеры по диалогу сами не являются специалистами в данной области. Пытаясь объяснить ход своих рассуждений или причины тех или иных решений, он "по умолчанию" опускает многие детали, представляющиеся ему элементарными или очевидными.

Недопонимание. На практике не так уж редка ситуация, когда эксперт не вполне понял вопрос или понял его неадекватно; даже если он осознает, что смысл вопроса ему не вполне ясен, переспросить или уточнить ему может помешать профессиональная гордость. Поэтому ответ его, по сути, может относиться совсем к другому вопросу, а партнеры по диалогу, не будучи специалистами, могут этого и не заметить.

Конформизм. Страх "не угадать". Мнение эксперта, к сожалению, не всегда можно считать независимым: определенное воздействие на него оказывает и точка зрения партнеров по диалогу. Нередко эксперт не пытается правильно ответить на вопрос, а, стараясь угадать,'чего от него ждут, отвечает соответственно5.

Особо отметим нередкую ситуацию, когда по ответам эксперта в дальнейшем будет возможна аттестация его профессионального уровня, что может привести к формированию у него своеобразной боязни не угадать и страху перед возможными негативными последствиями его ответа (эффект экзамена). Центр внимания эксперта переносится не на то, чтобы разобраться в существе вопроса, а на то, чтобы оправдать свои ответы и решения перед суперэкспертом старшего уровня, который будет их впоследствии анализировать. Эксперт становится осторожнее, его ответы приобретают обтекаемость и уклончивость, уверенность в себе снижается.

Когнитивная защита. Эксперт может по тем или иным причинам (не всегда осознанным им самим) оказаться не очень заинтересованным в полном раскрытии своих познаний и методов, что заставляет его маскировать свои знания, причины и мотивы тех или иных решений, не раскрывать возможные варианты действий и т.п.

Собственные интересы эксперта. Эксперт как участник диалога не обязательно беспристрастен: решения, принимаемые по его советам, модели предметной области, конструируемые с его помощью, могут затрагивать его собственные интересы. Естественно, эксперт при этом становится активным, т.е. модифицирует свои ответы и рекомендации, пытаясь добиться изменений в лучшую сторону.

Зависимость ответа от состояния эксперта. Ответ эксперта на вопрос зависит не только от вопроса, но и от состояния самого эксперта, то есть на один и тот же вопрос, заданный, например, в одной и той же форме, эксперт может дать совершенно разные ответы.

Усталость. В ходе длительного диалога эксперт устает, и эффективность его ответов снижается. К сожалению, в реальных процедуpax экспертного опроса какие-либо восстановительные мероприятия не предусматриваются, а эксперт, увлеченный диалогом, может вовремя и не заметить усталости.

Торопливость. В условиях ограниченности времени эксперт может не успеть полностью осмыслить вопрос и продумать свой ответ, поэтому не следует информировать эксперта о том, что время диалога ограничено.

Групповая экспертиза: за и против

Ум хорошо, а два лучше Народная мудрость

Лучше один генерал-дурак, чем десять генералов-умников.

Другая народная мудрость, отчасти дополняющая первую

Рассмотрим некоторые аспекты групповой экспертизы. Не вызывает никакого сомнения ее полезность и необходимость в задачах генерации альтернатив: группа экспертов гораздо лучше справляется с порождением различных вариантов решения, причем для практической реализации групповой экспертизы в задачах такого рода разработаны самые разнообразные методы [5].

Однако при использовании эксперта (экспертов) для оценки ситуаций, вариантов, альтернатив или для построения структур предпочтений с целью последующего выбора и принятия решения использование сразу нескольких экспертов не всегда целесообразно.

Трудности в формировании согласованного мнения.

Трудности начинаются уже при попытке выяснить, какое групповое мнение надлежит считать согласованным. Ответ на этот вопрос, естественно, зависит от того, какая именно задача поставлена перед экспертами [16, 17].

Если перед экспертами стоит задача оценки значения того или иного критерия (параметра), то под согласованным мнением группы часто понимается некая усредненная интегральная оценка типа среднего арифметического, среднего геометрического, медианы и т.д. В то же время различные способы усреднения приводят к совершенно разным итогам, а вопрос о выборе нужного и наиболее приемлемого в каждом конкретном случае способа мало исследован. Поскольку на практике выбор способа усреднения производится организатором экспертизы (т. е. консультантом, инженером по знаниям и т. п.), он достаточно произволен и далеко не бесспорен. Кроме того, используемая экспертами шкала может и не допускать подобных усреднений (например, достаточно грубая шкала с вербальными градациями), а разные эксперты могут использовать различные шкалы, что еще более осложняет ситуацию.

Некоторой альтернативой могут служить разнообразные многошаговые схемы типа "Дельфи", в которых мнения экспертов в группе понемногу меняются, пока, наконец, не выработается некая общая интегральная оценка

[17]. Но, во-первых, единое мнение отнюдь не гарантируется; во-вторых, изменение первоначального мнения эксперта под действием других членов экспертной группы вполне может быть и проявлением уже упоминавшегося конформизма.

Если же речь идет о выявлении экспертных предпочтений, то нередко пытаются сформировать мнение группы экспертов на базе мнения большинства или построить некую "промежуточную" групповую структуру, минимально отличающуюся от индивидуальной. Однако мажоритарный принцип формирования группового мнения чреват серьезными противоречиями (отметим хотя бы широко известный парадокс Кондорсе [16]). Кроме того, нужного большинства в группе может и не оказаться, что вынуждает вновь применять многошаговые схемы, нередко малоэффективные. Для построения же искомой "промежуточной" структуры вновь могут использоваться разнообразные методы, приводящие к совершенно разным результатам. Каждый из этих методов обладает как своими достоинствами, так и недостатками, а выбор конкретного метода вновь падает на организатора экспертизы, и вновь он, как правило, не бесспорен. Кроме того, построенная структура предпочтений вполне может оказаться не совпадающей ни с одной из индивидуальных структур, т. е. не удовлетворяющей ни одного из экспертов. Правомерно ли в таком случае считать ее общим мнением?

Неудовлетворительность группового мнения с точки зрения каждого эксперта.

Когда экспертные мнения варьируются, групповое мнение может в итоге сильно отличаться от мнения любого отдельного эксперта. Особенно часто такая ситуация возникает при построении интегрированных структур предпочтений. Если, например, каждый из экспертов линейно упорядочивает имеющиеся альтернативы по предпочтительности, то при использовании широко известного метода медианы Кеме-ни [9, 11, 16] получающееся результирующее упорядочение может заметно отличаться от любого из исходных. Если перед экспертами стоит задача оценки значения некоторого критерия, такая ситуация хотя и редка, но вполне возможна .

Неравноправие экспертов.

По Эрроу, эксперты в группе далеко не равноправны. Одни из них могут оказаться скрытыми диктаторами, мнение других может игнорироваться, что несколько дискредитирует саму идею коллективной экспертизы. При построении группового мнения организатор экспертизы также пытается учесть различные индивидуальные мнения, вводя различные коэффициенты значимости, относительной важности и т. п.

Выбор такого рода коэффициентов обычно произволен, а адекватность их достаточно спорна.

Взаимоотношения экспертов в группе.

Вследствие взаимных контактов индивидуальные особенности экспертов могут усиливаться и обостряться. Особенно это относится к таким характеристикам, как конформизм, профессиональная гордость, когнитивная защита. Личные взаимоотношения отдельных членов экспертной группы также оказывают определенное влияние на занимаемые ими позиции.

Технические трудности.

Групповую экспертизу обычно трудно организовать, она требует больше времени и затрат, а для построения результирующего мнения требуются сложные, трудоемкие методики.

Нельзя сказать, что из-за этих сложностей групповой экспертизой следует пренебрегать, однако этого достаточно, чтобы с определенными оговорками предпочесть индивидуальную.

Как же быть с экспертом?

Ради счастья, ради нашего,

Если мы хотим его.

Ни о чем меня не спрашивай,

Не расспрашивай, не выспрашивай,

Не выведывай ничего!

Из протокола экспертизы в Малиновке

Несмотря на все свои и положительные, и отрицательные качества, человек-эксперт незаменим. Учет особенностей человека-эксперта при построении процедур сбора и обработки экспертной информации, а также при моделировании рассуждений эксперта могут значительно повысить степень адекватности получаемой информации и, как следствие, повысить интеллектуальный уровень прикладных знаниеориенти-рованных систем.

В диалоге с экспертом нельзя не учитывать:

—    использование достаточно грубых шкал, фи зический смысл градаций которых понятен экс перту;

—    причины и мотивы тех или иных его реше ний на основе апостериорного анализа, даже ес ли эксперт не всегда способен указать их пря мо;

—    предпочтение качественных вопросов, свя занных со сравнением ситуаций {вариантов, альтернатив), количественным;

—    необходимость пользоваться простыми по форме вопросами;

—    терминологию и язык эксперта;

—   доверия к эксперту как к человеку. При этом не следует одновременно:

—   использовать слишком детальные шкалы;

—    пытаться сравнивать сильно различающиеся или вообще несравнимые ситуации;

—    ждать от эксперта достаточно точных коли чественных оценок;

—    оперировать излишним множеством вариан тов;

—    торопить эксперта;

—    использовать наводящие вопросы;

—    слишком затягивать очередной сеанс диа лога;

-     доверять эксперту во всем без исключения. В заключение можно отметить, что мы во все не пытались дискредитировать саму идею экспертизы, а лишь хотели предостеречь от не критического подхода как к ее проведению, так и х личности эксперта и к получаемой от него информации. Заранее согласны с тем, что спе циальные процедуры могут ослабить и сгла дить негативный эффект от перечисленных осо бенностей, и приветствуем разработку таких процедур. Мы только хотели отметить на карте плохо исследованные территории с грубо очер ченными границами и с грозным предупрежде нием: "Здесь могут водиться тигры!"

Список литературы

1.  Olson J.R., Rueter H.H. Extracting expertise from experts: methods for knowledge acquisition //Expert Systems. - 1987.

-  V. 4, N 3.

2.      Hart A. Knowledge acquisition for expert systems. - London: Kogan Page, 1986.

3.      Kitto СМ., Boose J.H. Heuristics for expertise transfer: an implementation of a dialogue manager for knowledge acquisition // International Journal of Man-Machine Studies.

-  1987. - V. 26, N2.

4.      Shanteau J. Psychological characteristics of expert decision makers // Expert Judgments and Expert Systems: Proc. NATO Adv. Res. Workshop, Porto, Aug. 86. - Berlin e.a., 1987. - P. 288-304.

5.      Souder W.E., Ziegler R.W. A review of creativity and problem solving techniques // Research Management. - 1977.

-  V.20, N 4. - P. 34-42.

6.      Белкин А.Р. Нечеткая классификация на основе линг вистических переменных и задачи дифференциальной диаг ностики // Вопр. кибернет. Вып. 151. 1989. С. 91-108.

7.      Белкин А.Р. Новая информационная технология и ког нитивные особенности человека // Стандартизация н ка чество продукции в СССР. М.: ВНИИКИ, 1990. Вып. 6. С. 16-20.

8.      Белкин А.Р. Учет особенностей человека-эксперта при построении интеллектуальных систем // Искусственный интеллект: 2-я Всесоюэ. конф. Т.З. Минск, 1990. С. 93-95.

9.      Белкин А.Р., Левин М.Ш. Принятие решений: комбина торные модели аппроксимации информации. М.: Наука, 1990.

10.       Волков A.M., Ломнев B.C. Классификация способов извлечения опыта экспертов // Изв. АН СССР. Сер. техн. кибернет. 1989. N 5. С. 34-44.

11.       Кеменн Дж., Снелл Дж. Кибернетическое моделирова ние / Пер. с англ. - М.: Сов. радио, 1972.

12.       Козелецкий Ю. Психологическая теория решений. М.: Прогресс, 1979.

13.       Кук Н.М., Макдональд Д.Э. Формальная методология приобретения к представления знаний // ТИИЭР. 1986. Т.74. N 10.

14.       Линдсей П., Норман Д. Переработка информации у че ловека / Пер. с англ. - М.: Мир, 1974.

15.       Миллер Дж. Магическое число 7 + 2. О некоторых пре делах нашей способности перерабатывать информацию // Инж. психол. М.: Прогресс, 1964. С.192-225.

16.       Миркин Б.Г. Проблема группового выбора. М.: Наука, 1974.

!7. Панкова Л.А., Петровский A.M., Шнейдерман М.В. Организация экспертизы и анализ экспертной информации. М.: Наука, 1984.

18. Паркинсон С.Н. Законы Паркинсона. М.: Прогресс, 1976.