Программные продукты и системы

Концепция систем, основанных на знаниях (СОЗ), е частности экспертных систем (ЭС), существенным образом опирается на использование в качестве источника информации значительных объемов знаний человека-эксперта, являющегося носителем уникальных профессиональных знаний в конкретной предметной области.

Среди проблем, затрудняющих эффективную реализацию процесса приобретения знаний, можно выделить следующие: отсутствие теоретических методов для описания природы экспертизы, трудности вербального выражения знаний и их декомпиляция, сильный субъективизм существующих способов приобретения знаний, влияние личностных качеств эксперта и его ответственность за успех проекта и многие другие. Эти вопросы достаточно широко обсуждаются в работах [5,6,8,9,13,17,22,25].

Сейчас в мире наблюдается значительный интерес к разработкам систем поддержки знаний, способным автоматизировать {хотя бы частично) процесс прямого взаимодействия между экспертами и ЭВМ.

Все существующие инструментальные системы (ИС) приобретения знаний в зависимости от используемых в них методах извлечения знаний от экспертов можно классифицировать следующим образом:

1.        Средства приобретения знаний в простейших ЭС, основанные на деревьях решений (decision trees).

2.        Системы приобретения знаний, базирующиеся на психологических методах (методы репертуарных решеток, кластерный анализ, многомерное шкалиро вание и др.).

3.        Системы приобретения знаний, использующие модели и методы решения конкретных типов задач (problem solving methods).

4.   Системы приобретения знаний, основанные на рассуждениях по прецедентам (case-based reasoning).

5.        Индуктивные средства приобретения знаний для простейших ЭС, где знания об области эксперти зы могут быть представлены в виде примеров.

6.        Системы приобретения знаний, использующие комбинацию различных методов и подходов к извле чению знаний.

Приведенная классификация является, конечно, достаточно условной, но в то же время весьма удобной для того, чтобы с одной стороны охарактеризовать отдельные, наиболее широко распространенные методы извлечения знаний, а с другой — показать опыт реализации этих методов в конкретных ИС приобретения знаний.

Системы приобретения знаний, основанные на деревьях решений

Самую распространенную группу достаточно простых средств приобретения знаний составляют программные системы, позволяющие пользователю создавать на экране компьютера деревья решений.

Наиболее типичным представителем систем подобного рода является ИС Procedural Concultant [24], разработанная фирмой Texas Instrument. Эксперту предоставляются удобные экранные формы для ввода дерева путем означивания каждой вершины дерева. Графическая модель дерева включает следующие элементы: вершины, которым соответствуют некоторые атрибуты проблемной области (ПО), и исходящие из них ветви, соответствующие значениям атрибутов. Корень дерева является точкой входа, а листьевые вершины могут быть интерпретированы как конкретные рекомендации. Следует отметить, что ИС Procedural Consultant обеспечивает также автоматическую генерацию БЗ продукционного типа, которая может быть использована в дальнейшем как БЗ для инструментария Personal Consultant Plus [22] или Procedural Consultant Easy.

Определенный интерес в рассмотренной группе ИС вызывает VAX Decision Expert, разработка фирмы DEC. С помощью этого ИС наиболее удобно строить диагностические деревья ошибок, описывающие аномальные ситуации ПО, причем инженер по знаниям описывает часть знания в виде дерева, а затем дополняет эти знания эвристическими правилами.

Таким образом, методы построения деревьев решений, которые могут быть преобразованы в базу знаний или слиты с базой правил, достаточно просты и особенно полезны в тех случаях, когда разрабатываются средства автоматизации приобретения знаний, тесно связанные с БЗ, ее тестированием и редактированием.

Системы приобретения знаний, основанные на психологических методах

Как показывает анализ средств приобретения знаний, использующих психологические методы, наибольшую популярность получил метод репертуарных решеток.

Метод репертуарных решеток и его разновидности были разработаны на основе психологической теории личностных конструктов Келли [1,14,*22]. Основное содержание метода заключается в сопоставлении некоторых сущностей, которые в психологии называются элементами.

Типичная репертуарная решетка содержит три компонента: "элементы", "конструкты" и "связывающие механизмы4. Специалисты по инженерии знаний (J. Boose, В. Gaines и др.) пришли к выводу, что технологию репертуарных решеток можно использовать при создании модели ПО. Существует несколько методик выявления конструктов: метод ограниченного контекста или метод триад, метод полного контекста или метод попарного сравнения и др.

Теория Келли послужила толчком для создания целого ряда систем автоматизации приобретения. Наиболее известными ИЗ них являются: AQUINAS, ETS, NEXTRA, KSSO, KITTEN. Примером отечественной системы, также использующей этот подход, является SIMER [11,12]. Более подробно некоторые из этих систем будут описаны в следующих разделах.

Системы приобретения знаний, основанные

на методах и моделях решения

различных типов задач.

В качестве типичного средства приобретения знаний этого класса рассмотрим ИС MOLE [21,20], представляющее собой интеграцию системы MOLEp, поддерживающей процесс решения задач диагностики, и системы приобретения знаний MOLEka для построения и модификации БЗ.

Основным назначением системы MOLEka является извлечение знаний из эксперта, построение соответствующей БЗ, обнаружение пропущенных знаний и коррекция БЗ на основе вполне определенного метода решения задачи - метода эвристической классификации (16], характерного для диагностических ЭС.

Отметим, что в диагностической ЭС MOLEp в процессе решения задачи предусмотрено выполнение следующих действий:

-    для каждого симптома, сбоя или любого ано мального отклонения выявляется набор так называе мых "покрывающих альтернатив" или объяснений;

-    определяется информация, способствующая дифференциации этих альтернатив (дифференцирую щие знания):

-    выделяются отдельные значащие альтернативы, которые затем объединяются в согласованный набор.

Таким образом, система MOLEka инициирует процесс приобретения знаний путем получения от Эксперта совокупности возможных жалоб, отклонений, нарушений и т.д. для последующего диагностирования.

Затем MOLEka запрашивает у эксперта подробные объяснения этих симптомов, далее идет процесс выявления объяснений более высокого уровня для полученных объяснений и т.д.

В результате формируется некоторая многоуровневая сеть симптомов и возможных объяснений.

При выявлении дифференцирующих знаний MOLE руководствуется следующими принципами:

1)       если эксперт говорит, что существует несколь ко объяснений для одного симптома, то они, вероят но, могут быть дифференцированы;

2)   какие бы конфликты не обнаруживались в БЗ, предпочтение отдается улучшению существующих структур, а не приобретению новой информации.

Другая система аналогичного типа - это система KNACK [26], представляющая собой средство для приобретения знаний, которое может использоваться при создании ЭС, предназначенных для оценки различных классов проектов. Здесь предполагается, что в процессе проектирования участвуют несколько разработчиков, каждый из которых отвечает за свою часть проекта. Следовательно, ЭС оценки помогают разработчику улучшить свой проект на основе учета всего многообразия различных аспектов и факторов.

На начальном этапе функционирования KNACK проводит интервью с экспертом, в результате чего создается предварительная модель оценки, которая содержит совокупность понятий и словарь эксперта. Кроме этого, KNACK требует от эксперта предоставление некоторого документа, содержащего описание и оценку частного проекта. Этот документ печатается в текстовом редакторе, и KNACK делит его на фрагменты, соответствующие отдельным разделам.

Затем KNACK взаимодействует с экспертом для согласования проекта и предварительной модели. Методика использует простые эвристики, что позволяет избегать создания естественно-языкового интерфейса. При этом эксперт вносит необходимые исправления.

Система SIMER (разработка ИПС РАН) предназначена для формирования в интерактивном режиме БЗ для создания ЭС диагностического и прогнозного типа в достаточно сложной проблемкой области, имеющей плохую структуру. В системе используется представление знаний в виде неоднородной семантической сети [11]. Управление процессом приобретения знаний осуществляется способом представления и накопленными знаниями. Для выявления экспертных знаний система использует различные стратегии.

Выявление структурных знаний о ПО. Используются стратегии разбиения на ступени и метод триад. Стратегия разбиения на ступени направлена на выяв-ление структурных и классификационных свойств событий (понятий, объектов) и таксонометрической структуры ПО. Для выявления новых свойств с помощью метода триад эксперту предъявляются тройки семантически связанных событий с предложением назвать свойство, отличающее одно событие от двух других, а также свойство, противоположное данному,

выявление каузальных связей. Здесь используются стратегии выявления сходства и подтверждения сходства, основанные на модели представления знаний, используемой системой.

Системы приобретения знании, «снованные

на рассуждениях по прецедентам

(case-based reasoning)

В последнее время наблюдается повышенный интерес специалистов к системам, основанным на рассуждениях по прецедентам. Эти системы предполагают принципиально новый подход к приобретению и использованию знаний. К настоящему времени за рубежом разработай целый ряд систем, использующих рассуждение по прецедентам [27,30,31,321-Основной принцип, полученный в основу системы LAPS [27] - это извлечение случаев из практики экксперга для начала процесса пиобретения знаний, т.к. это наиболее удобный способ для выражения экспертом своих знаний. Процесс функционирования LAPS включает 3 сессии. В течение первой сессии извлекается один или более случаев из практики, которые эксперт описывает в виде последовательности предложений. Во второй сессии инженер по знаниям помогает эксперту проанализировать пропущенные шаги в цепочке рассуждений, т.е. происходит процесс декомпиляции знаний. Кроме этого, производится попытка некоторого обобщения знаний с целью построения модели ПО. Третья сессия LAPS управляет разработкой набора таблиц. Таблицы - это средство для организации знаний, помогающее методично разрабатывать ПО. При этом знания представлены в наглядной форме, позволяющей, с одной стороны, учесть все возможные альтернативные рассуждения, а с другой - легко представить информацию в виде правил. Имеется несколько вариантов таких таблиц.

Индуктивные средства приобретения знаний

Кроме традиционного использования индуктивны): методов в обучающих программах, в настоящее время они находят широкое применение в качестве средств для приобретения знаний.

Разработанные в настоящее время индуктивные методы можно классифицировать по следующим направлениям:

а)   индуктивный вывод правил классификации;

б)  обучение, направляемое данными;

в)  обучение, направляемое моделями;

г)  обучение, направляемое эвристиками.

В качестве примера использования этих методов для приобретения знаний можно привести такие системы, как BEAGLE, IXL, VP-Expert, Auto-Intelligence и др.

Среди отечественных систем зтого направления следует упомянуть средство ИЛИС, представляющее собой интегрированную оболочку для создания ЭС с помощью индуктивного вывода и обеспечивающее полную совместимость созданных ЕЗ с оболочкой ЭКО (разработка РосНИИ информационных технологий и автоматизированного проектирования) [8]. Характерной особенностью ИЛИС является сочетание индуктивного метода приобретения знаний и дедуктивного вывода по дереву решений. Используя алгоритмы индуктивного обучения, ИЛИС автоматически формирует гипотезы о связях и закономерностях в исследуемой ПО.

В НИИ "Восход" разработаны два средства для приобретения знаний: ИНДУС, используещее методы индуктивного вывода, и ИЗИТЕК, средство извлечения знаний из текстов, предназначенное для создания баз знаний по естественно-языковым описаниям событий, происходящих в проблемной области [3,4].

Системы приобретения знаний, использующие

комбинацию различных методов н

подходов к извлечению знаний

Рассмотрим систему AQUINAS [14,15], представ-'ляющую собой расширенную версию системы ETS, разработанную Boeing Artificial Centre. AQUINAS предназначен для решения следующих видов задач;

-    извлечение различий;

-    декомпозиция задачи;

-    обработка неопределенной информации;

-    пошаговое тестирование;

-    интеграция типов данных;

-    автоматическое расширение и совершенствова ние базы знаний;

-    использование многих источников знаний;

-    обеспечение процесса управления.

AQUINAS является совокупностью наборов интегрированных средств. Среди них можно выделить средства интерфейса пользователя (dialog manager), средства приобретения, представления и манипулирования знаниями (средства репертуарных решеток, средства иерархической кластеризации, средства работы с неопределенными знаниями, индукционные средства, типовые средства множественного шкалирования, средства для многих экспертов и др.) и объектно-ориентированную СУБД. AQUINAS может анализировать репертуарные решетки различными способами. Затем решетка может быть преобразована в продукционные правила, нечеткие множества, сети и фреймы.

Таким образом, AQUINAS позволяет эксперту выстраивать знания в иерархии, т.е. можно разбирать задачу на подзадачу и подуровни. Существует 4 уровня иерархии: по случаям, по источникам знаний (экспертам), по решениям и характеристикам. Предусмотрены средства для улучшения решетки: разбиение на ступени, кластерный анализ, проверка значений характеристик. Существуют 3 типа методов для обработки неопределенной информации, предпочтений и ограничений. Пользователь также может применять свои методы,

В AQUINAS имеются средства для индуктивного обобщения существующих знаний. Эти обобщения могут быть проверены экспертами и использованы для улучшения знаний. Существует много средств для усовершенствования базы знаний: сравнение экспертов, построение сети экспертизы, ведение интервью, специальные вопросы для выявления новых характеристик, отсечения характеристик, которые функционально совпадают.

Средство NEXTRA [23] является оболочкой приобретения знаний для И С N EXPERT OBJECT. NEXTRA базируется на дальнейшем развитии методов, разработанных для системы поддержки знаний KSS0 [22]. Технология NEXTRA заключает в себе средства извлечения, средства анализа изображений и отображения, средства группового сравнения, средства индуктивного вывода и средства генерации БЗ.

Средства интервьюирования основаны на психологической теории личностных конструктов Келли и последующей работе по компьютерному извлечению концептуальных структур с помощью репертуарных решеток.

Основная точка в методологии системы KRITON [IS] состоит в использовании различных средств для того, чтобы охватить различные виды знаний.

Для извлечения декларативных знаний в системе используется метод репертуарных решеток, автоматизированного интервью, разбиения на ступени, а также текстовой анализ. Для получения процедурных знаний применяется анализ протоколов, который оперирует с протоколами размышления экспер'та вслух. В KRITON анализ протоколов разбит на 5 шагов:

1) разбивка протокола на сегменты по паузам эксперта;

2} семантический анализ сегментов, создание высказываний;

3)   проверка присваивания выбранных операторов И аргументов;

4)   попытка назначить переменные внутри выска зываний {когда не находится подходящих ссылок в высказывании);

5)   высказывания размещаются в соответствии с их появлением в протоколе.

KRITON поддерживает расширенный текстовой анализ. Инженер по знаниям может запросить статис-тичискую информацию о частотных характеристиках ключевых слов в тексте, может определить размер фрагмента, окружающего ключевое слово. Затем процесс продолжается по аналогии с протокольным анализом.

Уровень промежуточного представления знаний позволяет интегрировать различные источники знаний и обеспечивает открытость для других методов извлечения знаний. Более того, он может быть использован для оболочек ЭС, т.к. имеет преимущество интерактивной генерации базы знаний.

К данному классу средств приобретения знаний относится и система АСПриЗ, разрабатываемая в МИФИ.

Основными характерными свойствами этой системы являются:

-    использование различных источников знаний, как экспертов, так и текстов-документов проблемно- ориентированного назначения;

-    ориентация на различные модели и методы ре шения конкретных типов задач ПО;

-    поддержка различных моделей представления знаний;

-    наличие объектно-ориентированного интерфей са для проектирования БЗ, допускающего в том числе графический интерфейс;

-    преобразование извлеченных знаний в заданную модель представления знаний конкретной оболочки ЭС.

Система АФОРИЗМ [1,2] осуществляет поддержку автоматизированного приобретения знаний, используя в своем арсенале достаточно широкий набор различных методов извлечения знаний. Этот набор включает модифицированный метод репертуарных .решеток, методы раэбиеция на ступени, метод извлечения знаний в процессе деловой игры эксперта с системой, метод извлечения знаний путем изображения схемы решения экспертной задачи в графическом редакторе с параллельной структуризацией шагов задачи, метод хранения и представления знаний в виде гипертекста.

Имеются "дружелюбный" интерфейс, множество подсказок, интерфейс к файлам СУБД dBasc4, Fox Base, Foxpro, Clipper, развитая система объяснений в режиме логического вывода, возможность подключения внешних программ.

Данная система предназначена для применения в задачах распознавания, выбора, управления, планирования.

АФОРИЗМ использовался, например, при разработке прототипа ЭС мониторинга процесса сближения транспортного корабля с долговременной орбитальной станцией (1991 г.).

Сравнительный анализ рассмотренных подходов н И С приобретения знаний

Таким образом, к настоящему времени разработано достаточно большое количество подходов для решения сложной задачи приобретения знаний. Однако пока нет универсального исчерпывающего метода, позволяющего полностью и эффективно решить эту проблему. Необходимо их сочетание и/или выбор наиболее подходящих методов для решения конкретной задачи, часто присутствие инженера по знаниям является необходимым.

Приведем краткий сравнительный анализ описанных выше методов.

Использование моделей и методов решения конкретных типов задач.

Этот метод, безусловно, очень эффективен, если существующая модель точно подходит л рассматриваемой задаче. Он позволяет инициировать процесс приобретения знаний. Эксперт руководствуется при этом определенной стратегией, управляемой моделью: заполнять, развивать, уточнять мета-ячейки (общие понятия, отношения и т.п.), пока модель ПО не будет разработана полностью. Во-первых, необходимо иметь большую библиотеку моделей, по возможности охватывающую все возможные типы задач.

Во-вторых, возникает проблема выбора адекватной модели, которая, вообще говоря, нетривиальна и подразумевает участие инженера по знаниям. И в-третьих, очень часто реальная задача не соответствует ни одной из существующих моделей. Здесь необходим более серьезный анализ. Рассматриваемую задачу можно либо представить в виде комбинации существующих моделей, либо потребуется разработка отдельной, новой модели.

Психологические методы.

Некоторые из этих методов довольно эффективны и просты (например, метод триад), что нашло применение во многих разработках. При структуризации они работают наилучшим образом для задач анализа, таких как задачи выбора и классификации, когда решения задаются заранее. Для задач синтеза, таких как планирование, когда решения строятся на основе компонентов, эти методы менее эффективны.

При использовании некоторых из этих методов, например, При формировании репертуарных решеток, требуются количественные методы, которые не всегда эффективны при выявлении экспертных знаний (эксперт чаше оперирует качественными знаниями).

Методы репертуарных решеток не очень эффективны на начальных этапах извлечения знания. Эксперту обычно более удобно описывать пошагово процесс решения задачи. Вместо этого эксперту навязы-

вается стиль рассуждения, отличающийся от привычного способа решения задачи. Попытка применить эти методы на начальном этапе для выражения экспертом своих знаний приводит эксперта к ощущению, что он играет в странную игру. Индуктивные методы.

Эти методы проводят индукцию по примерам для генерации базы знаний без попытки создать модель области. Такой подход может быть наиболее быстрым способом для создания базы знаний для маленьких областей. Это также позволяет эксперту работать самостоятельно без помощи инженера па знаниям. Однако этот подход может быть утомительным (например повтор фразы "задайте другой пример").

По причине, что не строится модель ПО, индуктивный процесс может привести к созданию длинных, нерелевантных, несвязанных правил, что приводит к огромным трудностям при поддержке созданной БЗ в больших областях.

Рассуждения по прецедентам.

Эти методы определяют новый подход не только к приобретению, но и представлению и обработке знаний.

Методы, основанные на рассуждениях по случаям из практики эксперта, следуют стилю рассуждения эксперта, основанного на процессе решения задачи. Это значительно упрощает процесс извлечения знаний.

Данные методы не ограничиваются каким-либо типом решаемой задачи, как это происходит при работе с моделями ПО. Однако эта степень свободы требует присутствия инженера по знаниям с целью обобщения приобретенных знаний.

Хотя и существует общий сценарий при использовании этого подхода для приобретения знаний, для каждой конкретной задачи приходится решать сложную проблему приобретения знаний индивидуально, т.е. процесс полностью не автоматизирован. Также важной является проблема выбора релевантных прецедентов для формирования БЗ, особенно на начальных этапах.

Методы, основанные на деревьях решений. Эти методы довольно просты и удобны для работы. Полученные деревья легко трансформируются в базу правил, упрощая процесс использования приобретенных знаний. Однако они ориентированы, в основном, на задачи диагностики и эффективны для простейших ПО.

Комбинированные подходы.

Системы, использующие комбинацию методов приобретения знаний, наиболее универсальны и мощны. Применение совокупности методов позволяет избежать недостатков отдельных из них и, таким образом, построить наиболее полную и релевантную базу знаний.

Однако здесь возникает проблема выработки обшей стратегии для управления и поддержки всего процесса приобретения знаний, а именно: совместимость отдельных методов, последовательность их применения, представление знаний, возможность переключения на другой метод приобретения знаний в случае, когда текущий является неэффективным.

Список литературы

1. Андриенко Г.Л., Андриенко Н.В. Поход к приобретению экспертных знаний о задачах с разнотипными компонентами.

В кн: 3-я Конференция по искусственному интеллекту (КИИ-92). Сборник научны* трудов, т.1, Тверь, 1992, с.96-99.

2.     Андриенко Г.Л., Андриенко Н.В. Игровые процедуры со поставления в инженерии знаний. В кн: 3-я Конференция по искусственному интеллекту (КИИ-92). Сборник научных трудов, т.1, Тверь, 1992, с.93-96.

3.     Бирюков А.В., Васильева О.В., Кузнецов В.Н., Преображен ский А.Б., Тоскин А.В. ИЗИТЕК - средство извлечения знаний из текстов,

4.     Виньков М.М. ИНДУС - система приобретения знаний, ос нованная на индуктивном выводе. В кн: 3-я Конференция по искусственному интеллекту (КИИ-92). Сборник научных трудов, т.2, Тверь, 1°92,с.183-185.

5.     Волков А.М, Ломнев B.C. Классификация способов извле чения опыта экспертов. Изв. АН СССР, Сер. Техническая кибернетика, 1988, N5.

6.     Гаврилова Т.А., Червинская К.Р. Извлечение и структуриро вание знаний для экспертных систем. М: Радио и связь, 1992, 200 с.

7.     Заводович О.В., Рыбина Г.В. Система автоматизированного приобретения знаний АСПРиЗ. В кн: 3-я Конференция по искусственному интеллекту (КИИ-92). Сборник научных трудов, т.1, Тверь, 1992, с. 1 IS-117.

8.     Кирсанов Б.С., Попов Э.В. Инструментальный комплекс для построения на ПЭВМ эффективных экспертных систем в широ ком классе приложений. В кн.: Экспертные системы на персо нальных компьютерах (материалы семинара), МДНТП им. Ф.Э. Дзержинского. М.: 1990, с.56-62.

9.     Кук Н.М., Макдональд Дж.Э. Формальная методология при обретения и представления экспертных знаний. ТИИЭР, 1986, т. 74, N10.

10. Ларичев О.Н.,Мечитов А.И. и др. Выявление экспертных знаний. М.: Наука, 1989, 128 с.

П.Осипов Г.С. Принципы прямого приобретения знаний. Сборник трудов Второго международного-семинара "Теория и Применение искусственного интеллекта". Созопол, 1989, с.254-262.

12.     Осипов Г.С. Построение моделей предметных областей. Неоднородные семантические сети. Изв. АН СССР. Сер. Техни ческая Кибернетика, 1990, N5.

13.     Хорошевский В.Ф. Разработка и реализация ЭС. Изв. АН СССР. Сер. Техническая кибернетика, 19Я6, N5.

14.     Boose l.H. Uses of repertory grid-centre knowledge acquisition tools for knowledge-based system. Int.J. Man-Machine Studies, 1988, Vol 29, N3.

15.     Boose l.H, Bradshow. Expertise transfer and complex problems: using AQUINAS as a knowledge-based system. Int. J. Man- Machine studies, 1987, Vol 26, N1.

16.     Clancey W. Heuristic Classification. Artificial intelligence, 1985, V.27, N3, p.289-350.

17.     Debenham J. Knowledge Acquisition: a systematic approach. In book: Application of expert systems, edited by J.R. Quinlan, University of Tecnology, Sydney, 1989.

18.     Deiderlch J., Ruhmann. KBITON: a knowledge acquisition tools for expert systems. I nl.3 .Man. -Machine Studies, 1987, Vol.26, N1.

19.     Dielterich T.G., Flann N.S., Wilkins D.C. News and notes. Machine Learning, Vol.1, 1986, p.227-242.

20.     Eshelman L... Ehret D., McDermott L MOLE: tenacious Itnowledge acquisition tool. int.I. Man-Machine Studies, 1987, Vol 26, N1.

21.     Eshelman L. MOLE: a knowledge acquisition tool that buries certainty factors. Int. J.Man-Machine Studies, 1988, Vol.29, p. 569-577.

22.     Gaines B.R. Knowledge acquisition systems for rapid proto typing of expert systems. INFOR, Vol.26, N4, 1988, p.256-285

23.     Gaines B.R., Rappaport A.T.Integrating knowledge acqlusi- tionand perfomance systems. Artificial Intelligence, 1989, V40, N2, p.307-326.

24.     Harmon P. Knowledge acquisition tools. Expert System Strategies, 1989, V5, N7, p.1-14.

25.     Hart A. Report of workbench on the use of Knowledge acquisi tion techniques with structured systems methods, held al BP, London, 5, December, 1990. Expert Systems: the Int.J. of Know ledge Engineering, 1990, Vol 7, N 3, p.157-165.

26.     Kllnker, Genetet S., McDermolt J. Knowledge acquisition for evaluation systems. Int J. Man-Machine Studies, 1988, V.29, p.715-731.

27.     Piazza J.S., Helsabeck F. A. Laps: cases to models to complete expert systems. AI magazine, 1990, V.ll, N3, p.80-107.

28.     Quinlan J.R. Introduction of decision trees. Machine learning, N1, 1986, p81-106.

29.     Quinlan J.R., Compon P.I, Нога К.А., Lazarus L.Inductive knowledge acquisition: A case study. Application of expert systems. Wokingam, England: Addis on-Wesley, 1987.

30.     Rissland E.,Skalak. CABARET: rule inlertpretation in a hybrid architecture. Int. J. Man-Machine Studies, 1991, V.34, p.839-8S7.

31.     Silverman B.G. Critiquing Human Judgment Using knowledge Acquisition Systems. AI magazine, 1990, V. 11, N3, p.60-79.

32.     Slade S. Case-based reasoning: a research paradigm. AI magazine, 1991, V.12, N1, p. 42-53.