Software & Systems

С середины 90-х годов XX-го века в области развития инструментальной базы для создания экспертных систем (ЭС) усилилось влияние новых тенденций в виде CASE-технологий, KBSA-под­хода (Knowledge base systems assistants), технологий реализации статических и динамических распределенных приложений (COM, DCOM, Java RMI, CORBA и др.), интеграция которых формирует сегодня новое направление  программной инженерии на основе знаний (Knowledge based software engineering), связанное с «интеллектуализацией» процессов разработки широкого класса ЭС [1-3].

Эта концепция в полной мере нашла свое отражение в рамках исследовательского проекта АТ-ТЕХНОЛОГИЯ (автоматизированная технология), ведущегося в течение ряда лет в лаборатории «Системы искусственного интеллекта» кафедры кибернетики МИФИ. В рамках проекта был создан инструментарий нового поколения – комплекс АТ-ТЕХНОЛОГИЯ [2,3], предназначенный для поддержки построения одного из самых сложных классов интеллектуальных систем – интегрированных ЭС (ИЭС).

Инструментальный программный комплекс АТ-ТЕХНОЛОГИЯ, трансформировавшийся за этот период в несколько технологических поколений типа WorkBench (то есть интегрированных сред, включающих инструменты различного уровня сложности, управление выбором которых осуществляется как системой, так и инженером по знаниям), поддерживает оригинальную задачно-ориентированную методологию (ЗОМ) [4,5]. Он представляет собой взаимосвязанную совокупность средств автоматизации проектирования ИЭС на всех этапах жизненного цикла (ЖЦ).

Цель данной работы – обсуждение новых функциональных возможностей комплекса АТ-ТЕХНОЛОГИЯ третьего поколения, обеспечивающих элементы интеллектуализации процессов построения прикладных ИЭС на основе знаний о типовых проектных процедурах (ТПП) разработки систем и их компонентов для конкретных классов задач и проблемных областей.

Актуальность проблемы интеллектуальной поддержки достаточно сложных этапов проектирования ИЭС не вызывает сомнений, поскольку вопросы снижения трудозатрат на разработку и смягчение квалификационных требований к проектировщикам (инженерам по знаниям) являются сегодня одними из важнейших у ведущих производителей программного обеспечения во всем мире (фирмы IBM, Microsoft, CA и др.).

Модель интеллектуальной среды поддержки разработки ИЭС

В основу понятия «интеллектуальной среды», введенного в [6], были положены некоторые базовые принципы, подходы и методы, созданные в области интеллектуальных пакетов прикладных программ (ИППП) – широко известного в 80-е годы XX-го века класса интеллектуальных систем типа отечественных МАВР, ПРИЗ, СПОРА, ДИСАР, РЕГЕНД и др. Эти системы позволяли ко­нечному пользователю решать задачи на ЭВМ, давая их содержательные описания и определяя значения исходных данных без непосредственного программирования процессов решения задач.

Эволюционное осмысление базовых идей ИППП и подходов, использующихся в современных информационных и агентно-ориентирован­ных технологиях управления проектами в целом, позволили разработать в рамках ЗОМ совокупность моделей, методов и средств интеллектуальной поддержки построения ИЭС, важное место среди которых занимает понятие модели интеллектуальной среды поддержки разработки ИЭС.

Формально модель интеллектуальной среды  представляется четверкой МАТ=, где KB – база знаний (БЗ) о составе проекта и типовых проектных решениях, используемых при разработке ИЭС; К = {Ki}, i=1,…,m – множество текущих контекстов Ki, состоящих из множества объектов из KB, редактируемых или выполняющихся на текущем шаге управления; P – специальная программа (интеллектуальный планировщик), управляющая процессами разработки и тестирования ИЭС; Т={Ti}, i=1,…,n – множество инструментов Ti, применяющихся на различных этапах разработки ИЭС.

Рассмотрим каждый элемент модели МАТ подробнее, начав с КВ как декларативной основы процесса интеллектуальной поддержки разработки ИЭС, которая выступает в качестве информационного хранилища в данной среде. В соответствии с [2, 6] компонент KB определяется как КВ = , где WKB – это БЗ, содержащая знания о ТПП, которые описывают последовательности и способы применения тех или иных инструментальных средств при создании прикладных ИЭС, а также последовательности этапов создания ИЭС; CKB – БЗ, включающая знания о применении ТПП и повторно используемых компонентов (ПИК), включая фрагменты созданных ранее прототипов ИЭС (хранится в виде сети типа: СKB=, где Q={qi}, i=1,…, r – множество объектов сети; R={rij}, i=1,…,t, j=1,…,h – множество связей между ними); РКВ – БЗ, содержащая специфические знания, используемые на различных этапах создания прототипа ИЭС для решения задач, требующих нестандартного подхода.

Текущий контекст Кi представляется в виде Ki=, где KD – декларативный контекст, предназначенный для хранения статической декларативной информации о структуре проекта, инженере по знаниям и текущем пользователе; KP – процедурный контекст, включающий в себя объекты, явно влияющие на дальнейшие шаги планировщика (этап ЖЦ системы, текущий редактируемый или исполняемый объект, текущая цель, текущий исполнитель, глобальный план разработки и т.д.).

Интеллектуальный планировщик в общем виде описывается моделью P=, где S – состояние текущего контекста, при котором активизируется планировщик; {Ai}, i=1,…,k – множество функциональных модулей Ai, входящих в состав планировщика; pa – процедура выбора текущей цели на основании глобального плана разработки; pb – процедура выбора наилучшего функционального модуля-исполнителя из списка возможных кандидатов; I – процедуры, обеспечивающие интерфейс с комплексом АТ-ТЕХНОЛО­ГИЯ; GP – процедуры работы с глобальным планом разработки ИЭС.

Таким образом, интеллектуальная поддержка разработки прототипов ИЭС включает в себя: построение плана разработки прототипа ИЭС на всех этапах ЖЦ на основе знаний о моделях и методах решения типовых задач [4, 5]; динамическое ассистирование инженеру по знаниям при построе­нии прототипа ИЭС на основе знаний о ТПП и ПИК; синтез архитектуры прототипа ИЭС на основе расширенной информационно-логической модели системы; анализ прототипа путем использования знаний о моделях и методах решения типовых задач; выдачу рекомендаций и объяснений инженеру по знаниям (интеллектуальная помощь).

Методы использования ТПП и ПИК при интеллектуальной поддержке разработки ИЭС

Важное место в рамках интеллектуальной среды при построении и исполнении планов разработки занимают методы использования ПИК и ТПП. В целом усиление роли ПИК и ТПП связано с тем, что такие классиче­ские компоненты ЭС, как машина вывода, средства объяснения и др. хорошо реализуются в виде ПИК, которые затем интегрируются в приложение, разрабатываемое с помощью традиционных RAD-систем.

Общая архитектура инструментального комплекса АТ-ТЕХНОЛОГИЯ разработана таким образом, что вся функциональность является распределенной, то есть «разносится» на компоненты, зарегистрированные в среде комплекса и действующие под управлением интеллектуальной среды поддержки разработки. Иначе говоря, данные компоненты образуют ПИК-комплекс и реали­зуются по правилам, определенным для ПИК.

Реализуя определенные функциональные возможности, эти компоненты посредством программного интерфейса и механизмов взаимодействия (которые для компонентов комплекса строго декларированы), предоставляют возможность использования этой функциональности по мере необходимости. Таким образом, все компоненты комплекса АТ-ТЕХНОЛОГИЯ являются процедурными ПИК, или, другими словами, готовыми программными элементами.

Формально каждый ПИК, участвующий в разработке прототипа, представляется пятеркой PIK=, где N – имя компонента, под которым он зарегистрирован в комплексе; Arg={Argi}, i=1,…,l – множество аргументов, содержащих поддеревья базы данных текущего проекта, служащие входными параметрами для выполнения функций из множества F; F={Fj}, j=1,…,s – множество методов (интерфейсов ПИК) данного компонента на уровне реализации; PINT – множество наименований интерфейсов других ПИК, используемых методами данного ПИК, FN={FNi}, i=1,…,v – множество наименований функций, выполняемых данным ПИК.

Выделены две группы ПИК – компоненты, реализующие возможности процедурного ПИК, и компоненты, реализующие возможности информационного ПИК. В первом случае компоненты предоставляют возможности по выполнению некоторых действий, направленных на получение нетиповых результатов, то есть тех действий, которые ранее не были накоплены в некотором хранилище (репозитории), или же тех действий, которые требуют интерактивной работы с пользователем (редактирование диаграмм или просмотр протокола интер­вьюирования эксперта и т.п.). Во втором случае компоненты предоставляют возможности по выполнению действий, целью которых является получение ранее накопленной в репозитории информации (знаний, данных, схем, структур и т.д.) с дальнейшим копированием ее в текущий проект или же с дальнейшей обработкой этой информации (например, использование ранее созданной ER-диаграммы или анализ типовой диаграммы). Для использования ПИК данной группы создаются специализированные хранилища – репозитории, в которых накапливается различного рода информация, используемая в дальнейшем.

Тем не менее, реализованные в настоящее время ПИК имеют достаточно узкий круг приложений и не могут эффективно использоваться для решения различных задач одного типа. Большой выбор всевозможных компонентов для решения сходных задач существенно затрудняет для инженера по знаниям задачу принятия решения по выбору наиболее подходящего ПИК. Поэтому ведутся исследования по разработке ПИК, позволяющих осуществлять гибкую настройку на различные задачи одного типа.

Основным значимым алгоритмическим элементом, использующимся при построении плана разработки, является ТПП, под которой понимается набор элементарных ходов (инструкций), традиционно совершаемых инженером по знаниям  на каж­дом этапе ЖЦ разработки при решении каких-либо проектных задач.

Формально ТПП представляется в виде тройки PTPP=<С, L, T>, где C – множество условий, при выполнении которых возможна реализация ТПП; L – сценарий выполнения, описанный на внутреннем языке представления действий ТПП; T – множество параметров, инициализируемых интеллектуальным планировщиком при включении ТПП в план разработки прототипа ИЭС.

Интеллектуальный планировщик, обладая определенной совокупностью знаний обо всех ТПП, формирует набор задач для разработки любого прототипа ИЭС (согласно ЖЦ разработки), а затем на основе требова­ний к прототипу, сформированных на этапе анализа системных требова­ний, декомпозирует план разработки на более мелкие задачи (подзадачи).

Все ТПП комплекса классифицируются следующим образом: ТПП, не зависящие от типа задачи (например, извлечение знаний из баз данных (БД) и др.), ТПП, зависящие от типа задачи (например, формирование компонентов обучающих ИЭС и др.), ТПП, связанные с ПИК, то есть процедуры, содержащие информацию о ЖЦ ПИК от начала его настройки до включения в макет прототипа, а также сведения о решаемых этим ПИК задачах, необходимых настройках (и, возможно, об их значениях).

В комплексе АТ-ТЕХНОЛОГИЯ реализованы механизмы для использования и поддержки ТПП первого и второго типов. Здесь основными являются: ТПП поддержки комбинированного метода приобретения знаний, ТПП извлечения знаний из БД, ТПП извлечения знаний из экспертов, ТПП извлечения знаний из естественно-языковых текстов, ТПП проектирования БД средствами комплекса, ТПП конфигурирования компонентов ИЭС, ТПП создания обучающих ИЭС, ТПП создания гипертекстовых документов и др.

Разработка эффективных механизмов для реализации ТПП третьего типа является весьма необходимой и актуальной задачей, которая находится в стадии исследования.

Планирование действий инженера по знаниям в процессе разработки ИЭС

Важнейшим базовым элементом интеллектуальной среды поддержки разработки ИЭС является интеллектуальный планировщик. К настоящему времени было создано несколько поколений планировщиков, разработанных на основе объединения моделей и методов традиционного планирования с методами, применяемыми в области ЭС [2,7].

Подобного рода гибридизация является вполне обоснованной при решении задач, связан­ных с разработкой ИЭС, поскольку использование гибких механизмов ЭС, позволяющих четко отражать логику эксперта и использовать декларативный способ описания знаний о проблемной области при построении плана, а также определенных традиционных методов планирования, дает возможность легко расширять области применимости данных средств (пополняя их знаниями) и тем самым обеспечивает возможность эффективного детального планирования каждого этапа разработки ИЭС с его последующей реализацией.

Таким образом, основной задачей планировщика является создание плана действий инженера по знаниям в процессе разработки на основе текущего состояния проекта, а также обеспечение возможности исполнения данного плана.

Приведем общий алгоритм функционирования интеллектуального планировщика. Перед началом работы с комплексом осуществляется инициализация и конфигурирование всех зарегистрированных в комплексе компонентов. Затем осуществляется расширение БЗ интеллектуального планировщика (компонент KB модели MAT) дополнительными знаниями, передаваемыми планировщику зарегистрированными компонентами, которые описывают особенности работы с каждым из компонентов в различных ситуациях. Далее производится перестройка плана дальнейшей разработки в соответствии с текущим контекстом (описанием проекта) и содержимым специализированного буфера – классной доски. Планировщик осуществляет очистку текущего списка плановых задач и инициализирует работу машины вывода, в качестве которой используется универсальный АТ-РЕШАТЕЛЬ. Здесь БЗ планировщика содержит правила двух основных типов: правила, действием которых является означивание факта (пара вида имя = значение), хранящегося на классной доске, и правила, действием которых является непосредственный вызов функции зарегистрированного в комплексе компонента.

Правила первого типа используются непосредственно для модификации состояния классной доски (добавление или изменение фактов). Правила второго типа позволяют осуществлять косвенное изменение параметров текущего контекста или состояния классной доски, при этом предоставляя возможность реализации интерактивного взаимодействия системы с инженером по знаниям в процессе построения плана дальнейшей разработки. Процесс формирования окончательного списка доступных плановых задач завершается после того, как машина вывода завершает поиск решения. Окончательно обработанный и сформированный список задач передается средствам интерфейсного взаимодействия с планировщиком, с помощью которых построенный план становится доступным инженеру по знаниям.

Следует отметить, что при выполнении плана разработки активация различных плановых задач осуществляется двумя способами. Если  подтверждения  инженера по знаниям о необходимости и возможности выполнения плановой задачи не требуется, то планировщик при определенных условиях может активировать выполнение данной плановой задачи автоматически. В то же время, если участие человека в процессе принятия решения о выборе активируемой плановой задачи необходимо, то планировщик ожидает команды, осуществляя интерактивное взаимодействие с инженером по знаниям посредством пользовательского интерфейса комплекса.

В первом случае говорят о неинтерактивном способе активации плановой задачи и задачу классифицируют как неинтерактивную, а во втором – об интерактивном способе активации плановой задачи, при этом задача классифицируется как интерактивная.

Как уже было отмечено, реализация текущей версии интеллектуального планировщика представляет собой гибридизацию подходов, базирующихся на использовании HTN-формализма [2] и гибких механиз­мов поиска решения, применяемых в ЭС, что позволяет использовать декларативный способ описания знаний о ходе разработки, в данном случае на языке представления знаний продукционного типа. В качестве примера приведем несколько правил из технологической БЗ планировщика.

Правило 1

ЕСЛИ

(Этап = «Анализ системных требований») И (Количество неформализованных операций > 0)

ТО

Добавить Задачу(«Извлечь знания из эксперта»)

Правило 1 срабатывает на этапе анализа системных требований при условии, что информационно-логическая модель архитектуры прототипа ИЭС включает элемент «неформализованная операция» [4]. Результатом выполнения данного правила при поиске решения машиной вывода во время построения плана разработки будет добавление в список плановых задач, доступных на данный момент, задачи по извлечению знаний из эксперта (пример интерактивной плановой задачи).

Правило 2

ЕСЛИ

(Этап = «Проектирование») И (Поле знаний верифицировано = Нет)

ТО

Выполнить («Верификация поля знаний»)

Правило 2 срабатывает на этапе проектирования при условии, что поле знаний разрабатываемого прототипа было изменено, но верификации поля знаний проведено не было. В этом случае результатом выполнения правила при поиске решения машиной вывода во время построения плана разработки будет автоматическая активация функции верификации поля знаний прототипа (пример неинтерактивной плановой задачи).

В настоящее время объем БЗ интеллектуального планировщика комплекса АТ-ТЕХНОЛОГИЯ составляет порядка 80 правил, которые используются для реализации более 15 ТПП на всех этапах ЖЦ разработки ИЭС для проблемных областей, связанных с диагностикой и проектированием. Кроме того, при разработке прототипов ИЭС используются более 50 ПИК, среди которых 15 реализуют возможности информационных ПИК на базе единого репозитория, а порядка 35 реализуют возможности процедурных ПИК.

Особенности программной реализации интеллектуальной среды поддержки разработки ИЭС

Инструментальный комплекс АТ-ТЕХНОЛО­ГИЯ, детально описанный в ряде работ [2, 3, 7, 8], представляет собой сложное программное средство, предназначенное для решения задач, связанных с проектированием и разработкой ИЭС на основе ЗОМ [4]. В основу реализации текущей версии комплекса положен подход, опирающийся на технологии COM и XML, обеспечивающие модульность комплекса и легкую взаимозаменяемость дополнительных инструментов разработчика, реализуемых в виде ПИК комплекса. Ядро комплекса включает ряд базовых компонентов, необходимых для создания любой ИЭС в рамках ЗОМ.

Интеллектуальная среда поддержки разработки реализована в рамках инструментального комплекса АТ-ТЕХНО­ЛОГИЯ в виде нескольких программных модулей (интеллектуальный планировщик, средства работы с репозиторием и т.п.) и информационных хранилищ (репозиторий проекта, БЗ интеллектуального планировщика и т.п.). Как уже упоминалось, важнейшим базовым элементом интеллектуальной среды поддержки разработки ИЭС является интеллектуальный планировщик, показанный в верхней части рисунка 1.

Интеллектуальный планировщик связан со средствами интерактивного взаимодействия с разработчиком, с помощью которых отображается перечень возможных действий, которые могут быть выполнены на данном шаге разработки и при определенных условиях, сложившихся в проекте.

Кроме этого, планировщик отображает весь план разработки ИЭС и реализует обратную связь с инженером по знаниям путем обработки активированных интерактивных задач, осуществляя выполнение конкретных действий посредством связи с ПИК комплекса.

Программно-интеллектуальный планировщик реализован в виде трех блоков (рис. 2): ядро интеллектуального планировщика, блок анализа действий разработчика, блок выбора плана для адаптации.

Блок анализа действий разработчика предназначен для анализа действий инженера по знаниям в ходе разработки ИЭС, аккумуляции информации, связанной с выполнением задач (порядок, тип задач и т.д.), а также для анализа накопленной информации и выявления дополнительных эвристических знаний о ходе разработки для определенного типа задач и проблемных областей. Блок выбора плана для адаптации предназначен для выбора из библиотеки планов подходящего для решения задачи (в зависимости от специфики решаемой задачи) плана, а также его дальнейшей адаптации под конкретную задачу. Обеспечивается выбор как плана в целом, так и части плана, то есть некоторого подплана (для определенного уровня вложенности согласно иерархии плановых задач).

Ядро интеллектуального планировщика представляет собой совокупность программных средств, предназначенных для построения, отображения, активации и выполнения задач из плана разработки ИЭС, и логически включает три элемента: БЗ интеллектуального планировщика, решатель, блок взаимосвязи интеллектуального планировщика с ПИК.

База знаний интеллектуального планировщика содержит знания о ходе разработки ИЭС и представляет собой объединение знаний двух типов: типовые знания (знания о разработке любой ИЭС) и специализированные знания, связанные со спецификой работы каждого ПИК, зарегистрированного и используемого в составе средств комплекса АТ-ТЕХНОЛОГИЯ. Важно отметить, что предусмотрена возможность динамического расширения БЗ за счет получения знаний от зарегистрированных ПИК об особенностях работы, связанных с их использованием (рис. 3). Знания в БЗ представлены в виде продукций, а в качестве языка представлений знаний (ЯПЗ) используется ЯПЗ универсаль­ного АТ-РЕШАТЕЛЯ комплекса АТ-ТЕХ­НОЛОГИЯ.

Решатель используется для определения совокупности задач, составляющих план разработки на определенном этапе построения ИЭС.

Решатель использует знания из БЗ интеллектуального планировщика, а также в качестве начальной ситуации (начальной информации) информацию о характеристиках проекта из блока взаимодействия планировщика с ПИК.

С помощью блока взаимодействия планировщика с ПИК осуществляется передача интерактивных задач разработки в средства интерфейса инструментального комплекса АТ-ТЕХНОЛОГИЯ, а также получение результатов взаимодействия с пользователем (то есть обработка результатов активации задач плана). Кроме того, реализуется взаимодействие с ПИК комплекса АТ-ТЕХНО­ЛОГИЯ путем приема/передачи сообщений, а также ряд внутренних функций обработки состояния проекта разработки с целью выделения определенных характеристик проекта и контроль выполнения интерактивных задач плана (посредством передачи сообщений ПИК).

В ходе построения плана решатель передает блоку взаимодействия планировщика с ПИК инструкции по выполнению определенного рода задач (подобные инструкции могут передаваться в ходе работы и от других компонентов комплекса). Для описания инструкций используется специально разработанный язык, представляющий собой подмножество XML, так как в качестве формата представления сообщений, используемых компонентами комплекса, выбран XML. Применение специализированного языка инструкций является необходимым условием, поскольку, как показывает практика, при решении различного рода задач, а также при расширении параметров контекста и ТПП, применяемых при разработке ИЭС, возникает необходимость получения специфических параметров контекста и их динамической обработки, при этом перестройка внутренних механизмов средств интеллектуальной поддержки разработки крайне нежелательна. В этом случае применение  языка инструкций позволяет наделить данные программные средства свойством гибкой и динамичной настройки на практически произвольную XML-структуру, используемую в качестве репозитория проекта (контекста).

Приведем в качестве примера несколько инструкций для планировщика.

Пример 1. Инструкция:

При выполнении данной инструкции планировщиком будет осуществляться подсчет тегов в XML-структуре «». В результате выполнения данной инструкции будет возвращено значение «2».

Пример 2. Инструкция:

 При выполнении данной инструкции планировщиком будет передано управление ПИК комплекса, зарегистрированного под именем «Dia­gram Editor», который выполнит инструкцию CreateContextDiagram (создание контекстной диаграммы).

Следует отметить, что в настоящее время проводится экспериментальная оценка эффективности реализованных программных средств и алгоритмов поиска решений, вычисления и означивания параметров контекста. Кроме того, в связи с достаточно сложным процессом написания инструкций, необходимых для работы планировщика при расширении функциональности комплекса, проводится работа по созданию специализированных средств редактирования и пополнения хранилища инструкций.

Дальнейшие исследования связаны с развитием средств интеллектуальной поддержки разработки ИЭС в направлении гибридизации применяемого в настоящее время подхода к интеллектуальному планированию действий инженера по знаниям с методами адаптивного планирования. По предварительным оценкам, это позволит значительно сократить ресурсоемкость процессов интеллектуального планирования. Кроме того, комбинируя репозитории типовых планов, ПИК и ТПП, можно создать одно общее мощное хранилище, представляющее репозиторий готовых решений, что позволит с минимальными затра­тами осуществлять поиск необходимых элементов создаваемой системы среди максимально подходящих готовых проектных решений.

Применение методов адаптивного планирования позволит также осуществить переход к спиральной модели ЖЦ, позволяя экономить время и ресурсы на каждом новом витке развития ИЭС, разрабатываемых в среде комплекса АТ-ТЕХНО­ЛОГИЯ, за счет применения готовых планов уже не разработки, а доработки системы, тоже хранящихся в едином репозитории.

Другим, не менее важным направлением исследований является усовершенствование среды интеллектуальной поддержки разработки за счет применения средств интеллектуального ресурсного планирования. При этом важную часть будет занимать объединение плановой и фактической реализации проекта, что позволит вносить коррективы в процесс разработки, отражая это в плане разработки, и в итоге получать оценки эффективности проведенной работы, ее реальные стоимостные оценки, а также формировать новые стратегии для проведения даль­нейших разработок.

Список литературы

1.   Рыбина Г.В. Интегрированные экспертные системы: современное состояние, проблемы и тенденции// Изв. РАН: Теория и системы управления. – 2002. – №5. – С.111-126.

2.   Рыбина Г.В. Инструментальные средства нового поколения для построения прикладных интеллектуальных систем// Авиакосмическое приборостроение. – 2004.

3.   Рыбина Г.В. Инструментарий нового поколения для построения интегрированных экспертных систем// Девятая национ. конф. по искусствен. интеллекту с междунар. участ. КИИ-2004. / Тр. конф. В 3-х т.– М.: Физматлит, 2004. – Т.2. – С.621-629.

4.   Рыбина Г.В. Задачно-ориентированная методология автоматизированного построения интегрированных экспертных систем для статических проблемных областей// Изв. РАН. Теория и системы управления. – 1997. – №5. – С.129-137.

5.   Рыбина Г.В. Автоматизированное построение баз знаний для интегрированных экспертных систем. //Изв. РАН: Теория и системы управления. – 1998. – № 5. – С.152-166.

6.   Пышагин С.В., Рыбина Г.В.. Интеллектуальная поддержка разработки интегрированных экспертных систем// Национ. конф. по искусствен. интеллекту с междунар. участ. КИИ-98. / Сб. науч. тр.– Пущино: РАИИ, 1998. – Т. 2. – С.419-432.

7.   Левин Д.Е., Пышагин С.В., Рыбина Г.В., Смирнов В.В. Новые возможности инструментального комплекса АТ-ТЕХНОЛОГИЯ, предназначенного для поддержки построения интегрированных экспертных систем// Седьмая науч. конф. по искусствен. интеллекту с междунар. участ. / Тр. конф. - М.: Физматлит, 2000. – Т.2. – С.749-757.

8.   Рыбина Г.В., Пышагин С.В., Смирнов В.В., Левин Д.Е., Душкин Р.В. Инструментальный комплекс АТ-ТЕХНОЛОГИЯ для поддержки разработки интегрированных экспертных систем: Учеб. пособие. – М.: МИФИ, 2004. – 96 с.