Software & Systems

В последнее время широкое применение получили программные продукты интеллектуального анализа данных «Data Mining», являющиеся междисциплинарной областью и развивающиеся на базе широкого пласта знаний: экспертные системы, информационный поиск, оперативная аналитическая обработка, теория БД, хранилища данных, эффективные вычисления, статистика, нейросети, распознавание образов [1–3]. Большинство систем интегрируют сразу несколько подходов, но каждая имеет ключевую компоненту.

Особенностью данных систем является наличие трехуровневой платформы анализа данных: поверхностный уровень, глубокий и скрытый [3]. Для построения систем «Data Mining», имеющих вложенные структуры в виде уровневой платформы, была разработана пространственная схема взаимодействия объектов (см. рис. 1). Приведем нотацию представленной схемы: P – пространство (уровень 1) функциональных преобразований; PA – альтернативное пространство (уровень 1) функциональных преобразований;  – подпространство (уровень 2) функциональных расширений пространства (уровень 1) функциональных преобразований (i – номер текущего функционального расширения);  – подпространство (уровень 3) функциональных преобразований подпространства (уровень 2) функциональных расширений пространства (уровень 1) функциональных преобразований;  – подпространство (уровень 3) функциональных преобразований подпространства (уровень 2) функциональных расширений альтернативного пространства (уровень 1) функциональных преобразований;  – подпространство (уровень 2) характеристических расширений пространства (уровень 1) функциональных преобразований;  – подпространство (уровень 2) характеристических расширений альтернативного пространства (уровень 1) функциональных преобразований;  – подпространство (уровень 3) функциональных преобразований подпространства (уровень 2) характеристических расширений пространства (уровень 1) функциональных преобразований и т.д.;           – ключ, показывающий переход от одного пространства к другому (точкой обозначено исходное пространство или подпространство).

Рассмотрим пример создания программного продукта интеллектуального корреляционно-спектрального анализа данных в рамках систем «Data Mining» с помощью описанной выше пространственной схемы взаимодействия объектов. В качестве ключевой компоненты были выбраны эффективные вычисления, базирующиеся на широком использовании метода ортогональных разложений функциональной характеристики в ряды Фурье [4–7]. На рисунке 2 представлена структурная схема программного продукта в соответствии с пространственной схемой, изображенной на рисунке 1.

Как было отмечено, разработка программного продукта в рамках «Data Mining» предполагает наличие ступенчатой платформы анализа данных, каждый уровень которой включает набор программ в соответствии с представленной структурной схемой (см. рис. 2). Опишем программное наполнение каждого из уровней.

Поверхностный уровень содержит программы

–      ввода и интерпретации данных;

–      построения и преобразования корреляционной функции (КФ) (включает часть программы, связанной с построением КФ);

–      построения простейших ортогональных функций;

–      построения модели КФ в простейших базисах;

–      построения модели спектра в простейших базисах;

–      имитационного моделирования;

–      обработки внешних данных;

–      формирования отчетов.

Глубокий уровень содержит программы

–      построения и преобразования КФ (включает часть программы, связанной с преобразованием КФ);

–      построения обобщенных ортогональных функций;

–      построения модели КФ в обобщенных базисах;

–      построения модели спектра в обобщенных базисах.

Скрытый уровень представляет собой программу, реализующую технологию аналитической обработки данных (рис. 3).

Предлагаемая технология включает следующие этапы: формирование набора данных, его распределение, построение моделей в рамках аналитического подхода [6, 7], реализация механизмов поиска скрытых закономерностей.

На первом этапе формируется исходный набор данных: происходит загрузка данных из файла либо генерирование совокупности выборок, подлежащих дальнейшему анализу. На втором этапе сформированные наборы данных распределяются по анализируемым характеристикам li (i – порядок анализируемой характеристики). На третьем этапе осуществляется построение корреляционно-спектральных характеристик (функциональных и обобщенных) в рамках аналитического подхода. На последнем этапе выполняется поиск скрытых закономерностей на основе разработанных механизмов по полученным моделям корреляционно-спектральных характеристик.

Механизмы поиска скрытых закономерностей могут иметь самую разную структуру. В терминах «Data Mining» выделяют пять стандартных типов: ассоциация, последовательность, кластеризация, классификация, прогнозирование. В связи с этим предлагаются следующие механизмы поиска скрытых закономерностей в рамках аналитического подхода: построение функциональной зависимости анализируемой корреляционно-спектральной характеристики f(l); построение пары функциональных зависимостей f(li) и f(li+1) в фазовой плоскости; выполнение аналитических преобразований  над функциональной зависимостью F(f(li), f(li+1)).

Таким образом, разработанная пространственная схема взаимодействия объектов позволяет создавать программные продукты, предполагающие наличие поэтапной обработки исходной информации. При этом построение данной схемы производится на различных уровнях создания конечного продукта:

–      на уровне программного кода при описании математических моделей, положенных в основу работы программного модуля;

–      на уровне объектов и модулей при описании конечной программы, входящей в комплекс программ;

–      на уровне формирования комплекса на основе имеющихся программ в зависимости от поставленной задачи.

Применение пространственной схемы взаимодействия объектов позволит снизить ресурсные и временные затраты на получение конечного продукта, а при создании комплекса программ в рамках систем «Data Mining» организовать ступенчатую платформу анализа данных.

Литература

1.     Data Mining Community's Top Resource. URL: http://www.kdnuggets.com (дата обращения: 01.06.12).

2.     Knowledge Discovery Through Data Mining: What Is Knowledge Discovery? USA, California, Tandem Computers Inc., 1996.

3.     Дюк В.А. Data Mining – интеллектуальный анализ данных. СПб: СПИИ РАН: URL: http://www.inftech.webservis.ru/it/ database/datamining/ar2.html (дата обращения: 01.06.2012).

4.     Джексон Д. Ряды Фурье и ортогональные полиномы; [пер. с англ.]. М., Л.: Глав. изд-во иностран. лит-ры, 1948.

5.     Дедус Ф.Ф., Махортых С.А., Устинин М.Н., Дедус А.Ф. Обобщенный спектрально-аналитический метод обработки информационных массивов. Задачи анализа изображений и распознавания образов. М.: Машиностроение, 1999. 357 с.

6.     Прохоров С.А., Куликовских И.М. Численно-аналитический подход к вычислению интегралов при построении ортогональных моделей // Вестн. СамГТУ: Физматнауки. 2009. № 2 (19). С. 140–146.

7.     Прохоров С.А., Куликовских И.М. Применение метода ортогональных разложений для выявления зависимостей между характеристиками ортогональных базисов // Аналитические и численные методы моделирования естественно-научных и социальных проблем: сб. стат. IV Междунар. науч.-технич. конф. Пенза: Приволж. дом знаний, 2009. С. 81–83.