Software & Systems

Программный комплекс мониторинга социально-экономического положения муниципальных образований субъекта РФ (далее – мониторинг) ставит своей целью оценку деятельности глав муниципальных образований субъекта РФ и формирование наборов данных для принятия органами государственной власти (ОГВ) субъекта РФ обоснованных управленческих решений.

Созданию программного комплекса предшествовало изучение сложившихся процессов мониторинга и анализа макроэкономических показателей социально-экономического развития Челябинской области и ее территорий. Итоги проведенного анализа свелись к следующим основным положениям.

Ведение указанного мониторинга и анализа осуществляется большим количеством структурных подразделений ОГВ Челябинской области. Несмотря на предоставляемые сведения руководство области испытывает недостаток информации при принятии решений, связанных с анализом дел и оценкой деятельности территориальных образований Челябинской области. Этот дефицит во многом обусловлен тем, что сведения, поступающие от структурных подразделений, с одной стороны, не всегда достоверны и часто даже противоречивы, с другой стороны, зачастую поступают несвоевременно и не имеют соответствующих технологий для того, чтобы получать интересующий срез информации на момент принятия решения (в режиме реального времени). Причины состоят в следующем.

Понимание перечисленных проблем позволило обозначить функции, которые должен включать в себя проектируемый программный комплекс для удовлетворения потребностей руководителей региона в информации.

Рассматривая работу подразделений, в которых происходит анализ макроэкономических показателей, отметим, что во многих случаях аналитик вынужден работать с исходными данными, представленными на разных, в основном бумажных носителях. Такой способ работы крайне неэффективен, особенно если стоит задача анализа многих показателей за достаточно длительный временной период. Да и при таком способе получения информации возможности автоматизации сведены до минимума.

В то же время в отдельных подразделениях ОГВ регионов накоплены некоторые наборы собственных данных на электронных носителях, что, казалось бы, предполагает возможность использования компьютерной техники для их анализа. Однако, как правило, для работы экспертов используется устаревшее программное обеспечение, которое осуществляет выполнение только заранее заложенных в систему регламентированных запросов. Как только требуется сформировать какой-то новый запрос, приходится обращаться к программистам, что приводит к значительному увеличению времени анализа.

Для представления результатов проведенного исследования, как правило, используется пакет Microsoft Office. Важным недостатком большинства существующих информационных систем является оторванность (или очень ограниченная связь учетных) регистрирующих OLTP-систем от систем оформления результатов анализа. Как правило, данные OLTP-систем вручную заносятся в Excel или Word и затем средствами этих программ формируются отчеты, диаграммы, графики или другое графическое представление полученных результатов, обеспечивающее визуальное восприятие результатов. Все перечисленные недостатки можно исключить, внедрив в работу соответствующих подразделений современные информационно-компьютерные технологии.

По результатам проведенного анализа стали очевидны основные задачи, которые необходимо решить для создания информационной системы мониторинга и анализа:

-    реинжиниринг и автоматизация процессов сбора, обработки и хранения информации о показателях деятельности всех территориальных образований субъекта РФ;

-    формирование автоматизированного рабочего места аналитика, включающего как обязательные фиксированные периодические формы представления результатов, так и режим работы с нерегламентированными запросами;

-    внедрение современных технологий для своевременного получения выходной информации в удобном презентабельном виде руководством и заинтересованными структурными подразделениями ОГВ.

По построению указанной системы предложено осуществлять следующее практические шаги.

1. Сформировать структурированный список показателей, позволяющих проводить полный и качественный мониторинг социально-экономического состояния муниципальных образований, а также региона в целом. (В перечне показателей важно зафиксировать, какие измерения включают в себя данные того или иного показателя. Термин ²измерения² здесь употребляется в том смысле, который в него вкладывается в теории OLAP-систем, и фактически является координатной осью, вдоль которой откладываются значения показателя.)

2. Подготовить постановление губернатора субъекта РФ, завизированного всеми его заместителями, в котором фиксируется перечень показателей для мониторинга, периодичность и сроки представления данных, ответственные за предоставление данных структурные подразделения или внешние источники.

При этом источниками данных для мониторинга выступают: региональное отделение Федеральной службы статистики, которое осуществляет сбор большинства данных, поступающих непосредственно от организаций, действующих на территории субъекта РФ, а также структурные подразделения правительства субъекта РФ, получающие данные от территориальных подчиненных структур управления.

Важным организационным моментом является необходимость выделения в каждом структурном подразделении, участвующем в работе системы мониторинга, ответственного работника (группы работников), наделенного полномочиями:

·      определять методику сбора, агрегирования информации, предоставляемой подразделением;

·      контролировать информацию, передаваемую в систему мониторинга, и отвечать за нее;

·      согласовывать формат передачи данных на электронном носителе;

·      вносить предложения и согласовывать формы итоговой отчетности и экранные формы программного обеспечения для соответствующего подразделения;

·      определять список пользователей каждого конкретного подразделения и права их доступа к информации в системе мониторинга, доступной для подразделения.

3. Выбор аппаратно-программных средств, разработка структуры и создание хранилища данных, в которое будут загружаться указанные показатели. На этом этапе целесообразно начинать формирование транспортно-телекоммуникационной основы автоматизированной системы.

4. Определение формата и регламента передачи информации в электронном виде для загрузки в хранилище данных. Согласование классификаторов для всех измерений.

5. Создание и внедрение программ сбора и верификации информации, а также ее выгрузки в установленном формате для структурных подразделений, не имеющих своих OLTP-систем. Эта работа необходима для того, чтобы избавиться от бумажного способа представления информации.

6. Разработка процедур верификации и загрузки информации из OLTP-систем источников в хранилище данных.

7. Разработка интерфейса для авторизованного доступа к хранилищу данных и получения из него регламентированных отчетов. Для наглядного анализа пространственно распределенных объектов целесообразно использовать возможности геоинформационных технологий по созданию тематических карт.

8. Создание интерфейса работы аналитика в режиме нерегламентированных запросов к информации в хранилище данных на основе современных технологий многомерного анализа данных. Технически этот этап включает в себя проектирование многомерных кубов, витрин данных, разработку и настройку клиентского программного обеспечения.

Таким образом, основой для мониторинга является система показателей, позволяющая оценить показатели работы объектов анализа, под которыми понимаются в первую очередь муниципальные образования области. Перечень показателей сгруппирован по трем направлениям:

-    отраслевые показатели социально-экономического развития муниципального образования (19 разделов).

-    сводная таблица основных показателей социально-экономического развития муниципальных образований (8 важнейших показателей).

-    состояние жилищно-коммунального хозяйства и потребления топливно-энергетических ресурсов муниципальными образованиями (основные показатели).

Всего в системе задействовано более трехсот агрегированных показателей. Источниками данных для анализа в настоящее время являются: региональное отделение Федеральной службы государственной статистики (33% информации), а также информация более 10 подразделений Правительства области: Министерство строительства, инфраструктуры и дорожного хозяйства (31%), комитет "Единый тарифный орган" (14%), Министерство финансов (11%), Министерство сельского хозяйства (4%) и др.

Архитектура системы имеет стандартный для аналитических систем вид: подсистема сбора информации, хранилище данных с инструментами загрузки информации, подсистема аналитика.

Подсистема сбора информации может основываться на существующей OLTP-системе структурного подразделения, передающего информацию в систему мониторинга. В этом случае необходимо лишь осуществить выгрузку данных в установленный формат. Если работа подразделения не автоматизирована или слабо автоматизирована, разработан программный комплекс для ввода данных. В программе осуществляется первоначальный ввод, проверка и выгрузка показателей в установленный формат данных. В качестве локальной СУБД выбран MSDE, а пользовательский интерфейс разработан в среде Borland C++Builder и Delphi.

Данные в электронном виде поступают в систему мониторинга, после чего в автоматизированном режиме проверяются и загружаются в хранилище данных. Автоматически формируется и отправляется адресату отчет о загрузке.

Под хранилищем данных понимается классическое определение, сформулированное основоположником теории хранилищ данных Биллом Инмоном: ²Хранилище данных – это предметно-ориентированное, привязанное ко времени и неизменяемое собрание данных для поддержки процесса принятия управляющих решений². Задача хранилища – предоставить сырье для управленческого анализа в одном месте и в простой, понятной структуре. Структура хранилища должна быть простой и удобной для анализа и эффективной обработки информации.

В пользу создания хранилища можно привести следующие технические аргументы.

·     Анализировать данные оперативных систем подразделений напрямую невозможно или очень затруднительно, так как, с одной стороны, данные разрознены, хранятся в форматах различных СУБД и в разных местах корпоративной сети, с другой стороны, даже если вся информация хранится на центральном сервере БД (что бывает крайне редко), данные, как правило, имеют очень сложную, запутанную структуру.

·     Сложные аналитические запросы к оперативной информации тормозят текущую работу компании, надолго блокируя таблицы и захватывая ресурсы сервера.

Хранилище данных мониторинга имеет простую, но в то же время функциональную структуру, оно ориентировано на обработку большого числа запросов, имеет возможности авторизованного доступа к информации. Разработаны скрипты автоматической верификации и загрузки данных, переданных из источников информации в установленном формате, а также выгрузки метаданных и справочников для программы сбора информации. В настоящий момент в качестве базовой технологии для создания хранилища выбран сервер MS SQL 2000.

Подсистема анализа и мониторинга должна обеспечить авторизованный доступ к информации в хранилище данных. При разработке учитывались следующие положения.

·       По сути, эта подсистема может иметь несколько интерфейсных решений по числу пользователей с разными классами функциональных обязанностей. Различается и уровень доступа к данным системы.

·       Подсистема должна иметь набор обязательных отчетов, форма которых жестко регламентирована нормативными документами на разработку. Переменной величиной, которую вводит пользователь, является период, за который формируется отчет и анализируемая территория.

·       Подсистема должна иметь функции: навигации по хранилищу данных, многомерного анализа данных и оформления полученных результатов. Эффективно реализовать подобную задачу можно только с помощью технологии OLAP-систем.

Сформулируем требования к информации хранилища данных для их эффективного использования в OLAP-системах:

-    каждый показатель должен характеризоваться двумя и более измерениями;

-    должны быть определены алгоритмы агрегации данных для всех измерений;

-    необходимо различать представление нулевых и неизвестных данных;

-    важно обеспечить правильное отражение даты при хранении показателей, поскольку некоторые показатели имеют значение не за период, а на конкретное число;

-    при проектировании структуры хранилища данных необходимо учитывать проблему медленно меняющихся измерений;

-    следует обеспечить персональную ответственность за введенную информацию.

Суть OLAP-систем заключается в проектировании и создании многомерных кубов, в которых специальным образом определены связи между элементами хранилища данных и реализованы механизмы быстрого получения выборок.

После того как такие кубы спроектированы, специальное пользовательское программное обеспечения позволяет аналитику получить определенную свободу при получении данных из хранилища. В частности, можно выделить следующие основные возможности OLAP-систем по анализу имеющихся информационных ресурсов:

·     анализ динамики показателя за произвольный период времени;

·     получение относительных показателей с произвольной базой (нормирование);

·     ранжирование данных по установленному набору критериев;

·     возможность построения произвольных отчетов и их публикации как в бумажном, так и в электронном виде;

·     представление данных и в табличной, и в графической формах (графики, диаграммы, тематические карты);

·     автоматизированное выявление закономерностей и отклонений от них;

·     методика ²анализ-запрос-анализ², которая позволяет изучать ситуации на основе последовательного анализа информации, вначале выделяя и идентифицируя тенденции и ключевые факторы, затем зондируя детали.

Авторами в настоящее время используется OLAP-система фирмы Cognos, а также программные продукты Microsoft по многомерному анализу данных, где в качестве сервера кубов будет использоваться Analysis Server 2000. При создании автоматизированного рабочего места экономиста-аналитика создается как собственное программное обеспечение, так и применяются уже существующие программные комплексы. В частности, в качестве клиентского ПО используется ProClarity и другие готовые продукты. Можно рассматривать возможность разработки ПО на базе существующих ActiveX и других компонентов многомерного анализа данных.

В то же время к системе мониторинга выдвинуто несколько специфичных требований, в частности, по формированию тематических карт-схем субъекта РФ. Типовые OLAP-системы не имеют таких функций, а предлагают или воспользоваться механизмом обмена данными с геоинформационными системами (ГИС), или использовать средства для создания презентаций, которые позволяют хранить изображение карт. В Челябинской области, например, уже практически освоена технология создания тематических карт средствами ГИС MapInfo путем подключения к специально формируемым таблицам. В настоящее время исследуются возможности другой распространенной ГИС-Ингео по созданию тематических карт, работающей на основе концепции виртуальных слоев. Авторами создан макет программы на Delphi, который позволяет осуществлять первоначальный экспресс-анализ имеющихся данных в разрезе территорий.

В системе мониторинга предусматривается работа по анализу имеющейся информации с использованием двух программных комплексов: ²Регламентированные отчеты² и ²Аналитические таблицы².

Программный модуль ²Регламентированные отчеты² предназначен для формирования регламентированных отчетов на основании показателей социально-экономического развития муниципальных образований, имеющихся в хранилище данных. Под регламентированным отчетом понимается или утвержденная руководством форма отчетности по отдельному муниципальному образованию, или сводная форма отчетности по всем территориям субъекта РФ.

Программный модуль состоит из программы формирования и редактирования форм регламентированных отчетов ²Редактор регламентированных отчетов² и модуля работы аналитика с регламентированными отчетами ²Регламентированные отчеты².

Программа ²Редактор регламентированных отчетов² предназначена для создания и редактирования форм регламентированных отчетов мониторинга социально-экономического положения муниципальных образований субъекта РФ.

Под термином отчет понимается таблица установленной формы, которую пользователь выводит на экран или на принтер. Отчет выводится на определенную дату, для указанной территории. Форма отчета – это шаблон для построения отчета, она определяет структуру отчета, параметры, которые должен задать пользователь (период, муниципальное образование и пр.), а также порядок заполнения формы значениями показателей из хранилища данных. Каждый отчет может быть представлен как совокупность трех частей: шапка отчета, табличная часть, подвал (заключительная часть). При этом шапка и подвал имеют чисто оформительское значение, информация о значениях показателей мониторинга выводится в табличной части. Поэтому форма регламентированного отчета описывается следующей информацией: название, порядковый номер, графическое представление шапки и подвала отчета, количество и название столбцов отчета, а также список строк отчета.

Каждая строка формы отчета характеризуется такими параметрами, как: порядковый номер, уровень вложенности, номер родительской строки, информация о содержимом столбцов строки, параметры оформления (шрифт, отступ и т.п.). Нулевой столбец строк содержит текстовую информацию, которая в большинстве случаев совпадает с названием показателя. В остальных ячейках строк формы может содержаться информация следующих видов:

·          значение показателя;

·          отношение значения показателя к аналогичному значению прошлого года к прошлому году в процентах;

·          ссылка на характеристику показателя (единица измерения);

·          формула (вызов хранимой процедуры, которая возвращает некоторое значение в результате выполнения заданного алгоритма вычисления);

·          специальные символы.

В программе предусмотрена возможность определения мультистрок, которые могут быть развернуты по измерению показателя, например, показатель может выводиться для всех муниципальных образований, при этом каждое муниципальное образование фактически выводится в новой строке отчета.

Функциональные возможности программы: создание новых форм регламентированных отчетов; редактирование существующих форм; создание копий существующих форм.

Программа работы аналитика ²Регламентированные отчеты² предназначена для формирования регламентированных отчетов на основании показателей социально-экономического развития муниципальных образований субъекта РФ, имеющихся в хранилище данных. Под регламентированным отчетом понимается или утвержденная руководством форма отчетности по отдельной территории, или сводная форма отчетности по всем территориям.

Значения показателей хранятся в системе за различные периоды. Показатели могут иметь различную структуру – характеризуемый период, периодичность, количество измерений, тип данных.

Программный модуль позволяет строить отчеты на основании описания форм, хранящихся в системе, получая из хранилища данных значения показателей, их качественные и количественные характеристики на основании метаданных об этих показателях.

Модуль ²Аналитические таблицы² предназначен для построения аналитических таблиц показателей, хранящихся в системе мониторинга.

Под аналитической таблицей понимается плоская кросс-таблица, у которой по строкам может быть задано одно из следующих измерений:

·                                  показатели системы мониторинга (в модуле обрабатываются только показатели, предоставляемые в систему нарастающим итогом),

·                                  временной период,

·                                  список муниципальных образований,

·                                  другие измерения показателей по мере их возникновения в системе мониторинга.

По столбцам таблицы могут быть заданы аналогичные измерения.

Функциональные возможности программного модуля: построение аналитических таблиц; выгрузка таблиц в другие форматы представления, в частности в MS Excel; сохранение построенной таблицы в файле на диске; загрузка таблицы из файла.

·     Фактически модуль позволяет строить пользователю нерегламентированные формы отчетов, однако при этом, в отличие от модуля ²Регламентированные отчеты² нет возможности вывода полученных данных на печать в заранее определенной форме. Вместо этого пользователю предлагается выгрузить полученную информацию в Excel или другое офисное приложение, чтобы с использованием мощных средств этих программных пакетов осуществить финишную подготовку отчета и вывод его на печать.

Входные данные модуля:

-    значения показателей, хранящиеся в системе за различные периоды;

-    метаинформация о показателях (показатели могут иметь различную структуру – характеризуемый период, периодичность, количество измерений, тип данных);

-    вид таблицы (по строкам и столбцам могут быть отложены показатели, периоды или измерения соответствующих показателей).

Выходные данные модуля представляют собой плоские аналитические таблицы, которые могут быть выгружены в Excel для их последующей обработки. Полученные таблицы можно сохранять в виде отдельных локальных файлов на диске, которые легко открываются для последующей работы.

Интерфейс пользователя выполнен в виде мастера-помощника, отвечая на вопросы которого пользователь получает требуемый нерегламентированный отчет.

В заключение необходимо отметить, что работа по созданию мониторинга является очень важной и своевременной, поскольку без современных информационных систем невозможно управлять сложными системами, к которым, безусловно, относятся муниципальные образования и субъект РФ в целом. Руководители нуждаются в помощи информационных систем. Система мониторинга, с одной стороны, должна улучшить производительность труда аналитиков в структурных подразделениях регионального руководства, а с другой – позволить губернатору субъекта РФ держать руку на пульсе муниципальных образований, в реальном времени видеть динамику их развития, выявлять проблемы каждой территории и планировать соответствующие организационные мероприятия, выстраивая стимулирующую экономическую, промышленную, бюджетную и финансовую политику в отношении всех территорий региона.