Software & Systems

Введение. Определение уровня развития инфраструктуры предоставления финансовых услуг в населенных пунктах (НП) является  одной из задач работы Центрального банка России. Поскольку процесс недостаточно автоматизирован, возникает потребность в ручной обработке информации сотрудниками банка.  В свою очередь, это напрямую влияет на увеличение затрачиваемого времени, повышение риска ошибок, связанных с человеческим фактором. Поэтому разработка программы для Business Intelligence (BI) доступности финансовых услуг, позволяющая автоматизировать работу по предобработке данных, визуализации получаемых результатов, выгрузке аналитических отчетов, является актуальной задачей.

Одним из самых распространенных современных решений в области визуализации является применение BI-технологий и создание дашбордов. BI-технологии применяются в качестве инструмента работы для аналитики и используют методы визуализации данных для получения информации из структурированных баз [1, 2]. В статьях [3, 4] продемонстрированы варианты использования BI в госсекторе, в области бюджетирования, например, открытый бюджет Санкт-Петербурга, Цифровая панель управления городом, сводная аналитика на Портале госпрограмм РФ и другие.

Обзор релевантных BI-систем  и инструментов создания дашбордов

В связи с широким использованием даш- бордов в самых разных сферах существует большое количество примеров их реализации. С целью формирования параметров, которые необходимо учесть при создании дашборда определения уровня доступности финансовых услуг, проанализировано несколько существующих решений и коммерческих продуктов, применяемых в финансовой сфере.

Корпоративная система аналитики и визуализации данных Almaz BI обладает следую- щими преимуществами: консолидация данных из различных источников и формирование OLAP-кубов, возможность публикации аналитических отчетов в различных информационных ресурсах. К недостаткам программы можно отнести невозможность удовлетворить потребности в работе с данными геолокации объектов и в предоставлении полного функционала в автономном режиме.

Плюсы масштабируемой платформы для бизнес-аналитики Microsoft Power BI: возможность интеграции с различными источниками данных, работа с предсказательным анализом и машинным обучением. Минусами использования являются высокий порог вхождения для конечных пользователей и проблемы с работой в облачной платформе для организаций, у которых есть строгие требования к безопасности и хранению данных.

Среди ключевых преимуществ онлайн-сервиса DataDeck можно выделить возможность создания настраиваемых информационных панелей, в том числе на базе встроенных шаблонов, и возможность совместной работы над  отчетами для команды. К существенным недостаткам DataDeck относятся ограниченная масштабируемость и заметное снижение скорости работы на больших объемах данных.

В статье [5] приведено сравнение российских BI-систем по следующим критериям: взаимодействие с различными источниками данных, масштабируемость, защита данных, визуализация, простота использования. Данные критерии в числе прочих можно применить и к рассматриваемой задаче. Авторы статьи [6] опи- сывают сравнительную характеристику BI-сис- тем, в которой в качестве недостатков выступают проблемы с импортом и обработкой больших данных, трудности для пользователей без технической базы, низкий уровень графики.

В статье [7] описывается проектирование дашборда для повышения результатов работы производственных процессов. Практический пример реализован с поддержкой файла Excel, в котором представлены возможности ввода  и обновления информации, вывода графических материалов визуализации. Файл выполнен с учетом требований к простоте в понимании и использовании любыми сотрудниками  с базовыми навыками работы с компьютером. Также учтены требования к уменьшению затрачиваемого времени для обновления данных и генерации информации. Рабочее пространство разделено на множество листов с несколькими областями ввода информации, представ- ления результатов обработки имеющихся данных, дополнительных информационных блоков. Авторы статьи [8] описывают процесс  создания дашборда для поддержки принятия решений в области онлайн-банкинга. Продукт создан с помощью Tableau и содержит набор данных о транзакциях в 2016–2020 гг. На пер- вом этапе работы дашборда происходит выборка данных на основе специализированных атрибутов. Далее следует предварительная обработка данных и их обогащение актуальной информацией, которая затем подвергается интеллектуальному анализу. Он предназначен для извлечения новых полезных показателей из больших объемов данных. В рамках исследования установлено, что применение разработанного дашборда повысило использование BI на 30 %.

Статья [9] посвящена разработке фреймворка для создания дашбордов больших данных о перемещениях. Практические примеры показывают возможные пути решения задач визуализации данных о географических местоположениях автоматизированным методом под- счета расстояний, прокладыванием маршрутов. Работа инструмента строится на обработке GPS-координат и графическом представлении полученных показателей.

Среди преимуществ рассмотренных программных решений можно выделить несколько основных пунктов. Во-первых, возможность предварительной автоматической обработки и изменения имеющихся данных перед началом работы инструментов визуализации. Это позволяет структурировать информацию и избавиться от лишних данных. Во-вторых, ориентированность программ на быстродействие  визуальных элементов при переключении филь- тров и изменении иных вводных показателей.  В-третьих, возможность работы в привычном для большинства пользователей Microsoft Excel. Полезным при разработке дашборда финансовой доступности будет пример, описанный  в [7]. В-четвертых, возможность работы с географическими координатами и расчетом расстояний, которая необходима для определения транспортной доступности НП.

К недостаткам рассмотренных вариантов относятся невозможность использования в полном объеме имеющихся инструментов без  подключения к Интернету. Например, без доступа к Сети не работают функции, связанные с географическими расположениями, с построением карт. Возможность функционирования  в автономном режиме необходима при создании дашборда уровня доступности финансовых услуг, так как большинство устройств конечных пользователей, которыми являются сотруд- ники ЦБ РФ, непосредственно задействованные в данном направлении работы, не имеют выхода в Интернет из соображений информационной безопасности. Другими минусами можно назвать недостаточную степень оценивания выходных данных, отсутствие сравнения результатов за различные отчетные периоды, слабое акцентирование внимания на лучшие  и худшие показатели, на основе которых стоит принимать управленческие решения.

Компромиссом в данной ситуации является разработка собственного инструмента с учетом всех выявленных преимуществ и недостатков проанализированных решений.

Целью исследования является разработка программы для BI доступности финансовых услуг. Для достижения цели необходимо решить следующие задачи: определить последовательность этапов работы с данными, разработать модули визуализации имеющихся данных, выгрузки отчетов в необходимых форматах, автоматической предобработки данных, а именно, модули присвоения кодов ОКТМО и расчета транспортной доступности.

Разработка модулей программы  для BI-систем уровня доступности  финансовых услуг

Не всегда возможно найти подходящую автоматизированную информационную систему, которая удовлетворяла бы всем требованиям [10]. И тогда возникает необходимость создать систему в соответствии с индивидуальным зака- зом. Авторами показана зависимость этапа программирования от этапа проектирования. Отмечен также важный этап проектирования информационной системы.

Основные этапы работы с данными, использующимися в программе, представлены на рисунке 1.

Ключевые типы архитектуры BI-систем рассмотрены в статье [11]. Среди основных вопросов, которые возникают при ее разработке, выделяются сложность масштабирования, низкая производительность, проблемы в обеспечении безопасности и в управлении. На основе произведенного анализа создана архитектура программы для BI-систем уровня доступности финансовых услуг (рис. 2).

Структура модулей  предобработки данных

Предобработка данных начинается с присвоения имеющимся данным о наличии финансовых инструментов кодов ОКТМО, являющихся уникальными для каждого НП. С использованием возможностей Microsoft Excel  и VBA разработан модуль, в основе которого заложен принцип динамических массивов, что позволяет избежать лишнего перебора и существенно сокращает время обработки (рис. 3). Все НП вносятся в соответствующие массивы своих районов, после чего среди адресов установки финансовых инструментов ищутся соответствия. При наличии совпадений в названиях района и НП происходит присвоение кода ОКТМО. При обычном переборе 3 000 НП присвоение всех кодов занимает около 70 секунд, а разработанный модуль справляется с этим менее чем за 2 секунды. Разница более заметна, если требуется присвоить коды одновременно нескольким десяткам или сотням тысяч инструментов доступности финансовых услуг.

После предобработки все данные помещаются в хранилище, реализованное в виде БД (рис. 4), состоящее из пяти ключевых таблиц  и большого множества вспомогательных и служебных. В основной таблице ФД_68 собраны все имеющиеся числовые показатели о наличии финансовых инструментов во всех исследуемых НП. Связь с остальными таблицами происходит по полю кода ОКТМО с таблицей ОКАТО, кода региона с таблицей Область, кода района с таблицей Районы, кода муниципального образования второго уровня с таблицей Горсоветы. В общей сложности таблица ФД_68 содержит свыше 80 полей для хранения показателей.

Следующий этап предобработки данных – расчет расстояний между НП для определения транспортной доступности. Использование формулы гаверсинусов – возможный способ автоматического определения расстояния. Дан- ная формула позволяет определить расстояние большого круга между двумя точками сферы исходя из их долготы и широты. Широко  используемый в навигации частный случай закона гаверсинусов связывает стороны и углы сферических треугольников [12]:

 

где ϕ1, λ1, ϕ2, λ2 – широта и долгота двух точек  в радианах; ∆λ – разница координат по долготе; ∆σ – угловая разница.

Результатом вычисления по представленной формуле является расстояние по прямой  от центра одного НП до центра другого. Расчет по формуле гаверсинусов и расчет показателей финансовой доступности реализованы в системе хранения данных с использованием возможностей Microsoft Access и VBA.

Структура модулей визуализации данных

Одним из разработанных модулей визуализации данных является паспорт НП. С использованием Microsoft Access создано несколько пользовательских форм, на одной из них можно увидеть список всех НП с возможностью фильтрации по регионам, районам, по нали- чию или отсутствию тех или иных финансовых инструментов. В лаконичном виде представлены основные показатели для каждого НП. При нажатии на один из них открывается форма, в которую подгружаются все имеющиеся по нему данные. В общей сложности на форме представлено более 50 показателей, сгруппированных в 4 вкладки.

Для создания аналитических срезов по целым муниципальным образованиям разработан модуль с использованием Microsoft Excel. Модуль реализован на принципе сводных таблиц, которые позволяют создать большое количество графиков, диаграмм по различным направ- лениям аналитической деятельности. С целью преобразования таблиц заложена возможность формирования списков НП по определенным критериям. С использованием VBA реализована автоматическая выгрузка визуализированных данных и списков НП в презентацию PowerPoint, что сильно облегчает и ускоряет процесс создания отчетов для задействованных в работе над финансовой доступностью органов.

По принципу сводных таблиц разработан  и модуль сравнения показателей муниципаль- ных образований за разные отчетные периоды. Для отслеживания изменений реализован с помощью VBA процесс выгрузки данных модуля  в файл Microsoft Word с автоматической гене- рацией текста, описывающего произошедшие изменения.

Еще одним важным инструментом повышения наглядности визуализированных данных является модуль градиентной заливки графиков. Для любой диаграммы в дашборде можно выбрать цвета в максимальной и минимальной точке. Остальные столбцы будут окрашены  в соответствии с цветами значений. Данная технология позволяет использовать интуитивно понятные цвета в графике, например, переход от красного цвета у самых низких показателей к зеленому у самых высоких. Для каждого из трех цветов в палитре RGB высчитывается значение в зависимости от значения в столбце по формуле

color = If(cur ³ avg, clravg – (cur – avg) /  / (max – avg) * (clravg – clrmax), clrmin –  – (cur – min) / (avg – min) *  * (clrmin – clravg)),

где color – значение цвета в палитре RGB для текущего столбца; cur – значение в текущем столбце; max, min, avg – максимальное, мини- мальное, среднее значения ряда графика; clrmax, clrmin, сlravg – максимальное, минимальное, среднее значения цвета в палитре RGB.

Анализ результатов  практического применения  разработанной программы

 

В хранилище программы содержатся обработанные данные обо всех НП Центрального федерального округа РФ за 4 отчетных периода – это около 240 тысяч записей с более чем 50  показателями в каждой из них. Для любой из записей возможно формирование паспорта НП, для каждого из отчетных периодов возможны генерация аналитических отчетов в разрезе му- ниципальных образований и их выгрузка в презентацию PowerPoint (http://www.swsys.ru/up- loaded/image/2024-4/8.jpg). Для любых двух отчетных периодов возможны создание отчета  с отслеживанием произошедших изменений  и тенденций и их выгрузка в текстовый файл с генерацией текста описания. Программа показала хорошие результаты масштабируемости и быстродействия. Соблюдено условие полностью автономной работы без необходимости подключения к Интернету.

Разработанная программа для BI-системы уровня доступности финансовых услуг внед- рена в процесс работы ЦБ РФ и используется для аналитики и создания отчетов для всех  18 регионов Центрального федерального округа.

Выводы

 

В статье проанализированы релевантные программы для BI и способы создания дашбордов. Представлена архитектура программы, позволяющей хранить и визуализировать данные, производить их предобработку. Приведены результаты внедрения и практического использования разработанного продукта с использованием Microsoft Access, Microsoft Excel, VBA.

Основные преимущества данной програм- мы – возможность работы с географическими данными расположения объектов, полностью автономный режим работы без подключения  к Интернету, автоматическая выгрузка формируемых отчетов в различных форматах, в том числе в .docx, .pptx.

Дальнейшими направлениями исследования являются разработка модуля для создания тепловых карт муниципальных образований. Авторы планируют предусмотреть возможность визуализации графического расположения НП с отображением имеющихся в них инструментов доступности финансовых услуг.

Список литературы

1.   Prayitno D. Application of business intelligence for banking performance based on products analysis. IJPSAT, 2018, vol. 6, no. 2, pp. 554–569.

2.   Ain N., Vaia G., DeLone W.H., Waheed M. Two decades of research on business intelligence system adoption, utilization and success – A systematic literature review. Decision Support Systems, 2019, vol. 125, art. 113113.  doi: 10.1016/J.DSS.2019.113113.

3.   Цуканова О.А., Ярская А.А. Сущность и роль BI-систем в современной экономике // Науч. журнал НИУ ИТМО. Сер.: Экономика и экологический менеджмент. 2021. № 2. С. 79–85. doi: 10.17586/2310-1172-2021-14-2-79-85.

4.   Пешкова Г.Ю., Самарина А.Ю. Перспективы применения технологий Business Intelligence (BI) в Санкт-Петербурге // Экономика Северо-Запада: проблемы и перспективы развития. 2021. № 1. С. 69–74. doi: 10.52897/ 2411-4588-2021-1-69-74.

5.   Салмина А.П., Крылов П.А. Сравнение BI-систем на российском рынке // Вуз и реальный бизнес: матер. конф. 2022. Т. 1. С. 178–184.

6.   Петров Я.А., Степанов С.Ю., Сидоренко А.Ю., Глебова К.А. Business intelligence как современный инструмент бизнес-аналитики // Информационные технологии и системы: управление, экономика, транспорт, право. 2020. № 1. С. 135–140.

7.   Vilarinho S., Lopes I., Sousa S. Design procedure to develop dashboards aimed at improving the performance of productive equipment and processes. Procedia Manufacturing, 2017, vol. 11, pp. 1634–1641. doi: 10.1016/j.promfg. 2017.07.314.

8.   Buananta S.E.A., Chowanda A. BI dashboard to support decision making on product promotion for payment/purchase transactions on e-banking. JATIT, 2021, vol. 99, no. 15, pp. 3713–3724.

9.   Conrow L., Fu C., Huang H., Anrienko N., Andrienko G., Weibel R. A conceptual framework for developing dashboards for big mobility data. CaGIS, 2023, vol. 50, no. 5, pp. 495–514. doi: 10.1080/15230406.2023.2190164.

10. Гутгарц Р.Д. Особенности проектирования и программирования при создании информационных систем // Программные продукты и системы. 2020. Т. 33. № 3. С. 385–395. doi: 10.15827/0236-235X.131.385-395.

11. Сивов В.В. Проектирование комплексной архитектуры бизнес-аналитики // Вестн. ГГНТУ. Технич. науки. 2023. Т. XIX. № 1. С. 28–39.

12. Azdy R., Darnis F. Use of Haversine formula in finding distance between temporary shelter and waste end processing sites. JPCS, 2020, vol. 1500, art. 012104. doi: 10.1088/1742-6596/1500/1/012104.