Software & Systems

Введение. Стремительное увеличение количества транспортных средств обусловило появление современных автомагистралей, расширение сети городских дорог. Рост интенсивности нерегулируемых транспортных потоков повышает вероятность ДТП. Неэффективное управление транспортными потоками приводит к уменьшению пропускной способности дорожной сети, к появлению транспортных заторов.

При решении задач по регулированию дорожного движения и по управлению транспортными системами в международной и российской практике широко применяются интеллектуальные транспортные системы, способные эффективно управлять улично-дорожной сетью с учетом ее плотности и пропускной способности [1, 2].

Цель данной работы состоит в разработке и апробации интеллектуальной системы на под- готовленном наборе данных и видеоданных, загруженных из Интернета, использовании системы анализа транспортных потоков, полученных результатов выходного видеопотока и статистики для анализа транспортных потоков, прогнозирования, выявления и исключения инцидентов.

Особенностью таких систем является автоматическое формирование управляющих воздействий в режиме реального времени на объекты транспортной инфраструктуры с частичным участием оператора. При этом важными элементами в составе интеллектуальной транспортной инфраструктуры являются подсистемы, построенные на основе нейросетевых технологий, в которых используются ПО с открытым программным кодом и коммерческие решения анализа транспортных потоков и прогнозирования аномалий и инцидентов [2]. Преимуществами коммерческих систем являются высокое качество конечного продукта, надежный класс защиты комплекса от внешних воздействий и наличие технической поддержки. Однако данные системы имеют недостатки, связанные со значительной стоимостью решения.

Решению задачи анализа транспортных потоков в автоматизированных системах управления дорожным движением посвящены работы ряда российских исследователей.

Так, в [3] автором предложен системный анализ объектов транспортной инфраструктуры в геоинформационной среде ITSGIS. Эта интеллектуальная транспортная геоинформационная система является средством для хранения и обработки геоданных, обладает огромным потенциалом в области интеллектуальной поддержки принятия решений. Для выявления мест концентрации ДТП на карте в системе реализованы методы, основанные на использовании интеллектуальной технологии Data Mining. Интеллектуальность ITSGIS обеспечивается наличием нейросетевых технологий. Геоинформационные технологии ITSGIS, использующие нейросети, позволяют объединить две задачи – распознавание образов и классификацию. Обнаруженное с помощью нейронной сети транспортное средство может быть классифицировано как относящееся к одному из нескольких типов с учетом его государственного номера, марки и т.д.

В статье [4] описан метод распознавания ситуаций угона автомобильного транспорта с парковки, основанный на глубоких нейронных сетях. Распознавание инцидента происходит на двух основных уровнях: на нижнем уровне распознаются события, а на верхнем – ситуации как наиболее вероятные цепочки событий, соответствующие грамматике сигнатур угона автомобиля. Детектирование событий возможного угона выполняется на основе анализа выявленных объектов, их взаимного расположения, динамических характеристик траектории движения людей.

В работе [5] предлагается снижение интенсивности движения транспортных средств путем применения адаптивного алгоритма управления дорожным движением. Для создания имитационной модели использована среда моделирования AnyLogic. Автоматизированная система управления дорожным движением позволяет уменьшить суммарные задержки транспортных средств на определенном участ- ке дорожной сети.

В [6] предложен метод анализа транспортного потока, основанный на применении тех- нологии компьютерного зрения на базе сверточных нейронных сетей. Рассмотренным методом автоматизируются сбор и анализ данных о транспортных потоках. Учет интенсивности движения осуществляется посредством видеосъемки с беспилотного летательного аппарата и последующего анализа видеоматериалов с помощью программного комплекса TrafficData. Система мониторинга дорожного движения позволяет определять параметры дорожного движения, собирать данные о них, а также формировать отчеты об изменениях этих параметров в наглядном виде.

Проведенный анализ позволяет сделать вывод об актуальности разработки и использования интеллектуальной системы для распознавания объектов на изображениях. При этом для обнаружения объектов на изображениях транспортной инфраструктуры целесообразно использовать сверточные нейронные сети (https:// iss.ru/products/securos-soffit, https://3dnews.ru/ 981314, https://asudd.pro/products/asudd/). Благодаря своему строению они хорошо извлекают признаки из изображений и эффективно используются в таких задачах, как классификация, распознавание образов, сегментация и анализ изображений (https://www.tadviser.ru/ index.php, https://innostage-group.ru/press/blog/ review/slaboe-zveno-open-source). В данной работе для распознавания объектов на видеоизображениях использована наиболее популярная архитектура сверточной нейронной сети YOLO [7]. Она не требует привлечения больших аппаратных ресурсов, благодаря чему ее можно реализовать на разных платформах. Различные архитектуры сверточных сетей из класса YOLO обеспечивают высокую точность и скорость детектирования объектов на изображениях [8, 9].

При анализе транспортных потоков, кроме распознавания объектов на видеоизображениях, необходимо решать задачу слежения за движущимися объектами. В настоящее время широкое распространение получили интеллектуальные системы видеонаблюдения, в состав которых входят специальный программный модуль анализа потока видеоданных, поступающего с цифровой видеокамеры, и автоматический трекинг (отслеживание) передвигающегося в поле зрения камеры объекта. В данной работе для отслеживания объектов выбран детектор DeepSORT [10, 11], совмещающий такие качества, как простота и высокая точность детектирования.

Рассмотрим схему работы системы и ее реализацию.

Схема работы интеллектуальной системы анализа транспортных потоков

В разрабатываемой системе можно выделить несколько функциональных подсистем: Initialization, YOLOv3, DeepSort, Bussiness Logic и Output. Этапы их работы схематично представлены на рисунке 1.

На каждом этапе работы перечисленными подсистемами выполняются следующие основные функции: Initialization – подготовка кадра из видеоисточников; YOLOv3 – распознавание объектов, определение классов и положения кадров; DeepSort – слежение за объектами сквозь время; Business Logic – вычисление траектории объектов, предсказание направления движения, вычисление скорости и определение инцидентов; Output – сбор статистики и формирование выходного видеопотока.

В таблице отражена подробная схема методики работы разрабатываемой интеллектуальной системы с перечислением и описанием основного функционала подсистем, представлен алгоритм работы интеллектуальной системы. Следует отметить, что чем ниже вычислительная сложность, тем выше расход вычислительных мощностей.

Таким образом, наибольший расход вычислительных мощностей происходит на этапе выполнения процессов функциональных подсистем YOLOv3 и DeepSort. Данная закономерность объясняется применением на этих этапах нейросетевых технологий c большим количеством итераций по преумножению векторов и матриц.

С помощью контекстной диаграммы методологии IDEF0 можно показать назначение разрабатываемой системы и ее взаимодействие с внешней средой. На рисунке 2 приведена диаграмма IDEF0 А-0, отображающая внешние связи процесса анализа транспортных потоков. Моделируемый процесс начинается с подачи видеопотока, полученного с видеокамер уличного наблюдения, установленных на участках дорожного движения. Для анализа транспортных потоков требуется цифровой видеопоток, содержащий информацию о движения транспортных потоков на участках дорожного движения.

По результатам анализа транспортных потоков формируются статистика и выходной видеопоток.

Управляющим потоком, используемым в данном процессе, является техническая документация существующих систем. Механизмами, преобразующими входные потоки в выходные в указанном моделируемом процессе, являются нейронная сеть YOLOv3, детектор DeepSort, библиотека OpenCV.

На рисунке 3 показана диаграмма IDEF0 A0, которая является декомпозицией процесса, представленного на рисунке 2. Диаграмма показывает более детально процесс работы системы. Блок А1 включает следующие элементы: входная информация – видеопоток, выходная – кадры видео. На этом этапе видео- поток поступает с камер видеонаблюдения в систему, где выполняются нормализация, масштабирование и изменение изображений или кадров для того, чтобы они подходили в качестве входных данных для нейронной сети. Подготовленные кадры передаются в работу нейронной сети YOLOv3.

В блоке А2 система должна предсказать объекты и их расположение на изображениях с подготов­ленных кадров видеопотока. Механизмом распознавания объектов на данном этапе выступает нейронная сеть YOLOv3. Нейронная сеть обрабатывает каждый кадр и распознает объекты, определяет классы и положение в кадре. Результатом выполнения процесса являются распознанные объекты в видепрямоугольников вокруг объектов. Блок А2 включает следующие элементы: входная информация – кадры видео, выходная информация – параметры прямоугольников вокруг объектов, управление – техническая документация, механизм – нейронная сеть YOLOv3.

В блоке А3 координаты и размер полученных обнаруженных прямоугольников вокруг объектов передаются объекту глубокой сортировки для дальнейшего отслеживания. Механизмом отслеживания объектов выступает детектор DeepSort. Он осуществляет трекинг распознанных на предыдущем этапе объектов от кадра к кадру и анализ трека объектов для рас- познавания его поведения. Результатом выполнения процесса описанного блока является информация о треке обнаруженных объектов. Блок А3 включает следующие элементы: входная информация – параметры прямоугольников вокруг объектов, выходная информация – координаты треков, управление – техническая документация, механизм – детектор DeepSort.

В блоке А4 вычисляется и строится траектория движения объекта, вычисляются вектор и скорость движения каждого обнаруженного транспортного средства, определяются аномалии и инциденты, такие как остановка, затор, скопление машин и ДТП. Блок А4 включает следующие элементы: входная информация – координаты треков, выходная информация – результаты расчетов.

В блоке А5 система осуществляет формирование файла результатов расчетов с предыдущего этапа, выводит информацию в виде файлов статистики по инцидентам. По результатам расчетов с применением библиотеки OpenCV формируется выходной файл видеопотока с отображенными на нем обнаруженными объектами, траекториями их движения и векторами скорости, а также зафиксированными аномали-ями и инцидентами (определение остановки, затора, скопления машин и ДТП). Блок А5 включает следующие элементы: входная информация – результаты расчетов, выходная информация – статистика и выходной видеопоток, механизм – библиотека OpenCV.

Декомпозиция блока «Определение инцидентов» представлена на рисунке 4 в виде диаграммы IDEF0 А4.

Моделируемый процесс «Расчет вектора движения» включает следующие элементы: входная информация – координаты треков, выходная информация – вектор движения.

Вектор движения вычисляется как отрезок, построенный на основе двух предыдущих положений объекта в кадре. Длина отрезка зависит от длины предыдущей траектории и скорости движения объекта, а также от размера и положения объекта в кадре – дальние объекты будут иметь меньший вектор.

Моделируемый процесс «Определение остановки» включает следующие элементы: входная информация – координаты треков, выходная информация – инцидент «остановка».

Для определения остановки объекта будет построен алгоритм расчета по следующему принципу: если координаты центра объекта в течение некоторого времени значительно не изменяются, можно говорить о том, что объект не двигается.

Моделируемый процесс «Определение затора» включает элементы: входная инфор- мация – координаты треков, выходная информация – инцидент «затор».

Для определения затора алгоритм расчета построен по следующему принципу: если в определенном секторе находится большое количество объектов, можно говорить о том, что на данном участке возникла пробка.

Моделируемый процесс «Определение ДТП» включает элементы: входная информация – координаты треков, выходная информация – инцидент «ДТП».

Определение ДТП: если векторы скоростей пересекаются, значит, предполагаемые векторы движения транспортных средств пересекаются и высока вероятность ДТП.

Моделируемый процесс «Сбор данных для статистики» включает следующие элементы: входная информация – координаты треков, вектор движения, типы инцидентов, номер кадра входящего видеопотока, выходная информация – статистика.

Статистика как результат работы интеллектуальной системы будет представлять собой файлы двух типов:

– содержащие сырые данные о времени, типе и секторе кадра, в котором произошел инцидент;

– содержащие агрегированную информацию о количестве инцидентов за промежуток времени.

В результате работы интеллектуальной системы собирается, аккумулируется и выводится информация в виде статистики и графиков по инцидентам. Также по результатам расчетов с применением библиотеки OpenCV формируется выходной видеопоток с отображенными на нем обнаруженными объектами, траекториями их движения и векторами скоро- сти, зафиксированными аномалиями и инцидентами.

Реализация интеллектуальной системы анализа транспортных потоков

Для реализации интеллектуальной системы необходимо подготовить соответствующее вир- туальное окружение. С этой целью использована среда Anaconda, позволяющая инкапсулировать все необходимые библиотеки в одном месте.

Перед началом работы в виртуальное окружение установлены библиотеки OpenCV для работы с изображениями и Tensorflow и API Keras для работы с модулями YOLOv3 и DeepSort.

Все используемые модули реализованы на языке программирования Python версии 3. В качестве текстового редактора для реализации интеллектуальной системы использована интегрированная среда разработки Visual Studio Code.

На рисунке 5 продемонстрировано решение первой задачи – обнаружение объектов. Распознаны следующие объекты: автомобиль, грузовик, мотоцикл, велосипед, пешеход.

Интелектуальная система также выполняет задачи отслеживания объектов и выявления инцидентов (https://swsys.ru/uploaded/image/ 2024-1/Talipov.html).

В ходе работы интеллектуальной системы распознаны такие инциденты, как ДТП, остановка, скопление машин, пробка. Как описывалось ранее, определение ДТП происходит в случае, если векторы скоростей обнаруженных транспортных средств пересекаются. Это значит, что транспортные средства двигаются слишком быстро и высока вероятность ДТП. Однако анализ показал, что данный метод может не сработать при столкновении больших объектов (автобусов/грузовиков) с остановленными легковыми транспортными средствами вследствие того, что изображение на кадре находится в неизвестной проекции. Эту проблему можно решить, используя несколько видеоисточников, расположенных с разных углов. Также метод векторов скоростей может давать потенциальный тормозной путь и проверять безопасную дистанцию между автомобилями на перекрестке.

По результатам апробации реализованной интеллектуальной системы на собственных (подготовленных) и используемых видеоданных, загруженных из Интернета, достоверность результатов исследования видеокадров (верного распознавания объектов транспортного потока) в нейросетевой системе управления дорожным движением составила 85–90 %. Данная система анализа транспортных потоков считается адекватной, если отражает исследуе- мые свойства объектов дорожного движения с приемлемой точностью. Ошибки возникали при большом количестве объектов на кадрах видеоизображений и плохом качестве видеопотока. При мониторинге параметров транспортного потока обеспечивались сбор, анализ и предоставление агрегированных данных о тран- спортной обстановке на участке дорожного движения. Полученные в ходе работы интеллектуальной системы статистические данные могут быть применены на практике в автома- тизированных системах управления дорожным движением для анализа транспортных потоков, а также в работе ситуационных центров в режиме реального времени.

Заключение

В статье описана разработанная интеллектуальная система анализа транспортных потоков в автоматизированных системах управления дорожным движением, позволяющая осуществлять обнаружение объектов движения, их отслеживание, выявление инцидентов, сбор информации из видеопотока, формирование статистики, трансляцию оператору или другой системе места и типа зафиксированного инцидента и другую статистику. Апробация интеллектуальной системы на известном (подготовленном) наборе данных, а также результаты использования системы для анализа транспортных потоков, прогнозирования и выявления инцидентов показали ее эффективность и практическую пригодность к решению поставленных задач.

Целесообразно дальнейшее совершенствование интеллектуальной системы с учетом проблем и недостатков, выявленных в ходе ее апробации.

Список литературы

1. Ермишина Е.В., Шарыпова Т.Н. Критическая информационная инфраструктура в интеллектуальной транспортной системе // Colloquim-J. 2022. № 2-1. С. 20–21.

2. Низяева Ю.Д., Слободчиков Н.А. Опыт внедрения интеллектуальных транспортных систем в городскую инфраструктуру // Системный анализ и логистика. 2022. № 2. С. 50–55. doi: 10.31799/2077-5687-2022-2-50-55.

3. Михеева Т.И. Системный анализ объектов транспортной инфраструктуры в геоинформационной среде // Программные продукты и системы. 2018. Т. 31. № 1. С. 12–18. doi: 10.15827/0236-235X.121.012-018.

4. Болодурина И.П., Парфенов Д.И. Подходы к идентификации сетевых потоков и организации маршрутов трафика в виртуальном центре обработки данных на базе нейронной сети // Программные продукты и системы. 2018. Т. 31. № 3. С. 507–513. doi: 10.15827/0236-235X.123.507-513.

5. Шамлицкий Я.И., Охота А.С., Мироненко С.Н. Сравнение адаптивного и жесткого алгоритмов управления дорожным движением на базе имитационной модели в среде AnyLogic // Программные продукты и системы. 2018. Т. 31. № 2. С. 403–408. doi: 10.15827/0236-235x.122.403-408.

6. Чебыкин И.А. Автоматизация мониторинга дорожного движения с помощью компьютерного зрения // Мир транспорта. 2020. Т. 18. № 6. С. 74–87. doi: 10.30932/1992-3252-2020-18-6-74-87.

7. Руденький А.О. Применение архитектуры Yolo для выявления нарушения правил, остановки, стоянки транспортных средств в неположенном месте и езды по тротуарам // Междунар. науч.-технич. конф. молодых ученых БГТУ им. В.Г. Шухова. 2021. С. 3779–3788.

8. Шнайдер А.С. Детектирование объектов на изображениях на примере модели Yolo // Тр. молодых ученых АлтГУ. 2018. № 15. С. 358–361.

9. Jung H., Choi M.-K., Jung J., Lee J.-H., Kwon S., Jung W.Y. ResNet-based vehicle classification and localization in traffic surveillance systems. Proc. CVPRW, 2017, pp. 934–940. doi: 10.1109/CVPRW.2017.129.

10. Багиров М.Б. Разработка и исследование алгоритмов сопровождения объектов на видеопотоке // ИСТ: сб. XXVIII Междунар. Науч.-технич. конф. 2022. С. 350–360.

11. Wojke N., Bewley A., Paulus D. Simple online and realtime tracking with a deep association metric. Proc. ISIP, 2017, pp. 3645–3649. doi: 10.1109/ICIP.2017.8296962.

References

1. Ermishina, E.V., Sharypova, T.N. (2022) ‘Critical information infrastructure in an intelligent transport system’, Colloquim-J., (2-1), pp. 20–21 (in Russ.).

4. Nizyaeva, Yu.D., Slobodchikov, N.A. (2022) Experience in implementing intelligent transport systems in urban infrastructure, System Analysis and Logistics, (2), pp. 50–55 (in Russ.). doi: 10.31799/2077-5687-2022-2-50-55.

3. Mikheeva, T.I. (2018) ‘System analysis of the transport infrastructure in GIS environment’, Software & Systems, 31(1), pp. 12–18 (in Russ.). doi: 10.15827/0236-235X.121.012-018.

4. Bolodurina, I.P., Parfenov, D.I. (2018) ‘The approaches to identification of network flows and organization of traffic routes in a virtual data center based on a neural network’, Software & Systems, 31(3), pp. 507–513 (in Russ.). doi: 10.15827/0236-235X.123.507-513.

5. Shamlichky, Ya.I., Okhota, A.S., Mironenko, S.N. (2018) ‘Comparison of the adaptive and rigid algorithms of traffic control based on a simulation model in AnyLogic’, Software & Systems, 31(2), pp. 403–408 (in Russ.). doi: 10.15827/0236-235x.122.403-408.

6. Chebykin, I.A. (2020) ‘Automating road traffic monitoring using computer vision’, World of Transport and Transportation, 18(6), pp. 74–87 (in Russ.). doi: 10.30932/1992-3252-2020-18-6-74-87.

7. Rudenkiy, A.O. (2021) ‘Applying Yolo architecture to detect violation of rules, illegal parking and stopping, driving on sidewalks’, Proc. Int. Sci.-Tech. Conf. Young Sci. of BSTU Named after V.G. Shukhov, pp. 3779–3788 (in Russ.).

8. Shnaider, A.S. (2018) ‘Detection of objects in images on the example of the Yolo model’, Proc. of Young Sci. of the AltSU, (15), pp. 358–361 (in Russ.).

9. Jung, H., Choi, M.-K., Jung, J., Lee, J.-H., Kwon, S., Jung, W.Y. (2017) ‘ResNet-based vehicle classification and localization in traffic surveillance systems’, Proc. CVPRW, pp. 934–940. doi: 10.1109/CVPRW.2017.129.

10. Bagirov, M.B. (2022) ‘Development and research of algorithms for tracking objects on a video stream’, Proc. Int. Sci.-Tech. Conf. IST, pp. 350–360 (in Russ.).

11. Wojke, N., Bewley, A., Paulus, D. (2017) ‘Simple online and realtime tracking with a deep association metric’, Proc. ISIP, pp. 3645–3649. doi: 10.1109/ICIP.2017.8296962.