Journal influence
Bookmark
Next issue
Intelligent system for analyzing traffic flows in automated traffic control systems
Abstract:The paper presents the results of developing an intelligent system for analyzing traffic flows. The system development process involved mathematical calculations of a motion trajectory, speed, determining incidents and collecting statistics, and object-oriented programming. The source data are images taken from CCTV footage uploaded on the Internet. To match the YOLOv3 neural network, the video stream frames have a resolution of 1280720 and a scale of 16:9. The developed functional model reflects the intelligent system structure and functions, as well as the flows of information and material objects that link these functions. The paper considers examples of system operation and fulfillment of assigned tasks, as well as possibilities for further application of the developed traffic flow analysis system. Checking the intelligent system operation, as well as the results of its use for analyzing traffic flows, predicting and identifying incidents showed the effectiveness of the developed software and the practical suitability of the intelligent system for solving tasks. During operation, the system recognized the following objects: a car, a truck, a motorcycle, a bicycle, a pedestrian. It also recognized such incidents as traffic accidents, a stop, a congestion of cars, a traffic jam. According to the results of testing the implemented intelligent system using authors’ (prepared) video data and video data downloaded from the Internet, the reliability of the study results (correct recognition of traffic flow objects) in the intelligent traffic control system was 85–90 %. The results obtained were used to effectively manage traffic flows, increase the capacity of the road network, prevent traffic congestion, reduce delays in traffic, improve traffic safety, optimize the transportation process, inform road users about a traffic situation and options for an optimal route, ensuring the uninterrupted movement of ground urban passenger transport.
Аннотация:В статье представлены результаты разработки интеллектуальной системы анализа транспортных потоков. Для ее создания использованы математические расчеты траектории движения, скорости, определение инцидентов и сбор статистики, объектно-ориентированное программирование. Исходными данными являются изображения, взятые из записей камер видеонаблюдения, загруженных в сеть Интернет. Для соответствия нейронной сети YOLOv3 кадры видеопотока имеют разрешение 1 280720 и масштаб 16:9. Разработанная функциональная модель отображает структуру и функции интеллектуальной системы, а также потоки информации и материальных объектов, связывающих эти функции. Рассмотрены примеры работы системы анализа транспортного потока и выполнения поставленных задач, а также возможности ее дальнейшего применения. Проверка работы интеллектуальной системы и результаты ее использования для анализа транспортных потоков, прогнозирования и выявления инцидентов показали эффективность разработанного ПО и пригодность системы к решению поставленных задач. В ходе работы системы распознаны следующие объекты: автомобиль, грузовик, мотоцикл, велосипед, пешеход, а также такие инциденты, как ДТП, остановка, скопление машин, пробка. Достоверность (верное распознавание объектов транспортного потока) результатов исследования как собственных (подготовленных) видеоданных, так и загруженных из сети Интернет в интеллектуальной системе управления дорожным движением составила 85–90 %. Полученные результаты использованы для эффективного управления транспортными потоками, повышения пропускной способности улично-дорожной сети, предотвращения автомобильных заторов, уменьшения задержек в движении транспорта, повышения безопасности дорожного движения, оптимизации перевозочного процесса, ин-формирования участников дорожного движения о дорожно-транспортной ситуации и вариантах оптимального маршрута движения, обеспечения бесперебойного движения наземного городского пассажирского транспорта.
Authors: Rumil M. Khusainov (rumil_husainov98@mail.ru) - Tupolev Kazan National Research Technical University (Postgraduate Student), Kazan , Russia, , Nafis G. Talipov (nafis.talipov@mail.ru) - Tupolev Kazan National Research Technical University (Associate Professor), Kazan , Russia, Ph.D, Aleksey S. Katasev (ASKatasev@kai.ru) - Tupolev Kazan National Research Technical University (Professor), Kazan , Russia, Ph.D, Darya V. Shalaeva (dvshalaeva@bk.ru) - Tupolev Kazan National Research Technical University (Graduate Student), Kazan , Russia, Undergraduate | |
Keywords: intellectual system, functional model, object recognition, neural network, traffic flow, traffic accidents, frame, traffic flows, video stream |
|
Page views: 908 |
PDF version article |
Введение. Стремительное увеличение количества транспортных средств обусловило появление современных автомагистралей, расширение сети городских дорог. Рост интенсивности нерегулируемых транспортных потоков повышает вероятность ДТП. Неэффективное управление транспортными потоками приводит к уменьшению пропускной способности дорожной сети, к появлению транспортных заторов. При решении задач по регулированию дорожного движения и по управлению транспортными системами в международной и российской практике широко применяются интеллектуальные транспортные системы, способные эффективно управлять улично-дорожной сетью с учетом ее плотности и пропускной способности [1, 2]. Цель данной работы состоит в разработке и апробации интеллектуальной системы на под- готовленном наборе данных и видеоданных, загруженных из Интернета, использовании системы анализа транспортных потоков, полученных результатов выходного видеопотока и статистики для анализа транспортных потоков, прогнозирования, выявления и исключения инцидентов. Особенностью таких систем является автоматическое формирование управляющих воздействий в режиме реального времени на объекты транспортной инфраструктуры с частичным участием оператора. При этом важными элементами в составе интеллектуальной транспортной инфраструктуры являются подсистемы, построенные на основе нейросетевых технологий, в которых используются ПО с открытым программным кодом и коммерческие решения анализа транспортных потоков и прогнозирования аномалий и инцидентов [2]. Преимуществами коммерческих систем являются высокое качество конечного продукта, надежный класс защиты комплекса от внешних воздействий и наличие технической поддержки. Однако данные системы имеют недостатки, связанные со значительной стоимостью решения. Решению задачи анализа транспортных потоков в автоматизированных системах управления дорожным движением посвящены работы ряда российских исследователей. Так, в [3] автором предложен системный анализ объектов транспортной инфраструктуры в геоинформационной среде ITSGIS. Эта интеллектуальная транспортная геоинформационная система является средством для хранения и обработки геоданных, обладает огромным потенциалом в области интеллектуальной поддержки принятия решений. Для выявления мест концентрации ДТП на карте в системе реализованы методы, основанные на использовании интеллектуальной технологии Data Mining. Интеллектуальность ITSGIS обеспечивается наличием нейросетевых технологий. Геоинформационные технологии ITSGIS, использующие нейросети, позволяют объединить две задачи – распознавание образов и классификацию. Обнаруженное с помощью нейронной сети транспортное средство может быть классифицировано как относящееся к одному из нескольких типов с учетом его государственного номера, марки и т.д. В статье [4] описан метод распознавания ситуаций угона автомобильного транспорта с парковки, основанный на глубоких нейронных сетях. Распознавание инцидента происходит на двух основных уровнях: на нижнем уровне распознаются события, а на верхнем – ситуации как наиболее вероятные цепочки событий, соответствующие грамматике сигнатур угона автомобиля. Детектирование событий возможного угона выполняется на основе анализа выявленных объектов, их взаимного расположения, динамических характеристик траектории движения людей. В работе [5] предлагается снижение интенсивности движения транспортных средств путем применения адаптивного алгоритма управления дорожным движением. Для создания имитационной модели использована среда моделирования AnyLogic. Автоматизированная система управления дорожным движением позволяет уменьшить суммарные задержки транспортных средств на определенном участ- ке дорожной сети. В [6] предложен метод анализа транспортного потока, основанный на применении тех- нологии компьютерного зрения на базе сверточных нейронных сетей. Рассмотренным методом автоматизируются сбор и анализ данных о транспортных потоках. Учет интенсивности движения осуществляется посредством видеосъемки с беспилотного летательного аппарата и последующего анализа видеоматериалов с помощью программного комплекса TrafficData. Система мониторинга дорожного движения позволяет определять параметры дорожного движения, собирать данные о них, а также формировать отчеты об изменениях этих параметров в наглядном виде. Проведенный анализ позволяет сделать вывод об актуальности разработки и использования интеллектуальной системы для распознавания объектов на изображениях. При этом для обнаружения объектов на изображениях транспортной инфраструктуры целесообразно использовать сверточные нейронные сети (https:// iss.ru/products/securos-soffit, https://3dnews.ru/ 981314, https://asudd.pro/products/asudd/). Благодаря своему строению они хорошо извлекают признаки из изображений и эффективно используются в таких задачах, как классификация, распознавание образов, сегментация и анализ изображений (https://www.tadviser.ru/ index.php, https://innostage-group.ru/press/blog/ review/slaboe-zveno-open-source). В данной работе для распознавания объектов на видеоизображениях использована наиболее популярная архитектура сверточной нейронной сети YOLO [7]. Она не требует привлечения больших аппаратных ресурсов, благодаря чему ее можно реализовать на разных платформах. Различные архитектуры сверточных сетей из класса YOLO обеспечивают высокую точность и скорость детектирования объектов на изображениях [8, 9]. При анализе транспортных потоков, кроме распознавания объектов на видеоизображениях, необходимо решать задачу слежения за движущимися объектами. В настоящее время широкое распространение получили интеллектуальные системы видеонаблюдения, в состав которых входят специальный программный модуль анализа потока видеоданных, поступающего с цифровой видеокамеры, и автоматический трекинг (отслеживание) передвигающегося в поле зрения камеры объекта. В данной работе для отслеживания объектов выбран детектор DeepSORT [10, 11], совмещающий такие качества, как простота и высокая точность детектирования. Рассмотрим схему работы системы и ее реализацию. Схема работы интеллектуальной системы анализа транспортных потоков
На каждом этапе работы перечисленными подсистемами выполняются следующие основные функции: Initialization – подготовка кадра из видеоисточников; YOLOv3 – распознавание объектов, определение классов и положения кадров; DeepSort – слежение за объектами сквозь время; Business Logic – вычисление траектории объектов, предсказание направления движения, вычисление скорости и определение инцидентов; Output – сбор статистики и формирование выходного видеопотока. В таблице отражена подробная схема методики работы разрабатываемой интеллектуальной системы с перечислением и описанием основного функционала подсистем, представлен алгоритм работы интеллектуальной системы. Следует отметить, что чем ниже вычислительная сложность, тем выше расход вычислительных мощностей. Таким образом, наибольший расход вычислительных мощностей происходит на этапе выполнения процессов функциональных подсистем YOLOv3 и DeepSort. Данная закономерность объясняется применением на этих этапах нейросетевых технологий c большим количеством итераций по преумножению векторов и матриц.
По результатам анализа транспортных потоков формируются статистика и выходной видеопоток. Управляющим потоком, используемым в данном процессе, является техническая документация существующих систем. Механизмами, преобразующими входные потоки в выходные в указанном моделируемом процессе, являются нейронная сеть YOLOv3, детектор DeepSort, библиотека OpenCV.
В блоке А2 система должна предсказать объекты и их расположение на изображениях с подготовленных кадров видеопотока. Механизмом распознавания объектов на данном этапе выступает нейронная сеть YOLOv3. Нейронная сеть обрабатывает каждый кадр и распознает объекты, определяет классы и положение в кадре. Результатом выполнения процесса являются распознанные объекты в видепрямоугольников вокруг объектов. Блок А2 включает следующие элементы: входная информация – кадры видео, выходная информация – параметры прямоугольников вокруг объектов, управление – техническая документация, механизм – нейронная сеть YOLOv3. В блоке А3 координаты и размер полученных обнаруженных прямоугольников вокруг объектов передаются объекту глубокой сортировки для дальнейшего отслеживания. Механизмом отслеживания объектов выступает детектор DeepSort. Он осуществляет трекинг распознанных на предыдущем этапе объектов от кадра к кадру и анализ трека объектов для рас- познавания его поведения. Результатом выполнения процесса описанного блока является информация о треке обнаруженных объектов. Блок А3 включает следующие элементы: входная информация – параметры прямоугольников вокруг объектов, выходная информация – координаты треков, управление – техническая документация, механизм – детектор DeepSort. В блоке А4 вычисляется и строится траектория движения объекта, вычисляются вектор и скорость движения каждого обнаруженного транспортного средства, определяются аномалии и инциденты, такие как остановка, затор, скопление машин и ДТП. Блок А4 включает следующие элементы: входная информация – координаты треков, выходная информация – результаты расчетов. В блоке А5 система осуществляет формирование файла результатов расчетов с предыдущего этапа, выводит информацию в виде файлов статистики по инцидентам. По результатам расчетов с применением библиотеки OpenCV формируется выходной файл видеопотока с отображенными на нем обнаруженными объектами, траекториями их движения и векторами скорости, а также зафиксированными аномали-ями и инцидентами (определение остановки, затора, скопления машин и ДТП). Блок А5 включает следующие элементы: входная информация – результаты расчетов, выходная информация – статистика и выходной видеопоток, механизм – библиотека OpenCV.
Моделируемый процесс «Расчет вектора движения» включает следующие элементы: входная информация – координаты треков, выходная информация – вектор движения. Вектор движения вычисляется как отрезок, построенный на основе двух предыдущих положений объекта в кадре. Длина отрезка зависит от длины предыдущей траектории и скорости движения объекта, а также от размера и положения объекта в кадре – дальние объекты будут иметь меньший вектор. Моделируемый процесс «Определение остановки» включает следующие элементы: входная информация – координаты треков, выходная информация – инцидент «остановка». Для определения остановки объекта будет построен алгоритм расчета по следующему принципу: если координаты центра объекта в течение некоторого времени значительно не изменяются, можно говорить о том, что объект не двигается. Моделируемый процесс «Определение затора» включает элементы: входная инфор- мация – координаты треков, выходная информация – инцидент «затор». Для определения затора алгоритм расчета построен по следующему принципу: если в определенном секторе находится большое количество объектов, можно говорить о том, что на данном участке возникла пробка. Моделируемый процесс «Определение ДТП» включает элементы: входная информация – координаты треков, выходная информация – инцидент «ДТП». Определение ДТП: если векторы скоростей пересекаются, значит, предполагаемые векторы движения транспортных средств пересекаются и высока вероятность ДТП. Моделируемый процесс «Сбор данных для статистики» включает следующие элементы: входная информация – координаты треков, вектор движения, типы инцидентов, номер кадра входящего видеопотока, выходная информация – статистика. Статистика как результат работы интеллектуальной системы будет представлять собой файлы двух типов: – содержащие сырые данные о времени, типе и секторе кадра, в котором произошел инцидент; – содержащие агрегированную информацию о количестве инцидентов за промежуток времени. В результате работы интеллектуальной системы собирается, аккумулируется и выводится информация в виде статистики и графиков по инцидентам. Также по результатам расчетов с применением библиотеки OpenCV формируется выходной видеопоток с отображенными на нем обнаруженными объектами, траекториями их движения и векторами скоро- сти, зафиксированными аномалиями и инцидентами. Реализация интеллектуальной системы анализа транспортных потоков Для реализации интеллектуальной системы необходимо подготовить соответствующее вир- туальное окружение. С этой целью использована среда Anaconda, позволяющая инкапсулировать все необходимые библиотеки в одном месте. Перед началом работы в виртуальное окружение установлены библиотеки OpenCV для работы с изображениями и Tensorflow и API Keras для работы с модулями YOLOv3 и DeepSort. Все используемые модули реализованы на языке программирования Python версии 3. В качестве текстового редактора для реализации интеллектуальной системы использована интегрированная среда разработки Visual Studio Code.
Интелектуальная система также выполняет задачи отслеживания объектов и выявления инцидентов (https://swsys.ru/uploaded/image/ 2024-1/Talipov.html). В ходе работы интеллектуальной системы распознаны такие инциденты, как ДТП, остановка, скопление машин, пробка. Как описывалось ранее, определение ДТП происходит в случае, если векторы скоростей обнаруженных транспортных средств пересекаются. Это значит, что транспортные средства двигаются слишком быстро и высока вероятность ДТП. Однако анализ показал, что данный метод может не сработать при столкновении больших объектов (автобусов/грузовиков) с остановленными легковыми транспортными средствами вследствие того, что изображение на кадре находится в неизвестной проекции. Эту проблему можно решить, используя несколько видеоисточников, расположенных с разных углов. Также метод векторов скоростей может давать потенциальный тормозной путь и проверять безопасную дистанцию между автомобилями на перекрестке. По результатам апробации реализованной интеллектуальной системы на собственных (подготовленных) и используемых видеоданных, загруженных из Интернета, достоверность результатов исследования видеокадров (верного распознавания объектов транспортного потока) в нейросетевой системе управления дорожным движением составила 85–90 %. Данная система анализа транспортных потоков считается адекватной, если отражает исследуе- мые свойства объектов дорожного движения с приемлемой точностью. Ошибки возникали при большом количестве объектов на кадрах видеоизображений и плохом качестве видеопотока. При мониторинге параметров транспортного потока обеспечивались сбор, анализ и предоставление агрегированных данных о тран- спортной обстановке на участке дорожного движения. Полученные в ходе работы интеллектуальной системы статистические данные могут быть применены на практике в автома- тизированных системах управления дорожным движением для анализа транспортных потоков, а также в работе ситуационных центров в режиме реального времени. Заключение В статье описана разработанная интеллектуальная система анализа транспортных потоков в автоматизированных системах управления дорожным движением, позволяющая осуществлять обнаружение объектов движения, их отслеживание, выявление инцидентов, сбор информации из видеопотока, формирование статистики, трансляцию оператору или другой системе места и типа зафиксированного инцидента и другую статистику. Апробация интеллектуальной системы на известном (подготовленном) наборе данных, а также результаты использования системы для анализа транспортных потоков, прогнозирования и выявления инцидентов показали ее эффективность и практическую пригодность к решению поставленных задач. Целесообразно дальнейшее совершенствование интеллектуальной системы с учетом проблем и недостатков, выявленных в ходе ее апробации. Список литературы 1. Ермишина Е.В., Шарыпова Т.Н. Критическая информационная инфраструктура в интеллектуальной транспортной системе // Colloquim-J. 2022. № 2-1. С. 20–21. 2. Низяева Ю.Д., Слободчиков Н.А. Опыт внедрения интеллектуальных транспортных систем в городскую инфраструктуру // Системный анализ и логистика. 2022. № 2. С. 50–55. doi: 10.31799/2077-5687-2022-2-50-55. 3. Михеева Т.И. Системный анализ объектов транспортной инфраструктуры в геоинформационной среде // Программные продукты и системы. 2018. Т. 31. № 1. С. 12–18. doi: 10.15827/0236-235X.121.012-018. 4. Болодурина И.П., Парфенов Д.И. Подходы к идентификации сетевых потоков и организации маршрутов трафика в виртуальном центре обработки данных на базе нейронной сети // Программные продукты и системы. 2018. Т. 31. № 3. С. 507–513. doi: 10.15827/0236-235X.123.507-513. 5. Шамлицкий Я.И., Охота А.С., Мироненко С.Н. Сравнение адаптивного и жесткого алгоритмов управления дорожным движением на базе имитационной модели в среде AnyLogic // Программные продукты и системы. 2018. Т. 31. № 2. С. 403–408. doi: 10.15827/0236-235x.122.403-408. 6. Чебыкин И.А. Автоматизация мониторинга дорожного движения с помощью компьютерного зрения // Мир транспорта. 2020. Т. 18. № 6. С. 74–87. doi: 10.30932/1992-3252-2020-18-6-74-87. 7. Руденький А.О. Применение архитектуры Yolo для выявления нарушения правил, остановки, стоянки транспортных средств в неположенном месте и езды по тротуарам // Междунар. науч.-технич. конф. молодых ученых БГТУ им. В.Г. Шухова. 2021. С. 3779–3788. 8. Шнайдер А.С. Детектирование объектов на изображениях на примере модели Yolo // Тр. молодых ученых АлтГУ. 2018. № 15. С. 358–361. 9. Jung H., Choi M.-K., Jung J., Lee J.-H., Kwon S., Jung W.Y. ResNet-based vehicle classification and localization in traffic surveillance systems. Proc. CVPRW, 2017, pp. 934–940. doi: 10.1109/CVPRW.2017.129. 10. Багиров М.Б. Разработка и исследование алгоритмов сопровождения объектов на видеопотоке // ИСТ: сб. XXVIII Междунар. Науч.-технич. конф. 2022. С. 350–360. 11. Wojke N., Bewley A., Paulus D. Simple online and realtime tracking with a deep association metric. Proc. ISIP, 2017, pp. 3645–3649. doi: 10.1109/ICIP.2017.8296962. References 1. Ermishina, E.V., Sharypova, T.N. (2022) ‘Critical information infrastructure in an intelligent transport system’, Colloquim-J., (2-1), pp. 20–21 (in Russ.). 4. Nizyaeva, Yu.D., Slobodchikov, N.A. (2022) Experience in implementing intelligent transport systems in urban infrastructure, System Analysis and Logistics, (2), pp. 50–55 (in Russ.). doi: 10.31799/2077-5687-2022-2-50-55. 3. Mikheeva, T.I. (2018) ‘System analysis of the transport infrastructure in GIS environment’, Software & Systems, 31(1), pp. 12–18 (in Russ.). doi: 10.15827/0236-235X.121.012-018. 4. Bolodurina, I.P., Parfenov, D.I. (2018) ‘The approaches to identification of network flows and organization of traffic routes in a virtual data center based on a neural network’, Software & Systems, 31(3), pp. 507–513 (in Russ.). doi: 10.15827/0236-235X.123.507-513. 5. Shamlichky, Ya.I., Okhota, A.S., Mironenko, S.N. (2018) ‘Comparison of the adaptive and rigid algorithms of traffic control based on a simulation model in AnyLogic’, Software & Systems, 31(2), pp. 403–408 (in Russ.). doi: 10.15827/0236-235x.122.403-408. 6. Chebykin, I.A. (2020) ‘Automating road traffic monitoring using computer vision’, World of Transport and Transportation, 18(6), pp. 74–87 (in Russ.). doi: 10.30932/1992-3252-2020-18-6-74-87. 7. Rudenkiy, A.O. (2021) ‘Applying Yolo architecture to detect violation of rules, illegal parking and stopping, driving on sidewalks’, Proc. Int. Sci.-Tech. Conf. Young Sci. of BSTU Named after V.G. Shukhov, pp. 3779–3788 (in Russ.). 8. Shnaider, A.S. (2018) ‘Detection of objects in images on the example of the Yolo model’, Proc. of Young Sci. of the AltSU, (15), pp. 358–361 (in Russ.). 9. Jung, H., Choi, M.-K., Jung, J., Lee, J.-H., Kwon, S., Jung, W.Y. (2017) ‘ResNet-based vehicle classification and localization in traffic surveillance systems’, Proc. CVPRW, pp. 934–940. doi: 10.1109/CVPRW.2017.129. 10. Bagirov, M.B. (2022) ‘Development and research of algorithms for tracking objects on a video stream’, Proc. Int. Sci.-Tech. Conf. IST, pp. 350–360 (in Russ.). 11. Wojke, N., Bewley, A., Paulus, D. (2017) ‘Simple online and realtime tracking with a deep association metric’, Proc. ISIP, pp. 3645–3649. doi: 10.1109/ICIP.2017.8296962. |
Permanent link: http://swsys.ru/index.php?id=5057&lang=en&like=1&page=article |
Print version |
The article was published in issue no. № 1, 2024 [ pp. 69-76 ] |
Perhaps, you might be interested in the following articles of similar topics:
- Информационная и алгоритмическая поддержка интеллектуальной системы экологического мониторинга воздуха на основе нейронных сетей
- Исследование комбинированного алгоритма при обучении трехслойных нейронных сетей различной топологии
- Интеллектуальная система, основанная на многоуровневой онтологии химии
- Интеграция микроскопических и мезоскопических моделей при имитации дорожного движения
- Автоматизированное детектирование и классификация объектов в транспортном потоке на спутниковых снимках города
Back to the list of articles