Software & Systems

Увеличение интенсивности транспортного потока на автомагистралях, а также варьирующиеся скоростные ограничения для различных видов транспортных средств обусловили актуальность проблемы автоматизации контроля за соблюдением правил дорожного движения и перемещением транспортных средств. Это, в свою очередь, вызвало необходимость распознавания класса транспортного средства, проверки соблюдения правил дорожного движения для транспортных средств данного класса и идентификации автомобиля нарушителя посредством распознавания его номерного знака.

Входной информацией для системы обнаружения и распознавания является изображение части дороги, возможно, содержащее автомобиль, полученное фотокамерой, расположенной над дорожным полотном по движению транспорта под углом к горизонту.

Автоматическая система должна определять присутствие автомобиля на изображении, локализовать его (определять границы области изображения), а также распознавать тип автотранспортного средства (легковой, грузовой автомобиль, микроавтобус, автобус, спецмашина и т.д.).

Система должна работать в реальном масштабе времени и обеспечивать достаточную точность обнаружения и распознавания.

Задача обнаружения и распознавания автомобилей осложняется тем, что изображения, получаемые в реальных условиях в различное время суток и при различных погодных условиях, отличаются сильной зашумленностью, сменяющейся сложным фоном (из-за обилия теней от различных объектов в различное время суток), частичным попаданием автомобиля в кадр.

Анализ методов и систем обнаружения и распознавания транспортных средств

Для обнаружения автомобиля на изображении (выделение региона интереса) применяют различные методы. Метод, основанный на анализе потокового видео, учитывает то, что распознаются движущиеся объекты – автомобили, при последовательном сравнении соседних кадров видеопоследовательности [1]. Другой метод основан на нахождении фрагментов-кандидатов на различные части автомобиля путем сравнения с эталонами фрагментов исходного изображения [2] либо фрагментов карт ребер [3]. Такой подход применим при наличии на изображении достаточного количества хорошо различающихся существенных элементов автомобиля, что справедливо в большей степени для видов изометрических проекций рассматриваемых автомобилей.

Для видов сзади и сзади-сверху наиболее эффективно показали себя методы, основанные на определенных преобразованиях и анализе карт ребер, как это было реализовано наряду с анализом видеопотока в системе, описанной в [1]. При съемке с такого ракурса автомобили симметричны относительно серединной вертикальной оси, но степень этой симметрии, как и симметрии относительно серединной горизонтальной оси, различна у разных классов автомобилей.

Одним из универсальных методов нахождения и классификации объектов на изображении является поиск по шаблону [4]. Подходы к поиску по шаблону отличаются способами представления изображения и шаблонов, способом сравнения и критериями совпадения фрагмента изображения с шаблоном. Так, авторы статей, описывающих рассмотренные системы, для решения задачи классификации предлагают использовать нейронные сети [3] и метод эталонов.

Таким образом, для отыскания автотранспортного средства на статическом изображении целесообразно применять интеллектуальный анализ реберных карт и модифицированный поиск по шаблону [4]. Распознавание предлагается осуществлять при помощи метода эталонов.

Архитектура системы

Для обеспечения достаточной гибкости и переносимости на другие платформы система имеет модульную структуру и состоит из пяти взаимодействующих модулей: выделения региона интереса, распознавания, фильтрации, метода эталонов, графического интерфейса пользователя.

Модуль выделения региона интереса содержит интеллектуальные элементы отыскания автотранспортного средства на изображении сцены и использует результат преобразований, выполняемых модулем фильтрации классов.

Функции модуля фильтрации позволяют выполнять различные преобразования изображений, реализуют методы адаптивного подавления шумов, смазывания, рассеивания, нахождения наиболее ярких областей изображения, построения градиентных карт и карт ребер, а также отыскивают регион интереса для общей задачи.

Модуль распознавания осуществляет преобразование изображения найденного автотранспортного средства к набору признаков, которые затем используются модулем метода эталонов для классификации. Кроме того, модуль предоставляет данные для классов метода эталонов с целью обучения системы.

Модуль метода эталонов включает классы, реализующие работу со структурами данных, хранящих базу эталонов, работу с файлами баз эталонов, а также классы, реализующие базовые функции метода: нахождение расстояния между экземплярами в метрической системе, нормализация значений признаков экземпляра и т.д. В модуле реализован метод кластерного анализа, позволяющий для заданной обучающей выборки получить базу эталонов с заданным значением ошибки классификации.

Функциональная схема программы показана на рисунке. Прямоугольниками на ней обозначе- ны функциональные модули, ромбами – управляющие элементы интерфейса пользователя, позволяющие контролировать качество работы системы, оценивая правильность выделения и распознавания на контрольных промежутках обслуживания системы, пополнять базу имеющихся шаблонов в случае стабильного некорректного срабатывания системы в той или иной ситуации, повышая тем самым точность распознавания при ее дальнейшей работе.

В автоматизированном режиме работы системы оператор выбирает для обработки изображение или последовательность изображений. Затем каждое выбранное изображение подвергается фильтрации: система делает вывод о присутствии автотранспортного средства на изображении, после чего осуществляется его локализация. При этом оператор имеет возможность визуально контролировать правильность выделения и при необходимости может сообщить системе об ошибке в выделении. Затем данные из модуля выделения региона интереса поступают в модуль распознавания, где с помощью метода эталонов принимается решение об отнесении автомобиля к тому или иному классу. На этом этапе имеется возможность визуального контроля правильности работы системы и пополнения базы эталонов без прерывания работы системы. Работа над каждым изображением протоколируется, а результатом являются точно распознанный класс автомобиля и номер- ной знак (при подключении дополнительного модуля).

В автоматическом режиме работы системы обработка производится исключительно в направлении двойной стрелки (см. рис.) после указания пользователем последовательности изображений для обработки.

Эксперименты и результаты

Оценка качества работы системы осуществлялась операторами-экспертами путем визуального контроля правильности выделения и распознавания, а также сравнивалась с имеющимися результатами работы аналогичной индустриальной системы ASPI, используемой на автотрассах Италии.

Системы распознавания автомобилей наглядно демонстрируют результат своей работы – выделенный регион интереса на изображении на экранной форме, распознанный класс автомобиля, точность распознавания и распознанный номерной знак, которые также протоколируются.

После обучения системы на 1555 изображениях обучающей выборки точность распознавания для 2457 изображений тестовой выборки составила 80,5 %. Среднее время работы системы над одним изображением составило 0,6 сек.

Для системы ASPI точность распознавания того же набора изображений составила 72 % при средних затратах времени 1,1 сек. на одно изображение.

Разработанная автоматическая система об- наружения и распознавания автотранспорта на изображении позволяет определять в реальном масштабе времени класс автомобиля, присутствующего на изображении. Она отличается большей производительностью и точностью по сравнению с действующими системами обнаружения и распознавания транспортных средств и может быть рекомендована для использования на практике.

Данная работа выполнена в рамках НИР ООО «МПА Групп» «Разработка математического и информационного обеспечения интеллектуальной системы визуального контроля транспортных средств» (№ 0106U012013) и «Разработка методов и программных средств на основе обучения, распознавания, оптимизации адаптации для принятия решений в автоматизированных системах управления транспортными средствами» (№ 0107U0006781).

Литература

1.   Betke M., Haritaoglu E., Davis L. Multiple vehicle detection and tracking in hard real-time // IEEE Intelligent Vehicles Symposium. Tokyo, Sept. 19–20, 1996. Los Alamitos: IEEE Publishing, 1996, pp. 351–356.