Программные продукты и системы

Повышение эффективности современных систем видеонаблюдения позволяет снизить трудозатраты персонала. Но в большинстве случаев применение таких систем ограничивается установкой видеокамер, и при этом оператору необходимо постоянно следить за происходящим на нескольких камерах, данные с которых могут отображаться на множестве мониторов. Поэтому наряду с внедрением систем видеонаблюдения на автостоянках, заправочных станциях, перекрестках со сложным движением требуется осуществлять аналитическую поддержку таких систем. Возникла потребность в использовании детекторов движения, наличии удобного пользовательского интерфейса, позволяющего интуитивно следить за несколькими камерами, в системе сигналов для оператора, привлекающей внимание к определенной ситуации на мониторе, в анализе движения объектов и их параметров. Также следует учесть, что при организации видеонаблюдения на открытой местности часто возникают проблемы, связанные с неблагоприятными погодными условиями.

Основным требованием к системам видеонаблюдения является ведение журнала событий в виде набора кадров или видеопоследовательностей, на которых запечатлены нарушители, с одновременным оповещением оператора. Функционирование блока, выполняющего эти действия, основано на работе детектора движения, однако в большинстве существующих систем используется детектор движения, интегрированный в камеры. В свою очередь, это приводит к необходимости очень тщательного подбора параметров определения движения для снижения вероятности ложного срабатывания. При программной реализации детектора движения возможно использование адаптивных алгоритмов и алгоритмов, учитывающих предварительную обработку в виде стабилизации, цветовой и яркостной коррекции.

Предлагаемая программная система предназначена для улучшения качества видеоматериала, полученного в сложных условиях освещения, при организации видеонаблюдения на АЗС, парковках, во дворах и т.п. В системе реализован трехступенчатый детектор движения, разделяющий ситуацию в кадре на три вида: нет движения, слабое и сильное движение. В связи с проблемами детекторов движения, а именно большой чувствительностью к погодным условиям, дрожанию камеры и незначительным помехам в кадре, предлагается алгоритм стабилизации видео, позволяющий значительно повысить устойчивость к таким эффектам. Применение метода MSR для повышения качества цветных изображений позволяет улучшить качество восприятия видеоданных в вечернее время суток, а также снизить влияние помех от самих камер.

Для разработки системы было решено использовать модульный подход, поскольку применение модульной организации при реализации системы позволит в дальнейшем с минимальными вложениями выполнять модернизацию или расширение системы в целом. Модульная архитектура также предоставляет более обширные возможности по отладке.

Основными модулями предлагаемой системы видеонаблюдения являются модули улучшения качества изображения, детектора движения и стабилизации видео. Кроме них, с ядром системы связаны модули взаимодействия с камерами, с БД и модули пользовательского интерфейса (рис. 1).

Оценка движения

Наиболее значимым в системах видеонаблю- дения является модуль детектора движения, поскольку при обнаружении движения встает необходимость привлечения внимания оператора. Существует большое количество методов обнаружения движения, однако многие являются достаточно сложными с вычислительной точки зрения. К самым быстродействующим методам определения движения относятся методы на основе вычитания фона и сравнения соседних кадров. В их основу закладывается сравнение текущего кадра с предыдущим или с некоторым опорным кадром. При этом для вычисления разницы между кадрами существуют три основных подхода по вычислению значений на основе компонент цветовой модели RGB, яркости пикселей, хроматических компонент цветовой модели YUV.

Для расчета величины движения был разработан метод, который предполагает использование факторов цветового усиления с применением вычисления значения на основе цветовой модели RGB. Расчет абсолютной разности между значениями цветовых компонент R, G, B (Red, Green, Blue) пикселей анализируемых кадров Iop и Icur проводится в нормированном диапазоне [0..1] согласно формуле

  (1)

где s – указатель компоненты цветовой модели (R, G, B); x и y – пространственные координаты; Fboost – величина, определяющая степень активации режима усиления; Kboost – коэффициент усиления; TS – пороговое значение, которое определяет, произошли ли изменения в цвете пикселя; Sad(s, x, y) – функция вычисления абсолютной разницы по указанной цветовой компоненте между заданными кадрами, которая вычисляется по формуле

,        (2)

где SvIop, SvIcur – значения компоненты цветовой модели (R, G, B) опорного и текущего кадров соответственно.

В качестве опорного кадра Iop можно использовать как предыдущий, так и фоновый кадр.

Для расчета величины изменения пикселя в нормированной форме цветовой модели RGB используется формула

(3)

Зачастую шум в кадрах может быть засчитан как изменение в пикселе, и в итоге в большом количестве этот шум будет оказывать влияние на величину движения. Для уменьшения влияния шума на величину движения необходима дополнительная коррекция. Она происходит в зависимости от установленного порогового значения [TS] и коэффициента подавления малых отклонений [Lc] согласно формуле

(4)

Параметр коэффициента подавления малых отклонений вычисляется на основе экспериментальных исследований и может быть скорректирован во время настройки параметров системы. Общая величина, характеризующая изменения пикселя [PDiff(x, y)], рассчитывается по формуле

 (5)

Значение величины, характеризующей движение между двумя кадрами (изменения в кадре), вычисляется на основании общей величины, характеризующей изменение значений пикселей анализируемой области кадра согласно формуле

,                        (6)

где W, H – размеры анализируемой области кадра по горизонтали и вертикали (ширина и высота) соответственно.

Для классификации движения используется значение величины, характеризующее движение между двумя кадрами, при этом следует отметить, что в зависимости от сцены диапазоны классификации движения могут варьироваться.

Для возможности хранения информации о движении был создан собственный формат хранения видеоданных. Спроектированная структура файла состоит из двух основных блоков – заголовочной части и блока данных. В заголовочной части описываются параметры камеры, характеристики видеозаписи, а также индексное поле, содержащее информацию о движении, временные метки и т.п. Предложенная структура файла позволяет осуществлять быструю навигацию и перегружать параметры оценки движения, хранящиеся в заголовочной части. Наличие в индексном поле ссылочной связи дает возможность организации прореживания видеопоследовательности путем уда- ления кадров, в которых либо отсутствует, либо зафиксировано очень малое движение.

Стабилизация видеоданных

Модуль стабилизации видеопоследовательности нацелен на подавление нежелательной вибрации движения вследствие механического дрожания камеры и погодных условий, а также на синтез новых изображений последовательности с учетом стабилизации траектории движения камеры. При использовании стационарных IP-камер на открытом пространстве дрожание кадра может возникать при движении камеры либо под влиянием ветра. Для улучшения качества видеопоследовательности разработан алгоритм стабилизации, отличающийся от известных нахождением минимального расстояния между блоками и основанный на выводе функции стоимости, путем восстановления границ кадра и с помощью временных фильтров для улучшения качества видеопотока.

После получения кадра находятся локальные векторы движения с применением метода соответствия блоков. Для каждого блока пикселей на предыдущем кадре ищется соответствующий блок на текущем кадре [1]. Функция сравнения переданных блоков, используя метрику PSNR, рассчитывает разницу между кадрами. Расчет глобального вектора движения производится на основе найденных локальных векторов по формуле

                                 (7)

После нахождения глобального вектора движения кадра выполняется компенсация движения. Данный этап раскладывается на две задачи: учет глобального движения кадра и восстановление границ, выпавших за рамки кадра [2]. Корректировка найденного дрожания кадра выполняется путем сдвига следующего кадра в направлении, обратном найденному вектору глобального движения. Таким образом, происходит смещение изображения на несколько пикселей, при этом необходимо учитывать изменение границы кадра. Чтобы избежать потери области видимости, часть информации для граничных пикселей берется из предыдущих кадров видеопоследовательности.

Последним этапом предлагаемого алгоритма стабилизации видео является постобработка кадра. Для нее используются автоматическая коррекция, а также обработка модифицированным для нескольких кадров фильтром 2d_cleaner. В этом фильтре для каждого пикселя изображения рассчитывается значение с учетом окрестности по формуле

                                        (8)

где Px,y – пиксель, с окрестностью которого ведется работа; R, G, B – значения каналов RGB-спект­ра; Ts – значение порога, характеризующего возможность обработки; r – ранг окрестности; Ch(Ts, r) – функция расчета значения канала в спектре:

                                 (9)

где Sv(i, j) – функция отсечения значения спектра по порогу; Cc(i, j) – функция указания пригодности значения спектра по порогу, значение которой определяется по формуле

                 (10)

где svi,j – значение спектра рассматриваемого цветового канала; Ts – значение порога.

Реализация модифицированного фильтра 2d_cleaner выполнена с учетом обработки по временной оси нескольких кадров видеопоследовательности, что позволяет уменьшить влияние помех после стабилизации. В ходе экспериментов было выяснено, что для видеопоследовательности, полученной со стационарной IP-камеры, при выполнении такой фильтрации целесообразно использование двух или трех предыдущих кадров.

Нелинейное улучшение качества изображения

Поскольку в большинстве случаев при организации наружного видеонаблюдения возникает задача улучшения визуального качества видеопотока для его лучшего восприятия оператором, в основу модуля улучшения качества изображений был положен модифицированный алгоритм Multi-Scale Retinex (MSR), имитирующий визуальную систему человека [3]. Реализация алгоритма в виде отдельного модуля предоставляет возможность через ядро системы производить улучшение визуального качества изображений в полноформатном виде только для отображаемого на экране видеопотока.

MSR-алгоритм сжимает динамический диапазон изображения с сохранением (увеличением) локального контраста в плохо и ярко освещенных областях. Классический многомерный MSR-алгоритм [4] является взвешенной суммой одномерных SSR-алгоритмов (Single-Scale Retinex) для различных масштабов. Одномерная выходная функция i-го цветового канала Ri(x, y, s) вычисляется следующим образом:

Ri(x, y, s)=log{Ii(x, y)}–log{F(x, y, s)*Ii(x, y)},  (11)

где Ii(x, y) – входная функция i-го цветового канала по координатам x и y; s – масштабный коэффициент; символ * обозначает свертку функций; F(x, y, s) – гауссиан, определяемый как

F(x, y, s)=Ke–(x2+y2)/s2.                                            (12)

При этом коэффициент K выбирается таким образом, чтобы выполнялось условие

                                   (13)

где Wx,y – множество пикселей, принадлежащих всему изображению.

Тогда многомерная выходная функция i-го цветового канала RMi(x, y, w, s) определяется следующим образом:

,             (14)

где w=(w1, w2, …, wm), m=1, 2, …, M – весовой вектор одномерных выходных функций i-го цветового канала Ri(x, y, s); s=(s1, s2, …, sn), n=1, 2, …, N – вектор масштабов одномерных выходных функций. При этом .

Размерность вектора масштабов обычно выбирается не меньше 3. При проведении экспериментов значения составили 13, 87, 180. Весовой вектор w, как правило, имеет элементы с равными значениями.

Однако классический алгоритм MSR приводит к искажению цвета изображения, так как значение каждой цветовой составляющей пикселя (например в RGB-пространстве) заменяется отношением ее исходного значения к среднему значению данной цветовой составляющей окружающих пикселей. Существуют несколько решений данной проблемы. Так, некоторое улучшение результатов наблюдается при переходе в другие цветовые пространства с явным разделением яркостной и оттеночной составляющих (HIS-, HSV-, HSL-простран­ства). Однако лучший эффект достигается при использовании модели нормализованного разделения яркостной и оттеночной составляющих. Дополнительная обработка выполняется в соответствии с выражением

R¢Mi(x, y, w, s, b)=RMi(x, y, w, s)*I¢i(x, y, c), (15)

где I¢i(x, y, с) – нормализованная яркость, которая определяется по формуле

,             (16)

где c – коэффициент, выбираемый из середины диапазона значений [0…255], c=100–125.

Из-за характеристик логарифмической функции MSR-алгоритм делает детали изображения более различимыми в теневых областях, чем в засвеченных [3]. Чтобы сделать детали различимыми в засвеченных областях, можно применить логарифмическую функцию к инвертированному изображению. Строится модифицированная логарифмическая функция L(I(x,y)), зависящая от порогового значения Th, выбираемого пользователем:

(17)

где ,  DR – динамический диапазон изображения, в данном случае DR=255 (для изображений с 8 битами на цветовой канал); k1 и k2 – весовые коэффициенты; Th – пороговое значение.

Пороговое значение Th было выбрано равным 200. Вид функции L(I(x, y)) приведен на рисунке 2.

Объединение ветвей дает классическому алгоритму MSR возможность повышать контрастность деталей в областях повышенной яркости (для примера на рисунке 2 область повышенной яркости выделена замкнутым контуром). Использование такого вида логарифмической функции в определенной мере повышает контрастность деталей информативной области типичных распределений яркости (60–200), но в значительно меньшей мере, чем в затененных участках и участках с высокой яркостью.

Однако выходные данные MSR-алгоритма с модифицированной логарифмической функцией находятся вне динамического диапазона изображения [3]. Чтобы привести значения к динамическому диапазону изображения [0, 255], сделаем корректировку выходного изображения на основе корректирующего коэффициента и среднего значения яркостей пикселей обработанного изображения:

,               (18)

где Im(x, y) – яркость пикселя после обработки MSR-алгоритмом с модифицированной логарифмической функцией; Iavg(x, y) – среднее значение яркости пикселей обработанного изображения; wcor – корректирующий коэффициент, выбирается экспериментальным путем (wcor=0,007), за константу С берется половина динамического диапазона изображения (С=127,5).

На рисунке 3 показан пример работы MSR-алгоритма с модифицированной логарифмической функцией.

Экспериментальные результаты

Для оценки эффективности и целесообразности использования предложенных методов было разработано экспериментальное ПО. Проверка методов обнаружения движения и сбор статистики осуществлялись с использованием видеоданных с девяти IP-камер, расположенных как на оживленных улицах, так и в местах с минималь- ным движением. Исследование проводилось на 57 последовательностях по 1 500 кадров в каждой. Сравнение в разработанном методе движения осуществлялось при одинаковом способе вычисления величины движения, отличие заключалось в разных способах формирования значения абсолютной разницы, то есть использованием трех основных подходов. На рисунке 4 представлен график, характеризующий величину движения для разных реализаций метода обнаружения движения на отрезке видеопоследовательности с двумя интервалами движения. Фрагмент последовательности получен с IP-камеры, находящейся на берегу залива Nordfjorden (Норвегия).

Наибольшую эффективность предложенный метод показал в цветовой модели RGB с использованием фактора цветового усиления 4. Для выяснения возможности ускорения работы алгоритма вычисления величины движения был проведен ряд экспериментов. Для оценки быстродействия и точности работы детектора движения использовались кадры различного масштаба, так как уменьшение анализируемого изображения дает существенное увеличение скорости работы. В таблице приведены данные о точности определения движения и уровне ложного определения движения.

Качество детектирования движения в зависимости от масштаба кадров

На рисунке 5 показаны результаты анализа быстродействия работы детектора движения в зависимости от масштаба кадров. Результаты были получены при размере кадра 640×480 на компьютере cо следующими параметрами: процессор Intel Core 2 duo 3 Ггц, ОЗУ 4Gb, видеокарта Nvidia Geforce GTS 250, ОС Windows 7.

Для оценки качества стабилизации было проведено тестирование методом, предложенным в работах по стабилизации видеоматериала [1]. Для исходной видеопоследовательности и стабилизированного видеоматериала находится разница между предыдущим и текущим кадрами по метрике PSNR. Применение пространственно-временного фильтра 2d_cleaner при стабилизации видеоматериала значительно улучшает качество, устраняя следы мелкого дрожания видеопоследовательности, от которого не удалось избавиться при стабилизации (рис. 6). PSNR-значение стабилизированной последовательности заметно выше, что показывает меньшую разницу между кадрами (более низкое дрожание кадра). При применении временного фильтра PSNR-значение видеопоследовательности увеличивается в пределах 30 %.

Проверка модуля улучшения визуального качества выполнялась на последовательностях, содержащих искажения, вызванные различными природными явлениями и условиями освещения. Примеры работы модуля показаны на рисунке 7: представлены фрагменты с камер, расположенных в Трабен-Трарбах (Германия), съемка происходит в дневное время в нормальную погоду, присутствуют блики от солнца; в Кейп-Бретон, Новая Шотландия (Канада), съемка в утреннее время, присутствует легкий туман.

В заключение можно сделать следующие выводы. Предлагаемая система видеонаблюдения с возможностью улучшения визуального качества позволит повысить эффективность работы службы охраны благодаря возможностям улучшения визуального качества отображаемых данных и стабилизации видеопотока. Предложенные детектор движения и формат хранения видеоданных позволят более гибко управлять просмотром событий без необходимости выполнения расчета параметров движения при каждом просмотре видеоархива. При изменении масштаба от 100 до 30 % фактор движения, характеризующий точность определения движения, находится на схожем уровне, а при масштабе менее 15 % значительно ухудшается. Использование стабилизации видеопотока позволяет повысить качество нахождения движения в среднем на 2–7 % в зависимости от степени дрожания камеры, поскольку этот фактор оказывает значительное влияние на работу алгоритма. Применение стабилизации видеопотока также улучшает возможности визуального наблюдения для оператора.

Литература

1.     Ko-Cheung H., Wan-Chi S., Extended analysis of motion-compensated frame difference for block-based motion prediction error, IEEE Transactions on Image Processing, 2007, Vol. 16 (5), pp. 1232–1245.

2.     Rawat P., Singhai J., Review of Motion Estimation and Video Stabilization techniques for hand held mobile video, Intern. Journ. (SIPIJ), 2011, Vol. 2, no. 2, pp. 159–168.

3.     Фаворская М.Н., Зотин А.Г., Пахирка А.И. Метод улучшения цветных изображений на основе выравнивания спектральных диапазонов и коррекции контрастности // Механика, управление и информатика. 2012, № 8. С. 99–103.

4.     Choi D.H., Jang I.H., Kim M.H., Kim N.C., Color image enhancement based on single-scale retinex with a JND-based nonlinear filter, In Proc. IEEE Int. Symp. Circuits and Syst., New Orleans, USA, 2007, pp. 3948–3951.

References

1.  Ko-Cheung H., Wan-Chi S.,  IEEE, 2007, Vol. 16 (5), pp. 1232–1245.

2.  Rawat P., Singhai J.,  SIPIJ, Vol. 2, no. 2,  2011, pp. 159–168.

3.  Favorskaya M.N., Zoting A.G., Pahirka A.I.,  Mekhanika, upravlenie i informatika  [Mechatronics, Control, and Informatics], no. 8, Moscow, 2012, pp. 99–103

4.  Choi D.H., Jang I.H., Kim M.H., Kim N.C.,  IEEE Int. Symp. Circuits and Syst., New Orleans, USA, 2007, pp. 3948–3951.