Software & Systems

Массовое использование видеокамер в повседневной жизни поставило новые задачи в области обработки видеосигналов. Видеонаблюдение – одна из таких задач. Неподвижные камеры применяются для видеонаблюдения давно. Для них разработан обширный программный и алгоритмический аппарат.

В последнее время все большее распространение получают управляемые камеры. Такие камеры могут вращаться по заданному закону либо управляться программно. Управляемые камеры позволяют эффективнее решать задачи видеонаблюдения. В настоящее время активно ведется разработка программных средств для полного использования всех возможностей управляемых камер.

В данной статье авторами предлагается доработка известного подхода к моделированию окружения управляемой камеры при помощи панорамного изображения, которое формируется на основе видеоданных, получаемых от камеры. Применение описанного в статье алгоритма позволяет построить корректную модель окружения камеры при наличии движущихся объектов. Полученная таким образом модель дает возможность автоматически выделять посторонние объекты в области слежения.

Построение модели окружения

Для моделирования окружения камеры применяется статистическая модель, разработанная для неподвижных камер [1]. Каждый пиксель, согласно этой модели, характеризуется математическим ожиданием и дисперсией яркости за длительный промежуток времени. В случае неподвижной камеры сбор такой статистики не представляет сложности. Тогда как для управляемой камеры статистика должна быть известна по каждому ее направлению, что требует длительного времени на сбор и огромного объема памяти для хранения такой модели.

Авторами предлагается использовать в качестве модели окружения камеры сферическую панораму, которая строится в результате сканирования камерой окружения. Камера вращается по траектории, позволяющей получать виды окружения с некоторым перекрытием. Каждый вид (кадр) проецируется на сферу заданного радиуса. Для корректного сопоставления проекций в областях перекрытия используется аппарат точечных особенностей.

Точечной особенностью  изображения называется точка, окрестность которой значительно отличается от окрестностей близлежащих точек по выбранной мере: , где  – окрестность точки , называемая окном поиска;  – функция близости окрестностей по некоторой мере.

Для поиска точечных особенностей на кадрах применяется детектор Харриса [2]. Между найденными особенностями из соседних видов определяется соответствие. Для этого используется функция близости  Как правило, оцененные сферические координаты соответствующих особенностей из разных видов различаются. Поэтому для качественного сопоставления особенностей в области перекрытия соседние виды подвергаются аффинному искажению (подробнее о построении сферической панорамы см. [3]).

В результате формируется набор значений , где ,  – квантованные сферические координаты точки (например, с шагом 1°);  – яркость точки.

При последующих сканированиях новая панорама конструируется на основе предыдущей. На каждом новом кадре с помощью детектора Харриса выделяются точечные особенности. Найденные особенности сопоставляются с особенностями на панораме. Таким образом определяется положение вида на новой панораме. Уточнения положения особенностей по соседним видам при объединении не требуется.

Процесс сканирования повторяется многократно. Каждой точке с координатами  ставится в соответствие набор яркостей , где j – номер обхода .

По имеющемуся набору яркостей для всех координат  вычисляются статистические данные:  – математическое ожидание яркостей;  – среднеквадратичное отклонение яркостей.

Для хранения панорам требуется значительный объем памяти. Для оптимизации может быть использован следующий подход.

1.   Математическое ожидание яркости пикселя обновляется после построения новой панорамы: , где  – порядковый номер сканирования. Таким образом, требуется хранить только модель окружения (панораму средних яркостей) и текущую панораму.

2.   Значение среднеквадратичного отклонения (по времени) можно оценить одним значением для всех точек, если учитывать только уровень шума. В этом случае собирается набор яркостей из всех видов для небольшого количества точечных особенностей на панораме. И по полученным наборам значений для всех точечных особенностей вычисляется . Однако, как правило, амплитуда шума в пикселе имеет зависимость от яркости пикселя. Поэтому в предлагаемой системе применяется следующий подход: шкала яркости делится на несколько интервалов, для каждого интервала яркостей определяется среднеквадратичное отклонение, и полученные значения интерполируются на весь диапазон яркостей. В итоге шум характеризуется дискретной функцией , где  – яркость пикселя.

Построенная модель окружения управляемой камеры имеет следующее представление:  – набор средних яркостей пикселей по всем направлениям камеры (окружение);  – среднеквадратичное отклонение яркостей пикселей (модель шума).

Выделение и удаление движущихся объектов

Наличие движущихся объектов во время построения модели окружения вносит значительные искажения в модель и требует специальной обработки. Можно выделить два типа движущихся объектов:

-     объекты, движение которых камера может зафиксировать, то есть изменение положения объекта происходит в видимой области;

-     объекты, движение которых камера зафиксировать не может, то есть движение произошло в тот момент, когда данный участок контролируемой области находился в невидимой для камеры области.

Для обнаружения объектов первого типа предлагается использовать механизм оценки глобального движения кадра [4]. Основная идея этого механизма – нахождение такого аффинного преобразования одного кадра в другой, при котором минимизируется функция ошибки для всего кадра. Обычно при использовании управляемых камер с учетом ограничений на их движение таким преобразованием является суперпозиция поворота, сдвига кадра и его масштабирования.

Каждому пикселю ставится в соответствие вектор глобального движения, задаваемый найденным преобразованием. Для движущихся объектов такой вектор не совпадет с реальным направлением движения объекта в кадре.

Как было сказано выше, из-за наличия шума в видео каждому пикселю можно поставить в соответствие дисперсию значения данного пикселя во времени. При этом для обнаружения движущихся объектов достаточно найти пиксели с дисперсией, превышающей некое пороговое значение (известный уровень шума). Таким образом, используется подход, аналогичный предложенному в [5], – поиск пикселей, дисперсия которых отклоняется от дисперсии уровня шума больше, чем на фиксированное малое значение.

Для удаления найденных таким образом объектов возможно применение следующей схемы работы: восстановление пикселей, находящихся за движущимся объектом, производится при помощи накопленной статистической информации об этих пикселях из тех кадров, когда движущийся объект исчез из поля потенциальной видимости камеры.

Обнаружение и заполнение неизвестных областей

Возможна ситуация, когда в кадре присутствовал статический на момент наблюдения объект, который впоследствии исчез из области слежения наблюдаемой области, либо наоборот, объект появился в наблюдаемой области в то время, когда камера не была направлена в эту область (второй тип движущихся объектов). Типичным примером такого объекта является автомобиль на стоянке –он уезжает или приезжает в то время, когда камера направлена в противоположную сторону.

Возникает задача определения корректного окружения при наличии двух в общем случае равновероятных состояний панорамы – с объектом и без него. Причем иногда возможны случаи, когда ни одно из состояний не является настоящим фоном – один объект сменился другим объектом. Такие области называются спорными.

Во всех этих случаях существует возможность либо выбрать одно из состояний как корректное, а другие считать ошибочными, либо посчитать ошибочными все спорные состояния. Во втором случае в панораме возникают неизвестные области, которые необходимо заполнить, используя только информацию о соседних областях. Для решения таких задач существуют алгоритмы пространственного заполнения областей в изображении или видео [6]. Для разработанной системы применяется усложненный подход к пространственному заполнению.

На первом шаге создается классификация неизвестной области. На основании известных соседних областей неизвестная область может быть отнесена к одному из трех классов:

1)  гладкая область (область с низкой дисперсией) – если соседние области тоже гладкие;

2)  область с границами – если в соседних областях есть границы и продолжение этих границ вдоль их основного направления пересекает рассматриваемую область;

3)  текстурная область (область с высокой дисперсией) – если соседние области тоже с высокой дисперсией.

Для каждого типа области предлагается соответствующий алгоритм заполнения.

Для гладких областей в качестве такого алгоритма можно рассматривать взвешенную интерполяцию известных соседних пикселей:

,

где I(x,y) – яркость пикселя; (x,y) – неизвестный пиксель; (x¢,y¢) – соседние известные пиксели; N – нормализующий множитель, равный сумме весов.

Для областей с границами можно рассматривать линейную интерполяцию вдоль найденных границ. Фактически можно использовать ту же формулу, что и в случае со взвешенной интерполяцией, только в качестве соседних пикселей  используются те, что находятся на направлении основной границы, проходящей через восстанавливаемую область.

Для текстурных областей применяется интерполяция на основе коэффициентов дискретного косинусного преобразования (ДКП). Для этого изображение разбивается на квадратные блоки фиксированного размера (обычно 8´8 или 16´16), в каждом из этих блоков независимо производится ДКП, при этом в результате получаются блоки коэффициентов преобразования. При интерполяции коэффициентов преобразования рассматриваются только блоки, находящиеся вдоль доминантного направления границы в данной области

На рисунке 1 показана общая схема алгоритма заполнения неизвестных областей. После работы алгоритма заполненная область сравнивается со спорными областями, и, если одна из спорных областей близка к заполненной, данная область считается правильной и используется в дальнейшей схеме работы; если же все спорные области отличаются от заполненной, в последующей схеме работы используется заполненная область.

Выделение областей интереса

Построенная модель окружения применяется для решения основной задачи видеонаблюдения: обнаружения изменений в окружающей обстановке, которые могут быть важны для наблюдателя. Как правило, это появление либо исчезновение объекта. Разработанная система выделяет области интереса – области кадра, которые могут соответствовать указанным изменениям окружения.

Для текущего кадра находится соответствующая область панорамы, моделирующей окружение. Считается, что в пикселе произошло изменение, если , где  – яркость пикселя в кадре;  – яркость соответствующей точки модели;  – уровень шума;  – порог.

Для каждого пикселя кадра определяется наличие в нем изменения. Связные области, размер которых превосходит заранее заданное число, выделяются как области интереса.

Значения неизменившихся точек модели обновляются способом, описанным ранее. Это позволяет адаптировать модель к плавным изменениям освещения. Так же определяется уровень шума в кадре [7]. Вычисленное значение используется для обновления модели шума с помощью низкочастотного фильтра рекурсивного сглаживания.

Схема системы

Работу описанной системы можно разбить на два основных этапа: построение модели окружения (инициализация) и выделение областей интереса (слежение).

На рисунке 2 представлена схема разработанной системы видеонаблюдения.

Предложенная в данной статье система моделирования окружения управляемой камеры использует алгоритмы, имеющие низкую вычислительную сложность и обеспечивающие приемлемое для поставленной задачи качество анализа и обработки видеоданных. Разработанная система может применяться как для задач охраны периметра при использовании управляемых камер в помещениях и на зданиях, так и для построения различных интеллектуальных систем, например, способных выявлять криминальные ситуации.

В силу наличия параметров настройки и разных функциональных блоков предложенная система может быть использована, например, в задачах слежения за производством или для экологических наблюдений. Качество анализа для предложенной системы можно повысить, если использовать специфические знания для конкретной области применения.

Список литературы

1.   Chris Stauffer, W. Eric L. Grimson, Learning Patterns of Activity Using Real-Time Tracking. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2000, pp. 747–757.

2.   Harris C., Stephens M. A Combined Corner and Edge Detector. Proc. 4th Alvey Conference, 1988, pp. 147–151.

3.   Cho J., Kim S. Object detection using multi-resolution mosaic in image sequences. Signal Processing/ Image communication, 2005, 20(3), pp. 233–253.

4.   Солдатов С.А., Стрельников К.Н., Ватолин Д.С. Быстрое и надежное определение глобального движения в видеопоследовательностях. // Тр. конф.: Graphicon-2006. – Новосибирск, 2006.

5.   Куликов Д., Ватолин Д. Обнаружение и заполнение статических инородных областей в видео на примере удаления логотипов и сбоев при ошибках передачи. // Матер. девятого науч.-практич. сем.: Новые информационные технологии в автоматизированных системах. – М.: 2006.

6.   Куликов Д., Ватолин Д. Метод пространственного заполнения испорченных областей видео при ошибках в работе кодека. // Матер. десятого науч.-практич. сем.: Новые информационные технологии в автоматизированных системах. – М.: 2007.

7.   Liu C., Freeman W.T., Szeliski R., Kang S.B. Noise Estimation from a Single Image. CVPR’06, 2006, pp. 901–908.