Программные продукты и системы

Различные организации очень часто используют цифровые системы охранного видеонаблюдения. Однако в большинстве случаев применение таких систем ограничивается установкой обычных видеокамер для слежения оператором за происходящим. При этом данные с камер могут отображаться на множестве мониторов. При организации видеонаблюдения с использованием традиционных камер оператору приходится сталкиваться с проблемой плохой видимости наблюдаемого объекта в силу плохого освещения и погодных ус- ловий. Так, при недостаточном освещении в видеопоследовательности возникают шумы, характеризующиеся разноцветными точками, хаотично распределенными по экрану, и образуются засвеченные области, если в поле зрения камеры попадает источник освещения.

Для решения проблемы плохой видимости могут применяться различные методы цветовой коррекции [1–3] и шумоподавления [1, 4]. Однако при недостаточном уровне освещенности данные методы не всегда дают приемлемые результаты, в частности, возникающие шумы будут усилены алгоритмами коррекции освещения.

В последние годы растет популярность инфракрасных камер, позволяющих фиксировать различие тепловой энергии у наблюдаемого объекта и сцены. Это обусловлено тем, что они могут обеспечить достаточно четкое видео при неблагоприятных погодных условиях (дождь, туман), а также в условиях недостаточной освещенности (ночью, на рассвете и закате). Помимо этого, инфракрасные камеры полезны, когда имеются засвеченные участки, что может сделать традиционное видео непригодным для использования. Инфракрасные видеоданные в системах видеонаблюдения обычно представляются как оттенки серого, что создает хороший контраст между объектами и их фоном. Однако это не всегда удобно для оператора.

Объединение данных, полученных с помощью инфракрасной (IR) и традиционной (RGB) камер, позволит получить информацию, которую нельзя было бы получить путем просмотра данных по отдельности. Для этой цели могут применяться различные методы слияния инфракрасных и визуальных изображений. Характеристики инфракрасных изображений и область их применения определяются типом камер.

Типы инфракрасных камер

Инфракрасное излучение (IR – infrared) – это электромагнитное излучение с длиной волны от 0,76 до 100 мкм, то есть больше, чем у видимого света. Этот диапазон условно разделяется на следующие составляющие [5]:

-     ближний инфракрасный диапазон (NIR – Near Infrared Range) с длиной волны от 0,76 до 1,0 мкм;

-     коротковолновый инфракрасный диапазон (SWIR – Short Wavelength Infrared Range) с длиной волны от 1 до 3 мкм;

-     средний инфракрасный диапазон (MWIR – Medium Wavelength Infrared Range) с длиной волны от 3 до 6 мкм;

-     длинноволновый инфракрасный диапазон (LWIR – Long Wavelength Infrared Range) с длиной волны от 6 до 15 мкм;

-     сверхдлинноволновый инфракрасный диапазон (VLWIR – Very Long Wavelength Infrared Range) с длиной волны от 15 до 30 мкм;

-     дальний инфракрасный диапазон (FIR – Far Infrared Range) с длиной волны от 30 до100 мкм.

При использовании NIR- и SWIR-приемников на захватываемых изображениях у объектов есть тени и определенная контрастность, так как захватывается излучение, отражаемое от объектов. При этом объекты выглядят точно так же, как при видимом освещении с четко различимыми деталями, а разрешающая способность таких детекторов сопоставима с устройствами захвата, работающими в видимом диапазоне. Так как объекты легко различимы и узнаваемы, NIR и SWIR используют при организации систем видеонаблюдения с возможностью обнаружения и сопровождения объектов интереса. При этом при более длинной волне, чем видимый диапазон света, данные детекторы способны «видеть» сквозь туман, дым и пыль лучше, чем камеры, работающие в видимом диапазоне.

Стоит отметить, что большинство оптических материалов, используемых в обычных камерах, подходят и для NIR, и для SWIR (обычное стекло пропускает излучение до 2,5 мкм), что может существенно снизить стоимость оборудования.

При использовании MWIR и LWIR длина волны излучения больше 3,5 мкм, что влияет на захватываемое изображение, так как оно формируется на основе собственного теплового излучения объектов сцены, которое может не отличаться от теплового излучения фона. При этом уменьшается динамический диапазон изображения, ухудшаются контрастность и узнаваемость объектов.

Устройства, работающие в этом диапазоне длин волн (тепловизоры), имеют высокую стоимость, так как приходится применять специальные материалы для оптики приборов и при необходимости охлаждение детекторов, при этом разрешающая способность у дорогих устройств составляет на те- кущий момент 1280´1024 пикселя. Данные детекторы применяются во многих областях: ночное видение, инспекция зданий, обеспечение безопасности, контроль качества в производстве товаров, авиация и т.д.

Примеры изображений [6] для различных спектральных диапазонов, полученных в различных условиях освещения, показаны на рисунке 1. Так, на рисунке приведены снимки, сделанные во время заката и в ночное время.

Подходы к слиянию инфракрасных и видимых изображений

Методы слияния инфракрасных и видимых изображений можно разделить на три обширных класса, зависящих от уровня объекта, с которым они работают: пиксели изображения, характерные особенности изображения, конкретные объекты изображения [7–9].

Слияние на основе пикселей – это нижний уровень обработки изображений, на котором происходит слияние физических параметров исходных изображений. Наиболее известными подходами попиксельного слияния изображений являются алгоритмы простого усреднения [10], усреднение с весовыми коэффициентами (α-blend), метод переноса хроматических характеристик (color transfer) [11], метод главных компонент (PCA – principal component analysis) [12], слияние с использованием пирамиды изображений [13], вейвлет-преобразование [14]. При использовании данного подхода требуется, чтобы пиксели входных изображений имели одинаковое положение на захватываемой сцене, то есть, чтобы захват инфракрасного и визуального изображений происходил в одно и то же время и в одной и той же точке сцены.

Следующий уровень обработки входных изображений – слияние на основе характерных осо- бенностей. На данном уровне сопоставляются ключевые особенности каждого из входных изобра- жений. Такой подход дает лучшие результаты слияния, чем обработка на пиксельном уровне, но требует предварительной подготовки используемых данных. Наиболее распространенными подходами слияния изображений на основе характерных особенностей [15] являются методы на основе выделения границ [16] и искусственные нейронные сети [17].

Слияние на основе выделения объектов на изображении – наивысший уровень обработки. На данном уровне происходит идентификация объектов индивидуально для каждого из входных изобра- жений. Полученная информация комбинируется и используется для точного распознавания наблюдаемых объектов. Если объекты корректно распознаны со всех источников изображений, происходит их слияние для получения действительного представления сцены. Наиболее распространен- ными подходами слияния изображений на основе выделения объектов являются алгоритмы нечеткой логики [18], байесовская сеть [19], алгоритмы машинного обучения [20].

В результате анализа принципов работы алгоритмов на каждом уровне можно прийти к выводу, что наибольшее быстродействие наблюдается у методов попиксельного слияния.

Методы попиксельного слияния

Наиболее простым методом слияния изображений является слияние на основе сложения данных. Так, яркость результирующего изображения может быть получена как среднеарифметическое значение инфракрасных (IR) и визуальных (RGB) данных. Помимо вычисления среднеарифметического значения, при расчете результирующей яркости может использоваться максимальное или минимальное значение.

Расширением этого метода является использование весовых коэффициентов, которые будут определять вклад исходных изображений при выполнении слияния. При этом весовые коэффициенты могут быть применены к изображению в целом или корректироваться для каждого пикселя на основе разумного правила. Такой метод иногда называют α-смешиванием (α-blend), поскольку весовой коэффициент представлен альфой:

INew(x, y)= α × IRGB(x, y)+ (1–α) × IIR(x, y),     (1)

где х, у – координаты обрабатываемого пикселя изображений; α – весовой коэффициент слияния; INew – выходное изображение; IRGB, IIR – входные изображения RGB и IR соответственно.

Существенным недостатком этого метода является занижение контраста при выполнении слияния. Так, если одно из изображений имеет область с равномерной яркостью или низким контрастом, в результате слияния будет выравниваться контраст в этой области на результирующем изображении. Весовые коэффициенты могут помочь, но если задавать их глобально (для всего изображения), следует учитывать возможные варианты снижения контрастности.

Наиболее часто используемый алгоритм для объединения визуальных (RGB) и инфракрасных изображений типа Near Infrared (NIR) и Short Wavelength Infrared (SWIR) основывается на использовании цветовой модели HSI. К этой модели приводится RGB-изображение, затем его яркостная составляющая заменяется яркостью из NIR-изобра­жения. Данный подход позволяет объединять изображения с большой скоростью, но обладает некоторыми недостатками. Темные пиксели NIR-изображения могут не являться таковыми на RGB-изображении, тогда при простой замене яркостей у результирующего изображения понижается интенсивность цветов пикселей или они просто становятся черными.

Эта проблема частично решается задействованием насыщенности и яркостной компоненты RGB-изображения:

INew(x, y) = SaturationRGB × IntensityRGB(x, y) + +(1– SaturationRGB) × IntensityIR(x, y).

Однако сформированные таким способом изображения будут отображать растительность (кустарники, деревья и т.п.) в неестественных цветах.

Метод главных компонент (PCA – principal component analysis) позволяет вычислить компактное описание набора данных. Он сводится к вычислению собственных векторов и собственных значений ковариационной матрицы входных данных. Слияние изображений при помощи метода главных компонент происходит следующим образом: входные изображения I1(x, y) и I2(x, y) преобразуются в два вектора-столбца, из которых вычитается их усредненный вектор. Далее они комбинируются в матрицу размером n×2, где n – длина вектора-столбца изображения, затем рассчитываются собственные векторы и собственные значения по- лученной матрицы. В дальнейшем используются собственные векторы (P1, P2), соответствующие максимальным собственным значениям. Непосредственное слияние изображений происходит согласно выражению INew(x, y) = P1I1(x, y) + P2I2(x, y).

Используется также дискретное вейвлет-преобразование (DWT – discrete wavelet transform), ко- торое во многих аспектах является аналогом пре- образования Фурье. В преобразовании Фурье происходит декомпозиция сигнала на синусы и косинусы, а вейвлет-преобразование проецирует сигнал на базис, сформированный посредством масштабных изменений и переносов вейвлет-функций. Дискретное вейвлет-преобразование реализуется при помощи пирамидального алгоритма Малла [21]. При слиянии изображений с использованием DWT входные изображения раскладываются на сглаживающие и детализирующие коэффициенты с требуемым уровнем вейвлет-разложения. Далее полученные коэффициенты обоих изображений комбинируются в соответствии с выражением INew(x, y) = IDWT[f{DWT(I1(x, y)), DWT(I2(x, y))}], где I1(x, y), I2(x, y) – входные изображения; f – правило слияния изображений, в данном случае усреднение сглаживающих коэффициентов и выборка детализирующих коэффициентов в каждом диапазоне с наибольшей величиной; IDWT – обратное дискретное вейвлет-преобразование.

Предлагаемый алгоритм

Поскольку в системах видеонаблюдения одним из значимых факторов является скорость обработки, в основу предлагаемого алгоритма взята попиксельная обработка. Так, для улучшения визуального качества видеопоследовательности с использованием инфракрасных данных предлагается алгоритм, обобщенная схема которого представлена на рисунке 2.

Условно данный алгоритм можно разделить на два основных этапа – подготовительный этап и этап обработки. На подготовительном этапе фор- мируются данные, необходимые для выполнения слияния, а на этапе обработки формируется улучшенное визуальное изображение.

В самом начале подготовительного этапа при считывании изображений кадров формируются гистограммы яркости HistRGB визуального ряда и HistIR для данных инфракрасной съемки и одновременно рассчитываются значения средней яркости AvgIRGB и AvgIIR. При этом параллельно с формированием гистограммы яркости визуального ряда происходит генерация карт хроматических компонент и карты яркости с использованием цветовой модели YUV.

Попиксельное слияние с учетом весовых коэффициентов позволяет улучшить визуальное качество, однако, если используются изображения, сильно отличающиеся по яркостному представлению, можно наблюдать затемнение или же, наоборот, осветление участков изображения, а также снижение уровня контрастности. Важным фактором является и тип инфракрасного изображения. Так, в ходе анализа исходных данных было выяснено, что в условиях недостаточной освещенности средняя яркость инфракрасного изображения LWIR зачастую меньше, чем у визуального ряда, а у изображений NIR и SWIR больше. Принимая это во внимание, было решено выполнить корректировку инфракрасных данных перед слиянием.

Поскольку интенсивность пикселей находится в диапазоне от 0 до 255, для ускорения расчетов предлагается проводить обработку с использованием таблиц перекодировки (LookUp Table – LUT).

Разные типы инфракрасных изображений обладают различными характеристиками, поэтому необходимо генерировать таблицы перекодировки с учетом этих особенностей. Так, формирование таблицы перекодировки для LWIR-изображений предлагается осуществлять по формуле

,

где Kstep – коэффициент преобразования.

Эта же формула может быть использована для NIR- или SWIR-изображений, средняя яркость которых меньше, чем у RGB-изображения. Однако при использовании инфракрасных изображений, средняя яркость которых AvgIIR превышает AvgIRGB, таблица перекодировки задается по следующей формуле:

, ,

.

Вычисление среднего значения яркости на основе оригинальной гистограммы и таблицы перекодировки AvgIkf(k) будет выполняться согласно выражению .

Для выполнения коррекции визуального (RGB) изображения необходимо определить значение коэффициента коррекции яркости инфракрасного изображения (Kstep), при котором отклонение средней яркости AvgIkf(Kstep) минимально отличалось бы от значения эталонной яркости AvgIET. Значение эталонной яркости зависит от яркости визуального изображения и вычисляется согласно условию

Расчет коэффициента коррекции Kstep осуществляется по формуле

,

где kmin, kmax – минимально и максимально возможные значения для коэффициента коррекции, определяемые следующим образом:

В связи с этим формирование скорректиро- ванного значения яркости инфракрасного изображения (YIR) будет осуществляться следующим образом: , где IIR – оригинальное значение интенсивности (яркости) инфракрасного изображения; LUTIR – таблица перекодировки для инфракрасного изображения.

Во время экспериментального исследования выяснено, что в случае использования LWIR-изо­бражений для повышения визуального качества видеопоследовательностей с низким уровнем освещения (вечер/ночь/утро) целесообразно использовать скорректированное значение яркости инфракрасного изображения в инвертированной форме. Это связано с тем, что инвертированное инфракрасное изображение более приемлемо для восприятия человеком (рис. 3). Итоговая таблица перекодировки для инфракрасного LWIR-изображения с учетом инвертирования значения будет генерироваться следующим образом:

.

После завершения подготовительного этапа формируется карта яркости путем попиксельного слияния на основе весовых коэффициентов. В предлагаемом алгоритме слияние осуществляется в зависимости от яркости пикселя RGB-изо­бражения YRGB и скорректированного значения яркости инфракрасного изображения. При этом весовые коэффициенты для каждого изображения в каждом пикселе вычисляются динамически и учитывают такие показатели, как разница яркости пикселя у изображений и насыщенность пикселя RGB-изображения. В общем виде расчет нового значения яркости можно представить следующим образом:

где TsD – порог определения темной области спектра; TsL – порог определения светлой области спектра; KRGB, KIR – значения базовых весовых коэффициентов для RGB- и IR-изображений соответственно.

Значение насыщенности, используемое для подстройки коэффициентов, вычисляется согласно цветовой модели HSV по формуле

где R, G, B – значения цветовых каналов модели RGB.

Величина коэффициента насыщенности Ksat определяется по формуле

где Tsat – пороговое значение насыщенности цвета; S – насыщенность цвета; KfBaseS – базовое значение коэффициента влияния насыщенности цвета.

Одновременно с вычислением нового значения яркости пересчитываются минимальное (Ymin) и максимальное (Ymax) значения для определения динамического диапазона.

Если динамический диапазон яркости будет меньше предусмотренного в компьютерной графике (0–255), перед формированием RGB-изобра­жения производится дополнительная корректировка значения яркости пикселя для расширения диапазона по формуле

Непосредственное формирование улучшенного изображения осуществляется на основе перевода значений цветовой модели YUV в RGB. При этом используется новое значение яркостной компоненты и от оригинального изображения берется карта хроматических данных.

Сравнение с существующими решениями

Предлагаемый адаптивный алгоритм сравнивался с такими алгоритмами цветокоррекции Retinex [2], для которых были взяты реализация графического редактора Gimp и модифицированный Multiscale Retinex [1]. Дополнительно проведено сравнение с широко распространенными методами попиксельного слияния на основе вычисления среднего и максимального значений, а также использования статически заданных взвешенных коэффициентов (α-blend). Для инфракрасных изображений NIR осуществлено сравнение с методом слияния, использующим цветовую модель HSI. Подробные результаты работы алгоритмов приведены в работе [22].

Для выполнения экспериментального исследования с инфракрасными изображениями LWIR использовались тестовые базы KAIST Multispectral Pedestrian Dataset [23] и Litiv Dataset [24]. В базе KAIST Multispectral Pedestrian Dataset содержатся 12 наборов пар инфракрасных и визуальных изображений с разрешением 640×480, полученных в различных условиях освещения. При этом захват данных происходит из автомобиля.

Изображение на рисунке 4 взято из набора KAIST set07 V002.seq, данные которого получены в вечернее время суток, при этом в последовательности наблюдается относительно равномерное освещение. На рисунке 4а отражаются вечернее небо и городская улица с автомобилями и небоскребами. При этом наблюдаются как чрезмерно темные, так и яркие области в оптическом диапазоне.

Как можно заметить, предлагаемый алгоритм формирует достаточно качественное изображение (рис. 4д), на котором можно различать детали объектов, при этом не искажаются светлая область (небо) и естественные цвета сцены, как в случае с применением алгоритмов на основе технологии Retinex. Алгоритм α-blend снижает среднюю яркость изображения, но при этом позволяет лучше разглядеть часть объектов сцены (деревья, фрагменты автомобилей). В случае применения пред- лагаемого алгоритма без инвертирования инфракрасных данных можно наблюдать ряд артефактов в области неба, это связано с тем, что небо на LWIR-изображении (рис. 4б) имеет почти черный цвет.

На рисунке 5 показаны примеры обработки ночной сцены, полученной из набора KAIST set03 V000.seq. В данной последовательности наблюдаются значительная неравномерность освещения и наличие шумов. На изображении в оптическом спектре видна дорога с автомобилями, подсвеченная фарами. Инфракрасное изображение в основном темное, с небольшими яркими пятнами на месте впереди идущих пешеходов и автомобиля по ходу движения.

На основе анализа результатов обработки ночных сцен можно сделать заключение, что алгоритмы на основе технологии Retinex не только делают сцену более светлой, но и усиливают шум, возникающий в камерах при недостаточном уровне освещения. Изображение после обработки предлагаемым алгоритмом имеет некоторые шумовые искажения в области неба, но в целом комфортно для восприятия, к тому же только на нем четко видны деревья на обочине. Изображение после обработки предлагаемым алгоритмом без инвертирования не имеет видимых шумовых артефактов, более комфортно для восприятия, но на нем менее четко видны деревья на обочине. Результаты алгоритмов попиксельного слияния на основе среднеариф- метического и максимального значений, а также α-blend показывают наихудшие результаты с точки зрения визуального восприятия [22]. Это связано с очень низкой интенсивностью инфракрасного LWIR-изображения.

Улучшение результатов работы этих алгоритмов возможно в случае корректировки исходного LWIR-изображения, которая может быть основана на нормализации интенсивности или же расширении диапазона путем линейного контрастирования. Однако даже в таком случае наблюдаемая ночная сцена по визуальному качеству уступает предложенному алгоритму (рис. 6) [22]. Аналогичная ситуация характерна и для вечерней сцены, что можно наблюдать на рисунке 7 в работе [22]. Слияние по среднеарифметическому значению и алгоритм α-blend с α=0,6 для ночной сцены с учетом предварительной коррекции инфракрасного изображения дают результат, схожий с тем, что и предлагаемый алгоритм без выполнения инвертирования скорректированной яркости инфракрасного изображения.

Тестирование алгоритма при работе с инфракрасными изображениями NIR происходило с ис- пользованием тестовой базы IVRL – RGB-NIR Scene Dataset [25], в которой представлены 477 пар изображений, разделенных на 9 категорий.

В качестве демонстрационных примеров выбраны изображения из категории Street. Так, на рисунке 6 представлена естественная сцена с деревьями, снятая во время восхода, где наблюдается сильный засвет. В связи с особенностью съемки дерево, попадающее на линию света, выглядит очень темным, кусты на клумбе в тени почти не различимы. Инфракрасные данные NIR этой сцены (рис. 6б) позволяют оператору увидеть то, что было засвечено, а также разглядеть растительность (кусты на клумбе и деревья на заднем плане). Средняя яркость инфракрасного изображения в данном тестовом наборе ниже, чем у визуального RGB-изо­бражения.

Работа предлагаемого алгоритма в условиях, когда средняя яркость инфракрасного изображения выше, чем у визуального, продемонстрирована на рисунке 7 (набор Street № 25). На нем показана сцена, снятая в дневное время, при этом живая изгородь, расположенная в левой части, попадает в тень и плохо различима на визуальном изображении, но хорошо видна на инфракрасном. Также на визуальном изображении есть засвеченная область, фрагменты объектов в которой хорошо различимы в инфракрасном диапазоне.

Можно заметить (см рис. 6в, 7в, а также рис. 8 и 9 в [22]), что алгоритмы на основе технологии Retinex позволяют разглядеть все детали объектов, находящихся в тени, но они не способны исправить засвеченную область изображения, и при этом происходит искажение цветов. Так, алгоритм Retinex редактора GIMP нарушает естественность изображения в сторону снижения насыщенности цвета, изображение при этом выглядит блеклым. Модифицированный алгоритм MSR, наоборот, чрезмерно увеличивает насыщенность цветов.

Алгоритм, выполняющий слияние на основе максимального значения, значительно повышает визуальное качество в затененных областях, однако не может устранить засвет. Слияние с использованием модели HSI делает различимыми детали и при этом показывает, что было в засвеченной области. Однако у него проявляется недостаток в виде снижения уровня яркости в области с низкой насыщенностью (например, фрагмент засвеченного участка неба на рисунке 6) и растительность приобретает неестественный цветовой оттенок.

Слияние как на основе среднеарифметического значения, так и алгоритмом α-blend дает более естественную сцену, но объекты, попавшие в тень дерева (кустарник на клумбе), выглядят темнее по сравнению со слиянием на основе максимального значения. Предложенный алгоритм демонстрирует лучшее визуальное качество, он дает естественные цвета сцены и при этом в большей степени позволяет разглядеть объекты, попавшие в тень.

Принимая во внимание особенности инфракрасных изображений типа NIR, было решено про- верить возможности предлагаемого алгоритма по устранению эффекта дымки (Haze). Данный эф- фект возникает при наблюдении объектов на значительном расстоянии или же при наличии таких погодных явлений, как туман, мелкий дождь и т.п. В связи с этим данный эффект иногда называют эффектом тумана. Рассмотрим на примере набора Country № 01, представленного на рисунке 8 (рис. 12 в [22]), результаты работы различных алгоритмов.

В нижней части рисунка 8 изображены дере- венские дома на фоне зеленой растительности, в верхней части – небо с облаками, на заднем плане расположен горный рельеф, фактически неразличимый в видимом спектре, но отчетливо просматриваемый на инфракрасном изображении. Наиболее корректно это изображение улучшают предложенный алгоритм и алгоритм α-blend. Остальные результаты обработки обладают различными искажениями: тусклостью или перенасыщенностью цвета, размытостью или излишней резкостью границ объектов, что некомфортно для оператора. При этом алгоритмы на основе технологии Retinex не в состоянии сделать различимым рельеф гор на заднем плане.

В ходе экспериментального исследования было выявлено, что вне зависимости от типа инфракрасного изображения наибольшее повышение визуального качества достигается при значениях базовых коэффициентов KRGB=3, KIR=2 и пороговых значениях, определяющих темные и светлые участки изображения: TsD=80, TsL=210. Базовое значение коэффициента влияния насыщенности цвета и пороговое значение насыщенности цвета для LWIR-изображений: Tsat=0,3, KfBaseS=0,2. В случае использования инфракрасных изображений NIR пороговое значение Tsat рекомендуется брать в диапазоне от 0,4 до 0,7, а значение коэффициента KfBaseS – в диапазоне от 0,2 до 0,5.

Для выяснения, какой же тип инфракрасного изображения (LWIR или NIR) дает наилучший результат с точки зрения визуального качества, было выполнено сравнение на примере ночной сцены, отраженной на рисунке 1. Проанализировав результат (рис. 11 [22]), можно сделать вывод, что инфракрасные NIR-изображения дают более высокое визуальное качество. Это непосредственно связано с характеристиками инфракрасных изображений и особенностями их формирования.

На основании изложенного можно сделать следующие выводы. Инфракрасные камеры относительно недавно стали активно появляться на потребительском рынке. Поэтому возникла возможность задействовать их преимущества (ночная съемка, независимость от погодных условий, таких как туман и дым) наряду с преимуществами камер, работающих в визуальном спектре (высокие разрешения, позволяющие задействовать в анализе текстурные и цветовые характеристики объектов). Использование мультиспектральных изображений позволяет скомбинировать преимущества обоих типов камер, сделать захват изображения частично независимым от погодных условий и условий осве- щения. Представленный в данной работе адаптив- ный алгоритм попиксельного слияния входных визуальных и инфракрасных изображений продемонстрировал свою состоятельность. Алгоритм может работать как с инфракрасными снимками типа NIR, так и LWIR. Определенный в ходе экспериментального исследования набор параметров позволяет получать качественный результат вне зависимости от типа инфракрасного изображения. При обработке материала, отснятого в ночное время, удалось получить лучшие результаты по сравнению с алгоритмами на основе технологии Retinex и классическими алгоритмами слияния изображений.

Литература

1.     Зотин А.Г., Пахирка А.И., Буряченко В.В. Система видеонаблюдения c возможностью улучшения визуального качества видеопотока // Программные продукты и системы. 2013. № 2. С. 191–197.

2.     Petro A., Sbert C., Morel J.-M. Multiscale Retinex. Image Processing On Line. 2014, pp. 71–88.

3.     Chao An, Mei Yu. Fast color image enhancement based on fuzzy multiple-scale Retinex. Strategic Technology (IFOST). 6th Intern. Forum, Harbin, Heilongjiang. 2011, pp. 1065–1069.

4.     Зотин А.Г., Пахирка А.И. Адаптивный алгоритм шумоподавления в системах видеонаблюдения при низком уровне освещения сцены // Цифровая обработка сигналов и ее применение – DSPA 2016: сб. докл. 18-й Междунар. конф. М., 2016. Т. 2. С. 838–843.

5.     Rogalski A. Infrared Detectors. 2nd Edn. CRC Press, Taylor & Francis Group, Boca Raton, Florida, USA, 2011, 898 p.

6.     Zheng Y. An exploration of color fusion with multispectral images for night vision enhancement. 2011. URL: http://www.intechopen.com/books/image-fusion-and-its-applications/an-exploration-of-color-fusion-with-multispectral-images-for-night-vision-enhancement (дата обращения: 29.03.2016).

7.     Zin T., Takahashi H., Hiromitsu T. Fusion of Infrared and Visible Images for Robust Person Detection. Image Fusion, Osamu Ukimura (Ed.). 2011, pp. 239–264.

8.     Malviya A., Bhirud S.G. Image Fusion of Digital Images. Intern. Journ. of Recent Trends in Engineering. 2009, vol. 2, no. 3, pp. 146–148.

9.     Nikolakopoulos G.K. Comparison of nine fusion techniques for very high resolution data. Photogrammetric Engineering & Remote Sensing. 2008, vol. 74, no. 5, pp. 647–659.

10.   Khaleghi B., Khamis A., Karray F.O., Razavi S.N. Multisensor data fusion: A review of the state-of-the-art. Information Fusion. 2013, vol. 14, pp. 28–44.

11.   Al-Wassai F.A., Kalyankar N.V., Al-Zuky A.A. The IHS transformations based image fusion. Journ. of Global Research in Comp. Sc. 2011, vol. 2, no. 5, pp. 70–77.

12.   Wang Z., Deller J.R., Jr., Fleet B.D. Pixel-level multisensor image fusion based on matrix completion and robust principal component analysis. Journ. Electron. Imaging, 2015, vol. 25, no. 1. URL: http://electronicimaging.spiedigitallibrary.org/article.aspx?articleid=2482741 (дата обращения: 29.03.2016).

13.   Wang W., Chang F. A multi-focus image fusion method based on laplacian pyramid. Journ. of Computers. 2011, vol. 6, no. 12, pp. 2559–2566.

14.   Pajares G., Cruz J.M. A wavelet-based image fusion tutorial. Pattern Recognition. 2004, vol. 37, no. 9, pp. 1855–1872.

15.   Liu Y., Liu S., Wang Z. Multi-focus image fusion with dense SIFT. Information Fusion. 2015, vol. 23, pp. 139–155.

16.   Ehlers M., Tomowski D. On segment based image fusion. Springer Berlin Heidelberg. 2008, pp. 735–754.

17.   Gao L.-Q., Wang R., Yang S. An image fusion algorithm based on RBF neural networks. Machine Learning and Cybernetics. 2005, vol. 8, pp. 5194–5199.

18.   Zheng Y., Zheng P. Multisensor image fusion using fuzzy logic for surveillance systems. Fuzzy Systems and Knowledge Discovery (FSKD). 2010, pp. 588–592.

19.   Smaili C.C., Najjar M.E., Charpillet F. Multi-sensor fusion method using dynamic bayesian network for precise vehicle localization and road matching. Tools with Artificial Intelligence. 2007, pp. 146–151.

20.   Tomowski D., Ehlers M., Michel U., Bohmann G. Decision based data fusion techniques for settlement area detection from multisensor remote sensing data. 1st EARSeL Workshop of the SIG Urban Remote Sensing Humboldt-Universität zu Berlin. 2006, pp. 1–8.

21.   Малла С. Вейвлеты в обработке сигналов; [пер. с англ.]. М.: Мир, 2005. 672 с.

22.   Зотин А.Г., Пахирка А.И., Дамов М.В., Савчина Е.И. Улучшение визуального качества изображений на основе инфракрасных данных в системах видеонаблюдения // Програм- мные продукты, системы и алгоритмы. 2016. № 2. URL: http://swsys-web.ru/improved-visual-quality-of-images-in-video-surveillance-systems.html (дата обращения: 30.04.2016).

23.   KAIST Multispectral Pedestrian Dataset. URL: https://sites.google.com/site/pedestrianbenchmark/home (дата обращения: 29.03.2016).

24.   Litiv Dataset. URL: http://www.polymtl.ca/litiv/en/vid/ (дата обращения: 29.03.2016).

25.   IVRL – RGB-NIR Scene Dataset. URL: http://ivrl.epfl.ch/ supplementary_material/cvpr11/ (дата обращения: 29.03.2016).