Программные продукты и системы

В современных инфокоммуникационных системах, в том числе в автономных встраиваемых вычислительных устройствах, значительная доля выполняемых прикладных задач связана с обработкой, хранением и передачей информации в виде изображений. Изображения используются для исследований недоступных для человека мест при помощи различных устройств. Чаще всего они работают в автономном режиме, и человек не может контролировать качество получаемых при помощи таких устройств снимков. К автономным встраиваемым вычислительным устройствам, особенно к киберфизическим системам, предъявляются высокие требования по обеспечению безопасности и надежности реализации процессов обработки, хранения и передачи изображений [1–3].

Часто изображения, полученные с мобиль- ных киберфизических систем, не обладают нужным уровнем визуального качества, что отрицательно сказывается на достоверности и точности получаемой информации. На качество изображения могут повлиять различные факторы, такие как погодные условия, неисправность аппаратуры, освещенность объектов съемки и другие. Это затрудняет анализ изображений и принятие на его основе верных решений.

Улучшение изображений требуется при решении прикладных задач в медицине, геологоразведке, экологическом контроле, контроле состояния лесных массивов, безопасности и т.д. Одним из распространенных способов улучшения контраста цветного изображения является метод выравнивания гистограммы.

Целью автора данной работы является улучшение визуального качества цветных изображений в различных цветовых пространствах на основе алгоритмов эквализации.

Структура изображений и цветовых пространств

Цифровое изображение представляет собой прямоугольную матрицу, состоящую из фикси- рованного количества строк и столбцов элементов, которые называются пикселями (от англ. pix-el – picture element). В цветных изображениях пиксель может быть представлен одним или несколькими числовыми значениями, каждое из которых принадлежит логической структуре, называемой компонентой.

В качестве примера можно рассмотреть цветовое пространство RGB, основанное на трех основных (базовых) цветах. Каждый пиксель изображения, представленного в RGB-модели, хранит в себе одно значение для красного (Red), одно значение для зеленого (Green), одно значение для синего (Blue) цветов. Каждое значение представляется числом от 0 до 2N – 1, где N – количество битов, выделяемых для одного пикселя. Число битов, используемых для представления каждого пикселя, называется глубиной цвета. Для описания цвета пикселя в системе RGB обычно используют 3 байта, по 8 бит на один цвет. Каждое значение представляется числом в диапазоне от 0 до 255. Эти значения отображают интенсивность точек изображения. Зачастую 0 является самым малым (темным), а 255 – самым большим (светлым) значением интенсивности. При смешении основных цветов, например, синего (B) и красного (R), получается пурпурный цвет (M, magenta), при смешении зеленого (G) и красного (R) – желтый (Y, yellow), при смешении зеленого (G) и синего (B) – голубой (С, cyan). При смешении всех трех цветовых компонент получаем белый цвет (W, white) (рис. 1). Система RGB имеет неполный цветовой охват: некоторые насыщенные цвета не могут быть представлены смесью указанных трех компонент. В первую очередь, это цвета от зеленого до синего, включая все оттенки голубого. Несмотря на неполный охват, модель RGB широко используется в настоящее время и подходит для описания цветов, отображаемых мониторами, в первую очередь, в цветных телевизорах и дисплеях компьютеров.

RGB-пространство широко применяется в системах отображения, так как в подобных си- стемах для формирования цвета как раз и ис- пользуются три данные компоненты. Однако RGB имеет недостатки, когда речь заходит о реальных изображениях. Дело в том, что для сохранения цвета изображений необходимо знать и хранить все три компоненты RGB и потеря одной из них сильно исказит визуальное качество изображения. Также при обработке изображений в RGB-пространстве бывает не всегда удобно изменить только яркость отдельного пикселя, так как в этом случае необходимо будет прочитать все три значения компонент RGB, пересчитать их для желаемой яркости и записать обратно. По этим и другим причинам для передачи и хранения цветовой информации используется цветовое пространство YCbCr [4–6].

В соответствии с форматом YCbCr изображение также представляется с помощью трех компонент [7]. Используя следующие формулы, компоненты R, G и B преобразуются в яркостную (Y) и две цветоразностные (Cb и Cr) компоненты:

Y = 0.299R + 0.587G + 0.114B,

Cb = 0.5643(B – Y) + 128,

Cr = 0.7132(R – Y) + 128.

Обратное преобразование выполняется по формулам:

G = Y – 0.714(Cr – 128) – 0.344(Cb – 128),

R = Y + 1.402(Cr – 128),

B = Y + 1.772(Cb – 128).

Прямое и обратное преобразования выполняются с использованием арифметического округления, то есть преобразование форматов в общем случае является необратимым. Более того, в результате обратного преобразования возможен выход восстановленных значений R, G и B за границы исходного диапазона. В этом случае после восстановления необходимо выполнить операцию клиппирования (clipping):

где xmax – максимальное значение яркости; xmin – минимальное значение яркости; x – текущее значение яркости [4].

Преимущество пространства YCbCr по сравнению с RGB заключается в том, что Cb и Cr можно представлять с меньшим разрешением, чем Y, так как глаз человека менее чувствителен к цвету предметов, чем к их яркости. Это позволяет сократить объем информации, требуемый для представления хроматических компонент, без заметного ухудшения качества передачи цветовых оттенков изображения. Такой подход к преобразованию цветового пространства дает дополнительный эффект при сжатии цветных изображений. При этом алгоритмы сжатия сначала преобразуют исходное цветовое пространство из RGB в YCbCr, сжимают, а затем, при обратном восстановлении, преобразуют изображение в цветовое пространство RGB.

К сожалению, цветовые системы RGB, YCbCr и другие подобные плохо приспособлены для описания цветов таким образом, как это свойственно человеку [7]. При описании цвета человек не говорит о процентном содержании в нем каждого из основных цветов. Глядя на окрашенный объект, человек описывает его с помощью цвета (цветового тона), насыщенности и светлоты. Для такого способа представления цветового пространства была разработана модель HSV. В этой модели диагональ куба изображается в виде вертикальной оси яркости (V, Value). Тон (H, Hue) определяется как угол от 0 до 2p относительно оси красного цвета. Пастельные цвета располагаются в центре цветового пространства вблизи оси V, а глубокие – в периферийных областях шестигранного конуса. Насыщенность (S, Saturation) характеризует чистоту цвета (цветового тона). Значение 1 соответствует идеально чистому (насыщенному) цвету, а 0 – совершенно ненасыщенному цвету, то есть некоторому оттенку серого цвета (рис. 2).

С использованием следующих формул система RGB преобразуется в цветовое пространство HSV:

,

Cmax = max(R¢G¢B¢), Cmin = min(R¢G¢B¢),

D = Cmax – Cmin,

 V = Cmax.

Обратное преобразование выполняется по формулам:

0 £ H £ 360, 0 £ S £ 1, 0 £ V £ 1,

Система HSV удобна многим графическим дизайнерам, так как в ней обеспечивается непосредственный контроль яркости и тона. HSV лучше остальных цветовых пространств подходит для некоторых алгоритмов обработки изображений, поскольку в основе модели лежит естественное, интуитивно близкое человеку описание цвета.

Хотя цветовое пространство HSV и приспособлено для описания цветов, как это свойственно человеку, но оно не соответствует спектру, обозримому человеческим глазом. Самой близкой цветовой системой, соответствующей особенностям восприятия цвета глазом человека, является система Lab. В этом цветовом пространстве компонента a меняется от зеленого (–128) до пурпурного (127), а компонента b – от голубого (–128) до желтого (127). Отрицательные значения a и b компонент содержат холодные цвета, положительные – теплые. Ось L (Luminance) определяет ос- вещенность и принимает значения от 0 до 100 (рис. 3).

Для перевода системы RGB в пространст- во Lab используется промежуточное пространство XYZ. Компоненты RGB преобразуются в компоненты XYZ по следующим формулам:

Затем XYZ переводится в Lab по формулам:

Обратное преобразование выполняется в обратной последовательности. Компоненты Lab преобразуются в XYZ по формулам:

Далее XYZ переводится в RGB:

В результате обратного преобразования возможен выход восстановленных значений R, G и B за границы исходного диапазона. В этом случае выполняется операция клиппирования, описанная ранее.

Пространство Lab обладает самым широким цветовым спектром из всех моделей. Поэтому данная цветовая схема применяется в ПО для обработки изображений в качестве промежуточного цветового пространства, через которое конвертируются данные между другими цветовыми пространствами. При этом особые свойства Lab сделали редактирование в этом пространстве мощным инструментом цветокоррекции.

Улучшения визуального восприятия изображения

Используя яркостную компоненту (Y), изображение можно представить в виде гистограммы. Гистограмма изображения отражает его свойства и статистические особенности, а также может использоваться для оценки распределения данного изображения.

По виду гистограмм изображений с нарушением контрастности можно выделить следующие типы изображений [7], не обладающие необходимым уровнем качества визуального восприятия: темные, яркие, низкоконтрастные, высококонтрастные.

Качество изображения можно изменить при помощи алгоритмов эквализации.

Эквализация гистограмм распределения яркостей – это некоторое преобразование, целью которого является приближение гистограммы выходного изображения к равномерному распределению [5, 6].

Существует множество методов для улучшения визуального восприятия изображений с нарушением контраста. Одни алгоритмы на­правлены на устранение одного из типов искажения и менее приспособлены к обработке других типов, другие могут решать множество проблем, но уступают предыдущим в качестве обработки определенного типа искажения. Есть алгоритмы, которые при обработке учитывают положение объектов на изображении. Существуют методы, использующие при обработке только гистограмму [8]. Были выбраны современные и распространенные методы эквализации, основанные на различных подходах. В данной работе использованы следующие алгоритмы:

-     локальная коррекция цвета (Local Color Correction, LCC) [9];

-     выравнивание гистограмм (Histogram Equalization, HE) [5, 6];

-     адаптивная эквализация гистограммы c ограничением (Contrast Limited Adaptive Histogram Equalization, CLAHE) [10, 11];

-     динамическое выравнивание гистограмм (Dynamic Histogram Equalization for Image Contrast Enhancement, DHE) [12];

-     рекурсивное выравнивание поддиапазонов гистограммы на основе выдержки (Recursive exposure based sub-image histogram equalization, R-ESIHE) [13, 14];

-       динамическое выравнивание гистограмм по квадрантам (Quadrants Dynamic Histogram Equalization for Contrast Enhancement, QDHE) [15].

Описание проведения исследования

Для оценки качества изображений были рассмотрены различные метрики. Но оценка результатов, обработанных алгоритмами эквализации, не совпадает с визуальной оценкой человека. Это обусловлено тем, что некоторые алгоритмы оценки изображений оценивают искаженное изображение, опираясь на оригинальный вариант. В данной работе использовались реальные испорченные снимки и получить оригинал не представлялось возможным. Также на изображениях с реалистичными искажениями присутствовала большая доля шумов, затрудняющих оценку многих метрик. В связи с указанными факторами оценка результатов проводилась при помощи визуальной оценки человеком.

Для составления визуальной оценки изображений был проведен опрос среди 30 магистрантов, обучающихся в университете. Экспертам было предоставлено 24 изображения, каждое в девятнадцати вариантах – исходное изображение и результаты обработки каждым из алгоритмов в каждом из цветовых пространств. Респонденты, основываясь на цветопередаче, должны были расставить обработанные изображения в порядке убывания так, чтобы на первом месте стояло изображение с наилучшим цветовым охватом.

Результаты оценки обработки алгоритмов эквализации в различных цветовых пространствах

При анализе исходных и обработанных изображений в разных цветовых пространствах была выявлена зависимость представ- ления цвета от типов искажения и цветовых схем.

В цветовом пространстве Lab черно-белая гамма получается при нулевых значениях координат a и b, а изменение параметра L не влияет на насыщенность и тон цвета. При рассмотрении темных изображений после конвертации затемненных пикселей в данную цветовую схему цветоразностные компоненты a и b принимают значения, стремящиеся к нулю. Это объясняется тем, что объекты с данным типом искажения не обладают необходимым количеством информации о цвете для их корректного отображения в рассматриваемой системе. При рассмотрении ярких изображений после перевода засвеченных пикселей компоненты a и b принимают значения, отличные от нуля, и при эквализации сохраняют свою цветовую гамму.

В цветовой схеме YCbCr компоненты Cb и Cr определяют цвет пикселя, а  – его яркость. В данном пространстве оттенки серого получаются при значениях координат Cb и Cr, равных 128. При исследовании темных и ярких изображений было выявлено, что после конвертации затемненных и засвеченных пикселей изображения из системы RGB в YCbCr происходит схожая ситуация, как и с переводом из системы RGB в Lab. Затемненные пиксели не обладают необходимым количеством информации об их цвете. Поэтому после перевода они приобретают цвета, близкие к оттенкам серого. Цветоразностные компоненты засвеченных пикселей содержат больше информации, поэтому после конвертации в пространство YCbCr цвета сохраняются.

В цветовом пространстве HSV информацию о тоне содержит компонента H, о насыщенности – компонента S, яркости – компонента V. Особенность этого пространства заключается в том, что регулировка яркостной компоненты не влияет на показатель насыщенности. За формирование темных цветов отвечает только яркостная компонента V, то есть цвет, представляемый в этой системе, может быть одновременно и темным, и насыщенным. После преобразования компонент R, G, B в данную цветовую схему затемненные пиксели со- держат высокий показатель насыщенности и низкое значение яркости. После процесса эквализации яркость затемненных областей изображения выравнивается, что приводит к улучшению цветопередачи. Однако после конвертации пиксели низкоконтрастных изображений имеют средний показатель насыщенности. Выравнивание показателя яркости пикселей с таким искажением повысит контраст, но не приведет к увеличению глубины цвета.

В результате работы для улучшения цветопередачи к каждому классу искаженных цветных изображений было подобрано наиболее подходящее цветовое пространство. Для обработки высококонтрастных изображений лучше всего подходит цветовое пространство HSV, для низкоконтрастных – цветовая схема Lab, для ярких – система YCbCr, для темных изображений – пространство HSV.

Литература

1.    Богатырев В.А., Богатырев А.В. Функциональная надежность систем реального времени // Науч.-технич. вестн. ИТМО. 2013. № 4. С. 150–151.

2.    Богатырев В.А., Богатырев С.В. Своевременность обслуживания в многоуровневых кластерных системах с поэтапным уничтожением просроченных запросов // Вестн. комп. и информ. технологий. 2018. № 2. С. 28–35. DOI: 10.14489/vkit.2018.02.pp.028-035.

3.    Богатырев В.А., Богатырев С.В. Критерии оптимальности многоустойчивых отказоустойчивых компьютерных систем // Науч.-технич. вестн. ИТМО. 2009. № 5. С. 92–98.

4.    Гильмутдинов М.Р., Веселов А.И. Цифровая обработка изображений. СПб: Изд-во ГУАП, 2013. С. 9–10.

5.    Гонсалес Р., Вудс Р. Цифровая обработка изображений. М.: Техносфера, 2005. 1072 с.

6.    Шапиро Л. Компьютерное зрение. М.: БИНОМ–Лаборатория знаний, 2006. 753 с.

7.    Фисенко Т.Ю., Фисенко В.Т. Компьютерная обработка и распознавание изображений. СПб: СПбГУ ИТМО, 2008. 192 с.

8.    Гомон Ю.Б. Методы улучшения качества изображений. СПб, 2014. 35 с.

9.    Moroney Nathan. Local Color Correction Using Non-Linear Masking. Proc. IS&T/SID 8th Color Imaging Conf., 2000, pp. 108–111.

10. Pizer Stephen M., Amburn E. Philip. Adaptive Histogram Equalization and its Variation. Computer vision, graphics, and image processing. 1987, vol. 39, pp. 355–368.

11. Спижевой А.С., Оголихина А.И., Бовырин А.В. Автоматическое оценивание возраста человека с использованием адаптивного выравнивания яркости и биологически обусловленных признаков // Вестн. Нижегородского ун-та им. Н.И. Лобачевского. 2014. № 1. С. 273–279.

12. Abdullah-Al-Wadud M., Kabir M.H., Ali Akber Dewan M., Oksam Chae. A dynamic histogram equalization for image contrast enhancement. IEEE Trans. Consumer Electron. 2007, no. 53, pp. 593–600.

13. Chen S.D., Ramli A.R. Contrast enhancement using recursive mean-separate histogram equalization for scalable brightness preservation, IEEE Trans. Consumer Electron. 2003, vol. 49, pp. 1301–1309.

14.     Singh K., Kapoor R., Sanjeev Kr. Sinha. Enhancement of low exposure images via recursive histogram equalization algorithms. Optik, 2015, vol. 126, iss. 20, pp. 2619–2625. DOI: 10.1016/j.ijleo.2015.06.060.

15. Ooi C.H., Isa N.A.M. Quadrants dynamic histogram equalization for contrast enhancement. IEEE Trans. Consumer Electron, 2010, no. 56, pp. 2552–2559.

References

1. Bogatyrev V.A., Bogatyrev A.V. Functional reliability of real-time systems. Sci. and Tech. J. of Information Technologies, Mechanics and Optics. 2013, no. 4, pp. 150–151 (in Russ.).
2. Bogatyrev V.A., Bogatyrev S.V. Timeliness of service in a multi-tier clustered systems with the phased destruction overdue requests. Herald of Computer and Information Technologies. 2018, no. 2, pp. 28–35. DOI: 10.14489/vkit.2018.02.pp.028-035 (in Russ.).
3. Bogatyrev V.A., Bogatyrev S.V. Optimality criteria for multi-fault tolerant computer systems. Sci. and Tech. J. of Information Technologies, Mechanics and Optics. 2009, no. 5, pp. 92–98 (in Russ.).
4. Gilmutdinov M.R., Veselov A.I. Digital Image Processing. St. Petersburg, GUAP Publ., 2013,
   pp. 9–10.
5. Gonzalez R.C., Woods R.E. Digital Image Processing. Addison-Wesley Publ., 3rd ed., 1992, 716 p. (Russ. ed.: Moscow, Tekhnosfera Publ., 2005, 1072 p.).
6. Shapiro L. Computer Vision. Moscow, BINOM. Laboratoriya znaniy Publ., 2006, 753 p.
7. Fisenko T.Yu., Fisenko V.T. Computer Processing and Image Recognition. St. Petersburg, SPbGU ITMO Publ., 2008, 192 p.
8. Gomon Yu.B. Image Enhancement Methods. St. Peterburg, 2014, 35 p.
9. Moroney Nathan. Local color correction using non-linear masking. Proc. IS&T/SID Eighth Color Imaging Conf. 2000, pp. 108–111.
10. Pizer S.M., Amburn E.Ph. Adaptive histogram equalization and its variation. Computer Vision, Graphics, and Image Processing. 1987, vol. 39, pp. 355–368.
11. Spizhevoy A.S., Ogolikhina A.I., Bovyrin A.V. Automatic estimation of human age using adaptive alignment of brightness and biologically determined signs. Vestn. of Lobachevsky Univ. of Nizhni Novgorod. 2014, no. 1, pp. 273–279 (in Russ.).
12. Abdullah-Al-Wadud M., et al. A dynamic histogram equalization for image contrast enhancement. IEEE Trans. Consumer Electron. 2007, no. 53, pp. 593–600.
13. Chen S.D., Ramli A.R. Contrast enhancement using recursive mean-separate histogram equalization for scalable brightness preservation. IEEE Trans. Consumer Electron. 2003, no. 49, pp. 1301–1309.
14. Singh K., Kapoor R., Sanjeev Kr. Sinha. Enhancement of low exposure images via recursive histogram equalization algorithms. Optik, 2015, vol. 126, iss. 20, pp. 2619–2625. DOI: 10.1016/j.ijleo.2015.06.060.
15. Ooi C.H., Isa N.A.M. Quadrants dynamic histogram equalization for contrast enhancement. IEEE Trans. Consumer Electron. 2010, no. 56, pp. 2552–2559.