Software & Systems

Повышение эффективности сельского хозяйства в условиях его комплексной модернизации требует, в частности, эффективных средств мониторинга. В представленной работе предлагается создать программную систему формирования цветовой модели растений различных видов для диагностики их состояния по данным видео- и фотосъемки.

Разработка программной системы, эффективно решающей задачу мониторинга состояния высших растений, а также задачи диагностики воздействия внешних негативных факторов на их развитие, входит в круг задач, поставленных в «Концепции развития государственного мониторинга земель сельскохозяйственного назначения…».

Разработка и применение такой системы является актуальным направлением в науке, так как она может использоваться как составная часть биотехнологической системы жизнеобеспечения космической станции планетарного типа (планируется апробация готовой разработки в Институте биофизики СО РАН). Кроме того, создание подобной системы упростит процедуру мониторинга труднодоступных сельскохозяйственных угодий.

Цель работы – повысить эффективность обнаружения воздействия внешних деструктивных факторов на высшие растения.

Данные видеорегистратора были получены при функционировании лабораторной установки в режиме удаленного мониторинга.

Разработка алгоритмов обработки видео- и статических изображений проводится в Сибирском государственном аэрокосмическом университете в лаборатории цифровой обработки изображений [1, 2]. В университете также разрабатываются модели по оценке системного воздействия деструктивных факторов [3].

Основной особенностью задачи является автоматизация обнаружения признаков воздействия деструктивных факторов, которые могут выражаться в изменении цветовых характеристик листа или в появлении нарушений пигментации и структуры листа. Для автоматизации процесса мониторинга растений необходима разработка ПО, которое позволило бы учесть такие нарушения. Поскольку указанные признаки выражаются в видимых изменениях, целесообразно использовать обработку на основе анализа цветовых параметров. Однако следует принять во внимание, что в зависимости от цветовой модели цветовые характеристики растений могут иметь всевозможные представления в различных цветовых пространствах, что может сказаться на качестве процесса локализации. В работе [4] рассматривается использование признаков, сформированных на основе цветовых моделей RGB и HSI, в случае модели HSI авторы берут значения оттенка и насыщенности.

Для решения задачи нахождения и локализации регионов, содержащих фрагменты растения, предлагается использовать модифицированную пороговую сегментацию на основе цветовых моделей RGB, CMYK, HSL, HSV, TSL, YUV, YIQ, YCrCb, CIE XYZ, CIE LMS, CIE Lab, CIE Luv, Hunter Lab. Данный процесс сегментации (рис. 1) заключается в формировании маски для объектов интереса и расчета следующих параметров: пространственные показатели, количество дырок внутри области, их размерность и пропорция относительно области, пространственные параметры граничных областей.

Пороговая сегментация, в которой одновременно используется множество цветовых моделей, требует значительных вычислительных ресурсов. В связи с этим для повышения ее быстродействия предлагается выполнить предварительный анализ в пространстве RGB. После считывания параметров сегментации и получения изображения делается предварительный анализ с использованием некоторых эвристик, что позволит сразу отбросить пиксели, заведомо не относящиеся к растениям, и тем самым значительно сократить области обработки. Фактически можно исключить из рассмотрения области с ярко выраженными компонентами, отражающими синий, черный, ярко-красный, голубой и некоторые другие цвета.

После предварительного анализа формируется область обработки, представляющая собой прямоугольную область меньшего размера, в которой и будет выполняться основной этап сегментации. В ходе сегментации и в процессе формирования цветовых моделей для растений и возможных дефектов используются нормированные значения относительно нуля [Svn]. Такие значения рассчитываются по формуле Svn=Sv–Svmin, где Sv – элемент выборки; Svmin – нижняя граница цветового канала.

Процесс сегментации предлагается осуществлять в форме попиксельной обработки, где для каждого пикселя изображения будут выполняться четыре основных шага.

Шаг 1. Расчет нормализованного отклонения для каждого канала цветовых моделей. Для обрабатываемого пикселя по каналу [i] вычисляется значение отклонения в нормализованной форме [Cvli] на основании значения канала соответствующей цветовой модели [Svi] и соответствующего ядра диапазона сегментации [Bvi] заданной цветовой модели. Расчет выполняется по формуле

.

Шаг 2. Расчет внешних отклонений [Voi] с учетом коэффициента влияния для каждого канала [Kvi]. Расчет проводится в зависимости от установленного отклонения от ядра диапазона сегментации для данного канала [Tdi] по формуле

Шаг 3. Расчет общего значения внешнего отклонения. В результате получаем значение, на основе которого в дальнейшем можно оценить, насколько обрабатываемый пиксель отличается от заданной модели растения или дефекта. Вычисление общего значения внешнего отклонения [Zop] производится с учетом глобального распределения коэффициентов влияния для всех каналов используемых цветовых моделей по формуле

.

Шаг 4. Классификация пикселя и запись значения в маску. Классификация проводится путем пороговой обработки: если общее значение внешнего отклонения превышает порог, в маске помечаем присутствие объекта интереса, в противном случае – его отсутствие.

Для уменьшения возможности ложного срабатывания необходимо провести постобработку на основе морфологической фильтрации. Для операции расширения выбрана маска в форме креста размерностью 5×5, а для операции сужения – в форме квадрата 3×3.

Поскольку для сегментации используется метод на основе порогов, для более точной сегментации необходимо правильно подстроить пороговые значения для каждого канала цветовых моделей. Такая подстройка необходима и в связи с тем, что каждое техническое средство, которое предполагается использовать в системе (цифровая камера или фотоаппарат), имеет свои технические возможности получения данных.

Для исследования был разработан опытный программный продукт, позволяющий получать параметры в различных цветовых пространствах и проводить сегментацию. Общая схема его функционирования представлена на рисунке 2, а интерфейс – на рисунке 3.

При реализации системы следует учитывать особенности съемки и проведения экспериментов, которые заключаются в том, что в зависимости от вращения вентилятора на анализируемой поверхности появляются тени, осложняющие процесс локализации и выделения растений, также возможно искажение формы растений. Для повышения точности анализа (сегментации и локализации растений и их возможных повреждений) предлагается использовать предварительную обработку, в качестве которой возможно применение временной цветовой коррекции с изменением локальной контрастности, что позволит в дальнейшем более четко выделить объекты интереса.

Настройка параметров сегментации выполняется на основе обучающей выборки, состоящей из набора изображений, полученных с камеры, для которой производится настройка. Выбор значений для формирования обучающей и тестовой выборок происходит в областях, где присутствуют только образцы растений (эти области задает оператор-эксперт). Для выполнения подстройки параметров сегментации необходимо задать максимальную и минимальную величины отклонения для диапазона цветового канала и отклонения от ядра сегментации и максимальную плотность граничных значений. Кроме того, при формировании характеристических моделей растения можно задавать диапазоны усиления и ослабления коэффициентов, оказывающих влияние на процесс сегментации.

Для повышения быстродействия анализа предлагается наложить на изображение поисковую сетку. Несмотря на то, что само формирование сетки в виде разбиения на сегменты не влияет на процесс сегментации, оно позволит ускорить процесс анализа путем учета сегментов, которые не нужно обрабатывать.

После формирования поисковой сетки (разбиения на сегменты) проводится сегментация для локализации области растений с применением одних параметров модели и для локализации возможных повреждений с использованием иной модели. По завершении сегментации выполняется сопоставление ее результатов, в ходе которого формируется маска.

Следующий шаг работы системы – посегментный анализ маски сопоставления и маркировка объектов. На данном этапе для секторов, соседи которых имеют покрытие более 99 %, и для текущего сектора характерно полное покрытие, из области маски выбираются кандидаты для тестовой базы, необходимые для более точной подстройки цветовой модели, а также производится маркировка найденных объектов.

С целью принятия решения или формирования рекомендаций в соответствии с установленными правилами проводится анализ объектов. По результатам классификации также выбираются данные для корректировки цветовой модели и для непосредственного формирования обучающей выборки.

Для оценки работоспособности метода использовались данные эксперимента над растениями листовой капусты, проведенного в Институте биофизики СО РАН (г. Красноярск) весной 2011 года. Растения листовой капусты сорта Бансэй Маруба были выращены в условиях полной светокультуры на вегетационной установке закрытого типа, представляющей собой камеру из нержавеющей стали с люком в одной из стен для доступа к растениям и потолком из оргстекла. Освещение производилось лампами накаливания ДРФ-1000 и ДРЛ-1000 (в комбинации), расположенными снаружи над потолком, на котором находился слой проточной воды, обеспечивающий отъем избыточной тепловой радиации. Терморегуляция в камере осуществлялась при помощи системы автоматически включаемых нагревателей и водяного охлаждения внешних стен камеры. Для равномерного распределения температурного и влажностного режимов внутри камеры был установлен вентилятор. Освещенность в камере составляла порядка 100 Вт/м2 ФАР, температура воздуха на протяжении всего эксперимента поддерживалась на уровне +24±1 °С, влажность воздуха составляла около 70 %. Растения выращивали в двух раздельных вегетационных сосудах на биологическом субстрате, подготовленном по методике Н.С. Мануковского [5], полив осуществлялся автоматически насосами из специальных емкостей внутри камеры один раз в сутки. Концентрация кислорода была атмосферная, камеру не герметизировали.

Когда возраст растений достиг 21 суток, один из вегетационных сосудов с растениями был отключен от системы полива с целью создания стрессовых условий водного дефицита.

В ходе выполнения эксперимента получены видеозаписи длительностью около минуты с интервалом в полчаса. С каждой для анализа отобрано по два изображения. Анализ более 200 изображений, полученных в эксперименте на точность локализации растений, показал, что наибольшее влияние на качество сегментации оказывают каналы цветовых моделей, выражающие оттенок (H HSV H HLS T TSL), а также хроматические каналы моделей CIE LAB, CIE LUV и Hunter LAB и др. Для выполнения оценки по сформированной модели для каждого канала рассчитывался показатель точности локализации при заведомо малом диапазоне отклонений (до 15 %). Данный показатель находится в диапазоне 98,5–99,3 % для канала H и 94,7–95,6 % для канала T. Неплохой показатель демонстрируют хроматические компоненты моделей CIE LAB, CIE LUV YCrCb YIQ и др., для них он находится в диапазоне 82,5–95,8 %, однако для яркостных компонент моделей YUV, YIQ, YCrCb, TSL и др. он имеет значение око- ло 53 %.

При рассмотрении качества пороговой сегментации для локализации растений в классическом виде с использованием цветовой модели RGB была получена точность локализации порядка 67 %. В случае применения для сегментации цветовой модели HLS точность локализации составила около 83 %. При использовании предложенного метода сегментации с адекватно выбранными параметрами точность локализации находилась в диапазоне от 85 до 92 %. Следует отметить, что при проведении оценки точности локализации использовался небольшой диапазон возможных значений. Это сделано для того, чтобы проверить эффективность предложенного метода. В процессе практического использования можно подобрать верхние и нижние границы отклонений для каждого канала по всем цветовым моделям, что позволит значительно повысить качество.

Подытоживая, отметим, что разработанный алгоритм анализа фото- и видеоданных с эффективностью распознавания выше, чем у существующих алгоритмов, имеет и прикладное, и теоретическое значение. Авторами статьи предложен метод увеличения скорости обработки данных за счет предварительного анализа. Разработана методика автоматизации анализа данных на основе цветовых моделей, предоставляющая возможность формирования управляющих сигналов для лабораторного стенда. Это может использоваться, к примеру, в интеллектуальных системах управления режимом полива растений.

Литература

1.     Дамов М.В., Зотин А.Г. Построение изображения сцены совмещением последовательных кадров // Вестн. СибГАУ им. акад. М.Ф. Решетнева; [под. общ. ред. Г.П. Белякова]; 2010. Вып. 5(31). C. 212–216.

2.     Фаворская М.Н., Зотин А.Г., Пахирка А.И. Метод улучшения цветных изображений на основе выравнивания спектральных диапазонов и коррекции контрастности. URL: http://tvcs2011.technicalvision.ru/ (дата обращения: 29.09.2011).

3.     Золотарев В.В., Данилова Е.А. О применении факторного анализа в задачах оценки защищенности автоматизированных систем  // Вестн. СибГАУ им. акад. М.Ф. Решетнева: сб. науч. тр.; [под. общ. ред. Г.П. Белякова]; 2010. Вып. 3 (29). С. 60–64.

4.     Zheng L., Zhang J., Wang Q. Mean-shift-based color segmentation of images containing green vegetation, Computers and Electronics in Agriculture. 2009. № 65 (1), pp. 93–98.

5.     Manukovsky N.S. [et al.]. Waste Bioregeneration in Life Support CES: Development of Soil Organic Substrate // Adv. Space Res. 1997. Vol. 20, pp. 1827–1832.