ISSN 0236-235X (P)
ISSN 2311-2735 (E)

Journal influence

Higher Attestation Commission (VAK) - К1 quartile
Russian Science Citation Index (RSCI)

Bookmark

Next issue

2
Publication date:
16 June 2024

Computer vision system software for assessment of firing process

The article was published in issue no. № 2, 2013 [ pp. 257-262 ]
Abstract:The article describes computer vision system software for assessment of firing process in rotary cement kilns. The software implements a specially developed method of firing process image recognition allowing real-time automatic as-sessment of the firing process in three parameters: dust, condition of the material and condition of the torch. Recognition method includes the image pre-processing with the texture features matrix construction for image areas; an image partition with a self-organizing map construction; informative features vectors formation on found segments; finding the vector of fir-ing process assessments on the basis of an informative features vector classification using a three-layered neural network learning with the extreme learning machine, with one layer hidden. The software package includes images database and four interactive forms: the form of the operator, the form of program settings, the form of images history and the form of the im-age recognition algorithm settings. The software package is being tested at the kiln CJSC «Oskoltsement» (Stary Oskol). The application of computer vision system software will improve the kiln operators work efficiency, provide the on-line monitor-ing and control of the firing process, include the process visual assessments in the kiln general control system.
Аннотация:В статье рассматривается программный комплекс системы технического зрения для оценки состояния процесса обжига во вращающихся цементных печах. ПО реализует специально разработанный способ распознавания изображений процесса обжига, позволяющий в режиме реального времени автоматически оценивать состояние процесса обжига по трем параметрам: запыленность, состояние материала и состояние факела. Способ распознавания включает в себя предобработку изображения с построением матрицы текстурных характеристик для областей изображения, сегментацию областей изображения с построением самоорганизующейся карты, формирование на найденных сегментах векторов информативных признаков, нахождение вектора оценок процесса обжига на основе классификации вектора информативных признаков с применением трехслойной нейронной сети с одним скрытым слоем, обучаемой с помощью метода экстремального обучения (Extreme Learning Machine). В состав программного комплекса входят БД изображений и четыре интерактивные формы: оператора, настройки программы, работы с архивом изображений и настройки алгоритма распознавания изображений. Программный комплекс проходит испытания на вращающейся печи ЗАО «Осколцемент» (г. Старый Оскол). Применение программного комплекса системы технического зрения позволит повысить эффективность работы операторов печи, обеспечить оперативный и объективный визуальный контроль за процессом обжига, включить визуальную оценку процесса в систему управления всей печью.
Authors: (yuddim@yandex.ru) - , Russia, (valerymag@nm.ru) - , Russia, Ph.D
Keywords: extreme learning machine, self-organizing map, firing process, computer vision system
Page views: 6267
Print version
Full issue in PDF (7.68Mb)
Download the cover in PDF (1.35Мб)

Font size:       Font:

При управлении вращающейся цементной печью важной задачей является обеспечение стабильного качества конечного продукта [1]. Температурный режим и процессы, протекающие в зоне спекания, являются одними из ключевых факторов при обжиге цементного клинкера. На вращающихся цементных печах мокрого способа производства оператор осуществляет субъективное визуальное наблюдение протекающих при обжиге процессов, что косвенно дает ему представление о температурных режимах внутри печи. Для автоматизации сбора визуальной информации о процессе обжига могут применяться отечественные системы промышленного телевидения [2], которые, однако, не позволяют автоматически оценивать процесс обжига. Оценку температурного поля на основе изображений от инфракрасного тепловизора обеспечивают зарубежные системы [3], но высокая стоимость и низкая разрешающая способность тепловизоров, а также сильные погрешности измерения температур из-за пыли требуют создания более надежных и дешевых систем. В соответствии с данными опросов операторов печей результатом распознавания изображения процесса обжига являются три основных выходных образа (оценки): запыленность, состояние материала, состояние факела. Каждый из этих образов важен для принятия оператором решения по управлению печью.

В зарубежной печати с 1991 года публикуются материалы о методах распознавания изображений при обжиге в различных отраслях промышленности. Достаточно подробный обзор дается в [4, 5]. Научные публикации по данной проблематике на русском языке только начинают появляться [6, 7]. Задача нахождения по изображению оценок процесса обжига во вращающейся цементной печи ранее не решалась и требует разработки специального метода распознавания и создания программного комплекса системы технического зрения, пригодного для работы в реальных промышленных условиях и интегрированного в систему автоматизации всей вращающейся печи.

Программный комплекс системы технического зрения для оценки состояния процесса обжига должен обеспечивать захват и обработку высококачественных изображений процесса с разрешением 1600×1200 пикселей, получаемых IP-каме­рой, и автоматическую оценку состояния процесса обжига в реальном времени (каждые 5 секунд), удобный визуальный интерфейс ПО, возможность обучения системы оператором, интеграцию ПО с системой управления печью.

Для автоматической оценки состояния процесса обжига во вращающейся печи требуется разработка способа распознавания изображений, который формально представляет собой задачу построения алгоритма A: f→Y, где f – двухмерная функция яркости, вычисленная на основе цветного изображения процесса обжига; Y – вектор выходных образов (оценок), составляющими которого являются запыленность Y1, состояние материала Y2, состояние факела Y3.

Каждая из составляющих вектора Y кодируется целыми числами: оценка Y1 может принимать значения «нормальный режим» (0), «печь пылит» (1), «сильная запыленность» (2); Y2 – «материал перегрет» (0), «нормальный режим» (1), «материал слабо подготовлен» (2), «брак» (3), «сход обмазки» (4); Y3 – «факел короткий (жесткий)» (0), «факел длинный» (1), «факел мягкий (в работе лопатки завихрения)» (2).

Для решения поставленной задачи разработан программный комплекс системы технического зрения для оценки состояния процесса обжига во вращающихся цементных печах, упрощенная структура которого представлена на рисунке 1.

В модуле «Форма оператора» осуществляется отображение видеопотока изображений процесса от промышленной IP-камеры AV2110; возможны настройка IP-адреса камеры, изменение размера изображения, настройка автоэкспозиции при съемке; обеспечен вывод на экран информации с датчика температуры в защитном термокожухе камеры с сигнализацией превышения порогового значения в +50 °С; обеспечены отображение оценок выходных образов, возможность обучения системы за счет изменения оценок выходных образов оператором, сохранение изображений, оценок процесса, температуры в термокожухе в БД. Из «Формы оператора» осуществляется переход на «Форму работы с архивом» и «Форму настройки программы».

Модуль «Форма настройки программы» позволяет задавать пути к БД программного комплекса и к сохраненным изображениям, интервал обработки изображений, а также настраивать размер изображения и автоэкспозицию.

Модуль «Форма работы с архивом» обеспечивает вывод на форму изображения процесса, сохраненного в заданную дату и время, отображение оценок выходных образов и температуры в заданную дату и время, интерактивный выбор и отображение даты и времени сохранения изобра- жения, возможности пошагового просмотра изображений, обучения системы за счет изменения оценок выходных образов оператором и выбора изображений для обучения системы, отображение текущей температуры в термокожухе и сигнализация о перегреве камеры, сохранение изображений, оценок выходных образов, температуры в БД, переход на форму настройки алгоритма распознавания.

В модуле «Форма настройки алгоритма распознавания» предусмотрена возможность выбора произвольного изображения из файла, реализована сегментация изображения с помощью самоорганизующейся карты (SOM) или метода k-сред­них, обеспечена возможность разметки самоорганизующейся карты как вручную, так и автоматически с помощью шаблона или метода k-средних, обеспечены изменение, сохранение и загрузка настроек SOM, осуществляется задание размера области изображения, обеспечены выбор текстурных характеристик областей изображения, возможность вычисления признаков на изображении и соответствующих им образов, возможность обучения классификатора на сохраненных в БД примерах изображений.

Разработанный программный комплекс позволяет учесть специфику и требования, предъявляемые цементной промышленностью. Он обеспечивает автоматическую визуальную оценку в реальном времени процесса обжига с применением специального способа распознавания изображений и возможность интеграции с системой управления печью за счет ведения БД изображений и их оценок. Предусмотрена возможность работы программного комплекса в режиме тренажера, когда необходимо научить нового оператора печи оценивать состояние процесса обжига по изображению на мониторе.

В статье предлагается способ распознавания изображений процесса обжига во вращающейся цементной печи (рис. 2), основанный

–      на предобработке изображения c двухмер­ной функцией яркости f с построением матрицы X текстурных характеристик для областей изображения: f→X;

–      на сегментации областей изображения с построением SOM: X → S, где каждой строке матрицы X (матрица текстурных характеристик областей изображения) сопоставлена составляющая вектора S, соответствующая номеру сегмента (подробнее способ сегментации рассмотрен в [6]);

–      на формировании в найденных сегментах векторов информативных признаков, заключающемся в нахождении на основе матрицы текстурных характеристик X и вектора сегментов S вектора информативных признаков P: {X, S}→P;

–      на формировании вектора оценок Y процесса обжига на основе классификации вектора признаков P: P→Y с применением трехслойной нейронной сети с одним скрытым слоем (SLFN), обучаемой с помощью современного метода ELM (Extreme Learning Machines – метода экстремального обучения) [7].

На основе векторов текстурных характеПодпись:  Рис. 2. Описание способа распознавания изображенияристик осуществляется сегментация [8] изображения на сегменты «факел» S1, «материал» S2, «футеровка» S3, «корпус и горелка печи» S4 с построением SOM Кохонена, при этом при обучении системы задается эталон сегментации. Для подобной задачи в [4, 5] применялся менее наглядный метод многомерного анализа изображений (MIA). Пример сегментации изображения с построением SOM приведен на рисунке 3, где показана работа модуля «Форма настройки алгоритма распознавания».

Для найденных сегментов «факел» S1 (1), «материал» S2 (2) и «футеровка» S3 (3) вычисляются следующие признаки.

·      Средняя яркость пикселей в k-м сегменте, k=1, 2, 3: , где f(i, j) – яркость пикселя в точке (i, j); Nk – количество пикселей в k-м сегменте, k=1, 2, 3.

·      Подпись:  Примечание. Слева вверху – исходное изображение; спра-ва вверху – построенная SOM Кохонена размером 8×8 нейро-нов; слева внизу – результат сегментации с помощью SOM: 1 – «факел», 2 – «материал», 3 – «футеровка», 4 – «корпус и горелка печи»; справа внизу – эталонная сегментация.Рис. 3. Работа модуля «Форма настройки алгоритма распознавания»Относительная яркость пикселей, вычисляемая как относительное расстояние средней яркости пикселей сегмента от центра его гистограммы:  где [f1k, f2k] – диапазон яркостей k-го сегмента.

·      Среднеквадратичное отклонение гистограммы от среднего значения:

, где Gfk – гистограмма распределения яркостей на k-м сегменте; [f1k, f2k] – диапазон яркостей k-го сегмента, среднее значение гистограммы вычисляется по формуле .

·      Эквивалентный диаметр факела  где N1 – общее количество пикселей в сегменте 1 «факел» (его площадь).

·      «Центр масс» сегмента 3 «футеровка»

  где XF и YF – соответственно абсцисса и ордината «центра масс» сегмента 3 «футеровка» по вертикальной оси; N3 – общее количество пикселей в сегменте 3 «футеровка» (его площадь).

Вычисленные таким образом признаки образуют вектор признаков P, имеющий 12 составляющих: P1=RM1, P2=RM2, P3=RM3, P4=s1, P5=s2, P6=s3, P7=TM1, P8=TM2, P9=TM3, P10=DF, P11=XF, P12=YF.

Обучение классификатора происходит за счет подачи N=200 заранее подготовленных примеров (изображений), для каждого из которых задана пара (Pi, Yi), i=1, ..., N, где Pi – i-й входной вектор признаков, содержащий M=12 составляющих, где M – общее количество признаков, а Yi – i-й выходной вектор классов из 3 составляющих. Тестирование классификатора проводилось на 200 заранее подготовленных примерах тестовой выборки.

В качестве классификатора выбрана нейронная сеть прямого распространения с одним скрытым слоем, имеющая 12 нейронов во входном слое и 3 нейрона в выходном.

Существует много способов обучения такой нейронной сети для решения задачи классификации [9]. Применение ELM-метода [7] позволяет без итерационной процедуры обучить трехслойную нейронную сеть с одним скрытым слоем, в данном случае имеющим сигмоидальную функцию активации G, и выходным слоем, выдающим взвешенную сумму своих входов. Входные веса wj и порог bj для каждого j-го нейрона скрытого слоя задаются с помощью генератора случайных величин. Матрица H выходных значений нейронов скрытого слоя имеет размерность N×L, где N – количество примеров, L – количество нейронов скрытого слоя. Элементы матрицы H вычисляются как hij=G(wjPi+bj).

Обучение сети заключается в вычислении матрицы выходных весов нейронов скрытого слоя по формуле b=H+Y, где H+=(HTH)–1HT – псевдообратная матрица (матрица Мура–Пенроуза) для случая невырожденной матрицы H. В соответствии с [10] матрица H+ является наилучшим приближенным решением уравнения Y=Hb по методу наименьших квадратов, что позволяет избежать локальных минимумов при обучении сети. Высокая скорость классификации с помощью метода экстремального обучения, достигаемая за счет отсутствия итерационных вычислений, делает данный метод привлекательным для применения в составе алгоритмов, работающих в реальном времени, в частности, для рассматриваемой задачи распознавания изображений процесса обжига.

Скрытый слой нейронной сети, обучаемой ELM-методом, имеет 45 нейронов с сигмоидальной функцией активации. Такое количество нейронов обеспечивает для данной структуры сети и метода обучения максимальную точность классификации на тестовой выборке (76,33 %) и приемлемую точность на обучающей выборке (75,83 %).

Метод ELM [7] был выбран для использования в программном комплексе после сравнения его с другими наиболее распространенными методами классификации – методом опорных векторов (SVM) [11] и методом обратного распространения ошибки для обучения нейронной сети с одним скрытым слоем (BP) [12]. В ходе вычислительного эксперимента в среде Matlab метод экстремального обучения показал большую (выше 10 %) по сравнению с другими методами точность классификации на тестовой выборке. Время обучения рассматриваемой сети методом ELM составляет около 120 мс.

При распознавании изображения размером 1 600×1 200 работа всех этапов предлагаемого способа в режиме обучения занимает в среднем 2 000 мс, в режиме тестирования – 1 650 мс. Основные затраты времени при работе алгоритма приходятся на первый этап вычисления текстурных характеристик. Время работы указано для компьютера с четырехъядерным процессором Intel Core i5-2500S с частотой 2,7 ГГц, ОЗУ 4 Гб, с установленной 64-разрядной операционной системой Windows 7. С учетом того, что оценку состояния процесса обжига необходимо производить каждые 5 секунд, полученные результаты удовлетворяют требованиям по созданию системы технического зрения. Программный комплекс разработан в среде Microsoft Visual Studio 2010 на языке C#, результаты распознавания изображения сохраняются в локальную БД SQLite, что обеспечивает возможность интеграции с системой автоматизированного управления печью обжига.

В соответствии с представленной структурой и способом распознавания изображения процесса обжига разработан прототип программного комплекса, который проходит испытания на цементной вращающейся печи № 1 ЗАО «Осколцемент» (г. Старый Оскол). Обучающая и тестовая выборки способа распознавания изображения формировались на основе данных, полученных при работе программного комплекса в составе системы технического зрения в ходе испытаний на объекте. На программу, реализующую сегментацию изображения процесса и входящую в состав программного комплекса, получено Свидетельство о госрегистрации № 2012617408 от 17.08.2012 (авторы: Д.А. Юдин, В.З. Магергут).

Применение программного комплекса системы технического зрения позволит повысить эффективность работы операторов печи, обеспечить оперативный и объективный визуальный контроль за процессом обжига, включить визуальную оценку процесса в систему управления всей печью, что в итоге приведет к повышению качества конечного продукта, увеличению производительности, снижению энергозатрат.

Литература

1.     Классен В.К., Нусс М.В. Оптимизация обжига цементного клинкера с использованием информационных технологий // Изв. вузов. 2008. № 1. С. 34–40. (Строительство).

2.     Система промышленного телевидения для обжиговых печей. URL: http://telesen.ru/content/view/121/213/ (дата обраще­ния: 02.04.2013).

3.     Бехер P. Анализ теплового процесса для оптимизации управления цементной печью на основе бесконтактного измерения температуры // Цемент и его применение. 2008. № 3. С. 64–65.

4.     Li W., Wang D., Chaia T., Burning state recognition of rotary kiln using ELMs with heterogeneous features, Neurocomputing, 2013, Vol. 102, pp. 144–153.

5.     Szatvanyi G., Improving quality and combustion control in pyrometallurgical processes using multivariate image analysis of flames. Master's thesis. Department of chemical engineering. Faculty of science and engineering, Laval university, Quebec, 2006.

6.     Юдин Д.А., Магергут В.З. Применение текстурного анализа для сегментации видеоизображений процесса обжига // Математические методы в технике и технологиях (ММТТ-25): сб. тр. XXV Междунар. науч. конф. 2012. С. 59–63.

7.     Huang G.-B., Wang D.H. and Lan Y., Extreme Learning Machines: A Survey, Intern. Journ. MLC, 2011, Vol. 2, no. 2, pp. 107–122.

8.     Юдин Д.А., Магергут В.З. Распознавание изображений процесса обжига с использованием нейросетевых методов // Проблемы фундаментальных и прикладных естественных и технических наук в современном информационном обществе: тр. 55-й научн. конф. МФТИ. М.: МФТИ, 2012. Т. 1. С. 107–108.

9.     Хайкин C. Нейронные сети: полный курс. М.: Вильямс, 2006. 1104 с.

10.  Гантмахер Ф.Р. Теория матриц. М.: Физматлит, 2004. 560 с.

11.  Чанг Ч., Лин Ч. LIBSVM Библиотека, реализующая метод опорных векторов. URL: http://www.csie.ntu.edu.tw/ ~cjlin/libsvm (дата обращения: 02.04.2013).

12.  Медведев В.С., Потемкин В.Г. Нейронные сети. MATLAB 6. М.: ДИАЛОГ-МИФИ, 2002. 496 с.

References

1.  Klassen V.K., Nuss M.V.,  Izvestiya vuzov. Stroitelstvo [News of higher educational institutions.  Construction], 2008, no. 1, pp. 34–40.

2.  Sistema promyshlennogo televideniya  dlya obzhigovykh pechey  [Industrial TV system for burning kilns], Available at: http://telesen.ru/content/view/121/213/ (accessed 02 Apr. 2013).

3.  Boecher R.,  Tsement i ego primenenie  [Cement and its Applications], 2008, no. 3, pp. 64–65.

4.  Li W., Wang D., Chaia T.,  Neurocomputing, Vol. 102, 2013, pp. 144–153.

5.  Szatvanyi G., Improving quality and combustion control in pyrometallurgical processes using multivariate image analysis of flames: Master's thesis, Laval Univ., Quebec, 2006.

6.  Yudin D.A., Magergut V.Z.,  Matematicheskie metody v tekhnike i tekhnologiyakh (MMTT-25): sb. tr. XXV Mezhdunar. nauch. konf. [Proc. 25th Int. Sc. Conf.  «ММТТ-25»], 2012, pp. 59–63.

7.  Huang G.-B., Wang D.H., Lan Y.,  IJMLC, Vol. 2, no. 2, 2011, pp. 107–122.

8.  Yudin D.A., Magergut V.Z.,  Trudy 55 nauch. konf. MFTI «Problemy  fundamentalnykh i prikladnykh  estestvennykh i tekhni-cheskikh nauk v sovremennom informatsionnom obshchestve» [Problems of fundamental and applied natural and technical scienc-es in modern informational society: Proc. 55th MIPT Sc. Conf.], Vol. 1, Moscow, MFTI, 2012, pp. 107–108.

9.  Khaykin S.,  Neyronnye seti: polny kurs  [Neural network: complete course], 2nd ed., Moscow, Vilyams, 2006, 1104 p.

10.  Gantmakher F.R.,  Teoriya matrits [Matrix theory], 5th edi-tion, Moscow, Fizmatlit, 2004, 560 p.

11.  Chang Ch.-Ch., Lin Ch.-J.,  LIBSVM  –  A Library for Sup-port Vector Machines, Available at:  http://www.csie.ntu.edu.tw/~cjlin/libsvm (accessed 02 Apr. 2013).

12.  Medvedev V.S., Potemkin V.G., Neyronnye seti. MATLAB 6  [Neural network. MATLAB 6], Moscow, DIALOG -MIFI, 2002, 496 p.


Permanent link:
http://swsys.ru/index.php?page=article&id=3506&lang=en
Print version
Full issue in PDF (7.68Mb)
Download the cover in PDF (1.35Мб)
The article was published in issue no. № 2, 2013 [ pp. 257-262 ]

Back to the list of articles