Программные продукты и системы

Введение. Определение различных параметров свободных струй является основой решения множества задач [1]. При этом оценка соответствующих характеристик, полученных в результате наблюдений или натурных испытаний, в достаточно широком диапазоне значений факторов, оказывающих на них влияние, может составлять довольно сложную проблему. Так, при исследовании траекторий движения огнетушащего вещества из пожарного ствола масштаб наблюдаемых явлений измеряется десятками метров (в частности, дальность струи из лафетного ствола ЛС-С60У превышает 70 метров [2]). Это значительно затрудняет определение исследуемых параметров пожарной ствольной техники с приемлемым относительно решаемых на их основе задач пространственным разрешением. Однако получение соответствующих эмпирических данных в достаточном объеме является необходимым условием для настройки, валидации (экспериментальной оценки адекватности) моделей прогнозирования движения огнетушащего вещества, построения и отладки алгоритмов наведения пожарных роботов, систем технического зрения, формирования обучающей и тестовой выборок, полнота которых во многом влияет на качество машинного обучения разрабатываемых моделей и алгоритмов [3, 4]. Одним из способов решения указанной проблемы является распознавание [5, 6], то есть определение целевых характеристик исследуемых потоков жидкости на основе цифровых изображений (фото и видео), получаемых в результате наблюдения или эксперимента, с учетом геометрических искажений, зашумления внешними объектами, распыления огнетушащего вещества при движении, характерном для струй значительных линейных размеров на открытых и закрытых пространствах.

Существенная часть исследований в данной области посвящена преимущественно распознаванию струй из стволов пожарных роботов в соответствующих системах технического зрения. Так, в [7] представлен метод идентификации траектории движения огнетушащего вещества на коротком начальном участке, при этом не учитываются геометрические искажения, а также раздробление и распад потока на значительном удалении от камеры. Алгоритм распознавания струй значительных линейных размеров, описанный в [8], ориентирован в первую очередь на оценку скорости отдельных участков струи на основе анализа соответствующих видеозаписей. При этом при предварительной обработке цифровых изображений не учитываются возможное зашумление внешними объектами, а также отклонение фрагментов огнетушащего вещества, распыленного в результате движения, от основного потока. Указанные недостатки рассмотренных методов не позволяют использовать их для оценки с вы- соким пространственным разрешением параметров свободных струй, имеющих большую (несколько десятков метров) дальность. Данная статья посвящена разработке технологии высокоточного распознавания траекторий огнетушащего вещества на основе их цифровых изображений с учетом негативного влияния факторов, характерных для соответствующих натурных испытаний: геометрические искажения, наложение на изображение струи внешних объектов, распад струи в результате движения и другие.

Описание метода

Функциональная диаграмма предлагаемой в данной статье технологии представлена на рисунке 1.

В качестве траектории струи огнетушащего вещества в рамках данного исследования используется множество лежащих на ее верхней (крайние капли) и нижней границах точек пространства в установившемся режиме, когда значения скоростей в этих точках не испытывают значительных изменений. Основу предла- гаемой технологии составляют четыре этапа: коррекция геометрических искажений [9], предварительная обработка изображения струи, распознавание границ струи, постобработка распознанной траектории струи.

Коррекция геометрических искажений состоит из трех последовательно применяемых преобразований изображения.

– Устранение дисторсии (искривления прямых линий оптической системой объектива фотокамеры). Осуществляется на основе тестового снимка равномерной прямоугольной сетки, в соответствии с которым производится коррекция изображения [9]. Если объектив камеры не имеет выраженной дисторсии, данная операция пропускается.

– Поворот изображения в случае, когда положение матрицы в момент съемки отклоняется от горизонтали. Осуществляется путем вращения пикселей фотоснимка на соответствующий угол относительно заданной точки. Если камера выставлена по уровню, данная операция пропускается.

– Коррекция перспективных искажений, которые проявляются изменением размеров фрагментов изображения, в данном случае участков струи, в зависимости от расстояния до них. Если матрица фотокамеры и струя лежат в параллельных плоскостях, а съемка осуществляется с достаточно большого расстояния, то перспективные искажения отсутствуют или незначительны и, соответственно, данная операция пропускается.

Предварительная обработка изображения струи состоит из трех последовательно применяемых преобразований:

– первичная коррекция яркостей [10], заключающаяся в затемнении областей изображения, максимально близких к абсолютно белым – (255, 255, 255), в цветовой модели RGB для предотвращения потери деталей в них при последующих преобразованиях;

– коррекция локального контраста [11], заключающаяся в его повышении в отдельных диапазонах яркостей: высоких, средних и при необходимости низких;

– коррекция глобального контраста [11], заключающаяся в значительном снижении яркости (до абсолютно черного цвета – (0, 0, 0) в цветовой модели RGB) темных областей изображения и в повышении (до абсолютно белого цвета) светлых областей.

Основная цель данных преобразований – выделение контуров струи за счет формирования существенного скачка яркостей на ее гра- ницах. При проведении натурных испытаний в темное время суток можно использовать прожекторы [12] для обеспечения соответствующего перепада между неосвещенным окружающим пространством и рассеиваемой огнетушащим веществом подсветкой. В сложных с точки зрения выделения струи случаях возможно итеративное повторение перечисленных выше операций. Стоит отметить, что используемые при этом преобразования [9–11] являются общими методами обработки цифровых изображений, не связанными напрямую с задачами распознавания. Значения каждого из настроечных параметров этих операций для кор- рекции снимков огнетушащего вещества в рамках данного исследования определяются в соответствии с условиями, в которых они были получены при проведении экспериментов: освещение, модель камеры и объектива, степень распыления струи, зашумление внешними объектами и т.д. При этом, если в рамках серии натурных испытаний указанные факторы существенно не изменяются, адаптация алгоритмов производится однократно и используется для обработки соответствующих результатов в пакетном режиме. Для автоматической подстройки параметров каждого из этапов коррекции под особенности обрабатываемых изображений используется машинное обучение [13].

Распознавание верхней и нижней границ струи в рамках предлагаемой технологии осуществляется в три этапа:

– выделение изображения огнетушащего вещества в виде множества точек на основе соответствующего диапазона цветов, а также перепада яркостей на границе потока жидкости;

– масштабирование координат полученного множества точек с учетом геометрической привязки исходного изображения; коэффициент масштабирования определяется на основе известного линейного размера ориентира (например, расстояние от пожарного ствола до определенной точки в плоскости движения струи), который присутствует на соответствующих цифровых снимках;

– выделение первичных контуров границы струи; производится по крайним точкам в различных сечениях потока огнетушащего вещества, при этом выбор метода формирования сечений, полностью перекрывающих траекторию движения жидкости, во многом определяет качество полученного результата.

Так, наиболее простым способом выделения первичных контуров верхней и нижней границ на основе множества точек струи потока огнетушащего вещества, двигающегося в одной плоскости, является перебор по прямоугольной координатной сетке: ось 0X – горизонтальная, ось 0Y – вертикальная. Для каждого значения абсциссы в диапазоне дальности струи определяется ее точка с максимальной и минимальной ординатами. Множества точек, полученных перебором таких сечений вдоль горизонтальной оси, представляют собой контуры верхней и нижней границ. Однако данный способ имеет существенный недостаток: на излете поток огнетушащего вещества имеет низкую горизонтальную скорость, за счет чего траектория его движения в этой области, особенно при больших углах возвышения выходного патрубка лафетного ствола, близка к вертикальной. В данном случае пространственное разрешение метода выделения контуров границ с использованием прямоугольной сетки будет невысоким. Кроме того, этот подход чувствителен к существенным отклонениям фрагментов огнетушащего вещества, распыленного в результате движения, от основного потока, формирующего траекторию струи. Поэтому в рамках предлагаемой технологии был разработан метод формирования сечений в полярной системе координат (рис. 2).

За начало координат в полярной системе принимается центральная точка проекции струи на горизонтальную ось:

X0 = (Xmax + Xmin)/2,

Y0 = Y(Xmin),

где X0, Y0 – координаты центральной точки проекции струи на горизонтальную ось в пря- моугольной системе, м; Xmax, Xmin – максимальная и минимальная абсциссы множества точек струи, м; Y(Xmin) – ордината точки струи с минимальной абсциссой, м.

Сечения струи в полярной системе координат формируются поворотом луча из точки (X0, Y0) на угол φ относительно горизонтального положения (рис. 2). Для каждого такого сечения определяются точки струи, находящиеся на максимальном и минимальном расстояниях (rmax и rmin соответственно) от (X0, Y0). Координаты этих точек в декартовой системе определяются по следующим формулам:

Xpmax = X0 + rmaxcos(φ),

Ypmax = Y0 + rmaxsin(φ),

Xpmin = X0 + rmincos(φ),

Ypmin = Y0 + rminsin(φ),

где rmax, rmin – расстояния от точки (X0, Y0) до точек струи, находящихся от нее, соответственно, на максимальном и минимальном расстояниях и лежащих на секущем луче, м; φ – угол поворота секущего луча, рад.

Угол φ при этом меняется от φ1 до φ2 (по часовой стрелке):

где Y(Xmax) – ордината точки струи с максимальной абсциссой, м.

Для снижения чувствительности метода к существенным отклонениям фрагментов огнетушащего вещества, распыленного в результате движения, от основного потока, формирующего траекторию струи, накладываются ограничения на разницу между значениями rmax, rmin соседних сечений.

Постобработка распознанной траектории струи осуществляется в два этапа:

– коррекция первичных контуров верхней и нижней границ: удаление точек, находящихся на значительном расстоянии от соседних, заполнение существенных разрывов на основе интерполяции [14] и т.д.;

– сглаживание скорректированных контуров границ; в силу особенностей формирования и движения потока огнетушащего вещества, а также зашумления изображения струи внешними объектами или фрагментами ее распыленной части соответствующая траектория имеет изломанный вид, затрудняющий восприятие, хранение и анализ полученных результатов, поэтому для решения данных проблем в предлагаемой технологии применяется методика сглаживания на основе кубических сплайнов [14].

Для реализации основных операций предлагаемой технологии были разработаны следующие программные модули:

– модуль коррекции изображений, основные функциональные возможности которого заключаются в устранении геометрических искажений и предварительной обработке изображений (рис. 1); разработан в рамках данного исследования с использованием библиотеки openCV [15], реализующей основные алгоритмы по работе с цифровыми изображениями в системах технического зрения;

– модуль распознавания границ струи, основные функциональные возможности которого заключаются в формировании множества точек огнетушащего вещества, масштабировании координат с учетом геометрической привязки и выделения первичных контуров огибающих кривых; разработан в рамках данного исследования без использования дополнительных специализированных библиотек;

– модуль постобработки, основные функциональные возможности которого заключаются в коррекции и сглаживании выделенных контуров верхней и нижней границ огнетушащего вещества; разработан в рамках данного исследования с использованием библиотеки scipy [16], реализующей основные алгоритмы научных и инженерных расчетов.

Результаты

Представим результаты использования разработанного метода для распознавания траектории на основе цифрового изображения струи воды из лафетного ствола. Соответствующие натурные испытания производились на экспериментальном полигоне Инженерного центра пожарной робототехники «ЭФЭР» [17] в безветренный день, а потому основной поток огнетушащего вещества двигался в одной плоскости без существенных отклонений от нее. Цифровая камера с объективом, имеющим незначительную дисторсию, была установлена строго по горизонтальному уровню на большом удалении от пожарного ствола так, что ее матрица параллельна плоскости струи. Обеспечение таких условий проведения эксперимента позволило минимизировать геометрические искажения, а потому их коррекция не осуществлялась.

В условиях эксперимента (существенное изменение цвета неба вдоль горизонтальной оси, наличие шумовых внешних объектов, а также фрагментов распыленной воды, в том числе сливающихся с фоном) выделение границ струи было сложным. Последовательное выполнение основных операций этапа предварительной обработки изображения (http://www. swsys.ru/uploaded/image/2024-2/16.jpg) позволи- ло обеспечить требуемый перепад яркостей почти на всей траектории движения потока огнетушащего вещества, за исключением небольшого участка в ее конце.

Представленные результаты выделения множества точек струи воды на основе предварительно обработанного изображения (синие точки) и распознавания ее верхней и нижней границ с использованием прямоугольной (зеленые точки) и полярной (красные точки) систем координат (http://www.swsys.ru/uploaded/image/ 2024-2/17.jpg) показывают, что на участках компактной и раздробленной струй оба метода дают схожие результаты.

Однако в распыленной области точность и пространственное разрешение выделенных контуров верхней и нижней границ струи с использованием полярной системы координат выше. На рисунке 3 представлены результаты постобработки распознанной траектории струи (красные точки): скорректированные (зеленые точки) и сглаженные (синие линии) контуры границ, а на рисунке 4 – их совмещение с анализируемым изображением после предварительной обработки.

Распознанная траектория с достаточно высокой точностью совпадает с границами цифрового изображения огнетушащего вещества. На основе полученных кривых также были определены дальность и высота струи воды из пожарного ствола: 69,4 м и 14,6 м соответственно. Аналогичные величины, измеренные вручную с использованием наложенной на фотографию координатной сетки, имеют значе- ния 70 м и 14,7 м – относительные погрешности не превышают 1 %.

Заключение

Представленная технология предназначена для получения эмпирических данных с высокой точностью и пространственным разрешением, что дает возможность применять их для определения тактико-технических характеристик ствольной техники, валидации различных моделей прогнозирования траектории струи, а также формирования выборок для решения соответствующих задач машинного обучения. Существенное снижение трудоемкости обработки за счет автоматизации позволяет анализировать большие объемы результатов натурных испытаний. Также имеется возможность адаптации технологии для распознавания траекторий струй в трехмерном пространстве, например, при смещении огнетушащего вещества под воз- действием бокового ветра, с использованием синхронизированных по времени изображений в различных плоскостях и соответствующей коррекции перспективных искажений.

Технология коррекции на основе существующих методов обработки цифровых изображений, последовательно применяемых и настраиваемых с учетом условий проведения соответствующих натурных испытаний, позволяет упростить распознавание траектории струй при их визуальном зашумлении внешними объектами или распыленными фрагментами огнетушащего вещества за счет создания существенного перепада яркостей на его границах. Использование метода сечений в полярных координатах для первичного выделения исследуемых кривых, учитывающего их особенности, повышает разрешение получаемых на его основе результатов по сравнению с применением декартовой системы. Разработка указанных методик составляет научную новизну данного исследования.

Основным недостатком рассмотренной технологии является значительное (несколько секунд) время распознавания струи (предварительная обработка изображения, выделение контура, постобработка результатов), что не позволяет использовать ее в режиме реального времени, в частности, в системах технического зрения пожарных роботов. Однако увеличить скорость выполнения основных операций можно за счет, во-первых, снижения простран- ственного разрешения траектории, высокое значение которого не требуется для таких задач управления пожарными роботами, как наведение струи на цель, а во-вторых, применения нейросетевых моделей, позволяющих распознавать различные объекты в режиме реаль- ного времени, например, YOLO, для обучения которых можно использовать выборки, сформированные на основе представленной в данной статье технологии.

Список литературы

1. Zhu J., Li W., Lin D., Zhao G. Study on water jet trajectory model of fire monitor based on simulation and experiment. Fire Technology, 2019, vol. 55, pp. 773–787. doi: 10.1007/s10694-018-0804-1.

2. Горбань Ю.И., Немчинов С.Г., Цариченко С.Г., Туровский А.А. Роботизированные установки пожаротушения. Параметры эффективного тушения // Пожаровзрывобезопасность. 2023. Т. 32. № 4. С. 58–67. doi: 10.22227/ 0869-7493.2023.32.04.58-67.

3. Пожаркова И.Н. Применение методов машинного обучения для прогнозирования траектории струи огнетушащего вещества из лафетного ствола // Актуальные проблемы пожарной безопасности: матер. XXXV междунар. науч.-практич. конф. 2023. С. 334–341.

4. Vabalas A., Gowen E., Poliakoff E., Casson A.J. Machine learning algorithm validation with a limited sample size. PloS One, 2019, vol. 14, no. 11, art. e0224365. doi: 10.1371/journal.pone.0224365.

5. Patil A., Rane M. Convolutional neural networks: an overview and its applications in pattern recognition. In: SIST. Proc. ICTIS, 2021, vol. 195, pp. 21–30. doi: 10.1007/978-981-15-7078-0_3.

6. Zhang X.Y., Liu C.L., Suen C.Y. Towards robust pattern recognition: A review. Proc. of the IEEE, 2020, vol. 108, no. 6, pp. 894–922. doi: 10.1109/jproc.2020.2989782.

7. Zhu J., Pan L., Zhao G. An improved near-field computer vision for jet trajectory falling position prediction of intelligent fire robot. Sensors, 2020, vol. 20, no. 24, art. 7029. doi: 10.3390/s20247029.

8. Zhou X., Xin Y., Dorofeev S. Evaluation of automatic water cannon for fire protection of low-piled storage in high-clearance facilities. Fire Safety J., 2021, vol. 120, art. 103080. doi: 10.1016/j.firesaf.2020.103080.

9. Liu Y., Cheng D., Wang Q. et al. Optical distortion correction considering radial and tangential distortion rates defined by optical design. Results in Optics, 2021, vol. 3, art. 100072. doi: 10.1016/j.rio.2021.100072.

10. Reinhard E., Stark M., Shirley P., Ferwerda J. Photographic tone reproduction for digital images. In: Seminal Graphics Papers: Pushing the Boundaries, 2023, vol. 2, art. 69, pp. 661–670. doi: 10.1145/3596711.3596781.

11. Pierson C., Cauwerts C., Bodart M., Wienold J. Tutorial: Luminance maps for daylighting studies from high dynamic range photography. Leukos, 2021, vol. 17, no. 2, pp. 140–169. doi: 10.1080/15502724.2019.1684319.

12. Пожаркова И.Н., Цариченко С.Г., Немчинов С.Г. Моделирование траектории струи огнетушащего средства из пожарного лафетного ствола при возмущающих воздействиях // Безопасность труда в промышленности. 2022. № 11. С. 7–13. doi: 10.24000/0409-2961-2022-11-7-13.

13. Paolanti M., Frontoni E. Multidisciplinary pattern recognition applications: A review. Comput. Sci. Review, 2020, vol. 37, art. 100276. doi: 10.1016/j.cosrev.2020.100276.

14. Bertolazzi E., Frego M., Biral F. Point data reconstruction and smoothing using cubic splines and clusterization. Math. and Comput. in Simulation, 2020, vol. 176, pp. 36–56. doi: 10.1016/j.matcom.2020.04.002.

15. Gollapudi S. OpenCV with Python. In: Learn Computer Vision Using OpenCV, 2019, pp. 31–50. doi: 10.1007/978-1-4842-4261-2_2.

16. Virtanen P., Gommers R., Oliphant T.E. et al. SciPy 1.0: Fundamental algorithms for scientific computing in Python. Nature Methods, 2020, vol. 17, no. 3, pp. 261–272. doi: 10.1038/s41592-019-0686-2.

17. Горбань Ю.И., Немчинов С.Г. Пожарные роботы в пожарной автоматике: научно-технические исследования, алгоритмы поведения и дизайн // Пожаровзрывобезопасность. 2020. Т. 29. № 5. С. 82–88.

References

1. Zhu, J., Li, W., Lin, D., Zhao, G. (2019) ‘Study on water jet trajectory model of fire monitor based on simulation and experiment’, Fire Technology, 55, pp. 773–787. doi: 10.1007/s10694-018-0804-1.

2. Gorban, Yu.I., Nemchinov, S.G. (2023) ‘Robotic fire extinguishing systems. Effective extinguishing parameters’, Fire and Explosion Safety, 32(4), pp. 58–67 (in Russ.). doi: 10.22227/0869-7493.2023.32.04.58-67.

3. Pozharkova, I.N. (2023) ‘Use machine learning methods to predict the fire extinguishing agent jet trajectory from the monitor in case of disturbances’, Proc. XXXV Int. Sci. and Pract. Conf. Actual Fire Safety Problems, pp. 334–341 (in Russ.).

4. Vabalas, A., Gowen, E., Poliakoff, E., Casson, A.J. (2019) ‘Machine learning algorithm validation with a limited sample size’, PloS One, 14(11), art. e0224365. doi: 10.1371/journal.pone.0224365.

5. Patil, A., Rane, M. (2021) ‘Convolutional neural networks: an overview and its applications in pattern recognition’, in SIST. Proc. ICTIS, 195, pp. 21–30. doi: 10.1007/978-981-15-7078-0_3.

6. Zhang, X.Y., Liu, C.L., Suen, C.Y. (2020) ‘Towards robust pattern recognition: A review’, Proc. of the IEEE, 108(6), pp. 894–922. doi: 10.1109/jproc.2020.2989782.

7. Zhu, J., Pan, L., Zhao, G. (2020) ‘An improved near-field computer vision for jet trajectory falling position prediction of intelligent fire robot’, Sensors, 20(24), art. 7029. doi: 10.3390/s20247029.

8. Zhou, X., Xin, Y., Dorofeev, S. (2021) ‘Evaluation of automatic water cannon for fire protection of low-piled storage in high-clearance facilities’, Fire Safety J., 120, art. 103080. doi: 10.1016/j.firesaf.2020.103080.

9. Liu, Y., Cheng, D., Wang, Q. et al. (2021) ‘Optical distortion correction considering radial and tangential distortion rates defined by optical design’, Results in Optics, 3, art. 100072. doi: 10.1016/j.rio.2021.100072.

10. Reinhard, E., Stark, M., Shirley, P., Ferwerda, J. (2023) ‘Photographic tone reproduction for digital images’, in Seminal Graphics Papers: Pushing the Boundaries, 2, art. 69, pp. 661–670. doi: 10.1145/3596711.3596781.

11. Pierson, C., Cauwerts, C., Bodart, M., Wienold, J. (2021) ‘Tutorial: Luminance maps for daylighting studies from high dynamic range photography’, Leukos, 17(2), pp. 140–169. doi: 10.1080/15502724.2019.1684319.

12. Pozharkova, I.N., Tsarichenko, S.G., Nemchinov, S.G. (2022) ‘Modeling the trajectory of a fire extinguishing agent jet from a fire monitor under disturbing influences’, Occupational Safety in Industry, (11), pp. 7–13 (in Russ.). doi: 10.24000/0409-2961-2022-11-7-13.

13. Paolanti, M., Frontoni, E. (2020) ‘Multidisciplinary pattern recognition applications: A review’, Comput. Sci. Review, 37, art. 100276. doi: 10.1016/j.cosrev.2020.100276.

14. Bertolazzi, E., Frego, M., Biral, F. (2020) ‘Point data reconstruction and smoothing using cubic splines and clusterization’, Math. and Comput. in Simulation, 176, pp. 36–56. doi: 10.1016/j.matcom.2020.04.002.

15. Gollapudi, S. (2019) ‘OpenCV with Python’, in Learn Computer Vision Using OpenCV, pp. 31–50. doi: 10.1007/978-1-4842-4261-2_2.

16. Virtanen, P., Gommers, R., Oliphant, T.E. et al. (2020) ‘SciPy 1.0: Fundamental algorithms for scientific computing in Python’, Nature Methods, 17(3), pp. 261–272. doi: 10.1038/s41592-019-0686-2.

17. Gorban, Yu.I., Nemchinov, S.G. (2020) ‘Fire-fighting robots are in the fire automation: science and technology studies, the behavior of algorithms and design’, Fire and Explosion Safety, 29(5), pp. 82–88 (in Russ.).