Journal influence
Bookmark
Next issue
Software for automated detection and assessment of building seam failures
Abstract:The aim of this study is to develop a software module for an automated detection and assessment of building seam failures in an industrial plant. A research involved implementing a software module and a graphical user interface for working with it. The paper proposes a method for detecting seams and assessing building seam failures based on image contrast variation, adaptive threshold, Hough algorithm and several data processing algorithms to complement the Hough algorithm. In order to investigate the condition of building facades of an industrial enterprise, a drone photography and video survey was carried out on the territory of PJSC Magnitogorsk Iron & Steel Works. The resulting collection of images was used to debug the work of the created software module and the method proposed in the article for detecting seams and damage at the building seams. The proposed method is implemented in a software module and allows processing images of different size and pixel brightness. The authors envisage the application of this method with excluded areas in the image. The paper considers current methods of visual inspection of buildings and gives examples of existing software for monitoring the condition of objects. It also describes the procedure of survey performance and presents schemes of joint and fracture detection procedures implemented in the software module. There are the features of the method proposed by the authors. The paper gives an example of gradation of the current and predicted damages of the building seams. The survey included selecting a group of parameters to use in the method; changing in the parameter values enables an expert to adjust joint detection. This development allows estimating the condition of buildings and constructions located at PJSC Magnitogorsk Iron & Steel Works. There are examples of images with separated seams and damages, as well as results of percentage estimations of building connection seams on the image. The results of the study confirm the software module efficiency and the need to implement software modules to monitor the condition of the enterprise territories and buildings.
Аннотация:В статье предложен метод обнаружения и оценки разрушений швов зданий, основанный на изменении контраста изображения, адаптивном пороге, алгоритме Хафа и нескольких дополняющих его алгоритмах обработки данных. Для исследования состояния фасадов здания промышленного предприятия осуществлена фото- и видеосъемка с помощью беспилотного летательного аппарата. Полученная коллекция изображений использовалась для отладки работы созданного программного модуля и метода обнаружения швов зданий и разрушений на них. Предложенный метод реализован в программном модуле и позволяет обрабатывать изображения разных размера и яркости пикселей. Предусмотрено применение данного метода с исключенными на изображении областями. В работе рассмотрены текущие способы визуального обследования здания, приведены примеры существующего ПО для контроля состояния объектов. Описан порядок выполнения исследования, представлены схемы работы реализованных в программном модуле процедур по обнаружению швов и их разрушений. Рассмотрены особенности работы метода, предложенного авторами данной статьи. Приведен пример градации текущих и прогнозируемых разрушений швов здания. Группа параметров, используемая в методе, подобрана в ходе исследования, изменение их значений позволяет эксперту корректировать обнаружение швов. Данная разработка позволила оценить состояние исследуемых зданий и сооружений. Приведены примеры изображений с выделенными швами и разрушениями, а также результаты процентных оценок разрушений соединительных швов зданий на изображении. Результаты исследования подтверждают работоспособность программного модуля и необходимость внедрения таких модулей для контроля состояния территорий и зданий предприятия.
Authors: Kabanova, V.V. (kabanova.v.v.nmstu@gmail.com) - Nosov Magnitogorsk State Technical University (Student), Magnitogorsk, Russia, Logunova, O.S. ( logunova66@mail.ru) - Nosov Magnitogorsk State Technical University (Professor), Magnitogorsk, Russia, Ph.D, Narkevich, M.Yu. (narkevich_mu@mail.ru) - Nosov Magnitogorsk State Technical University (Associate Professor), Magnitogorsk, Russia, Ph.D, Kornienko, V.D. (volodya.kornienko2319@yandex.ru) - Nosov Magnitogorsk State Technical University (Expert, Leading Engineer), Magnitogorsk, Russia | |
Keywords: pattern recognition, program module, building condition monitoring, damage assessment, Hough algorithm |
|
Page views: 3313 |
PDF version article |
Для бесперебойной работы предприятия требуется следить не только за технологиями производства и порядком выполнения работ, но и за состоянием сооружений, зданий, различных установок. Целью данного исследования является разработка программного модуля по автоматизированному обнаружению и оценке разрушений соединительных швов панельных зданий. Разработанное ПО, в первую очередь, ориентировано на предприятия и компании, имеющие в материальном активе большое количество зданий и сооружений. В соответствии с целью поставлены следующие задачи: – определить способы оценки технического состояния зданий и сооружений; – выполнить оценку существующего ПО, предназначенного для контроля за состоянием объектов промышленного предприятия; – описать исходные и выходные данные, необходимые для работы программного модуля; – разработать алгоритмы и схему работы программного модуля по обнаружению и оценке разрушений соединительных швов панельных зданий; – разработать программную реализацию модуля для внедрения в систему экспертной оценки при принятии решений о техническом состоянии панельных зданий. Авторами данной статьи предлагается методика обнаружения разрушений межпанельных швов здания, основанная на композиции алгоритмов изменения контраста изображения, адаптивного порога, яркости объекта разрушения, алгоритма Хафа и на нескольких других дополняющих его алгоритмах обработки данных. Методы Способы оценки состояния зданий и сооружений. Техническое обследование конструкций зданий и сооружений проводится в несколько этапов. На первом этапе осуществляется предварительное обследование конструкций сооружения, включающее осмотр здания, сбор общих сведений о сооружении, изучение ранее проводившихся обследований его строительных конструкций. На втором этапе выполняются инструментальное обследование зданий с визуальным обследованием конструкций и фотофиксацией видимых дефектов, а также обмерные работы. Инструментальное обследование сооружения назначается в случае недостаточности результатов визуального обследования для решения задач. Третий этап проводится в лабораторных условиях, определяются физико-технические характеристики материалов обследуемых конструкций. На четвертом этапе результаты обследования обобщаются, составляются технологический отчет и заключение [1]. В настоящее время в большинстве случаев оценкой технического состояния зданий занимаются эксперты и специалисты из строительной области, имеющие необходимую аппа- ратуру для замеров. Такой способ является затратным с точки зрения необходимых человеко-часов для обследования здания, особенно, если объекты расположены на большой площади. Кроме того, после визуального обследования и замеров требуется обработка полученных данных, а это длительный процесс. Результат работы зависит от группы экспертов, их навыков, физического состояния и опыта. С развитием компьютерного зрения появилась возможность автоматизации процесса визуального контроля за состоянием зданий и сооружений. Для обнаружения трещин на бетонных и других конструкциях используются сверточные [2–4], а также генеративно-состязательные [5] нейронные сети и методы обработки изображений (алгоритм Canny [6], бинаризация Otsu [7, 8], удаление шума [9] и др.). В работе [10] предлагается метод обнаружения трещин дорожного покрытия с использованием алгоритмов предварительной обработки (выравнивание гистограммы) и адаптивного порога. Авторы протестировали метод на 509 изображениях и получили результаты с точностью 0,82. В статье [11] описаны исследования с применением метода автоматического обнаружения трещин, основанного на совмещении изображений и сегментации на уровне пикселей (улучшенный DeepLab_v3+). Утверждается, что метод значительно эффективнее других распространенных алгоритмов сегментации на уровне пикселей. Внедрение прикладной цифровой платформы для контроля за состоянием объектов на металлургическом предприятии позволило сделать вывод, что использование платформы, состоящей из программных модулей, эффективно при экспертной оценке элементов производственных объектов [12, 13]. Существует трехэтапный метод автоматического обнаружения микротрещин в бетоне подводных сооружений (цветовая коррекция изображений, отправка в сверточную нейронную сеть для распознавания трещин, сегментация трещин с помощью алгоритма Otsu) с экспериментальным результатом в 93,9 % [14]. Описанное ПО позволяет быстро провести визуальное обследование объектов (по сравнению с ручным методом) и получить результат в виде изображения с обнаруженными распознанными дефектами и процентной оценкой. На основе результата делается вывод о необходимости дополнительных инструментальных замеров, а также лабораторных исследований с применением аппаратуры. Алгоритмы обработки изображений также имеют погрешность, поэтому исследователю необходимо корректировать процесс выполнения обработки, например, через изменение параметров, использующихся в алгоритме, для улучшения результата исследования. Описание исходныx и выходныx данныx для работы программного модуля. Для проведения исследования по обнаружению разру- шений на швах здания проведена фото- и видеосъемка объектов на территории Магнитогорского металлургического комбината с использованием беспилотного летательного аппарата (БПЛА) [15]. Также допускается съемка на фотоаппарат с высоким разрешением для захвата детализированных изображений. Если исходными данными являются видеопотоки, то перед анализом изображений из них извлекаются кадры, которые затем загружаются в программный модуль. Во время съемки БПЛА или фотоаппарат следует располагать параллельно объекту исследования, то есть запрещается съемка под углом. Несоблюдение данного правила приводит к неверному обнаружению соединительных швов здания на изображении при применении серии алгоритмов, представленных в данной работе. Для удобной и быстрой работы с програм- мным модулем по обнаружению и оценке разрушений соединительных швов здания авторами данной статьи спроектировано и реализовано приложение с графическим интерфейсом пользователя. Однако поскольку модуль создан для использования в общей системе (веб-приложение), имеющей клиентскую часть и включающей в себя группу модулей, предусмотрена работа с модулем через командную строку посредством запуска скрипта и передачи требуемых аргументов и опций для возможности автоматического запуска. При работе с модулем через командную строку требуется указать обязательные аргументы и опции: путь к скрипту (.sh), запускающему программный модуль, путь к исходному изображению здания и путь к директории для сохранения обработанных изображений и файла с результатом оценки разрушений в формате JSON. Кроме того, предусмотрена передача параметров для корректировки результата и исключения из области исследования фрагментов изображения. В результате выполнения скрипта в папку сохраняются обработанные изображения с постфиксами (имя изображения_allSeams.png, имя изображения_DamageSeams.png) для их дальнейшей идентификации. Программный модуль обрабатывает изображения с различными разрешениями и размерами. От размера изображения зависит время его обработки. Допускается загрузка следующих видов изображений в формате png или jpg: фрагменты панелей здания, фасад здания, склейка фрагментов здания. Алгоритмы и схемы работы програм- много модуля по обнаружению и оценке разрушений соединительных швов панельных зданий. В программном модуле реализовано несколько процедур. Основу модуля составляют процедура обнаружения и подсчета площади всех соединительных швов здания на изображении, а также площади разрушений соединительных швов здания на изображении. Для реализации программного кода каждой процедуры составлены алгоритмы, включающие применение функций из библиотеки OpenCV и использование дополнительных алгоритмов, необходимых для обработки данных после работы стандартных функций. На рисунке 1 представлена блок-схема алгоритма поиска площади швов и разрушений соединительных швов между панелями здания. Рассмотрим работу алгоритма подробнее. В программный модуль загружается одно изображение здания в цветовой модели RGB. Далее копия исходного изображения приводится к полутоновому (процесс № 1) для применения функции адаптивного порога. Предварительно к изображению применяется функция размытия по методу Гаусса, чтобы уменьшить количество шумов, влияющих на поиск швов здания. После работы функции адаптивного порога применяется морфологическая операция «Замыкание» для частичного замыкания контуров. На этом этап предварительной обработки изображения завершается. В процессе № 5 осуществляется поиск линий на бинарном изображении: вызывается функция HoughLinesP (HoughLines) [16] из библиотеки OpenCV, применяемая для обнаружения прямых линий на растровом изображении. Известно, что соединительные швы здания вертикальные или горизонтальные, поэтому другие линии не учитываются. Пример обнаружения линий на швах приведен на рисунке 2. В результате выполнения процесса № 5 (рис. 1) находятся предварительные соединительные швы здания на изображении. На данном этапе возникают несколько проблем: – подсчет площади швов (найденные линии накладываются друг на друга несколько раз или, наоборот, линии не покрывают весь шов); – обнаружение ложных прямых, не лежащих на шве; – поиск разрушений на швах (массив найденных прямых конкретно не определяет шов). Следовательно, необходимо провести отбор линий, обнаруженных алгоритмом Хафа, и преобразовать отобранные группы линий в швы. В процессе № 6 осуществляется группировка линий по следующим критериям: – тип линии (горизонтальная или верти- кальная); – положение линии на изображении (для вертикальной – координата X, для горизонталь- ной – Y). На рисунке 3 приведена блок-схема процесса № 6 со следующими обозначениями: С1 – условие «Является ли линия вертикальной?», С2 – условие «Является ли линия горизонтальной?», С3 – условие «Входит ли текущая вертикальная линия в окрестность существующей группы вертикальных линий?», С4 – условие «Входит ли текущая горизонтальная линия в окрестность существующей группы горизонтальных линий?». Линии числятся в одной группе, если находятся в одной окрестности. Далее происходит перебор сформированных групп линий (процесс № 7 на рисунке 1). Если численность группы меньше минимально требуемого количества линий, входящих в шов, то такая группа исключается. Если группа линий удовлетворяет условию, то для нее строится ограничивающий прямоугольник в визуальной системе координат. Определяются верхний левый угол и правый нижний угол прямоугольника по формулам: xleft = min(X), ytop = min(Y), xright = max(X), ybottom = max(Y), где X = {x1,…, xn} – кортеж значений координат начальных и конечных точек линий по оси абсцисс; Y = {y1,…, yn} – кортеж значений координат начальных и конечных точек линий по оси ординат. Сформированные прямоугольники хранятся в векторе. Далее прямоугольники перебираются и в случае их пересечения объединяются. На рисунке 4 представлен пример изображения панелей здания с найденными швами после применения метода Хафа и нескольких алгоритмов обработки линий, найденных этим методом. После распознавания швов найденные прямоугольники разделяются на фрагменты в соответствии с исключенными областями (окна, двери, лестницы). Особенности алгоритма не предусматривают изначальное деление прямоугольников на фрагменты, поскольку при построении ограничивающего прямоугольника учитываются минимальные и максимальные значения координат группы линий, находящихся на одной координате и ее окрестности. Далее отобранные и разделенные прямоугольники строятся на копии исходного изображения и подсчитывается площадь всех найденных швов с учетом вычитания площади пересечения вертикальных и горизонтальных швов. После нахождения соединительных швов здания осуществляется поиск разрушений на них по алгоритму (другая ветка, рис. 1). К копии исходного изображения применяются описанные выше этапы предварительной обработки. Если при процедуре поиска всех швов на изображении контраст копии исходного изображения по умолчанию не изменяется, то при поиске разрушений контраст копии исходного изображения обязательно увеличивается для выделения темных участков с текущими и прогнозируемыми разрушениями. В процессе № 5 также вызывается функция HoughLinesP для поиска линий на бинарном изображении. Далее происходит перебор найденных линий. Линии, принадлежащие исключенным областям, не рассматриваются. Если линия вертикальная или горизонтальная, то проверяется ее принадлежность к определенному ранее найденному шву (прямоуголь- нику), координаты линии записываются в конкретную группу в словаре GroupLinesDamage. После перебора всех линий невозможно подсчитать площадь разрушений, так как линии могут накладываться друг на друга. В процессе № 10 (рис. 1) найденные линии объединяются с учетом их пересечения и наложения (алгоритм для горизонтальных линий изображен на рисунке 5). Алгоритм для вертикальных линий аналогичный, только удлинение линии происходит по оси OY. Затем повторно перебираются группы швов-разрушений, и для каждой линии из группы швов строится индивидуальный ограничивающий прямоугольник (рис. 6), подсчитывается площадь разрушений. Результаты Общая схема системы по оценке технического состояния объектов. Программный модуль, описанный в данной работе, предназначен для решения одной из задач проекта построения системы по оценке технического состояния объектов на металлургическом предприятии (рис. 7). Прежде всего осуществляется видеосъемка объектов исследования на территории предприятия с помощью БПЛА. Далее извлекаются кадры из видеопотоков, каждый из кадров получает название в зависимости от задачи по определенному принципу. На следующем этапе полученные кадры проходят визуальный анализ качества и для каждого изображения строится гистограмма яркости. Построенные гистограммы сортируются, определяется пригодность изображения к обработке разработанными программными модулями. На основе вывода выбирается траектория обработки изображения в зависимости от находящегося на изображении объекта и качества кадра. Программная реализация модуля для внедрения в систему экспертной оценки при принятии решений о техническом состоянии панельных зданий. Программный модуль реализован на языке С++ и является динамически подключаемой библиотекой *.dll для Windows, *.so для Linux. Модуль разрабатывался с использованием кроссплатформенной среды разработки Qt Creator и фреймворка Qt. Модуль использует библиотеку OpenCV для обработки изображений, которая подключается динамически во время выполнения приложения, а также модуль QtCore для сборки. В программном коде (в заголовочном файле) определен класс BuildingDamageFinder. Так как модуль предназначен для работы на Linux-сервере, разработано консольное приложение с парсером командной строки, чтобы при запуске исполняемого файла через терминал или функции языка программирования, которые работают с командной строкой, передавать опции и аргументы. Для считывания опций и аргументов из командной строки используются классы QApplication, QCommandLineParser, для установки опций и аргументов – QCommandLineOption. Для автоматического запуска исполняемого файла, к которому подключен программный модуль, сгенерирован bash-скрипт, настраивающий необходимые для работы exe-файла переменные окружения (пути к библиотекам и т.д.). Для развертывания С++ Qt приложения использовалась кроссплатформенная утилита CQtDeployer. Кроме двух изображений здания с выделенными швами и разрушениями, результатом работы модуля также является JSON-файл, поэтому в программном коде используются классы QJsonValue, QJsonObject, QJsonDocument. Исследование результатов работы алгоритмов по обнаружению разрушения межпанельных швов здания. Наличие групп параметров позволяет градуировать уровень обнаруживаемых разрушений соединительных швов здания. В таблице 1 представлен пример градации уровня разрушений соединительных швов здания на изображении для некоторых значений. Выбор определенного уровня разрушений зависит от задач исследователя. По умолчанию разрушениями считаются затемнения на швах и отсутствие материала в шве. Затемнения на швах – их возможные будущие серьезные разрушения. Учет позволяет спрогнозировать долю разрушений соединительных швов здания через некоторое время. При увеличении значения параметра (изменение контраста) потенциальные будущие разрушения постепенно перестают учитываться в процентной доле, и в расчетах участвуют фрагменты швов без материала, поэтому процент разрушений уменьшается. Изменение параметра постепенно увеличивает контраст копии исходного изображения для обработки. На рисунке 8 представлены результаты градации уровня обнаруживаемых разрушений с помощью последовательного изменения параметра. Наблюдаются резкие изменения процентной доли разрушений при установке значения параметра с 4-го по 9-е. При значении параметра с 10-го по 15-е замечена стабилизация итогового результата. Таким образом, при начальном и близких к нему значениях параметра происходило отсекание затемнений на швах в быстром темпе. Поскольку упор в созданном алгоритме сделан именно на обнаружение серьезных разрушений швов, процентная доля разрушений также резко изменялась. Дальнейшее изменение значения параметра на итоговый результат не влияет, так как слабые разрушения уже не учитываются в расчетах, а оставшиеся дефекты не могут скрыться из-за серьезной степени разрушения шва. Окна, двери, лестницы на фасаде и окружающая среда, попадающая в кадры, не представляют интереса для исследователя и мешают процессу обнаружения разрушений швов здания. Возможны два способа выбора областей исследования: – пользователь выбирает только полезные области и самостоятельно не включает в иссле- дование лишние объекты, получает общий и отдельный результаты для каждой области; – пользователь сначала исключает некоторые области, а затем обрабатывает одну полезную область (с исключенными областями). Проведено сравнение этих способов (табл. 2). Перед сравнением изображений с фрагментом или фасадом здания отобраны образцы для исследования из существующей коллекции изображений. Очевидно, что параметры обнаружения швов и разрушений одинаковы для обоих способов. По умолчанию разрушением считаются полное отсутствие материала в шве, а также затемнения на швах, поэтому доля разрушений на некоторых изображениях превышает 50 %. Следует отметить, что при обработке образца № 5 двумя способами осуществлена корректировка параметров для обнаружения всех швов фрагмента здания и разрушений швов. Это связано с низкой средней интенсивностью пикселей изображения, если, например, сравнивать со средней интенсивностью пикселей образца № 3 и других образцов. Иногда соединительные швы обнаруживаются неверно. В большинстве случаев эксперт может исправить ошибки обнаружения с помощью корректировки имеющихся параметров. Время выполнения обработки изображения. Описанный в работе программный модуль создан для сокращения времени первичного осмотра здания на наличие разрушений. Время обработки зависит от архитектуры компьютера, операционной системы и характеристик, а также от операций, выполняемых в фоновом режиме во время процесса обработки изображения. Визуальный осмотр исходных и выходных изображений показал, что разрушения выделяются верно и процентная доля разрушений сопоставима с количеством выделенных соединительных швов и разрушений на них. Изучение алгоритмов и исследование результатов работы программного модуля позволяют выделить следующие отличительные особенности разработки: – возможность обработки фасадов зданий, снятых БПЛА; – исключение фрагментов изображения путем передачи координат в программный мо- дуль для построения черного прямоугольника на изображении; – обработка изображений с учетом исключенных фрагментов изображений; – обязательное соблюдение параллельности камеры и объекта исследования для верного обнаружения швов; – подсчет площади швов, текущих и потенциальных разрушений межпанельных швов здания; – поиск разрушений на швах зданий с разной облицовкой панелей за счет наличия группы параметров; – работа с изображениями, имеющими особенности: косметический ремонт, низкая интенсивность пикселей, ремонт на панелях; – получение изображений с выделенными швами и разрушениями; – получение процентной доли разрушений швов. Заключение Результаты проведенного исследования позволили сделать следующие выводы. Представленная разработка может заменить работу экспертов по визуальному обследованию зданий, уменьшить срок получения результата, а также сэкономить средства за счет отказа от услуг экспертной группы по первичному осмотру зданий. Предложенным методом можно обрабатывать изображения разных размеров. Это условие важно для предприятий с большим количеством зданий в материальном активе, так как метод дает возможность обрабатывать фасады и склейки здания. Комбинация нескольких параметров сильно влияет на результат обнаружения швов. Установка полей для изменения параметров на пользовательском интерфейсе позволит эксперту улучшить результат обнаружения разрушений и уменьшить зависимость результата от размера изображения, яркости пикселей и общего состояния блоков здания. Внедрение такого рода программных модулей на крупных предприятиях позволит своевременно обнаруживать и оценивать разрушения соединительных швов панельных зданий. Список литературы
Reference List
|
Permanent link: http://swsys.ru/index.php?page=article&id=5022&lang=en |
Print version |
The article was published in issue no. № 3, 2023 [ pp. 474-485 ] |
Perhaps, you might be interested in the following articles of similar topics:
- Автоматизированное детектирование и классификация объектов в транспортном потоке на спутниковых снимках города
- Выделение и анализ скелетов объектов на цветных снимках
- Система автоматического картографирования знаков дорожного движения
- Разработка системы стереозрения для мобильного робота
- Адаптация модели нейронной сети LSTM для решения комплексной задачи распознавания образов
Back to the list of articles