ISSN 0236-235X (P)
ISSN 2311-2735 (E)

Journal influence

Higher Attestation Commission (VAK) - К1 quartile
Russian Science Citation Index (RSCI)

Bookmark

Next issue

2
Publication date:
16 June 2024

Setting up and training a multilayer perceptron for the problem of highlighting the road surface in the city space images

Date of submission article: 30.01.2020
UDC: 684.511
The article was published in issue no. № 2, 2020 [ pp. 343-348 ]
Abstract:The paper considers the neural network model application for a multi-layer perceptron to identifying road surface region problems on the urban environment satellite images. Government agencies and en-terprises involved in regulating transport flows currently need to solve this problem, as well as to up-date geographical data and maps of transport infrastructure. In existing works on this topic, there are automatic and semi-automatic methods. Approaches that involve a person’s partial involvement in their work are semi-automatic. The operator can set thresholds, setting parameters, mark regions for detection, and do many other operations. Automatic methods work without human involvement and therefore faster and cheaper than semi-automatic ones. The paper examines and explores a method that uses a multilayer neural network to automatically highlight the road surface on the Earth 's surface cosmic images. In its paper, the method is based on a limited sample of roadway previously noted examples. The model has a multilayer perceptron founda-tion. The input values for the method in question are satellite survey data in the RGB color model. This makes it possible to use more information channels individually. This also takes into account the pixel channel context: values of the image adjacent pixel color channels. The method in question is relevant, as the expansion of street road network and urban development are changing and should be reflected in the mapping data. The results of the method were with the lo-cation of the road surface of the city's road network.
Аннотация:Статья посвящена применению нейросетевой модели многослойного персептрона к задаче выделения регионов дорожного покрытия на космических снимках городской среды. Решения ее в настоящее время востребованы государственными структурами и предприятиями, занимающимися регулированием транспортных потоков, перевозками в условиях города, а также обновлением географических данных и карт транспортной инфраструктуры. В существующих работах по данной тематике отмечалось, что методы классифицируют на автоматические и полуавтоматические. Подходы, предполагающие частичную вовлеченность человека в его работу, относят к полуавтоматическим. Оператор может задавать пороговые значения, настроечные параметры, отмечать регионы для детектирования и выполнять многие другие операции. Автоматические методы работают без участия человека и, следовательно, быстрее и дешевле полуавтоматических. В статье рассматривается и исследуется метод, применяющий многослойную нейронную сеть для автоматического выделения дорожного покрытия на космических снимках земной поверхности. Его работа основана на ограниченной выборке ранее отмеченных примеров дорожного полотна. Модель построена на основе многослойного персептрона. Входными значениями для рассматриваемого метода являются данные спутниковой съемки в цветовой модели RGB. Это дает возможность задействовать больше информационных каналов, работая с каждым из них отдельно. При этом учитывается контекст каналов пикселя – значения цветовых каналов соседних пикселей изображения. Рассматриваемый метод актуален, так как в связи с расширением улично-дорожной сети и за-стройкой городской среды происходят изменения, которые должны быть отражены в картографических данных. В рамках исследования выполнено соотнесение результатов работы метода с расположением дорожного покрытия улично-дорожной сети города.
Authors: V.S. Tormozov (007465@pnu.edu.ru) - Pacific National University (Senior Lecturer), Khabarovsk, Russia, K.A. Vasilenko (k2857@mail.ru) - College of Service and Design at Vladivostok University of Economics and Service (VGUES) (Lecturer), Vladivostok, Russia, A.L. Zolkin (alzolkin@list.ru) - Povolzhskiy State University of Telecommunications and Informatics (Assistant Professor), Samara, Russia, Ph.D
Keywords: digital image processing, artificial intelligence, machine learning, pattern recognition, roadway detection, street road network, artificial network, satellite imagery
Page views: 4257
PDF version article
Full issue in PDF (8.23Mb)

Font size:       Font:

Городская автодорожная инфраструктура является одной из самых важных для построения карт местности на основе спутниковых изображений. При приобретении и обновлении географической информации, как правило, необходимо привлечение ручного труда [1], который требует значительных временных и материальных затрат. Процедура детектирования дорожного полотна предоставляет средства для создания, поддержания и обновления транспортной сети и может быть использована для решения многих других практических задач, относящихся к регулированию транспортных потоков и грузоперевозок. Значительный объем обрабатываемых данных позволяет предположить, что облачное хранение улучшит технологическую базу процессов обновления данных геоинформационных систем (ГИС) [2]. Качественное детектирование дорожного покрытия на спутниковых снимках может оказать помощь при исследовании глобальных изменений дорожной сети, а также найти применение для решения ряда других исследовательских задач [1, 3]. Постоянный рост доступности спутниковых снимков высокого и сверхвысокого пространственного разрешения способствует расширению областей его применения в практических задачах [1, 3].

На сегодняшний день разработан целый спектр методов детектирования дорожного покрытия на космических снимках [4, 5]. Среди них выделяют автоматический и полуавтоматический методы. Подход, предполагающий частичную вовлеченность человека в его работу, относится к полуавтоматическим. Оператор может задавать пороговые значения, настроечные параметры, отмечать регионы для детектирования и выполнять ряд других операций. Автоматические методы работают без участия человека и, следовательно, быстрее и дешевле полуавтоматических.

Большинство работ, связанных с обнаружением дорожного покрытия на космических снимках, используют снимки среднего или низкого пространственного разрешения и, как правило, имеют погрешности, связанные с методами обработки данных дистанционного зондирования [4, 5].

Методы идентификации простых фигур на изображении обрабатывают каждый пиксель отдельно [6]. Детектирование основано на представлении дорожного полотна параметрическими уравнениями прямых линий. Параметры этого уравнения образуют фазовое пространство. На исходный спутниковый снимок накладывается детектор границ Canny. Затем для каждой точки определяется вес границы в этой точке. В случае превышения веса порогового значения аккумулятор рассматриваемого значения увеличивается на вычисленное значение уравнения прямой. После обработки всех пикселей изображения путем поиска локального максимума в пространстве значений аккумулятора определяются параметры наиболее подходящих прямых, которые маркируются на снимке как дороги. Этот метод работает не медленнее других алгоритмов, однако у него есть недостатки. Он накладывает дополнительные ограничения на обрабатываемые им спутниковые снимки: наличие инфракрасного канала, высокое качество съемки и т.д. Окклюзия дорожного полотна крупными объектами препятствует его детектированию.

Алгоритмы, базирующиеся на аппарате нечетких логик, обрабатывают каждый пиксель снимка отдельно. Такие методы состоят из двух алгоритмов: алгоритма определения вероятности принадлежности каждого пикселя дороги на основе его пространственного расположения относительно ранее обработанных пикселей и алгоритма, основанного на цветовых свойствах самого пикселя. Методы, основанные на аппарате нечетких логик, качественно детектируют дорожное полотно на космиче- ских снимках сельской местности или шоссе и в то же время в условиях города [3] ложно детектируют как дорожное полотно многие близлежащие объекты: здания, дорожные знаки, деревья и т.п. Рассматриваемые методы могут быть успешно использованы для обнаружения дорожного покрытия за пределами города, однако показывают недостаточную точность детектирования в городских условиях [7].

Методы, основанные на применении искусственных нейронных сетей (ИНС), обладают высокой адаптивностью, самоорганизацией и могут учитывать контекст обрабатываемого пикселя. Таким образом, помимо цветовых характеристик самого пикселя, в полной мере может быть учтено его расположение относительно других пикселей изображения. Это позволяет задействовать больше информационных каналов, работая с каждым в отдельности, к тому же учитывается контекст каналов пикселя – значения цветовых каналов соседних пикселей изображения. Метод основан на машинном обучении, то есть подстраивается под ранее известные входные данные.

В статье рассматривается использование ИНС – многослойного персептрона для задачи автоматического извлечения дорожного покрытия на спутниковых снимках сверхвысокого пространственного разрешения. Объектом данного исследования стала городская дорожная сеть. Необходимость исследования обусловлена тем, что создание, актуализация и обновление карт улично-дорожной сети часто осуществляются вручную [1, 4, 5]. Автоматизация данных процессов позволяет сократить затраты на решение этих задач.

Архитектура ИНС

С точки зрения архитектуры ИНС – структура обработки информации, состоящая из большого количества тесно взаимосвязанных элементов обработки информации, согласованно решающих определенную задачу. ИНС конфигурируются для применения в конкретной области, например, в области распознавания образов или классификации данных, с помощью процедуры обучения. Для ИНС процедура обучения заключается в корректировке синаптических связей между нейронами.

Простейший вычислительный элемент, из которого состоит ИНС, – нейрон. Нейрон принимает сигналы, обрабатывает их посредством передаточной и активационной функций и вы- дает сигнал либо ИНС как результат работы, либо следующему слою нейронов (рис. 1). Многослойный персептрон представляет собой многослойную структуру нейронов с полносвязным соединением двух соседних слоев. Структура многослойного персептрона характеризуется наличием нескольких типов нейронных слоев: входной, скрытый и выходной для получения, обработки и вывода сигналов соответственно.

Детектирование дорожного полотна на спутниковом снимке может быть интерпретировано как процесс классификации, при котором каждый пиксель маркируется либо как дорога, либо как фон. Множество научных исследований показали, что ИНС может классифицировать различные данные цифровых изображений [1, 4, 5]. При использовании ИНС для детектирования дорог входной слой состоит из нейронов, количество которых соответствует количеству входных параметров, а выходной – из одного нейрона, состояние которого отображает, принадлежит ли рассматриваемый пиксель дорожному полотну или нет. Как правило, одного скрытого слоя достаточно, однако оптимальное количество нейронов в скрытом слое трудно определить и устанавливается многими исследованиями эмпирически [5]. Увеличение числа нейронов влияет на способность ИНС выполнять обобщение, однако увеличивает время обучения и прохождения сигналов через нее [7].

В качестве ИНС для извлечения дорожного полотна в данном исследовании используется многослойный персептрон. В этой ИНС каждый нейрон в скрытом слое вычисляет сумму входных сигналов xi, взвешенных соответствующими значениями весовых коэффициентов wij, и выходной сигнал yj как функцию активации от вычисленной суммы:

 

где f(×) – функция активации (в данной работе нелинейная сигмоидальная);  – i-й сигнал от (t–1)-го слоя; wji – i-е весовое значение j-го нейрона;  – j-й сигнал t-го слоя. Функция активации может быть сигмоидальной, пороговой, радиально-базисной или гиперболическим тангенсом.

Генерация данных для обучения, обучение ИНС

Каждый пиксель входного изображения обрабатывается отдельно. Сам пиксель и все соседние с ним пиксели формируют 3 числовые матрицы интенсивности 3´3 в каждом цветовом канале по отдельности [8]. Выходом нейронной сети является один сигнал – либо 0, либо 1: относится ли текущий пиксель к дорожному покрытию или нет. Таким образом, на вход ИНС поступают 27 числовых значений от 0 до 255. Были рассмотрены 20 спутниковых снимков для большого охвата различных вариантов цветности дорожного полотна, его расположения, цветности фона и других характеристик космических снимков и дорожного полотна.

Цветовые каналы RGB принимают целые значения в диапазоне от 0 до 255 и требуют нормализации. После нормализации эти значения находятся в диапазоне вещественных чисел от 0 до 1. Нормализация происходит по следующей формуле: где si – входное значение i-го сигнала; N(si) – нормализованное значение i-го сигнала; Smin, Smax – минимальное и максимальное значения входного сигнала (0 и 255 соответственно).

Количество нейронов в сети влияет на ее нестабильность [9]. Нестабильность сети характеризует зависимость качества ее работы от первичных значений весовых коэффициентов до процедуры обучения [10]. Исследование проводилось для различных конфигураций ИНС и ее параметров. Количество нейронов на скрытых слоях персептрона влияет на возможность сети вовлекать в работу больший объем данных. Результаты исследования получились приблизительно равными для различных кон- фигураций.

Точность детектирования в зависимости от параметров ИНС

Detection accuracy depending on from the ANN parameters

Характеристика

Значение

Коэффициент скорости обучения, η

0,3

0,4

0,3

0,3

0,3

0,2

Коэффициент инерциальности, α

0,9

0,9

0,9

0,9

0,9

0,9

Число нейронов в скрытом слое

20

20

15

12

10

12

Точность детектирования, %

76,3

70,1

80,9

86,4

80,6

71,2

Исходя из таблицы, можно сделать вывод, что характеристики качественной работы ИНС достигают максимальных значений при 12 нейронах на скрытом слое, коэффициенте скорости обучения (η), равном 0,3.

В качестве метода обучения был выбран метод обратного распространения ошибки с заданными параметрами обучения: коэффициентом скорости обучения η и коэффициентом инерциальности α. В качестве функции активации использовалась сигмоидальная функция. Условиями завершения явились максимальное число итераций обучения 100 000 и максимальная ошибка обучения 0,0001. Наилучшая точность тестирования составила 86,4 % (рис. 2) при использовании следующих параметров ИНС: коэффициент скорости обучения – 0,3, коэффициент инерциальности – 0,9, количе- ство нейронов в скрытом слое – 12.

Результат извлечения дорожного покрытия для спутникового снимка города Хабаровска представлен на рисунке 3. Извлеченное дорожное полотно отмечено на рисунке синим цветом. Метод извлек почти все дорожное полотно улично-дорожной сети.

Заключение

Целью данной работы были разработка метода автоматического детектирования дорож- ного полотна на космических снимках и оценка эффективности его применения. Метод основан на использовании многослойного персеп- трона в качестве классификатора каждого пикселя исходного снимка.

В ходе оценки эффективности рассматриваемого метода максимальная точность обнаружения дорожного полотна на снимке достигла 86,4 %. Алгоритм был протестирован для двух спутниковых снимков. Он показал свою применимость для обнаружения дорожного полотна на космических снимках.

Литература

1.     Тормозов В.С. Метод детектирования и классификации транспортных средств на спутниковых снимках сверхвысокого разрешения // Промышленные АСУ и контроллеры. 2019. № 6. С. 18–24. DOI: 10.25791/asu.06.2019.678.

2.     Василенко К.А. Особенности облачных технологий хранения данных // Синергия наук. 2018. № 25. С. 745–748.

3.     Yang J., Wang R. Classified road detection from satellite images based on perceptual organization. Int. J. Remote Sensing, 2007, vol. 28, pp. 4653–4669.

4.     Тормозов В.С. Улучшение работы алгоритма детектирования и классификации транспортных средств на спутниковых снимках путем сокращения области поиска с использованием геоинформации о дорогах // Вестн. РосНОУ. 2019. № 2. С. 56–63. DOI: 10.25586/RNU.V9187.19.02.P.056.

5.     Montasinos P., Alquier L. Perceptual organization of thin networks with active contour functions applied to medial and aerial images. Proc. 13th Intern. Conf. on Pattern Recognition, 1996, vol. 1, pp. 647–651.

6.     Batista P.A., Prati R.C., Monard M.C. A Study of the behavior of several methods for balancing machine learning training data. ACM SIGKDD Explorations Newsletter, 2004, vol. 6, iss. 1, pp. 20–29. DOI: 10.1145/1007730.1007735.

7.     Пугачев И.Н., Маркелов Г.Я., Тормозов В.С. Методика подсчета транспортных средств с использованием космических снимков сверхвысокого пространственного разрешения // Вестн. ТОГУ. 2017. Т. 45. № 2. С. 13–20.

8.     Шошина К.В. Система мониторинга и исследования лесных дорог // Вестн. САФУ. 2013. № 4. C. 50–54.

9.     Лабутина И.А. Дешифрирование аэрокосмических снимков. М., 2004. 184 с.

10. Bacher U., Mayer H. Automatic road extraction from multispectral high resolution satellite images. P&RS, 2005, vol. 36, pt. 3, pp. 29–34.

References

  1. Tormozov V.S. Method of detecting and classifying vehicles on ultra-high resolution satellite images. Promyshlennye ASU i Kontrollery, 2019, no. 6, pp. 18–24. DOI: 10.25791/asu.06.2019.678.f (in Russ.).
  2. Vasilenko K.A. Features of cloud storage technologies. Synergy J., 2018, no. 25, pp. 745–748 (in Russ.).
  3. Yang J., Wang R. Classified road detection from satellite images based on perceptual organization. Int. J. Remote Sensing, 2007, vol. 28, pp. 4653–4669.
  4. Tormozov V.S. Improving the operation of the detection and classification of vehicles on satellite images by reducing the search area using geo-information about roads. Vestn. RosNOU, 2019, no. 2, pp. 56–63. DOI: 10.25586/RNU.V9187.19.02.P.056 (in Russ.).
  5. Montasinos P., Alquier L. Perceptual organization of thin networks with active contour functions applied to medial and aerial images. Proc. 13th Intern. Conf. on Pattern Recognition, 1996, vol. 1, pp. 647–651.
  6. Batista P.A., Prati R.C., Monard M.C. A study of the behavior of several methods for balancing machine learning training data. ACM SIGKDD Explorations Newsletter, 2004, vol. 6, iss. 1, pp. 20–29. DOI: 10.1145/1007730.1007735.
  7. Pugachev I.N., Markelov G.Ya., Tormozov V.S. Methods for counting vehicles using ultra-high spatial resolution satellite imagery. Bull. PNU, 2017, vol. 45, no. 2, pp. 13–20 (in Russ.).
  8. Shoshina K.V. A system for monitoring and forest road research. Bull. NArFU, 2013, no. 4, pp. 50–54 (in Russ.).
  9. Labutina I.A. Decoding Aerospace Images. Moscow, 2004, 184 p. (in Russ.).
  10. Bacher U., Mayer H. Automatic road extraction from multispectral high-resolution satellite images. P&RS, 2005, vol. 36, pt. 3, pp. 29–34.

Permanent link:
http://swsys.ru/index.php?page=article&id=4715&lang=&lang=en&like=1
Print version
Full issue in PDF (8.23Mb)
The article was published in issue no. № 2, 2020 [ pp. 343-348 ]

Perhaps, you might be interested in the following articles of similar topics: