Программные продукты и системы

Предупреждение аварийных ситуаций на технических объектах в значительной мере обеспечивается диагностикой их функционирования. В понятие технического диагностирования входят контроль технического состояния, поиск места и причин неисправности, а также прогнозирование состояния объекта. При решении задачи контроля состояния объекта и его прогнозирования широко используются статистические и интеллектуальные методы [1, 2].

Анализ состояния технического объекта, как правило, проводится в условиях его эксплуатации. При этом получаемая по результатам мониторинга контролируемых параметров информация часто не позволяет дать однозначное заключение о состоянии объекта. Принятие решения об исправности или неисправности объекта связано с риском ложной тревоги (ко- гда исправный объект признается неисправным) или пропуском неисправности (наоборот, когда неисправный объект признается исправным).

Машинное обучение, в частности, нейронных сетей, активно используется при решении задач диагностики [3–5]. Например, нейросетевые методы применены для решения задач контроля технического состояния авиационного газотурбинного двигателя. Для решения поставленной задачи авторы разработали архитектуру нейросетевой экспертной системы «Эксперт Нейро» [6, 7].

Одной из важных задач является диагностика технического состояния гидроагрегата. В истории гидроэнергетики известны примеры, когда низкое качество диагностики при- водило к серьезным авариям. Так, в 1992 году произошел отрыв турбинной крышки гидроагрегата на канадской ГЭС GrandRapids. Схожая по характеру авария произошла в 2009 году на Саяно-Шушенской гидроэлектростанции, где возникшие вибрации привели к усталостным разрушениям шпилек крепления крышки турбины, в результате все гидроагрегаты получили повреждения вплоть до полного разрушения, а машинный зал был затоплен.

Для предупреждения подобных ситуаций проводится вибромониторинг гидроагрегата, при этом получаемые в реальном времени данные по вибрациям рабочих узлов поступают на сервер сбора данных и передаются на стойку управления, где происходят корректировки нагрузки и режима работы или полный останов агрегата. Необходимость оперативного вмешательства и выработки профилактических мероприятий определяется по множеству показателей, характеризующих качество функционирования гидроагрегата. Это показания датчиков относительной и абсолютной вибрации различных узлов агрегата, боя валов, датчиков измерения скорости вращения и других.

Решение задачи диагностики гидроагрегата по результатам вибромониторинга возможно с применением различных подходов. Для анализа стабильности функционирования используются методы статистического управления процессами, для оценки исправности гидроагрегата – методы машинного обучения, в частности, агрегированные классификаторы. В настоящей статье исследуется эффективность применения для вибродиагностики гидроагрегата нейросетевых методов.

Постановка задачи

В процессе вибромониторинга гидроагрегата контролируются десять показателей вибраций. Необходимо распознать состояние агрегата – исправен он или неисправен. Это задача бинарной классификации [8, 9]. Исходными данными являются известные результаты оценки состояния системы: при заданных значениях контролируемых показателей вибраций Хj (j = 1, ..., 10) гидроагрегат исправен (Y = 1) или неисправен (Y = 0). В настоящем исследовании исходная выборка составила 2 000 наблюдений, при этом доля неисправных состояний составила 14,75 %.

Полученная выборка разбивается на три части: обучающую, контрольную и тестовую. Обучающая часть предназначена для построе- ния модели нейронной сети – зависимости между показателями функционирования агрегата и его состояниями.

Контрольная выборка используется для текущей оценки качества обучения и дает возможность предотвратить переобучение ней­ронной сети, что позволяет сохранить эффективность распознавания состояния гидроагрегата на примерах, не участвовавших в обучении. Метод ранней остановки  позволяет не допускать переобучения, останавливая процесс обучения нейронной сети, если за заданное количество эпох значение функции потерь, вычисленной на контрольной выборке, не уменьшается. По причине малого объема исходной выборки параметр «заданное количество эпох» равен 6.

По тестовой выборке оценивается качество классификации. При использовании кросс-валидации исходная выборка разбивается на несколько частей. Например, при заданном объеме тестовой выборки 10 % исходная выборка разбивается на десять частей. Девять из них используются для обучения и контроля, а десятая для тестирования. Последовательно перебираются все десять вариантов, причем наблюдения в частях, используемых для обучающей и контрольной выборок, случайным образом перемешиваются и разделяются на две выборки в пропорции 8:1. Таким образом, итоговое соотношение выборок для обучения, контроля и тестирования, используемых в каждом варианте сочетаний частей исходной выборки, равно 8:1:1. Среднее по тестовым выборкам значение критерия качества диагностики характеризует точность алгоритма.

Стоит отметить, что не все функции обучения используют в своих алгоритмах контрольную выборку. Поэтому для алгоритма байесовской регуляризации, которая не применяет выборку для контроля, использовались только обучающая и тестовая выборки, соответственно, итоговое соотношение этих выборок составляло 9:1.

Для оценки эффективности диагностики использовались три разных критерия качества: средняя ошибка на тестовой выборке, AUC (area under ROC curve) – площадь под ROC-кривой (кривой ошибок) и F-мера [10, 11].

Кривая ошибок показывает зависимость количества верно классифицированных исправных объектов от количества неверно классифицированных неисправных объектов, поэтому площадь под кривой отражает долю объектов, верно распознанных нейросетью. Этот крите- рий эффективности является одним из наиболее популярных в задачах бинарной классификации.

F-мера вычисляется на основе двух метрик: точности и полноты. Точность (Precision) – процент верно определенных объектов одного класса среди всех объектов, отнесенных системой к этому классу; полнота (Recall) – процент верно определенных объектов одного класса среди всех объектов этого класса в тестовой выборке:

где TP (true-positive) – количество истинно-положительных решений (количество объектов 1-го класса, отнесенных к 1-му классу); FP (false-positive) – ложноположительное решение (количество объектов 2-го класса, отнесенных к 1-му классу); FN (false-negative) – ложноотрицательное решение (количество объектов 1-го класса, отнесенных ко 2-му классу). В общем случае F-мера определяется по формуле

где β – коэффициент, задающий приоритет точности (при 0 < β < 1) или полноты (при β > 1). При β = 1 она сводится к гармоническому среднему между точностью и полнотой и называется F1-мерой, или сбалансированной F-мерой. Именно такая мера является наиболее информативным показателем качества при несбалансированных классах (когда исправных состояний гидроагрегата значительно больше, чем неисправных): чем ближе значение F к единице, тем качество классификации выше.

Практическая реализация поставленной задачи проводилась в среде Neural Network Toolbox пакета MATLAB, а также в этом же пакете на базе библиотеки инструментов Statistics and Machine Learning Toolbox. При этом в связи с недостаточным объемом выборки не использовался активно развиваемый в последние годы подход глубокого обучения.

Цель исследования – повышение качества диагностики гидроагрегата за счет разработки конфигурации нейронной сети и анализа методов ее обучения.

Численное исследование

Вначале с помощью библиотеки машинного обучения Statistics and Machine Learning Tool­box была автоматически построена нейронная сеть. Она состоит из одного скрытого слоя с 10 нейронами и обучается с помощью функции обучения trainlm, использующей алгоритм Левенберга–Марквардта с методом обратного распространения ошибки; в качестве функции активации использовалась tansig (гиперболический тангенс). Критерии качества построенной сети: процент ошибок – 5,95, AUC равна 0,8483, а F-мера – 0,7748.

При разработке сети в среде Neural Network Toolbox учитывалось, что количество скрытых слоев в нейронной сети и нейронов в каждом слое определяет количество связей между нейронами соседних слоев, что, в свою очередь, определяет обобщающую способность нейросети. Если обобщающая способность будет мала, средняя ошибка прогноза будет велика. Вместе с этим, если обучающая способность будет больше требуемой, избыточные способности могут привести к переобучению, что обусловит высокую среднюю ошибку прогноза.

По этой причине количество скрытых слоев и нейронов в них было выбрано с некоторым запасом. Стояла задача определения наилучшего количества скрытых слоев и нейронов в каждом из слоев путем перебора различных сочетаний. Для перебора были заданы ограничения на количество слоев в нейросети (от 1 до 4) и на количество нейронов (от 5 до 20). Таким образом, количество возможных сочетаний параметров с учетом четырех функций обучения (trainlm – алгоритм Левенберга–Марквардта, trainbr – алгоритм байесовской регуляризации, trainrp – алгоритм эластичного обратного распространения ошибки и trainscg – алгоритм масштабируемых сопряженных градиентов) составляло 256.

Программа работала по следующему принципу: вначале исходная выборка разбивалась на 10 кросс-валидационных подвыборок, после чего для каждого сочетания этих подвыборок обучалась нейронная сеть, конфигурация которой была сформирована в соответствии с тремя циклами перебора параметров сети – количества нейронов в слое, количества скрытых слоев и функции обучения. Нейронная сеть обучалась на 9 подвыборках. После этого производился тест на оставшейся подвыборке, а критерии качества усреднялись. На выходе программы получалась таблица данных с конфигурациями нейронных сетей и соответствующими значениями критериев качества. В таблице приведены полученные результаты для десяти вариантов сетей с сортировкой по убы- ванию значений F-меры.

Отсортированный по увеличению средней ошибки список нейросетей

List of neural networks sorted by increase in average error

Наилучшей подобранной конфигурацией является нейронная сеть из 3 слоев с 18 нейронами в каждом слое. В качестве функции обучения в ней используется алгоритм Левенберга–Марквардта с методом обратного распространения ошибки. Процент средней ошибки распознавания состояния гидроагрегата с помощью нейронной сети равен 4,85, AUC равна 0,8833, а F-мера – 0,8282.

На рисунке 1 показана отображаемая для каждой нейросети информация на примере сети, показавшей наилучшее значение по F-мере: Data Division: Random – случайный способ деления данных на выборки для обучения, контроля и теста (поскольку алгоритм байесовской регуляризации не использует метод ранней остановки, а из-за применения метода кросс-валидации проверка на тестовой выборке производится отдельно, все 9 частей исходной выборки используются в обучающей выборке); Training: Bayesian Regularization – в качестве функции обучения выбран алгоритм байесовской регуляризации; Performance: Mean Squared Error – из-за особенностей регуляризации в качестве функции потерь используется среднеквадратическая ошибка; Calculations: MEX – выбранная вычислительная модель, позволяющая эффективно подключать написанные на C++ программы и использовать их с экономией памяти.

На рисунке также отражена информация о процессе обучения нейросети: Epoch – количество эпох; Time – время, затраченное на обучение; Performance – значение функции потерь (среднеквадратической ошибки); Gradient – значение градиента; Mu – значение параметра, использующегося в формуле обновления весов нейронов и препятствующего застреванию нейросети в локальных минимумах; Effective # Param – количество эффективно настроенных параметров нейросети; Sum Squared Param – остаточная сумма квадратов.

Из окна с информацией можно открыть график функции потерь (рис. 2), из которого видно уменьшение ошибки во время процесса обучения на каждой эпохе. На графике кружком отмечена точка минимума, соответствующая эпохе, в которой ошибка была меньше всего.

Анализ полученной конфигурации сети по сравнению с сетью, автоматически построенной с помощью библиотеки машинного обуче- ния Statistics and Machine Learning Toolbox, ви- зуально продемонстрировал эффективность представленной разработки (см. http://www. ru/uploaded/image/2020-4/2020-4-dop/4.jpg).

Заключение

Разработанная методика диагностики исправности гидроагрегата с использованием нейронных сетей обеспечивает повышение на 6,7 % значения F-меры (являющейся наиболее информативным показателем качества бинарной классификации при несбалансированных классах) в рассматриваемой выборке.

Исследование выполнено при финансовой поддержке РФФИ и Правительства Ульяновской области, грант № 18-48-730001.

Литература

1.    Биргер И.А. Техническая диагностика. М.: Машиностроение, 1978. 240 с.

2.    Клячкин В.Н., Крашенинников В.Р., Кувайскова Ю.Е. Прогнозирование и диагностика стабильности функционирования технических объектов. М.: Русайнс, 2020. 200 с.

3.    Wyner A.J., Olson M., Bleich J., Mease D. Explaining the success of adaboost and random forests as interpolating classifiers. The Journal of Machine Learning Research, 2017, vol. 18, no. 48, pp. 1–33.

4.    Orozco J., Garcia C.A.R. Detecting pathologies from infant cry applying scaled conjugate gradient neural networks. Proc. ESANN, Belgium, Bruges, 2003, pp. 349–354.

5.    Санталов А.А., Жуков Д.А. Диагностика технического состояния системы с применением нейросетевых методов // Перспективные информационные технологии: сб. тр. Междунар. науч.-технич. конф. Самара, 2018. С. 201–205.

6.    Васильев В.И., Жернаков С.В. Классификация режимов работы ГТД с использованием технологии нейронных сетей // Вестн. УГАТУ. 2009. Т. 12. С. 53–60.

7.    Жернаков С.В., Гильманшин А.Т. Применение интеллектуальных алгоритмов на основе нечеткой логики и нейронных сетей для решения задач диагностики отказов авиационного ГТД // Интеллектуальные технологии обработки информации и управления: сб. тр. II Междунар. конф., 2014. С. 112–115.

8.    Воронина В.В., Михеев А.В., Ярушкина Н.Г., Святов К.В. Теория и практика машинного обучения. Ульяновск: изд-во УлГТУ, 2017. 290 с.

9.    Witten I.H., Frank E. Data Mining: Practical Machine Learning Tools and Techniques. SF: Morgan Kaufmann Publ., 2005, 525 р.

10. Davis J., Goadrich M. The relationship between Precision-Recall and ROC curves. Proc. 23rd Intern. Conf. on Machine Learning, Pittsburgh, 2006, pp. 233–240. DOI: 10.1145/1143844.1143874.

11. Hand D.J., Till R.J. A simple generalisation of the area under the ROC curve for multiple class classification problems. Machine Learning, 2001, vol. 45, no. 2, pp. 171–186.

References

1. Birger I.A. Technical Diagnostics. Moscow, 1978, 240 p. (in Russ.).
2. Klyachkin V.N., Krasheninnikov V.R., Kuvajskova Yu.E. Forecasting and Diagnostics of Functioning Stability of Technical Objects. Moscow, 2020, 200 p. (in Russ.).
3. Wyner A.J., Olson M., Bleich J., Mease D. Explaining the success of adaboost and random forests as interpolating classifiers. The Journal of Machine Learning Research, 2017, vol. 18, no. 48, pp. 1–33.
4. Orozco J., Garcia C.A.R. Detecting pathologies from infant cry applying scaled conjugate gradient neural networks. Proc. ESANN, Belgium, Bruges, 2003, pp. 349–354.
5. Santalov A.A., Zhukov D.A. Diagnostics of the system technical state using neural network methods. Proc. Int. Sci. Conf. Advanced Information Technology, Samara, 2018, pp. 201–205 (in Russ.).
6. Vasilev V.I., Zhernakov S.V. Classification of GTE operation modes with use of neural network technology. Vestn. USATU, 2009, vol. 12, pp. 53–60 (in Russ.).
7. Zhernakov S.V., Gilmanshin A.T. Applying intelligent algorithms based on fuzzy logic and neural networks to solve the problems of diagnostics of aviation gas turbine engine failures. Proc. 2nd Intern. Conf. ITIPM, 2014, pp. 112–115 (in Russ.).
8. Voronina V.V., Mikheev A.V., Yarushkina N.G., Svyatov K.V. Theory and Practice of Machine Learning. Ulyanovsk, 2017, 290 p. (in Russ.).
9. Witten I.H., Frank E. Data Mining: Practical Machine Learning Tools and Techniques. SF, Morgan Kaufmann Publ., 2005, 525 р.
10. Davis J., Goadrich M. The relationship between precision-recall and roc curves. Proc. 23rd Intern. Conf. on Machine Learning, Pittsburgh, 2006, pp. 233–240. DOI: 10.1145/1143844.1143874.
11. Hand D.J., Till R.J. A simple generalisation of the area under the ROC curve for multiple class classification problems. Machine Learning, 2001, vol. 45, no. 2, pp. 171–186.