На правах рекламы:
ISSN 0236-235X (P)
ISSN 2311-2735 (E)

Авторитетность издания

ВАК - К1
RSCI, ядро РИНЦ

Добавить в закладки

Следующий номер на сайте

4
Ожидается:
09 Сентября 2024

Использование метода валидации выделением особенностей для сопоставления наборов экспериментальных или смоделированных данных

Applying the feature selective validation method to compare experimental or simulated datasets
Дата подачи статьи: 31.01.2024
Дата после доработки: 23.04.2024
Дата принятия к публикации: 27.04.2024
УДК: 004.042
Группа специальностей ВАК: 1.2.2.
Статья опубликована в выпуске журнала № 3 за 2024 год. [ на стр. 310-317 ]
Аннотация:Данная работа посвящена методу валидации выделением особенностей (FSV), широко используемому зарубежными специалистами в области радиотехники и электроники при количественной оценке совпадения двух наборов данных (например, при сопоставлении результатов компьютерного моделирования и эксперимента). Для этого создано новое свободно распространяемое программное средство на основе метода FSV, представлены теоретические сведения о методе, а также примеры его использования. Так, приведено описание процедуры сопоставления данных методом FSV. Отмечены особенности разбиения данных на поддиапазоны, основы получения мер разности между наборами и интерпретации рассчитанных мер при построении оценочных гистограмм. Разработана блок-схема, наглядно описывающая алгоритм работы метода FSV и специфику его программной реализации. Используя эту блок-схему, на языке C++ разработано программное средство на основе метода FSV. Приведены сведения об инструментах разработки программного средства, его программной архитектуре, графическом интерфейсе пользователя, а также о функциональных возможностях. Даны примеры использования метода FSV в виде гистограмм глобальной меры разности, полученных при сопоставлении четырех наборов данных, описывающих сложные и нелинейные частотные зависимости: напряжения в многосвязной линии передачи, эффективности экранирования металлического корпуса, модуля коэффициента передачи проводной структуры, напряженности электрического поля снаружи резонатора со щелью. В результате показано, что разработанное программное средство и метод FSV позволяют получить достоверную количественную оценку совпадения двух наборов данных даже тогда, когда их качественное визуальное сопоставление затруднительно.
Abstract:This paper is intended to introduce domestic engineers and researchers to the feature selective validation (FSV) method, which is widely used by foreign specialists in radio-engineering and electronics for quantitative evaluation of the agreement between two datasets (for example, when comparing the results of simulation and experiment). For this purpose, the paper presents a new open source software tool based on the FSV method. It also gives theoretical information about the method and shows examples of its use, describes a FSV data comparison procedure in detail. The paper notes the peculiarities of data partitioning into subranges, the basics of calculating measures indicating the difference between sets, and the interpretation of calculated measures when constructing evaluation histograms. The developed block diagram visually describes the algorithm of the FSV method and the specifics of its software implementation. A software tool based on the FSV method was developed in C++ using this block diagram. The paper provides information about the development tools, software architecture, graphical user interface, and functionalities. The final part of the paper presents examples of applying the FSV method in the form of global difference measure histograms obtained by comparing four data sets describing complex and non-linear frequency dependencies: voltage in a multi-conductor transmission line, shielding effectiveness of a metal enclosure, modulus of the transmission coefficient for a wire structure, electric field strength outside an apertured cavity. The results showed that the developed software tool and the FSV method allow obtaining a reliable quantitative assessment of the agreement between two data sets, even when their qualitative visual comparison is difficult.
Авторы: Шайманов Н.Ю. (vishado1@mail.ru) - Томский государственный университет систем управления и радиоэлектроники (ТУСУР) – Научно-исследовательская лаборатория «Безопасность и электромагнитная совместимость радиоэлектронных средств» (инженер), Томск, Россия, Авраамов В.П. (avp@2i.tusur.ru) - Томский государственный университет систем управления и радиоэлектроники (ТУСУР) – Научно-исследовательская лаборатория «Безопасность и электромагнитная совместимость радиоэлектронных средств» (инженер), Томск, Россия, Иванов А.А. (anton.ivvv@gmail.com) - Томский государственный университет систем управления и радиоэлектроники (ТУСУР) – Научно-исследовательская лаборатория «Безопасность и электромагнитная совместимость радиоэлектронных средств» (старший научный сотрудник), Томск, Россия, кандидат технических наук, Куксенко С.П. (ksergp@tu.tusur.ru) - Томский государственный университет систем управления и радиоэлектроники (ТУСУР) – Научно-исследовательская лаборатория «Безопасность и электромагнитная совместимость радиоэлектронных средств» (доцент, зав. лабораторией), Томск, Россия, доктор технических наук
Ключевые слова: программное средство, сопоставление данных, FSV, метод валидации выделением особенностей
Keywords: software, datasets analysis, FSV, feature selective validation
Количество просмотров: 2056
Статья в формате PDF

Размер шрифта:       Шрифт:

Введение. При решении исследовательских и инженерных задач в области радиотехники и электроники часто возникает необходимость сравнения двух наборов данных (например, результатов компьютерного моделирования и натурного эксперимента). Для этого, как правило, выполняется расчет погрешностей или отклонений, которые, однако, не всегда дают адекватную оценку сходимости результатов, особенно, если сопоставляемые данные описывают сложные нелинейные зависимости.

Для сопоставления двух наборов данных предложен метод валидации выделением особенностей [1–3], известный в зарубежной литературе как feature selective validation method (далее – метод FSV). Данный метод позволя- ет получить количественную оценку качества совпадения двух наборов данных и избавиться от элемента субъективности в процессе этой оценки. После своего появления метод FSV быстро завоевал популярность и стал широко использоваться для верификации математических моделей в области вычислительной электродинамики [4–6] и в других сферах [7, 8]. Метод также был включен в знаковый зару- бежный стандарт IEEE STD 1597, регламентирующий процедуры тестирования математического и программного обеспечения, предназначенного для электромагнитного моделирования. Несмотря на широкую распространенность  и удобство метода FSV, отечественные исследователи и разработчики его практически не применяют. Цель данной работы – восполнить этот пробел за счет демонстрации примеров использования метода FSV, а также разработки простого открытого программного средства (ПС), реализующего этот метод.

Алгоритм сопоставления данных  методом FSV

Алгоритм сопоставления данных с помощью метода FSV включает четыре основных этапа: предобработка данных, их разделение на диапазоны, расчет мер разности между наборами данных, интерпретация рассчитанных мер для построения оценочной гистограммы (рис. 1).

На этапе предобработки осуществляются импорт сопоставляемых наборов данных, их интерполяция (для получения одинакового числа отсчетов) и последующее применение  к ним быстрого преобразования Фурье. После быстрого преобразования Фурье число отсчетов в наборах остается таким же, как и в исходных данных до преобразования.

На втором этапе производится разделение данных, полученных после быстрого преобразования Фурье, на три диапазона: DC (постоянный ток), Lo (низкие частоты) и Hi (высокие частоты). К диапазону DC обычно относят все отсчеты с номерами i от 1 до 5, причем данные, соответствующие этим отсчетам, при дальней- шей оценке не используются, то есть удаляются из наборов. Для определения границы между диапазонами Lo и Hi сначала в каждом из наборов данных определяются так называемые точки 40 % (i40 %). Каждая такая точка соответствует номеру отсчета, на котором сумма всех значений данных на предшествующих ему отсчетах равна 40 % от общей суммы S всех значений в наборе данных. Затем из двух найденных точек i40 % выбирается наибольшая, которая назначается в качестве точки ibp, разделяющей диапазоны Lo и Hi. Если исходные наборы содержат K отсчетов, в результате получим Lo = X {6, …, ibp} и Hi = X {ibp+1, …, K}. В завершение этапа разделения данных к полученным диапазонам Lo и Hi применяется обратное преобразование Фурье.

Следует отметить, что описанный метод разделения данных на диапазоны не является единственно возможным и тем более оптимальным. Так, помимо жесткого разбиения наборов данных, широко распространены методы разделения на основе фильтрации, в результате которой в диапазоны Lo и Hi включаются пять или девять общих точек (отсчетов) [2].

На следующем этапе отсчеты, попавшие  в диапазоны Lo и Hi, используются для расчета мер разности между исходными наборами данных (процедура расчета подробно изложена  в работе [9]). Так, для сопоставления наборов по амплитудному критерию (тренду) применяется так называемая мера разницы амплитуд (amplitude difference measure, ADM). Различие между скоростями изменения наборов данных оценивается по значениям меры разности характеристик (feature difference measure, FDM). Для общей оценки сходимости часто используется глобальная мера разности (global difference measure, GDM), определяемая для n-го отсчета как

В рамках заключительного этапа с помощью вычисленных значений мер ADM, FDM или GDM строится доверительная гистограмма, отображающая оценку согласованности двух наборов данных. Для построения  гистограммы применяется таблица интерпретации результатов метода FSV, устанавлива-ющая соотношения между значениями рассчитанной меры и качественными категориями от «очень плохо» до «отлично». В алгоритме  из рисунка 1 для получения оценочной гистограммы на этапе постобработки создаются шесть счетчиков (согласно числу качественных категорий), которые фиксируют резуль- таты проверки каждого из N вычисленных значений GDM, FDM или ADM по таблице. На основе информации из счетчиков формируется, а затем выводится оценочная гистограмма с процентной шкалой.

Интерпретация результатов метода FSV

Interpretation of FSV results

Значение GDM

Результат

GDM < 0,1

Отлично

0,1 ≤ GDM < 0,2

Очень хорошо

0,2 ≤ GDM < 0,4

Хорошо

0,4 ≤ GDM < 0,8

Удовлетворительно

0,8 ≤ GDM < 1,6

Плохо

1,6 ≤ GDM

Очень плохо

Разработка ПС

На базе алгоритма (рис. 1) разработано ПС для сопоставления двух наборов данных методом FSV (https://talgat.org/). Разработка выполнялась на базе MS Windows 10 с использованием возможностей фреймворка Qt Creator на языке C++. Также был применен ряд вспомогательных библиотек, таких как Armadillo (для реализации процедур быстрого преобразования Фурье и обратного преобразования Фурье), QtXlsx (для работы с файлами excel) и QCustomPlot (для построения и визуализации исход- ных данных и оценочных гистограмм). На рисунке 2 приведена UML-диаграмма компонентов созданного ПС. Для объединения работы всех компонентов используется файл Main, управляющий вызовом функций и обработкой данных, а также реализующий процедуры логирования. Основой модуля является компонент FSV, выполняющий функции импорта  и экспорта данных (из директории Source Vector), вычислений по методу FSV, а также построения оценочных гистограмм и рассчитанных мер для их визуализации в графическом интерфейсе (UI). Чтение и запись файлов реализуются базовыми средствами операционной системы.

Разработанное ПС также содержит ряд вспомогательных классов. Так, класс HelpWindow отвечает за отображение справочной информации по работе с ПС, а ConfParams – за конфигурирование (изменение стиля) графического интерфейса.

Для разработанных ПС установлены следующие минимальные системные требования: операционная система Windows 7,8 или 10;  78 Мб свободной памяти на диске; объем ОЗУ не менее 2 Гб; двухъядерный процессор с тактовой частотой не менее 2 ГГц; наличие устройств ввода (клавиатура, мышь) и вывода (монитор).

На рисунке 3 показан графический интерфейс разработанного ПС. В верхней части окна располагаются переключатели между вкладками, содержащими исходные данные, рассчитанные значения ADM, FDM и GDM и их гистограммы. Вкладка «Главная» включает в себя элементы управления, необходимые для импорта наборов данных в ПС. Данные могут быть загружены в популярных текстовых  и табличных форматах: txt, csv, xls или xlsx. Кроме того, доступна загрузка файлов в формате SnP (Touchstone), широко применяющемся в программах для электромагнитного  и схемотехнического моделирования, а также  в векторных и скалярных анализаторах цепей. Для загрузки в ПС данные должны быть разделены по двум отдельным файлам (допускается загрузка двух файлов разных форматов) либо объединены в один, содержащий несколько столбцов. Для удобной работы в ПС добавлено окно для предварительного просмотра содержимого импортируемых файлов (http://www. swsys.ru/uploaded/image/2024-3/7.jpg), а также реализован алгоритм кусочно-линейной интерполяции, позволяющий сравнивать наборы данных с разным числом отсчетов.

В правой части вкладки «Главная» доступен выбор типа фильтра, использующегося при разделении загруженных наборов данных на диапазоны. Всего в ПС реализованы четыре варианта разделения данных, в том числе предусматривающие наличие общих точек (отсчетов) в диапазонах Lo и Hi. Для наглядности выбранная пользователем процедура разделения данных демонстрируется в схематичном виде на графике, расположенном во вкладке AFR filter.

Результаты обработки данных методом FSV отображаются во вкладках ADM Graph–GDM Hist, каждая из которых имеет встроенную графическую сцену для вывода значений мер или их гистограмм (http://www.swsys.ru/uploaded/ image/2024-3/8.jpg). Для настройки этих сцен  в ПС реализованы функции масштабирования, визуализации линий сетки, отображения резуль- татов в процентной шкале и пр. С целью последующего использования результатов вычислений их можно сохранить в табличных форматах csv, xls, xlsx или экспортировать из ПС в виде растровых изображений в формате jpg.

Примеры использования

Для демонстрации возможностей метода FSV и разработанного ПС выполнено сравнение четырех разных наборов данных. Во всех случаях сходимость оценивалась по гистограм- ме GDM, а для разделения наборов на диапазоны применялась фильтрация с пятью общими точками. Первые сопоставленные наборы показаны на рисунке 4а. Данные взяты из [10]  и представляют собой частотные зависимости напряжения U на одном из проводников многосвязной линии передачи, полученные с помощью численного метода конечных элементов  и гибридной модели, сочетающей квазистатический и схемотехнический виды анализа. Из рисунка 4а видно, что до отсчета 600 данные отлично согласуются. С увеличением номера отсчета появляются различия по амплитуде  и положениям локальных минимумов, что усложняет оценку сходимости. При этом в целом различия выглядят адекватными и допустимыми для двух принципиально разных подходов к моделированию. Эта качественная оценка подтверждается гистограммой GDM, показанной на рисунке 4б. Так, видно, что преимущественно (для 81 % отсчетов) данные сходятся с оценками «отлично», «очень хорошо»  и «хорошо». Причем в категорию «очень хорошо» попадает до 40 % данных из наборов.

Следующие наборы данных, показанные на рисунке 5а, взяты из [11]. Они описывают частотные зависимости эффективности экранирования прямоугольного металлического кор- пуса со щелью, полученные методом конечных элементов и полуаналитической моделью. Видно, что до отсчета 500 данные хорошо согласуются. Затем в диапазоне от 500 до 1 000 совпадают только точки минимумов, а по амплитудам имеются значительные различия. При этом во всех последующих отсчетах  (от 1 000 до 1 200) наборы существенно различаются. В результате получение однозначной качественной оценки сходимости результатов не представляется возможным. Однако оценку можно получить с использованием метода FSV. Так, из гистограммы GDM (рис. 5б), видно, что почти для 30 % отсчетов совпадение оценивается как «удовлетворительное». При этом к категориям «отлично» и «очень хорошо» относятся всего лишь 24 % от общего числа данных.

Для третьего примера использованы данные из [12], описывающие частотные зависимости нормированного коэффициента передачи |S21| между концами кабеля, находящегося внутри объемного резонатора, полученные моделированием и экспериментально (посредством из- мерений). Выбранные наборы данных показаны на рисунке 6а. Видно, что результаты моделирования и эксперимента очень близки, однако на измеренной частотной зависимости |S21| имеется множество осцилляций, которые не позволяют дать однозначную оценку сходимости данных без использования метода FSV. Гистограмма GDM, полученная для исследуемых наборов, представлена на рисунке 6б. Видно, что почти для 90 % отсчетов данные согласуются с оценками «отлично», «очень хорошо» и «хорошо». При этом оставшиеся 10 % отнесены к категории «удовлетворительно»,  а данные, оцениваемые «плохо» и «очень плохо», в наборах отсутствуют.

Последние использованные наборы данных показаны на рисунке 7а. Они представляют собой частотные зависимости модуля напряженности электрического поля |E|, полученные при моделировании и измерениях снаружи экранирующего корпуса с излучающей антенной внутри. Видно, что положения максимумов |E| на зависимостях, полученных разными подходами, сходятся, но имеются расхождения  по их амплитудам. При этом качественная оценка сходимости данных осложняется из-за их большого динамического диапазона.

Гистограмма GDM, соответствующая результатам моделирования и измерений |E|, показана на рисунке 7б. Видно, что для 27 % отсчетов совпадение оценивается как «очень хорошее». При этом почти 35 % отчетов отнесено  к категориям «удовлетворительно», «плохо»  и «очень плохо».

Заключение

Приведены теоретические основы и алгоритм работы метода FSV, предназначенного для количественной оценки совпадения двух наборов данных. Представлены результаты разработки ПС на основе метода FSV. Для демонстрации возможностей этого метода и ПС сопоставлены четыре набора данных. В резуль- тате показано, что разработанное ПС и метод FSV позволяют получить достоверные количественные оценки сходимости двух наборов данных даже тогда, когда их качественное ви- зуальное сопоставление затруднительно. По-этому метод FSV может быть рекомендован  к использованию, как минимум, специалистам, разрабатывающим математическое и програм- мное обеспечение для моделирования сложных технических систем. Отметим, что в настоящий момент представленное ПС доступно для свободного скачивания на сайте лаборатории разработчика.

Список литературы

1. Duffy A., Orlandi A. The influence of data density on the consistency of performance of the feature selective validation (FSV) technique. ACES, 2006, vol. 21, no. 2, pp. 164–172.

2. Duffy A., Zhang G. FSV: State of the art and current research fronts. IEEE Electromagnetic Compatibility Magazine, 2020, vol. 9, no. 3, pp. 55–62. doi: 10.1109/MEMC.2020.9241552.

3. Bongiorno J., Mariscotti A. Uncertainty and sensitivity of the feature selective validation (FSV) method. Electronics, 2022, vol. 11, no. 16, art. 2532. doi: 10.3390/electronics11162532.

4. Kadem K., Benyoubi F., Bensetti M. et al. An efficient method for dimensioning magnetic shielding for an induction electric vehicle charging system. PIER, 2021, vol. 170, pp. 153–167. doi: 10.2528/PIER21031903.

5. Zhang G., Duffy A. Applying FSV to the comparison of return path integrity in high speed circuit designs. IEEE  L-EMCPA, 2021, vol. 3, no. 2, pp. 78–81. doi: 10.1109/LEMCPA.2021.3064420.

6. Rabat A., Bonnet P., Drissi K.E.K., Girard S. An analytical evaluation of the shielding effectiveness of enclosures containing complex apertures. IEEE Access, 2021, vol. 9, pp. 147191–147200. doi: 10.1109/ACCESS.2021.3123441.

7. Stöhr T., Rasek G.A., Murthy N.S. Agreement quantification of a numerical EMC computer model and test infrastructure for the HV power train emissions for an electric vehicle. Proc. EMC Europe, 2023, pp. 1–6. doi: 10.1109/EMCEurope57790.2023.10274221.

8. Zhang G., Zappala D., Crabtree C., Donaghy-Spargo C., Hogg S., Duffy A. Validation of a non-contact technique for torque measurements in wind turbines using an enhanced transient FSV approach. Measurement, 2020, vol. 151,  art. 107261. doi: 10.1016/j.measurement.2019.107261.

9. Шайманов Н.Ю., Осинцев А.В., Иванов А.А. Об использовании метода FSV в задачах электромагнитной совместимости // Электронные средства и системы управления: мат. конф. 2023. С. 50–52.

10. Алхадж Хасан А. Виртуальные испытания структуры с модальным резервированием в системе TALGAT // СИБРЕСУРС: мат. конф. 2022. С. 102–107.

11. Ivanov A.A., Demakov A.V., Komnatnov M.E., Gazizov T.R. Semi-analytical approach for calculating shielding effectiveness of an enclosure with a filled aperture. Electrica, 2022, vol. 22, no. 2, pp. 220–225. doi: 10.54614/electrica.2022.21152.

12. Williams A.J.M., Benson T.M., Duffy A.P. Determining the accuracy of TLM in simulating the behaviour of resonant cavities with arbitrary dielectric loading. IJE, 1997, vol. 83, no. 5, pp. 645–660. doi: 10.1080/002072197135201.

References

1. Duffy, A., Orlandi, A. (2006) ‘The influence of data density on the consistency of performance of the feature selective validation (FSV) technique’, ACES, 21(2), pp. 164–172.

2. Duffy, A., Zhang, G. (2020) ‘FSV: State of the art and current research fronts’, IEEE Electromagnetic Compatibility Magazine, 9(3), pp. 55–62. doi: 10.1109/MEMC.2020.9241552.

3. Bongiorno, J., Mariscotti, A. (2022) ‘Uncertainty and sensitivity of the feature selective validation (FSV) method’, Electronics, 11(16), art. 2532. doi: 10.3390/electronics11162532.

4. Kadem, K., Benyoubi, F., Bensetti, M. et al. (2021) ‘An efficient method for dimensioning magnetic shielding for an induction electric vehicle charging system’, PIER, 170, pp. 153–167. doi: 10.2528/PIER21031903.

5. Zhang, G., Duffy, A. (2021) ‘Applying FSV to the comparison of return path integrity in high speed circuit designs’, IEEE L-EMCPA, 3(2), pp. 78–81. doi: 10.1109/LEMCPA.2021.3064420.

6. Rabat, A., Bonnet, P., Drissi, K.E.K., Girard, S. (2021) ‘An analytical evaluation of the shielding effectiveness of enclosures containing complex apertures’, IEEE Access, 9, pp. 147191–147200. doi: 10.1109/ACCESS.2021.3123441.

7. Stöhr, T., Rasek, G.A., Murthy, N.S. (2023) ‘Agreement quantification of a numerical EMC computer model and test infrastructure for the HV power train emissions for an electric vehicle’, Proc. EMC Europe, pp. 1–6. doi: 10.1109/EM-CEurope57790.2023.10274221.

8. Zhang, G., Zappala, D., Crabtree, C. Donaghy-Spargo, C., Hogg, S., Duffy, A. (2020) ‘Validation of a non-contact technique for torque measurements in wind turbines using an enhanced transient FSV approach’, Measurement, 151, art. 107261. doi: 10.1016/j.measurement.2019.107261.

9. Shaymanov, N.Yu., Osintsev, A.V., Ivanov, A.A. (2023) ‘On the use of FSV method in electromagnetic compatibil-ity problems’, Proc. Conf. Electronic Aids and Control Systems, pp. 50–52 (in Russ.).

10. Alhaj Hasan, A. (2022) ‘Virtual experiment of a structure with modal reservations in the TALGAT system’, Proc. Conf. SIBRESOURCE, pp. 102–107 (in Russ.).

11. Ivanov, A.A., Demakov, A.V., Komnatnov, M.E., Gazizov, T.R. (2022) ‘Semi-analytical approach for calculating shielding effectiveness of an enclosure with a filled aperture’, Electrica, 22(2), pp. 220–225. doi: 10.54614/elec-trica.2022.21152.

12. Williams, A.J.M., Benson, T.M., Duffy, A.P. (1997) ‘Determining the accuracy of TLM in simulating the behaviour of resonant cavities with arbitrary dielectric loading’, IJE, 83(5), pp. 645–660. doi: 10.1080/002072197135201.


Постоянный адрес статьи:
http://swsys.ru/index.php?page=article&id=5091
Версия для печати
Статья опубликована в выпуске журнала № 3 за 2024 год. [ на стр. 310-317 ]

Возможно, Вас заинтересуют следующие статьи схожих тематик: