Программные продукты и системы

Адекватность имитационного моделирования в тренажерах операторов эрготехнических радиоэлектронных средств (РЭС) (например, средств управления воздушным движением (ВД)) может быть определена, если имеются или могут быть получены необходимые и достоверные экспериментальные данные функционирования и условий применения штатной техники (ШТ).

Однако статистические экспериментальные данные, представляющие собой выборку {Wi(x)}n из n элементов некоторого параметра (отклика) W(x) РЭО и необходимые для оценки вероятности g адекватности имитационного моделирования в тренажере, как правило, отсутствуют [1]. Единственно возможный путь получения необходимых экспериментальных данных {Wi(x)}n – это проведение натурных испытаний РЭС.

Известно, что заданной точности b и уровню значимости a оценки адекватности имитации пара- метра W(x) соответствует необходимое (минималь- ное) число испытаний nmin РЭС [2]. Поэтому для оценки адекватности имитационного моделирования в тренажерах необходима выборка значений {Wi(x)}n параметра W(x), состоящая из n = nmin элементов. А это означает, что необходимо прове- дение nmin количества натурных испытаний РЭС. Однако порой из-за сложности этих испытаний в организационно-техническом плане и по экономическим соображениям их число ограничивается k, то есть возможная выборка значений {Wi(x)}k параметра W(x) составляет k, причем k < nmin.

Это приводит к увеличению ошибки b оцен- ки адекватности имитации параметра W(x). А с учетом значимости этого параметра W(x) увели- чение ошибки b может привести к возрастанию конфликтов планирования тренажной подго- товки (ТП) операторов с использованием тренажера [3].

Алгоритмическое обеспечение оценки адекватности имитационного моделирования с привлечением экспертов

Для получения недостающего n–k количества экспериментальных данных {Wi(x)}n–k параметра W(x) до {Wi(x)}n, необходимых для оценки адекватности g имитационного моделирования в тренажере РЭС, предлагается метод экспертной оценки WЭ(x) параметра W(x) [4]. Суть его заключается в следующем: для получения недостающей статистической информации {Wi(x)}n–k о значениях параметра W(x)  привлекаются лица (эксперты), обладающие специальными знаниями и опытом работы с данным РЭС (или близким к нему аналогом) [4]. Каждый i-й эксперт дает свою оценку WiЭ(x) параметра W(x). Для получения выборки {Wi(x)}n–k из n–k элементов необходимо N экспертов, число которых определяется количеством nmin элементов выборки {Wi(x)}n и k проведенных испытаний РЭС, то есть N = nmin – k.

Однако необходимо учитывать, что число экспертов, как и экспериментальных данных, также ограничено. Реальное количество экспертов может быть определено по усовершенствованному методу [5], суть которого в следующем: некоторой начальной группе, состоящей из M0 известных исследователю экспертов (M0

,                                            (1)

примерно будет равно

,                         (2)

где

то достаточно одного тура опроса. В противном случае будет проводиться следующий тур с привлечением выявленных в предыдущем туре компетентных экспертов.

Для повышения достоверности экспертной оценки i-го эксперта WiЭ(x) параметра системы W(x)  используют числовую оценку, характеризующую эксперта, – степень его компетенции (вес wi i-го эксперта) в определении параметра W(x) [5]. А с учетом веса wi i-го эксперта по его оценке WiЭ(x) можно определить соответствующее ей i-е значение выборки {Wi(x)}n–k.

Для этого определяется выборочное среднее

и средневзвешенное значение

.

Величина

(3)

показывает, насколько выборочное среднее зна- чение экспертной оценки (без учета компетентности экспертов) отличается от средневзвешенного (с учетом компетентности экспертов).

На основании соотношения (3) имеем:

                          (4)

Таким образом, если wi=1 (для всех i=1, 2, ..., N), то DWЭ(x)=0, следовательно, Wi(x)=WiЭ(x).

Вес wi i-го эксперта можно определить на основании его тестирования по экспериментально подтвержденным заданиям. Так, если имеются k фактических статистических данных параметра W(x), полученных в ходе s-го испытания системы [5], то

,

где WS(x) – фактическое значение параметра W(x); S2S(Wэ(x)) – выборочная дисперсия, определяемая как .

На основании полученных значений весовых коэффициентов компетентности wi каждого i-го эксперта можно определить степень согласованности мнений экспертов в независимой экспертизе (то есть когда все эксперты изолированы):

Чем меньше величина s2(WЭ(x)), тем с большей уверенностью можно доверять найденному значению m(WЭ(x)) и, следовательно, Wi(x) в соответствии с соотношением (4).

Очевидно, что реальное число экспертов N=Np может оказаться как больше, так и меньше Nnom. Поэтому при N > Nnom  рекомендуется по результатам тестирования из N произвести выбор Nnom – наиболее компетентных экспертов. Если N < Nnom, то вероятностно-метрическая оценка адекватности имитационного моделирования в тренажере РЭС может производиться лишь по N+k статистическим данным, следовательно, ее точность не будет соот- ветствовать заданной. Однако экспертиза значений параметров позволяет определить дополнительное количество экспериментальных данных, что повышает точность индикации сопутствующего признака конфликта применения тренажеров.

Таким образом, можно констатировать следующее: разработанное алгоритмическое обеспечение экспертной оценки значений параметров, необходимых для оценки адекватности моделирующего устройства тренажера, позволяет на основании компетентности каждого эксперта определить действительные значения параметров оцениваемой системы и тем самым разрешить проблему ограниченного проведения для этих целей исследовательских испытаний.

Оценка адекватности имитационного моделирования анкетированием обучаемых

Известно, что оценку адекватности тренажеров можно произвести на основании сопоставления их имитационного моделирования с функционированием ШТ. В силу того, что число экспертов ограничено и это может не обеспечить необходимое количество экспериментальных данных, предлагается выполнять оценку адекватности тренажеров силами учебного заведения с привлечением самих обучаемых, которые прошли полный курс ТП с использованием как ШТ, так и тренажеров и могут сравнить их между собой. Этот метод позволяет избежать дополнительных расходов, связанных с проведением испытаний тренажеров и ШТ. При малых группах обучаемых необходимую статистику для требуемой точности оценки адекватности можно получить методом ее накопления.

Суть данного метода состоит в проведении анкетирования обучаемых. Для этого должны быть сформированы анкеты, включающие вопросы в соответствии с информационными признаками, по которым должно происходить сравнение тренажеров с ШТ. Чтобы получить общее представление о методе оценки адекватности имитационного моделирования анкетированием обучаемых, рассмотрим отдельно особенности, связанные с его разработкой.

Постановка вопроса в анкете обучаемых по конкретному информационному признаку тренажера должна иметь следующий смысл: насколько верно то, что при воздействиях на органы управления (…) расхождение между информационным признаком (…) тренажера и ШТ не превышает 10…15 %? При ответе на поставленный вопрос обучаемый выставляет свою балльную оценку wÎ[0, wmax], где wmax – максимально допустимая.

Необходимо обобщенное уточнение: в соответствии с балльной оценкой адекватность тренажера принимает значение

.                                                             (5)

Будем считать, что каких-либо эталонных данных, характеризующих функционирование ШТ, которые могут быть использованы для опреде- ления компетентности обучаемых, нет, а значит, в анкете отсутствуют вопросы, связанные с ее определением. Не будем заострять внимание ни на принципах формирования анкеты, ни на информационных признаках, по которым должны сравниваться тренажеры с ШТ.

Предположим, что анкета уже сформирована. Она состоит из M вопросов. Причем каждый j-й вопрос характеризует конкретный j-й информаци- онный признак тренажера. В анкете отсутствуют дополнительные вопросы, направленные на выявление объективности ответов анкетируемых, а значит, и их компетентности в оценках адекватности тренажера. Необходимо определить методику обработки результатов анкет с учетом введенных ограничений. Очевидно, что каждый вопрос в анкете имеет свою значимость. Экспертным путем [6] можно предварительно проранжировать эти вопросы и определить вес каждого j-го вопроса. С учетом этого результирующая оценка адекватности тренажера, данная i-м обучаемым, будет определяться как

,                                                      (6)

где dЭj – эталонный вес j-го информационного признака; wij – оценка i-м обучаемым j-го информационного признака (wijÎ[0, wmax]) [7].

В свою очередь, общая оценка адекватности тренажера при обработке N анкет может определяться по следующему соотношению:

,                                                      (7)

где ai – компетентность i-го обучаемого [8].

Так как по условию в анкете отсутствуют дополнительные вопросы, по ответам на которые можно было бы определить компетентность анкетируемых, в прямой постановке, используя традиционные методы, определить ее не предоставляется возможным [7]. Остановимся подробнее на определении компетентности на примере использования одного традиционного метода. Пусть одни и те же анкетируемые многократно используются для оценивания числовых величин. Относительная ошибка i-го анкетируемого при k-м опросе

,                                                    (8)

где TЭk – эталонное значение; Tik – оценка, данная i-м анкетируемым.

Тогда ,                           (9)

где mn (n=i, k) – количество оценок, которые дал n-й анкетируемый [7].

Примем, что оценка компетентности анкетируемых возможна только в рамках текущего опроса (H=1). Следовательно, количество оценок, которое может дать анкетируемый, ограничивается количеством в анкете вопросов (mn=M). С учетом этого соотношения (8) и (9) будут иметь вид

,                                                     (10)

,                                                 (11)

где dЭj  – эталонное значение веса j-го вопроса анкеты; dij – оценка веса j-го вопроса анкеты, данная i-м анкетируемым.

Так как оценки dij в явном виде отсутствуют, то использование (10) и (11) для определения компетентности в прямой постановке не представляется возможным. Оценку компетентности ответа i-го обучаемого на j-й вопрос анкеты можно осуществить и без наличия эталонных данных по следующему соотношению:

,                                   (12)

где ,                                                    (13)

                               (14)

– соответственно средневзвешенная оценка и дисперсия ошибки j-го информационного признака тренажера [7].

Процедура определения aij основана на методе итерации и состоит в следующем:

а) первоначально задают aij=1;

б) по соотношениям (13) и (14) на основании личных оценок wij определяются компоненты соотношения (12);

в) по соотношению (12) осуществляется уточненное вычисление aij;

г) в соответствии с новым значением aij происходит повторное выполнение пунктов б) и в) до тех пор, пока не будет достигнуто стационарное состояние значений aij,  и Sj.

Очевидно, что возможна ситуация, когда по каждому оцениваемому j-му информационному признаку тренажера анкетируемый будет иметь различные степени компетентности, что не совсем корректно. Для устранения этого недостатка предлагается определять средневзвешенную оценку  компетентности с учетом ранее полученных aij. Нахождение средневзвешенной оценки  происходит аналогичным образом, как и , по следующей формуле: , где ,  – степень значимости j-го информационного признака тренажера и дисперсия ошибки компетентности i-го анкетируемого соответственно.

Имея значения bij, можно определить вес каждого j-го вопроса, соответствующий i-му анкетируемому: .

На основании сравнения dЭj с dij в соответствии с (10) можно определить относительную ошибку оценки веса j-го вопроса i-го анкетируемого, а значит, используя соотношение (11), и его компетентность ai.

Необходимо отметить, что для обеспечения организованного управления ТП важно знать не только результирующую оценку адекватности тренажера, определяемую по соотношениям (6) и (7), но и оценки его j-х информационных признаков. Это позволит выявлять причинно-следственные факторы, характеризующие адекватность тренажера, и определять управляющие воздействия, направленные на корректировку конкретных аспектов его использования в интересах повышения качества обучения. С учетом этого, не нарушая общности рассуждений, (6) и (7) можно представить иначе:

,                                                     (15)

,                                                       (16)

где  – уточненная оценка компетентности i-го анкетируемого;  – вес j-го вопроса анкеты, определенный по результатам анкетирования.

Окончательную степень согласованности результатов анкетирования можно оценить по следующим соотношениям:

, , где  – суммарная по результатам анкетирования оценка степени значимости j-го вопроса анкеты.

Чем меньше величины s2(wj) и s2(w), тем с большей уверенностью можно доверять найденным значениям w*j и w*.

На основании (15) и (16) с учетом (5) получаем соответствующие оценки адекватности тренажера, которые будут иметь вид

,                                                           (17)

.                                                            (18)

Определение dЭj возможно на основании предварительной экспертизы вопросов анкеты обучаемого. По аналогии с вышеизложенным суть такой экспертизы может заключаться в привлечении NЭ экспертов, которые по каждому j-му вопросу анкеты обучаемого выставляют оценку bЭjm его значимости, . Причем эта оценка может быть дана в баллах. Зная компетентность am m-го эксперта, можно определить средневзвешенную экспертную оценку j-го вопроса и дисперсию ее ошибки:

, .

Следовательно, эталонное значение веса j-го вопроса, используемого в дальнейшем для обработки результатов анкетирования, может быть определено как .

Чем выше am и больше NЭ, тем меньше дисперсия s2(bЭj) и с тем большей уверенностью можно доверять значениям , а значит, и dЭj.

С учетом этого для проведения экспертизы необходимо первоначально сформировать группу, состоящую из NЭ компетентных экспертов. Для этого можно воспользоваться несколько модернизированной методикой [8].

Пусть организатору экспертизы анкеты обучаемых известно G кандидатов, которые могут принять в ней участие. Сначала для этих кандидатов по контрольному тесту определяется оценка их компетентности am. Это возможно, если в основу теста заложить некоторые эталонные значения, которые сравниваются со значениями ответов кандидатов в соответствии с соотношениями (8) и (9). Далее, за- дав граничное значение компетентности aзад, производится выбраковка некомпетентных кандидатов, у которых am

Процесс организации анкетирования и обработки его результатов можно представить в виде структуры [8], изображенной на рисунке 1.

Таким образом, разработан метод, позволяющий обеспечить вероятностную оценку степени адекватности имитационного моделирования в тренажерах анкетированием обучаемых, когда необходимые экспериментальные данные от объектов моделирования отсутствуют или не могут быть получены. Этот метод базируется на применении анкет обучаемых и анкет экспертов и вполне может быть реализован в рамках учебного заведения, где в учебном процессе используются тренажеры. Оценка адекватности тренажера (18) является индикатором конфликта применения тренажеров. В свою очередь, оценка адекватности j-го информационного признака (17) с учетом его значимости может быть использована как для совершенствования методического обеспечения и деятельности инструкторского состава, направленных на сглаживание выявленных недостатков тренажеров, так и для предъявления требований к разработчикам тренажеров по их модернизации.

Реализация методов

Реализацию субъективных методов вероятностной оценки степени адекватности имитационного моделирования в тренажерах операторов эрготех- нических РЭС предлагается выполнять на основе комплекса программ оценки адекватности тренажеров с привлечением экспертов и анкетированием обучаемых. Особенностью применения этих программ с привлечением экспертов и анкетированием обучаемых является то, что они обеспечивают не подтверждение гипотез об адекватности или неадекватности имитационного моделирования, а собственно оценку степени его адекватности, которая является индикатором конфликта применения тренажеров из-за их ограниченной адекватности.

На рисунке 2 представлена структура комплекса программ, реализующих субъективные методы вероятностной оценки степени адекватности имитационного моделирования в тренажерах операторов эрготехнических РЭС.

Оценка адекватности имитационного моделирования в тренажерах с привлечением экспертов основана на использовании значений весовых коэффициентов компетентности каждого i-го эксперта для определения степени согласованности мнений экспертов в независимой экспертизе, то есть когда все эксперты изолированы. Компетентность каждого эксперта позволяет определить действительные значения параметров оцениваемой системы и, таким образом, решить проблему по ограниченному проведению для этих целей исследовательских испытаний. На рисунке 3а представлен интерфейс программы оценки адекватности тренажеров с привлечением экспертов [9].

Программа оценки адекватности тренажеров анкетированием обучаемых [10] создана для автоматизации оценки адекватности тренажеров обучаемыми, прошедшими курс тренажной подготовки с использованием тренажеров и ШТ и способными сравнить их между собой по информационным признакам. Интерфейс этой программы изображен на рисунке 3б. Перечень информационных признаков в виде анкеты обучаемых формируется на основании обработки данных экспертизы. Для этого в программе по новым алгоритмам определяется группа экспертов с учетом их компетентности и производится корректировка вопросов анкеты обучаемых. Помимо этого, в программе производится обработка данных анкетирования обучаемых, на основании которой определяется оценка адекватности информационных признаков и тренажера в целом.

Литература

1.     Дудоров А.Д. Методика оценки тренажеров лиц группы руководства полетами в интересах повышения качества их подготовки // Современные проблемы и перспективные направления развития авиационных комплексов и систем военного назначения, формы и способы их боевого применения: сб. стат. Всерос. науч.-практич. конф. Воронеж: Изд-во ВАИУ, 2011. С. 92–98.

2.     Сысоев Е.С. Оптимизация тренажерной подготовки операторов сложных информационных радиоэлектронных систем управления воздушным движением // Информатика: проблемы, методология, технологии: матер. 11-й Междунар. науч.-методич. конф. Воронеж: Изд-во ВГУ. Т. 2. С. 216–222.

3.     Лебедев В.В., Романов А.В. Теоретико-множественный подход к описанию функционирования эрготехнических радиоэлектронных средств // Проблемы эффективности и безопасности функционирования сложных технических и информационных систем: тр. 32-й Всерос. науч.-технич. конф. Серпухов:  Изд-во филиала ВА РВСН, 2013. С. 118–122.

4.     Помазуев О.Н., Платонов А.Ю., Миронов А.М., Абу-Абед Ф.Н., Рюмшин А.Р. Методика определения показателей качества обнаружения радиолокационных станций // Программные продукты и системы. 2014. № 2. С. 118–124.

5.     Агапов Е.А. Проектирование автоматизированных информационных систем освоения эрготехнических комплексов // Эффективность автоматизированных систем управления авиацией, систем связи и РТО ВВС: науч.-технич. сборник. Ногинск: Изд-во 4 ЦНИИ МО РФ, 2012. С. 112–118.

6.     Дикарев В.А. Особенности профессиональной подготовки операторов при использовании компьютерных систем тренажа // XXXIV научные чтения, посвященные разработке творческого наследия К.Э. Циолковского: сб. стат. Всерос. науч.-технич. конф. Калуга: Калужский дом знаний, 1999. С. 181–184.

7.     Пономаренко В.А. Психология жизни и труда летчика. М.: Воениздат, 1992. 58 с.

8.     Сысоев В.В., Крутских П.П., Свинцов А.А. Математическая модель информационного конфликта // Радиотехника (журнал в журнале). 1999. № 3. С. 77–80.

9.     Потапов А.Н., Пасмурнов С.М. Математическая модель количественного критерия оценки адекватности имитационного моделирования в тренажерах операторов эрготехнических систем // Вестн. Воронеж. гос. технич. ун-та. 2012. Т. 8. № 3. С. 4–8.

10.   Губсков Ю.А., Прокофьев С.Н. Системная модель информационной конфликтно-устойчивой автоматизированной системы освоения эрготехнических комплексов // Информатика: проблемы, методология, технологии: матер. 12-й Междунар. науч.-методич. конф. Воронеж: Изд-во ВГУ. 2012. Т. 1. С. 109–112.