Тренажер для подготовки специалистов должен обеспечить отработку требуемых учебных задач, для чего необходимо оценить соответствие моделируемых ситуаций реальным. Вопросы проверки на адекватность морских тренажеров в прямой постановке до настоящего времени практически не освещались. Определенные подходы отмечены в [1–3]. В данной статье описывается один из возможных методов оценки качества тренажерных средств.

Поскольку тренажер представляет собой совокупность имитационных моделей (ИМ), необходимо на стадии его проектирования проводить исследование свойств ИМ. Наиболее верный способ такой проверки целесообразно проводить, используя реальные системы и объекты, то есть осуществляя определенное коли-чество натурных экспериментов. Поскольку тренажер представляет собой совокупность ИМ работы расчетов органов управления при комплексной отработке задач, включающих оценку и анализ внешних условий по отношению к управляемым объектам, выработку команд управления объектами и оценку результатов действий управляемых объектов, необходимо на стадии проектирования тренажеров проводить исследование свойств ИМ [4, 5].

Полученные с помощью конкретной ИМ результаты должны обладать требуемой точностью и достоверностью. Достоверность результатов моделирования предполагает, что ИМ отвечает некоторым специфическим требованиям, позволяющим оценить ее качество. Оценка качества модели предполагает проверку на соответствие целям моделирования. В общем случае оценка свойств модели включает:

−     оценку адекватности модели;

−     оценку точности результатов моделирования (погрешность имитации, обусловленную наличием в модели неидеальных генераторов случайных чисел);

−     определение длительности переходного режима в работе ИМ;

−     оценку устойчивости результатов имитации исследуемых процессов;

−     исследование чувствительности модели.

Оценка адекватности модели отражает степень ее соответствия реальной системе. Она может быть проведена только в случае, если у исследователя есть возможность сопоставить результаты прогона модели с работой реальной системы.

Алгоритм проверки адекватности модели состоит в сравнении выходов модели и реальной системы при одинаковых значениях входов, причем значения откликов и системы, и модели считаются выборочными данными. В этом случае используются статистические методы проверки гипотез. Нулевая гипотеза (Н0) предполагает несущественность различий между средними величинами откликов системы и откликов модели. При этом могут использоваться различные статистические критерии, например, t-критерий Стьюдента [6]. В результате проверки гипотеза может быть отвергнута, тогда принимается ее альтернатива.

При моделировании проектируемого объекта оценку адекватности провести невозможно.

Входные параметры модели часто задаются вероятностно (в виде определенного интервала). Генератор псевдослучайных чисел, встроенный в известные системы имитационного моделирования, определяет какое-либо значение параметра (например, поступление транзактов) внутри этого интервала. Наличие генератора является источником погрешности имитации.

Поэтому проводят несколько прогонов модели (обычно N = 10) при одних и тех же серединных значениях параметров X, но разных пограничных точках интервалов (например, интервала поступления транзактов). По полученным откликам (Y) оценивается погрешность. Оценить погрешность можно путем определения оценок математического ожидания и дисперсии отклонения компонент вектора откликов Y (применяется понятие «оценка математического ожидания», а не «математи-ческое ожидание», так как речь идет о выборочной совокупности, приблизительно оценочно отражающей генеральную совокупность). Оценки математического ожидания (Yn) и дисперсии (Dn) вычисляются по известным формулам:

где Ynk – отклики модели по прогонам; N2 – число прогонов в ИМ.

Далее определяется доверительный интервал математического ожидания отклика Y.

Погрешности порождаются генераторами псевдослучайных чисел, поэтому можно допустить нормальный закон распределения отклонений Ynk от значений Y. Поскольку выборка является малой (k < 30), для нахождения доверительных интервалов используется t-статистика (распределение Стьюдента). Алгоритм нахождения доверительного интервала (интервала, в котором с выбранной исследователем вероятностью находится математическое ожидание значений отклика) следующий:

,

где t0,05 – значение, определяемое по таблице «Значения t-критерия Стьюдента» (оно зависит от числа степеней свободы (v = N – 1) и уровня значимости суждений a = 0,05).

Точность суждений о значении какого-либо показателя отклика (например, средней длины очереди) зависит от количества выборочных значений: чем больше выборка, тем точнее результат. Если точность (то есть доверительный интервал) задается заранее и исследователь остановился на каком-то одном уровне вероятности суждения (чаще Р берется равным 0,95), необходимое количество прогонов (N) определяется путем обратной задачи следующим образом:

N = N0 d0/d2,

где N0 – число пробных прогонов; d0 – длина доверительного интервала, получившегося по результатам пробных прогонов (в единицах измерения оцениваемого показателя); d2 – экспертно определяемая длина доверительного интервала, необходимая для исследователя (в единицах измерения оцениваемого показателя).

Под устойчивостью результатов имитации понимается степень ее нечувствительности к изменению входных условий. Устойчивость модели – это способность сохранять адекват-ность на всем диапазоне рабочей нагрузки, а также при внесении изменений в конфигурацию системы. Чем ближе структура модели к структуре системы и больше степень ее детализации, тем выше устойчивость модели.

В целом устойчивость результатов моделирования можно оценить дисперсией значений отклика (одного из показателей работы системы, например, коэффициента загрузки устройства). Если при увеличении времени моделирования дисперсия отклика не увеличивается, результаты работы данной модели устойчивы.

Чувствительность ИМ означает степень изменения выходных параметров модели (Y), или откликов, в зависимости от входящих характеристик (X). Под входящими характеристиками понимаются, например, интенсивность поступления транзактов, временной диапазон обслуживания одного транзакта и др. В зависимости от диапазона изменения откликов Y определяется стратегия планирования экспериментов на ИМ. Если при значительном изменении X отклик Y меняется незначительно, значит, данный фактор несущественно влияет на результаты работы системы, имитируемой моделью.

Эффективность проводимых натурных экспериментов оценивается количественно с помощью показателей надежности выполнения учебной задачи. В их качестве выступает вероятность выполнения задачи в установленное время или эффективность выполнения задачи. Безусловно, идеальной при проведении натурных экспериментов является реальная система. Однако, исходя из критерия «эффективность–стоимость», очевидно, что для проверки адекватности ИМ мы придем к их экономической нецелесообразности. Таким образом, необходим выбор рациональной программы (варианта) проведения мероприятия, направленного на повышение его эффективности. В качестве такого варианта предлагается использовать аналоги реальных систем, обладающих высокой степенью надежности выполнения учебной задачи (от 0,90 до 0,99) и более высокими показателями технико-экономической эффективности. Математический аппарат решения задачи, подтверждающий надежность ее выполнения, основан на методах теории вероятностей и математической статистики, однако классические статистические методы подтверждения гипотез и результатов экспериментов, разработанные с расчетом их распространения на достаточно большую, если не бесконечную, совокупность экспериментов – проверку адекватности ИМ, неприемлем. Применение таких методов для подтверждения эффективности натурных экспериментов не даст оптимальных решений. Необходимо при разработке метода подтверждения эффективности мероприятий (экспериментов), с одной стороны, учесть реальное число образцов моделируемых объектов, а с другой – определить требуемое (минимально необходимое) количество натурных экспериментов для подтверждения их эффективности, при котором степень надежности выполнения задачи будет не ниже установленной в техническом задании на конкретный (участвующий в эксперименте) образец. В конечном счете необходимо определить такое количество испытаний (k) для подтверждения эффективности, при котором, во-первых, экономические потери и затраты будут минимальными, а во-вторых, количество измерений будет достаточным для получения доверительной оценки с потребной надежностью и точностью. Конечным этапом технико-экономической оценки считается сравнение различных конкурирующих образцов по упомянутому выше критерию «эффективность–стоимость», то есть из нескольких образцов, требующих одинаковых экономических затрат, выбирают тот, который обеспечит более эффективное выполнение решаемых задач, а из образцов, обеспечивающих одинаковую эффективность, – требующий меньших экономических затрат.

В основу приведенного далее математического аппарата проверки адекватности ИМ положены исследования по имитационному моделированию на ЭВМ, описанные в работе [7], методы оценки эффективности мероприятий, проводимых при боевой эксплуатации вооружения [8], и по математической обработке результатов экспериментов [9].

Методика представляет собой исследование, включающее три этапа: выбора критерия адекватности ИМ предмету исследования, производства измерений значений откликов реальной системы и ИМ, а также вычислительный этап с оценкой адекватности ИМ реальной системе и подведением итогов эксперимента на предмет адекватности ИМ.

Оценка адекватности ИМ объекту исследования проводится для случая, когда можно определить значение отклика объекта исследования в ходе натурных испытаний на реальной системе.

Проверку адекватности модели реальному объекту исследования можно проводить различными способами:

−     по средним значениям откликов модели и системы;

−     по дисперсиям отклонений откликов модели от среднего значения откликов системы;

−     по максимальному значению абсолютных отклонений откликов модели от откликов системы.

В основу данной методики положен способ с проверкой гипотезы о близости средних значений каждой n-компоненты откликов ИМ Yn известным средним значениям n-компоненты откликов реальной системы Y*Qk.

При близости откликов по всем компонентам векторов Y и Y*Q делается вывод об адекватности ИМ реальной системе. Следовательно, имеет место вывод об адекватности ИМ самому предмету исследования.

Аналогично проводится проверка на адекватность ИМ всем имитируемым реальным системам. При близости откликов по всем компонентам векторов Y и Y*Q делается вывод об адекватности ИМ всему комплексу имитируемых систем.

Из общей оценки близости откликов по всем компонентам векторов Y и Y*Q моделируемых систем делается вывод об адекватности ИМ.

Остальные модели имитируемых систем, инсталлированных в БД тренажера, адекватны своим реальным системам – реальным прототипам.

Алгоритм проверки ИМ тренажерных систем на адекватность моделируемым реальным системам представлен на рисунке.

Приведенная методика позволяет проверить на адекватность все существующие на данный момент ИМ отдельных систем и комплексов систем.

Литература

1.    Магид С.И., Загретдинов И.Ш., Архипова Е.П., Камнев В.И., Мищеряков С.В., Сысоева Л.В. Обеспечение комплексной адекватности тренажеров для электроэнергетики – основа безаварийной работы оперативного персонала. М.: АПАРТ, 2003.

2.    Кобзев В.В., Шилов К.Ю. Методы создания технических средств обучения корабельных операторов. СПб: Наука, 2005. 156 с.

3.    Недзельский И.И. Морские навигационные тренажеры: проблемы выбора. СПб, 2002. 220 с.

4.    Андреев В.Ю., Базлов А.Ф., Ильин В.А., Шуванов А.Д. Некоторые технологические аспекты создания учебно-тренировочных средств подготовки командиров и специалистов ВМФ // Программные продукты и системы. 2016. Т. 31. № 1. С. 32–36. DOI: 10.15827/0236-235X.113.032-036.

5.    Захаров В.Л., Ильин В.А. Тренажеры Военно-Морского Флота: создание и использование: монография. Тверь: изд-во НИИ «Центрпрограммсистем», 2019. 248 с.

6.    Лебедев А.Н., Куприянов М.С., Недосекин Д.Д., Чернявский Е.А. Вероятностные методы в инженерных задачах. СПб: Энергоатомиздат, 2000. 333 с.

7.    Максимей И.В. Имитационное моделирование на ЭВМ. М.: Наука, 1981. 230 с.

8.    Червоный А.А. Методы оценки эффективности мероприятий, проводимых при эксплуатации вооружения. М.: Воениздат, 1983. 95 с.

9.    Румшиский Л.З. Математическая обработка результатов эксперимента. М.: Наука, 1971. 191 c.

10. Вадзинский Р.Н. Справочник по вероятностным распределениям. СПб: Наука, 2001. 295 с.

References

1. Magid S.I., Zagretdinov I.Sh., Mishcheryakov S.V., Arkhipova E.N., Sysoeva L.V. Ensuring the Comprehensive Adequacy of Electric Power Industry Simulators is the Basis for the Trouble-Free Run of Operating Personnel. Moscow, 2003 (in Russ.).
2. Kobzev V.V., Shilov K.Yu. Methods of Creating Technical Means for Training Ship Operators.
   St. Petersburg, 2005, 156 p. (in Russ.).
3. Nedzelsky I.I. Marine Navigation Trainers: Selection Problems. St. Petersburg, 2002, 220 p.
   (in Russ.).
4. Andreev V.Yu., Bazlov A.F., Ilin V.А., Shuvanov А.D. Some technological aspects of creating educational training equipment for Navy commanding officers and specialists. Software and Systems, 2016,
   vol. 31, no. 1, pp. 32–36. DOI: 10.15827/0236-235X.113.032-036 (in Russ.).
5. Zakharov V.L., Ilin V.A. Navy Trainers: Creation and Use. Tver, 2019, 248 p. (in Russ.).
6. Lebedev A.N., Kupriyanov M.S., Nedosekin D.D., Chernyavsky E.A. Probabilistic Methods in Engineering Problems. Reference Book. St. Petersburg, 2000, 333 p. (in Russ.).
7. Maksimey I.V. Computer Simulation Modeling. Moscow, 1981, 230 p. (in Russ.).
8. Chervony A.A. Methods for Assessing the Effectiveness of Measures Taken During the Weapons Operation. Moscow, 1983, 95 p. (in Russ.).
9. Rumshisky L.Z. Mathematical Processing of Experimental Results. Moscow, 1971, 191 p. (in Russ.).
10. Vadzinsky R.N. Probability Distributions Handbook. St. Petersburg, 2001, 295 p. (in Russ.).