Программные продукты и системы

В теории управления принято оперировать понятием «типовой цикл управления», включающим оценку ситуации, целеполагание (формулирование или уяснение задачи), выработку решения, планирование, постановку задач исполнителям и контроль их выполнения. В ходе данного цикла его участники реализуют широкий спектр логико-аналитических и расчетно-моделирующих функций. Существенная часть задач в рамках реализации этих функций, в первую очередь информационных и расчетно-моделирующих, в настоящее время обеспечивается программными средствами автоматизации управления, или прикладным ПО.

Для решения данных задач в составе прикладных программ реализуется разнообразный математический аппарат преимущественно  оптимизационного или прогнозного типа. Для решения могут применяться аналитические, численные или статистические методы, а так- же методы эвристической самоорганизации, например, основанные на генетических алгоритмах. Специалисты признают, что при ис- пользовании указанных методов возникают проблемы формализации исходных данных, интерпретации результатов расчетов и настрой- ки вычислительных алгоритмов, влияющие на точность получаемых результатов.

В то же время известен простейший вариант получения гарантированного оптимального (рационального) решения распределительных задач, которым является метод полного перебора. Однако в задачах сколь-нибудь большой размерности применение полного перебора проблематично. Например, при решении задачи коммивояжера для n агентов размерность полного перебора определяется формулой перестановок Pn = n!.

С ростом размерности задачи наступает эффект комбинаторного взрыва. Поэтому при  решении подобных задач приходится либо  использовать усеченные алгоритмы оптимизации, либо снижать размерность входной информации, применяя методы кластеризации данных, ассоциативные правила, генетические алгоритмы и т.п. Кроме оптимизационных  задач, достаточно большие вычислительные мощности требуются для реализуемых в алгоритме типового цикла управления информационных задач поиска данных, решаемых на этапах планирования и управления.

Возможности применения методов решения перечисленных задач существенно зависят от вычислительной мощности средств автоматизации управления. На начальном этапе развития теории управления, когда такие задачи  решались без применения средств автоматизации, использовались максимально простые алгоритмы, оптимизированные относительно вычислительных затрат: северо-западного угла, потенциалов, венгерский метод и др. По мере внедрения средств информатизации доступные методы усложнялись, появились градиентные методы поиска экстремума, вероятностные модели, а впоследствии и эвристические методы – генетические алгоритмы, нейросети, оптимизированные уже относительно точности получаемого результата. Однако по-прежнему все эти методы имеют те или иные ограничения, которые понижают требования по вычислительным затратам, но отрицательно влияют на точность получаемых результатов. Использовать методы с гарантированным результатом, такие как полный перебор, до последнего времени было проблематично из-за ограничений по возможностям вычислительных средств.

Впрочем, уже с появлением первых компьютеров наиболее простые алгоритмы полного перебора (типа линейного всплывающего  пузырька, его модифицированных версий «шейкер» и «расческа») стали применяться на практике. Впоследствии более мощные компьютеры позволили решать перебором более сложные задачи.

Таким образом, дилемма между точностью расчетов и возможностью реализации вычислительных методов, постоянно возникающая при разработке алгоритмов поддержки принятия решений и ранее однозначно разрешаемая в пользу огрубления результатов, в современных условиях получила перспективу уточнения.

Последнее определяется непрерывным ростом вычислительных мощностей и пропускной способности компьютерных сетей, которые позволяют снять часть ограничений на  вычислительные потребности реализуемых алгоритмов. Примером могут служить методы Data Mining и Big Data, основанные на известных методах кластеризации, по-новому реализуемых на современных больших вычислительных мощностях [1]. При этом широко при- меняемые в настоящее время нейросети при решении ряда задач используют алгоритмы интерполяции, обеспечивающие динамический, а не задаваемый пользователем статично, как это было раньше, выбор вида аппроксимационной функции. В отличие от классических методов это позволяет выбирать функцию, на основе которой проводится интерполяция, не вручную, а автоматически из множества ранее использованных при решении подобных задач. Раньше подбор аппроксимирующей функции осуществлялся пользователем вручную с использованием математических методов, основанных на критериях близости, а теперь – за счет подбора на примерах так называемого обучения. Такой же подход используется при распознавании нейросетями образов, когда в рамках обучения настраиваются параметры коэффициентов близости заданных характеристик изображения к эталонным. И подобных примеров нового использования классических алгоритмов множество.

Таким образом, как показал анализ предметной области, по мере развития информационных технологий постепенно появилась возможность использовать максимально простые, но дающие гарантированный результат алгоритмы, назовем их прямыми. Важно, что реализуются эти алгоритмы за счет многократно возросших возможностей средств обработки данных, а не упрощения процесса или снижения точности результата, как раньше.

В соответствии с законом Мура считается, что производительность процессоров возрастает вдвое каждые 24 месяца. Сначала рост шел вследствие увеличения количества транзисторов в кристалле микросхем, в настоящий  момент – за счет многоядерности и распараллеливания процессов. Практика показывает, что значительную часть этого роста съедают  затраты на визуализацию, реализуемую для взаимодействия программ с пользователем, однако тенденция непрерывного прироста мощности существует, что подтверждает возможность и перспективы использования прямых алгоритмов.

Таким образом, на основании сложившейся ситуации можно сформулировать гипотезу о том, что перспективным направлением развития математического аппарата поддержки принятия решений является переход к прямым алгоритмам.

В рамках углубления детализации прямые алгоритмы предлагается разделить на две группы:

– классические, обеспечивающие поиск конечного решения на основе прямых вычислений и логических операций, например, полного перебора, и предоставляющие готовый результат пользователю;

– комбинированные, позволяющие вычислять количественные параметры управления до значения, которое можно получить без потери точности (далее на основании представленных результатов решение принимает пользователь с использованием качественных оценок и на основе логических выводов).

Практика показывает, что классические прямые алгоритмы в той или иной степени уже реализуются современными технологиями: в методах перебора с ограничениями, в технологиях Big Data. В статье детально рассмотрена возможность реализации комбинированных подходов, применяемых в условиях неполной и динамически изменяющейся исходной информации, наиболее сложных для реализации прямых алгоритмов. На основе анализа сделан вывод о том, могут ли прямые алгоритмы применяться практически на всех диапазонах решения управленческих задач или данная тенденция является частным случаем.

Анализ требований к алгоритмам  поддержки принятия решений

Выясним, возможна ли при современном уровне развития технологий практическая реализация прямых алгоритмов для решения управленческих задач.

Известно, что начальные и последний этапы типового цикла управления предполагают формирование формализованного описания управляемой системы в состояниях «как есть», «ожидается к началу действий» и «требуемое для достижения цели».

Формирование подобного описания и поддержание его в актуальном состоянии – достаточно затратный по времени как обработки, так и передачи информации процесс. Для построения модели управляемой системы в рамках подобного описания требуется реализация разнообразных алгоритмов и методов агрегирования информации, ее формализации, визуализации и прогнозирования изменений. Современные средства автоматизации управления в большинстве случаев не обеспечивают формирование подобных моделей в динамичном режиме [2].

Сложность данного процесса усугубляется тем, что при управлении крупными распре- деленными эргатическими (организационно- техническими) системами ЛПР практически никогда не наблюдает их визуально и вынуждено формировать модель управляемой системы теми или иными методами и средствами.  На начальных этапах развития управления подобные модели были преимущественно логическими, основой их формирования являлись результаты сбора данных об обстановке, предоставляемые ЛПР в текстовом и графическом видах. По мере развития автоматизации визуальные модели стали оформляться в виде графических схем и электронных карт, дополняемых таблицами, графиками, диаграммами и другими компонентами, что, впрочем, не решало проблему создания моделей управляемых систем с требуемой функциональностью, вынуждая ЛПР по-прежнему достраивать их мысленно [3]. Как показывает практика, при использовании подобного алгоритма управления в определенных ситуациях часть информации может просто теряться в ходе формирования ЛПР мысленной модели, что вносит в нее искажения и может привести к принятию ошибочных решений. Из примеров подобных ситуаций можно сделать вывод, что проблема алгоритмизации визуализированного представления управляемых распределенных систем для выработки решений по управлению ими в полном объеме не решена и остается актуальной.

Следует отметить, что речь идет о процессе управления распределенными системами, размещенными на местности за пределами визуального обзора. Управляемые системы такого типа имеются во всех областях управления: экономического, военного, государственного. Для систем меньшего масштаба уже сейчас можно отметить практические примеры реализации аналогов комбинированных прямых алгоритмов управления на основе построения моделей визуализации с использованием технологий дополненной реальности (augmented reality, AR). С применением технологий AR осуществляется управление техническими системами, находящимися в прямой видимости оператора. Например, обеспечение ситуационной осведомленности водителя проецированием показателей состояния и параметров движения управляемого автомобиля на лобовое стекло, как это делается в системах HUD (Head-up display). Или более сложный алгоритм: когда программа строит и проецирует на экран или лобовое стекло коридор разрешен- ных траекторий, оператор просто выдерживает его, управляя техническим средством (автомобильный парктроник, авиационная система обеспечения посадки и т.п.). Вполне возможно, что такой алгоритм найдет применение для управления более крупными и сложными системами.

Некоторые варианты реализации  прямых алгоритмов управления

В рамках анализа проблемы управления распределенными системами отметим, что к таким системам можно отнести любое крупное предприятие, группу предприятий или отрасль как управляемый объект, недоступный для постоянного визуального контроля. Для управления такой системой, как отмечалось ранее, приходится организовывать распределенный сбор информации, ее обобщение и визуализацию в виде графиков, таблиц, схем, условных знаков на картах (схемах). На основе анализа этих данных управленцами строится виртуальная модель, отображающая состояние и тренд поведения системы, с помощью которых оцениваются риски и угрозы, формируются управляющие воздействия и прогнозируются последствия их реализации. В доинформационную эпоху все эти операции выполнялись вручную, с привлечением большого числа управленцев и все равно были недостаточно эффективны с точки зрения как времени, так и полноты описания управляемой системы. По мере развития автоматизации управления, с внедрением АСУ различных типов ситуация начала меняться. Появилась возможность использовать затратные алгоритмы оптимизации на основе градиентных методов поиска экстремума, а также методы эвристической самоорганизации, в том числе генетические алгоритмы [4, 5]. Но даже в настоящее время, когда различные автоматизированные и информационные системы используются достаточно активно, проблема динамического формирования модели управляемой системы решена не в полном объеме. Значительная доля работы по формированию набора показателей состояния управляемой системы остается за ЛПР и проводится методом мысленного моделирования.

Более того, в рамках существующих концепций автоматизации управления автоматизации подлежат прежде всего расчетные и рутинные функции: сбор и агрегирование информации, формирование электронных управляющих и отчетных документов. Более сложные с точки зрения формализации задачи назначаются для выполнения человеком. Такой подход прагматично решает задачу автоматизации, но не поз- воляет в полной мере использовать возможности современных информационных технологий для поддержки принятия решений, в том числе для автоматизации аналитических функций организации управления [6, 7].

В то же время существующие технологии потенциально позволяют существенно расширить перечень автоматизируемых функций, в том числе с реализацией прямых алгоритмов управления. Например, как отмечено ранее, для небольших по масштабу динамичных  систем повышение информационной осведомленности управленцев с одновременным выполнением ряда аналитических функций достаточно успешно решается с помощью технологий AR [1].

Однако многие сложные системы из-за своего масштаба не могут быть полноценно описаны средствами AR и требуют использования более мощных технологий, например, виртуальной реальности (virtual reality, VR). Прежде всего это распределенные человеко-машинные системы, к которым относится большинство современных систем управления предприятием, логистикой, распределением ресурсов и им подобных.

Возможные технологии реализации прямых алгоритмов комбинированного типа с применением средств VR в таких системах определяются структурой типового цикла управле- ния [8, 9]: целеполагание, оценка обстановки, принятие решения, планирование, постановка задач, контроль выполнения, корректировка управляющих воздействий. В ходе реализации каждого цикла неизбежно возникают ошибки управления, требующие периодической корректировки управляющих параметров, определение которых является сложной научно-практической задачей.

При решении указанной задачи текущее положение управляемой системы в фазовом пространстве состояний чаще всего определяется вектором состояния вида С = {{cc}{сm}{сf}}, где С – семейство множеств, описывающих текущее состояние системы; сc – множество параметров состояний, соответствующих контрольным па- раметрам вектора цели (параметрам, приводящим управляемую систему в требуемое состояние); сm – множество управляемых параметров;  сf  – множество свободных параметров [10].

В такой постановке процесс управления понимается как последовательность формирова- ния управленческих решений с параметрами сm, обеспечивающими вывод системы в состояние сc к установленному времени и с затра- тами ресурса в рамках заданных ограничений. Основными задачами управления являются формирование и периодическая корректировка управляющих параметров, реализация которых приведет управляемый объект (систему) в требуемую точку фазового пространства, то есть обеспечит достижение цели.

В рамках реализации прямых алгоритмов управления комбинированного вида для обеспечения этого процесса с использованием технологий VR могут быть созданы несколько виртуальных моделей управляемой системы, наглядно представляющих ее текущее и требуемое состояния и визуализирующих ошибки управления. Такой подход обеспечит логичное разделение процесса формирования решений на этапы количественных расчетов, выполняе- мых автоматизированной системой, и качественных оценок, формируемых ЛПР (см. рисунок).

Представленная на рисунке последовательность реализации цикла управления обеспечивает выполнение несложного, но потенциально эффективного прямого алгоритма комбинированного вида:

– формирование в ходе планирования визуальной модели требуемого конечного состояния управляемой системы;

– описание набора моделей требуемого состояния управляемой системы с дискретностью по времени;

– описание на базе технологий VR текущего состояния управляемой модели и поддержание ее актуальности в автоматическом режиме на каждый момент времени tm;

– представление моделей ЛПР с наглядным указанием отклонений состояния;

– оценка, принятие решения ЛПР;

– расчет с использованием разработанных моделей новых значений управляемых параметров сm*.

Предлагаемый прямой алгоритм управления распределенными системами с применением технологий VR можно определить еще как сведение векторов состояния на визуальной модели, или алгоритм сведения. Он достаточно прост математически, хотя и затратен с точки зрения обработки графической информации и обмена данными. Но с учетом того, что большинство людей примерно две трети информации получают от органов зрения, данный алгоритм управления должен существенно упростить процесс принятия решений, оставив расчетные и моделирующие функции за системой и предоставив ЛПР информацию для принятия решений на обобщенном качественном уровне.

С учетом данных факторов использование прямого алгоритма типа «визуальный алгоритм сведения» потенциально обеспечит повышение динамичности этого процесса и адекватности реакции органов управления на изменение обстановки.

При оценке возможности реализации предлагаемого алгоритма можно отметить, что сами технологии его реализации уже существуют и используются в различных областях управления [11]. С точки зрения оценки эффективности любой реализуемый в системах поддержки принятия решений (СППР) алгоритм должен быть проверен на устойчивость, сходимость, точность и экономичность.

Сравнение по указанным параметрам прямых и обычных оптимизационных алгоритмов показывает следующее.

• В отличие от обычных алгоритмов, критично зависящих от чувствительности применяемых методов поиска решения к изменению исходных данных, прямые алгоритмы всех типов обладают высокой устойчивостью, что теоретически строгого обоснования не имеет, но подтверждается обширной практикой [12, 13].

• Математически точного подтверждения гарантированной сходимости прямых алгоритмов, особенно комбинированных, нет, но на практике не отмечено ни одного случая, когда сходимость не была бы достигнута на любых конечных множествах в отличие от других алгоритмов, зависящих от используемых методов поиска решения [14, 15]. Следует отметить, что на практике скорость сходимости прямых алгоритмов в большинстве случаев ниже, чем у обычных.

• Точность классических прямых алгоритмов при корректном завершении является абсолютной в отличие от всех других алгоритмов, погрешность которых определяется задавае- мой заранее точностью округления формализуемых входных, промежуточных и выходных данных, количеством итераций вычисления и принятыми границами области завершения поиска решения. В комбинированных алгоритмах точность корректно может быть оценена только относительно их вычислительной части, и эта оценка совпадает с показателями классических алгоритмов. В части обычных алгоритмов существуют ситуации стопроцентной точности ал- горитмов на основе аналитических методов  вычисления, но это, скорее, исключение, чем правило. Обычно погрешность расчетов устанавливается с учетом затрат времени на поиск решения и принимается в пределах от долей до нескольких единиц процентов [16].

• Экономичность прямых и обычных алгоритмов определяется их структурой и должна оцениваться для каждого конкретного случая. В большинстве ситуаций для задач большой размерности асимптотический анализ алгоритмов показывает значительно большие затраты вычислительных ресурсов для варианта использования прямых алгоритмов, вычислительная емкость которых выше [15].

Таким образом, прямые алгоритмы в подавляющем большинстве случаев будут более затратными, чем все остальные. Впрочем, как отмечалось ранее, во-первых, в связи с непрерывным ростом вычислительных мощностей этот недостаток не является критичным, во-вторых, на задачах малой размерности даже классические прямые алгоритмы сопоставимы по затратам с обычными [16], не говоря уже о комбинированных. Кроме того, затратность компенсируется высокой точностью, устойчивостью и сходимостью.

Данные выводы подтверждаются опытом практического использования алгоритма сведения на виртуальной модели управляемой системы в группе компаний «Техносервъ». Использование данного алгоритма при разработке программных средств оперативного управления логистикой показало его реализуемость и работоспособность [3]. Это подтверждает потенциальную применимость прямых алгоритмов управления в системах поддержки принятия решений, реализующих управление во всех диапазонах условий применения управляемой системы.

В целом же алгоритм сведения, относящийся к комбинированному типу прямых алгоритмов, является одним из направлений развития алгоритмизации СППР, отражающим общую тенденцию и дополняющим ее (см. таблицу).

Выводы

В таблице отражены особенности прямых алгоритмов управления всех типов относительно обычных:

– использование для принятия решений максимально возможного количества исходной информации без упрощения и отсечения лишних данных;

– управление объектами и процессами по реальным параметрам с их минимальным преобразованием и формализацией;

– определение общих параметров управления практически без использования математических вычислений, на основе формальной логики.

Сравнительная оценка особенностей разных классов алгоритмов позволяет сделать вывод о том, что перспективой развития алгоритмического обеспечения СППР является использова- ние именно прямых методов поиска решений, реализуемых в следующих группах алгоритмов:

– оптимизационные алгоритмы на основе полного перебора с условиями;

– алгоритмы поиска информации на основе полного перебора с кластеризацией;

– комбинированные количественно-качественные алгоритмы управления, примером которых являются алгоритмы сведения.

В таблице отражены только оптимизационные алгоритмы, которые невозможно свести  к задачам, имеющим гарантированное реше- ние [17]. Алгоритмы решения задач, которые могут быть сведены к аналитическим методам с гарантированным результатом, например, к линейной оптимизации, вероятно, без изменений будут использоваться в СППР и впредь.  То есть речь идет не о замене математических методов алгоритмами полного перебора, а о пе- реходе к использованию исключительно методов получения точного решения и только там, где их применение невозможно, к использованию прямых алгоритмов.

Таким образом, прямые алгоритмы не исключают, а дополняют применяемые в настоящее время методы управления, расширяя перечень инструментария поддержки принятия  решения, во-первых, учитывая то, что практическая реализация указанных алгоритмов потенциально обеспечивает получение гарантированного решения практически для любых условий решения задач управления, во-вторых, исходя из того, что одной из существенных проблем использования современных методов формирования управляющих воздействий является проблема формализации: от выбора упрощенной модели для описания управляемой системы или процесса до регулированной потери точности результата при формализации входных и выходных параметров управления.

Учитывая указанные положения, вероятно, в перспективе приоритет будет именно за прямыми алгоритмами, упрощающими разработку систем управления, устраняющими потери точности при формализации и обеспечивающими максимальную вероятность получения гарантированного решения.

Заключение

Таким образом, принятие гипотезы о том, что перспективой развития алгоритмов СППР являются прямые алгоритмы, позволяет обозначить пути решения научно-практической задачи выбора направлений развития средств автоматизированной поддержки принятия решений. Само предлагаемое решение по использованию прямых алгоритмов в СППР находится в современном тренде развития автоматизации управления – реализации относительно простых, но эффективных методов с гарантированной результативностью. Методы, которые рань- ше не использовались из-за недостаточных возможностей вычислительной техники, теперь могут быть успешно применены в практике управления сложными распределенными системами.

В случае, если сформулированная гипотеза подтвердится, данная дилемма может быть в значительной степени разрешена.

Список литературы

1. Rodriguez M.Z., Comin C.H., Casanova D., Bruno O.M. et al. Clustering algorithms: A comparative approach. PLoS ONE, 2019, vol. 14, no. 1, art. e0210236. doi: 10.1371/journal.pone.0210236.

2. Тиханычев О.В. Виртуальная реальность и поддержка принятия решений // Прикладная информатика. 2019. Т. 14. № 4. С. 56–64.

3. Tikhanychev O.V. On the virtual reality technologies application to support decision-making. AIP Conf. Proc., 2021, vol. 2402, art. 050003. doi: 10.1063/5.0071321.

4. Свиридова Е.А. Генезис понятия искусственного интеллекта с точки зрения права в условиях реализации национального проекта «Цифровая экономика Российской Федерации» // Экономика. Налоги. Право. 2020. Т. 13. № 3. С. 152–160.

5. Morisse T. Intelligence artificielle, un nouvel horizon: pourquoi la france a besoin d’une culture du numérique? Comprendre et débattre ses enjeux technologiques, économiques, légaux et éthiques. Paris, Les Cahiers Lysias Publ., 2017, 117 p.

6. LaValle S.M. Virtual Reality. Cambridge University Press, 2017, 424 p.

7. Barocas S., Felten E., Huey J., Kroll J., Reidenberg J., Robinson D., Yu H. Accountable algorithms. University of Pennsylvania Law Review, 2017, vol. 165, pp. 633–705.

8. Гладков Л.А., Лейба С.Н., Тарасов В.Б. Разработка и программная реализация гибридного алгоритма решения оптимизационных задач автоматизированного проектирования // Программные продукты и системы. 2018.
Т. 31. № 3. С. 569–580. doi: 10.15827/0236-235X.123.569-580.

9. Ульянов С.В., Рябов Н.В. Квантовый генетический алгоритм в задачах моделирования интеллектуального управления и суперкомпьютинг // Программные продукты и системы. 2019. Т. 32. № 2. С. 181–189. doi: 10.15827/0236-235X.126.181-189.

10. Lai C.H., Lin S.H. Systems theory. In: The International Encyclopedia of Organizational Communication, 2017, pp. 1–18. doi: 10.1002/9781118955567.wbieoc203.

11. Варшавский П.Р., Ар Кар Мьо, Шункевич Д.В. Применение методов классификации и кластеризации для повышения эффективности работы прецедентных систем // Программные продукты и системы. 2017. Т. 30. № 4. С. 625–631. doi: 10.15827/0236-235X.120.625-631.

12. Култыгин О.П., Лохтина И.В. Бизнес-аналитика как инструмент системы поддержки принятия решений // Прикладная информатика. 2021. Т. 16. № 1. С. 52–58. doi: 10.37791/2687-0649-2021-16-1-52-58.

13. Tengö M., Andersson E. Solutions-oriented research for sustainability: Turning knowledge into action. Ambio, 2022, vol. 51, no. 1, pp. 25–30. doi: 10.1007/s13280-020-01492-9.

14. Шевченко А.А., Шевченко А.В., Зрелова Д.П., Ульянов С.В. Когнитивные регуляторы: технологии мягких вычислений и информационно-термодинамический закон самоорганизации интеллектуального управления // Программные продукты и системы. 2023. Т. 36. № 1. С. 13–25. doi: 10.15827/0236-235X.141.0.

15. Емельянов В.Н. Численные методы: введение в теорию разностных систем. М.: Юрайт, 2018. 189 с.

16. Higham N.J. Accuracy and Stability of Numerical Algorithms. Philadelphia, SIAM Publ., 2016, 675 p.

17. Бибило П.Н., Ланкевич Ю.Ю. Экспериментальное сравнение эффективности алгоритмов оптимизации BDD-представлений систем булевых функций // Программные продукты и системы. 2020. Т. 33. № 3. С. 449–463. doi: 10.15827/0236-235X.131.449-463.

Reference List

1.   Rodriguez, M.Z., Comin, C.H., Casanova, D., Bruno, O.M. et al. (2019) ‘Clustering algorithms: A comparative approach’, PLoS ONE, 14(1), art. e0210236. doi: 10.1371/journal.pone.0210236.

2.   Tikhanychev, O.V. (2019) ‘Virtual reality and decision support’, J. of Applied Informatics, 14(4), pp. 56–64 (in Russ.).

3.   Tikhanychev, O.V. (2021) ‘On the virtual reality technologies application to support decision-making’, AIP Conf. Proc., 2402, art. 050003. doi: 10.1063/5.0071321.

4.   Sviridova, E.A. (2020) ‘The genesis of the concept of artificial intelligence from the legal perspective in the context of the national project ²Digital economy of the Russian Federation²’, Economics. Taxes. Law, 13(3), pp. 152–160
(in Russ.).

5.   Morisse, T. (2017) Intelligence artificielle, un nouvel horizon: pourquoi la france a besoin d’une culture du numérique? Comprendre et débattre ses enjeux technologiques, économiques, légaux et éthiques. Paris: Les Cahiers Lysias Publ., 117 p.

6.   LaValle, S.M. (2017) Virtual Reality. Cambridge University Press, 424 p.

7.   Barocas, S., Felten, E., Huey, J., Kroll, J., Reidenberg, J., Robinson, D., Yu, H. (2017) ‘Accountable algorithms’, University of Pennsylvania Law Review, 165, pp. 633–705.

8.   Gladkov, L.A., Leyba, S.N., Tarasov, V.B. (2018) ‘A hybrid algorithm for solving optimization problems of computer-aided design and its software implementation’, Software & Systems, 31(3), pp. 569–580 (in Russ.). doi: 10.15827/0236-235X.123.569-580.

9.   Ulyanov, S.V., Ryabov, N.V. (2019) ‘The quantum genetic algorithm in the problems of intelligent control modeling and supercomputing’, Software & Systems, 32(2), pp. 181–189 (in Russ.). doi: 10.15827/0236-235X.126.181-189.

10. Lai, C.H., Lin, S.H. (2017) ‘Systems theory’, in The International Encyclopedia of Organizational Communication. Wiley-Blackwell Publ., pp. 1–18. doi: 10.1002/9781118955567.wbieoc203.

11. Varshavsky, P.R., Ar Kar Myo, Shunkevich, D.V. (2017) ‘Classification and clustering methods for improving efficiency of case-based systems’, Software & Systems, 30(4), pp. 625–631 (in Russ.). doi: 10.15827/0236-235X.120.625-631.

12. Kultygin, O., Lokhtina, I. (2021) ‘Business intelligence as a decision support system tool’, J. of Applied Informatics, 16(1), pp. 52–58 (in Russ.). doi: 10.37791/2687-0649-2021-16-1-52-58.

13. Tengö, M., Andersson, E. (2022) ‘Solutions-oriented research for sustainability: Turning knowledge into action’, Ambio, 51(1), pp. 25–30. doi: 10.1007/s13280-020-01492-9.

14. Shevchenko, A.A., Shevchenko, A.V., Zrelova, D.P., Ulyanov, S.V. (2023) ‘Cognitive regulators: Soft computing technologies and the information-thermodynamic law of intelligent control self-organization’, Software & Systems, 36(1), pp. 13–25 (in Russ.). doi: 10.15827/0236-235X.141.0.

15. Emelyanov, V.N. (2018) Numerical Methods: An Introduction to the Theory of Difference Systems. Moscow, 189 p. (in Russ.).

16. Higham, N.J. (2016) Accuracy and Stability of Numerical Algorithms. Philadelphia: SIAM Publ., 675 p.

17.  Bibilo, P.N., Lankevich, Yu.Yu. (2020) ‘Experimental investigation of effectiveness of algorithms for minimizing BDD representations of Boolean function syst’, Software & Systems, 33(3), pp. 449–463 (in Russ.). doi: 10.15827/0236-235X.131.449-4633.