Программные продукты и системы

Теория принятия решений, включая многокритериальный анализ решений (МКАР), является одним из эффективных подходов для выполнения широкого круга задач в различных областях человеческой деятельности [1]. Методы МКАР позволяют находить решение проблем с учетом как объективных данных, так и субъективных суждений. В научной литературе описываются множество моделей для решения задач с разными типами предпочтений, групповые модели принятия решений, в том числе с учетом факторов некооперативного поведения, а также различного рода взаимодействий меж­ду экспертами при выработке решений [2, 3].

Высококвалифицированный эксперт всегда востребован при решении сложных научно-практических задач. Ограниченность времени эксперта, удаленность участников, их количество, а также другие факторы обусловливают необходимость создания информационных си- стем для реализации процессов группового анализа различных вариантов решений. Специализированные программные продукты позволяют экспертным группам продуктивно взаимодействовать в процессе анализа решений и выработки рекомендаций, используя при этом доступный набор инструментов для эффективной проработки широкого круга задач выбора и ранжирования альтернатив [4–7]. Наиболее популярные сервисы – 1000Minds, Ahoona, D-Sight CDM, Loomio.

В данной работе представлен модуль DecernsFMCDA-G-FT для выполнения задач группового анализа решений с использованием моделей нечеткого МКАР (НМКАР) Fuzzy-TOPSIS (FTOPSIS). Модуль является частью разрабатываемой системы поддержки принятия решений DecernsFMCDA-G для группового МКАР.

Базовые концепты модуля DecernsFMCDA-G-FT

В рамках анализа решений применяются различные подходы к представлению экспертных оценок, включая детерминистские (с использованием только действительных чисел), вероятностные, а также основанные на применении теории нечетких множеств. В данной работе используются нечеткие числа, а также различные подходы к оценке функций от нечетких чисел [8], детально описанные в [9, 10].

Нечеткое множество А [11] – это расширение классического множества, в котором функция принадлежности mA(x) элемента x множеству A может принимать любое значение из отрезка [0, 1]. Представим кратко некоторые базовые понятия нечетких множеств и нечетких чисел, используемые в рамках предложенных моделей.

Альфа-срезом нечеткого множества A, a Î (0, 1], является четкое множество Aa = = {x Î X: mA(x) ³ a}; здесь X – универсальное множество, на котором определено нечеткое множество A [10].

В данной работе используется одно из наиболее распространенных определений нечеткого числа [8].

Определение. Нечеткое число Z представляет собой нормальное ограниченное нечеткое множество в ℝ, у которого все a-срезы Za, a Î (0, 1], являются отрезками. Стоит отметить, что a-срез, состоящий из одной точки, по определению считается отрезком.

Из определения следует [8]: существуют такие действительные числа c1 £ c2, что

– в случае c1 < c2 нечеткое число Z может быть представлено следующим образом:

Z = {(x, mZ(x)): mZ(x) > 0, x Î (c1, c2),

mZ(x) = 0, x Ï [c1, c2]};                             (1)

– в случае c1 = c2 = c Z является синглтоном и mZ(c) = 1, mZ(x) = 0 для x ¹ c.

Для a = 0 положим [A0, B0] = [c1, c2]; после необходимого уточнения для удобства дальнейшего изложения отрезок [A0, B0] также будем называть a-срезом для a = 0. С учетом последнего соглашения нечеткое число Z может быть представлено множеством отрезков (a-срезов):

Z = {[Aa, Ba]}, a Î [0, 1].                             (2)

Для вычисления функций от нечетких аргументов можно выделить несколько подходов:

-     реализация принципа расширения Заде [8];

-  приближенные вычисления, когда ре- зультат функции от базовых треугольных и трапециевидных нечетких чисел также является треугольным/трапециевидным нечетким числом [10, 12, 13] (при этом в вычислениях используются только два a-среза: a = 0 и a = 1);

-     стандартная нечеткая арифметика: вычисления производятся с a-срезами рассматриваемых нечетких чисел, a Î [0, 1] [10, 12, 13];

-   метод трансформации (редуцированный, общий, расширенный) [10, 12], позволяющий получить (точное) значение вычисляемой функции в случае наличия зависимых переменных.

В модуле DecernsFMCDA-G-FT используются приближенные вычисления, стандартная нечеткая арифметика и редуцированный метод трансформации (Reduced Transformation Me­thod, RTM).

Важной задачей в рамках нечеткого анализа решений является ранжирование нечетких чисел. Можно выделить две основные группы методов ранжирования нечетких чисел [9, 13], используемых в НМКАР: методы дефаззификации и попарного сравнения.

В текущей версии DecernsFMCDA-G-FT используются два метода дефаззификации: центра тяжести (Centroid Index, CI) и интеграла средних значений (Integral of Means, IM).

Для нечеткого числа Z, заданного на отрезке [c1, c2], по определению, с функцией принадлежности mZ(x) дефаззификация по методу CI [13] определяется следующим образом:

                 (3)

При использовании метода IM дефаззификация нечеткого числа Z = {[Aa, Ba]} определяется выражением

                        (4)

Нечеткое число с большим значением CI (IM) имеет больший ранг согласно используемому методу ранжирования.

Алгоритмы группового НМКАР (рис. 1), включенные в систему DecernsFMCDA-G-FT, реализуют выполнение двух интегрированных этапов, каждый из которых разбивается на несколько последовательных шагов.

Этап 1. Реализация экспертных суждений/предпочтений. Каждый эксперт Es, s = 1, …, q, выражает свое суждение cijs об альтернативе ai, i = 1, …, n, по критерию j,  j = 1, …, m; в общем случае данные величины представляются нечеткими числами. Существуют несколько подходов к агрегации экспертных оценок. В рамках данной работы использованы

-     арифметическое среднее [14, 15]:

                                          (5)

-     геометрическое среднее [14, 15]:

                                      (6)

Аналогичный (5) и (6) подход реализуется при агрегации экспертных оценок для весовых коэффициентов критериев wjs, s = 1, …, m. Следует добавить, что агрегированные величины могут быть применены для определения согла- сованности экспертных предпочтений [16]. Для вычисления уровня согласованности можно использовать формулу

.                      (7)

Этап 2. Реализация экспертных суждений в рамках моделей НМКАР. Агрегированные экспертные оценки значений критериев и весовых коэффициентов поступают на вход используемым моделям НМКАР. В рамках данной работы рассматриваются модели нечет- кого расширения метода TOPSIS – Fuzzy TOPSIS, FTOPSIS [13, 17, 18], а также модификация FTOPSIS – FTOPSIS-Sort для решения многокритериальных задач сортировки альтернатив в условиях нечеткости. Различные модели FTOPSIS и их свойства детально описаны в [13, 18]. В данной работе приведены базовые формулы и термины, формирующие основу моделей TOPSIS/FTOPSIS.

Идея метода TOPSIS, как и его нечеткого расширения FTOPSIS, базируется на оценке расстояний от альтернативы Ai = (xi1, …, xim) до идеальной,  и антиидеальной, , альтернатив/точек в пространстве ℝm, здесь m – количество рассматриваемых критериев, xij – нормализованное значение альтернативы i по критерию j, i = 1, …, n, j = 1, …, m; детали алгоритмов нормализации значений критериев, а также выбора идеальной и антиидеальной альтернатив представлены в работах [12, 17]. Расстояние от альтернативы Ai, i = 1, …, n, до идеальной,  и антиидеальной,  точек оценивается выражениями

,      (8)

  (9)

Обобщенный критерий (коэффициент близости) определяется формулой

.                                    (10)

Чем больше значение обобщенного критерия Di, тем выше ранг альтернативы Ai. При использовании нечетких чисел выражения (8)–(10) вычисляются выбранным методом оценки функций от нечетких чисел; ранжирование нечетких чисел проводится одним из указанных методов ранжирования (3), (4).

В рамках модуля DecernsFMCDA-G-FT реализованы следующие модели FTOPSIS для ранжирования альтернатив:

-     FTTrCIA, FTTrIMA, FTTrCIG, FTTrIMG; в названиях данных моделей FT – сокращение от FTOPSIS, Tr – указание на реализацию приближенных вычислений с использованием треугольных нечетких чисел, CI и IM – методы ранжирования нечетких чисел, A и G – методы агрегации на основе арифметического и геометрического среднего соответственно;

-     FTRCIA, FTRIMA, FTRCIG, FTRIMG; в данной группе моделей R означает применение RTM.

В рамках модуля DecernsFMCDA-G-FT реализованы также модели нечеткой многокритериальной сортировки альтернатив.

Модели FTOPSIS-Sort для многокритериальной сортировки альтернатив. Методы многокритериальной сортировки предназначены для формирования упорядоченных категорий альтернатив (например, категория/группа высококачественных объектов, категория объектов хорошего качества, низкого качества) [18, 19]. Как правило, в основе методов сортировки лежат существующие методы МКАР. В данной работе рассматривается применение моделей FTOPSIS-Sort, построенных на основе моделей FTOPSIS.

Основная идея FTOPSIS-Sort [18, 20, 21] состоит в следующем: к входным величинам модели FTOPSIS (оценки альтернативы i по критерию j, cij, i = 1, …, n,  j = 1, …, m) добавляются граничные профили  (в общем случае нечеткие), , h = 1, ..., K+1, M – используемый в модели метод ранжирования. Профили  для фиксированного критерия j формируют K упорядоченных категорий Qhj, h = 1, …, K, а сами профили , h = 1, ..., K+1, являются дополнительными (техническими) альтернативами. Процесс отнесения альтернативы a к категории Q(a) осуществляется согласно следующему решающему правилу:

Q(a) = Qh: V(Ph+1) ≺M V(a) ≼M V(Ph),

h = 2, ..., K–1; Q(a) = QK: V(a) ≼M V(PK);

Q(a) = Q1: V(P2) ≺M V(a).                      (11)

Детали формирования граничных профилей и свойства моделей FTOPSIS-Sort обсуждаются в [18]. В рамках данной работы рассматриваются следующие методы группового МКАР:

-     FTTrCIA-Sort, FTTrIMA-Sort, FTTrCIG-Sort, FTTrIMG-Sort;

-     FTRCIA-Sort, FTRIMA-Sort, FTRCIG-Sort, FTRIMG-Sort.

  Использование модуля DecernsFMCDA-G-FT в системе DecernsFMCDA-G

Модуль DecernsFMCDA-G-FT реализован в виде пакета на языке программирования С# (.NET 6.0). Его можно встроить в любое приложение на платформе .NET 6.0. Пакет предоставляет возможность выбора модели для решения проблемы группового многокритериального анализа решений. Модуль интегрирован в нечеткую многокритериальную систему групповой поддержки принятия решений DecernsFMCDA-G.

В системе представлены две роли пользователей: модератор и эксперт. Модератор имеет возможность создать проект, который агрегирует в себе несколько решений, таким образом можно сгруппировать логически связанные решения. Для создания проекта необходимо ввести название и URL (Uniform Resource Locator – унифицированный указатель ресурса). В системе создается проект, который размещается по уникальной ссылке. В настройках решения реализованы возможность выбора модели, управление доступом экспертов к проекту, редактирование набора критериев и альтернатив (рис. 2).

Эксперт – пользователь, выражающий свои предпочтения и принимающий участие в решении проблемы. В системе DecernsFMCDA-G реализованы компоненты интерфейса для выражения оценок в виде нечетких чисел (рис. 3). В рамках моделей DecernsFMCDA-G-FT эксперты предоставляют оценки об альтернативах и весовых коэффициентах критериев. Система осуществляет ранжирование альтернатив по выбранной модели и предоставляет модера- тору результаты анализа.

Разработанная система поддержки принятия решений DecernsFMCDA-G нацелена на использование в рамках университетских курсов по теории принятия решений. С другой стороны, DecernsFMCDA-G позволяет использовать систему для решения проблем анализа и управления рисками, а также для многокритериального анализа широкого круга научно-прикладных задач.

  Использование моделей группового МКАР для многокритериальной сортировки альтернатив

В рамках данной статьи рассматривается задача отбора кандидатов для устройства на работу в организацию. Обычно при трудоустройстве кандидатам предлагается пройти испытательный срок для оценки их компетенций. При этом для удобства последующего анализа результатов прохождения испытательного срока кандидаты могут быть отнесены к одной из нескольких предопределенных категорий, за время испытательного срока их привлекают к выполнению различных задач. После окончания испытательного срока экспертам предлагается оценить кандидатов относительно их компетенций.

Пять экспертов Es, s = 1, …, 5, анализируют 15 кандидатов/альтернатив Ai, i = 1, …, 15. Для оценки альтернатив эксперты приняли следующие критерии: С1 – профессионализм, C2 – коммуникация, C3 – ответственность, C4 – лидерство, C5 – мотивация. Для оценки альтернатив по критериям и весовых коэффициентов экс- перты используют треугольные нечеткие числа. Шкалы критериев ограничены минимальным значением 0, что соответствует полному отсутствию компетенции, и максимальным значением 100, что говорит о полном соответствии компетенции. Все критерии являются критериями выгоды (benefit criteria – чем больше, тем лучше).

Каждый эксперт оценивает альтернативы по критериям (http://www.swsys.ru/uploaded/ image/2022-2/2022-2-dop/5.jpg) и устанавливает весовые коэффициенты для каждого критерия (табл. 1). Полученные данные экспертов агрегируют методом арифметического (5) и геометрического (6) среднего (с использованием приближенных вычислений), чтобы получить коллективное предпочтение относительно альтернатив и весовых коэффициентов критериев. Агрегированные весовые коэффициенты критериев для арифметического и геометрического среднего приведены в таблице 1.

Кроме того, эксперты определили три категории для многокритериальной сортировки альтернатив: Q1 – рекомендуется к трудоустройству, Q2 – рекомендуется рассмотреть возможность предложить другую вакансию, Q3 – не рекомендуется к трудоустройству. Значения граничных профилей, определяющие эти категории, представлены в таблице 2.

Альтернативы Ai, i = 1, …, 15, распределены по категориям Q1, Q2, Q3 с использованием моделей, описанных ранее. Результаты сортировки альтернатив с использованием агрегации методами арифметического (5) и геометрического (6) среднего представлены соответственно в таблицах 3 и 4. Значения обобщенных критериев I(V(Ph)), h = 1, …, 4, I = CI, IM, для рассматриваемых моделей следующие:

FTTrCIA-Sort: 1.15, 0.886, 0.751, 0;

FTTrIMA-Sort: 1.113, 0.827, 0.698, 0;

FTRCIA-Sort: 1.0, 0.656, 0.537, 0;

FTRIMA-Sort: 1.0, 0.655, 0.537, 0;

FTTrCIG-Sort: 1.171, 0.91, 0.772, 0;

FTTrIMG-Sort: 1.128, 0.846, 0.714, 0;

FTRCIG-Sort: 1.0, 0.659, 0.539, 0;

FTRIMG-Sort: 1.0, 0.658, 0.539, 0.

Расчеты были проведены с 20 α-срезами, при 40 α-срезах результаты не изменяются.

Для всех указанных моделей независимо от выбранных методов агрегации (оценок и весовых коэффициентов), ранжирования и вычисления функций от нечетких аргументов содержимое категории Q1 остается неизменным (альтернативы A2, A7, A15), что обусловлено удаленностью альтернатив от граничного профиля P2, при этом альтернатива A2 наиболее предпочтительна.

Сравнивая результаты распределения альтернатив по категориям в зависимости от мето- дов агрегации оценок и весовых коэффициентов, к наименее предпочтительной категории Q3 отнесено большее количество альтернатив для методов, использующих агрегацию на основе геометрического среднего. Это объясняется тем, что среднее геометрическое неотрицательных чисел не превышает их среднее арифметическое.

Среди моделей, использующих для вычисления функций от нечетких аргументов редуцированный метод трансформации, результаты (в рамках выбранного метода агрегации) совпа- дают для методов ранжирования CI и IM. Для приближенных моделей (FTTrCI[A, G]-Sort, FTTrIM[A, G]-sort) результаты для разных методов ранжирования нечетких чисел различные. Так, для моделей, использующих метод ранжирования CI (модели FTTrCI[A, G]-Sort), к наименее предпочтительной категории Q3 отнесено меньшее количество альтернатив, чем для моделей, использующих метод IM, что говорит о большем влиянии переоценки при использовании приближенных вычислений на результаты метода CI.

Значения обобщенных критериев для граничных профилей и альтернатив, отнесенных к различным категориям для разных методов ранжирования и вычисления функций от нечетких аргументов, использующих агрегацию на основе геометрического среднего, представлены на рисунке 4 для моделей FTTrCIG-Sort (FTTrIMG-Sort) и FTRCIG-Sort (FTRIMG-Sort). Из рисунка видно, что указанные альтернативы для приближенных моделей (рис. 4а) практически совпадают с граничными профилями, при этом хорошо заметно явление переоценки по сравнению с моделями, использующими редуцированный метод трансформации (рис. 4б).

Рассмотренный пример показывает отличие результатов при использовании различных моделей. Для редуцированного метода трансформации результаты (в рамках выбранного метода агрегации) не зависят от методов ранжирования (CI и IM) нечетких чисел в отличие от приближенных моделей, где результаты различаются. Кроме того, приближенные методы вычисления функций от нечетких аргументов дают переоценку при вычислении значений обобщенных критериев, что может повлиять на попадание альтернативы в определенную категорию, поэтому более предпочтительно использование редуцированного метода трансформации.

Заключение

Разработанный модуль DecernsFMCDA-G-FT предназначен для реализации процесса группового анализа (поддержки принятия) решений с возможностью использования различных моделей FTOPSIS, представляющих собой нечеткие расширения метода МКАР TOPSIS. Приведен пример использования разработанного модуля для решения практической задачи выбора кандидатов для устройства на работу в организацию, демонстрирующий широкий набор возможностей модуля при анализе альтернатив для последующего принятия решений (на при- мере задачи многокритериальной сортировки альтернатив).

Показано, что выходные результаты моделей, основанных на приближенной оценке функций от нечетких чисел (FTTrCI/IM-Sort), отличаются от результатов моделей с использованием методов трансформации, ведущих к истинной оценке результатов функций. Поскольку существующие в настоящее время модели нечеткого МКАР в основном базируются на приближенных вычислениях, полученные результаты обусловливают важный вопрос о том, какие модели нечеткого МКАР могут быть рекомендованы для применения при решении практических задач. Авторы считают целесообразным использование точных моделей, основанных на реализации методов трансформации.

Дальнейшее развитие представленной работы предполагает использование в рамках DecernsMCDA-G других методов агрегации предпочтений экспертов, а также расширение интерфейса системы для возможности выбора различных моделей нечеткого МКАР при решении многокритериальных задач выбора, ранжирования и сортировки альтернатив.

Работа выполнена при финансовой поддержке РФФИ в рамках научного проекта № 19-07-01039.

Литература

1.    Ding R.-X., Palomares I., Wang X., Yang G.-R. et al. Large-scale decision-making: characterization, taxonomy, challenges and future directions from an artificial intelligence and applications perspective. Information Fusion, 2020, vol. 59, pp. 84–102. DOI: 10.1016/j.inffus.2020.01.006.

2.    Dong Y., Zhao S., Zhang H., Chiclana F. et al. A Self-management mechanism for noncooperative behaviors in large-scale group consensus reaching processes. IEEE Transactions on Fuzzy Systems, 2018, vol. 26, no. 6, pp. 3276–3288. DOI: 10.1109/TFUZZ.2018.2818078.

3.    Dong Y., Zha Q., Zhang H., Kou G., Fujita H., Chiclana F., Herrera-Viedma E. Consensus reaching in social network group decision making: Research paradigms and challenges. Knowledge-Based Systems, 2018, vol. 162, pp. 3–13. DOI:  10.1016/j.knosys.2018.06.036.

4.    Weistroffer H.R., Li Y. Multiple criteria decision analysis software. In: Multiple Criteria Decision Analysis, 2016, pp. 1301–1341. DOI: 10.1007/978-1-4939-3094-4_29.

5.    Acosta M., Corral S. Multicriteria decision analysis and participatory decision support systems in forest management. Forests, 2017, vol. 8, no. 4, art. 116. DOI: 10.3390/f8040116.

6.    Zlaugotne B., Zihare L., Balode L., Kalnbalkite A., Khabdullin A., Blumberga D. Multi-criteria decision analysis methods comparison. Environmental and Climate Technologies, 2020, vol. 24, no. 1, pp. 454–471. DOI: 10.2478/rtuect-2020-0028.

7.    Palczewski K., Salabun W. The fuzzy TOPSIS applications in the last decade. Procedia Computer Science, 2019, vol. 159, pp. 2294–2303. DOI: 10.1016/j.procs.2019.09.404.

8.    Wang X., Ruan D., Kerre E.E. Mathematics of Fuzziness – Basic Issues. In: Studies in Fuzziness and Soft Computing, 2009, vol. 245, 219 p. DOI: 10.1007/978-3-540-78311-4.

9.    Радаев А.В., Коробов А.В., Яцало Б.И. F-Ranking: компьютерная система для ранжирования нечетких чисел // Программные продукты и системы. 2018. № 3. С. 605–613. DOI: 10.15827/0236-235X. 123.605-613.

10. Радаев А.В., Коробов А.В., Яцало Б.И. F-Calc: компьютерная система для вычисления функций от нечетких аргументов // Искусственный интеллект и принятие решений. 2019. № 4. С. 78–90. DOI: 10.14357/20718594190409.

11. Bustince H. et al. A historical account of types of fuzzy sets and their relationships. IEEE Transactions on Fuzzy Systems, 2016, vol. 24, no. 1, pp. 179–194. DOI: 10.1109/TFUZZ.2015.2451692.

12. Piegat A., Landowski M. Is fuzzy number the right result of arithmetic operations on fuzzy numbers? In: Advances in Fuzzy Logic and Technology, 2017, pp. 181–194. DOI: 10.1007/978-3-319-66827-7_17.

13. Yatsalo B., Korobov A., Oztaysi B., Kahraman C., Martinez L. A general approach to fuzzy TOPSIS based on the concept of fuzzy multicriteria acceptability analysis. J. of Intelligent and Fuzzy Systems, 2020, no. 38, pp. 979–995. DOI: 10.3233/JIFS-179463.

14. Kacprzak D. An extended TOPSIS method based on ordered fuzzy numbers for group decision making. Artificial Intelligence Review, 2020, vol. 53, no. 3, pp. 2099–2129. DOI: 10.1007/s10462-019-09728-1.

15. Simo U.-F., Gwét H. Fuzzy triangular aggregation operators. Int. J. of Mathematics and Mathematical Sciences, 2018, vol. 2018, art. 9209524. DOI: 10.1155/2018/9209524.

16. Dong Y., Xu J. Consensus Building in Group Decision Making. 2016, 201 p. DOI: 10.1007/978-981-287-892-2.

17. Коробов А.В., Яцало Б.И. Система поддержки принятия решений Decerns-FT для анализа многокритериальных задач в условиях нечеткости. Software J.: Theory and Applications, 2021. № 1. С. 1–12. DOI: 10.15827/2311-6749.21.1.1.

18. Doumpos M., Zopounidis C. Disaggregation approaches for multicriteria classification: An overview. In: Multiple Criteria Decision Making, 2018, pp. 77–94. DOI: 10.1007/978-3-319-90599-0_4.

19.  Greco S., Ehrgott M., Figueira J.R. Multiple Criteria Decision Analysis. State of the Art Surveys. NY, Springer Publ., 2016, 1048 p.

20. Janssen P., Nemery P. An extension of the FlowSort sorting method to deal with imprecision. 4OR, 2013, vol. 11, pp. 171–193. DOI: 10.1007/s10288-012-0219-7.

21. Yatsalo B., Korobov A., Martinez L. From MCDA to fuzzy MCDA: Violation of basic axiom and how to fix it. Neural Computing and Applications, 2021, vol. 33, pp. 1711–1732. DOI: 10.1007/s00521-020-05053-9.

References

1. Ding R.-X., Palomares I., Wang X., Yang G.-R. et al. Large-scale decision-making: characterization, taxonomy, challenges and future directions from an artificial intelligence and applications perspective. Information Fusion, 2020, vol. 59, pp. 84–102. DOI: 10.1016/j.inffus.2020.01.006.
2. Dong Y., Zhao S., Zhang H., Chiclana F. et al. A Self-management mechanism for noncooperative behaviors in large-scale group consensus reaching processes. IEEE Transactions on Fuzzy Systems, 2018,
   vol. 26, no. 6, pp. 3276–3288. DOI: 10.1109/TFUZZ.2018.2818078.
3. Dong Y., Zha Q., Zhang H., Kou G., Fujita H., Chiclana F., Herrera-Viedma E. Consensus reaching in social network group decision making: Research paradigms and challenges. Knowledge-Based Systems, 2018, vol. 162, pp. 3–13. DOI:  10.1016/j.knosys.2018.06.036.
4. Weistroffer H.R., Li Y. Multiple criteria decision analysis software. In: Multiple Criteria Decision Analysis, 2016, pp. 1301–1341. DOI: 10.1007/978-1-4939-3094-4_29.
5. Acosta M., Corral S. Multicriteria decision analysis and participatory decision support systems in forest management. Forests, 2017, vol. 8, no. 4, art. 116. DOI: 10.3390/f8040116.
6. Zlaugotne B., Zihare L., Balode L., Kalnbalkite A., Khabdullin A., Blumberga D. Multi-criteria decision analysis methods comparison. Environmental and Climate Technologies, 2020, vol. 24, no. 1, pp. 454–471. DOI: 10.2478/rtuect-2020-0028.
7. Palczewski K., Salabun W. The fuzzy TOPSIS applications in the last decade. Procedia Computer Science, 2019, vol. 159, pp. 2294–2303. DOI: 10.1016/j.procs.2019.09.404.
8. Wang X., Ruan D., Kerre E.E. Mathematics of Fuzziness – Basic Issues. In: Studies in Fuzziness and Soft Computing, 2009, vol. 245, 219 p. DOI: 10.1007/978-3-540-78311-4.
9. Radaev A., Korobov A., Yatsalo B. F-Ranking: a computer system for ranking fuzzy numbers. Software & Systems, 2018, no. 3, pp. 605–613. DOI: 10.15827/0236-235X.123.605-613 (in Russ.).
10. Radaev A.V., Korobov A.V., Yatsalo B.I. FF-Calc: Computer system for calculating functions of fuzzy arguments. Artificial Intelligence and Decision Making, 2019, no. 4, pp. 71–83. DOI: 10.14357/
    20718594190409 (in Russ.).
11. Bustince H. et al. A historical account of types of fuzzy sets and their relationships. IEEE Transactions on Fuzzy Systems, 2016, vol. 24, no. 1, pp. 179–194. DOI: 10.1109/TFUZZ.2015.2451692.
12. Piegat A., Landowski M. Is fuzzy number the right result of arithmetic operations on fuzzy numbers? In: Advances in Fuzzy Logic and Technology, 2017, pp. 181–194. DOI: 10.1007/978-3-319-66827-7_17.
13. Yatsalo B., Korobov A., Oztaysi B., Kahraman C., Martinez L. A general approach to fuzzy TOPSIS based on the concept of fuzzy multicriteria acceptability analysis. J. of Intelligent and Fuzzy Systems, 2020, no. 38, pp. 979–995. DOI: 10.3233/JIFS-179463.
14. Kacprzak D. An extended TOPSIS method based on ordered fuzzy numbers for group decision making. Artificial Intelligence Review, 2020, vol. 53, no. 3, pp. 2099–2129. DOI: 10.1007/s10462-019-09728-1.
15. Simo U.-F., Gwét H. Fuzzy triangular aggregation operators. Int. J. of Mathematics and Mathematical Sciences, 2018, vol. 2018, art. 9209524. DOI: 10.1155/2018/9209524.
16. Dong Y., Xu J. Consensus Building in Group Decision Making. 2016, 201 p. DOI: 10.1007/978-981-287-892-2.
17. Korobov A.V., Yatsalo B.I. Decerns-FT: decision support system for analysis of multi-criteria problems in the fuzzy environment. Software J.: Theory and Applications, 2021, no.1, pp. 1–12. DOI: 10.15827/2311-6749.21.1.1.
18. Doumpos M., Zopounidis C. Disaggregation approaches for multicriteria classification: An overview. In: Multiple Criteria Decision Making, 2018, pp. 77–94. DOI: 10.1007/978-3-319-90599-0_4.
19. Greco S., Ehrgott M., Figueira J.R. Multiple Criteria Decision Analysis. State of the Art Surveys. NY, Springer Publ., 2016, 1048 p.
20. Janssen P., Nemery P. An extension of the FlowSort sorting method to deal with imprecision. 4OR, 2013, vol. 11, pp. 171–193. DOI: 10.1007/s10288-012-0219-7.
21. Yatsalo B., Korobov A., Martinez L. From MCDA to fuzzy MCDA: Violation of basic axiom and how to fix it. Neural Computing and Applications, 2021, vol. 33, pp. 1711–1732. DOI: 10.1007/s00521-020-05053-9.