Software & Systems

Задачи оптимального управления по квадратичному критерию имеют большое значение для таких разделов науки, как математическая экономика и теория автоматического регулирования.

Простейшая постановка данной задачи будет следующей.

Рассмотрим нелинейную динамическую систему, которая характеризуется дифференциальным уравнением вида

,                                   (1)

где x = (x1, …, xn) – n-мерный вектор переменной состояния; u(t) – скалярная функция управления; A, b – действительные матрицы (n ´ n) и (n ´ 1); f = (f 1, …, f n) – векторная функция, определенная и непрерывная вместе со своими частными производными  в евклидовом векторном пространстве

Предположим, что начальное состояние

x(0) = c                                                   (2)

задано, а задачей системного управления (1) является минимизация функционала

             (3)

где T – фиксированное конечное время; Q – неотрицательно полуопределенная матрица (n ´ n); r – положительное число.

Дополнительно предположим, что на функцию управления u(t) наложено ограничение

úu(t)ú £ 1                                                (4)

для всех t Î [0, T].

Если ограничение (4) отсутствует и система (1) линейна, то задача (1)–(3) полностью изучена [1]. В общем случае для решения задачи (1)–(3) изначально использовались различные методы [2, 3]. Метод последовательных приближений, являясь одним из наиболее важных, подробно представлен в работе [2]. Исходная задача несложным и очевидным образом сводится к последовательности линейно-квадратичных задач. К сожалению, применимость рассматриваемого метода затруднена в связи с его чрезвычайной громоздкостью.

В исследованиях [3, 4] оптимальное управление строилось с использованием классических вариационных методов. При этом специ-фические особенности задачи (1)–(3) фактически не учитывались. Это привело к тому, что для отыскания оптимального управления на практике приходилось пользоваться стандартными методами численного анализа, которые в данном случае оказались недостаточно эффективными.

В работах [5, 6] в качестве развития метода Беллмана предложен оригинальный метод последовательных приближений.

Оказалось, что данный метод дает достаточно простую вычислительную процедуру построения оптимального управления в задаче (1)–(3). Это было оценено научным сообществом, и в работах [7–9] метод из [5, 6] был развит на более широкий класс задач.

Заметим, что в работе [10] поставлена окончательная точка в развитии упомянутого выше метода последовательных приближений, что было показано в [11, 12]. Таким образом, закономерно, что после выхода статьи [10] исследования по этой проблеме более не проводились. Целью настоящего исследования является дальнейшее развитие метода для изучения задачи (1)–(4).

Метод последовательных приближений

Для получения приближенного решения задачи (1)–(4) обратимся к вспомогательной задаче и изучим метод получения ее решения.

Рассмотрим задачу минимизации функционала

         (5)

при ограничениях

    (6)

и úuN+1(t)ú £ 1.                                             (7)

Если xN и uN являются фиксированными функциями, решение (5)–(7) можно выразить отношением

     (8)

где pN+1(t) – решение линейного уравнения

                 (9)

с граничным условием

pN+1(T) = 0                                            (10)

(см., например, [1]).

Отметим также, что для простоты начальное приближение будет определяться выражениями

x0(t) º c,                                                (11)

p0(t) º 0.                                               (12)

Как показали вычислительные эксперименты, во многих случаях последовательность  определена для всех  и удовлетворяет следующим условиям [11]:

а) последовательность (xN, pN) равномерно ограничена;

б) множество точек Î [0, T], в которых последовательность (xN, pN) сходится, непусто, то есть  Ç [0, T] ¹ Æ.

В дальнейшем будем считать, что условия а) и б) выполнены. Тогда описанный выше метод последовательных приближений (8)–(12) позволяет установить существование решения задачи (1)–(4).

Теорема 1. Допустим, что для заданной точки  множество  плотно на отрезке [0, T]. Тогда оптимальное управление u*(t) задачи (1)–(4) действительно существует. Кроме того, для всех t Î [0, T] имеем

   (13)

где x*(t) – решение дифференциального уравнения

x* = Ax* + bu* + f(x*, u*), x*(0) = c,           (14)

а p*(t) – решение дифференциального уравнения

       (15)

Кроме того, метод (8)–(12) равномерно сходится на отрезке [0, T] и справедливы равенства

                    (16)

                   (17)

                     (18)

Замечание 1. Доказательство теоремы 1 почти дословно повторяет доказательство теоремы 1 в работе [10]. Поэтому здесь его целесообразно опустить.

Если последовательность  рав-номерно ограничена, а задача (1)–(4) имеет единственное решение, то последовательность  сходится, то есть выполняются равенства (16)–(18).

Ключевым требованием для теоремы 1 является выполнение условий а) и б). Очевидно, что на практике эти условия проверить достаточно сложно. Однако в некоторых случаях от них можно отказаться [10].

Еще одним отличительным недостатком данной схемы является то, что при выполнении она ведет к решению последовательности двухточечных краевых задач. Это может сделать вычислительный процесс значительно сложнее [10].

Чтобы избежать перечисленных сложностей, изучим следующую новую схему последовательных приближений.

Пусть

     (19)

и  (20)

где   (21)

x0(t) º c, p0(t) º 0.

Тогда справедлива следующая теорема.

Теорема 2. Пусть c – произвольная точка пространства  Тогда имеется такое положительное число , что для всех T Î (0, ) существует управление u*(t) в задаче (1)–(4), удовлетворяющее равенству (13), где x*(t) является решением уравнения (14), а p*(t) – решением уравнения (15). Кроме того, метод (8)–(12) равномерно сходится на отрезке [0, T], а равенства (16)–(18) выполняются.

Замечание 2. Доказательство теоремы 2 также весьма близко к доказательству теоремы 2 из работы [10]. Поэтому здесь его тоже опускаем.

Нетрудно заметить, что метод последовательных приближений (8)–(12) можно использовать для поиска решения задачи (1)–(4).

Схема (8)–(12) имеет особенность: она требует разработки решений нелинейных двухточечных граничных задач. Как известно, это часто приводит к трудностям при вычислениях. Схема (19)–(21) не имеет данного недостатка, так как требует решения двух независимых задач Коши. По этой причине схема (19)–(21) выглядит более перспективной для практического использования, так как позволяет применять простейшие методы вычислительной математики. Однако в общем случае управление, полученное по схеме (19)–(21), является оптимальным, где под оптимальностью понимается удовлетворение условиям теоремы 1 (как пра-вило, удовлетворение условиям теоремы 2 не значит автоматического удовлетворения условиям теоремы 1).

Иллюстративный пример

Покажем схему последовательных приближений (19)–(21) в действии на следующем примере.

Рассмотрим уравнение Ван дер Поля:

где d – параметр; u – скалярное управление.

Затем обратимся к системе дифференциальных уравнений

               (22)

Система (22) может быть сведена к форме (1) с

Для критерия (3)  даны значения T (длина временного отрезка), q1, q2 и r.

Пусть в (2)

Покажем результаты решения задачи оптимального управления.

Пусть T = 7, q1 = q2 = 3, r = 0,05, d = 0,1, c1 = c2 = 1,5.

Шаг интегрирования для метода Рунге–Кутта 4-го порядка равен 3.5∙10-4. Точность ме-тода последовательных приближений выбрана равной 0.001. Результаты такого вычислительного эксперимента представлены на рисунках 1 и 2, где z1(t) º 0,  z2(t) º 0, что является точкой равновесия системы

Простейший анализ (рис. 1, 2) показывает, что управление, соответствующее схеме последовательных приближений (19)–(21), обеспечивает стабилизацию первоначальной системы (22) на отрезке [0, T].

Замечание 3. Создание оптимального управления для системы (22) также задействовало схему (8)–(12). Результаты работ, выпол-ненных по этой схеме, полностью совпадают с показанными выше. Также заметим, что время вычисления для схемы (8)–(12) с использова-нием метода прогонки оказалось почти в два раза больше.

Заключение

Основным результатом исследования является разработка новой схемы последовательных приближений (19)–(21) для задачи (1)–(4).

В отличие от схем, применяемых в [11], схема (19)–(21) создает необходимость поиска решений последовательности задач Коши вместо двухточечных граничных задач. Другими словами, применение данной схемы позволяет значительно упростить вычислительный процесс. Это подтверждается представленным вычислительным экспериментом.

Говоря о недостатках схемы (19)–(21), следует отметить, что в общем случае она не может гарантировать нахождение оптимального управления.

Несмотря на указанный недостаток, эта схема может иметь дальнейшее развитие. Так, например, становится возможным изучение анализа задачи (1)–(4) с векторной функцией управления и с более сложной системой ограничений.

Список литературы

1. Атанс М., Фалб П. Оптимальное управление; [пер. с англ.]. М.: Машиностроение, 1968. 764 с.

2. Беллман Р. Процессы регулирования с адаптацией; [пер. с англ.]. М.: Наука, 1964. 359 с.

3. Balachandran K., Somasundaram D. Existence of optimal control for nonlinear systems with quadratic performance. The ANZIAM J., 1987, vol. 29, no. 2, рр. 249–255. doi: 10.1017/S0334270000005750.

4. Афанасьев А.П., Дзюба С.М., Лобанов С.М. Об оптимальном управлении нелинейными системами по квадратичному критерию. Задача стабилизации // Тр. ИСА РАН. 2009. Т. 46. С. 98–110.

5. Afanas’ev A.P., Dzyuba S.M., Lobanov S.M., Tyutyunnik A.V. Successive approximation and suboptimal control of systems with separated linear part. Appl. Comp. Math., 2003, no. 1, рр. 48–56.

6. Afanas’ev A.P., Dzyuba S.M., Lobanov S.M., Tyutyunnik A.V. On a suboptimal control of nonlinear systems via quadratic criteria. Appl. Comp. Math., 2004, no. 3, рр. 158–169.

7. Афанасьев А.П., Дзюба С.М. Об оптимальном управлении нелинейными системами по квадратичному критерию // Тр. ИСА РАН. 2008. Т. 32. С. 68–81.

8. Gao D.-X. Disturbance attenuation and rejection for systems with nonlinearity via successive approximation approach. Proc. XXX Chinese Control Conf., 2011, рр. 250–255.

9. Ma Sh.Y. A successive approximation approach of nonlinear optimal control with R-rank persistent disturbances. Appl. Mech. and Materials, 2012, рр. 130–134. doi: 10.4028/www.scientific.net/AMM.130-134.1862.

10. Afanas'ev A.P., Dzyuba S.M., Emelyanova I.I., Ramazanov A.B. Optimal control with feedback of some class of nonlinear systems via quadratic criteria. Appl. Comput. Math., 2016, vol. 15, no. 1, рр. 78–87.

11. Afanas’ev A.P., Dzyuba S.M., Emelyanova I.I. et al. Optimal control of nonlinear systems with separated linear part via quadratic criteria. Optimization Letter, 2019, vol. 13, no. 8, pp. 1715–1725. doi: 10.1007/s11590-018-1309-z.

12. Afanas’ev A.P., Dzyuba S.M., Emelyanova I.I., Putilina E.V. Numerical implementation of the contact of optimal trajectory with singular regime in the optimal control problem with quadratic criteria and scalar control. In: CCIS. Proc. OPTIMA, 2018, vol. 974, pp. 9–17. doi: 10.1007/978-3-030-10934-9_17.

Reference List

1. Athans, M., Falb, P.L. (1968) Optimal Control, NY, McGRAW-HILL Publ., 894 p. (Russ. ed.: Moscow, 764 p.).

2. Bellman, R. (1961) Adaptive Control Process: A Guided Tour, Princeton University Press, 255 p. (Russ. ed.: Moscow, 1964, 359 p).

3. Balachandran, K., Somasundaram, D. (1987) ‘Existence of optimal control for nonlinear systems with quadratic performance’, The ANZIAM J., 29(2), рр. 249–255. doi: 10.1017/S0334270000005750.

4. Afanasyev, A.P., Dzyuba, S.M., Lobanov, S.M. (2009) ‘On optimal control of nonlinear systems by the quadratic criterion. The task of stabilization’, Proc. ISA RAS, 46, pp. 98–110 (in Russ.).

5. Afanas’ev, A.P., Dzyuba, S.M., Lobanov, S.M., Tyutyunnik, A.V. (2003) ‘Successive approximation and suboptimal control of systems with separated linear part’, Appl. Comp. Math., (1), рр. 48–56.

6. Afanas’ev, A.P., Dzyuba, S.M., Lobanov, S.M., Tyutyunnik, A.V. (2004) ‘On a suboptimal control of nonlinear systems via quadratic criteria’, Appl. Comp. Math., (3), рр. 158–169.

7. Afanas’ev, A.P., Dzyuba, S.M. (2008) ‘On optimal control of nonlinear systems by the quadratic criterion’, Proc. ISA RAS, 32, pp. 68–81 (in Russ.).

8. Gao, D.-X. (2011) ‘Disturbance attenuation and rejection for systems with nonlinearity via successive approximation approach’, Proc. XXX Chinese Control Conf., рр. 250–255.

9. Ma, Sh.Y. (2012) ‘A successive approximation approach of nonlinear optimal control with R-rank persistent disturbances’, Appl. Mech. and Materials, рр. 130–134. doi: 10.4028/www.scientific.net/AMM.130-134.1862.

10. Afanas'ev, A.P., Dzyuba, S.M., Emelyanova, I.I., Ramazanov, A.B. (2016) ‘Optimal control with feedback of some class of nonlinear systems via quadratic criteria’, Appl. Comput. Math., 15(1), рр. 78–87.

11. Afanas’ev, A.P., Dzyuba, S.M., Emelyanova, I.I. et al. (2019) ‘Optimal control of nonlinear systems with separated linear part via quadratic criteria’, Optimization Letter, 13(8), pp. 1715–1725. doi: 10.1007/s11590-018-1309-z.

12. Afanas’ev, A.P., Dzyuba, S.M., Emelyanova, I.I., Putilina, E.V. (2018) ‘Numerical implementation of the contact of optimal trajectory with singular regime in the optimal control problem with quadratic criteria and scalar control’, in CCIS. Proc. OPTIMA, 974, pp. 9–17. doi: 10.1007/978-3-030-10934-9_17.