自20世纪70年代以来, 输出调节问题一直是控制系统的核心研究问题之一. 输出调节理论在机械臂操纵、卫星姿态控制和电机速度调节等方面已取得广泛应用^[1−2]. 近二十年, 研究学者已将单一系统的输出调节问题推广至多智能体系统, 形成了协同输出调节问题^[3−5]. 协同输出调节的控制目标是设计一种分布式控制器, 使得所有跟随者的输出都能渐近地跟踪参考信号, 同时抑制外部干扰. 在协同输出调节问题的研究中, 智能体通常可分成两组, 一组智能体能够直接获得领导者(外部系统)的信息, 而另一组智能体则无法直接获得领导者的信息. 协同输出调节理论在许多实际工程控制系统得以应用, 如自适应巡航控制系统、移动机器人系统、基于逆变器的孤岛微电网系统、分布式能源控制系统以及有源直流配电网络系统等^[6−9].

内模原理是用来解决协同输出调节问题的主要方法之一^[10−11]. 基于内模原理设计调节器时, 调节器需包含与外部系统相同的动力学模型, 即内模. 内模通过复制外部系统的信息生成前馈项, 以补偿系统中的稳态误差. 在利用内模原理解决系统的协同输出调节问题时, 需要将其转换为由受控系统和内模构成的增广系统的协同镇定问题. 针对离散时间多智能体系统协同的输出调节问题, 文献[12]基于有限激励条件的估计更新律来逼近外部系统模型参数, 进而建立在线分布式内模. 此外, 协同输出调节问题还可与事件触发控制^[13]、容错控制^[14]和弹性控制^[15]等方法相结合, 以有效应对复杂系统中的控制需求.

在现代控制系统中, 控制器的设计不仅需要保证闭环系统实现输出调节, 还需对其瞬态性能进行优化, 以实现最优输出调节. 针对线性系统, 传统的最优控制问题通常需要求解代数黎卡提方程, 但求解过程相对复杂. 为简化这一过程, 值迭代^[16−17]和策略迭代^[18−19]通过更新值函数和控制器增益, 提供了一种逐步逼近代数黎卡提方程解的方法. 相比策略迭代, 值迭代放宽了对初始稳定策略的严格要求, 但这种灵活性也降低了算法的收敛速度. 此外, 在实际应用中, 系统的矩阵信息可能不确定或者完全未知, 这给控制器设计带来更大的挑战^[20]. 为解决该问题, 自适应动态规划算法应运而生. 与依赖系统矩阵信息的方法不同, 自适应动态规划算法无需进行系统识别, 直接利用在线数据来设计控制器^[21−23]. 文献[24]将自适应分布式观测器、强化学习和输出调节理论相结合, 针对一类具有部分未知动态的非线性离散时间多智能体系统, 设计分布式自适应近似最优跟踪控制器以实现协同自适应最优输出调节. 文献[25]针对跟随者系统矩阵信息未知的多智能体系统, 结合自适应动态规划和内模原理, 基于在线数据学习最优控制器. 值得注意的是, 在上述协同最优输出调节的研究中, 通常假设领导者的状态和系统矩阵信息可以被所有跟随者访问, 这在实际情况下难以满足^[26−28]. 另外, 现有基于自适应动态规划的协同输出调节方法多考虑连续时间多智能体系统. 在所有跟随者无法直接访问领导者的真实状态和系统矩阵信息时, 针对离散时间多智能体系统的自适应最优协同输出调节研究尚显不足.

为解决离散时间多智能体系统矩阵信息完全未知情况下的协同最优输出调节问题, 本文分别基于策略迭代和值迭代提出数据驱动的自适应最优控制方法. 与现有方法相比, 本文方法的独特性和主要优势如下:

1) 目前关于离散时间协同输出调节控制器的设计方法大多依赖于精确或部分已知的系统模型. 与现有设计方法不同, 针对系统矩阵完全未知的离散时间多智能体系统, 本文基于内模原理、分布式控制和估计等技术, 创新性地设计了基于数据的分布式自适应最优控制器, 以实现离散多智能体系统的协同最优输出调节.

2) 在现有关于协同输出调节问题分布式控制器的学习过程中, 通常假设所有跟随者需实时测量领导者的真实状态. 然而在实际中, 这一假设往往不成立. 鉴于此, 本文考虑一种更为现实的情况, 即跟随者需要基于对领导者系统矩阵和状态的估计值进行在线学习. 针对这一问题, 本文分别基于策略迭代与值迭代, 提出自适应最优学习策略, 该策略能够在领导者真实状态未知且部分跟随者无法获得领导者系统矩阵的情况下, 实现协同最优的输出调节. 此外, 通过严格的收敛性分析, 证明了所学习的控制增益可以收敛至最优控制增益.

在本文中, $ {{\bf{Z}}_{+}} $表示非负整数集, $ |\cdot | $定义为向量的欧几里得范数或者矩阵的诱导范数, $ \otimes $表示Kronecker积. $ \mathrm{vec}(B)={{[b_{1}^{\mathrm{T}},\;b_{2}^{\mathrm{T}},\;\cdots ,\;b_{m}^{\mathrm{T}}]}^{\mathrm{T}}} $将矩阵$ B\in {{\bf{R}}^{r\times m}} $向量化, 其中, $ {{b}_{i}}\in {{\bf{R}}^{r}} $是矩阵$ B $的第$ i $列. 针对任意对称方阵$ C\in {{\bf{R}}^{m\times m}} $, $ \mathrm{vecs}(C)=[{{c}_{11}}, 2{{c}_{12}},\,\cdots ,\,2{{c}_{1m}},\,{{c}_{22}},\,2{{c}_{23}},\,\cdots ,\,{{c}_{mm}}]^\mathrm{T} \in{{\bf{R}}^{\frac{m(m+1)}{2}}} $. 针对任意列向量$ v\in {{\bf{R}}^{n}} $, $ \mathrm{vecv}(v)=[v_{1}^{2},\;{{v}_{1}}{{v}_{2}},\;\cdots ,\;{{v}_{1}}{{v}_{n}}, v_{2}^{2},\; {{v}_{2}}{{v}_{3}},\;\cdots ,\;{{v}_{n-1}}{{v}_{n}},\;v_{n}^{2}]^\mathrm{T}\in {{\bf{R}}^{\frac{1}{2}n(n+1)}} $. $ {{\lambda }_{M}}(E) $表示实对称矩阵$ E $的最大特征值. $ F=\mathrm{blockdiag} \{{{F}_{1}}, \;{{F}_{2}}, \cdots ,\;{{F}_{n}}\} $是以矩阵(向量) $ F_i $为对角线元素的块对角矩阵. 对于方阵$ G $, $ \sigma (G) $表示方阵$ G $所有特征值的集合; $ \rho (G) $表示方阵$ G $所有特征值的最大绝对值. $ |x{{|}_{P}} $定义为$ {{x}^{\mathrm{T}}}Px $, 其中, $ x $为实列向量, $ P $为实对称正定矩阵. $ I_{n} $定义为$ n\times n $的单位矩阵.

1.   问题描述

本文将研究如下一类离散时间多智能体系统:

其中, $ {{x}_{i}}(k)\in {{\bf{R}}^{{{n}_{i}}}} $, $ {{u}_{i}}(k)\in {\bf{R}} $, $ {{e}_{i}}(k)\in {\bf{R}} $分别是第$ i $个跟随者的状态、输入和跟踪误差. $ v(k)\in {{\bf{R}}^{q}} $是外部状态, 由如下形式的自治系统产生:

自治系统(2)称为外部系统, 可同时生成扰动信号$ {{D}_{i}}v(k) $和参考信号$ -Fv(k) $ (即每个子系统输出$ {{y}_{i}}(k)={{C}_{i}}{{x}_{i}}(k) $的跟踪目标). 多智能体系统(1)和(2)中的矩阵维数为$ {{A}_{i}}\in {{{\bf{R}}}^{{{n}_{i}}\times {{n}_{i}}}} $, $ {{B}_{i}}\in {{{\bf{R}}}^{{{n}_{i}}\times 1}} $, $ {{C}_{i}}\in {{{\bf{R}}}^{1\times {{n}_{i}}}} $, $ {{D}_{i}}\in {{{\bf{R}}}^{{{n}_{i}}\times q}} $, $ F\in {{{\bf{R}}}^{1\times q}} $, $ E\in {{{\bf{R}}}^{q\times q}} $.

针对系统(1)和外部系统(2), 定义一个有向图$ {\cal{G}}({\cal{V}},\;{\cal{E}}) $, 其中, $ {\cal{V}}=\{0,\;1,\;2,\;\cdots ,\;N\} $是节点集, 节点$ 0 $是通过外部系统(2)建模的领导者, 其余$ N $个节点定义为系统(1)所描述的跟随者. $ {\cal{E}}\in {\cal{V}}\times{\cal{V}} $表示边集. 邻接矩阵$ {\cal{A}}=[{{a}_{ij}}]\in {{\bf{R}}^{(N+1)\times (N+1)}} $, 若$ (i,\;j)\in {\cal{E}} $, $ {{a}_{ij}}>0 $; 若$ (i,\;j)\notin {\cal{E}} $, $ {{a}_{ij}}=0 $. 拉普拉斯矩阵$ {\cal{L}} $定义如下:

其中, $ \Delta = \mathrm{diag}\{{{a}_{10}},\;{{a}_{20}},\;\cdots ,\;{{a}_{N0}}\} $, $ {\cal{H}} = [{{h}_{ij}}] \in {{\bf{R}}^{N\times N}} $, 其中$ {{h}_{ii}}=(\sum\nolimits_{j=0}^{N}{{{a}_{ij}}})-{{a}_{ii}} $, 且对所有的$ i\ne j $有$ {{h}_{ij}}= -{{a}_{ij}} $. $ {{{\cal{N}}}_{i}} $是第$ i $个跟随者的邻域, $ {\cal{N}}_{i}^{+} $定义为$ {\cal{N}}_{i}^{+}= {{{\cal{N}}}_{i}}/\{0\} $.

注1. 本文考虑的多智能体系统(1)中所有跟随者的参考信号都相同, 即$ -Fv(k) $. 如果跟随者的参考信号互不相同, 可参考文献[25]进行分布式控制器设计.

针对多智能体系统(1)和(2), 为解决协同输出调节问题, 给出如下标准假设:

假设1. 对任意的$ i=1,\;2,\;\cdots ,\;N $, $ ({{A}_{i}},\;{{B}_{i}}) $是可镇定的.

假设2. 对任意的$ i=1,\;2,\;\cdots ,\;N $, 有

假设3. 有向图$ {\cal{G}} $包含一个以节点$ 0 $为根节点的有向生成树.

假设4. 外部系统(2)的状态矩阵$ E $表示为可控标准型中状态矩阵的形式, 即

且矩阵$ E $的所有特征值的模均小于或等于$ 1 $.

假设5. 外部系统(2)中的系统矩阵$ E $的矩阵信息仅对领导者和与其直接通信的跟随者可用.

多智能体系统(1)和(2)的协同输出调节问题定义如下.

问题1. 针对系统(1)和外部系统(2), 设计分布式控制器使以下条件成立:

1) 闭环系统的系统矩阵是舒尔矩阵, 即该系统矩阵所有特征值的模都小于1;

2) 对于任意的初始条件$ {{x}_{1}}(0),\;{{x}_{2}}(0),\;\cdots ,\; {{x}_{N}}(0) $和$ v(0) $, 跟踪误差满足$ {\lim }_{t \to \infty } \,{{e}_{i}}(k)=0 $, $ i=1,\; 2, \cdots ,\; N $.

本文的目标是通过设计分布式数据驱动控制器以解决最优控制和输出调节相结合的协同最优输出调节问题.

2.   分布式自适应内模

如果所有跟随者都可以访问领导者的系统矩阵$ E $, 那么可以根据协同输出调节理论设计如下所示的分散式内模:

其中, $ {{G}_{2}=[0,\;0,\;\cdots,\;0,\;1]^\mathrm{T}} \in {{\bf{R}}^{q}} $, $ z(k)\in {{\bf{R}}^{q}} $, $ {{G}_{1}}= E \in {{\bf{R}}^{q \times q}} $.

分散式内模(3)的构造取决于一个条件, 即所有跟随者均能直接与领导者通信, 实时获取跟踪误差$ {{e}_{i}}(k) $. 然而, 由于智能体之间的通信限制, 这一条件在现实中很难满足. 因此, 在所有跟随者都可获取领导者系统矩阵$ E $的前提下, 基于假设3设计了如下所示的分布式内模:

式中, 重新设计的跟踪误差$ {{\hat{e}}_{i}}(k) $定义为

其中, $a_i=\sum\nolimits_{j=0}^{N}{{{a}_{ij}}} $, 对于每个跟随者, 分布式内模的构造仍然需要所有跟随者在初始时刻即获取领导者的系统动态. 但如假设5所述, 并非所有跟随者都可以通过与领导者直接通信来获取这一信息. 因此, 直接应用传统的内模原理并不能克服这一挑战^[29].

本文引入一种自适应分布式观测器^[30]估计外部系统动态:

因此, 分布式自适应内模设计如下:

注2^[30]. 当假设3成立时, 若式(5a)中的参数$ {{\mu }_{1}} $满足$ 0<{{\mu }_{1}}<2/\rho ({\cal{H}}) $, 那么可以保证$ {\lim }_{k \to \infty } {{\tilde{E}}_{i}}(k) = {\lim }_{k \to \infty } \;({{E}_{i}}(k)-E)=0 $, $ i=1,\;2,\;\cdots ,\;N $. 当假设4成立时, 若式(5b)中的参数$ {{\mu }_{2}} $能够使得$ ({{I}_{N}}\otimes E)- {{\mu }_{2}}({\cal{H}}\otimes E) $成为舒尔矩阵, 那么可以保证$ {\lim }_{k \to \infty }\; {{\tilde{\eta }}_{i}}(k)= {\lim }_{k \to \infty } \;({{\eta }_{i}}(k)-v(k))=0 $, $ i\;=\;1, 2,\;\cdots ,\;N $.

以下定理指出, 基于分布式自适应内模(5)和(6)设计的状态反馈控制器, 可解决离散时间多智能体系统(1)和(2)的协同输出调节问题.

定理1. 在假设1 ~ 5下, 针对增广系统:

设计状态反馈控制器为

如果

是舒尔矩阵, 那么离散时间多智能体系统(1)和(2)可以实现协同输出调节.

证明. 在假设1 ~ 5下, 对所有的$ i=1,\;2,\;\cdots ,\; N $, 以下调节器方程存在唯一的解$ ({{X}_{i}},\;{{U}_{i}}) $:

根据文献[29]中的引理1.38以及矩阵$ {{A}_{{{c}_{i}}}} $是舒尔矩阵, 以下矩阵方程(11)和(12)有唯一解$ ({{\hat{X}}_{i}},\;{{Z}_{i}}) $:

由此可得$ {{X}_{i}}={{\hat{X}}_{i}} $, $ {{U}_{i}}=-{{K}_{{{x}_{i}}}}{{X}_{i}}-{{K}_{{{z}_{i}}}}{{Z}_{i}} $. 由于调节器方程(9)和(10)的解是唯一的, 可知$ ({{X}_{i}}, {{U}_{i}},\;{{Z}_{i}}) $也是唯一的.

对于$ i=1,\;2,\;\cdots ,\;N $, 定义向量与矩阵如下: $ {{\tilde{x}}_{i}}(k)={{x}_{i}}(k)-{{X}_{i}}v(k) \in {{\bf{R}}^{{n}_{i}}} $, $ {{\tilde{E}}_{i}}={{E}_{i}}-E \in {{\bf{R}}^{q \times q}} $, $ {{\bar{C}}_{i}}=[{{C}_{i}},\;{\boldsymbol{0}}_{1 \times {q}}]\in {{\bf{R}}^{1\times {{m}_{i}}}} $, $ {{K}_{i}}=[{{K}_{{{x}_{i}}}},\;{{K}_{{{z}_{i}}}}] \in {{\bf{R}}^{1 \times m_{i}}} $, $ {{\tilde{\xi }}_{i}}\ =\ [{{{\tilde{x}}}_{i}},\;{{{\tilde{z}}}_{i}} ]^\mathrm{T}\in {{\bf{R}}^{{{m}_{i}}}} $, $ {{\tilde{z}}_{i}}(k)\ ={{z}_{i}}(k)-{{Z}_{i}}v(k) \in {{\bf{R}}^{q}} $, $ {{\bar{B}}_{i}}=[{{B}_{i}};{\boldsymbol{0}}_{q\times 1}] $, $ {{\bar{A}}_{i}}=[{{A}_{i}} ,\;{\boldsymbol{0}}_{n_{i} \times {q}};{{G}_{2}}{{C}_{i}},\;E] $, 其中$ {{m}_{i}} = {{n}_{i}}+q $.

根据矩阵方程(11)和(12), 有

和

其中, $a_i=\sum\nolimits_{j=0}^{N}{{{a}_{ij}}} $, 将式(13)和式(14)合并为

其中, $ {{\tilde{\xi }}_{-i}}(k) $是将所有误差$ {{\tilde{\xi }}_{1}}(k),\;{{\tilde{\xi }}_{2}}(k),\;\cdots ,\;{{\tilde{\xi }}_{N}}(k) $聚集在一起但并不包括$ {{\tilde{\xi }}_{i}}(k) $的向量.

根据假设3可以标记所有跟随者, 使得满足$ (i,\;j)\in {\cal{E}} $这一条件的$ i $一定小于$ j $. 因此, 误差状态$ \tilde{\xi }(k) $的动力学系统可以表示为

其中, $ \tilde{\xi }(k)\ =\ {{[\tilde{\xi }_{1}^\mathrm{T}(k),\;\tilde{\xi }_{2}^\mathrm{T}(k),\;\cdots ,\;\tilde{\xi }_{N}^\mathrm{T}(k)]}^{\mathrm{T}}} $, $ {{L}_{1}}\ =\ \mathrm{blockdiag} \{{{L}_{11}},\,{{L}_{21}},\,\cdots ,\,{{L}_{N1}}\} $, $ {{L}_{2}} =[L_{12}^\mathrm{T},\;L_{22}^\mathrm{T},\; \cdots ,\; L_{N2}^\mathrm{T}]^\mathrm{T} $, $ {{A}_{c}} $是以矩阵$ {{A}_{{{c}_{i}}}} $为对角线元素的块下三角矩阵.

由假设4可知, 对于任意的$ k\in {{\bf{Z}}_{+}} $, 外部状态$ v(k) $都保持在有界集合中, 且估计误差$ {\lim }_{k \to \infty } \;{{\tilde{E}}_{i}}(k)= 0 $, 由此可得$ {\lim }_{k \to \infty } \;{{L}_{1}}(k)=0 $, $ {\lim }_{k \to \infty } \;{{L}_{2}}(k)=0 $, 根据文献[30]中的引理1, 系统$ \tilde{\xi }(k+1)=[{{A}_{c}}\;+ {{L}_{1}}(k)]\tilde{\xi }(k) $是全局指数稳定的. 即, 对于任意的初始条件, 系统(16)的解对于所有的$ k\in {{\bf{Z}}_{+}} $是有界的. 由于$ {{A}_{c}} $是舒尔矩阵, 系统(16)以$ {{L}_{1}}(k)\tilde{\xi }(k)+ {{L}_{2}}(k) $为输入时是输入状态稳定的. 因此, 根据文献[31]中的引理3.8可知, 存在$ {\cal{K}} $类函数$ \gamma $使$ \tilde{\xi }(k) $满足:

由于$ \tilde{\xi }(k) $是有界的, 如果$ {{L}_{1}}(k) $和$ {{L}_{2}}(k) $均以指数形式收敛到$ 0 $, 那么$ \tilde{\xi }(k) $也是如此. 即${\lim }_{k \to \infty } {{\tilde{\xi }}_{i}}(k) = 0 $且${\lim }_{k \to \infty } \;{{e}_{i}}(k)=0 $, 其中, $ i=1,\;2,\; \cdots ,\; N $.□

注3. 对于$ i=1,\;2,\;\cdots ,\;N $, 在假设1 ~ 5下, $ ({{\bar{A}}_{i}},{{\bar{B}}_{i}}) $是可镇定的, 这意味着总可以找到增益矩阵$ {{K}_{i}} $, 使$ {{A}_{{{c}_{i}}}} $是舒尔矩阵^[29].

定义如下向量与矩阵:

其中, $ i=1,\;2,\;\cdots ,\;N $, $ {{\tilde{u}}_{i}}(k)={{u}_{i}}(k)-{{U}_{i}}v(k) $, $ {{Q}_{i}}= Q_{i}^\mathrm{T}>0 $, $ {{R}_{i}}=R_{i}^\mathrm{T}>0 $.

接下来, 本文将协同最优输出调节问题定义如下.

问题2. 本问题为协同最优输出调节问题, 即

根据线性最优控制理论, 问题2的最优控制策略为

其中, 矩阵$ {P}^{*}={P}^{*\mathrm{T}}\succ 0 $满足离散时间代数黎卡提方程:

由于矩阵$ \bar{A} $, $ \bar{B} $, $ Q $, $ R $均是块对角矩阵, 因此可以推导出$ {{K}^{*}} $也是块对角矩阵:

这意味着每个跟随者$ i $的最优控制增益可以根据式(21)和式(22)独立计算, 即

其中, 矩阵$ P_{i}^{*}=P_{i}^{*\mathrm{T}}\succ 0 $是以下离散时间代数黎卡提方程的唯一解:

因此, 最优控制器$ u_{i}^{*}(k) $为

这与控制器(8)形式相似. 此外, 由于$ ({{\bar{A}}_{i}},\;{{\bar{B}}_{i}}) $是可镇定的, 可确定如下闭环系统矩阵是舒尔矩阵:

根据定理1, 所设计的控制器(25)能够解决协同输出调节问题.

3.   自适应最优控制器设计

解决问题2的关键是求解离散时间代数黎卡提方程(24), 现有求解方法多依赖系统矩阵的精确信息. 在本节中, 将设计两种基于数据驱动的自适应最优控制策略, 即值迭代和策略迭代, 目的是解决协同最优输出调节问题. 所设计的算法在不依赖多智能体系统矩阵$ {{A}_{i}},\;{{B}_{i}},\;{{C}_{i}},\;{{D}_{i}} $和$ F $的前提下, 能够学习每个跟随者的最优控制增益$ K_{i}^{*} $.

3.1   在线值迭代设计

首先根据增广系统(7), 可以得到:

其中, 对于$ i=1,\;2,\;\cdots ,\;N $, $ j=1,\;2,\;\cdots ,\;N $, 参数$ {{\alpha }_{i0}}={{a}_{i0}}/a_{i} $, $ {{\alpha }_{ij}}={{a}_{ij}}/a_{i} $. 因此, 根据式(27)和增广系统(7), $ {{\xi }_{i}}=[x_{i}^{\mathrm{T}},\;z_{i}^{\mathrm{T}}]^{\mathrm{T}} $的动力学方程可以写成

根据文献[30]中的引理2可知, 选择合适的参数$ {{\mu }_{1}} $, $ {{\mu }_{2}} $能够驱使估计误差$ {{\tilde{\eta }}_{i}} $和$ {{\tilde{E}}_{i}} $收敛到$ 0 $. 因此, 通过调整$ {{\mu }_{1}} $, $ {{\mu }_{2}} $的值可使以下矩阵:

收敛到0.

值迭代算法的本质是更新对称正定矩阵$ P_{i} $和控制器增益$ K_{i} $ ^[17]:

令$ {{\rho }_{i}}(k)=0 $, 那么式(28)可以写成

其中, $ {{\psi }_{i}}(k)={{[\eta _{i}^\mathrm{T}(k),\;\tilde{\xi }_{j1}^\mathrm{T}(k),\;\cdots ,\;\tilde{\xi }_{{{j}_{|{\cal{N}}_{i}^{+}|}}}^\mathrm{T}(k)]}^\mathrm{T}}\in {{\bf{R}}^{{{p}_{i}}}} $, $ {\cal{N}}_{i}^{+}=\{{{j}_{1}},\;{{j}_{2}},\;\cdots ,\;{{j}_{|{\cal{N}}_{i}^{+}|}}\} $, 矩阵$ {{S}_{i}}\in {{\bf{R}}^{{{m}_{i}}\times {{p}_{i}}}} $可由数学知识推导出.

为了便于分析, 定义以下矩阵:

因此, 基于式(29), (30)和(32), 可得:

另外, 由式(31)可知:

根据$ \mathrm{vecv} $和$ \mathrm{vecs} $的运算规则, 进一步得到:

其中, $ {{\theta }_{VI,\;i}}(k)={{[\xi _{i}^{\mathrm{T}}(k),\;u_{i}^{\mathrm{T}}(k),\;\psi _{i}^{\mathrm{T}}(k)]}^{\mathrm{T}}}\in {{\bf{R}}^{{{l}_{i}}}} $.

通过选择足够大的正整数$ c\ge {{l}_{i}}({{l}_{i}}+1)/2 $, 令

其中, $ \phi _{VI,\;i}^{(m)}(k+1) $, $ k=0,\;1,\; \cdots,\;c $表示式(33)的右边, 这意味着下列等式关系成立:

接下来, 本文提出一种基于数据驱动的值迭代算法, 即算法1来近似最优控制器增益$ K_{i}^{*} $和对称正定矩阵$ P_{i}^{*} $.

　 算法1. 协同最优输出调节问题的在线值迭代算法

1) 选择任意的初始控制策略$ {{u}_{i}}(k) $, $ k\in [0,\;s] $, $ \forall 1\le i\le $　　　$N $, $ i\leftarrow 1 $;

2) 选择初始条件$ {\cal{W}}_{i}^{0}\leftarrow 0 $, $ K_{i}^{0}\leftarrow 0 $, $ m\leftarrow -1 $, 停止条　　　 件选择为$ {{\varepsilon }_{VI,\;i}}>0 $, 计算$ \Theta _{VI,\;i}^{(m)} $;

3) 令$ m\leftarrow m+1 $, 计算$ \Phi _{VI,\;i}^{(m)} $;

4) 根据式(32)求解$ \mathrm{vecs}({\cal{W}}_{i}^{(m+1)}) $;

5) 更新控制器增益: $ K_{i}^{(m+1)} \leftarrow ({R}_{i}+{\cal{W}}_{i}^{(m+1)}[2,\;2])^{-1} \times $　　　$ ({\cal{W}}_{i}^{(m+1)}[1,\;2])^\mathrm{T} $;

6) 判断$ |{\cal{W}}_{i}^{(m+1)}-{\cal{W}}_{i}^{(m)}|<{{\varepsilon }_{VI,\;i}} $是否成立, 如果成立　　　 则停止迭代, 反之则继续重复执行步骤3) ~ 5);

7) 学习到的控制器增益为$ {{u}_{i}}(k)=-K_{i}^{(m+1)}\times {{\xi }_{i}}(k) $;

8) 令$ i\leftarrow i+1 $, 继续重复执行步骤2) ~ 7), 直到$ i= $　　　 $N+1 $.

3.2   在线策略迭代设计

在线策略迭代的思想是同时实施策略评估:

和策略改进:

通过式(36)和式(37), 可以得到:

另一方面, 根据式(31)可以得到以下等式:

那么, 基于式(38)和式(39)可以得到:

通过进一步计算, 以下等式关系成立:

其中, $ \theta _{PI,\;i}^{(m)}(k) $和$ \phi _{PI,\;i}^{(m)}(k+1) $定义如下:

给定一个足够大的正整数$ s\ge {{t}_{i}}({{t}_{i}}+1)/2 $, 令$ \Theta _{PI,\;i}^{(m)} = {{[\theta _{PI,\;i}^{(m)}(0),\;\theta _{PI,\;i}^{(m)}(1),\;\cdots ,\;\theta _{PI,\;i}^{(m)}(s)]}^\mathrm{T}} $, $ \Phi _{PI,\;i}^{(m)} = {{[\phi _{PI,\;i}^{(m)}(1),\;\phi _{PI,\;i}^{(m)}(2),\;\cdots ,\;\phi _{PI,\;i}^{(m)}(s+1)]}^\mathrm{T}} $. 因此, 可以得到以下线性方程:

接下来, 本文给出在线策略迭代算法, 即算法2.

　 算法2. 协同最优输出调节问题的在线策略迭代算法

1) 选择任意稳定的初始控制策略$ {{u}_{i}}(k)= -K_{i}^{(0)} {{\xi }_{i}}(k)\;+ $　　　${{\varsigma }_{i}}(k) $, $ k\in [0,\;s] $, 其中$ {{\varsigma }_{i}}(k) $是探测噪声, $ \forall 1\le i\le N $;

2) 令$ m\leftarrow 0 $, 停止条件选择为$ {{\varepsilon }_{PI,\;i}}>0 $, 计算$ \Theta _{PI,\;i}^{(m)} $;

3) 令$ m\leftarrow m+1 $, 计算$ \Phi _{PI,\;i}^{(m)} $;

4) 根据式(39)求解$ \mathrm{vec}({\cal{W}}_{i}^{(m)}[1,\;2]) $, $ \mathrm{vec} ({\cal{W}}_{i}^{(m)}[2,\;2]) $;

5) 更新控制器增益: $ K_{i}^{(m+1)}\leftarrow ({{R}_{i}}+{\cal{W}}_{i}^{(m)}[2,\;2])^{-1}\;\times $　　　$({\cal{W}}_{i}^{(m)}[2,\;2])^\mathrm{T} $;

6) 判断$ |K_{i}^{(m+1)}-K_{i}^{(m)}|<{{\varepsilon }_{PI,\;i}} $是否成立, 如果成立　　　 则停止迭代, 反之则继续重复执行步骤3) ~ 5);

7) 学习到的控制策略为$ {{u}_{i}}(k)=-K_{i}^{(m+1)} {{\xi }_{i}}(k) $;

8) 令$ i\leftarrow i+1 $, 继续重复执行步骤2) ~ 7), 直到$ i= $　　　$N+1 $.

注4. 与传统的自适应控制和现有的自适应动态规划研究相同, 通常在学习阶段向输入添加探测噪声, 以保证矩阵$ \Theta _{VI,\;i}^{(m)} $和$ \Theta _{PI,\;i}^{(m)} $是列满秩矩阵^[32−33]. 即, 在每次迭代中通过求解式(35), 式(42)都能够得到唯一解.

3.3   收敛性分析

本文通过以下引理来讨论通过在线算法与传统基于模型方法求解的控制增益$ K_i $和对称正定矩阵$ P_i $之间的关系.

引理1. 对于任意小的$ \tilde{c}>0 $, 存在$ {{\mu }_{1}} $, $ {{\mu }_{2}}>0 $, 使得对于所有的$ i=1,\;2,\;\cdots ,\;N $, 由算法1得到的$ \{P_{i}^{(m)}\} $和 $ \{K_{i}^{(m)}\} $满足不等式$ |P_{i}^{(m)}-\hat{P}_{i}^{(m)}|<\tilde{c} $, $ |K_{i}^{(m)}-\hat{K}_{i}^{(m)}| <\tilde{c} $, 序列$ \{\hat{P}_{i}^{(m)}\}_{m=1}^{\infty } $和 $ \{\hat{K}_{i}^{(m)}\}_{m=1}^{\infty } $是基于模型的值迭代算法(29)和(30)得到的解. 证明见附录A.

引理2. 对于任意小的$ \tilde{c}>0 $, 存在$ {{\mu }_{1}} $, $ {{\mu }_{2}}>0 $, 使得对于所有的$ i=1,\;2,\;\cdots ,\;N $, 由算法2得到的$ \{P_{i}^{(m)}\} $和 $ \{K_{i}^{(m)}\} $满足不等式 $ |P_{i}^{(m)}-\bar{P}_{i}^{(m)}|<\tilde{c} $, $ |K_{i}^{(m)}-\bar{K}_{i}^{(m)}| <\tilde{c} $, 序列$ \{\bar{P}_{i}^{(m)}\}_{m=1}^{\infty } $和 $ \{\bar{K}_{i}^{(m)}\}_{m=1}^{\infty } $是基于模型的策略迭代算法(36)和(37)得到的解. 证明见附录B.

定理2. 对于任意小的$ {c^{*}}>0 $, 存在$ {{\mu }_{1}} $, $ {{\mu }_{2}}>0 $和$ {{m}^{*}}\in {{\bf{Z}}_{+}} $, 使得对所有的$ i=1,\;2,\;\cdots ,\;N $, 由算法1和算法2计算得到的序列$ \{P_{i}^{(m)}\} $和 $ \{K_{i}^{(m)}\} $满足不等式$ |P_{i}^{({{m}^{*}})}-P_{i}^{*}|<{c^{*}} $, $ |K_{i}^{({{m}^{*}})}-K_{i}^{*}|<{c^{*}} $.

证明. 基于模型的值迭代算法和策略迭代算法的收敛性已经在文献[17]和文献[34]中得到证明. 对于每个跟随者$ i $, 存在$ {{m}^{*}} $使得:

由引理1和引理2, 进一步可得:

因此, 基于三角形不等式性质得证.□

4.   仿真实验

为了验证所提出的数据驱动算法1和算法2的有效性, 考虑由20个跟随者组成的多智能体系统(1)和(2). 对$ i=1,\;2,\;\cdots,\;20 $, 多智能体系统矩阵设计如下:

多智能体系统的通信拓扑图如图1所示. 对于$ i=1,\;2,\;\cdots,\;20 $, 假设多智能体系统矩阵$ {{A}_{i}},\;{{B}_{i}},\; {{C}_{i}},\;{{D}_{i}} $, $ F $和$ E $都是未知的. 外部系统$ v $的内模设计为$ {{G}_{1}}=E $, $ {{G}_{2}}=[0,\;1]^{\mathrm{T}} $. 为了进行模拟, 选择权值矩阵$ {{Q}_{i}}={{I}_{2}} $, $ {{R}_{i}}=1 $, 阈值设置为$ {{\varepsilon }_{PI,\;i}}= 0.000\;1 $, $ {{\varepsilon }_{VI,\;i}}=0.001 $.

图 1  网络拓扑

Fig. 1  Network topology

下载: 全尺寸图片 幻灯片

对于值迭代算法1, 跟随者#1 ~ #6对领导者状态矩阵$ E $的估计如图2所示. 将探测噪声设计为具有不同频率正弦信号的和, 收集从$ k=0 $到$ k=200 $的在线数据, 然后重复求解式(30), 直至满足收敛准则. 第$ m $次迭代时第$ i $个跟随者的$ {\cal{W}}_{i}^{(m)} $与其最优值的比较如图3所示. 第$ m $次迭代时第$ i $个跟随者的$ K_{i}^{(m)} $与其最优值的比较如图4所示.

图 2  算法1下跟随者#1 ~ #6对外部系统矩阵E的估计

Fig. 2  Estimation of exosystem matrix E for followers #1 ~ #6 under Algorithm 1

下载: 全尺寸图片 幻灯片

图 3  算法1下${\cal{W}}_{i}^{(m)}$, $i=1,\;2,\;\cdots,\;20$及其最优值的比较

Fig. 3  The comparison of ${\cal{W}}_{i}^{(m)}$, $i=1,\;2,\;\cdots,\;20$ and their optimal values under Algorithm 1

下载: 全尺寸图片 幻灯片

图 4  算法1下$K_{i}^{(m)}$, $i=1,\;2,\;\cdots,\;20$及其最优值的比较

Fig. 4  The comparison of $K_{i}^{(m)}$, $i=1,\;2,\;\cdots,\;20$ and their optimal values under Algorithm 1

下载: 全尺寸图片 幻灯片

可以观察到, 学习得到的控制增益接近其最优控制增益. 在时间步长$ k=200 $之后, 采用更新后的控制策略, 其跟踪性能如图5所示. 结果表明, 即使初始控制策略不被允许, 值迭代算法仍能有效实现协同输出调节. 图6展示了分布式控制输入的动态响应.

图 5  算法1下智能体$i$, $i=1,\;2,\;\cdots,\;20$的跟踪误差

Fig. 5  Tracking errors of agent $i$, $i=1,\;2,\;\cdots,\;20$ under Algorithm 1

下载: 全尺寸图片 幻灯片

图 6  算法1下智能体$i$, $i=1,\;2,\;\cdots,\;20$的分布式控制输入

Fig. 6  Distributed control inputs of agent $i$, $i=1,\;2,\;\cdots,\;$ $20$ under Algorithm 1

下载: 全尺寸图片 幻灯片

策略迭代算法2下的$ K_{i}^{(m)} $和最优控制增益$ K_{i}^{*} $的比较如图7所示. 从结果可以看出, 所有跟随者均能在不到$ 9 $次迭代内完成学习, 这显著少于值迭代算法所需的迭代次数. 在时间步长$ k=200 $之后, 采用更新的控制策略, 其跟踪性能如图8所示. 此外, 跟随者$ \#7 \sim \#12 $对领导者系统状态矩阵$ E $的估计如图9所示. 控制输入的动态响应如图10所示.

图 7  算法2下$K_{i}^{(m)}$, $i=1,\;2,\;\cdots,\;20$及其最优值的比较

Fig. 7  The comparison of $K_{i}^{(m)}$, $i=1,\;2,\;\cdots,\;20$ and their optimal values under Algorithm 2

下载: 全尺寸图片 幻灯片

图 8  算法2下智能体$i$, $i=1,\;2,\;\cdots,\;20$的跟踪误差

Fig. 8  Tracking errors of agent $i$, $i=1,\;2,\;\cdots,\;20$ under Algorithm 2

下载: 全尺寸图片 幻灯片

图 9  算法2下跟随者#7 ~ #12对外部系统矩阵$E$的估计

Fig. 9  Estimation of exosystem matrix $E$ for followers #7 ~ #12 under Algorithm 2

下载: 全尺寸图片 幻灯片

图 10  算法2下智能体$i$, $i=1,\;2,\;\cdots,\;20$的分布式控制输入

Fig. 10  Distributed control inputs of agent $i$, $i=1,\;2,\;$ $\cdots,\;20$ under Algorithm 2

下载: 全尺寸图片 幻灯片

我们将引入两种控制器与本文所设计的控制器进行性能比较. 由于本文所设计方法假设多智能体系统矩阵信息未知, 为保证控制性能比较的公平性, 我们假设所引入的两种控制器在设计时均面临状态和输入矩阵的不确定性. 即, 针对每个智能体$ i $, 其不确定性参数满足: $ |\Delta A_i|\leq 0.035 $, $ |\Delta B_i|\leq 0.1i $.

1) 基于模型的分布式自适应前馈–反馈控制器^[30]:

2)基于模型的分布式内模控制器^[35]:

其中, $ {{r}_{{\mathrm{com}}}}=0 $, $ {{\delta }_{i}}(k)=\sum\nolimits_{j\in {{{\cal{N}}}_{i}}}{{{a}_{ij}}({{x}_{i}}(k)-{{x}_{j}}(k))} $, $ {{e}_{{{v}_{i}}}}(k)=\sum\nolimits_{j\in {{{\cal{N}}}_{i}}}{{{a}_{ij}}({{y}_{i}}(k)-{{y}_{j}}(k))} $.

我们在$ k=200 $后分别应用了本文所提出的控制器、分布式自适应前馈–反馈控制器及基于模型的分布式内模控制器. 仿真结果如图11和图12所示, 可以看出, 本文提出的基于值迭代和策略迭代的控制方法在瞬态响应和稳态性能方面均优于另外两种方法. 这是因为基于模型的分布式内模控制策略在很大程度上依赖于模型的精确性, 当模型存在不确定性时, 其鲁棒性相较于本文提出的控制策略显得不足. 本文采用数据驱动的控制方法, 降低了对精确模型的依赖性, 从而显著提升了控制策略的灵活性和自适应性. 基于模型的分布式自适应前馈–反馈控制器在应对含有不确定性系统的输出调节问题时, 因其缺乏足够的鲁棒性, 难以实现对目标的渐近跟踪和外部干扰的有效抑制.

图 11  本文提出的值迭代控制策略与其他控制策略下跟踪误差动态响应对比

Fig. 11  Comparison of the tracking error dynamic response under the value iteration control strategy proposed in this paper and other control strategies

下载: 全尺寸图片 幻灯片

图 12  本文提出的策略迭代控制策略与其他控制策略下跟踪误差动态响应对比

Fig. 12  Comparison of the tracking error dynamic response under the policy iteration control strategy proposed in this paper and other control strategies

下载: 全尺寸图片 幻灯片

5.   结束语

本文提出基于分布式自适应内模的数据驱动控制策略, 有效解决了系统矩阵未知情况下离散时间多智能体系统的协同输出调节问题. 通过引入值迭代和策略迭代两种强化学习算法, 在不依赖多智能体系统矩阵的前提下, 利用在线数据和领导者状态的估计值学习最优控制器, 实现了多智能体系统的协同输出调节. 通过理论分析, 保证了闭环系统的稳定性和学习算法的收敛性. 本文所提出的方法要求被控对象为线性系统, 在未来, 我们将研究如何基于分布式自适应内模实现非线性离散时间多智能体系统的协同最优输出调节.

附录 A.   引理1的证明

首先定义矩阵:

接下来, 利用归纳法证明引理1.

1)当$ m=-1 $时, 令$ \hat{K}_{i}^{(0)}=K_{i}^{(0)} $, $ \hat{P}_{i}^{(0)}=P_{i}^{(0)} $.

2)当$ m=d $ 时, 假设有$ {\lim }_{|{\rho _i}(k)| \to 0} \,\;\hat{P}_{i}^{(d)}- P_{i}^{(d)}= 0 $且$ {\lim }_{|{\rho _i}(k)| \to 0} \,\hat{K}_{i}^{(d)}-K_{i}^{(d)}=0 $, 令$ \Delta \hat{P}_{i}^{(d)}=P_{i}^{(d)}- \hat{P}_{i}^{(d)} $, 那么下式成立:

其中, $ {\lim }_{|{\rho _i}(k)| \to 0} \,\;\Delta \Phi _{VI,\;i}^{(d)}\,=\,0 $, 进一步可得到: $ {\lim }_{|{\rho _i}(k)| \to 0} \hat{P}_{i}^{(d+1)}- P_{i}^{(d+1)}=0 $, $ {\lim }_{|{\rho _i}(k)| \to 0} \hat{K}_{i}^{(d+1)}\;- K_{i}^{(d+1)}=0 $.

因此, 总是可以找到合适的参数$ {{\mu }_{1}} $, $ {{\mu }_{2}}>0 $使引理1成立.□

附录 B.   引理2的证明

首先定义矩阵:

接下来, 通过归纳法证明引理2.

1)当迭代次数$ m=0 $时, 对于所有跟随者$ i $, 令$ \bar{K}_{i}^{(0)}=K_{i}^{(0)} $, $ \Delta \bar{P}_{i}^{(0)}=P_{i}^{(0)}-\bar{P}_{i}^{(0)} $. 可以证明$ \Delta \bar{P}_{i}^{(0)} $是以下方程的最小二乘解:

令$ |{{\rho }_{i}}(k)| \ = \ {\max }_{0 \ \le \ k \ \le \ \max (s,\;c)} \,\;{{\rho }_{i}}(k) $, 其中$ {\lim }_{|{\rho _i}(k)| \to 0} \,\;\Delta \Phi _{PI,\;i}^{(0)} = 0 $, 因此有$ {\lim }_{|{\rho _i}(k)| \to 0} \, \bar{P}_{i}^{(0)}\;- P_{i}^{(0)} = 0 $, $ {\lim }_{|{\rho _i}(k)| \to 0} \,\; \bar{K}_{i}^{(1)}-K_{i}^{(1)}=0 $.

2)当$ m=d $ 时, 假设$ {\lim }_{|{\rho _i}(k)| \to 0} \,\;\bar{K}_{i}^{(d)}- K_{i}^{(d)}= 0 $, 令$ \Delta \bar{P}_{i}^{(d)}=P_{i}^{(d)}-\bar{P}_{i}^{(d)} $, 那么下式成立:

其中, $ {\lim }_{|{\rho _i}(k)| \ \to \ 0} \,\;\Delta \Phi _{PI,\;i}^{(d)} \ = \ 0 $, 进一步得到: $ {\lim }_{|{\rho _i}(k)| \to 0}\,\;\bar{P}_{i}^{(d)}-P_{i}^{(d)}=0 $, $ {\lim }_{|{\rho _i}(k)| \to 0} \,\; \bar{K}_{i}^{(d+1)}\;- K_{i}^{(d+1)}=0 $.

因此, 总是可以找到合适的参数$ {{\mu }_{1}} $, $ {{\mu }_{2}}>0 $, 使引理2成立.□