-
摘要: 强化学习(Reinforcement learning, RL)在围棋、视频游戏、导航、推荐系统等领域均取得了巨大成功. 然而, 许多强化学习算法仍然无法直接移植到真实物理环境中. 这是因为在模拟场景下智能体能以不断试错的方式与环境进行交互, 从而学习最优策略. 但考虑到安全因素, 很多现实世界的应用则要求限制智能体的随机探索行为. 因此, 安全问题成为强化学习从模拟到现实的一个重要挑战. 近年来, 许多研究致力于开发安全强化学习(Safe reinforcement learning, SRL)算法, 在确保系统性能的同时满足安全约束. 本文对现有的安全强化学习算法进行全面综述, 将其归为三类: 修改学习过程、修改学习目标、离线强化学习, 并介绍了5大基准测试平台: Safety Gym、safe-control-gym、SafeRL-Kit、D4RL、NeoRL. 最后总结了安全强化学习在自动驾驶、机器人控制、工业过程控制、电力系统优化和医疗健康领域中的应用, 并给出结论与展望.
-
关键词:
- 安全强化学习 /
- 约束马尔科夫决策过程 /
- 学习过程 /
- 学习目标 /
- 离线强化学习
Abstract: Reinforcement learning (RL) has proved a prominent success in the game of Go, video games, navigation, recommendation systems and other fields. However, a large number of reinforcement learning algorithms cannot be directly transplanted to real physical environment. This is because in the simulation scenario, the agent is able to interact with the environment in a trial-and-error manner to learn the optimal policy. Considering the safety of systems, many real-world applications require the limitation of random exploration behavior of agents. Hence, safety has become an essential factor for reinforcement learning from simulation to reality. In recent years, many researches have been devoted to develope safe reinforcement learning (SRL) algorithms that satisfy safety constraints while ensuring system performance. This paper presents a comprehensive survey of existing SRL algorithms, which are divided into three categories: Modification of learning process, modification of learning objective, and offline reinforcement learning. Furthermore, five experimental platforms are introduced, including Safety Gym, safe-control-gym, SafeRL-Kit, D4RL, and NeoRL. Lastly, the applications of SRL in the fields of autonomous driving, robot control, industrial process control, power system optimization, and healthcare are summarized, and the conclusion and perspective are briefly drawn. -
近年来, 多智能体系统(Multi-agent systems, MASs)分布式协同控制问题的研究取得了显著进展, 引发各个领域的广泛关注. 该研究范畴涵盖生物系统中的群体行为[1]、分布式传感器网络技术[2]和智能电网管理[3]等多个方面. 一致性问题作为支撑MASs分布式协同控制的基础问题, 不仅在理论层面具有深远的意义, 而且在实际应用中展现出巨大的价值. 一致性控制的根本挑战在于设计高效的一致性算法或协议, 旨在确保MASs的所有智能体能够逐步调整其状态或输出, 最终达到相同, 即实现智能体的一致性.
目前, MASs一致性控制的研究可以根据系统中领航者的数量划分为三种类别: 无领航者的一致性控制、领导−跟随一致性控制(一个领航者)以及包含多个领航者的一致性控制[4−6]. 到目前为止, MASs一致性控制的研究涵盖越来越复杂的智能体动态特性和通信网络拓扑, 包括但不限于线性[7]或非线性MASs[8]、整数阶[9]或分数阶模型[10]、固定[11]或时变拓扑[12]、输入延迟[13]、输入饱和[14]等. 在上述复杂情况下, 各种适当的控制算法被提出以实现一致性控制. 此外, 由于智能体的通信和计算资源有限, 基于事件触发的控制策略[15−16]被用于实现一致性控制, 有效减少了不必要的能源消耗. 然而, 这些研究成果只能实现渐近一致性控制, 即在理论上调节时间趋于无穷. 在实际应用中, 由于渐近一致性的收敛时间较长, 难以满足任务的时效性需求.
相比之下, 有限时域一致性被认为是一种更为理想的控制策略. 有限时域控制不仅能够缩短闭环系统的收敛时间, 还具备更好的鲁棒性和抗干扰能力[17]. 文献[18]提出一种分散模型预测控制方案, 实现了一阶MASs的有限时域状态一致性控制. 文献[19]采用分布式线性二次型博弈方法, 实现了离散时间二阶MASs的有限时域状态一致性控制. 此外, 文献[20−23]研究离散时变MASs的$ H_\infty $有限时域状态一致性控制问题. 上述有限时域状态一致性协议的设计通常假设智能体动力学模型已知[20−23], 或仅考虑简单的一阶[18]、二阶[19]系统. 然而, 一阶和二阶系统无法充分描述实际系统的动态特性, 而且在实际应用中, 系统模型信息通常是未知的或难以获取的. 传统的有限时域一致性协议在系统模型未知的情况下并不适用, 难以满足实际应用的需求.
自适应动态规划(Adaptive dynamic programming, ADP)[24]或强化学习(Reinforcement learning, RL)[25]能够利用仿生学习机制解决系统模型未知情况下的优化控制问题[26]. 其中, 学习状态−动作值函数的Q学习算法[27]为实现无模型最优控制提供了一种有效的解决方案. 近年来, 学者们利用ADP或RL算法, 通过逼近求解耦合的哈密顿−雅可比−贝尔曼(Hamilton-Jacobi-Bellman, HJB)方程, 以实现MASs的最优渐近一致性控制[7−8, 28−31]. 例如, 基于Q学习的算法已经应用于异构MASs[7−8, 28−29]和同构MASs[30−31]中, 用以实现模型无关的最优一致性控制. 然而, 这些文献主要关注无限时域一致性控制问题. 相比之下, 模型无关的有限时域一致性控制问题更具挑战性, 因为它需要在满足值函数终端约束条件的同时求解耦合的时变HJB方程.
为解决上述问题, 学者们开始研究基于ADP或RL的算法, 以逼近耦合的时变HJB方程的近似解, 从而实现MASs的有限时域最优一致性控制. 文献[32]提出一种基于局部动力学的离策略(Off-policy) RL算法, 实现线性MASs的有限时域最优状态一致性控制. 此外, 文献[33]针对非线性MASs提出基于ADP的有限时域鲁棒事件触发最优状态一致性控制方法. 然而, 上述一致性控制器的设计[32−33]仍然依赖于MASs的部分模型信息, 而在实际情况下, 这些系统模型信息通常难以获得.
为克服系统模型必须已知的问题, 文献[34]采用神经网络逼近每个智能体的动态特性, 然后在神经网络模型的基础上基于ADP设计有限时域最优编队控制方法. 然而, 这种方式会产生额外的计算开销, 并引入逼近误差, 从而影响ADP方法的有效性. 文献[35]提出一种基于积分RL算法和零和博弈理论的模型无关有限时域鲁棒最优编队包含控制方法.
由于在实际的MASs中普遍存在执行器饱和的问题, 如无人车电机的输出转矩受最大功率限制, 无人机的舵面受物理结构限制等, 饱和的非线性特性通常会导致系统性能下降, 甚至可能导致系统不稳定, 使得执行器饱和问题在理论和实践上都极具挑战性. 上述研究结果[32−35]无法确保在模型未知的情况下实现具有执行器饱和约束的MASs一致性控制.
为解决这一问题, 学者们提出基于RL或ADP的方法来处理执行器饱和的MASs模型无关一致性控制问题. 例如, 文献[36]提出一种新型的辨识−评价−执行结构, 结合粘性消失法, 解决了有输入约束MASs的领导−跟随最优一致性控制问题. 文献[37]提出一种离策略RL算法, 通过逼近求解具有非二次型代价函数的耦合HJB方程, 以实现一致性控制. 文献[31, 38−40]使用低增益反馈(Low gain feedback, LGF)方法[41]处理执行器饱和问题, 并结合ADP方法实现执行器饱和的MASs最优一致性控制. 然而, 这些基于ADP或RL的模型无关一致性控制方法主要解决的是存在执行器饱和的MASs无限时域一致性控制问题, 只能实现渐近一致性控制, 即理论调控时间趋于无穷. 文献[42]基于ADP研究具有对称或不对称输入约束条件的MASs事件驱动有限时域最优状态一致性控制问题, 但其控制器的设计要求已知系统的模型信息.
受上述分析的启发, 本文将LGF方法与Q学习相结合, 用以解决执行器饱和的离散时间线性MASs模型无关有限时域一致性控制问题. 首先, 根据LGF方法的思想, 推导得到修正的时变黎卡提方程(Modified time-varying Riccati equation, MTVRE). 求解MTVRE可以得到时变的低增益反馈律, 同时可以通过调整低增益参数来避免执行器饱和. 然后, 参考文献[43−44], 设计依赖于系统状态、控制输入和低增益参数的时变参数化Q函数(Time-varying parameterized Q-function, TVPQF). 在TVPQF的基础上, 提出一种基于Q学习后向时间迭代模型无关一致性控制方法, 该方法在不需要已知系统动力学模型的前提下, 能够逼近求解MTVRE, 从而实现离散时间MASs的有限时域一致性控制.
本文将LGF方法与Q学习相结合, 提出一种针对执行器饱和的模型无关有限时域一致性控制方法. 主要贡献如下: 设计一种依赖于智能体状态、控制输入和低增益参数的TVPQF. 基于TVPQF, LGF控制器的设计减少了对系统动力学模型的依赖; 提出一种可以迭代更新低增益参数的后向时间模型无关控制算法, 并证明所提算法得到的时变LGF控制增益矩阵收敛于MTVRE的解; 另外, 证明所提算法不仅可以实现半全局一致性, 而且可以保证执行器饱和条件下的全局一致性控制, 并通过仿真实验进行论证.
本文的结构安排如下: 第1节首先介绍代数图论的相关知识, 并结合LGF方法介绍执行器饱和的离散时间MASs有限时域一致性控制问题的基于模型的求解方案. 第2节首先证明可以将执行器饱和的离散时间MASs有限时域一致性控制问题转化为执行器饱和的单智能体的最优控制问题, 接着提出基于TVPQF的后向时间迭代算法以逼近求解最优控制问题对应的MTVRE. 第3节提供仿真结果验证本文方法的有效性, 并进行对比实验, 比较性能指标突显本文方法的优越性. 第4节为结束语.
符号说明: $ {\bf{R}} $表示实数集, $ {\bf{R}}^{n \times m} $表示$ n\times m $维矩阵. $ I $表示具有兼容维数的单位矩阵. $ {\bf{0}} $表示具有兼容维数的全零向量或矩阵. $ \lambda_i(A) $表示矩阵$ A $的第$ i $个特征值. $ \text{Re} $表示实部. $ \text{rank}(A) $表示矩阵$ A $的秩. $ \text{argmax} $表示最大值索引. $ \text{argmin} $表示最小值索引. $ \text{vec} $为矩阵的拉直运算, 把矩阵按照列的顺序一列接一列的组成一个长向量. $ x^\text{T} $表示向量$ x $的转置.
1. 预备知识
1.1 代数图论
有$ N $个节点的加权图可记为$ G = (V,\; E,\; D) $, 其中节点和边的集合记为$ V = \{v_1,\;v_2,\;\cdots,\; v_N \} $和$ E = \{(v_i,\; v_j): v_i,\; v_j\in V\} $. 节点之间的连接关系由行随机矩阵$ D = [d_{ij}]\in {\bf{R}}^{N \times N} $决定, 其中$ d_{ii} > 0 $, $ \sum_{j = 1}^{N}d_{ij} = 1 $. 如果$ (v_i,\; v_j)\in E $, $ d_{ij}> 0 $; 否则$ d_{ij} = 0 $. 对于无向图$ G $, 行随机矩阵$ D $是对称的, 如果在任何一对不同的节点之间存在一条路径, 则称无向图$ G $是连通的. $ I-D $可看作是一种特殊的拉普拉斯矩阵, 满足$ \text{Re}(\lambda_1(I-D))< \text{Re}(\lambda_2(I-D))\le \cdots \le \text{Re}(\lambda_N(I-D)) $. 此外, 当且仅当有向图$ G $包含一个有向生成树, 或无向图$ G $连通时, 1是$ D $的一个单特征值. 令$ r\in {\bf{R}}^N $表示与$ I-D $的零特征值相关的左特征向量, 其满足$ r^\text{T} {\bf 1} = 1 $.
1.2 问题描述
考虑由$ N $个执行器饱和的智能体组成的离散时间MASs:
$$ \begin{equation} x_i(k+1) = Ax_i(k)+B\varrho (u_i(k)),\; i = 1,\;2,\;\cdots,\;N \end{equation} $$ (1) 式中, $ x_i(k) \in {\bf{R}}^n $, $ u_i(k) \in {\bf{R}}^m $分别表示智能体$ i $的状态向量以及输入向量; $ \varrho (\cdot):{\bf{R}}^m\rightarrow {\bf{R}}^m $表示饱和函数, 对于$ j = 1,\;2,\;\cdots,\;m $满足:
$$ \varrho (u_i^j(k)) = \left\{ \begin{aligned} & -c, & & \,u_i^j(k)<-c\\ & \, u_i^j(k), & &-c\leq u_i^j(k)\leq c\\ &\, c, & &\,u_i^j(k) > c \end{aligned} \right. $$ (2) 式中, $ c $表示饱和极限.
假设 1. 本文中, 智能体的系统模型是确定且未知的, 即$ A \in {\bf{R}}^{n \times n} $, $ B \in {\bf{R}}^{n \times m} $表示确定性的未知系统矩阵.
假设 2. 系统矩阵$ \left(A,\; B\right) $为输入有界下渐近零可控(Asymptotically null controllable with bounded controls, ANCBC), 即系统$ \left(A,\; B\right) $是可控的, 且$ A $的所有特征值都在单位圆上或单位圆内[41].
假设 3. 本文所考虑的用以描述离散时间MASs (1)拓扑结构的无向图$ G $是连通的.
假设 4. 本文所考虑的离散时间MASs (1)的阶次已知, 即$ n $是已知的.
本文研究的是具有执行器饱和的离散时间MASs的有限时域一致性控制问题. 所考虑的具体问题是: 在有限的时间区间内, 通过适当的控制策略设计, 使得所有智能体的状态在终端时刻达到一致, 即$ \lim _{k \rightarrow \tau}\left\|x_i(k)-x_j(k)\right\| = 0 $. 这种有限时域一致性控制要求在给定的时间范围$ \tau $内, 使所有智能体的状态在终端时刻达到某个共同的期望状态, 而不是在无限时域上渐近趋于一致.
参考文献[31], 针对离散时间MASs (1)可以设计如下状态反馈控制律:
$$ \begin{equation} u_i(k) = K(k) \sum\limits_{j = 1}^N d_{i j}\left(x_i\left(k\right)-x_j\left(k\right)\right) \end{equation} $$ (3) 其中, $ K(k) $为待设计的反馈控制增益矩阵.
引理 1. 对于具有$ N $个节点的离散时间MASs (1), 如果其对应的无向图$ G $是联通的, 则有$ \mu = 4 / (N(N - 1)) \leq \lambda_2 \left(I-D\right) $[45].
引理 2. 如果假设2和假设3成立, 则对于给定的有界集$ {\cal{X}} \in {\bf{R}}^n $, $ \forall x_i(0)\in {\cal{X}},\; i = 1,\;2,\; \cdots,\; N $, 存在最优低增益参数$ \varepsilon ^*\in (0,\;1] $, 对于任意$ \varepsilon \in (0, \varepsilon ^*] $, 离散时间MASs (1)可以在控制协议(3)下实现半全局一致性, 其中最优反馈控制增益矩阵满足:
$$ \begin{equation} K_{\varepsilon}^*(k) = -\left(B^{\mathrm{T}}P^*_{\varepsilon}(k+1)B+I\right)^{-1}B^{\mathrm{T}}P^*_{\varepsilon}(k+1)A \end{equation} $$ (4) 式中, $ P^*_{\varepsilon}(k) $满足如下MTVRE:
$$ \begin{split} P^*_{\varepsilon}(k) =\;& A^{\mathrm{T}} P^*_{\varepsilon}(k+1) A+\varepsilon I-\left(2 \mu-\mu^2\right) \;\times\\ & A^{\mathrm{T}}P^*_{\varepsilon}(k+1) B(B^{\mathrm{T}} P^*_{\varepsilon}(k+1) B+I)^{-1} \;\times \\ & B^{\mathrm{T}} P^*_{\varepsilon}(k+1) A\\[-1pt] \end{split} $$ (5) 同时, $ \lim _{\varepsilon \rightarrow 0}P^*_{\varepsilon}(k) = 0 $是单调的[38].
注1. 文献[38]考虑的是无限时域MASs一致性控制问题, 需求解修正的时变黎卡提方程. 而本文考虑的是有限时域一致性控制问题, 需求解MTVRE (5), 得到的正定矩阵$ P^*_{\varepsilon}(k) $以及LGF矩阵$ K_{\varepsilon}^*(k) $是时变的. 同时, 结合文献[38]中的引理2以及文献[46], 容易推导得到引理2.
注2. 相比于式(3), 式(4)中$ K_{\varepsilon}^*(k) $加下标$ \varepsilon $的原因在于, 根据LGF方法的思想, 反馈控制增益矩阵$ K_{\varepsilon}^*(k) $可以通过$ \varepsilon $进行调整, 从而使控制输入满足执行器饱和约束.
由引理2可知, 求解MTVRE (5)需要已知系统的模型参数$ \left(A,\; B\right) $. 然而, 在实际应用中, 系统的精确模型信息往往难以获取, 即便通过系统辨识可以获得模型信息, 但不可避免地会引入辨识误差. 同时, 引理2中给出的求解MTVRE (5)的方法只能实现半全局一致性. 为了解决这一问题, 本文首先将MASs的有限时域一致性控制问题转化为单智能体的有限时域最优控制问题, 并在无需系统模型信息且不依赖系统辨识的前提下, 提出一种结合低增益反馈与Q学习的模型无关数据驱动控制方法. 该方法能够在面对执行器饱和的情况下, 动态调整低增益参数, 从而在任意给定的智能体初始状态下, 实现离散时间MASs (1)的有限时域全局一致性控制.
2. 数据驱动有限时域一致性控制
在本节中, 将首先介绍使用LGF方法求解执行器饱和的单个智能体的优化控制问题, 进而推导得到MTVRE (5). 然后, 将介绍如何利用数据驱动方法, 通过单个智能体的可测量数据, 在系统模型信息未知的情况下, 逼近LGF控制增益矩阵$ K_{\varepsilon}^*(k) $, 从而实现离散时间执行器饱和MASs (1)的有限时域一致性控制.
2.1 执行器饱和的单智能体优化控制方法
考虑如下执行器饱和的离散时间系统:
$$ \begin{equation} x_i(k+1) = Ax_i(k)+B\varrho (\zeta _i(k)) \end{equation} $$ (6) 其中, $ \zeta _i(k) $表示新的控制输入. 在接下来的基于Q学习的算法中, 将使用它来学习LGF矩阵 $ K_{\varepsilon}(k) $.
定义如下有限时域性能指标:
$$ \begin{equation} \begin{aligned} J_i = \sum\limits_{k = 0}^{\tau -1}r_{i}\left(x_{i}(k),\;\zeta _{i}(k),\;\varepsilon\right)+\varepsilon x_{i}^{\mathrm{T}}(\tau)x_{i}(\tau) \end{aligned} \end{equation} $$ (7) 式中, 最后一项$ \varepsilon x_{i}^{\mathrm{T}}(\tau)x_{i}(\tau) $代表终端约束条件; $ r_{i}\left(x_{i}(k),\;\zeta _{i}(k),\;\varepsilon\right) $表示智能体 $ i $的效用函数:
$$ \begin{equation} r_{i}\left(x_{i}(k),\;\zeta _{i}(k),\;\varepsilon\right) = \varepsilon x^{\mathrm{T}}_{i}(k)x_{i}(k)+\zeta^{\mathrm{T}}_{i}(k)\zeta_{i}(k) \end{equation} $$ (8) 根据有限时域性能指标 (7), 每个智能体$ i $的值函数可以表示为:
$$ \begin{equation} V_i(x_{i}(k)) = \sum\limits_{j = k}^{\tau-1} r_{i}\left(x_{i}(j),\;\zeta _{i}(j),\;\varepsilon\right)+\varepsilon x_{i}^{\mathrm{T}}(\tau)x_{i}(\tau) \end{equation} $$ (9) 下面引理证明, 当控制输入$ \zeta _i(k) = \mu K_{\varepsilon}(k)\;\times x_i(k) $时, 值函数(9)可以表示为二次型形式.
引理3. 如果离散时间系统(6)的控制输入可以表示为$ \zeta _i(k) = \mu K_{\varepsilon}(k)x_i(k) $, 则智能体$ i $的值函数$ V_i(x_{i}(k)) $可以表示为如下二次型形式:
$$ \begin{equation} V_i(x_{i}(k)) = x_{i}^{\mathrm{T}}(k) P_\varepsilon(k) x_{i}(k) \end{equation} $$ (10) 式中, $ P_\varepsilon(k) = P^{\mathrm{T}}_\varepsilon(k)>0 $. $ P_\varepsilon(\tau) = \varepsilon I $.
证明. 本部分将基于最优性原理, 利用终端约束条件采用后向时间的方式进行证明.
当$ k = \tau $时, 可以很容易地从式(9)得到:
$$ \begin{equation} V_i(x_{i}(\tau)) = \varepsilon x_{i}^{\mathrm{T}}(\tau)x_{i}(\tau) \end{equation} $$ (11) 因此, 可以得到$ P_\varepsilon (\tau) = P^{\mathrm{T}}_\varepsilon (\tau) = \varepsilon I $.
当$ k = \tau -1 $时, 结合式(8)和(9)可以得到:
$$ \begin{split} V_i(x_{i}(\tau -1)) =\; &\varepsilon x^{\mathrm{T}}_{i}(\tau -1)x_{i}(\tau -1)\;+\\ &\zeta^{\mathrm{T}}_{i}(\tau -1)\zeta_{i}(\tau -1) +\varepsilon x_{i}^{\mathrm{T}}(\tau)x_{i}(\tau) \end{split} $$ (12) 将式(6)代入式(12)中, 得到:
$$ \begin{split} V_i(x_{i}(\tau -1)) =\; &\varepsilon x^{\mathrm{T}}_{i}(\tau -1)x_{i}(\tau -1)\;+\\ &\zeta^{\mathrm{T}}_{i}(\tau -1)\zeta_{i}(\tau -1)\;+\\ &\varepsilon(Ax_i(\tau -1)+B\zeta _i(\tau -1))^{\mathrm{T}}\;\times \\ &(Ax_i(\tau -1)+B\zeta _i(\tau -1))\\[-1pt] \end{split} $$ (13) 然后, 将$ \zeta _i(\tau -1) = \mu K_{\varepsilon}(\tau -1)x_i(\tau -1) $代入式(13)中, 可以得到:
$$ \begin{split} V_i(x_{i}(\tau -1)) = \; &x^{\mathrm{T}}_{i}(\tau -1)[\varepsilon I + \mu^2 K_{\varepsilon}^{\mathrm{T}}(\tau -1)K_{\varepsilon}(\tau \;-\\ &1) +\varepsilon\left(A + \mu BK_{\varepsilon}(\tau -1)\right)^{\mathrm{T}}\;\times\\ &(A + \mu BK_{\varepsilon}(\tau -1))]x_{i}(\tau -1) \\[-1pt]\end{split} $$ (14) 当$ k = \tau -1 $时, 从式(14)可以得到:
$$ \begin{split} P_\varepsilon (\tau -1) = \; &\varepsilon I + \mu^2 K_{\varepsilon}^{\mathrm{T}}(\tau -1)K_{\varepsilon}(\tau -1)\;+ \\ &\varepsilon\left(A + \mu BK_{\varepsilon}(\tau -1)\right)^{\mathrm{T}}\;\times\\ &(A + \mu BK_{\varepsilon}(\tau -1)) \end{split} $$ (15) 从上式可以得到 $ P_\varepsilon (\tau -1) = P^{\mathrm{T}}_\varepsilon (\tau -1)>0 $.
采用与$ P_\varepsilon (\tau -1) $相同的方式, 可以类似地确定, 对于$ k = 0,\;1,\; \cdots,\; \tau-2 $, 矩阵$ P_\varepsilon(k) $也符合$ P_\varepsilon(k) = P^{\mathrm{T}}_\varepsilon (k)>0 $.
□ 下面定理将证明, 针对执行器饱和的离散时间系统(6)以及对应的有限时域性能指标(7), 存在最优的LGF控制增益矩阵$ K_{\varepsilon}(k) $, 使得智能体$ i $的值函数$ V_i(x_{i}(k)) $可以表示为式(10).
定理1. 考虑执行器饱和离散时间系统(6)以及对应的有限时域性能指标(7), 其最优控制律满足:
$$ \begin{equation} {\zeta}^*_i(k) = K^*_{\varepsilon}(k)x_i(k) \end{equation} $$ (16) 其中, $ K^*_{\varepsilon}(k) $满足式(4). 如果令$ {\zeta}^*_i(k) = \mu K^*_{\varepsilon}(k)x_i(k) $, 则$ P^*_{\varepsilon}(k) $满足式(5).
证明. 根据值函数的定义(9)可知, 值函数满足如下贝尔曼方程:
$$ \begin{equation} \begin{aligned} V_i(x_{i}(k)) = \varepsilon x^{\mathrm{T}}_{i}(k)x_{i}(k)+{\zeta}^{\mathrm{T}}_{i}(k){\zeta}_{i}(k)+V_i(x_{i}(k+1)) \end{aligned} \end{equation} $$ (17) 同时, 最优值函数满足:
$$ \begin{split} V_i^*(x_i(k)) =\;&\min_{{\zeta}_i(k)} \sum\limits_{j = k}^{\tau-1}(\varepsilon x^{\mathrm{T}}_{i}(j)x_{i}(j)+{\zeta}^{\mathrm{T}}_{i}(j){\zeta}_{i}(j)\;+\\ &\varepsilon x_{i}^{\mathrm{T}}(\tau )x_{i}(\tau)) \\[-1pt]\end{split} $$ (18) 结合式(17)和式(18), 可以得到如下的贝尔曼最优方程:
$$ \begin{split} V^*_i(x_{i}(k)) =\; &\min_{{\zeta}_i(k)}\left(\varepsilon x_{i}^{\mathrm{T}}(k)x_{i}(k)+{\zeta}_i^{\mathrm{T}}(k){\zeta}_i(k)\right.+\\ &\left.V^*_i(x_{i}(k+1))\right) \end{split} $$ (19) 当$ k = \tau-1 $时, 由式(18)可知:
$$ \begin{split} V^*_i(x_{i}(\tau-1)) = \;&\min_{{\zeta}_i(\tau-1)} \left(\varepsilon x^{\mathrm{T}}_{i}(\tau-1)x_{i}(\tau-1)\right.+\\ &\left.{\zeta}^{\mathrm{T}}_{i}(\tau-1){\zeta}_{i}(\tau-1)+\varepsilon x_{i}^{\mathrm{T}}(\tau )x_{i}(\tau)\right) \end{split} $$ (20) 将式(6)代入式(20)中, 得到:
$$ \begin{split} V^*_i(x_{i}(\tau-1)) = \; &\min_{{\zeta}_i(\tau-1)}(\varepsilon x_{i}^{\mathrm{T}}(\tau-1)x_{i}(\tau-1)\;+\\ &{\zeta}_i^{\mathrm{T}}(\tau-1){\zeta}_i(\tau-1)\;+\\ &\varepsilon(Ax_{i}(\tau-1)+B{\zeta}_i(\tau-1))^{\mathrm{T}}\;\times\\ &(Ax_{i}(\tau-1)+B{\zeta}_i(\tau-1))) \\[-1pt] \end{split} $$ (21) 从式(21)可以得到最优控制策略满足:
$$ \begin{split} {\zeta}^*_i(\tau-1) = \;&\arg\min_{{\zeta}_i(\tau-1)}(\varepsilon x_{i}^{\mathrm{T}}(\tau-1)x_{i}(\tau-1)\;+\\ &{\zeta}_i^{\mathrm{T}}(\tau-1){\zeta}_i(\tau-1)\;+\\ &\varepsilon(Ax_{i}(\tau-1)+B{\zeta}_i(\tau-1))^{\mathrm{T}}\;\times\\ & (Ax_{i}(\tau-1)+B{\zeta}_i(\tau-1))) \end{split} $$ (22) 为了得到最优控制策略, 可以通过上式右半部分对$ {\zeta}_i(\tau-1) $求导, 并令导数为零. 则有:
$$ \begin{equation} 2{\zeta}^{\mathrm{T}}_i(\tau-1)+2\varepsilon\left(Ax_{i}(\tau-1)+B{\zeta}_i(\tau-1)\right)^{\mathrm{T}}B = 0 \end{equation} $$ (23) 因此, 可以得到最优控制策略:
$$ {\zeta}^*_i(\tau-1) = -\varepsilon\left(\varepsilon B^{\mathrm{T}}B+I\right)^{-1}B^{\mathrm{T}}Ax_i(\tau-1) $$ (24) 结合值函数的终端约束条件可知$ P^*_{\varepsilon}(\tau) = \varepsilon I $, 则式(24)可以重写为:
$$ \begin{split} {\zeta}^*_i(\tau-1) = \; &\left(B^{\mathrm{T}} P^*_{\varepsilon}(\tau) B+I\right)^{-1}\times\\ &B^{\mathrm{T}}P^*_{\varepsilon}(\tau) Ax_i(\tau-1) = \\ &K^*_{\varepsilon}(\tau-1)x_i(\tau-1) \end{split} $$ (25) 比较式(4)和式(25), 可知$ K^*_{\varepsilon}(\tau-1) $满足式(4).
结合文献[46]以及引理3, 可以得到最优值函数$ V^*_i(x_{i}(\tau-1)) $可以写成如下形式:
$$ \begin{equation} V^*_i(x_{i}(\tau-1)) = x_{i}^{\mathrm{T}}(\tau-1) P^*_\varepsilon(\tau-1) x_{i}(\tau-1) \end{equation} $$ (26) 同时, 将$ {\zeta}^*_i(\tau-1) = \mu K^*_{\varepsilon}(\tau-1)x_i(\tau-1) $代入式(20)中, 很容易得到$ P^*_{\varepsilon}(\tau-1) $满足式(15).
采用与$ k = \tau -1 $相同的方式, 可以依次得到$ K^*_{\varepsilon}(k),\; k = \tau -2,\; \cdots,\; 1,\; 0 $满足式(4), 并且值函数满足:
$$ \begin{equation} V^*_i(x_{i}(k)) = x_{i}^{\mathrm{T}}(k) P^*_\varepsilon(k) x_{i}(k) \end{equation} $$ (27) 此外, 将$ {\zeta}^*_i(k) = \mu K^*_{\varepsilon}(k)x_i(k) $代入式(19)中, 并结合式(27), 很容易得到$ P^*_{\varepsilon}(k) $满足式(15).
□ 注3. 与有限/固定时间控制不同, 本文所考虑的有限时域一致性控制是指控制器在一个预算的时间段内进行设计. 在这个时间段结束时, 控制器的目标是使系统状态达到某个期望的状态或者满足特定的性能指标. 有限时域控制问题通常涉及优化一个性能指标函数, 该函数定义在从初始时刻到终止时刻的时间区间上, 如本文所考虑的有限时域性能指标函数(7), 并且需要考虑在此期间系统的动态行为和可能存在的约束条件, 如本文所考虑的执行器饱和约束. 而有限时间控制强调的是收敛时间$ t $趋于一个固定值$ T $达到稳定, 该$ T $是根据初值和控制参数计算出来的. 固定时间控制是一种特殊的有限时间控制, 也是$ t $趋于一个固定值$ T $达到稳定, 该$ T $的计算和初值无关, 但是计算的$ T $有保守性. 有限时域控制可以看作有限时间控制的一种特殊情况, 其侧重点在于需要在固定时间范围内优化一个性能指标函数.
注4. 根据低增益反馈控制方法[41], 可以对低增益参数进行动态调整, 逐步将控制输入限制在饱和值范围内, 从而避免执行器饱和现象. 在引理3以及定理1的证明过程中, 由于低增益参数的存在, 在证明过程中假定通过调整低增益参数得到满足执行器饱和约束的控制输入. 因此, 在涉及控制输入的证明过程中, 饱和函数$ \rho ( \cdot ) $没有显示地出现.
从以上分析可知, 可以将针对执行器饱和的离散时间MASs (1)的有限时域一致性控制问题转化为针对执行器饱和的离散时间系统(6)以及有限时域性能指标(7)的最优控制问题. 不同之处在于, 为了实现有限时域一致性控制, 需要改变由最优控制问题求得的控制策略. 同时, 依据LGF方法的特点, 可以通过调整低增益参数$ \varepsilon $实现避免执行器饱和的目标.
2.2 模型无关有限时域控制方法
在这一部分, 首先, 结合Q学习的思想定义TVPQF; 然后, 提出一种数据驱动的后向时间迭代方法, 在仅需要单个智能体可测量数据的前提下, 逼近求解MTVRE (5), 以实现有限时域一致性控制.
依据文献[27], 定义如下TVPQF:
$$ \begin{split} &Q_{\varepsilon}\left(x_{i}(k),\;\zeta _{i}(k),\;\tau-k\right) = \\ &\qquad r_{i}\left(x_{i}(k),\;\zeta _{i}(k),\;\varepsilon\right)+V_{i}^*\left(x_{i}(k+1)\right) \end{split} $$ (28) 其中, $ Q_{\varepsilon}(x_{i}(\tau)) = \varepsilon x^{\mathrm{T}}_{i }(\tau)x_{i}(\tau) $.
定义变量$ \xi_{i}(k) = \left[x_{i}^{\mathrm{T}}(k),\; \zeta_{i}^{\mathrm{T}}(k)\right]^{\mathrm{T}} $. 同时, 将式(6)和(19)代入式(28)中, 可以得到:
$$ \begin{equation} \begin{aligned} Q_{\varepsilon}\left(x_{i}(k),\;\zeta _{i}(k),\;\tau-k\right) = \xi^{\mathrm{T}}_{i}(k){\cal{H}}_{\varepsilon}(k)\xi_{i}(k) \end{aligned} \end{equation} $$ (29) 式中, $ {\cal{H}}_{\varepsilon}(k) $表示TVPQF的核函数, 定义如下:
$$ \begin{split} &{{\cal{H}}_\varepsilon }(k): = \left[ {\begin{array}{*{20}{l}} {{{\cal{H}}_{xx}}(k)}&{{{\cal{H}}_{x\zeta }}(k)}\\ {{{\cal{H}}_{\zeta x}}(k)}&{{{\cal{H}}_{\zeta \zeta }}(k)} \end{array}} \right] = \\ &\;\;\;\;\left[ {\begin{array}{*{20}{c}} {\varepsilon I + {A^{\rm{T}}}{P_\varepsilon }(k + 1)A}&{{A^{\rm{T}}}{P_\varepsilon }(k + 1)B}\\ {{B^{\rm{T}}}{P_\varepsilon }(k + 1)A}&{{B^{\mathrm{T}}}{P_\varepsilon }(k + 1)B + I} \end{array}} \right] \end{split} $$ (30) 同时, 通过TVPQF的定义 (28)可以得到最优值函数与最优TVPQF的关系如下:
$$ \begin{split} V^*_i(x_i(k))=\; & \min_{{\zeta}_i(k)}Q_{\varepsilon}\left(x_{i}(k),\;\zeta _{i}(k),\;\tau-k\right) = \\ &Q^*_{\varepsilon}\left(x_{i}(k),\;\zeta^* _{i}(k),\;\tau-k\right) \end{split} $$ (31) 根据TVPQF的定义可知, 最优LGF控制律满足:
$$ \begin{equation} \zeta^*_i(k) = \arg\min\limits_{\zeta_i(k)}Q_{\varepsilon}\left(x_{i}(k),\;\zeta _{i}(k),\;\tau-k\right) \end{equation} $$ (32) 求解$ \frac{{\partial Q_{\varepsilon}(x_{i}(k),\;\zeta _{i}(k),\;\tau-k)} }{ {\partial \zeta_i(k)}} = 0 $, 可以得到:
$$ \begin{equation} K_{\varepsilon}^*(k) = -{\cal{H}}_{\zeta \zeta}^{*}{}^{-1}(k){\cal{H}}_{\zeta x}^*(k) \end{equation} $$ (33) 另外, 将$ {\zeta}^*_i(k) = \mu {K}^*_{\varepsilon}(k)x_i(k) $、式(33)代入式(31), 同时结合式(29), 得到:
$$ \begin{split} P^*_{\varepsilon}(k) =\; &{\cal{H}}^*_{x x}(k)-\mu{K}^*_{\varepsilon}(k){\cal{H}}^*_{\zeta x}(k)+\mu{\cal{H}}^*_{x \zeta}(k)\;\times\\ & {K}^{*,\;\mathrm{T}}_{\varepsilon}(k)+\mu^2{K}^*_{\varepsilon}(k){\cal{H}}^*_{\zeta \zeta}(k){K}^{*,\;\mathrm{T}}_{\varepsilon}(k)\\[-1pt] \end{split} $$ (34) 根据式(33)和(34)可知, 通过设计的TVPQF, 可以将计算$ P^*_{\varepsilon}(k) $转变为计算$ {\cal{H}}_{\varepsilon}^*(k) $, 以获取最优LGF控制增益矩阵$ K_{\varepsilon}^*(k) $, 并且避免对系统模型信息的依赖. 下面将介绍如何采用后向时间的方式逼近求解$ {\cal{H}}_{\varepsilon}^*(k) $.
假设通过$ \eta $次实验, 收集到$ \eta $组样本数据$ \{x^j_{i}(k), \zeta^j _{i}(k),\;x^j_{i}(k+1)\} $, 其中$ j = 1,\;2,\;\cdots,\;\eta $.
当$ k = \tau -1 $时, 定义:
$$ \begin{split} {\cal{Q}}^j_{\varepsilon}(\tau - 1) = \;& \varepsilon x^{j,\;\mathrm{T}}_{i}(\tau - 1)x^j_{i}(\tau - 1)+\zeta^{j,\;\mathrm{T}}_{i}(\tau - 1)\;\times\\ & \zeta^j_{i}(\tau - 1)+x^{j,\; \mathrm{T}}_{i }(\tau)P^*_{\varepsilon}(\tau) x^j_{i}(\tau) \\[-1pt] \end{split} $$ (35) 式中, $ P^*_{\varepsilon}(\tau) = \varepsilon I $.
同时, 根据式(29), 可以得到$ {\cal{Q}}^j_{\varepsilon}(\tau - 1) $的另一种表达形式如下:
$$ \begin{equation} \hat{{\cal{Q}}}^j_{\varepsilon}(\tau - 1) = \xi^{j,\; \mathrm{T}}_{i}(\tau - 1){\cal{H}}_{\varepsilon}(\tau - 1)\xi^j_{i}(\tau - 1) \end{equation} $$ (36) 应用线性参数化方法, 式(36)可以重写成:
$$ \begin{equation} \hat{{\cal{Q}}}^j_{\varepsilon}(\tau - 1) = \bar{\xi}^{j,\; \mathrm{T}}_{i}(\tau - 1)\text{vec}({\cal{H}}_{\varepsilon}(\tau - 1)) \end{equation} $$ (37) 其中,
$$ \begin{split} \bar{\xi}^{j}_{i}(\tau - 1) =\;& [({\xi}^{1,\;j}_{i})^2,\; 2{\xi}^{1,\;j}_{i}{\xi}^{2,\;j}_{i},\; \cdots,\; 2{\xi}^{1,\;j}_{i}{\xi}^{l,\;j}_{i},\\ & ({\xi}^{2,\;j}_{i})^2,\;2{\xi}^{2,\;j}_{i}{\xi}^{3,\;j}_{i},\; \cdots,\;\\ &2{\xi}^{2,\;j}_{i}{\xi}^{l,\;j}_{i},\; \cdots,\; ({\xi}^{l,\;j}_{i})^2]^{\mathrm{T}} \nonumber \end{split} $$ 上面变量的表达式中$ l = n+m $表示变量$ \bar{\xi}^{j}_{i}(\tau \;- 1) $的维数. 另外, 为方便, 省去了$ \tau - 1 $.
结合式(35)和(37)可知, 可以通过求解如下优化方程用以获取TVPQF对应的最优核矩阵$ {\cal{H}}_{\varepsilon}^*(\tau - 1) $:
$$ \begin{split} \text{vec}({\cal{H}}_{\varepsilon}^*(\tau - 1)) = \; & \arg\min\sum\limits_{j = 1}^\eta(\bar{\xi}^{j,\; \mathrm{T}}_{i}(\tau - 1)\;\times\\ &\text{vec}({\cal{H}}_{\varepsilon}(\tau - 1))-{\cal{Q}}^j_{\varepsilon}(\tau - 1))^2 \end{split} $$ (38) 得到$ {\cal{H}}_{\varepsilon}^*(\tau - 1) $, 就可以通过式(33)求解最优LGF控制增益矩阵$ K_{\varepsilon}^*(\tau - 1) $, 以及通过式(34)获取最优值函数对应的核矩阵$ P_{\varepsilon}^*(\tau - 1) $.
依据求解$ {\cal{H}}_{\varepsilon}^*(\tau - 1) $的思路, 可以通过后向时间求解的方式逼近求解$ {\cal{H}}_{\varepsilon}^*(k) $, $ K_{\varepsilon}^*(k) $, 以及$ P_{\varepsilon}^*(k) $, $ k = \tau-2,\; \cdots,\; 1,\; 0 $.
当$ k = \tau-2,\; \cdots,\; 1,\; 0 $时, 定义:
$$ \begin{split} {\cal{Q}}^j_{\varepsilon}(k) =\; & \varepsilon x^{j,\;\mathrm{T}}_{i}(k)x^j_{i}(k)+\zeta^{j,\;\mathrm{T}}_{i}(k)\zeta^j_{i}(k)\;+\\ &x^{j,\; \mathrm{T}}_{i }(k+1)P^*_{\varepsilon}(k+1) x^j_{i}(k+1) \end{split} $$ (39) 同样地, 可以得到$ {\cal{Q}}^j_{\varepsilon}(k) $的另一种表达形式:
$$ \begin{equation} \hat{{\cal{Q}}}^j_{\varepsilon}(k) = \xi^{j,\; \mathrm{T}}_{i}(k){\cal{H}}_{\varepsilon}(k)\xi^j_{i}(k) \end{equation} $$ (40) 参照式(38), 可以得到如下优化问题:
$$ \begin{split} &\text{vec}({\cal{H}}_{\varepsilon}^*(k)) = \\ &\qquad \arg\min\sum\limits_{j = 1}^\eta\left(\bar{\xi}^{j,\; \mathrm{T}}_{i}(k)\text{vec}({\cal{H}}_{\varepsilon}(k))-{\cal{Q}}^j_{\varepsilon}(k)\right)^2 \end{split} $$ (41) 通过式(41)求解得到$ {\cal{H}}_{\varepsilon}^*(k) $, 就可以通过式(33)求解最优LGF控制增益矩阵$ K_{\varepsilon}^*(k) $, 以及通过式(34)获取最优值函数对应的核矩阵$ P_{\varepsilon}^*(k) $. 下面将介绍如何求解优化问题(38)和问题(41). 由于两者具有相似性, 下面将问题(38)和问题(41)归结为一类问题进行介绍.
优化问题(38)和问题(41)可以写成如下形式:
$$ \begin{split} &\text{vec}\left({\cal{H}}_{\varepsilon}^*(k)\right) = \\ & \qquad\arg\min\sum\left(\bar{{\xi}}^{\,\mathrm{T}}_{i}(k)\text{vec}({\cal{H}}_{\varepsilon}(k))-{\cal{Q}}_{\varepsilon}(k)\right)^2 \end{split} $$ (42) 式中, $ \bar{{\xi}}_{i}(k) = \left[\bar{{\xi}}^{1}_{i}(k),\;\bar{{\xi}}^{2}_{i}(k),\;\cdots,\;\bar{{\xi}}^{\eta}_{i}(k)\right]^{\mathrm{T}} $; $ {\cal{Q}}_{\varepsilon}(k) = \left[{\cal{Q}}_{\varepsilon}^{1}(k),\; {\cal{Q}}_{\varepsilon}^{2}(k),\; \cdots,\; {\cal{Q}}_{\varepsilon}^{\eta}(k)\right]^{\mathrm{T}} $, $ k = 0,\;1,\;\cdots,\;\tau-1 $.
应用最小二乘法, 可以得到优化问题 (42)的解如下:
$$ \begin{equation} \text{vec}({\cal{H}}_{\varepsilon}^*(k)) = \left(\bar{{\xi}}_{i}(k)\bar{{\xi}}^{\,\mathrm{T}}_{i}(k)\right)^{-1}\bar{{\xi}}_{i}(k){\cal{Q}}_{\varepsilon}(k) \end{equation} $$ (43) 为确保优化问题(42)的解(43)的唯一性, 需要满足如下条件:
$$ \begin{equation} \text{rank}(\bar{{\xi}}_{i}(k)) = \frac{l(l+1)}{2} \end{equation} $$ (44) 即矩阵$ \bar{{\xi}}_{i}(k) $满秩.
如果搜集到的样本$ \{x^j_{i}(k),\;\zeta^j _{i}(k),\;x^j_{i}(k+1)\} $的数量$ \eta\ge {{l(l + 1)} / 2} $, 且每次实验收集到的数据之间服从高斯分布, 那么条件(44)成立[46].
由以上分析可知, 采用后向时间求解的方式可以得到最优TVPQF对应的核矩阵$ {\cal{H}}_{\varepsilon}^*(k) $. 同时, 由式(35)和(39)可知, TVPQF会受到低增益参数$ \varepsilon $的影响. 因此, 可以通过调整低增益参数$ \varepsilon $用以更新LGF控制增益矩阵$ K_{\varepsilon}^*(k) $, 从而使控制器$ u_i(k) $避免输入饱和. 算法1对上面的论述进行了总结.
算法 1. 执行器饱和约束下模型无关有限时域一致性控制
输入. 实验次数$ \eta $, 低增益参数$ \varepsilon $, 有限时域$ \tau $.
输出. 最优LGF控制增益矩阵$ K_{\varepsilon}^*(k) $, 以及最优TVPQF对应的核矩阵$ {\cal{H}}_{\varepsilon}^*(k) $, $ k = 0,\;1,\; \cdots,\; \tau -1 $.
1) 数据收集: 生成符合高斯分布的随机控制输入$ \{\zeta^j_{i}(0),\; \zeta^j_{i}(1),\; \cdots,\; \zeta^j_{i}(\tau-1)\} $, 以及随机初始状态变量$ x^j_{i}(0) $, $ j = 1,\;2,\;\cdots,\;\eta $, 应用于系统(6), 从而收集产生的样本数据$ \{x^j_{i}(k),\;\zeta^j _{i}(k),\;x^j_{i}(k+1)\} $, 其中$ j = 1,\;2,\;\cdots,\;\eta $; $ k = 0,\;1,\;\cdots,\;\tau-1 $.
2) 计算$ K_{\varepsilon}^*(\tau -1) $: 通过式(43)求解优化问题(38), 得到$ {\cal{H}}_{\varepsilon}^*(\tau -1) $. 结合式(33)推导得到最优LGF控制增益矩阵$ K_{\varepsilon}^*(\tau -1) $, 并将其存储.
3) 计算$ K_{\varepsilon}^*(k) $: 从$ k = \tau -2 $到$ k = 0 $, 依次通过式(43)求解优化问题(42), 迭代计算$ {\cal{H}}_{\varepsilon}^*(k) $. 结合式(33)推导得到最优LGF控制增益矩阵$ K_{\varepsilon}^*(k) $, $ k = \tau\;- 2,\; \cdots,\; 1,\; 0 $, 并将其存储.
4) 饱和度检查: 对于每一个$ k = 0,\;1,\;\cdots,\;\tau-1 $, 验证
$$ \qquad\left\lVert u_i(k) \right\rVert_\infty = \left\lVert K_{\varepsilon}^*(k) \sum\limits_{j = 1}^N d_{i j}\left(x_i(k)-x_j(k)\right)\right\rVert_\infty \le c $$ 其中, $ i = 1,\;2,\;\cdots,\;N $. 如果不满足, 则减小$ \varepsilon $并重复步骤2)和步骤3).
5) 停止迭代: 当控制输入不再饱和时, 停止迭代过程.
注5. 算法1中, 低增益参数$ \varepsilon $可以通过比例规则进行调整: $ \varepsilon_{j+1} = \alpha \varepsilon_j $, 其中$ 0<\alpha<1 $. 另外需要强调的是, 控制输入的饱和度评估发生在其应用到MASs (1)之前. 因此, MASs在实际执行的过程中不会超过其执行器饱和约束.
注6. 算法1中的饱和度检查环节必然会受到智能体初始状态的影响, 不同的初始状态可能会最终得到不同的低增益参数$ \varepsilon $. 另外, 算法1的目的并不是寻找最优低增益参数$ \varepsilon^* $, 而是对于不同的初始状态寻找$ \varepsilon \in (0,\;\varepsilon^*] $, 从而得到对应的最优LGF控制增益矩阵$ K_{\varepsilon}^*(k) $, 达到避免执行器饱和的目标.
下面定理将证明通过算法1得到的最优LGF控制增益矩阵是最优的.
定理2. 如果进行收集样本数据的实验次数$ \eta \ge {{l(l + 1)} / 2} $, 且收集得到的样本数据$ \{x^j_{i}(k),\, \zeta^j _{i}(k), x^j_{i}(k+1)\} $服从高斯分布, 则算法1得到的LGF控制增益矩阵$ K_{\varepsilon}^*(k) $是最优的, 也就是MTVRE (5)对应的解.
证明. 根据LGF方法的思想, 针对执行器饱和约束问题, 存在最优低增益参数$ \varepsilon^* $ [42]. 同时, 注意到算法1中关于低增益参数$ \varepsilon $的调整处于估计$ {\cal{H}}_{\varepsilon}(k) $的外循环. 因此, 低增益参数$ \varepsilon $不会影响TVPQF核矩阵$ {\cal{H}}_{\varepsilon}(k) $的收敛性. 假设低增益参数$ \varepsilon $在算法1中是固定的, 即考虑MTVRE (5)和TVPQF (23)中包含相同的低增益参数$ \varepsilon $的情况.
当初始样本数据$ x^j_{i}(0),\; j = 1,\;2,\;\cdots,\;\eta $, 以及$ \zeta^j _{i}(k),\; k = 0,\;1,\;\cdots,\;\tau-1 $服从高斯分布时, 很容易得到每次收集样本数据的实验是线性独立的. 此外, 如果实验次数$ \eta\ge {{l(l + 1)} / 2} $, 则式(43)中构造得到的数据矩阵$ \bar{{\xi}}_{i}(k) $, $ k = 0,\;1,\;\cdots,\;\tau-1 $满秩. 需要注意的是, 结合$ \text{vec}({\cal{H}}_{\varepsilon}^*(k)) $的定义以及式(30)可知,$ \text{vec}({\cal{H}}_{\varepsilon}^*(k)) $, $ k = 0,\;1,\;\cdots,\;\tau-1 $拥有$ {{l(l + 1)} / 2} $个独立元素. 结合矩阵$ \bar{{\xi}}_{i}(k) $满秩的结论, 可知优化问题(42)有唯一解, 即为式(43). 值得注意的是, 所设计的算法1以离线后向时间迭代的方式运行, 即利用终端约束条件$ P_{\varepsilon}(\tau) $从$ k = \tau -1 $开始依次向后计算$ \text{vec}({\cal{H}}_{\varepsilon}^*(k)) $. 同时, 式(43)构成了优化问题(42)的唯一解. 可以得出结论: 通过执行算法1得到的$ \text{vec}({\cal{H}}_{\varepsilon}^*(k)) $是最优的.
值得注意的是, 矩阵$ {\cal{H}}_{\varepsilon}^*(k) $是由$ {{l(l + 1)} / 2} $个元素组成的对称矩阵, $ \text{vec}({\cal{H}}_{\varepsilon}^*(k)) $表示矩阵$ {\cal{H}}_{\varepsilon}^*(k) $经过列排列之后组成的长向量. 由于算法1得到的$ \text{vec}({\cal{H}}_{\varepsilon}^*(k)) $是最优的. 因此, 算法1得到的结果$ {\cal{H}}_{\varepsilon}^*(k) $即为所定义的TVPQF的最优核矩阵. 结合式(33)以及引理2可知, 算法1得出的LGF控制增益矩阵$ K_{\varepsilon}^*(k) $也是最优的. 同时, 结合定理1以及式(31)可知, 通过算法1得到LGF控制增益矩阵$ K_{\varepsilon}^*(k) $等价于求解MTVRE (5).
□ 下面定理将证明算法1可以实现离散时间MASs (1)的全局有限时域一致性控制而不仅仅是半全局有限时域一致性控制.
定理3. 如果假设2和假设3成立, 通过算法1得到的LGF控制增益矩阵$ K_{\varepsilon}^*(k) $, 离散时间MASs (1)可以实现全局有限时域一致性控制.
证明. 如果假设2和假设3成立, 由引理2以及定理2可知, 算法1得到的LGF控制增益矩阵$ K_{\varepsilon}^*(k) $可以实现半全局有限时域一致性控制. 在算法1中, 如果控制输入违反执行器饱和, 则在下次迭代时会减小低增益参数$ \varepsilon $, 因此必然可以找到一个足够小的$ \varepsilon \in (0,\;\varepsilon^*] $满足执行器饱和. 另外, 从定理2的证明过程可知, 如果$ \varepsilon $固定, 由算法1得到的TVPQF核矩阵以及LGF控制增益矩阵均是最优的, 且可以实现有限时域最优一致性控制. 如果智能体的初始状态不同, 必然会迭代得到一个固定的低增益参数$ \varepsilon $, 对应地, 即可通过算法1得到LGF控制增益矩阵. 因此, 算法1可以实现离散时间MASs (1)的全局有限时域一致性控制.
□ 3. 仿真实验
本节首先建立一个仿真实验, 来说明本文方法的有效性; 然后进行对比实验, 用本文方法与对比方法进行仿真实验, 用评价指标结果说明本文方法的优越性.
3.1 仿真实验1
考虑一个由6个智能体组成的离散时间MASs, 其动力学方程为(1), 相关的矩阵为:
$$ \begin{equation} A = \begin{bmatrix} 0 & 1\\ -1 & 1 \\ \end{bmatrix},\;\quad B = \begin{bmatrix} -1 \\ 0 \end{bmatrix} \end{equation} $$ (45) 矩阵$ A $的特征值$ 0.5\pm0.866\mathrm{i} $都在单位圆内, 且$ (A,\; B) $是可控的. 因此, 假设2成立. 在本节仿真中, 执行器饱和函数的饱和阈值设为$ c = 1 $. 离散时间MASs的通信拓扑可以用图1所示的无向图表示. 从图中可以得到, 所对应的无向图是连通的. 因此, 假设3成立.
下面将使用三个实例来说明本文所提方法的有效性. 在所有的三个实例中, 算法1中具体的参数设置如下: 收集样本数据的实验次数$ \eta = 100>(3\;\times 4) / 2 = 6 $, 初始低增益参数$ \varepsilon = 1 $. 同时, 使用注5中的方法对$ \varepsilon $进行更新, 选择$ \alpha = 0.5 $. 后续将通过改变不同的初始状态来说明算法1的有效性.
例1. 在本例中, 将所有智能体的初始状态设置为$ [-1,\;1]\times [-1,\;1] $, 有限时域设置为$ \tau = 100 $, 然后将算法1应用于MASs (45)中, 最终得到低增益参数$ \varepsilon = 0.5 $. 同时, 将对应的最优LGF控制增益矩阵$ K_{\varepsilon}^*(k) $应用于系统中, 得到的6个智能体的系统状态如图2所示, 系统控制输入如图3所示. 从图2和图3可知, 通过算法1得到的控制输入可以实现有限时域一致性控制, 并且避免输入饱和.
例2. 在本例中, 将所有智能体的初始状态设置为$ [-10,\;10]\times [-10,\;10] $, 有限时域设置为$ \tau = 300 $, 然后将算法1应用于MASs (45)中, 最终得到低增益参数$ \varepsilon = 0.002 $. 同时, 将对应的最优LGF控制增益矩阵$ K_{\varepsilon}^*(k) $应用于系统中, 得到的6个智能体的系统状态如图4所示, 系统控制输入如图5所示. 不同于例1, 例2中智能体的初始状态的范围变大, 必然会影响MASs的一致性控制效果. 相比而言, 例2中智能体实现一致性控制的时间更长, 得到的低增益参数更小. 然而, 从图4和图5可知, 通过算法1得到的控制输入仍然可以实现有限时域一致性控制, 并避免输入饱和.
例3. 在本例中, 进一步加大了智能体初始状态的范围, 设置为$ [-100,\;100]\times [-100,\;100] $, 有限时域设置为$ \tau = 1\; 500 $, 然后将算法1应用于MASs (45)中, 最终得到低增益参数$ \varepsilon = 1.220\; 7\times 10^{-4} $. 同时, 将对应的最优LGF控制增益矩阵$ K_{\varepsilon}^*(k) $应用于系统中, 得到的6个智能体的系统状态如图6所示, 系统控制输入如图7所示. 从所得结果可知, 所提方法可以在有限时域内实现一致性控制, 并避免输入饱和.
以上三个例子证明了本文所提算法的有效性, 同时说明了如果智能体的初始状态越大, 控制输入需要配合越小的LGF控制增益矩阵$ K_{\varepsilon}(k) $以避免输入饱和, 因此低增益参数$ \varepsilon $将会迭代更多的次数, 从而得到更小的输入值. 此外, 在输入饱和度相等的情况下($ c = 1 $), 初始状态越大, 智能体实现一致性的速度越慢, 如图2、图4和图6所示. 通过以上三个例子, 也对定理3进行了验证.
3.2 仿真实验2
在本节将所提模型无关有限时域一致性控制算法与文献[38]针对执行器饱和的模型无关无限时域一致性控制方法进行对比.
考虑一个由5个智能体组成的离散时间MASs, 其动力学方程为(1), 相关的矩阵为:
$$ \begin{equation} A = \begin{bmatrix} 0.995 & -0.194\\ 0.194 & 0.995 \end{bmatrix},\;\quad B = \begin{bmatrix} 1 \\ 1 \end{bmatrix} \end{equation} $$ (46) 矩阵$ A $的特征值$ 0.980\; 1\pm0.198\; 7\mathrm{i} $都在单位圆上, 且$ (A,\; B) $是可控的. 因此, 假设2成立. 在本节仿真中, 执行器饱和函数的饱和阈值设为$ c = 1 $. 离散时间MASs的通信拓扑用图8所示的无向图表示. 从图8中可以得到, 所对应的无向图是连通的. 因此, 假设3成立.
图 11 例2中有限时域方法获得的一致性误差Fig. 11 Consensus errors obtained by finite-horizon method in example 2针对本文所提算法1的相关参数设置如下: 有限时域$ \tau = 120 $, 收集样本数据的实验次数$ \eta = 100 $, 初始低增益参数$ \varepsilon = 1 $, 低增益参数$ \varepsilon $调节参数$ \alpha = 0.9 $. 参考文献[38]所提无限时域算法的相关参数设置, 初始低增益参数$ \varepsilon = 1 $, $ M^0 = I $, $ K^0 = [0,\;0] $, 收集样本数据数量$ H = 100 $, 算法收敛参数设置为$ 0.000\; 01 $. 低增益参数$ \varepsilon $的更新规则和本文所提算法1一致.
例1. 在本例中, 首先设定5个智能体的初始状态为$ x_1(0) = [2.5,\, -2.5]^{\mathrm{T}} $, $ x_2(0) = [-1.5,\, 2]^{\mathrm{T}} $, $ x_3(0) = [-2,\; -3]^{\mathrm{T}} $, $ x_4(0) = [-2,\; -2]^{\mathrm{T}} $, $ x_5(0) = [1.5,\; 1.5]^{\mathrm{T}} $. 两种算法得到的最终低增益参数均为$ \varepsilon = 3.4\;\times 10^{-3} $. 采用文献[38]中所提算法得到的最优LGF控制增益矩阵$ K^*_{\varepsilon} = [-0.093\; 7,\; -0.073\; 0]^{\mathrm{T}} $. 将两种算法得到的最优LGF控制增益矩阵$ K_{\varepsilon}^*(k) $和$ K^*_{\varepsilon} $应用于MASs (23)中. 为了对比两种算法的一致性控制效果, 引入一致性控制误差$ \varepsilon_i(k) = \sum_{j = 1}^N d_{i j}(x_i(k)\;- x_j(k)) $. 仿真结果见图9和图10.
图 9 例1中有限时域方法获得的一致性误差Fig. 9 Consensus errors obtained by finite-horizon method in example 1
图 10 例1中无限时域方法获得的一致性误差Fig. 10 Consensus errors obtained by infinite-horizon method in example 1例2. 在本例中, 改变5个智能体的初始状态为$ x_1(0) = [1,\; 2]^{\mathrm{T}} $, $ x_2(0) = [-0.5,\; -0.1]^{\mathrm{T}} $, $ x_3(0) = [0.3, 2]^{\mathrm{T}} $, $ x_4(0) = [0.8,\; 0.2]^{\mathrm{T}} $, $ x_5(0) = [-3,\; -2]^{\mathrm{T}} $. 两种算法得到的最终低增益参数均为$ \varepsilon = 7.1\times 10^{-3} $. 文献[38]所提算法得到的最优LGF控制增益矩阵为$ K_{\varepsilon} = [-0.132\; 4,\; -0.110\; 6]^{\mathrm{T}} $. 最终得到的仿真结果见图11和图12.
图 12 例2中无限时域方法获得的一致性误差Fig. 12 Consensus errors obtained by infinite-horizon method in example 2另外, 本文用每个智能体对应一致性误差的绝对误差积分(Integral absolute error, IAE)的平均值和均方误差(Mean square error, MSE)的和两个指标[47−48]来评价本仿真实验的控制效果, 结果见表1.
表 1 对比实验评价指标Table 1 Evaluation indices of comparison experiments$100\le k \le 120$ ${\mathrm{IAE}}$ ${\mathrm{MSE}}$ 例1−有限时域方法 0.637 7 0.005 4 例1−无限时域方法 10.264 9 2.116 9 例2−有限时域方法 1.074 8 0.014 7 例2−无限时域方法 5.186 9 0.510 9 $$ \begin{equation} {\mathrm{IAE}} = \frac{\sum\limits_{i = 1}^N\sum\limits_{k = 0}^{k^*}|\varepsilon_i(k)|}{N} \nonumber \end{equation} $$ $$ \begin{equation} {\mathrm{MSE}} = \sum\limits_{i = 1}^N\frac{1}{k^*} \sum\limits_{k = 0}^{k^*}|\varepsilon_i(k)|^2\nonumber \end{equation} $$ 同时, 为了对比两种算法的一致性控制效果, 统计了智能体一致性误差对应的调节时间指标(以一致性误差范围的$ \pm\ 2\% $进行计算), 在不同初始状态下, 将时域参数均设置为200, 每个智能体对应的调节时间如表2和表3所示.
表 2 例1中一致性误差调节时间Table 2 Consensus error setting time in example 1例1−调节时间 有限时域方法 无限时域方法 智能体1 109 137 智能体2 119 161 智能体3 104 127 智能体4 109 137 智能体5 90 110 表 3 例2中一致性误差调节时间Table 3 Consensus error setting time in example 2例2−调节时间 有限时域方法 无限时域方法 智能体1 108 131 智能体2 116 158 智能体3 120 183 智能体4 108 131 智能体5 84 93 由图9 ~ 图12以及表1可知, 本文所提算法能够更快地实现一致性控制, 一致性误差较小. 同时由表2和表3可知, 在一定的时间范围内, 本文所提的有限时域一致性控制算法得到的一致性性能指标较文献[38]所提无限时域一致性控制算法要好, 这也说明了本文提出算法的优越性.
4. 结束语
本文提出一种基于Q学习的数据驱动算法, 用于求解具有未知模型参数、执行器饱和的离散时间MASs的有限时域一致性控制问题. 首先结合LGF方法, 将执行器饱和的有限时域一致性控制问题转化为执行器饱和的单智能体最优控制问题, 给出原问题的控制器设计方案. 然后在未知系统模型参数的条件下, 设计基于Q学习的数据驱动后向时间算法逼近求解MTVRE, 用以获取LGF控制增益矩阵, 并给出该算法的收敛性说明. 最后, 给出仿真结果来验证基于Q学习的有限时域一致性控制算法的有效性, 并证明智能体的初始状态会影响收敛速度的问题. 同时, 还给出对比实验来评价有限时域一致性控制算法与无限时域一致性控制算法的控制效果.
在本文提出的方法中, 有限时域参数 $ \tau $ 作为算法1的输入参数, 其在参数选择过程中需凭借经验来进行设定. 在未来的研究中, 将探讨更为精确的有限时域参数设置方法, 以确定 $ \tau $ 的边界条件, 从而设定合理的有限时域参数 $ \tau $.
-
图 1 安全强化学习方法、基准测试平台与应用
Fig. 1 Methods, benchmarking platforms, and applications of safe reinforcement learning
表 1 安全强化学习方法对比
Table 1 Comparison of safe reinforcement learning methods
方法类别 训练时
安全部署时
安全与环境
实时交互优点 缺点 应用领域 修改学习过程 环境知识 √ √ √ 采样效率高 需获取环境的动力学模型、实现复杂 自动驾驶[12−13, 23]、工业过程控制[24−25]、电力系统优化[26]、医疗健康[21] 人类知识 √ √ √ 加快学习过程 人工监督成本高 机器人控制[14, 27]、电力
系统优化[28]、医疗健康[29]无先验知识 √ √ √ 无需获取先验知识、可扩展性强 收敛性差、
训练不稳定自动驾驶[30]、机器人控制[31]、工业过程控制[32]、电力系统优化[33]、医疗健康[34] 修改学习目标 拉格朗日法 × √ √ 思路简单、易于实现 拉格朗日乘子
选取困难工业过程控制[15]、
电力系统优化[16]信赖域法 √ √ √ 收敛性好、训练稳定 近似误差不可忽略、采样效率低 机器人控制[35] 离线强化学习 策略约束 √ × × 收敛性好 方差大、采样效率低 医疗健康[36] 值约束 √ × × 值函数估计方差小 收敛性差 工业过程控制[22] 预训练模型 √ × × 加快学习过程、
泛化性强实现复杂 工业过程控制[37] 
下载: 导出CSV
表 2 安全强化学习基准测试平台对比
Table 2 Comparison of benchmarking platforms for safe reinforcement learning
基准测试平台 任务类型 适用方法 基准算法类型 特点 Safety Gym 机器人导航 修改学习过程与目标 无模型方法 同策略 包含多个高维连续控制任务, 使用最广泛的安全强化学习算法评估平台 safe-control-gym 机器人控制 修改学习过程与目标 无模型方法与基于模型的方法 同策略与异策略 能实现基于模型的方法, 可以方便地与控制类方法进行对比 SafeRL-Kit 自动驾驶 修改学习过程与目标 无模型方法 异策略 首个针对自动驾驶任务的异策略安全强化学习算法基准测试平台 D4RL 机器人导航与控制、自动驾驶 离线强化学习 无模型方法 离线学习 收集有多个环境的离线数据, 已成为离线强化学习算法的标准评估平台 NeoRL 机器人控制、工业控制、股票交易、产品促销 离线强化学习 无模型方法与基于模型的方法 离线学习 包含多个高维或具有高度随机性的现实应用场景任务
下载: 导出CSV
-
[1] Sutton R S, Barto A G. Reinforcement Learning: An Introduction. Cambridge: MIT Press, 2018. [2] Dong S, Wang P, Abbas K. A survey on deep learning and its applications. Computer Science Review, 2021, 40: Article No. 100379 doi: 10.1016/j.cosrev.2021.100379 [3] 文载道, 王佳蕊, 王小旭, 潘泉. 解耦表征学习综述. 自动化学报, 2022, 48(2): 351-374Wen Z D, Wang J R, Wang X X, Pan Q. A review of disentangled representation learning. Acta Automatica Sinica, 2022, 48(2): 351-374 [4] Silver D, Huang A, Maddison C, Guez A, Sifre L, Driessche G, et al. Mastering the game of Go with deep neural networks and tree search. Nature, 2016, 529(7587): 484-489 doi: 10.1038/nature16961 [5] Shao K, Tang Z T, Zhu Y H, Li N N, Zhao D B. A survey of deep reinforcement learning in video games. arXiv preprint arXiv: 1912.10944, 2019. [6] Kiran B R, Sobh I, Talpaert V, Mannion P, Sallab A A A, Yogamani S, et al. Deep reinforcement learning for autonomous driving: A survey. IEEE Transactions on Intelligent Transportation Systems, 2022, 23(6): 4909-4926 doi: 10.1109/TITS.2021.3054625 [7] 黄艳龙, 徐德, 谭民. 机器人运动轨迹的模仿学习综述. 自动化学报, 2022, 48(2): 315-334Huang Y L, Xu D, Tan M. On imitation learning of robot movement trajectories: A survey. Acta Automatica Sinica, 2022, 48(2): 315-334 [8] Zhang Z D, Zhang D X, Qiu R C. Deep reinforcement learning for power system applications: An overview. CSEE Journal of Power and Energy Systems, 2020, 6(1): 213-225 [9] 刘健, 顾扬, 程玉虎, 王雪松. 基于多智能体强化学习的乳腺癌致病基因预测. 自动化学报, 2022, 48(5): 1246-1258 doi: 10.16383/j.aas.c210583Liu J, Gu Y, Cheng Y H, Wang X S. Prediction of breast cancer pathogenic genes based on multi-agent reinforcement learning. Acta Automatica Sinica, 2022, 48(5): 1246-1258 doi: 10.16383/j.aas.c210583 [10] García J, Fernández F. A comprehensive survey on safe reinforcement learning. The Journal of Machine Learning Research, 2015, 16(1): 1437-1480 [11] Altman E. Constrained Markov Decision Processes: Stochastic Modeling. New York: Routledge, 1999. [12] Kamran D, Ren Y, Lauer M. High-level decisions from a safe maneuver catalog with reinforcement learning for safe and cooperative automated merging. In: Proceedings of the IEEE International Intelligent Transportation Systems Conference (ITSC). Indiana, USA: IEEE, 2021. 804−811 [13] Trumpp R, Bayerlein H, Gesbert D. Modeling interactions of autonomous vehicles and pedestrians with deep multi-agent reinforcement learning for collision avoidance. In: Proceedings of the IEEE Intelligent Vehicles Symposium (IV). Aachen, Germany: IEEE, 2022. 331−336 [14] Yang T Y, Zhang T N, Luu L, Ha S, Tan J, Yu W H. Safe reinforcement learning for legged locomotion. arXiv preprint arXiv: 2203.02638, 2022. [15] 赵恒军, 李权忠, 曾霞, 刘志明. 安全强化学习算法及其在CPS智能控制中的应用. 软件学报, 2022, 33(7): 2538-2561 doi: 10.13328/j.cnki.jos.006588Zhao H J, Li Q Z, Zeng X, Liu Z M. Safe reinforcement learning algorithm and its application in intelligent control for CPS. Journal of Software, 2022, 33(7): 2538-2561 doi: 10.13328/j.cnki.jos.006588 [16] 季颖, 王建辉. 基于深度强化学习的微电网在线优化调度. 控制与决策, 2022, 37(7): 1675-1684 doi: 10.13195/j.kzyjc.2021.0835Ji Y, Wang J H. Online optimal scheduling of a microgrid based on deep reinforcement learning. Control and Decision, 2022, 37(7): 1675-1684 doi: 10.13195/j.kzyjc.2021.0835 [17] Zhang L R, Zhang Q, Shen L, Yuan B, Wang X Q. SafeRL-Kit: Evaluating efficient reinforcement learning methods for safe autonomous driving. arXiv preprint arXiv: 2206.08528, 2022. [18] Thananjeyan B, Balakrishna A, Nair S, Luo M, Srinivasan K, Hwang M, et al. Recovery RL: Safe reinforcement learning with learned recovery zones. IEEE Robotics and Automation Letters, 2021, 6(3): 4915-4922 doi: 10.1109/LRA.2021.3070252 [19] Levine S, Kumar A, Tucker G, Fu J. Offline reinforcement learning: Tutorial, review, and perspectives on open problems. arXiv preprint arXiv: 2005.01643, 2020. [20] Prudencio R F, Máximo M R O A, Colombini E L. A survey on offline reinforcement learning: Taxonomy, review, and open problems. arXiv preprint arXiv: 2203.01387, 2022. [21] Ji G L, Yan J Y, Du J X, Yan W Q, Chen J B, Lu Y K, et al. Towards safe control of continuum manipulator using shielded multiagent reinforcement learning. IEEE Robotics and Automation Letters, 2021, 6(4): 7461-7468 doi: 10.1109/LRA.2021.3097660 [22] Zhan X Y, Xu H R, Zhang Y, Zhu X Y, Yin H L, Zheng Y. DeepThermal: Combustion optimization for thermal power generating units using offline reinforcement learning. In: Proceedings of the AAAI Conference on Artificial Intelligence. California, USA: AAAI Press, 2022. 4680−4688 [23] Zhang Y X, Gao B Z, Guo L L, Guo H Y, Chen H. Adaptive decision-making for automated vehicles under roundabout scenarios using optimization embedded reinforcement learning. IEEE Transactions on Neural Networks and Learning Systems, 2021, 32(12): 5526-5538 doi: 10.1109/TNNLS.2020.3042981 [24] Savage T, Zhang D D, Mowbray M, Chanona E A D R. Model-free safe reinforcement learning for chemical processes using Gaussian processes. IFAC-PapersOnLine, 2021, 54(3): 504-509 doi: 10.1016/j.ifacol.2021.08.292 [25] Mowbray M, Petsagkourakis P, Chanona E A, Zhang D D. Safe chance constrained reinforcement learning for batch process control. Computers & Chemical Engineering, 2022, 157: Article No. 107630 [26] Vu T L, Mukherjee S, Huang R K, Huang Q H. Barrier function-based safe reinforcement learning for emergency control of power systems. In: Proceedings of the 60th IEEE Conference on Decision and Control (CDC). Texas, USA: IEEE, 2021. 3652−3657 [27] García J, Shafie D. Teaching a humanoid robot to walk faster through safe reinforcement learning. Engineering Applications of Artificial Intelligence, 2020, 88: Article No. 103360 doi: 10.1016/j.engappai.2019.103360 [28] Du Y, Wu D. Deep reinforcement learning from demonstrations to assist service restoration in islanded microgrids. IEEE Transactions on Sustainable Energy, 2022, 13(2): 1062-1072 doi: 10.1109/TSTE.2022.3148236 [29] Pore A, Corsi D, Marchesini E, Dall＇Alba D, Casals A, Farinelli A, et al. Safe reinforcement learning using formal verification for tissue retraction in autonomous robotic-assisted surgery. In: Proceedings of the IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). Prague, Czech Republic: IEEE, 2021. 4025−4031 [30] 代珊珊, 刘全. 基于动作约束深度强化学习的安全自动驾驶方法. 计算机科学, 2021, 48(9): 235-243 doi: 10.11896/jsjkx.201000084Dai S S, Liu Q. Action constrained deep reinforcement learning based safe automatic driving method. Computer Science, 2021, 48(9): 235-243 doi: 10.11896/jsjkx.201000084 [31] Zhu X, Kang S C, Chen J Y. A contact-safe reinforcement learning framework for contact-rich robot manipulation. In: Proceedings of the International Conference on Intelligent Robots and Systems (IROS). Kyoto, Japan: IEEE, 2022. 2476−2482 [32] Pan E, Petsagkourakis P, Mowbray M, Zhang D D, Chanona E A D R. Constrained model-free reinforcement learning for process optimization. Computers & Chemical Engineering, 2021, 154: 107462 [33] Tabas D, Zhang B S. Computationally efficient safe reinforcement learning for power systems. In: Proceedings of the American Control Conference. Georgia, USA: IEEE, 2022. 3303−3310 [34] Misra S, Deb P K, Koppala N, Mukherjee A, Mao S W. S-Nav: Safety-aware IoT navigation tool for avoiding COVID-19 hotspots. IEEE Internet of Things Journal, 2021, 8(8): 6975-6982 doi: 10.1109/JIOT.2020.3037641 [35] Corsi D, Yerushalmi R, Amir G, Farinelli A, Harel D, Katz G. Constrained reinforcement learning for robotics via scenario-based programming. arXiv preprint arXiv: 2206.09603, 2022. [36] Zhang K, Wang Y H, Du J Z, Chu B, Celi L A, Kindle R, et al. Identifying decision points for safe and interpretable reinforcement learning in hypotension treatment. arXiv preprint arXiv: 2101.03309, 2021. [37] Zhao T Z, Luo J L, Sushkov O, Pevceviciute R, Heess N, Scholz J, et al. Offline meta-reinforcement learning for industrial insertion. In: Proceedings of the International Conference on Robotics and Automation (ICRA). Philadelphia, PA, USA: IEEE, 2022. 6386−6393 [38] Sui Y N, Gotovos A, Burdick J W, Krause A. Safe exploration for optimization with Gaussian processes. In: Proceedings of the International Conference on Machine Learning. Lille, France: PMLR, 2015. 997−1005 [39] Turchetta M, Berkenkamp F, Krause A. Safe exploration in finite Markov decision processes with Gaussian processes. In: Proceedings of the 30th International Conference on Neural Information Processing Systems. Barcelona, Spain: Curran Associates Inc., 2016. 4312−4320 [40] Wachi A, Kajino H, Munawar A. Safe exploration in Markov decision processes with time-variant safety using spatio-temporal Gaussian process. arXiv preprint arXiv: 1809.04232, 2018. [41] Alshiekh M, Bloem R, Ehlers R, Könighofer B, Niekum S, Topcu U. Safe reinforcement learning via shielding. In: Proceedings of the AAAI Conference on Artificial Intelligence. Lousiana, USA: AAAI Press, 2018. 2669−2678 [42] Zhang W B, Bastani O, Kumar V. MAMPS: Safe multi-agent reinforcement learning via model predictive shielding. arXiv preprint arXiv: 1910.12639, 2019. [43] Jansen N, Könighofer B, Junges S, Serban A C, Bloem R. Safe reinforcement learning via probabilistic shields. arXiv preprint arXiv: 1807.06096, 2018. [44] Li S, Bastani O. Robust model predictive shielding for safe reinforcement learning with stochastic dynamics. In: Proceedings of the IEEE International Conference on Robotics and Automation (ICRA). Paris, France: IEEE, 2020. 7166−7172 [45] Bastani O. Safe reinforcement learning with nonlinear dynamics via model predictive shielding. In: Proceedings of the American Control Conference. Los Angeles, USA: IEEE, 2021. 3488−3494 [46] Perkins T J, Barto A G. Lyapunov design for safe reinforcement learning. Journal of Machine Learning Research, 2003, 3: 803-832 [47] Berkenkamp F, Turchetta M, Schoellig A, Krause A. Safe model-based reinforcement learning with stability guarantees. In: Proceedings of the 31st International Conference on Neural Information Processing Systems. California, USA: Curran Associates Inc., 2017. 908−919 [48] Chow Y, Nachum O, Faust A, Ghavamzadeh M, Duéñez-Guzmán E. Lyapunov-based safe policy optimization for continuous control. arXiv preprint arXiv: 1901.10031, 2019. [49] Jeddi A B, Dehghani N L, Shafieezadeh A. Lyapunov-based uncertainty-aware safe reinforcement learning. arXiv preprint arXiv: 2107.13944, 2021. [50] Cheng R, Orosz G, Murray R M, Burdick J W. End-to-end safe reinforcement learning through barrier functions for safety-critical continuous control tasks. In: Proceedings of the AAAI Conference on Artificial Intelligence. Hawaii, USA: AAAI Press, 2019. 3387−3395 [51] Yang Y L, Vamvoudakis K G, Modares H, Yin Y X, Wunsch D C. Safe intermittent reinforcement learning with static and dynamic event generators. IEEE Transactions on Neural Networks and Learning Systems, 2020, 31(12): 5441-5455 doi: 10.1109/TNNLS.2020.2967871 [52] Marvi Z, Kiumarsi B. Safe reinforcement learning: A control barrier function optimization approach. International Journal of Robust and Nonlinear Control, 2021, 31(6): 1923-1940 doi: 10.1002/rnc.5132 [53] Emam Y, Notomista G, Glotfelter P, Kira Z, Egerstedt M. Safe model-based reinforcement learning using robust control barrier functions. arXiv preprint arXiv: 2110.05415, 2021. [54] Bura A, HasanzadeZonuzy A, Kalathil D, Shakkottai S, Chamberland J F. Safe exploration for constrained reinforcement learning with provable guarantees. arXiv preprint arXiv: 2112.00885, 2021. [55] Thomas G, Luo Y P, Ma T Y. Safe reinforcement learning by imagining the near future. In: Proceedings of the 35th International Conference on Neural Information Processing Systems. Montreal, Canada: Curran Associates Inc., 2021. 13859−13869 [56] Ma Y J, Shen A, Bastani O, Jayaraman D. Conservative and adaptive penalty for model-based safe reinforcement learning. In: Proceedings of the AAAI Conference on Artificial Intelligence. Vancouver, Canada: AAAI Press, 2022. 5404−5412 [57] Saunders W, Sastry G, Stuhlmüller A, Evans O. Trial without error: Towards safe reinforcement learning via human intervention. In: Proceedings of the International Conference on Autonomous Agents and MultiAgent Systems. Stockholm, Sweden: IFAAMAS, 2018. 2067−2069 [58] Prakash B, Khatwani M, Waytowich N, Mohsenin T. Improving safety in reinforcement learning using model-based architectures and human intervention. In: Proceedings of the International Flairs Conference. Florida, USA: AAAI Press, 2019. 50−55 [59] Sun H, Xu Z P, Fang M, Peng Z H, Guo J D, Dai B, et al. Safe exploration by solving early terminated MDP. arXiv preprint arXiv: 2107.04200, 2021. [60] Prakash B, Waytowich N R, Ganesan A, Oates T, Mohsenin T. Guiding safe reinforcement learning policies using structured language constraints. In: Proceedings of the SafeAI Workshop of AAAI Conference on Artificial Intelligence. New York, USA: AAAI Press, 2020. 153−161 [61] Yang T Y, Hu M, Chow Y, Ramadge P J, Narasimhan K. Safe reinforcement learning with natural language constraints. In: Proceedings of the 35th International Conference on Neural Information Processing Systems. Montreal, Canada: Curran Associates Inc., 2021. 13794−13808 [62] Turchetta M, Kolobov A, Shah S, Krause A, Agarwal A. Safe reinforcement learning via curriculum induction. In: Proceedings of the 34th International Conference on Neural Information Processing Systems. Vancouver, Canada: Curran Associates Inc., 2020. 12151−12162 [63] Peng Z H, Li Q Y, Liu C X, Zhou B L. Safe driving via expert guided policy optimization. In: Proceedings of the 5th Conference on Robot Learning. London, UK: PMLR, 2022. 1554−1563 [64] Li Q Y, Peng Z H, Zhou B L. Efficient learning of safe driving policy via human-AI copilot optimization. arXiv preprint arXiv: 2202.10341, 2022. [65] Dalal G, Dvijotham K, Vecerik M, Hester T, Paduraru C, Tassa Y. Safe exploration in continuous action spaces. arXiv preprint arXiv: 1801.08757, 2018. [66] 朱斐, 吴文, 伏玉琛, 刘全. 基于双深度网络的安全深度强化学习方法. 计算机学报, 2019, 42(8): 1812-1826 doi: 10.11897/SP.J.1016.2019.01812Zhu F, Wu W, Fu Y C, Liu Q. A dual deep network based secure deep reinforcement learning method. Chinese Journal of Computers, 2019, 42(8): 1812-1826 doi: 10.11897/SP.J.1016.2019.01812 [67] Zheng L Y, Shi Y Y, Ratliff L J, Zhang B. Safe reinforcement learning of control-affine systems with vertex networks. In: Proceedings of the 3rd Conference on Learning for Dynamics and Control. Zurich, Switzerland: PMLR, 2021. 336−347 [68] Marchesini E, Corsi D, Farinelli A. Exploring safer behaviors for deep reinforcement learning. In: Proceedings of the AAAI Conference on Artificial Intelligence. Vancouver, Canada: AAAI Press, 2022. 7701−7709 [69] Mannucci T, van Kampen E J, de Visser C, Chu Q P. Safe exploration algorithms for reinforcement learning controllers. IEEE Transactions on Neural Networks and Learning Systems, 2018, 29(4): 1069-1081 doi: 10.1109/TNNLS.2017.2654539 [70] Memarzadeh M, Pozzi M. Model-free reinforcement learning with model-based safe exploration: Optimizing adaptive recovery process of infrastructure systems. Structural Safety, 2019, 80: 46-55 doi: 10.1016/j.strusafe.2019.04.003 [71] Wachi A, Wei Y Y, Sui Y N. Safe policy optimization with local generalized linear function approximations. In: Proceedings of the 35th International Conference on Neural Information Processing Systems. Montreal, Canada: Curran Associates Inc., 2021. 20759−20771 [72] Chow Y, Ghavamzadeh M, Janson L, Pavone M. Risk-constrained reinforcement learning with percentile risk criteria. Journal of Machine Learning Research, 2017, 18(1): 6070-6120 [73] Ma H T, Guan Y, Li S E, Zhang X T, Zheng S F, Chen J Y. Feasible actor-critic: Constrained reinforcement learning for ensuring statewise safety. arXiv preprint arXiv: 2105.10682, 2021. [74] Roy J, Girgis R, Romoff J, Bacon P L, Pal C. Direct behavior specification via constrained reinforcement learning. In: Proceedings of the International Conference on Machine Learning. Maryland, USA: PMLR, 2022. 18828−18843 [75] Sootla A, Cowen-Rivers A I, Jafferjee T, Wang Z Y, Mguni D H, Wang J, et al. Sauté RL: Almost surely safe reinforcement learning using state augmentation. In: Proceedings of the International Conference on Machine Learning. Maryland, USA: PMLR, 2022. 20423−20443 [76] Tessler C, Mankowitz D J, Mannor S. Reward constrained policy optimization. arXiv preprint arXiv: 1805.11074, 2018. [77] Yu M, Yang Z R, Kolar M, Wang Z R. Convergent policy optimization for safe reinforcement learning. In: Proceedings of the 33rd International Conference on Neural Information Processing Systems. Vancouver, Canada: Curran Associates Inc., 2019. 3127−3139 [78] Bai Q B, Bedi A S, Agarwal M, Koppel A, Aggarwal V. Achieving zero constraint violation for constrained reinforcement learning via primal-dual approach. In: Proceedings of the AAAI Conference on Artificial Intelligence. Vancouver, Canada: AAAI Press, 2022. 3682−3689 [79] Achiam J, Held D, Tamar A, Abbeel P. Constrained policy optimization. In: Proceedings of the 34th International Conference on Machine Learning. Sydney, Australia: PMLR, 2017. 22−31 [80] Schulman J, Levine S, Moritz P, Jordan M, Abbeel P. Trust region policy optimization. In: Proceedings of the International Conference on Machine Learning. Lille, France: PMLR, 2015. 1889−1897 [81] Yang T Y, Rosca J, Narasimhan K, Ramadge P J. Projection-based constrained policy optimization. arXiv preprint arXiv: 2010.03152, 2020. [82] Zhang Y M, Vuong Q, Ross K W. First order constrained optimization in policy space. In: Proceedings of the 34th International Conference on Neural Information Processing Systems. Vancouver, Canada: Curran Associates Inc., 2020. 15338−15349 [83] Zhang L R, Shen L, Yang L, Chen S X, Yuan B, Wang X Q, et al. Penalized proximal policy optimization for safe reinforcement learning. arXiv preprint arXiv: 2205.11814, 2022. [84] Schulman J, Wolski F, Dhariwal P, Radford A, Klimov O. Proximal policy optimization algorithms. arXiv preprint arXiv: 1707.06347, 2017. [85] Xu T Y, Liang Y B, Lan G H. CRPO: A new approach for safe reinforcement learning with convergence guarantee. In: Proceedings of the International Conference on Machine Learning. Vienna, Austria: PMLR, 2021. 11480−11491 [86] Liu Z X, Cen Z P, Isenbaev V, Liu W, Wu Z S, Li B, et al. Constrained variational policy optimization for safe reinforcement learning. In: Proceedings of the International Conference on Machine Learning. Maryland, USA: PMLR, 2022. 13644−13668 [87] Fujimoto S, Meger D, Precup D. Off-policy deep reinforcement learning without exploration. In: Proceedings of the International Conference on Machine Learning. California, USA: PMLR, 2019. 2052−2062 [88] Kumar A, Fu J, Soh M, Tucker G, Levine S. Stabilizing off-policy Q-learning via bootstrapping error reduction. In: Proceedings of the 33rd International Conference on Neural Information Processing Systems. Vancouver, Canada: Curran Associates Inc., 2019. 11784−11794 [89] Zhou W X, Bajracharya S, Held D. PLAS: Latent action space for offline reinforcement learning. In: Proceedings of the Conference on Robot Learning. Cambridge, USA: PMLR, 2020. 1719−1735 [90] Chen X, Ghadirzadeh A, Yu T H, Gao Y, Wang J H, Li W Z, et al. Latent-variable advantage-weighted policy optimization for offline RL. arXiv preprint arXiv: 2203.08949, 2022. [91] Kumar A, Zhou A, Tucker G, Levine S. Conservative Q-learning for offline reinforcement learning. In: Proceedings of the 34th International Conference on Neural Information Processing Systems. Vancouver, Canada: Curran Associates Inc., 2020. 1179−1191 [92] Xu H R, Zhan X Y, Zhu X Y. Constraints penalized Q-learning for safe offline reinforcement learning. In: Proceedings of the AAAI Conference on Artificial Intelligence. California, USA: AAAI Press, 2022. 8753−8760 [93] Kostrikov I, Nair A, Levine S. Offline reinforcement learning with implicit Q-learning. arXiv preprint arXiv: 2110.06169, 2021. [94] Zhang R Y, Dai B, Li L H, Schuurmans D. GenDICE: Generalized offline estimation of stationary values. arXiv preprint arXiv: 2002.09072, 2020. [95] Zhan W H, Huang B H, Huang A, Jiang N, Lee J D. Offline reinforcement learning with realizability and single-policy concentrability. In: Proceedings of the Conference on Learning Theory. London, UK: PMLR, 2022. 2730−2775 [96] Siegel N Y, Springenberg J T, Berkenkamp F, Abdolmaleki A, Neunert M, Lampe T, et al. Keep doing what worked: Behavioral modelling priors for offline reinforcement learning. arXiv preprint arXiv: 2002.08396, 2020. [97] Wang Z Y, Novikov A, Zolna K, Springenberg J T, Reed S, Shahriari B, et al. Critic regularized regression. In: Proceedings of the 34th International Conference on Neural Information Processing Systems. Vancouver, Canada: Curran Associates Inc., 2020. 7768−7778 [98] Emmons S, Eysenbach B, Kostrikov I, Levine S. RvS: What is essential for offline RL via supervised learning. arXiv preprint arXiv: 2112.10751, 2021. [99] Uchendu I, Xiao T, Lu Y, Zhu B H, Yan M Y, Simon J, et al. Jump-start reinforcement learning. arXiv preprint arXiv: 2204.02372, 2022. [100] Ray A, Achiam J, Amodei D. Benchmarking safe exploration in deep reinforcement learning. arXiv preprint arXiv: 1910.01708, 2019. [101] Hawkins D. Constrained Optimization and Lagrange Multiplier Methods. Boston: Academic Press, 1982. [102] Yuan Z C, Hall A W, Zhou S Q, Brunke L, Greeff M, Panerati J, et al. Safe-control-gym: A unified benchmark suite for safe learning-based control and reinforcement learning. arXiv preprint arXiv: 2109.06325, 2021. [103] Buchli J, Farshidian F, Winkler A, Sandy T, Giftthaler M. Optimal and learning control for autonomous robots. arXiv preprint arXiv: 1708.09342, 2017. [104] Rawlings J B, Mayne D Q, Diehl M M. Model Predictive Control: Theory, Computation, and Design. Madison, Wisconsi: Nob Hill Publishing, 2017. [105] Haarnoja T, Zhou A, Abbeel P, Levine S. Soft actor-critic: Off-policy maximum entropy deep reinforcement learning with a stochastic actor. In: Proceedings of the International Conference on Machine Learning. Stockholm, Sweden: PMLR, 2018. 1861−1870 [106] Hewing L, Kabzan J, Zeilinger M N. Cautious model predictive control using Gaussian process regression. IEEE Transactions on Control Systems Technology, 2020, 28(6): 2736-2743 doi: 10.1109/TCST.2019.2949757 [107] Pinto L, Davidson J, Sukthankar R, Gupta A. Robust adversarial reinforcement learning. In: Proceedings of the 34th International Conference on Machine Learning. Sydney, Australia: PMLR, 2017. 2817−2826 [108] Vinitsky E, Du Y Q, Parvate K, Jang K, Abbeel P, Bayen A. Robust reinforcement learning using adversarial populations. arXiv preprint arXiv: 2008.01825, 2020. [109] Wabersich K P, Zeilinger M N. Linear model predictive safety certification for learning-based control. In: Proceedings of the IEEE Conference on Decision and Control (CDC). Florida, USA: IEEE, 2018. 7130−7135 [110] Ames A D, Coogan S, Egerstedt M, Notomista G, Sreenath K, Tabuada P. Control barrier functions: Theory and applications. In: Proceedings of the 18th European Control Conference (ECC). Naples, Italy: IEEE, 2019. 3420−3431 [111] Yang L, Ji L M, Dai J T, Zhang L R, Zhou B B, Li P F, et al. Constrained update projection approach to safe policy optimization. In: Proceedings of the 36th International Conference on Neural Information Processing Systems. New Orleans, USA: Curran Associates Inc., 2022. 9111−9124 [112] Li Q Y, Peng Z H, Feng L, Zhang Q H, Xue Z H, Zhou B L. MetaDrive: Composing diverse driving scenarios for generalizable reinforcement learning. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2023, 45(3): 3461-3475 [113] Ha S, Xu P, Tan Z Y, Levine S, Tan J. Learning to walk in the real world with minimal human effort. arXiv preprint arXiv: 2002.08550, 2020. [114] Fu J, Kumar A, Nachum O, Tucker G, Levine S. D4RL: Datasets for deep data-driven reinforcement learning. arXiv preprint arXiv: 2004.07219, 2020. [115] Wu Y F, Tucker G, Nachum O. Behavior regularized offline reinforcement learning. arXiv preprint arXiv: 1911.11361, 2019. [116] Peng X B, Kumar A, Zhang G, Levine S. Advantage-weighted regression: Simple and scalable off-policy reinforcement learning. arXiv preprint arXiv: 1910.00177, 2019. [117] Nachum O, Dai B, Kostrikov I, Chow Y, Li L H, Schuurmans D. AlgaeDICE: Policy gradient from arbitrary experience. arXiv preprint arXiv: 1912.02074, 2019. [118] Qin R J, Gao S Y, Zhang X Y, Xu Z, Huang S K, Li Z W, et al. NeoRL: A near real-world benchmark for offline reinforcement learning. arXiv preprint arXiv: 2102.00714, 2021. [119] Matsushima T, Furuta H, Matsuo Y, Nachum O, Gu S X. Deployment-efficient reinforcement learning via model-based offline optimization. arXiv preprint arXiv: 2006.03647, 2020. [120] Yu T H, Thomas G, Yu L T, Ermon S, Zou J, Levine S, et al. MOPO: Model-based offline policy optimization. In: Proceedings of the 34th International Conference on Neural Information Processing Systems. Vancouver, Canada: Curran Associates Inc., 2020. 14129−14142 [121] Brunke L, Greeff M, Hall A W, Yuan Z C, Zhou S Q, Panerati J, et al. Safe learning in robotics: From learning-based control to safe reinforcement learning. arXiv preprint arXiv: 2108.06266, 2021. [122] Chen L L, Lu K, Rajeswaran A, Lee K, Grover A, Laskin M, et al. Decision transformer: Reinforcement learning via sequence modeling. In: Proceedings of the 35th International Conference on Neural Information Processing Systems. Sydney, Australia: Curran Associates Inc., 2021. 15084−15097 [123] Janner M, Li Q Y, Levine S. Offline reinforcement learning as one big sequence modeling problem. In: Proceedings of the 35th International Conference on Neural Information Processing Systems. Sydney, Australia: Curran Associates Inc., 2021. 1273−1286 期刊类型引用(2)
1. 谭福容，孙绍伦，张森，陈先中，赵宝永. 基于泊松算法和多尺度特征编码网络的三维料面重构及修复. 冶金自动化. 2024(02): 94-102 . 
百度学术2. 赵炯. 高炉炉顶气密箱布料溜槽不同工况下的使用特性分析及优化. 山西冶金. 2024(09): 124-125+128 . 百度学术其他类型引用(2)
-
下载:
计量
- 文章访问数: 4792
- HTML全文浏览量: 5100
- PDF下载量: 1872
- 被引次数: 4
