Multi-USVs Cooperative Policy Optimization Method Based on Disturbed Input of Advantage Function
-
摘要: 多无人艇(Multiple unmanned surface vehicles, Multi-USVs)协同导航对于实现高效的海上作业至关重要, 而如何在开放未知海域处理多艇之间复杂的协作关系、实现多艇自主协同决策是当前亟待解决的难题. 近年来, 多智能体强化学习(Multi-agent reinforcement learning, MARL)在解决复杂的多体决策问题上展现出巨大的潜力, 被广泛应用于多无人艇协同导航任务中. 然而, 这种基于数据驱动的方法通常存在探索效率低、探索与利用难平衡、易陷入局部最优等问题. 因此, 在集中训练和分散执行(Centralized training and decentralized execution, CTDE)框架的基础上, 考虑从优势函数输入端注入扰动量来提升优势函数的泛化能力, 提出一种新的基于优势函数输入扰动的多智能体近端策略优化(Noise-advantage multi-agent proximal policy optimization, NA-MAPPO)方法, 从而提升多无人艇协同策略的探索效率. 实验结果表明, 与现有的基准算法相比, 所提方法能够有效提升多无人艇协同导航任务的成功率, 缩短策略的训练时间以及任务的完成时间, 从而提升多无人艇协同探索效率, 避免策略陷入局部最优.Abstract: Cooperative navigation of multiple unmanned surface vehicles (Multi-USVs) is crucial for achieving efficient maritime operations. However, it remains challenging to address the complex collaborative relationship of Multi-USVs and enable autonomous cooperative decision-making in open and unknown sea areas. In recent years, multi-agent reinforcement learning (MARL) has shown significant potential in addressing complex multi-agent decision-making problems and has been widely applied in the cooperative navigation tasks of Multi-USVs. Nevertheless, the data-driven method often encounters problems such as low exploration efficiency, difficulty in balancing exploration and utilization, and the likelihood of getting stuck in local optima. Therefore, under the centralized training and decentralized execution (CTDE) framework, this paper considers injecting disturbances into the advantage function and its input data to improve the generalization ability of the advantage function. Then, a novel noise-advantage multi-agent proximal policy optimization (NA-MAPPO) method is proposed, thereby enhancing the exploration efficiency of the cooperative policy for Multi-USVs. Experimental results demonstrate that compared to the existing benchmark algorithms, the proposed method can significantly improve the success rate of the cooperative navigation tasks, reduce the time of training policy and the time of completing task, thereby enhancing the cooperative exploration efficiency of the Multi-USVs system and preventing the policy from falling into local optimum.
-
姿态控制是一个非线性控制问题, 在航空航天、机器人等领域受到了广泛关注和研究[1-2]. 用于描述刚体姿态的旋转矩阵构成了三维特殊正交群(Three-dimensional special orthogonal group, $ SO(3) $). 作为一个无边界的紧流形, $ SO(3) $不同胚于任何欧氏空间, 这导致在$ SO(3) $上, 不存在能够使姿态全局渐近收敛到目标姿态的连续时不变反馈控制律[3]. 受此拓扑性质约束, 使用光滑的反馈控制律能实现的最好结果是基于单一势函数获得几乎全局的收敛性[4-5]. 而“几乎全局”意味着该势函数在$ SO(3) $上存在一个测度为零的集合. 该集合中的点称为临界点, 当航天器初始姿态是临界点时, 势函数无法控制姿态收敛到目标姿态.
为解决上述单一势函数存在的临界点问题, 混合控制被引入姿态控制问题中[6-7]. 混合控制是一种具有滞回特性的切换控制系统, 通过设计一族临界点互异的势函数, 系统状态可在不同的势函数之间进行切换, 从而改变系统状态和临界点的分布情况, 实现姿态控制目标. 具体而言, 当系统运动到当前势函数上不期望的临界点时, 会切换到另一个具有更低值且不处于临界点的势函数上进行控制. 这一类势函数被称为协同势函数族. 当单位矩阵是公共临界点时, 称此类协同势函数族为共单位元的协同势函数族. 文献[8]首次通过“角度扰动”方法构建了协同势函数, 但并未给出协同性的证明. 文献[9] 进一步给出了协同性对势函数参数的要求. 文献[10]给出了“角度扰动”方法中, 协同势函数族存在的充要条件, 并将协同势函数族应用到无角速度测量的航天器姿态控制系统中. 以上文献均需要对临界点进行复杂计算. 文献[11]放松了“共单位元”要求, 通过选择固定的参考向量, 设计出一族简单协同势函数族, 但缺点是其物理意义不明确. 此外, 上述文献都没有考虑航天器姿态机动中的姿态约束.
在轨航天器姿态机动时, 存在多种约束, 其中一种典型约束是航天器的禁止或强制指向约束, 即要求航天器在机动中始终避开或始终指向某个方向. 例如, 航天器光敏感器的指向应当始终避开明亮天体[12-13]. 指向约束下实现姿态机动的方案大致可分为基于规划的跟踪控制方法[14-15] 和基于避障势函数方法[13, 16]两种. 基于规划的跟踪控制方法将原问题分解成2个子问题进行单独解决. 首先, 利用优化方法规划出合理的姿态机动路径; 然后, 设计跟踪控制器跟踪所给路径. 文献[15]整体性地考虑了姿态约束、机动过程的指向安全裕度和力矩饱和问题, 提出预设性能的“规划$+ $跟踪”控制方法, 系统性地实现了航天器姿态受限机动. 此类基于规划方法的姿态机动路径具备可预见性, 但缺点是结构复杂, 优化算法和控制器性能都会影响到航天器的实际指向. 相比之下, 基于避障势函数方法更加简单和有效. 该方法将目标姿态设计为极小值点, 并将势函数的梯度引入控制器设计, 当靠近姿态限制时, 势函数值和梯度急剧增加, 以此规避姿态限制. 文献[13]使用分数形式的避障势函数, 处理禁止指向约束问题; 文献[16]使用对数形式的避障势函数解决了同时具有禁止和强制指向约束的姿态机动问题. 然而, 势函数方法严重依赖势函数的凸性假设, 机动路径不可预见且单一势函数控制存在临界点问题, 航天器姿态可能会收敛到势函数的极小值, 而非目标姿态.
为解决上述问题, 本文在考虑姿态约束情形下, 基于旋转矩阵设计用于混合控制的势函数族, 该势函数族能够对任意的初始姿态保证姿态收敛到目标姿态. 本文的主要贡献如下: 1)建立姿态禁止指向约束模型, 考虑机动安全裕度, 为每个指向约束设计软约束区域. 在该区域内, 将分数/对数形式排斥势函数引入协同势函数设计中, 设计保证全局收敛的避障势函数. 2)针对所设计的势函数, 给出软约束区域内临界点分布情况和势函数参数的关系, 指出当势函数参数满足给定不等式组时, 航天器不会在避障过程中陷入非期望的临界点. 3)将上述势函数引入控制器设计, 实现姿态受限下的全局收敛.
本文内容结构如下: 第1节对使用到的符号和性质进行说明, 建立航天器的误差姿态运动模型和姿态约束模型; 第2节给出基于“角度扰动”构建协同势函数族的方法, 将该协同势函数与受限制姿态机动问题结合, 分别讨论分数形式和对数形式下, 势函数在软约束区域内临界点分布和势函数参数的关系; 第3节以比例−微分控制为例, 进行仿真验证.
1. 相关理论基础
1.1 符号说明
本文以旋转矩阵$ {\boldsymbol{R}} $作为姿态参数展开研究, 旋转矩阵形成的三维特殊正交群记作$SO(3) := \{ {\boldsymbol{R}} \in $ $ {{\bf{R}}^{3 \times 3}}|{{\boldsymbol{R}}^{\rm{T}}}{\boldsymbol{R}} = {\boldsymbol{R}}{{\boldsymbol{R}}^{\rm{T}}} = {{\boldsymbol{I}}},\det ({\boldsymbol{R}}) = 1 \}$. $ {{\boldsymbol{I}}}\in {{\bf{R}}^{3 \times 3}} $是单位矩阵. $ SO(3) $以矩阵乘法作为群乘法时, 是一个李群, 其对应的李代数用$ \mathfrak{so}\left( 3 \right) $表示, $ \mathfrak{so}\left( 3 \right) $的群元是三阶反对称矩阵, 即$\mathfrak{s}\mathfrak{o}\left( 3 \right) = \{ {\boldsymbol{S}} \in {{\bf{R}}^{3 \times 3}}: {{\boldsymbol{S}}^{\rm{T}}} = -{\boldsymbol{S}} \}$. 对于任意向量$ {\boldsymbol{x}} \in {{\bf{R}}^3} $, 定义线性映射${\left[ \cdot \right]^ \times }: {{\bf{R}}^3} \to \mathfrak{s}\mathfrak{o}\left( 3 \right)$和它的逆映射${\left[ \cdot \right]^ \vee }:\mathfrak{s}\mathfrak{o}\left( 3 \right) \to {{\bf{R}}^3}$为:
$$ \begin{array}{l} {\left[ {\boldsymbol{x}} \right]^ \times } = \left[ {\begin{array}{*{20}{c}} 0&{ - {x_3}}&{{x_2}}\\ {{x_3}}&0&{ - {x_1}}\\ { - {x_2}}&{{x_1}}&0 \end{array}} \right] , {\left[ {{{\left[ {\boldsymbol{x}} \right]}^ \times }} \right]^ \vee } = {\boldsymbol{x}} \end{array} $$ (1) 在欧氏空间中, $ n $维单位球面为${S^n}: = \{ {\boldsymbol{x}} \in {{\bf{R}}^{n + 1}} | {\boldsymbol{x}}^{\rm{T}}{\boldsymbol{x}} = 1 \}$. 为了强调矩阵$ {\boldsymbol{B}} $的某个元素时, 写${\boldsymbol{B}} = [ {{b_{ij}}} ]$. 对于任意向量$ {\boldsymbol{x}},{\boldsymbol{y}} \in {{\bf{R}}^n} $和矩阵${\boldsymbol{B}},{{\boldsymbol{C}}} \in {{\bf{R}}^{m \times n}}$, 内积定义为$\langle {{\boldsymbol{x}},{\boldsymbol{y}}} \rangle : = {\boldsymbol{x}}^{\rm{T}}{\boldsymbol{y}},\langle {{\boldsymbol{B}},{{\boldsymbol{C}}}} \rangle : = {\rm{tr}}( {{{\boldsymbol{B}}^{\rm{T}}}{{\boldsymbol{C}}}} )$. 向量的2范数是$ \| {\boldsymbol{x}} \| = \sqrt {\langle {{\boldsymbol{x}},{\boldsymbol{x}}} \rangle } $. 矩阵的${\rm{F }}$范数为${\| {\boldsymbol{B}} \|_{\rm{F}}} = \sqrt {\langle {{\boldsymbol{B}},{\boldsymbol{B}}} \rangle }$. 定义映射 $\psi :{{\bf{R}}^{3 \times 3}} \;\to\; {{\bf{R}}^3}$为$\psi ( {\boldsymbol{B}} ) \; $$= 0.5[ {\boldsymbol{B}} - {{\boldsymbol{B}}^{\rm{T}}} ]^ \vee$, $\psi ( { - {\boldsymbol{B}}} ) = \;\psi ( {{{\boldsymbol{B}}^{\rm{T}}}} ) = \;- \psi ( {\boldsymbol{B}} )$. 用$ \lambda_{\max}^{{\boldsymbol{A}}} $和$ \lambda _{\min}^{{\boldsymbol{A}}} $分别表示矩阵$ {{\boldsymbol{A}}} $的最大和最小特征值. 对于可微映射$ G:{\bf{R}} \to {{\bf{R}}^{m \times n}},H:{{\bf{R}}^{m \times n}} \to {\bf{R}} $, 定义$\dot G( t ) = { {\frac{{{\rm{d}}G( t )}}{{{\rm{d}}t}}} } = \left[\frac{{{\rm{d}}{G_{ij}}( t )}}{{{\rm{d}}t}}\right], {{\nabla H( {{\boldsymbol{X}}} )} } =\left [ \frac{{\partial H( {{\boldsymbol{X}}} )}}{{\partial {{{\boldsymbol{X}}}_{ij}}}}\right]$. 假设可微映射$ V $是一个复合映射, 即$ V = H \circ G $, 则根据链导法则, 有$ \dot V( t ) = \langle {\nabla H( {G( t )} ),\dot G( t )} \rangle $.
对$ \forall {{{\boldsymbol{R}}_1}},{{{\boldsymbol{R}}_2}},{{{\boldsymbol{R}}_3}} \in SO\left( 3 \right) $, 如果映射$\Phi :SO\left( 3 \right) \times SO\left( 3 \right) \to {{\bf{R}}_{ \ge 0}}$满足:
1)$ \Phi \left( {{{{\boldsymbol{R}}_1}},{{{\boldsymbol{R}}_2}}} \right) = 0 \Leftrightarrow {{{\boldsymbol{R}}_1}} = {{{\boldsymbol{R}}_2}} $;
2)$ \Phi \left( {{{{\boldsymbol{R}}_1}},{{{\boldsymbol{R}}_2}}} \right) = \Phi \left( {{{{\boldsymbol{R}}_2}},{{{\boldsymbol{R}}_1}}} \right) $;
3)$ \Phi \left( {{{{\boldsymbol{R}}_1}},{{{\boldsymbol{R}}_2}}} \right) \le \Phi \left( {{{{\boldsymbol{R}}_1}},{{{\boldsymbol{R}}_3}}} \right) + \Phi \left( {{{{\boldsymbol{R}}_2}},{{{\boldsymbol{R}}_3}}} \right) $.
则映射$ \Phi $被称为$ SO\left( 3 \right) $上的度量. 如果度量满足$\Phi \left( {{\boldsymbol{R}}{{{\boldsymbol{R}}_1}},{\boldsymbol{R}}{{{\boldsymbol{R}}_2}}} \right) = \Phi \left( {{{{\boldsymbol{R}}_1}},{{{\boldsymbol{R}}_2}}} \right), \forall {\boldsymbol{R}}\in SO\left( 3 \right)$, 则称之为左不变的; 如果满足$ \Phi \left( {{{{\boldsymbol{R}}_1}}{\boldsymbol{R}},{{{\boldsymbol{R}}_2}}{\boldsymbol{R}}} \right) = \Phi \left( {{{{\boldsymbol{R}}_1}},{{{\boldsymbol{R}}_2}}} \right), \forall {\boldsymbol{R}} \in SO\left( 3 \right) $, 则称之为右不变的. 本文用到的$ SO\left( 3 \right) $上的度量是角距离度量, 即:
$$ \begin{split} \Phi \left( {{{{\boldsymbol{R}}_1}},{{{\boldsymbol{R}}_2}}} \right) = \;& \arccos \left( {\frac{1}{2}\left( {{\rm{tr}}\left( {{{{\boldsymbol{R}}_1}}{{\boldsymbol{R}}_2^{\rm{T}}}} \right) - 1} \right)} \right) = \\ & \mathop {\sup }\limits_{{\boldsymbol{u}} \in {S^2}} \arccos \left( {\langle {{{{\boldsymbol{R}}_1}}{\boldsymbol{u}},{{{\boldsymbol{R}}_2}}{\boldsymbol{u}}} \rangle } \right) \end{split} $$ (2) 角距离度量是一种双平移不变度量[17]. 利用平移不变性, 角距离度量也可以写为:
$$ \begin{array}{l} \Phi \left( {{{{\boldsymbol{R}}_1}}{{\boldsymbol{R}}_2^{\rm{T}}},{{\boldsymbol{I}}}} \right) = \mathop {\sup }\limits_{{\boldsymbol{u}} \in {S^2}} \arccos \left( {\langle {{{{\boldsymbol{R}}_1}}{{\boldsymbol{R}}_2^{\rm{T}}}{\boldsymbol{u}},{\boldsymbol{u}}} \rangle } \right) \end{array} $$ (3) 任意旋转矩阵$ {\boldsymbol{R}} $相对于单位元$ {\boldsymbol{I}} $的角距离简记为${\Phi _{{\boldsymbol{R}}}} = \Phi ( {{\boldsymbol{R}},{\boldsymbol{I}}} )$, $ {\Phi _{{\boldsymbol{R}}}} \in [ {0,\pi } ] $是作用于向量时, 能使向量转动的最大角度. 给定一个转角$ \theta \in {\bf{R}} $和转轴$ {\boldsymbol{u}} \in {S^2} $, 则${{\rm{e}}^{\theta {{[ {\boldsymbol{u}} ]}^ \times }}} \in SO( 3 )$且${\boldsymbol{R}}( {\theta ,{\boldsymbol{u}}} ): = {{\rm{e}}^{\theta {{[ {\boldsymbol{u}} ]}^ \times }}} = {{\boldsymbol{I}}} + \sin \theta {[ {\boldsymbol{u}} ]^ \times } + ( {1 - \cos \theta } ){( {{{[ {\boldsymbol{u}} ]}^ \times }} )^2}$, 其中$ {{\rm{e}}^{\theta {{[ {\boldsymbol{u}} ]}^ \times }}} $是矩阵$ {\theta {{[ {\boldsymbol{u}} ]}^ \times }} $的矩阵指数. 任意给定的旋转矩阵都可以用$ {{\rm{e}}^{\theta {{[ {\boldsymbol{u}} ]}^ \times }}} $表示[18], 并且$\theta = \Phi_{{\boldsymbol{R}}} = \arccos ( 0.5({\rm{tr}}( {\boldsymbol{R}} ) - 1)).$
令集合$ D \subset SO(3) $, 如果连续可微的函数$V: SO\left( 3 \right) \to {{\bf{R}}_{ \ge 0}}$满足:
1)$ \forall {\boldsymbol{R}} \in SO\left( 3 \right)\backslash D,V\left( {\boldsymbol{R}} \right) > 0 $;
2)$ V\left( D\right) = 0 $.
则$ V $被称为$ SO(3) $上相对于集合$ D $的势函数.
1.2 性质与引理
本节介绍对后续分析有帮助的性质和引理. 令$ {{\boldsymbol{A}}} $是一个实对称矩阵, 定义势函数:
$$ \begin{array}{l} {P_{{{\boldsymbol A}}}}\left( {\boldsymbol{R}} \right) = {\rm{tr}}\left( {{{\boldsymbol{A}}}\left( {{{\boldsymbol{I}}} - {\boldsymbol{R}}} \right)} \right) \end{array} $$ (4) 令$ {{\boldsymbol{A}}_1} = 0.5( {{\rm{tr}}( {{\boldsymbol{A}}} ){{\boldsymbol{I}}} - {{\boldsymbol{A}}}} ) $, ${{\boldsymbol{A}}_2} = {\rm{tr}}( {{{{\boldsymbol{A}}_1^2} }} ){{\boldsymbol{I}}} - 2{{{\boldsymbol{A}}_1^2} }$, ${{\boldsymbol{A}}_3} = 0.5( {{\rm{tr}}( {{{\boldsymbol{A}}_2} } ){{\boldsymbol{I}}} - {{\boldsymbol{A}}_2} } )$, 对$\forall {\boldsymbol{x}},{\boldsymbol{y}} \in {{\bf{R}}^3},{\boldsymbol{B}} \in {{\bf{R}}^{3 \times 3}}, {\boldsymbol{R}} \in SO( 3 ),$ 有下列性质成立:
1)${\left[ [{{\boldsymbol{x}}]^\times {\boldsymbol{y}}} \right]^ \times } = {\boldsymbol{y}}{{\boldsymbol{x}}^{\rm{T}}} - {\boldsymbol{x}}{{\boldsymbol{y}}^{\rm{T}}}$;
2)${\rm{tr}}( {{\boldsymbol{B}}{{[ {\boldsymbol{x}} ]}^ \times }} ) = - {{\boldsymbol{x}}^{\rm{T}}}{[ {{\boldsymbol{B}} - {{\boldsymbol{B}}^{\rm{T}}}} ]^ \vee } = - 2{{\boldsymbol{x}}^{\rm{T}}}\psi ( {\boldsymbol{B}} )$;
3)$ 4\lambda _{\min }^{{{\boldsymbol{A}}_1}}h \le {P_{{\boldsymbol{A}}}}\left( {\boldsymbol{R}} \right) \le 4\lambda _{\max }^{{{\boldsymbol{A}}_1}}h $;
4)${\left\| {\psi \left( {{{\boldsymbol{A}}}{{\boldsymbol{R}}}} \right)} \right\|^2} \le \left( {1 - {\xi ^2}h} \right)4\lambda _{\max }^{{{{{\boldsymbol{A}}}}_3} }h$.
式中, $\xi = {{\lambda _{\min }^{{{{{\boldsymbol{A}}}}_1} }} / {\lambda _{\max }^{{{{{\boldsymbol{A}}}}_1} }}}, h = {\sin ^2}{\left( {\Phi \left( {{\boldsymbol{R}},{\boldsymbol{I}}} \right)/2} \right)}$. 性质1)和性质2)通过展开计算即可证明, 性质3)和性质4)的证明见文献[19].
下面列出在本文中使用的引理.
引理1. 令$ 0 < \alpha < \alpha + \Delta \alpha < {\pi }/{2}, x \in ( \alpha ,\alpha \;+ \Delta \alpha ] $, 则函数$ f( x ) = {2\sin x/( {\cos \alpha - \cos x} )} $的取值范围为$ [ {f( {\alpha + \Delta \alpha } ), + \infty } ) $.
证明. 在区间$ ( {\alpha ,\alpha + \Delta \alpha } ] $上, 函数$ f( x ) $相对于$ x $的导数为$\frac{{\rm{d}}f( x )}{{\rm{d}}x }= {2( {\cos x\cos \alpha - 1} )/{{( {\cos \alpha - \cos x} )}^2}} < 0$. 因此, 函数$ f( x ) $严格递减, 即$f( {\alpha + \Delta \alpha } ) \le f( x ) < \infty$.
□ 引理2. 当常数$ a $满足$ 2{a^2} < 1 $时, 函数$f\left( x \right) = \sqrt {\left( {1 - {a^2}{{\sin }^2}\left( {x/2} \right)} \right){{\sin }^2}\left( {x/2} \right)} ,x \in \left( {0,\pi } \right]$的取值范围为$ \left( {f\left( 0 \right),f\left( \pi \right)} \right] $.
证明. 在区间$ \left( {0,\pi }\right] $上, 函数$ f\left( x \right) $相对于$ x $的导数为$\frac{{\rm{d}}f\left( x \right)}{{\rm{d}}x }= \left( {1 - 2{a^2}{{\sin }^2}\left( {x/2} \right)} \right)\sin (x/4)$. 由于$2{a^2} < 1$, 函数$ f\left( x \right) $严格递增, 即$ f\left( 0 \right) < f\left( x \right) \le f\left( \pi \right) $.
□ 引理3. 令常数$ a,b $满足$ 0 \le a<\pi, 0<b<1 $, 则函数$ f\left( x \right) = x - 2b{\sin ^2}\left( {x/2} \right),x \in \left( {a,\pi } \right] $的取值范围为$ \left( {f(a),f(\pi) } \right] $.
证明. 在区间$ \left[ {a,\pi }\right] $上, 函数$ f\left( x \right) $相对于$ x $的导数为$ \frac{{\rm{d}}f\left( x \right)}{{\rm{d}}x } = 1 - b\sin x $. 由于$ b < 1 $, 函数$ f\left( x \right) $严格递增, 即$ f\left( x \right) \ge f\left( a \right) $.
□ 1.3 问题描述
假设航天器本体系相对于惯性系的姿态用$ {\boldsymbol{R}}_b \in SO(3) $表示, 姿态机动的目标姿态用$ {\boldsymbol{R}}_d \in SO(3) $表示. 令$ {\boldsymbol{\omega}} $表示航天器本体系下的角速度矢量, $ {\boldsymbol{\omega}}_d $表示期望角速度. 假设惯性矩阵$ {\boldsymbol{J}} $是对角阵, 则航天器的运动学和动力学方程为:
$$ \begin{array}{l} {{\dot {{\boldsymbol{R}}}}_b} ={{\boldsymbol{R}}_b}{\left[ {\boldsymbol{\omega}} \right]^ \times } {} \end{array} $$ (5) $$ \begin{array}{l} {\boldsymbol{\boldsymbol{J}}} \dot{{\boldsymbol{\omega}}} + {\left[ {\boldsymbol{\omega}} \right]^ \times } {\boldsymbol{\boldsymbol{J}}} {\boldsymbol{\omega}} = {\boldsymbol{\tau}} {} \end{array} $$ (6) 式中, $ {\boldsymbol{\tau}} $表示控制力矩. 定义的姿态误差为$ {\boldsymbol{R}}_e = {\boldsymbol{R}}_d^{\rm{T}}{\boldsymbol{R}}_b $, 定义角速度误差是$ {{\boldsymbol{\omega}} _e} = {\boldsymbol{\omega}} - {\boldsymbol{R}}_e^{\rm{T}}{{\boldsymbol{\omega}} _d} $, 则误差形式的运动学方程和动力学方程为:
$$ \begin{array}{l} {{\dot {{\boldsymbol{R}}}}_e} = {{\boldsymbol{R}}_e}{\left[ {\boldsymbol{\omega}}_e \right]^ \times } \end{array} $$ (7) $$ \begin{array}{l} {\boldsymbol{\boldsymbol{J}}}{{\dot {{\boldsymbol{\omega}}}}_e} = {\boldsymbol{H}}{{\boldsymbol{\omega}} _e} - {\boldsymbol{F}} + {\boldsymbol{\tau}} \end{array} $$ (8) 式中, ${\boldsymbol{F}} = {\boldsymbol{\boldsymbol{J}}}{{\boldsymbol{R}}_e^{\rm{T}}}{{\dot {{\boldsymbol{\omega}}}}_d} +{[ {{{\boldsymbol{R}}_e^{\rm{T}}}{{\boldsymbol{\omega}} _d}} ]^ \times }{\boldsymbol{J}}{{\boldsymbol{R}}_e^{\rm{T}}}{{\boldsymbol{\omega}} _d}$, ${\boldsymbol{H}} = {[ {{\boldsymbol{J}}{{\boldsymbol{\omega}} _e}} ]^ \times } + {[ {{\boldsymbol{J}}{{\boldsymbol{R}}_e^{\rm{T}}}{{\boldsymbol{\omega}} _d}} ]^ \times } - {\boldsymbol{J}}{[ {{{\boldsymbol{R}}_e^{\rm{T}}}{{\boldsymbol{\omega}} _d}} ]^ \times } - {[ {{{\boldsymbol{R}}_e^{\rm{T}}}{{\boldsymbol{\omega}} _d}} ]^ \times }{\boldsymbol{J}}$是一个反对称矩阵. 姿态控制的目标是使航天器姿态$ {\boldsymbol{R}}_b $趋向于给定目标姿态$ {\boldsymbol{R}}_d $, 或等价地说, 是使航天器的姿态误差$ {\boldsymbol{R}}_e $趋向于$ {\boldsymbol{I}} $.
航天器姿态机动过程中存在各种限制, 本文考虑一种几何视场约束, 即航天器上某个指向需要避开特定区域. 如图1 所示, 图1中下标$ B $表示本体系, 下标$ I $表示惯性系. 令单位向量$ {\boldsymbol{r}} \in {\bf{R}}^{3} $表示与航天器固连的敏感指向, 单位向量$ {\boldsymbol{v}} \in {\bf{R}}^{3} $表示惯性系下固定的不期望指向(例如明亮的星体), 航天器在姿态机动过程中, 单位向量$ {\boldsymbol{r}} $和$ {\boldsymbol{v}} $夹角应满足:
$$ \langle {{{\boldsymbol{R}}_b}{\boldsymbol{r}},{\boldsymbol{v}}} \rangle \le \cos \left( {{\alpha} } \right), \alpha \in \left( {0,\frac{\pi }{2}} \right) $$ (9) 因此, 本文中势函数设计的目标是在所设计的势函数指导下, 航天器的姿态误差$ {\boldsymbol{R}}_e $趋向于$ {\boldsymbol{I}} $, 同时始终满足式(9).
2. 协同势函数设计
2.1 势函数与临界点
利用内积的定义和性质2), 势函数$ V\left( {{\boldsymbol{R}}\left( t \right)} \right) $对时间的导数是:
$$ \begin{split} \dot V\left( {{\boldsymbol{R}}\left( t \right)} \right) = \;& \langle {\nabla V\left( {{\boldsymbol{R}}\left( t \right)} \right),{\boldsymbol{R}}{{\left[ {\boldsymbol{\omega}} \right]}^ \times }} \rangle = \\ &{\rm{tr}}\left( {\nabla {V^{\rm{T}}}{\boldsymbol{R}}{{\left[ {\boldsymbol{\omega}} \right]}^ \times }} \right)=\\ & 2\langle {{\boldsymbol{\omega}},\psi \left( {{{\boldsymbol{R}}^{\rm{T}}}\nabla V} \right)} \rangle \end{split} $$ (10) 由此可知, 当$ \psi \left( {{{\boldsymbol{R}}^{\rm{T}}}V} \right) = 0 $时, 无论角速度$ {\boldsymbol{\omega}} $为何值, $ V $不会发生任何改变, 即姿态停止向目标姿态集合$ D $收敛. 因此, 定义势函数$ V $的临界点如下:
$$ \begin{array}{l} {\rm{Crit}}V = \left\{ {\left. {{\boldsymbol{R}} \in SO\left( 3 \right)} \right|\psi \left( {{{\boldsymbol{R}}^{\rm{T}}}\nabla V\left( {\boldsymbol{R}} \right)} \right) = 0} \right\} \end{array} $$ (11) 例如, 对于势函数(4), 有下列结果:
$$ \begin{array}{l} \begin{cases} \nabla {P_{{{{\boldsymbol{A}}}}}}\left( {\boldsymbol{R}} \right) = - {\boldsymbol{A}}\\ {\rm{Crit}}{P_{{{{\boldsymbol{A}}}}}} = \left\{ {\left. {{\boldsymbol{R}} \in SO\left( 3 \right)} \right|{{\boldsymbol{R}}^{\rm{T}}}{\boldsymbol{A}} = {\boldsymbol{A}}{\boldsymbol{R}}} \right\} \end{cases} \end{array} $$ (12) 通过解上述方程可知, 势函数(4)共有4个临界点[8]:
$$ \begin{array}{l} {\rm{Crit}}{P_{{{{\boldsymbol{A}}}}}} = \left\{ {\boldsymbol{I}} \right\} \cup {{\boldsymbol{R}}}\left( {\pi ,{\cal{E}}\left( {{\boldsymbol{A}}} \right)} \right) \end{array} $$ (13) 式中, ${\cal{E}}\left( {{\boldsymbol{A}}} \right)$表示$ {\boldsymbol{A}} $的所有单位特征向量组成的集合.
对任意的势函数$ V $, 都存在至少4个临界点[20], 基于势函数梯度的反馈控制律在靠近临界点时, 逐渐减小直至为零. 为了实现全局收敛的结果, 本文使用一族协同的共单位元势函数进行控制. 给定一个有限的指标集$Q \subset {{\bf N}}$, ${\left\{ {{V_q}} \right\}_{q \in {{Q}}}}$是一族势函数, 如果单位元$ {\boldsymbol{I}} $是所有势函数公共的临界点, 则称这样的一族势函数为共单位元的势函数. 对于势函数族${\left\{ {{V_q}} \right\}_{q \in {{Q}}}}$, 如果存在一个常数$ \delta > 0 $, 使得:
$$ \begin{array}{l} \overline \delta : = \mathop {\min }\limits_{ \begin{subarray}{c} q \in {{Q}}\\ {\boldsymbol{R}} \in {\rm{Crit}}{V_q}\backslash \left\{ {\boldsymbol{I}} \right\} \end{subarray} } \left( {\mathop {\max }\limits_{\begin{subarray}{c} p \in {{Q}} \\ p \ne q\end{subarray} } {V_q}\left( {\boldsymbol{R}} \right) - {V_p}\left( {\boldsymbol{R}} \right)} \right) > \delta \end{array} $$ (14) 则称势函数族${\left\{ {{V_q}} \right\}_{q \in {{Q}}}}$是协同的. 粗略地, “共单位元”意味着在这一族势函数控制下, 姿态有相同的收敛方向(单位元$ {\boldsymbol{I}} $); “协同”意味着在某个势函数临界时, 存在另一个非临界且取值更低的势函数, 如果切换为非临界的势函数进行控制, 姿态将继续向目标姿态收敛.
为了说明协同势函数在姿态控制中的作用和切换逻辑, 假设航天器的一条姿态轨迹经过2个非期望临界点的邻域, 这2个临界点分别属于${P_{1,{{{\boldsymbol A}}}}}$和${P_{2,{{{\boldsymbol A}}}}}$, 则势函数随时间变化曲线和切换时各势函数与临界点关系如图2 所示, 其中状态$ N $和$ M $在第3节定义. 在单一势函数${P_{1,{{{\boldsymbol A}}}}}$(或${P_{2,{{{\boldsymbol A}}}}}$)的控制下, 轨迹在$ t_1 $(或$ t_2 $)时刻, 进入势函数所属的非期望临界点邻域, 此后基于势函数梯度的姿态控制项将减小, 甚至为零. 为避免该问题导致收敛过慢, 将在进入时刻进行切换. 如图2所示, 在$ t_3 $时刻, 姿态轨迹处于势函数${P_{1,{{{\boldsymbol A}}}}}$的非期望临界点, 势函数停止收敛, 此时存在势函数${P_{2,{{{{\boldsymbol{A}}}}}}}$在该点不临界且其取值更低. 因此, 在混合控制中, 根据势函数差值在$ t_2 $时刻提前进行控制切换, 由${P_{1,{{{\boldsymbol A}}}}}$跳转到${P_{2,{{{{\boldsymbol{A}}}}}}}$; 同样在$ t_1 $时刻, 由${P_{2,{{{{\boldsymbol{A}}}}}}}$跳转到${P_{1,{{{{\boldsymbol{A}}}}}}}$, 最终混合控制中势函数的变化曲线如图2 橙色粗线所示.
图 2 使用协同势函数族的姿态控制示意图Fig. 2 Illustration of attitude control by means of synergistic potential functions为了构建协同势函数族, 定义映射$\mathcal{T}:SO\left( 3 \right) \to SO\left( 3 \right)$为:
$$ \begin{array}{l} {\cal{T}}\left( {{\boldsymbol{R}},k,{P_{{\boldsymbol{A}}}},{\boldsymbol{u}}} \right) = {{\rm{e}}^{k{P_{{\boldsymbol{A}}}}\left( {\boldsymbol{R}} \right){{\left[ {\boldsymbol{u}} \right]}^ \times }}}{\boldsymbol{R}} \end{array} $$ (15) 式中, $ k \in {\bf{R}},{\boldsymbol{u}} \in {S^2} $. 映射$ {\cal{T}} $的作用是对旋转矩阵$ {\boldsymbol{R}} $左乘“扰动”旋转矩阵, 该“扰动”矩阵由指数映射生成, 转轴$ {\boldsymbol{u}} $和转角$ k{P_{{\boldsymbol{A}}}}( {\boldsymbol{R}} ) $是待设计的轴角参数. 因此, 简记${\boldsymbol{R}}_c = {\cal{T}}( {{\boldsymbol{R}},k,{P_{{{\boldsymbol A}}}},{\boldsymbol{u}}} ) = {\boldsymbol{R}}_{{\cal{T}}}{\boldsymbol{R}}$, 其中$ {\boldsymbol{R}}_{{\cal{T}}} $是“扰动”旋转矩阵. 令$Q = \{ {1,2} \},q \in {{Q}}$, 当参数$ k $满足$0 < \sqrt 2 k{\| {\boldsymbol{A}} \|_{\rm{F}}} < 1$时, 协同势函数族$\{ {P_{q,{{{\boldsymbol A}}}}}({\boldsymbol{R}} ) \}_{q \in {{Q}}}$可以按如下形式构建[8]:
$$ \begin{array}{l} {P_{q,{{{\boldsymbol A}}}}}\left({\boldsymbol{R}} \right) = {P_{{{\boldsymbol A}}}}\left( {{\cal{T}}\left( {{\boldsymbol{R}},{{\left( { - 1} \right)}^q}k,{\boldsymbol{u}},{P_{{{\boldsymbol A}}}}} \right)} \right) \end{array} $$ (16) 并且, 有:
$$ \begin{array}{l} \left\{ \begin{aligned} &\psi \left( {{{\boldsymbol{R}}^{\rm{T}}}\nabla {P_{q,{\boldsymbol{A}}}}\left( {\boldsymbol{R}} \right)} \right) = \Theta ^{\rm{T}}{\left( {\boldsymbol{R}} \right)}\psi \left( {{{{\boldsymbol{R}}}_c^{\rm{T}}}\nabla {P_{{{{\boldsymbol{A}}}}}}\left( {{\boldsymbol{R}}}_c \right)} \right)\\ &{\cal{T}}\left( {{\rm{Crit}}{P_{q,{{{{\boldsymbol{A}}}}}}}} \right) = {\rm{Crit}}{P_{{{{\boldsymbol{A}}}}}} \end{aligned} \right. \end{array} $$ (17) 式中, $\Theta \left( {\boldsymbol{R}} \right) = {\boldsymbol{I}} + 2k{{\boldsymbol{R}}^{\rm{T}}}{\boldsymbol{u}}\psi {\left( {\nabla P_{{{{\boldsymbol{A}}}}}\left( {\boldsymbol{R}} \right){{\boldsymbol{R}}^{\rm{T}}}} \right)^{\rm{T}}}{\boldsymbol{R}}$.
引理4. 当参数$ k $和$ {{\boldsymbol{A}}} $ 满足 $2k\lambda _{\max }^{{{\boldsymbol{A}}_1} } < 1$时, 有${\cal{T}}\left( {{\boldsymbol{R}},k,{P_{{{\boldsymbol A}}}},{\boldsymbol{u}}} \right) \ne {\boldsymbol{I}},\forall {\boldsymbol{R}} \in SO\left( 3 \right)\backslash {\boldsymbol{I}}$.
证明(反证法). 假设$ \exists {\boldsymbol{R}} \in SO( 3 )\backslash {\boldsymbol{I}} $, 使得$ {\boldsymbol{R}}_c = {\boldsymbol{I}} $, 其中${\boldsymbol{R}}_c = {{\rm{e}}^{k{P_{{\boldsymbol{A}}}}( {\boldsymbol{R}} ){{[ {\boldsymbol{u}} ]}^ \times }}}{\boldsymbol{R}} = {\boldsymbol{R}}_{{\cal{T}}}{\boldsymbol{R}}$, 则有$ {\boldsymbol{R}}_{{\cal{T}}}={\boldsymbol{R}}^{\rm{T}} $. 考虑到$ \Phi_{{\boldsymbol{R}}^{\rm{T}}} = \Phi_{{\boldsymbol{R}}} $, 则假设成立时, 有$\Phi_{{\boldsymbol{R}}_{{\cal{T}}}}= k{P_{{{\boldsymbol A}}}}( {\boldsymbol{R}} ) = \Phi_{{\boldsymbol{R}}}$. 由于$ {\boldsymbol{R}} \ne {\boldsymbol{I}} $, $ \Phi_{{\boldsymbol{R}}} > 0 $, 再由第1.2节的性质3), 可得:
$$ \begin{array}{l} 0 < 4k\lambda _{\min }^{{{{\boldsymbol A}}_1}}h \le k{P_{{{{\boldsymbol{A}}}}}}\left( {\boldsymbol{R}} \right) \le 4k\lambda _{\max }^{{{{{\boldsymbol{A}}}}_1}}h \end{array} $$ (18) 式中, $h = {\sin ^2} \left( {{\Phi _{{{\boldsymbol R}}}}/2} \right)$. 构造函数:
$$ f\left( \Phi_{{{\boldsymbol R}}}\right) = \Phi_{{\boldsymbol{R}}} - 4k\lambda _{\max }^{{{{{\boldsymbol{A}}}}_1}}{\sin ^2}\left( \frac{{\Phi _{{{\boldsymbol R}}}}}{2} \right) $$ (19) 根据引理3, 当$2k\lambda _{\max }^{{{{{\boldsymbol{A}}}}_1} } < 1$时, $f(\Phi_{{{\boldsymbol R}}}) > f(0)= 0$. 这与$k{P_{{{\boldsymbol A}}}}\left( {\boldsymbol{R}} \right) = \Phi_{{{\boldsymbol R}}}$矛盾, 因此假设不成立.
□ 引理4对映射$ {\cal{T}} $的参数要求如图3所示. $\overline {kP_{{{\boldsymbol A}}}\left( {\boldsymbol{R}} \right)}$和$\underline {kP_{{{\boldsymbol A}}}\left( {\boldsymbol{R}} \right)}$分别为根据性质3)计算得到的$kP_{{{\boldsymbol A}}}\left( {\boldsymbol{R}} \right)$的上限和下限随角距离$\Phi_{{{\boldsymbol R}}}$的变化曲线. 对$ \forall {\boldsymbol{R}} \in SO\left( 3 \right)\backslash {\boldsymbol{I}} $, 有$\Phi_{{{\boldsymbol R}}} > k{P_{{{{\boldsymbol{A}}}}}}\left( {\boldsymbol{R}} \right)$始终成立, 即非单位元旋转矩阵经过映射$ {\cal{T}} $“扰动”后, 仍然是非单位元旋转矩阵, 不会到达临界点$ {\boldsymbol{I}} $.
图 3 $k{P_{{{{\boldsymbol{A}}}}}}\left( {\boldsymbol{R}} \right)$取值范围随$\Phi_{{{\boldsymbol R}}}$的变化曲线Fig. 3 The change curve of the range of$k{P_{{{{\boldsymbol{A}}}}}}\left( {\boldsymbol{R}} \right)$with$\Phi_{{{\boldsymbol R}}}$2.2 受限制姿态控制的协同势函数族设计
假设航天器初始姿态位于姿态障碍以外, 航天器误差运动模型和势函数设计目标如第1.2节所述. 定义$ SO(3) $的一个子集为:
$$ \begin{split} E = \;& \left.\{\left. {{{\boldsymbol{R}}_e} \in SO\left( 3 \right)} \right| \right.\\ &\left. \arccos \langle {{{\boldsymbol{R}}_d}{{\boldsymbol{R}}_e}{\boldsymbol{r}},{\boldsymbol{v}}} \rangle \in \left( {\alpha ,\alpha + \Delta \alpha } \right) \right.\} \end{split} $$ (20) 该子集定义了姿态限制的软约束区域, 进入该区域时势函数将进行避障切换. 为在全局收敛情况下完成受限制姿态机动, 本文设计了如下形式的势函数用于姿态机动问题:
$$ \begin{array}{l} V_q\left( {{{\boldsymbol{R}}_e}} \right) = \left\{ \begin{aligned} & {{P_{q,{{{\boldsymbol{A}}}}}}\left( {{{\boldsymbol{R}}_e}} \right){P_{{{O}}}}\left( {{{\boldsymbol{R}}_e}} \right)}, &{{{\boldsymbol{R}}_e} \in E}\\ &{{P_{q,{{{\boldsymbol{A}}}}}}\left( {{{\boldsymbol{R}}_e}} \right)}, &{{{\boldsymbol{R}}_e} \notin E} \end{aligned} \right. \end{array} $$ (21) 式中, $ \alpha + \Delta \alpha < \pi /2, \Delta \alpha $是待设计参数, ${{P_{q,{{{\boldsymbol{A}}}}}}\left( {{{\boldsymbol{R}}_e}} \right)}$是针对目标姿态的吸引项势函数, ${P_{{{O}}}}\left( {{{\boldsymbol{R}}_e}} \right)$是待设计的用于避开姿态障碍的排斥项势函数, 以分数形式的${P_{{{O}}}}\left( {{{\boldsymbol{R}}_e}} \right)$为例:
$$ {P_{{{O}}}}\left( {{{\boldsymbol{R}}_e}} \right) = \frac{b }{{{{\left( {\cos \alpha - {{\boldsymbol{r}}^{\rm{T}}}{\boldsymbol{R}}_b^{\rm{T}}{\boldsymbol{v}}} \right)}^a}}} = \frac{b }{{{{\left( {\cos \alpha - {{\boldsymbol{r}}^{\rm{T}}}{\boldsymbol{R}}_e^{\rm{T}}{{\boldsymbol{v}}_d}} \right)}^a}}} $$ (22) 式中, $ {{\boldsymbol{v}}_d} = {\boldsymbol{R}}_d^{\rm{T}}{\boldsymbol{v}} $; $ a $和$b $是两个正的参数, 文献[13, 21-22]取$ a = 1 $或$ a = 2 $, 本文考虑更一般情况即只要求$ a > 0 $. 在实际的姿态机动中, 可能存在多个姿态限制, 本文方法适用于单敏感轴多约束问题. 具体来说, 为每个指向约束设计了不相交的软约束区域, 当航天器姿态进入软约束区域内, 即敏感轴在惯性系下指向$ {{\boldsymbol{R}}_b}{\boldsymbol{r}} $和禁止指向$ {\boldsymbol{v}} $夹角小于$ \alpha + \Delta \alpha $时, 切换为避障势函数, 因此只需讨论单个约束下如何实现姿态机动即可. 对于某个给定的姿态限制有下述引理成立.
引理5. 对$\forall {{\boldsymbol{R}}_e} \in E$, $\Phi_{{\boldsymbol{R}}_e} \in [ {\varepsilon ,\pi } ], \varepsilon = \arccos \langle {{\boldsymbol{R}}_d}{\boldsymbol{r}}, {\boldsymbol{v}} \rangle - \left( {\alpha + \Delta \alpha } \right)$.
证明. 旋转矩阵$ {\boldsymbol{R}} $作用于单位向量后, 会使单位向量发生旋转. 角距离的定义指出, 旋转前/后向量的夹角不超过旋转矩阵$ {\boldsymbol{R}} $的角距离. 对$ \forall {{\boldsymbol{R}}_e} \in E $, 敏感轴为了转动到目标指向, 转角至少是 $\arccos \langle {{\boldsymbol{R}}_d}{\boldsymbol{r}}, {\boldsymbol{v}} \rangle - \left( {\alpha + \Delta \alpha } \right)$. 因此引理5成立.
□ 集合$ E $在引理5 中的性质如图4 所示. 对$ \forall {{\boldsymbol{R}}_e} \notin E $, 姿态的全局收敛性已经由协同势函数族$\{ P_{{q}, {{{{\boldsymbol{A}}}}}}({\boldsymbol{R_e}} ) \}_{q \in Q}$保证[23]. 为保证全局收敛, 本文讨论避障区域内势函数族${\left\{ {V_q\left( {{{\boldsymbol{R}}_e}} \right)} \right\}_{q \in {{Q}}}}$临界点分布情况.
定理1. 令函数$ g(x) = {\sin ^2}\left( {{x}/2} \right) $. 假设目标姿态$ {\boldsymbol{R}}_d $, 敏感轴指向终点及惯性下的敏感轴禁止指向$ {\boldsymbol{v}} $已知, ${{\boldsymbol{A}}_1}、 {{\boldsymbol{A}}_3}、 \xi$如第1.2 节所定义, $ \varepsilon $如引理5所定义. 令${h_1} = \sin( {\alpha + \Delta \alpha } )/( \cos \alpha - \cos ( \alpha \; + \Delta \alpha ) )$, ${h_2} = {\sin ^2}( { {\varepsilon - 4k\lambda _{\max }^{{{{{\boldsymbol{A}}}}_1}} g( \varepsilon ) })} /2$. 当非负参数$k、 \Delta \alpha$和三阶实对称矩阵${\boldsymbol{A}}$满足:
$$ \left\{ \begin{aligned} &\sqrt 2 k{\left\| {\boldsymbol{A}} \right\|_{\rm{F}}} < 1 \\ &2k\lambda _{\max }^{{{{{\boldsymbol{A}}}}_1} } < 1 \\ &2{\xi ^2} < 1 \\ &\sqrt {\lambda _{\max }^{{{{{\boldsymbol{A}}}}_3} }\left( {1 - {\xi ^2}} \right)} < \frac{2a\lambda _{\min }^{{{{{\boldsymbol{A}}}}_1}}{h_1h_2}}{{1 + 4k\sqrt {\lambda _{\max }^{{{{{\boldsymbol{A}}}}_3} }\left( {1 - {\xi ^2}} \right)} }} \end{aligned} \right. $$ (23) 势函数族${\left\{ {V_q\left( {{{\boldsymbol{R}}_e}} \right)} \right\}_{q \in {{Q}}}}$在避障区域内无临界点. 在该势函数族控制下, 航天器可以避开姿态障碍从任意的初始姿态机动到目标姿态.
证明. 为简化书写, 对证明中多次出现的符号简写如下:
$$ \left\{ \begin{aligned} &\gamma = \arccos \langle {{\boldsymbol{R}}_b^{\rm{T}}{\boldsymbol{v}},{\boldsymbol{r}}} \rangle \in \left[ {\alpha ,\alpha + \Delta \alpha } \right]\\ &p = \cos \alpha - {{\boldsymbol{r}}^{\rm{T}}}{\boldsymbol{R}}_e^{\rm{T}}{{\boldsymbol{v}}_d} = \cos \alpha - \cos \gamma \\ &{\boldsymbol{R}}_c = {{\rm{e}}^{{{\left( { - 1} \right)}^q}k{P_{{{\boldsymbol A}}}}\left( {\boldsymbol{R}}_e \right){{\left[ {\boldsymbol{u}} \right]}^ \times }}}{\boldsymbol{R}}_e = {\boldsymbol{R}}_{{\cal{T}}}{\boldsymbol{R}}_e \end{aligned} \right. $$ (24) 对$ \forall {{\boldsymbol{R}}_e} \in E $, 根据势函数求导定义计算, 可得:
$$ \begin{array}{l} \nabla V_q\left( {{{\boldsymbol{R}}_e}} \right) = {P_{{{O}}}}\nabla {P_{q,{{{\boldsymbol{A}}}}}} + {P_{q,{{{\boldsymbol{A}}}}}}\nabla {P_{{{O}}}} \end{array} $$ (25) 于是
$$ \begin{split} \psi \left( {{\boldsymbol{R}}_e^{\rm{T}}\nabla V_q\left( {{{\boldsymbol{R}}_e}} \right)} \right) = \;& {} {P_{{{O}}}}\psi \left( {{\boldsymbol{R}}_e^{\rm{T}}\nabla {P_{q,{{{\boldsymbol{A}}}}}}} \right) + \\ & {} {P_{q,{{{\boldsymbol{A}}}}}}\psi \left( {{\boldsymbol{R}}_e^{\rm{T}}\nabla {P_{{{O}}}}} \right) \end{split} $$ (26) 式中, $\psi \left( {{\boldsymbol{R}}_e^{\rm{T}}\nabla {P_{q,{{{\boldsymbol{A }}}}}}} \right)$由式(17)给出, $\nabla {P_{{{O}}}}$为:
$$ \nabla {P_{{{O}}}}\left( {{{\boldsymbol{R}}_e}} \right) = - \frac{{ab }}{{{p^{a+1}}}}\left[ {\frac{{\partial p}}{{\partial {{\left( {{{\boldsymbol{R}}_e}} \right)}_{ij}}}}} \right] = \frac{{ab }}{{{p^{a+1}}}}{{\boldsymbol{v}}_d}{\boldsymbol{r}}^{\rm{T}} $$ (27) 利用性质1)和映射$ \psi $的定义, 有:
$$ \begin{split} \psi \left( {{\boldsymbol{R}}_e^{\rm{T}}\nabla {P_{{{O}}}}\left( {{{\boldsymbol{R}}_e}} \right)} \right) =\;& {} \frac{{ab }}{{{p^{a+1}}}}\psi \left( {{\boldsymbol{R}}_e^{\rm{T}}{{\boldsymbol{v}}_d}{{\boldsymbol{r}}^{\rm{T}}}} \right)= \\ & \frac{{ab }}{{{p^{a+1}}}}{\left[ {{\boldsymbol{R}}_e^{\rm{T}}{{\boldsymbol{v}}_d}{{\boldsymbol{r}}^{\rm{T}}} - {\boldsymbol{r}}{\boldsymbol{v}}_d^{\rm{T}}{{\boldsymbol{R}}_e}} \right]^ \vee } = \\ & \frac{{ab }}{{{p^{a+1}}}}{\left[ {\boldsymbol{r}} \right]^ \times }\left( {{\boldsymbol{R}}_e^{\rm{T}}{{\boldsymbol{v}}_d}} \right)\\[-15pt] \end{split} $$ (28) 将$ {\boldsymbol{R}}_c $和式(28)代入式(26), 可得:
$$ \begin{split} \psi \left( {{\boldsymbol{R}}_e^{\rm{T}}\nabla V_q^k\left( {{{\boldsymbol{R}}_e}} \right)} \right) = \;& \frac{b }{{{p^a}}} \biggl[\frac{{a{P_{{{{\boldsymbol{A}}}}}}\left( {\boldsymbol{R}}_c \right) {\left[ {\boldsymbol{r}} \right]^ \times }\left( {{\boldsymbol{R}}_e^{\rm{T}}{{\boldsymbol{v}}_d}} \right) }}{{ {p} }}+ \\ & \psi \left( {{\boldsymbol{R}}_e^{\rm{T}}\nabla {P_{q,{{{\boldsymbol{A}}}}}}} \right) ]\\[-15pt] \end{split} $$ (29) 分别令${\boldsymbol{x}} = \psi \left( {{\boldsymbol{R}}_e^{\rm{T}}\nabla {P_{q,{{\boldsymbol A}}}}} \right)$和 ${\boldsymbol{y}} = a{P_{{{\boldsymbol A}}}}\left( {\boldsymbol{R}}_c \right) {\left[ {\boldsymbol{r}} \right]^ \times }\;\times \left( {{\boldsymbol{R}}_e^{\rm{T}}{{\boldsymbol{v}}_d}} \right)/ p$.
1)对$ \forall {{\boldsymbol{R}}_e} \in E $, 证明$ \left\| {\boldsymbol{y}} \right\| $存在下限.
向量$ {\boldsymbol{y}} $的2范数为:
$$ \left\| {\boldsymbol{y}} \right\| = \frac{{a{P_{{{{\boldsymbol{A}}}}}}\left( {\boldsymbol{R}}_c \right)\sin \gamma }}{{{\cos \alpha - \cos \gamma } }} $$ (30) 由于$ {\boldsymbol{R}}_{{\cal{T}}}^{\rm{T}}{\boldsymbol{R}}_c = {\boldsymbol{R}}_e $, $ \Phi_{{\boldsymbol{R}}_{{\cal{T}}}^{\rm{T}}} = \Phi_{{\boldsymbol{R}}_{{\cal{T}}}} $, 利用度量的三角不等式和平移不变性, 有:
$$ \begin{array}{l} \Phi_{{\boldsymbol{R}}_e} \le \Phi \left( {{\boldsymbol{R}}_{{\cal{T}}}^{\rm{T}}{\boldsymbol{R}}_c,{\boldsymbol{R}}_c} \right) + \Phi_{{\boldsymbol{R}}_c} \le \Phi_{{\boldsymbol{R}}_{{\cal{T}}}} + \Phi_{{\boldsymbol{R}}_c} \end{array} $$ (31) 从旋转矩阵的指数映射可知, $\Phi_{{\boldsymbol{R}}_{{\cal{T}}}} = k{P_{{{{\boldsymbol{A}}}}}}\left( {\boldsymbol{R}}_e \right)$. 当$2k\lambda _{\max }^{{{{{\boldsymbol{A}}}}_1} } < 1$时, 引理4成立, 于是将式(31)移项, 可得:
$$ \begin{array}{l} \Phi_{{\boldsymbol{R}}_c} \ge \Phi_{{\boldsymbol{R}}_e} - k{P_{{{{\boldsymbol{A}}}}}}\left( {{{\boldsymbol{R}}_e}} \right) > 0 \end{array} $$ (32) 利用性质3), 有:
$$ \begin{array}{l} \Phi_{{\boldsymbol{R}}_c} \ge \Phi_{{\boldsymbol{R}}_e} - 4k\lambda _{\max }^{{{{{\boldsymbol{A}}}}_1}} g(\Phi_{{\boldsymbol{R}}_e}) \end{array} $$ (33) 根据引理5, 对$ \forall {{\boldsymbol{R}}_e} \in E $, $\Phi_{{{\boldsymbol R}}_e} \in \left[ {\varepsilon ,\pi } \right]$. 利用引理3, 当参数$ k $和$ {\boldsymbol{A}} $满足$2k\lambda _{\max }^{{{\boldsymbol A}}_1 } < 1$时:
$$ \begin{array}{l} \Phi_{{{\boldsymbol R}}_c} \ge \varepsilon - 4k\lambda _{\max }^{{{{{\boldsymbol{A}}}}_1}}g\left( \varepsilon \right) = {\Phi _{\min }}\left( {{\boldsymbol{R}}_c,{\boldsymbol{I}}} \right) \end{array} $$ (34) 因此, 对$ \forall {{\boldsymbol{R}}_e} \in E $, 势函数${P_{{{\boldsymbol A}}}}\left( {\boldsymbol{R}}_c \right)$存在最小值, 即:
$$ {P_{{{{\boldsymbol{A}}}}}}\left( {\boldsymbol{R}}_c \right) {} \ge 4\lambda _{\min }^{{{{{\boldsymbol{A}}}}_1}}g(\Phi_{{\boldsymbol{R}}_c}) \ge 4\lambda _{\min }^{{{{{\boldsymbol{A}}}}_1}}h_2 > 0 $$ (35) 利用引理1, 可知:
$$ \begin{array}{l} \left\| {\boldsymbol{y}} \right\| \ge {\left\| {\boldsymbol{y}} \right\|_{\min }} = 4a\lambda _{\min }^{{{{\boldsymbol A}}_1}}{h_1}{h_2} \end{array} $$ (36) 2)对$ \forall {{\boldsymbol{R}}_e} \in E $, 证明$ \left\| {\boldsymbol{x}} \right\| $存在上限.
将式(17)代入$ {\boldsymbol{x}} $, 利用$ \psi \left( { - {\boldsymbol{B}}} \right) = \psi \left( {{{\boldsymbol{B}}^{\rm{T}}}} \right) $, 有:
$$ \begin{split} {\boldsymbol{x}} =\;& {}{\left[ {{\boldsymbol{I}} + 2k{{\boldsymbol{R}}_e^{\rm{T}}}{\boldsymbol{u}} \psi{\left( - {{\boldsymbol{A}}}{{\boldsymbol{R}}_e^{\rm{T}}} \right)}^{\rm{T}} {{{\boldsymbol{R}}_e}}} \right]^{\rm{T}}}\psi{ \left(- {{\boldsymbol{R}}_c^{\rm{T}}}{{\boldsymbol{A}}}\right)} = \\ & \psi({{{\boldsymbol{A}}}{{{\boldsymbol{R}}_c}}}) + 2k{{\boldsymbol{R}}_e^{\rm{T}}}\psi{\left( - {{\boldsymbol{A}}}{{\boldsymbol{R}}_e^{\rm{T}}}\right)} {{\boldsymbol{u}}^{\rm{T}}}{{{\boldsymbol{R}}_e}}\psi({{{\boldsymbol{A}}}{{{\boldsymbol{R}}_c}}})\\[-10pt] \end{split} $$ (37) 利用范数三角不等式, 有:
$$ \begin{split} \left\| {\boldsymbol{x}} \right\| \le\;& {} 2k\left\| {{{\boldsymbol{R}}_e^{\rm{T}}}\psi{ \left(- {{\boldsymbol{A}}}{{\boldsymbol{R}}_e^{\rm{T}}}\right)} {{\boldsymbol{u}}^{\rm{T}}}[{{{\boldsymbol{R}}_e}}\psi({{{\boldsymbol{A}}}{{{\boldsymbol{R}}_c}}})]} \right\| \;+ \\ &\left\| {\psi({{{\boldsymbol{A}}}{{{\boldsymbol{R}}_c}}}) } \right\| \end{split} $$ (38) 式中, ${{\boldsymbol{u}}^{\rm{T}}}\left[ {{{{\boldsymbol{R}}_e}}\psi \left( {{{{}}}{{{\boldsymbol{AR}}_c}}} \right)} \right] \in {{\bf{R}}}$, 并且有:
$$ \begin{split} {{\boldsymbol{u}}^{\rm{T}}}\left[ {{{{\boldsymbol{R}}_e}}\psi({{{\boldsymbol{A}}}{{{\boldsymbol{R}}_c}}})} \right] =\;& \left\| {{{{\boldsymbol{R}}_e}}\psi({{{\boldsymbol{A}}}{{{\boldsymbol{R}}_c}}})} \right\|\langle {{\boldsymbol{u}}, {{{{\boldsymbol{R}}_e}}\psi( {{{\boldsymbol{A}}}{{{\boldsymbol{R}}_c}})} }} \rangle \; \le\\ \;& \left\| {\psi({{{\boldsymbol{A}}}{{{\boldsymbol{R}}_c}}})} \right\|\\[-10pt] \end{split} $$ (39) 式(38)可写为:
$$ \begin{array}{l} \left\| {\boldsymbol{x}} \right\| \le \left\| {\psi({{{\boldsymbol{A}}}{{{\boldsymbol{R}}_c}}})} \right\| + 2k\left\| {\psi({{{\boldsymbol{A}}}{{\boldsymbol{R}}_e^{\rm{T}}}})} \right\|\left\| {\psi ( {{{\boldsymbol{A}}}{{{\boldsymbol{R}}_c}}} )} \right\| \end{array} $$ (40) 利用性质4), 有:
$$ \begin{array}{l} \left\| {\psi ( {{{{{\boldsymbol{A}}}}}{{{\boldsymbol{R}}_c}}}) } \right\| \le \sqrt {4\lambda _{\max }^{{{{\boldsymbol A}}_3} }\left( {1 - {\xi ^2}g\left( {{\Phi _{{{{{\boldsymbol R}}_c}}}}} \right)} \right)g\left( {{\Phi _{{{{{\boldsymbol R}}_c}}}}} \right)} \end{array} $$ (41) $$ \begin{array}{l} \left\| {\psi ( {{{\boldsymbol{A}}}{{\boldsymbol{R}}_e^{\rm{T}}}} )} \right\| \le \sqrt {4\lambda _{\max }^{{{{{\boldsymbol{A}}}}_3} }\left( {1 - {\xi ^2}g\left( {{\Phi _{{{{{\boldsymbol R}}_e}}}}} \right)} \right)g\left( {{\Phi _{{{{{\boldsymbol R}}_e}}}}} \right)} \end{array} $$ (42) 对$ \forall {{\boldsymbol{R}}_e} \in E $, $\Phi_{{{\boldsymbol R}}_e} \in \left[ {\varepsilon ,\pi } \right]$, $\Phi_{{{\boldsymbol R}}_c} \in \left[ {{\Phi _{\min }}\left( {{{\boldsymbol R}}_c,{\boldsymbol{I}}} \right) ,\pi } \right]$, 当$ 2{\xi ^2} < 1 $时, 利用引理2, 有:
$$ \begin{array}{l} \left\| {\psi({{{\boldsymbol{A}}}{{{\boldsymbol{R}}_c}}}) } \right\| \le \sqrt {4\lambda _{\max }^{{{{\boldsymbol A}}_3} }\left( {1 - {\xi ^2}} \right)} \end{array} $$ (43) $$ \begin{array}{l} \left\| {\psi ({{{\boldsymbol{A}}}{{\boldsymbol{R}}_e^{\rm{T}}}}) } \right\| \le \sqrt {4\lambda _{\max }^{{{\boldsymbol A}}_3 }\left( {1 - {\xi ^2}} \right)} \end{array} $$ (44) 因此, 可得$ \left\| {\boldsymbol{x}} \right\| $的上限为:
$$ \begin{split} \left\| {\boldsymbol{x}} \right\|\le \;& \sqrt {4\lambda _{\max }^{{{{{\boldsymbol{A}}}}_3} }\left( {1 - {\xi ^2}} \right)}\; + \\ &8k\lambda _{\max }^{{{{{\boldsymbol{A}}}}_3} }\left( {1 - {\xi ^2}} \right) = {\left\| {\boldsymbol{x}} \right\|_{\max }} \end{split} $$ (45) 3)讨论$ E $内势函数的临界点. 若:
$$ \sqrt {\lambda _{\max }^{{{{{\boldsymbol{A}}}}_3} }\left( {1 - {\xi ^2}} \right)} < \frac{2a\lambda _{\min }^{{{{{\boldsymbol{A}}}}_1}}{h_1h_2}}{{1 + 4k\sqrt {\lambda _{\max }^{{{{{\boldsymbol{A}}}}_3} }\left( {1 - {\xi ^2}} \right)} }} $$ (46) 则有:
$$ \begin{array}{l} {\left\| {\boldsymbol{x}} \right\|_{\max }} < {\left\| {\boldsymbol{y}} \right\|_{\min }} \end{array} $$ (47) 对于$ \forall {{\boldsymbol{R}}_e} \in E $, 有:
$$ \begin{array}{l} \psi \left( {{\boldsymbol{R}}_e^{\rm{T}}\nabla V_q\left( {{{\boldsymbol{R}}_e}} \right)} \right) \ne {\boldsymbol{0}} \end{array} $$ (48) 首先, 势函数族${\left\{ {V_q\left( {{{\boldsymbol{R}}_e}} \right)} \right\}_{q \in {{Q}}}}$在避障区域内无临界点; 然后, 在姿态机动过程中, 当惯性系下敏感轴指向$ {\boldsymbol{R}}_b{{\boldsymbol{r}}} $和禁止指向$ {\boldsymbol{v}} $的夹角趋于$ \alpha $时, ${P_{{{O}}}}\left( {{{\boldsymbol{R}}_e}} \right)$趋于无穷大, 因此姿态机动过程可以避开障碍; 最后, 任给初始姿态$ {{\boldsymbol{R}}_e}\left( 0 \right) $, 若该姿态是非临界点, 则在势函数的控制下向单位元$ {\boldsymbol{I}} $收敛. 若该姿态是临界点, 则$ {{\boldsymbol{R}}_e}\left( 0 \right) \notin E $, 在协同性要求下, 利用混合控制可实现向单位元$ {\boldsymbol{I}} $收敛[23]. 因此, 航天器可以避开姿态障碍, 从任意的初始姿态机动到目标姿态.
□ 2.3 对数形式排斥势函数的临界点分析
在基于势函数的受限制姿态机动问题中, 除分数形式排斥势函数(21)外, 还有对数形式的排斥势函数[16, 24]:
$$ {P_{{{O}}}}\left( {{{\boldsymbol{R}}_e}} \right) = {} a - b \ln {\frac{{\cos \alpha - {{\boldsymbol{r}}^{\rm{T}}}{\boldsymbol{R}}_e^{\rm{T}}{{\boldsymbol{v}}_d}}}{c}} $$ (49) 式中, $a、b、c$是常数. 在第2.2节中, 本文得出在考虑姿态受限情形下姿态全局收敛的参数设计要求(23). 本节将证明对数形式排斥势函数也可以经过相似推导得出参数设计要求, 以此说明本文方法的可拓展性.
对于式(49), 利用势函数导数相关定义计算, 可得:
$$ \begin{split} \nabla {P_{{{O}}}}\left( {{{\boldsymbol{R}}_e}} \right) = \;& \left[ {\frac{\partial }{{\partial {{\left( {{{\boldsymbol{R}}_e}} \right)}_{ij}}}}\left( {a - b \ln \frac{p}{c}} \right)} \right] = \\ & {}\frac{{ - b }}{p}\left[ {\frac{\partial }{{\partial {{\left( {{{\boldsymbol{R}}_e}} \right)}_{ij}}}}\left( {\cos \alpha - {{\boldsymbol{r}}^{\rm{T}}}{\boldsymbol{R}}_e^{\rm{T}}{{\boldsymbol{v}}_d}} \right)} \right] = \\ &\frac{b }{p}{{\boldsymbol{v}}_d}{\boldsymbol{r}}^{\rm{T}} \\[-15pt]\end{split} $$ (50) 因此, 有:
$$ \psi \left( {{\boldsymbol{R}}_e^{\rm{T}}\nabla {P_{{{O}}}}\left( {{{\boldsymbol{R}}_e}} \right)} \right) = {} \frac{{b }}{{{p}}}\psi \left( {{\boldsymbol{R}}_e^{\rm{T}}{{\boldsymbol{v}}_d}{{\boldsymbol{r}}^{\rm{T}}}} \right) = \frac{{b }}{{{p}}} \sin \gamma $$ (51) 将式(51)代入式(25), 可得:
$$ \begin{split} \psi \left( {{\boldsymbol{R}}_e^{\rm{T}}\nabla V_q} \right) =\;& {P_{{{O}}}\left( {{{\boldsymbol{R}}_e}} \right)} \biggl[ \psi \left( {{\boldsymbol{R}}_e^{\rm{T}}\nabla {P_{q,{{\boldsymbol{A}}}}}} \right) +\\ & {P_{{\boldsymbol{A}}}}\left( {{{\boldsymbol{R}}_c}} \right)\frac{{b \sin \gamma}}{{p{P_{{{O}}}\left( {{{\boldsymbol{R}}_e}} \right)}}}] \end{split} $$ (52) 令${\boldsymbol{y}} = b{P_{{{{\boldsymbol{A}}}}}}\left( {{{\boldsymbol{R}}_c}} \right)\sin \gamma/ \left( {p{P_{{{O}}}\left( {{{\boldsymbol{R}}_e}} \right)}}\right)$, 则:
$$ \left\| {\boldsymbol{y}} \right\| = \frac{{b {P_{{{{\boldsymbol{A}}}}}}\left( {\boldsymbol{R}}_c \right)\sin \gamma }}{{\left( {\cos \alpha - \cos \gamma } \right)P_{{{O}}}\left( {{{\boldsymbol{R}}_e}} \right)}} $$ (53) 取函数$ f(\gamma) $为:
$$ f(\gamma) = \frac{{\sin \gamma }}{{\left( {\cos \alpha - \cos \gamma } \right)P_{{{O}}}\left( {{{\boldsymbol{R}}_e}} \right)}} $$ (54) 由于
$$ \frac{{{\rm{d}}f\left( \gamma \right)}}{{{\rm{d}}\gamma }} = \frac{{\left( {\cos \gamma \cos \alpha - 1} \right){P_{{{O}}}} + b {{\sin }^2}\gamma }}{{{{\left( {\left( {\cos \alpha - \cos \gamma } \right){P_{{{O}}}}} \right)}^2}}} $$ (55) 注意到, 当$P_O \ge a \; > \;0, \;\cos ( {\alpha + \Delta \alpha } )\cos \alpha \; -$ $1 \le \cos \gamma \cos \alpha - 1 \le {\cos ^2}\alpha - 1 < 0, \;b {\sin ^2}\alpha \le b {\sin ^2}\gamma \;\le$ $ b {\sin ^2}( {\alpha + \Delta \alpha } ) $时, 存在合适的参数a和b, 使得$\frac{ {\rm{d}}f( \gamma )}{ {\rm{d}}\gamma } \le 0$, 即$ f(\gamma) $在区间$ [ {\alpha ,\alpha + \Delta \alpha } ] $上递减, 则:
$$ \begin{array}{l} f\left( \gamma \right) \ge {f_{\min }} = f\left( {\alpha + \Delta \alpha} \right) \end{array} $$ (56) 因此, 式(54)有最小值, 利用和定理1类似的推理方式, 可得对数形式排斥势函数的参数设计要求.
文献[10, 23]利用“角度扰动”方法构建协同势函数族, 将其应用在无约束的姿态机动控制中, 实现了姿态全局收敛. 本文将这种构造方法应用到受限姿态机动任务的势函数设计中, 实现了带有禁止指向约束的姿态全局收敛. 与其他处理受限姿态机动问题的势函数方法[15−16, 24]相比, 本文方法的优点是不依赖势函数凸性假设, 可避开非期望的临界点实现全局收敛; 缺点是势函数切换会造成控制律突变, 不能处理强制指向约束. 第3节将通过仿真分析具体讨论本文方法的优缺点.
3. 方法验证
本节将建立航天器姿态受限情形下的混合控制模型, 利用第2.2节提出的协同势函数族${\left\{ {V_q\left( {{{\boldsymbol{R}}_e}} \right)} \right\}_{q \in {{Q}}}}$进行控制, 来验证方法有效性.
3.1 航天器混合控制模型
基于势函数族${\left\{ {V_q\left( {{{\boldsymbol{R}}_e}} \right)} \right\}_{q \in {{Q}}}}$, 定义下列两个函数:
$$ \begin{array}{l} \rho \left( {{\boldsymbol{R}}_e} \right) = \mathop {\min }\limits_{q \in {{Q}}} {V_q}\left( {{{\boldsymbol{R}}_e}} \right) \end{array} $$ (57) $$ \begin{array}{l} \sigma \left( {{\boldsymbol{R}}_e} \right) = \left\{ {\left. {q \in {{Q}}} \right|{V_q}\left( {{{\boldsymbol{R}}_e}} \right) = \rho \left( {{{\boldsymbol{R}}_e}} \right)} \right\} \end{array} $$ (58) 在混合控制中, 系统状态$ \left( {{\boldsymbol{R}}_e,{{\boldsymbol{\omega}} _e},q} \right) $被分成$M, N \in SO\left( 3 \right) \times {{\bf{R}}^{3}} \times {{Q}}$两个集合:
$$ \begin{array}{l} M = \left\{ {\left. {\left( {{\boldsymbol{R}}_e,{{\boldsymbol{\omega}} _e},q} \right)} \right|{V_q}\left( {{{\boldsymbol{R}}_e}} \right) - \rho \left( {{{\boldsymbol{R}}_e}} \right) \le \delta } \right\} \end{array} $$ (59) $$ \begin{array}{l} N = \left\{ {\left. {\left( {{\boldsymbol{R}}_e,{{\boldsymbol{\omega}} _e},q} \right)} \right|{V_q}\left( {{{\boldsymbol{R}}_e}} \right) - \rho \left( {{{\boldsymbol{R}}_e}} \right) > \delta } \right\} \end{array} $$ (60) 式中, $ \delta $为式(14)给定的协同间隙. 令$x = ( {\boldsymbol{R}}_e, {{\boldsymbol{\omega}} _e})$, 根据不同的系统状态, 当$ \left( {x,q} \right) \in M $时, 式(7)、式(8)航天器模型可写为连续模型:
$$ \left\{ \begin{aligned} &\dot x = f\left( x \right) + {\boldsymbol{\tau}}\\ &\dot q = 0 \end{aligned} \right. $$ (61) 当$\left( {x,q} \right) \in {{N}}$时, 可写为切换模型:
$$ \left\{ \begin{aligned} &{x^ + } = x \\ &{q^ + } = \sigma \left( {{\boldsymbol{R}}_e} \right) \end{aligned} \right. $$ (62) 即系统状态位于集合$ M $中时, 势函数指标不变, 航天器的状态遵循微分方程式(7)、式(8)连续变化. 文献[23] 指出, 协同势函数族的所有非单位元的临界点都落在集合$ N $中, 此时航天器状态不改变, 势函数指标发生切换, 切换到非临界且值最低的势函数进行控制. 设计比例−微分反馈控制律如下:
$$ \begin{array}{l} {\boldsymbol{\tau}} = {\boldsymbol{F}} - {k_p}\psi \left( {{\boldsymbol{R}}_e^{\rm{T}}\nabla V_q\left( {{{\boldsymbol{R}}_e}} \right)} \right) - {k_d}{{\boldsymbol{\omega}} _e} \end{array} $$ (63) 在该控制律下的稳定性分析见文献[23].
3.2 参数设计和仿真结果
为了验证避障和切换控制, 本节进行了3种仿真案例分析. 仿真中, 姿态限制假定为3个, 具体信息如表1 所示. 针对这3个姿态限制, 势函数中的参数$ \Delta \alpha $分别为10°、5°和8°. 假设航天器的转动惯量矩阵$ {\boldsymbol{J}} = {\rm{diag}}\left\{ 4,5,4.5 \right\}{\rm{kg}} \cdot {{\rm{m}}}^2 $. 根据式(23)要求, 势函数参数设计为${\boldsymbol{w}} =[ 0.3,0.4, 0.6]^{\rm{T}}$, ${\boldsymbol{u}} = {\boldsymbol{w}}/ \left\| {\boldsymbol{w}} \right\|,$ ${\boldsymbol{A}} = {\rm{diag}}\left\{ {0.3,0.4,0.6} \right\}, $ $k=0.25, a=0.7, $ $b = 1/20$. 在上述参数下, 对于每一个姿态约束, 不等式组(23)都能得到满足. 根据式(13)、函数(4), 在上述参数下的奇异点为 ${\rm{Crit}}{P_{{{\boldsymbol A}}}} = \left\{ {\boldsymbol{I}} \right\} \cup {{\boldsymbol{R}}}\left( {\pi ,{\boldsymbol{e}}_i} \right), i = 1,2,3$, 其中$ {\boldsymbol{e}}_i $是3维空间$ {{\bf{R}}^{3}} $的标准正交基. 协同势函数族$\left\{ {P_{q,{{{\boldsymbol A}}}}}\left({\boldsymbol{R}}_e \right) \right\}_{q \in {{Q}}}$的 6 个非单位元临界点可根据式(17)确定, 当姿态误差处于这些临界点时, 指向$ {\boldsymbol{r}} $在惯性系下的指向以三角符号表示, 见图5 ~ 7. 可以看出, 这些指向都落在集合$ E $之外.
表 1 惯性系下姿态限制Table 1 Attitude constraints in the inertial frame序号 指向${\boldsymbol{v}}$ 角度$\alpha \ (^ \circ) $ CZ1 $\left[ {0.5237,0.7208,0.4540} \right]^{\rm{T}}$ 20 CZ2 $\left[ {-0.5530,0.7612,-0.3387} \right]^{\rm{T}}$ 15 CZ3 $\left[ {-0.1488,-0.9393,0.3090} \right]^{\rm{T}}$ 25 
图 6 避障切换下姿态机动仿真Fig. 6 Attitude maneuver simulation when avoiding attitude constraints控制器参数设置如下: 在案例1中, 设置$ \delta = 0.06 $, $ {k_p} = 1 $, $ {k_d} = 5 $, 仿真时间为$ 60\;{\rm{s}} $; 在案例2和案例3中, 设置$ \delta = 0.06 $, $ {k_p} = 1 $, $ {k_d} = 3 $, 仿真时间为40 s. 在3个案例中, 都假定航天器存在力矩饱和, 力矩饱和值为0.5 N·m.
案例1. 无任何切换
假设航天器的目标姿态、初始姿态误差和航天器在本体下固连的指向分别为:
$$ \begin{split} &{\boldsymbol{R}}_d = \exp \left( {{{[ {{{[ {-1.4002,-2.0192,1.8282} ]}^{\rm{T}}}} ]}^ \times }} \right)\\ &{\boldsymbol{R}}_e(0) = \exp \left( {{{[ {{{[ {-2.8782,-0.5547,0.3698} ]}^{\rm{T}}}} ]}^ \times }} \right)\\ &{\boldsymbol{r}} = [ 0.5344,-0.6835,0.4973]^{\rm{T}} \end{split} $$ 案例1使用上述初始条件进行2组仿真实验, 航天器的初始指向位于姿态约束CZ2下方, 目标姿态位于姿态约束CZ2和 CZ3之间. 航天器初始姿态误差$ {\boldsymbol{R}}_e(0) $位于势函数${P_{1,{{{\boldsymbol A}}}}}\left({\boldsymbol{R}}_e \right)$的临界点邻域内, 2组仿真没有进行避障切换, 分别在势函数${P_{1,{{{\boldsymbol A}}}}}\left({\boldsymbol{R}}_e \right)$和${P_{2,{{{{\boldsymbol{A}}}}}}}\left({\boldsymbol{R}}_e \right)$控制下, 绕过CZ3运动至目标姿态. 在2组仿真实验中, 向量$ {\boldsymbol{r}} $的指向轨迹如图5(a)所示, 势函数值变化曲线如图5(b)所示. 第1组仿真实验从临界点邻域开始机动, 机动路径更长, 在$ t < 20\;{\rm{s}} $时, 势函数基本保持不变; 在$t = 50\;{\rm{s}}$时, 完成收敛. 相比之下, 第2组仿真实验从非临界点邻域开始姿态机动, 机动路径更短, 势函数收敛更快, 在$ t = 30\;{\rm{s}} $时, 完成收敛. 2组仿真实验的控制力矩和角速度误差变化曲线如图5(c)和5(d)所示. 由于第1组仿真从临界点邻域开始, 导致收敛缓慢, 因此图5(c)的峰值出现时间晚于图5(d). 案例1用于说明临界点问题的极端情况, 当姿态靠近势函数的临界点时, 收敛变慢. 根据式(10), 若恰好处于临界点, 则会完全停止收敛.
案例2. 避障切换
在案例2中, 本文进行了2组仿真实验. 在第1组仿真实验中, 假设航天器的目标姿态、初始姿态误差和航天器在本体下固连的指向分别为:
$$ \begin{split} &{\boldsymbol{R}}_d = \exp \left( {{{[ {{{[ {-0.3012,-2.1271,-2.1086} ]}^{\rm{T}}}} ]}^ \times }} \right) \\ &{\boldsymbol{R}}_e(0) = \exp \left( {{{[ {{{[ {-0.4906,-1.9914,-1.0410} ]}^{\rm{T}}}} ]}^ \times }} \right)\\ &{\boldsymbol{r}} = [ 0.9753,-0.2156,-0.0472]^{\rm{T}} \end{split} $$ 在第2组仿真实验中, 假设航天器的目标姿态、初始姿态误差和航天器在本体下固连的指向分别为:
$$ \begin{split} &{\boldsymbol{R}}_d = \exp \left( {{{[ {{{[ {-0.2456,-0.6270,0.5070} ]}^{\rm{T}}}} ]}^ \times }} \right) \\ &{\boldsymbol{R}}_e(0) = \exp \left( {{{[ {{[ {-1.3113,0.6093,-1.7902} ]}^{\rm{T}}}} ]}^ \times } \right)\\ &{\boldsymbol{r}} = \left[ -0.6849,0.3701,0.6276\right]^{\rm{T}} \end{split} $$ 在2组仿真实验中, 目标姿态下向量$ {\boldsymbol{r}} $的指向相同, 位于CZ2和CZ3之间; 而位于CZ1下方的起始指向不同. 在第1组仿真初值下, 向量$ {\boldsymbol{r}} $的指向轨迹如图6(a)中虚线所示, 轨迹由CZ2下方绕过CZ2, 到达目标点. 在绕过CZ2时, 存在1次转折, 这是由于势函数在$t = 6\; {\rm{s}}$时, 进行了避障切换, 规避姿态约束CZ2. 势函数随时间变化趋势如图6(b)中虚线所示, 在$ t = 20 $s后, 收敛到0, 姿态机动完成. 在第2组实验条件下, 向量$ {\boldsymbol{r}} $的指向轨迹如图6(a)中实线所示, 轨迹穿过CZ1和CZ2, 到达目标点, 分别在靠近CZ1和CZ2时有一次转折. 这是因为势函数在$ t = 1.6 $s时进行避障切换, 规避CZ1; 在$ t = 7 $s时进行避障切换, 规避 CZ2. 势函数变化趋势如图6(b)中实线所示, 在$ t = 20 $s后, 收敛到0, 姿态机动完成. 2组仿真的控制力矩和角速度误差变化曲线如图6(c)和6(d)所示, 每次势函数切换都导致了控制力矩和角速度突变, 控制力矩在切换时饱和. 案例2说明本文设计的势函数在规避姿态约束上的有效性, 以及切换控制对航天器状态的影响.
案例3. 临界点切换
假设航天器的目标姿态、初始姿态误差和航天器在本体下固连的指向分别为:
$$ \begin{split} &{\boldsymbol{R}}_d = \exp \left( {{{[ {{{[ {1.6253,-1.3826,0.2402} ]}^{\rm{T}}}} ]}^ \times }} \right) \\ &{\boldsymbol{R}}_e(0) = \exp \left( {{{[ {{{[ {-1.2090,-1.8832,2.0448} ]}^{\rm{T}}}} ]}^ \times }} \right)\\ &{\boldsymbol{r}} = [ -0.2790,0.7829,0.5561]^{\rm{T}} \end{split} $$ 如图7 所示, 在上述初始条件下, 向量$ {\boldsymbol{r}} $的初始指向位于CZ1左下方, 目标指向位于CZ2 和CZ3 之间. 该指向从 CZ2下方绕过CZ2, 到达目标指向. 航天器在12 s前, 基于势函数${P_{2,{{\boldsymbol A}}}}$进行姿态控制; 在$ t = 12 $s时, 姿态靠近临界点, 满足切换控制模型式(61)和式(62), 势函数发生切换, 切换到值更低的势函数${P_{1,{{\boldsymbol A}}}}$进行姿态控制. 如图7(c)所示, 控制力矩和角速度误差在势函数切换时突变. 在$ t = 25 $s后, 势函数收敛到0, 姿态机动完成. 案例3说明本文方法在规避非期望临界点时的一般情况, 如图2所示, 在进入非期望临界点某一给定的邻域时, 就通过切换势函数避开该邻域.
综上所述, 1)由上述仿真实验可知, 为了规避非期望的临界点和姿态限制, 势函数的切换会导致控制力矩发生突变, 该突变值上限受势函数参数的影响, 在势函数参数选取时, 应在满足式(23)基础上, 兼顾力矩突变大小. 2)控制器的参数选取应兼顾力矩和机动时间与最终指向误差等收敛效果的需求. 3)势函数非期望临界点的分布是其固有性质, 仅与势函数参数有关, 与动力学或运动学的不确定性无关. 但不确定性的存在会影响航天器对本文算法所给出的期望控制力矩的执行, 进而影响航天器的实际机动路径, 此时无法保证航天器能够规避姿态约束和非期望临界点.
4. 结束语
在姿态受约束情况下, 基于旋转矩阵设计可规避临界点并实现姿态全局收敛的协同势函数. 为每一个姿态约束设计软约束区域, 在软约束区域内, 避障势函数由相对目标姿态的吸引项和相对姿态约束的排斥项构成, 当航天器姿态运动到该区域内, 切换为避障势函数. 针对常见的分数形式和对数形式排斥项, 讨论了本文的避障势函数的临界点分布和势函数参数的关系, 给出了避障区域内不存在临界点的参数要求. 仿真实验结果表明, 航天器能够在本文设计的势函数控制下规避姿态约束, 收敛到目标姿态. 由于本文进行了势函数切换, 在切换时控制律不连续, 未来将考虑如何改善控制律突变对系统的影响.
-
图 2 无人艇的惯性坐标系和体固定坐标系
Fig. 2 The body-fixed coordinate system and inertial coordinate system of USV
图 4 NA-MAPPO示意图, 灰色部分为分散执行部分, 蓝色部分为集中训练部分
Fig. 4 Diagram of NA-MAPPO, the gray section represents the decentralized execution part, while the blue section represents the centralized training part
表 1 导航成功率、导航时间、累计回合奖励对比
Table 1 Comparison of navigation success rate, navigation time, and cumulative episode reward
导航成功率(%) MAPPO WN-MAPPO OU-MAPPO NA-MAPPO NA-WN-MAPPO NA-OU-MAPPO 场景1 45 75 90 95 98 98 场景2 72 70 88 90 93 95 场景3 40 70 84 88 90 93 场景4 35 60 80 86 90 92 导航时间(s) MAPPO WN-MAPPO OU-MAPPO NA-MAPPO NA-WN-MAPPO NA-OU-MAPPO 场景1 34 30 25 22 20 20 场景2 33 33 32 32 28 22 场景3 42 36 34 32 30 25 场景4 45 38 36 34 34 26 累积回合奖励 MAPPO WN-MAPPO OU-MAPPO NA-MAPPO NA-WN-MAPPO NA-OU-MAPPO 场景1 42.93 45.45 52.50 68.50 70 72.6 场景2 70.00 65.80 78.02 90.50 100 100.0 场景3 109.05 120.85 136.47 143.33 151 154.0 场景4 134.05 143.36 153.09 190.66 200 200.0 
下载: 导出CSV
表 2 实验超参数设置
Table 2 Experimental hyperparameter setting
参数 值 折扣因子$ \gamma $ 0.9000 Critic网络的学习率$ {\alpha _w} $ 0.0010 Actor网络的学习率$ {\alpha _u} $ 0.0001 目标Critic网络的学习率$ {\alpha _{w'}} $ 0.0010 批量$ N _{\mathrm{batch}}$ 1024 缓冲器尺寸$ M_{\mathrm{buffer}} $ 10000 软更新因子$ \tau $ 0.0010 隐藏层1神经元数 128 隐藏层2神经元数 128
下载: 导出CSV
-
[1] Li J Q, Zhang G Q, Zhang X K, Zhang W D. Integrating dynamic event-triggered and sensor-tolerant control: Application to USV-UAVs cooperative formation system for maritime parallel search. IEEE Transactions on Intelligent Transportation Systems, 2024, 25(5): 3986−3998 doi: 10.1109/TITS.2023.3326271 [2] Madeo D, Pozzebon A, Mocenni C, Bertoni D. A low-cost unmanned surface vehicle for pervasive water quality monitoring. IEEE Transactions on Instrumentation and Measurement, 2020, 69(4): 1433−1444 doi: 10.1109/TIM.2019.2963515 [3] Xie J J, Zhou R, Luo J, Peng Y, Liu Y, Xie S R, et al. Hybrid partition-based patrolling scheme for maritime area patrol with multiple cooperative unmanned surface vehicles. Journal of Marine Science and Engineering, 2020, 8(11): Article No. 936 doi: 10.3390/jmse8110936 [4] Zuo Z Y, Liu C J, Han Q L, Song J W. Unmanned aerial vehicles: Control methods and future challenges. IEEE/CAA Journal of Automatica Sinica, 2022, 9(4): 601−614 doi: 10.1109/JAS.2022.105410 [5] Zhang G Q, Han J, Li J Q, Zhang X K. APF-based intelligent navigation approach for USV in presence of mixed potential directions: Guidance and control design. Ocean Engineering, 2022, 260: Article No. 111972 doi: 10.1016/j.oceaneng.2022.111972 [6] Wang D, Chen H M, Lao S H, Drew S. Efficient path planning and dynamic obstacle avoidance in edge for safe navigation of USV. IEEE Internet of Things Journal, 2024, 11(6): 10084−10094 doi: 10.1109/JIOT.2023.3325234 [7] Zhang G Q, Shang X Y, Li J Q, Huang J S. A novel dynamic berthing scheme for an USV: DPFS guidance and two-dimensional event triggering ILC. IEEE Transactions on Intelligent Vehicles, DOI: 10.1109/TIV.2024.3402229 [8] Wang C C, Wang Y L, Han Q L, Xie W B. Multi-USV cooperative formation control via deep reinforcement learning with deceleration. IEEE Transactions on Intelligent Vehicles, DOI: 10.1109/TIV.2024.3437735 [9] Yu J B, Chen Z H, Zhao Z Y, Deng H, Wu J G, Xu J P. A cooperative hunting method for multi-USVs based on trajectory prediction by OR-LSTM. IEEE Transactions on Vehicular Technology, DOI: 10.1109/TVT.2024.3432739 [10] Wang Y D, Cao J Y, Sun J, Zou X S, Sun C Y. Path following control for unmanned surface vehicles: A reinforcement learning-based method with experimental validation. IEEE Transactions on Neural Networks and Learning Systems, DOI: 10.1109/TNNLS.2023.3313312 [11] Xi A, Mudiyanselage T W, Tao D C, Chen C. Balance control of a biped robot on a rotating platform based on efficient reinforcement learning. IEEE/CAA Journal of Automatica Sinica, 2019, 6(4): 938−951 doi: 10.1109/JAS.2019.1911567 [12] Yang H, Lin K, Xiao L, Zhao Y, Xiong Z, Han Z. Energy harvesting UAV-RIS-assisted maritime communications based on deep reinforcement learning against jamming. IEEE Transactions on Wireless Communications, 2024, 23(8): 1−15 doi: 10.1109/TWC.2024.3417154 [13] Wang C C, Wang Y L, Han Q L, Wu Y K. MUTS-based cooperative target stalking for a multi-USV system. IEEE/CAA Journal of Automatica Sinica, 2023, 10(7): 1582−1592 doi: 10.1109/JAS.2022.106007 [14] Feng Z K, Huang M X, Wu D, Wu E Q, Yuen C. Multi-agent reinforcement learning with policy clipping and average evaluation for UAV-assisted communication Markov game. IEEE Transactions on Intelligent Transportation Systems, 2023, 24(12): 14281−14293 doi: 10.1109/TITS.2023.3296769 [15] Wu Q C, Lin R, Ren Z W. Distributed multirobot path planning based on MRDWA-MADDPG. IEEE Sensors Journal, 2023, 23(20): 25420−25432 doi: 10.1109/JSEN.2023.3310519 [16] Zhang H, Zhang X H, Feng Z, Xiao X H. Heterogeneous multi-robot cooperation with asynchronous multi-agent reinforcement learning. IEEE Robotics and Automation Letters, 2024, 9(1): 159−166 doi: 10.1109/LRA.2023.3328448 [17] Sunehag P, Lever G, Gruslys A, Czarnecki W M, Zambaldi V, Jaderberg M, et al. Value-decomposition networks for cooperative multi-agent learning. arXiv preprint arXiv: 1706.05296, 2017. [18] Rashid T, Samvelyan M, de Witt C S, Farquhar G, Foerster J, Whiteson S. QMIX: Monotonic value function factorisation for deep multi-agent reinforcement learning. arXiv preprint arXiv: 1803.11485, 2018. [19] Lowe R, Wu Y, Tamar A, Harb J, Abbeel P, Mordatch I. Multi-agent actor-critic for mixed cooperative-competitive environments. In: Proceedings of the 31st International Conference on Neural Information Processing Systems. California, USA: Curran Associates Inc., 2017. 6382−6393 [20] Yu C, Velu A, Vinitsky E, Wang Y, Bayen A, Wu Y. The surprising effectiveness of PPO in cooperative multi-agent games. arXiv preprint arXiv: 2103.01955, 2021. [21] Foerster J N, Farquhar G, Afouras T, Nardelli N, Whiteson S. Counterfactual multi-agent policy gradients. arXiv preprint arXiv: 1705.08926, 2017. [22] Liu Y, Chen C, Qu D, Zhong Y X, Pu H Y, Luo J. Multi-USV system antidisturbance cooperative searching based on the reinforcement learning method. IEEE Journal of Oceanic Engineering, 2023, 48(4): 1019−1047 doi: 10.1109/JOE.2023.3281630 [23] Wang C C, Wang Y L, Shi P, Wang F. Scalable-MADDPG-based cooperative target invasion for a multi-USV system. IEEE Transactions on Neural Networks and Learning Systems, DOI: 10.1109/TNNLS.2023.3309689 [24] Xia J W, Luo Y S, Liu Z K, Zhang Y L, Shi H R, Liu Z. Cooperative multi-target hunting by unmanned surface vehicles based on multi-agent reinforcement learning. Defence Technology, 2023, 29: 80−94 doi: 10.1016/j.dt.2022.09.014 [25] Zhao Y J, Ma Y, Hu S L. USV formation and path-following control via deep reinforcement learning with random braking. IEEE Transactions on Neural Networks and Learning Systems, 2021, 32(12): 5468−5478 doi: 10.1109/TNNLS.2021.3068762 [26] Li F B, Yin M M, Wang T D, Huang T W, Yang C H, Gui W H. Distributed pursuit-evasion game of limited perception USV swarm based on multi-agent proximal policy optimization. IEEE Tansactions on Systems, Man, and Cybernetics: Systems, 2024, 54(10): 6435−6446 doi: 10.1109/TSMC.2024.3429467 [27] Gan W H, Qu X Q, Song D L, Yao P. Multi-USV cooperative chasing strategy based on obstacles assistance and deep reinforcement learning. IEEE Transactions on Automation Science and Engineering, 2024, 21(4): 5895−5910 doi: 10.1109/TASE.2023.3319510 [28] Eberhard O, Hollenstein J, Pinneri C, Martius G. Pink noise is all you need: Colored noise exploration in deep reinforcement learning. In: Proceedings of the 11th International Conference on Learning Representations. New Orleans, USA: OpenReview.net, 2019. [29] Raffin A, Hill A, Gleave A, Kanervisto A, Ernestus M, Dormann N. Stable-baselines3: Reliable reinforcement learning implementations. Journal of Machine Learning Research, 2021, 22(268): 1−8 [30] Plappert M, Houthooft R, Dhariwal P, Sidor S, Chen R Y, Chen X, et al. Parameter space noise for exploration. arXiv preprint arXiv: 1706.01905, 2018. [31] Hu J, Hu S Y, Liao S W. Policy regularization via noisy advantage values for cooperative multi-agent actor-critic methods. arXiv preprint arXiv: 2106.14334, 2023. [32] Lillicrap T P, Hunt J J, Pritzel A, Heess N, Erez T, Tassa Y, et al. Continuous control with deep reinforcement learning. arXiv preprint arXiv: 1509.02971, 2019. -
下载:
计量
- 文章访问数: 163
- HTML全文浏览量: 116
- 被引次数: 0
