-
摘要:
针对深度神经网络模型学习照应语和候选先行语的语义信息忽略了每一个词在句中重要程度, 且无法关注词序列连续性关联和依赖关系等问题, 提出一种结合语境多注意力独立循环神经网络(Contextual multi-attention independently recurrent neural network, CMAIR) 的维吾尔语人称代词指代消解方法. 相比于仅依赖照应语和候选先行语语义信息的深度神经网络, 该方法可以分析上下文语境, 挖掘词序列依赖关系, 提高特征表达能力. 同时, 该方法结合多注意力机制, 关注待消解对多层面语义特征, 弥补了仅依赖内容层面特征的不足, 有效识别人称代词与实体指代关系. 该模型在维吾尔语人称代词指代消解任务中的准确率为90.79 %, 召回率为83.25 %, F值为86.86 %. 实验结果表明, CMAIR模型能显著提升维吾尔语指代消解性能.
Abstract:The deep neural network model learns the semantic information of anaphora and candidate antecedent, ignores the importance of each word in the sentence, and cannot pay attention to the continuous association and dependence of the word sequence. This paper proposes a Uyghur personal pronoun anaphora resolution method based on contextual multi-attention independent recurrent neural network (CMAIR). Compared with deep neural networks that rely only on the semantic information of anaphora and candidate antecedent, this method can analyze context relations, mine word sequence dependencies, and improve feature expression ability. At the same time, this method combines the multiattention mechanism, pays attention to the multi-layer semantic features to be resolved, efiectively compensates for the lack of content-level features, and efiectively recognizes the relationship between personal pronouns and entities. The precision rate of this method in the Uyghur personal pronoun anaphora resolution task is 90.79 %, the recall rate is 83.25 %, and the F value is 86.86 %. The experimental results show that the CMAIR model can signiflcantly improve the performance of Uyghur personal pronoun anaphora resolution.
-
Key words:
- Attention mechanism /
- context /
- independently recurrent neural network /
- anaphora resolution
-
复杂网络由大量的动态节点互联组成, 具有规模大、链接方式灵活多变、随机性高等特征, 各节点之间可以通过相互交换信息协同完成复杂工作[1-2]. 复杂网络能够反映真实大系统的内在耦合特性, 人们通过研究复杂网络从而量化和预测世界. 基于以上优点, 复杂网络在人类生产生活的各个领域中得到广泛的应用, 如社交网络、生物神经网络、电力网络等[3-4]. 文献[5]对小世界模型、无标度模型等具有广义随机复杂特性的动态网络模型进行研究. 文献[6]对耦合振荡器网络模型进行总结. 复杂网络在受到内部耦合关系影响的同时还受到外部环境干扰. 在过去的大半个世纪, 高斯噪声是一种重要的噪声模型, 得到很多学者关注, 并产生了卡尔曼滤波等一系列具有重要影响的工作. 文献[7-8]分别针对具有高斯白噪声的无标度复杂网络和移动传感器复杂网络开展研究. 然而, 受到噪声干扰的复杂网络还需要学者进一步的研究.
近年来, 随着计算机和通信技术的高速发展, 通过多节点进行信息交换的复杂网络大量应用于具有空间分布式特征的网络化控制系统[9–12]. 网络化控制系统通过共享通信网络来传输和交换传感器、控制器和执行器等节点间的信息. 与传统的控制系统相比, 网络化控制系统具有信息共享、灵活易扩展等优势, 在自动控制等领域发挥了重要作用[13]. 文献[14] 构建一种针对城市环境的多飞行器协同控制的网络化控制系统. 文献[15] 通过建立前馈和反馈的混合机制, 研究具有通信时滞的非线性网络化控制系统的跟踪控制问题. 在传统的点对点专用独立连接系统中, 节点间的信息传输不受限, 其测量值不存在时滞. 而与之相比, 网络化控制系统传输信息的共享通信信道带宽受限, 且实际工程系统中不可避免地存在网络拥塞、传感器饱和等因素, 这将导致测量中信号的时滞以不确定的方式出现. 这也会引起系统的不稳定, 影响估计器的性能. 文献[16] 针对存在不确定时滞的一般复杂网络, 通过自适应反馈控制给出一种用于同时辨识拓扑结构和未知参数的结构辨识方法. 文献[17] 针对存在一步随机时滞和测量乱序的线性系统, 通过求解一组递推离散时间黎卡提方程, 提出一种新的针对无序测量的最优估计器. 文献[18] 针对具有通信时延和随机缺失量测的复杂系统, 通过设计分散输出反馈控制达成最优控制. 由此可知, 考虑系统测量值随机时滞是很有必要的.
在现实生活中, 各类系统中的传感器往往不能够完全测量出系统的内部状态值, 因此对系统状态估计问题的研究是具有重要现实意义的. 并且随着当今社会信息化、智能化程度越来越高, 如何对各类复杂网络状态进行较为准确的估计已经成为众多学者所探索的难题[19–22]. 在过去网络节点数和信息通信量较小时, 网络的状态估计问题常常使用集中式方法解决. 在集中式状态估计中, 由于网络中的每一个节点都能够获得除自身外其他所有节点的观测信息来进行最优估计, 这就保证系统网络中每一个节点都能更为精确地对系统状态进行估计. 由于拥有估计精准度高的优点, 如今集中式状态估计的方法仍广泛应用于各类网络化系统中, 如在电力系统中利用间歇终端数据并采用联合扩展卡尔曼滤波器对发电装置进行集中式动态估计, 得到较好的仿真效果[23]. 尽管集中式状态估计在最优性上有着不可比拟的优势, 但随着各类系统网络复杂度越来越高, 信息通信量也呈指数级增长, 集中式状态估计方法效率低下等弊端日益凸显. 因此针对各类复杂网络, 如何设计鲁棒性更强、效率更高的分布式状态估计方法成为目前的研究热点. 针对网络拓扑结构会发生切换的复杂系统, 文献[24-25] 给出估计误差均方有界的估计策略. 分布式状态估计方法还在应对节点发生故障或系统模型发生参数摄动等常见的问题时有着较强的适应性[26], 即使对带有不确定性的非线性系统, 分布式估计也能达到较好的估计效果[27]. 针对存在测量时滞的各类复杂网络[28], 如何为其设计精准的分布式状态估计器也是亟需研究的重要问题之一.
结合上述讨论分析, 本文主要研究存在随机测量时滞的复杂网络分布式状态估计问题. 本文的创新性总结如下:
1) 基于复杂网络模型设计状态预测器, 并得到状态预测误差协方差. 通过杨氏不等式解决节点之间状态的耦合问题, 基于矩阵迹范数和配方法给出杨氏不等式引进参数的最优值. 与现有文献[25] 没有优化杨氏不等式引进参数的情况相比, 有效地降低了状态预测误差协方差.
2) 基于存在一步随机时滞的测量值, 设计复杂网络的分布式状态估计器. 采用配方法设计使估计器性能最优的增益, 得到相应的状态估计误差协方差. 与文献[24]不同, 通过与优化后的状态预测误差协方差相结合, 给出了状态估计误差协方差的迭代公式.
3) 针对所获得的状态估计误差协方差迭代公式, 基于估计误差协方差向量化的方法, 给出了估计误差协方差稳定的一个充分条件.
本文将按照以下结构对问题进行叙述. 第1节对复杂网络和时滞测量模型进行描述, 并设计状态预测器与分布式估计器. 在第2节中, 给出预测误差协方差和估计误差协方差, 并得到估计误差协方差的迭代不等式. 第3节分析估计误差协方差的稳定性. 第4节通过数值实例分析验证所得算法的有效性. 第5节给出本文的结论.
注 1. 本文中, $ {\bf{R}}^{n} $表示$ n $维实数列向量集合, $ \rm{diag}\{\cdot\} $表示对角矩阵, $ \rm{tr}(\cdot) $, $ \rho(\cdot) $和$ \rm{vec}(\cdot) $分别表示矩阵的迹、谱半径和矩阵向量化, 正定矩阵(半正定矩阵)$ M $, 记为$M\succ0\,(M\succeq0)$. $ P\{\cdot\} $表示随机变量的概率, $ \mathrm{E}\{\cdot\} $表示随机变量的数学期望, 上标“−1” 表示矩阵的逆. $A \otimes B$表示矩阵$A $和矩阵$B $的克罗内克积. $I_n $代表维度为$n $的单位矩阵. $||{\boldsymbol{x}}||$表示向量${\boldsymbol{x}}$的欧几里得范数.
1. 问题描述
1.1 复杂网络描述
本文考虑如下由$ N $个节点组成的离散复杂网络
$$ \left\{\begin{aligned} &{\boldsymbol{x}}_{i,k+1} = A_{i}{\boldsymbol{x}}_{i,k}+\sum^{N}_{j = 1}\Psi_{ij}\Gamma {\boldsymbol{x}}_{j,k} +{\boldsymbol{\omega}}_{i,k}\\ &{\boldsymbol{z}}_{i,k} = B_{i}{\boldsymbol{x}}_{i,k}+{\boldsymbol{\upsilon}}_{i,k} \end{aligned}\right. $$ (1) 其中, $ {\boldsymbol{x}}_{i,k}\in{\bf{R}}^{n} $, $ {\boldsymbol{z}}_{i,k}\in{\bf{R}}^{m} $分别表示复杂网络第$ i $个节点在$ k $时刻的状态向量和测量向量; $ {\boldsymbol{\omega}}_{i,k}\in{\bf{R}}^{n} $和$ {\boldsymbol{\upsilon}}_{i,k} \in{\bf{R}} ^{m} $为第$ i $个节点均值为0的高斯过程噪声和高斯测量噪声. $ A_{i} $, $ B_{i} $是具有适当维度的已知矩阵. 复杂网络各节点之间的连接关系由有向图$ ({\cal{V}},\; E,\; \Psi) $描述, 其中$ {\cal{V}} $表示节点的集合, $ E $表示边的集合, $ \Psi = [\Psi_{ij}]_{N\times N} $为复杂网络的外耦合矩阵, $\Psi_{ij} > 0\;(i\neq j)$表示节点$ {\cal{V}}_i $的信息可以传到节点$ {\cal{V}}_j $, 同时满足$\Psi_{ii} = -\sum^{N}_{j = 1,j\neq i}\Psi_{ij}$. $\Gamma = \rm{diag}\{r_{1},\cdots, r_{n}\}$为复杂网络的内耦合矩阵. 针对复杂网络 (1), 给出如下假设[29-30]:
假设 1. 节点$ i $的过程噪声$ {\boldsymbol{\omega}}_{i,k} $和测量噪声${\boldsymbol{ \upsilon}}_{i,k} $相互独立, 它们的均值为$ 0 $, 且方差分别为$Q_i = \mathrm{E}\{{\boldsymbol{\omega}}_{i,k}{\boldsymbol{\omega}}_{i,k}^{\mathrm{T}}\}\succeq0$和$ V_{i } = \mathrm{E}\{{\boldsymbol{\upsilon}}_{i,k}{\boldsymbol{\upsilon}}_{i,k}^{\mathrm{T}}\}\succ0 $.
假设 2. 系统参数组$ (A_i,B_i) $能检测.
假设 3. 节点$ i $的初始值$ {\boldsymbol{x}}_{i,0} $独立于过程噪声${\boldsymbol{\omega}}_{i,k}$和测量噪声${\boldsymbol{\upsilon}}_{i,k}$, 它的均值和方差分别为$ \bar{{\boldsymbol{x}}}_{i, 0} $和$\bar{P}_{i, 0} = \mathrm{E}\{({\boldsymbol{x}}_{i,0}-\bar{{\boldsymbol{x}}}_{i, 0})({\boldsymbol{x}}_{i,0}-\bar{{\boldsymbol{x}}}_{i, 0})^{\mathrm{T}}\}\succ0$.
1.2 时滞测量描述
由于传感器测量存在不确定干扰, 另外测量值有时需要通过无线网络传输, 因此, 测量时滞成为不可避免的问题. 本文考虑每个时刻接收的测量值存在最多一个步长的随机延滞, 其测量模型描述为
$$ \begin{equation} \begin{aligned} {\boldsymbol{y}}_{i,k} = \theta_{k}{\boldsymbol{z}}_{i,k-1}+(1-\theta_{k}){\boldsymbol{z}}_{i,k} \end{aligned} \end{equation} $$ (2) 其中, ${\boldsymbol{y}}_{i,k}\in{\bf{R}}^m$表示在$k $时刻收到复杂网络第$i $个节点的测量值, $ \theta_{k} $是取值为0或者1的伯努利随机变量, 具有如下随机特性
$$ \begin{equation} \left\{\begin{aligned} &P\{\theta_{k} = 1\} = p\\&P\{\theta_{k} = 0\} = 1-p \end{aligned}\right. \end{equation} $$ (3) $0<p <1$为已知常数. 基于随机变量$ \theta_{k} $的概率特性 (3), 进一步可得随机变量$ \theta_{k} $的均值和二阶矩为
$$ \left\{\begin{aligned} \mathrm{E}\{\theta_{k}\} = p\\ \mathrm{E}\{\theta_{k}^{2}\} = p\\ \end{aligned}\right. $$ (4) 由式(3)可知, 随机变量$ \theta_{k} $的取值反映了当前时刻测量值是否发生一步时滞. 即当$ \theta_{k} = 1 $时, 表示当前时刻的测量值发生一步时滞; 当$ \theta_{k} = 0 $时, 则表示当前时刻的测量值没有发生时滞.
1.3 状态预测器与状态估计器
接下来将基于节点$ i $的模型(1)和随机时滞的测量值(2), 通过设计状态预测器和分布式状态估计器估计节点$ i $的状态. 该估计器$ k+1 $时刻的状态预测值和状态估计值分别记为$ \hat{{\boldsymbol{x}}}_{i, k+1|k} $和$ \hat{{\boldsymbol{x}}}_{i, k+1|k+1} $.
针对复杂网络模型(1), 设计如下状态预测方程
$$ \begin{equation} \begin{aligned} \hat{{\boldsymbol{x}}}_{i,k+1|k} = &A_{i}\hat{{\boldsymbol{x}}}_{i,k|k}+\sum^{N}_{j = 1}\Psi_{ij}\Gamma \hat{{\boldsymbol{x}}}_{j,k|k} \end{aligned} \end{equation} $$ (5) 基于随机时滞测量值 (2), 复杂网络 (1)节点$ i $的分布式状态估计器设计为
$$ \begin{equation} \begin{split} &\hat{{\boldsymbol{x}}}_{i,k+1|k+1} = \\ &\qquad\hat{{\boldsymbol{x}}}_{i,k+1|k}+K_{i,k+1}\Big[\theta_{k+1}\big({\boldsymbol{z}}_{i,k}-\hat{{\boldsymbol{z}}}_{i,k|k}\big)\;+\\ &\qquad(1-\theta_{k+1})\big({\boldsymbol{z}}_{i,k+1}-\hat{{\boldsymbol{z}}}_{i,k+1|k}\big)\Big] \end{split} \end{equation} $$ (6) 其中, $ K_{i,k+1} \in {\bf{R}}^{n\times m} $为节点$ i $待设计的估计器增益矩阵, $ \hat{{\boldsymbol{z}}}_{i,k|k} = B_{i}\hat{{\boldsymbol{x}}}_{i,k|k},\hat{{\boldsymbol{z}}}_{i,k+1|k} = B_{i}\hat{{\boldsymbol{x}}}_{i,k+1|k} $.
注 2. 本文所设计的估计器充分利用估计器邻居的信息, 这也要求各个节点能够进行信息通信, 获得相邻节点的状态估计值以及状态协方差等信息.
将复杂网络节点$ i $的状态预测误差$ {\boldsymbol{e}}_{i,k+1|k} $和状态估计误差$ {\boldsymbol{e}}_{i,k+1| k+1} $以及它们的协方差分别定义为
$$ \begin{equation} \left\{\begin{aligned} &{\boldsymbol{e}}_{i,k+1|k}={\boldsymbol{x}}_{i,k+1}-\hat{{\boldsymbol{x}}}_{i,k+1|k}\\ &{\boldsymbol{e}}_{i,k+1|k+1}={\boldsymbol{x}}_{i,k+1}-\hat{{\boldsymbol{x}}}_{i,k+1|k+1}\\ &P_{i,k+1|k}=\mathrm{E}\big\{{\boldsymbol{e}}_{i,k+1|k}{\boldsymbol{e}}_{i,k+1|k}^{\mathrm{T}}\big\}\\ &P_{i,k+1|k+1}=\mathrm{E}\big\{{\boldsymbol{e}}_{i,k+1|k+1}{\boldsymbol{e}}_{i,k+1|k+1}^{\mathrm{T}}\big\} \end{aligned}\right. \end{equation} $$ (7) 由复杂网络(1)、状态预测方程(5)和状态预测误差定义(7), 可以得到复杂网络节点$ i $的状态预测误差$ {\boldsymbol{e}}_{i,k+1|k} $为
$$ \begin{equation} \begin{aligned} {\boldsymbol{e}}_{i,k+1|k} = A_{i}{\boldsymbol{e}}_{i,k|k}+\sum^{N}_{j = 1}\Psi_{ij}\Gamma{}{\boldsymbol{e}}_{j,k|k}+{\boldsymbol{\omega}}_{i,k} \end{aligned} \end{equation} $$ (8) 同理, 基于复杂网络(1)、状态估计方程(6)和状态估计误差定义(7), 可以得到复杂网络节点$ i $的状态估计误差为
$$ \begin{equation} \begin{split} &{\boldsymbol{e}}_{i,k+1|k+1} = \\ &\qquad{\boldsymbol{e}}_{i,k+1|k}-K_{i,k+1}[\theta_{k+1}(B_{i}{\boldsymbol{e}}_{i,k|k}+{\boldsymbol{\upsilon}}_{i,k})\;+\\ &\qquad(1-\theta_{k+1})(B_{i}{\boldsymbol{e}}_{i,k+1|k}+{\boldsymbol{\upsilon}}_{i,k+1})] \end{split} \end{equation} $$ (9) 本文的主要目标是针对存在随机时滞的测量值, 设计估计器增益$ K_{k} $优化估计误差协方差. 下文将会用到杨氏不等式引理.
引理 1. 对于任意两个矩阵$ X \in{\bf{R}}^{n\times n} $, $ Y \in{\bf{R}}^{n\times n} $和一个正标量$ \gamma $, 则以下不等式成立[31]
$$ \begin{equation} \begin{aligned} XY^{\mathrm{T}}+YX^{\mathrm{T}}\preceq \gamma XX^{\mathrm{T}}+\gamma^{-1}YY^{\mathrm{T}} \end{aligned} \end{equation} $$ (10) 2. 主要结果
本节将对所设计状态估计器的估计误差协方差进行分析, 并求出使得状态估计误差协方差最小的滤波器增益矩阵$ K_{i,k+1} $, 进而得出状态估计误差协方差的迭代式.
根据状态预测误差协方差的定义(7)和预测误差方程(8), 可得复杂网络的状态预测误差协方差为
$$ \begin{split} &P_{i,k+1|k} = \\ &\qquad(A_{i}+\Psi_{ii}\Gamma)P_{i,k|k}(A_{i}+\Psi_{ii}\Gamma)^{{\rm{T}}}+ Q_{i}\;+ \\ &\qquad\sum^{N}_{j = 1,j\neq{}i}\Psi_{ij}\Gamma{\rm{E}}\big\{{\boldsymbol{e}}_{j,k|k}{\boldsymbol{e}}_{i,k|k}^{{\rm{T}}}\big\}(A_{i}+\Psi_{ii}\Gamma)^{{\rm{T}}}\;+\\ &\qquad\sum^{N}_{j = 1,j\neq{}i}\Psi_{ij}(A_{i}+\Psi_{ii}\Gamma){\rm{E}}\big\{{\boldsymbol{e}}_{i,k|k}{\boldsymbol{e}}_{j,k|k}^{{\rm{T}}}\big\}\Gamma^{{\rm{T}}}\;+\\ &\qquad\sum^{N}_{j = 1,j\neq{}i}\sum^{N}_{h = 1,h\neq{}i}\Psi_{ij}\Psi_{ih}\Gamma {\rm{E}}\big\{{\boldsymbol{e}}_{j,k|k}{\boldsymbol{e}}_{h,k|k}^{{\rm{T}}}\big\}\Gamma^{{\rm{T}}} \end{split} $$ (11) 同理, 结合状态估计误差协方差定义 (7)和状态估计误差方程 (9), 状态估计误差协方差为
$$ \begin{equation} \begin{split} &P_{i,k+1|k+1} = \\ &\qquad P_{i,k+1|k}-\left(1-p\right)\big(K_{i,k+1}B_{i}P_{i,k+1|k}\;+\\ &\qquad P_{i,k+1|k}B_{i}^{\mathrm{T}}K_{i,k+1}^{\mathrm{T}}\big)-pK_{i,k+1}B_{i}\;\times\\ &\qquad\mathrm{E}\big\{{\boldsymbol{e}}_{i,k|k}{\boldsymbol{e}}_{i,k+1|k}^{\mathrm{T}}\big\}-p\mathrm{E}\big\{{\boldsymbol{e}}_{i,k+1|k}{\boldsymbol{e}}_{i,k|k}^{\mathrm{T}}\big\}\;\times\\ &\qquad B_{i}^{\mathrm{T}}K_{i,k+1}^{\mathrm{T}}+K_{i,k+1}\big\{B_{i}\big[pP_{i,k|k}\;+\\ &\qquad(1-p)P_{i,k+1|k}\big]B_{i}^{\mathrm{T}} +V_{i} \big\}K_{i,k+1}^{\mathrm{T}} \end{split} \end{equation} $$ (12) 基于状态预测误差协方差(11)和状态估计误差协方差(12), 可得状态估计误差协方差的迭代式及对应的最优估计器增益如定理1所示.
定理 1. 复杂网络(1)中节点$ i $的分布式状态估计器增益设计为
$$ \begin{equation} \begin{split} K^*_{i,k+1} = \;&P_{i,k+1|k}B_i^\mathrm{T}\Bigg(\frac{p(1+ \gamma_{2,i}^{-1})}{1-p} B_{i}P_{i,k|k} B_{i}^{\mathrm{T}}\;+ \\ &\frac{V_{i}}{1-p} + B_{i}P_{i,k+1|k} B_{i}^{\mathrm{T}}\Bigg)^{-1} \\[-15pt]\end{split} \end{equation} $$ (13) 则复杂网络(1)中节点$ i $的状态估计误差协方差$ P_{i,k+1|k+1} $满足
$$ \begin{equation} \begin{split} &P_{i,k+1|k+1}\preceq\\ &\qquad p (\gamma_{2,i}+1) \Bigg[\Big(1+\gamma_{1,i,k}^{-1*}\sum^{N}_{j = 1,j\neq{}i}\Psi_{ij}\Big)\;\times\\ &\qquad(A_{i}+\Psi_{ii}\Gamma) P_{i,k|k}(A_{i}+\Psi_{ii}\Gamma)^{\mathrm{T}}+Q_{i}\;+\\ &\qquad\Big(\sum^{N}_{j = 1,j\neq{}i}\Psi_{ij}+\gamma^*_{1,i,k}\Big) \sum^{N}_{j = 1,j\neq{}i}\Psi_{ij}\Gamma P_{j,k|k}\Gamma^{\mathrm{T}}\Bigg]\;+ \end{split} \end{equation} $$ $$ \begin{equation} \begin{split} &\qquad\Bigg[\Bigg((1-p)\Big(1+\gamma_{1,i,k}^{-1*} \sum^{N}_{j = 1,j\neq i}\Psi_{ij}\Big)(A_{i}\;+\\ &\qquad\Psi_{ii}\Gamma) P_{i,k|k} (A_{i}+\Psi_{ii}\Gamma)^{\mathrm{T}}+\Big(\gamma^*_{1,i,k}\;+ \\ &\qquad\sum^{N}_{j = 1,j\neq{}i}\Psi_{ij}\Big)\sum^{N}_{j = 1,j\neq{}i}\Psi_{ij}\Gamma P_{j,k|k}\Gamma^{\mathrm{T}}+ Q_{i} \Bigg)^{-1} \;+\\ &\qquad B_i^\mathrm{T} \Big(p(1+ \gamma_{2,i}^{-1} ) B_{i} P_{i,k|k}B_{i}^{\mathrm{T}}+V_{i}\Big)^{-1}B_i\Bigg]^{-1}\\[-15pt] \end{split} \end{equation} $$ (14) 其中,
$$ \begin{equation} \left\{ \begin{aligned} &\gamma^*_{1,i,k} = {\sqrt{\frac{\rm{tr}(M_{1,i,k})}{\rm{tr}(M_{ 2,i, k})}}},M_{2,{i},k} = \sum^{N}_{j = 1,j\neq{}i} \Psi_{ij} \Gamma P_{j,k|k}\Gamma^{\mathrm{T}}\\ &M_{1,{i},k} = \sum^{N}_{j = 1,j\neq{}i} \Psi_{ij} (A_{i}+ \Psi_{ij} \Gamma) P_{i,k|k} (A_{i} + \Psi_{ij} \Gamma)^{\mathrm{T}}\end{aligned}\right. \end{equation} $$ (15) 证明. 针对状态预测误差协方差(11)中的耦合项, 运用引理$ 1 $的杨氏不等式可得
$$ \begin{equation} \begin{split} &\sum^{N}_{j = 1,j\neq i}\Psi_{ij}\Gamma \mathrm{E}\big\{{\boldsymbol{e}}_{j,k|k}{\boldsymbol{e}}_{i,k|k}^{\mathrm{T}}\big\}\big(A_{i}+\Psi_{ii}\Gamma\big)^{\mathrm{T}}\;+\\ &\qquad\sum^{N}_{j = 1,j\neq{}i}(A_{i}+\Psi_{ii}\Gamma)\mathrm{E} \big\{{\boldsymbol{e}}_{i,k|k}{\boldsymbol{e}}_{j,k|k}^{\mathrm{T}}\big\}\Gamma^{\mathrm{T}}\Psi_{ij}\preceq\\ & \qquad\sum^{N}_{j = 1,j\neq{}i}\big[\gamma_{1,{i},k} \Psi_{ij} \Gamma P_{j,k|k}\Gamma^{\mathrm{T}}+\gamma_{1,i,k}^{-1} \Psi_{ij} (A_{i}\;+\\ &\qquad\Psi_{ii}\Gamma){}P_{i,k|k}(A_{i}+\Psi_{ii}\Gamma)^{\mathrm{T}}\big] \\[-10pt]\end{split} \end{equation} $$ (16) 同理, 可得
$$ \begin{equation} \begin{split} &\sum^{N}_{j = 1,j\neq{}i}\sum^{N}_{h = 1,h\neq{}i}\Psi_{ij}\Psi_{ih}\Gamma \mathrm{E}\big\{{\boldsymbol{e}}_{j,k|k}{\boldsymbol{e}}_{h,k|k}^{\mathrm{T}}\big\}\Gamma^{\mathrm{T}}\preceq\\ &\qquad\sum^{N}_{j = 1,j\neq{}i}\Psi_{ij}\sum^{N}_{j = 1,j\neq{}i}\Psi_{ij}\Gamma P_{j,k|k}\Gamma ^{\mathrm{T}} \end{split} \end{equation} $$ (17) 将消去耦合项的不等式(16)和(17)代入状态预测误差协方差(11), 可得
$$ \begin{equation} \begin{split} &P_{i,k+1|k}\preceq\\ &\qquad\Bigg(1+\gamma_{1,i,k}^{-1}\sum^{N}_{j = 1,j\neq{}i}\Psi_{ij}\Bigg)(A_{i}+\Psi_{ii}\Gamma) P_{i,k|k}\;\times\\ &\qquad(A_{i}+\Psi_{ii}\Gamma)^{\mathrm{T}}+Q_{i}+\Bigg( \sum^{N}_{j = 1,j\neq{}i}\Psi_{ij}+ \gamma_{1,i,k}\Bigg)\;\times\\ &\qquad\sum^{N}_{j = 1,j\neq{}i}\Psi_{ij}\Gamma P_{j,k|k}\Gamma^{\mathrm{T}}\\[-15pt] \end{split} \end{equation} $$ (18) 由式(18)可知, 不等式右边与变量$ \gamma_{1,i,k} $有关. 为优化变量$ \gamma_{1,i,k} $, 基于矩阵迹和式(18), 定义如下函数
$$ \begin{equation} \begin{split} \zeta(\gamma_{1,i,k}) = &\left( \sqrt{\frac{\rm{tr}(M_{1,i,k})}{\gamma_{1,i,k}}}- \sqrt{\rm{tr}(M_{2,i,k})\gamma_{1,i,k}} \right)^2\;+ \\ &2\sqrt{\rm{tr}(M_{1,i,k})\rm{tr}(M_{2,i,k})} +\rm{tr}(M_{3,i,k}) \end{split} \end{equation} $$ (19) 其中,
$$ \begin{equation*} \begin{aligned} M_{3,i,k} =\; &(A_{i}+\Psi_{ii}\Gamma)P_{i,k|k}(A_{i}+\Psi_{ii}\Gamma)^{\mathrm{T}}+ Q_{i}\;+ \\ & \sum^{N}_{j = 1,j\neq{}i}\Psi_{ij} \sum^{N}_{j = 1,j\neq{}i}\Psi_{ij}\Gamma P_{ j,k|k}\Gamma^{\mathrm{T}} \end{aligned} \end{equation*} $$ 根据式(19)可知, 当$ \gamma_{1,i,k} = \gamma_{1,i,k}^* $时, 由不等式(18) 可以得到
$$ \begin{equation} \begin{split} &P_{i,k+1|k}\preceq\\ &\qquad\Bigg(1+\gamma_{1,i,k}^{-1*}\sum^{N}_{j = 1,j\neq{}i}\Psi_{ij}\Bigg)(A_{i}+\Psi_{ii}\Gamma) P_{i,k|k}\;\times\\ &\qquad(A_{i}+\Psi_{ii}\Gamma)^{\mathrm{T}}+\Bigg(\gamma^*_{1,i,k}+\sum^{N}_{j = 1,j\neq{}i}\Psi_{ij}\Bigg)\;\times\\ &\qquad\sum^{N}_{j = 1,j\neq{}i}\Psi_{ij}\Gamma P_{j,k|k}\Gamma^{\mathrm{T}}+ Q_{i} \\[-15pt]\end{split} \end{equation} $$ (20) 接下来, 将基于式(12)分析状态估计误差协方差$ P_{i,k+1|k+1} $的迭代公式及估计器的设计. 首先, 根据引理$ 1 $中的杨氏不等式对估计误差协方差(12)中的耦合项进行解耦, 可得
$$ \begin{equation} \begin{split} & -p\Big(\mathrm{E}\big\{{\boldsymbol{e}}_{i,k+1|k}{\boldsymbol{e}}_{i,k|k}^{{\rm{T}}}\big\} B_{i}^{\mathrm{T}}K_{i,k+1}^{\mathrm{T}}\; +\\ &\qquad K_{i,k+1} B_{i}\mathrm{E}\big\{{\boldsymbol{e}}_{i,k|k}{\boldsymbol{e}}_{i,k+1|k}^{\mathrm{T}}\big\} \Big)\preceq\\ &\qquad{}p\Big(\gamma_{2,i}P_{i,k+1|k}+ \gamma_{2,i}^{-1}K_{i,k+1}B_{i} P_{i,k|k} B_{i}^{\mathrm{T}}K_{i,k+1}^{\mathrm{T}} \Big) \end{split} \end{equation} $$ (21) 将式(21)代入式(12), 可得以下关于状态估计误差协方差$ P_{i,k+1|k+1} $的不等式
$$ \begin{equation} \begin{split} &P_{i,k+1|k+1}\preceq\\ &\qquad(1+p\gamma_{2,i})P_{i,k+1|k}-(1-p)\Big(K_{i,k+1}B_{i}\;\times\\ &\qquad P_{i,k+1|k}+P_{i,k+1|k}B_{i}^{\mathrm{T}}K_{i,k+1}^{\mathrm{T}}\Big)+K_{i,k+1}\;\times\\ &\qquad\Big[p\Big(1+ \gamma_{2,i}^{-1}\Big)B_{i}P_{i,k|k}B_{i}^{\mathrm{T}}+V_{i}\;+ \\ &\qquad(1-p)B_{i}P_{i,k+1|k}B_{i}^{\mathrm{T}}\Big]K_{i,k+1}^{\mathrm{T}}\\[-14pt] \end{split} \end{equation} $$ (22) 由式(22)可知, 状态估计误差协方差$ P_{i,k+1|k+1} $可以通过设计估计器增益$ K_{i,k+1} $进行优化, 通过配方可以将式(22)转化为
$$ \begin{equation} \begin{split} &P_{i,k+1|k+1}\preceq\\ &\qquad(1-p)\Bigg[K_{i,k+1}-P_{i,k+1|k}B_i^\mathrm{T}\Bigg(\frac{p(1+ \gamma_{2,i}^{-1})}{1-p} B_{i}\;\times \\ &\qquad P_{i,k|k}B_{i}^{\mathrm{T}}+\frac{V_{i}}{1-p} + B_{i}P_{i,k+1|k} B_{i}^{\mathrm{T}}\Bigg)^{-1}\Bigg]\;\times \\ &\qquad\Bigg(\frac{p(1+ \gamma_{2,i}^{-1})}{1-p}B_{i}P_{i,k|k}B_{i}^{\mathrm{T}}+\frac{V_{i}}{1-p}+ B_{i}\;\times\\ &\qquad P_{i,k+1|k} B_{i}^{\mathrm{T}}\Bigg)\Bigg[K_{i,k+1} -P_{i,k+1|k} B_i^\mathrm{T}\Bigg(\frac{V_{i}}{1-p}\;+ \\ &\qquad\frac{p(1+ \gamma_{2,i}^{-1})}{1-p} B_{i}P_{i,k|k}B_{i}^{\mathrm{T}} + B_{i}P_{i,k+1|k}B_{i}^{\mathrm{T}}\Bigg)^{-1}\Bigg]^{\mathrm{T}}\;- \\ &\qquad (1-p)^{2}P_{i,k+1|k}B_{i}^{\mathrm{T}} \Big[p\Big(1+ \gamma_{2,i}^{-1}\Big) B_{i}P_{i,k|k}B_{i}^{\mathrm{T}}\;+\\ &\qquad V_{i}+(1-p) B_{i}P_{i,k+1|k}B_{i}^{\mathrm{T}}\Big]^{-1} B_{i}P_{i,k+1|k}\;+ \\ &\qquad(1+p\gamma_{2,i})P_{i,k+1|k} \\[-10pt]\end{split} \end{equation} $$ (23) 结合估计器增益(13), 不等式(23)右边可以取到最小值, 即
$$ \begin{equation} \begin{split} &P_{i,k+1|k+1}\preceq\\ &\qquad(1+p\gamma_{2,i})P_{i,k+1|k}-(1-p)^{2}P_{i,k+1|k} B_{i}^\mathrm{T}\;\times\\ & \qquad\Big[p\Big(1+ \gamma_{2,i}^{-1}\Big)B_{i} P_{i,k|k}B_{i}^{\mathrm{T}} +V_{i}+(1-p)\;\times\\ &\qquad B_{i}P_{i,k+1|k}B_{i}^{\mathrm{T}}\Big]^{-1} B_{i}P_{i,k+1|k} = \\ &\qquad{p(\gamma_{2,i}+1)}P_{i,k+1|k}+\Big[\Big((1-p)P_{i,k+1|k}\Big)^{-1}\;+\\ &\qquad B_i^\mathrm{T}\Big(p\Big(1+ \gamma_{2,i}^{-1}\Big)B_{i} P_{i,k|k}B_{i}^{\mathrm{T}} +V_{i}\Big)^{-1}B_i\Big]^{-1} \end{split} \end{equation} $$ (24) 基于状态预测协方差(20)和状态估计协方差(24), 可得式(14)所示的状态估计协方差迭代公式.
□ 3. 稳定性分析
本节将分析第$ 2 $节所得的估计误差协方差的稳定性. 记预测误差协方差(18)与估计误差协方差(22)的上界分别为$ \Omega_{i,k+1|k} $和$ \Omega_{i,k+1|k+1} $. 采用向量化[32]方法, 定义${\rm{vec}}(\Omega_{k+1|k+1})= [{\rm{vec}}(\Omega_{1,k+1|k+1})^{{\rm{T}}}, \cdots,{\rm{vec}}(\Omega_{N,k+1|k+1})^{{\rm{T}}}]^{{\rm{T}}}$, 则根据式(20)和式(22)可得如下线性系统:
$$ {\rm{vec}}(\Omega_{k+1|k+1})= \Xi_{K_{k+1}}{\rm{vec}}(\Omega_{k|k})+\Pi_{K_{k+1}} $$ (25) 其中
$$ \begin{equation*} \begin{split} &\Xi_{K_{k+1}}= \left[\begin{array}{ccc} \bar{\Xi}_{1,K_{1,k+1}}& \cdots & \bar{\Phi}_{1,N,K_{1,k+1}}\\ \bar{\Phi}_{2,1,K_{2,k+1}}& \cdots & \bar{\Phi}_{2,N,K_{2,k+1}}\\ \vdots & \ddots & \vdots\\ \bar{\Phi}_{N,1,K_{N,k+1}} & \cdots & \bar{\Xi}_{N,K_{N,k+1}}\\ \end{array}\right]\\ &\bar{\Xi}_{i,K_{i,k+1}}=\alpha_{i}G_{i}((A_{i}+\Psi_{ii}\Gamma)\otimes(A_{i}+\Psi_{ii}\Gamma))\,+\\& \qquad p(1+ \gamma_{2,i}^{-1})(K_{i,k+1}B_{i})\otimes(K_{i,k+1}B_{i})\\ & \bar{\Phi}_{i,j,K_{i,k+1}}=\beta_{i}\Psi_{ij}G_{i}(\Gamma\otimes\Gamma)\\& \alpha_{i}=1+\gamma_{1,i,k}^{-1*}\sum^{N}_{j=1,j\neq{}i}\Psi_{ij}\\ &\beta_{i}=\gamma^*_{1,i,k}+\sum^{N}_{j=1,j\neq{}i}\Psi_{ij}\\& G_{i}=1+p\gamma_{2,i}+(1-p)(K_{i,k+1}B_{i})\,\otimes\\& \qquad\ (K_{i,k+1}B_{i})-(1-p)I_{n}\otimes(K_{i,k+1}B_{i})\,-\\& \qquad\ (1-p)(K_{i,k+1}B_{i})\otimes I_{n}\\& \Pi_{K_{k+1}} = \begin{bmatrix} G_{1}{\rm{vec}}(Q_{1})+K_{1,k+1} \otimes K_{1,k+1}{\rm{vec}}(V_{1}) \\ \vdots \\ G_{N}{\rm{vec}}(Q_{N})+K_{N,k+1} \otimes K_{N,k+1}{\rm{vec}}(V_{N}) \\ \end{bmatrix}\\ \end{split} \end{equation*} $$ 基于以上线性系统, 估计误差协方差稳定的充分条件总结如下.
定理2. 基于预测器(5)和估计器(6)得到的状态估计误差协方差$ P_{i,k+1|k+1} $有界的充分条件为存在常增益矩阵集合$ K = \{K_{1},\cdots,K_{N}\} $, 参数集合$ \gamma_{1} = \{\gamma_{1,1},\cdots,\gamma_{1,N}\} $和$\gamma_{2} = \{\gamma_{2,1},\cdots,\gamma_{2,N}\}$, 使得如下不等式成立:
$$ \begin{aligned} \rho(\Xi(K,\gamma_{1},\gamma_{2}))<1 \end{aligned} $$ (26) 其中, $\Xi(K,\gamma_{1},\gamma_{2}))= \Xi_{K_{k+1}} .$
证明. 如果存在$ K = \{K_{1},\cdots,K_{N}\} $, $\gamma_{1} = \{\gamma_{1,1}, \cdots, \gamma_{1,N}\}$和$ \gamma_{2} = \{\gamma_{2,1}, \cdots, \gamma_{2,N}\} $, 使得式(26)成立, 则由式(19)可知
$$\begin{aligned} \rho(\Xi(K,\gamma^{*}_{1,k},\gamma_{2}))\leq\rho(\Xi(K,\gamma_{1},\gamma_{2}))<1 \end{aligned} $$ (27) 进一步, 由式(13)最优估计器增益的设计可得
$$\begin{split} &\rho(\Xi(K_{k+1}^*,\gamma^{*}_{1,k},\gamma_{2}))\leq\rho(\Xi(K,\gamma^{*}_{1,k},\gamma_{2}))\leq\\&\qquad\rho(\Xi(K,\gamma_{1},\gamma_{2}))<1 \end{split} $$ (28) 基于谱半径(28), 可知向量${\rm{vec}}(\Omega_{ k+1|k+1})$是渐进稳定的. 根据式(20)和式(23)可得
$$ \begin{equation} \begin{aligned} P_{i,k+1|k+1}\preceq\Omega_{i,k+1|k+1} \end{aligned} \end{equation} $$ (29) 根据不等式(29), 可知$ P_{i,k+1|k+1} $是有界稳定的.
□ 4. 仿真验证
4.1 小车耦合系统描述
基于文献[33]中的单目标追踪模型, 本节考虑由$ 4 $个小车组成的编队系统. 定义小车$ i $的状态为${\boldsymbol{x}}_{i,k}=[s_{i,k}^{x}, \nu_{i,k}^{x} , s_{i,k}^{y}, \nu_{i,k}^{y}]^{\mathrm{T}}$, 其中, $ s_{i,k}^{x} $, $ s_{i,k}^{y} $和$ \nu_{i,k}^{x} $, $ \nu_{i,k}^{y} $分别代表该小车在$ X $, $ Y $轴上的位移(m)和速度(m/s). 图1 显示了小车信息的耦合关系, 小车间的箭头表示信息的流向. 小车之间的位置与速度信息可以通过专网进行交换, 或者通过测量相对信息换算获得. 由小车构成的耦合系统协同完成任务时, 一般相距较近同时采用专网通讯, 因此本文不考虑耦合信息的时滞问题[34−35]. 综上, 可得系统(1)的参数为
$$ \begin{equation*} \begin{aligned} A_{1}&=A_{2}=A_{3}=A_{4}= \left[\begin{array}{cccc} 1& T_{s}& 0& 0\\ 0& 1& 0& 0\\ 0& 0& 1& T_{s}\\ 0& 0& 0& 1\end{array}\right] \nonumber \end{aligned} \end{equation*} $$ $$ \begin{equation*} \begin{aligned} Q_{1}&=Q_{2}=Q_{3}=Q_{4}=q\left[\begin{array}{cccc} \dfrac{T_{s}^3}{3}& \dfrac{T_{s}^2}{2}& 0& 0\\ \dfrac{T_{s}^2}{2}& T_{s}& 0& 0\\ 0& 0& \dfrac{T_{s}^3}{3}& \dfrac{T_{s}^2}{2}\\ 0& 0& \dfrac{T_{s}^2}{2}& T_{s}\end{array}\right] \nonumber \end{aligned} \end{equation*} $$ 另外, 考虑系统的采样时间为$T_s = 0.1 \;{\rm{s}}$, 参数$ q = {0.01}\; {\rm{m}}^2/{\rm{s}}^3$. 小车之间的外部和内部耦合矩阵为
$$\begin{equation} \begin{aligned} \Psi&=\left[\begin{array}{cccc} -0.3&\, 0.2& 0\;\;\;\;& 0.1\\0& -0.3\;\;\; & 0.1& 0.2\\ 0& \;0.1& -0.3\;\;\;\; & 0.2 \\0& 0\;\;\,& 0.2& -0.2\;\;\;\, \end{array}\right]\nonumber \end{aligned} \end{equation}$$ $$\begin{equation} \begin{aligned} \Gamma&=\rm{diag}\{0.2, 0.2, 0.4, 0.4\} \end{aligned} \end{equation}$$ 针对以上给出的小车耦合系统, 每个小车的初始值为
$$ \begin{equation*} \begin{aligned} {\boldsymbol{x}}_{1,0}&=\left[\begin{array}{cccc}1 &1.2 &1 &1\end{array}\right]^\mathrm{T}\\ {\boldsymbol{x}}_{2,0}&=\left[\begin{array}{cccc} 0& 1& 1& 1\end{array}\right]^\mathrm{T}\\ {\boldsymbol{x}}_{3,0}&=\left[\begin{array}{cccc} 1 &1.2 &0 &1\end{array}\right]^\mathrm{T}\\ {\boldsymbol{x}}_{4,0}&=\left[\begin{array}{cccc} 0& 1& 0& 1\end{array}\right]^\mathrm{T} \end{aligned} \end{equation*} $$ 图2给出了小车的实际运动轨迹.
4.2 状态估计
令模型(1)中各个节点的量测矩阵为
$$ \begin{equation*} \begin{aligned} B_{1}&=B_{2}= B_{3}=B_{4} ={\left[\begin{array}{cccc} 1& 0& 0& 0\\ 0& 0& 1& 0\end{array}\right]} \nonumber \end{aligned} \end{equation*} $$ 即测量信息为小车在$ X $, $ Y $轴的坐标, 其对应的量测噪声方差分别为
$$ \begin{equation*} \begin{aligned} V_{1}& = V_{2} = \rm{diag}\{ 0.03, 0.03\}\\ V_{3}& = \rm{diag}\{ 0.04, 0.04\}\\ V_{4} &= \rm{diag}\{ 0.05, 0.05\} \nonumber \end{aligned} \end{equation*} $$ 由以上参数可知, 对于每个节点$i,$ $(A_i,B_i)\;(i = 1, 2,3,4)$是可观测的. 最后, 设传感器网络发生一步时滞的概率为$P(\theta_{k} = 1) = 0.03$. 估计器的状态初始值为
$$ \begin{equation*} \begin{aligned} \hat{{\boldsymbol{x}}}_{1,1|0} = \hat{{\boldsymbol{x}}}_{2,1|0} = \hat{{\boldsymbol{x}}}_{3,1|0} = \hat{{\boldsymbol{x}}}_{4,1|0} = 0 \end{aligned} \end{equation*} $$ 以及初始协方差为
$$ \begin{equation*} {P}_{1,1|0} = {P}_{2,1|0} = {P}_{3,1|0} = {P}_{4,1|0} = I \end{equation*} $$ 下面将从两个方面进行对比仿真验证:
1) 没有对杨氏不等式产生的变量进行优化[25], 即杨氏不等式产生的变量为常数, 假设$ \gamma_{1,i,k} = 1 $, $ \gamma_{2,i} = 0.7 $.
2) 采用迹范数及配方法对$ \gamma^*_{1,i,k} $进行优化, 即$ \gamma^*_{1,i,k} = \sqrt{\rm{tr}(M_{1,i,k})/\rm{tr}(M_{ 2,i, k})} $, $ \gamma_{2,i} = 0.7 $.
为比较两种方法的差别, 对系统的每个节点进行$ l = 100 $次蒙特卡洛仿真, 同时, 每次仿真的时间总和为100 s, 得到平均均方误差(Mean squared error, MSE), 其定义为
$$ \begin{equation} \begin{aligned} {{\rm{MSE}}}_{i,k|k} = \frac{1}{l}\sum^{l}_{o = 1}\Vert{\boldsymbol{x}}_{i,k}^o-\hat{{\boldsymbol{x}}}^o_{i,k|k}\Vert^2\nonumber \end{aligned} \end{equation} $$ 其中, $ {\boldsymbol{x}}_{i,k}^o $和$ \hat{{\boldsymbol{x}}}^o_{i,k|k} $是第$ o $次的轨迹和状态估计轨迹.
根据图3所示, 可知最优值$ \gamma_{1,k}^* $随着时间趋向于稳定. 结合$ \gamma_{1,k}^* $和最优估计器增益 (13), 图4 ~ 7 分别给出优化和未优化$ \gamma_{1,k} $情况下小车耦合系统的估计误差协方差上界的迹和MSE$ _{i,k|k} $, 其中纵坐标轴采用对数坐标轴. 从图4 ~ 7 可以得出本文所提出估计器的估计精度有一定提升, 即优化$ \gamma_{1,i ,k} $后, 估计误差协方差$ P_{i,k|k} $上界的迹明显下降, MSE$ _{i,k|k} $也得到改善. 另外由表1和表2 的数据也可得优化$ \gamma_{1,i ,k } $后, 估计误差协方差$ P_{i,k|k} $上界的迹和MSE$ _{i,k|k} $都有所降低.
图 4 基于优化和未优化$ \gamma_{1,1,k} $的第1个节点的估计误差协方差上界的迹和MSEFig. 4 The trace of upper bound of the estimation error covariance and the MSE of the node 1 based on $ \gamma_{1,1,k} $ with and without optimization
图 5 基于优化和未优化$ \gamma_{1,2,k} $的第2个节点的估计误差协方差上界的迹和MSEFig. 5 The trace of upper bound of the estimation error covariance and the MSE of the node 2 based on $ \gamma_{1,2,k} $ with and without optimization
图 6 基于优化和未优化$ \gamma_{1,3,k} $的第3个节点的估计误差协方差上界的迹和MSEFig. 6 The trace of upper bound of the estimation error covariance and the MSE of the node 3 based on $ \gamma_{1,3,k} $ with and without optimization
图 7 基于优化和未优化$ \gamma_{1,4,k} $的第4个节点的估计误差协方差上界的迹和MSEFig. 7 The trace of upper bound of the estimation error covariance and the MSE of the node 4 based on $ \gamma_{1,4,k} $ with and without optimization表 1 基于优化和未优化的$\gamma_{1,i,k}$的上界$\rm{tr}(P_{i,k|k})$Table 1 The upper bound $\rm{tr}(P_{i,k|k})$ based on $\gamma_{1,i,k}$ with and without optimization节点$i$ 未优化$\rm{tr}(P_{i,k|k})$上界 优化后$\rm{tr}(P_{i,k|k})$上界 优化幅度(%) 1 0.0679 0.0622 8.50 2 0.0686 0.0630 8.23 3 0.0806 0.0733 9.04 4 0.0768 0.0717 6.60 表 2 基于优化和未优化的$\gamma_{1,i,k}$的MSE$_{i,k|k}$Table 2 The MSE$_{i,k|k}$ based on $\gamma_{1,i,k}$ with and without optimization节点$i$ 未优化MSE$_{i,k|k}$均值 优化后MSE$_{i,k|k}$均值 优化幅度(%) 1 0.0357 0.0338 5.23 2 0.0364 0.0347 4.82 3 0.0424 0.0400 5.73 4 0.0456 0.0438 3.83 5. 结束语
本文研究了一类存在一步时滞的复杂网络分布式状态估计问题, 并采用伯努利随机变量刻画随机变化的时滞情况. 本文分别设计了复杂网络的状态预测器和分布式状态估计器. 基于杨氏不等式消除了耦合项, 基于迹范数结合配方法优化了状态预测误差协方差. 通过采用杨氏不等式和设计估计器增益, 获得了状态估计误差协方差, 同时基于预测误差协方差, 获得了状态估计误差协方差的迭代公式. 本文给出了估计误差协方差稳定的一个充分条件, 通过一个由小车组成的复杂网络系统, 验证了所设计估计器的有效性.
-
图 3 多注意力机制IndRNN模型框架图
Fig. 3 IndRNN model framework with multiple attention mechanisms
图 5 不同维度词向量分类F-score比较
Fig. 5 Comparison of difierent dimension word vector classiflcation F-score
表 1 词语句中成分标注
Table 1 Component labeling of words in sentences
表 2 词性标注
Table 2 Part of speech tagger
表 3 hand-crafted特征
Table 3 The feature of hand-crafted
照应语词性 词性一致 单复数一致 性别一致 先行语语义角色 照应语语义角色 存在嵌套 人称代词 非人称代词 是 否 是 否 是 否 未知 施事者 受事者 无 施事者 受事者 无 是 否 1 0 1 0 1 0 1 0 0.5 1 0.5 0 1 0.5 0 0 1 
下载: 导出CSV
表 4 实验参数设置
Table 4 Hyper parameters of experiment
Parameter Parameter description Value t Training epochs 50 b Batch 100 d Dropout rate 0.5 l IndRNN layers 3 k Kernel Size 3
下载: 导出CSV
表 5 与以往研究对比(%)
Table 5 Compared with previous studies (%)
Model P R F Tian 82.33 72.07 76.86 Li 88 80 83.81 CMAIR 90.79 83.25 86.86
下载: 导出CSV
表 6 不同模型消解性能对比(%)
Table 6 Comparison of different model anaphora resolution performance (%)
Model P R F CNN 75.47 74.16 74.81 ATT-CNN-1 80.14 77.46 78.78 ATT-CNN-2 82.37 78.80 80.55 ATT-CNN-3 83.02 79.61 81.27
下载: 导出CSV
表 7 不同特征类型对指代消解性能影响(%)
Table 7 The effect of different feature types on the anaphora resolution (%)
特征类型 P R F Vattention + Vcontext 83.29 79.43 81.31 Vhand-crafted + Vattention 86.81 80.24 83.40 CMAIR 90.79 83.25 86.86
下载: 导出CSV
-
[1] Zelenko D, Aone C, Tibbetts J. Coreference resolution for information extraction. In: Proceedings of the 2004 ACL Workshop on Reference Resolution and its Applications. Barcelona, Spain: ACL, 2004. 9-16 [2] Deemter K V, Kibble R. On coreferring: Coreference in muc and related annotation schemes. Computational Linguistics, 2000, 26(4): 629-637 doi: 10.1162/089120100750105966 [3] Kim Y. Convolutional neural networks for sentence classification. In: Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing. Doha, Qatar: ACL, 2014. 1746-1751 [4] Irsoy O, Cardie C. Opinion mining with deep recurrent neural networks. In: Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing. Doha, Qatar: ACL, 2014. 720-728 [5] Tai K S, Socher R, Manning C D. Improved semantic representations from tree-structured long short-term memory networks. In: Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics. Beijing, China: ACL, 2015. 1556-1566 [6] Chen C, Ng V. Chinese zero pronoun resolution with deep neural networks. In: Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics. Berlin, Germany: ACL, 2016. 778-788 [7] Chen C, Ng V. Deep reinforcement learning for mention-ranking coreference models. In: Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing. Texas, USA: ACL, 2016. 2256-2262 [8] Iida R, Torisawa K, Oh J H. Intra-sentential subject zero anaphora resolution using multi-column convolutional neural network. In: Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing. Texas, USA: ACL, 2016. 1244-1254 [9] Mnih V, Heess N, Graves A. Recurrent models of visual attention. In: Proceedings of the Advances in Neural Information Processing Systems. Montreal, Canada: NIPS, 2014. 2204-2212 [10] Bahdanau D, Cho K, Bengio Y. Neural machine translation by jointly learning to align and translate[Online], available: https://arxiv.org/pdf/1409.0473v6.pdf, December 27, 2018 [11] Yin W, Sch\"{u}tze H, Xiang B, Zhou B. Abcnn: Attention-based convolutional neural network for modeling sentence pairs. In: Proceedings of the 2016 Transactions of the Association for Computational Linguistics. Texas, USA: ACL, 2016. 259-272 [12] Wang Y, Huang M, Zhao L. Attention-based lstm for aspect-level sentiment classification. In: Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing. Texas, USA: ACL, 2016. 606-615 [13] Soon W M, Ng H T, Lim D C Y. On coreferring: A machine learning approach to coreference resolution of noun phrases. Computational Linguistics, 2001, 27(4): 521-544 doi: 10.1162/089120101753342653 [14] Ng V, Cardie C. Improving machine learning approaches to coreference resolution. In: Proceedings of the 40th Annual Meeting on Association for Computational Linguistics. Pennsylvania, USA: ACL, 2002. 104-111 [15] Yang X, Zhou G, Su J, Tan C L. Coreference resolution using competition learning approach. In: Proceedings of the 41th Annual Meeting on Association for Computational Linguistics. Sapporo, Japan: ACL, 2003. 176-183 [16] Chen C, Ng V. Chinese zero pronoun resolution: an unsupervised approach combining ranking and integer linear programming. Springer Verlag, 2014, 36(5): 823-834 doi: 10.5555/2892753.2892778 [17] Clark K, Manning C D. Deep reinforcement learning for mention-ranking coreference models[Online], available: https://arxiv.org/pdf/1609.08667.pdf, December 27, 2018 [18] Yin Q, Zhang Y, Zhang W, Liu T. Chinese zero pronoun resolution with deep memory network. In: Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing. Texas, USA: ACL, 2016. 606-615 [19] 李敏, 禹龙, 田生伟, 吐尔根·依布拉音, 赵建国. 基于深度学习的维吾尔语名词短语指代消解. 自动化学报, 2017, 43(11): 1984-1992 doi: 10.16383/j.aas.2017.c160330Li Min, Yu Long, Tian Sheng-Wei, Turglm Ibrahim, Zhao Jian-Guo. Coreference resolution of uyghur noun phrases based on deep learning. Acta Automatica Sinica, 2017, 43(11): 1984-1992 doi: 10.16383/j.aas.2017.c160330 [20] 田生伟, 秦越, 禹龙, 吐尔根·依布拉音, 冯冠军. 基于Bi-LSTM的维吾尔语人称代词指代消解. 电子学报, 2018, 46(7): 1691-1699 doi: 10.3969/j.issn.0372-2112.2018.07.022Tian Sheng-Wei, Qin Yue, Yu Long, Turglm Ibrahim, Feng Guan-Jun. Anaphora resolution of uyghur personal pronouns based on Bi-LSTM. Acta Electronica Sinica, 2018, 46(7): 1691-1699 doi: 10.3969/j.issn.0372-2112.2018.07.022 [21] 李冬白, 田生伟, 禹龙, 吐尔根·依布拉音, 冯冠军. 基于深度学习的维吾尔语人称代词指代消解. 中文信息学报, 2017, 31(4): 80-88 https://www.cnki.com.cn/Article/CJFDTOTAL-MESS201704012.htmLi Dong-Bai, Tian Sheng-Wei, Yu Long, Turglm Ibrahim, Feng Guan-Jun. Deep learning for pronominal anaphora resolution in uyghur. Journal of Chinese Information Processing, 2017, 31(4): 80-88 https://www.cnki.com.cn/Article/CJFDTOTAL-MESS201704012.htm [22] Li S, Li W, Cook C, Zhu C, Gao Y. Independently recurrent neural network (indrnn): Building A longer and deeper rnn. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Utah, USA: IEEE, 2018. 5457-5466 [23] Mikolov T, Chen K, Corrado G, Dean J. Efficient estimation of word representations in vector space[Online], available: https://arxiv.org/pdf/1301.3781.pdf, December 27, 2018 [24] Duchi J, Hazan E, Singer Y. Adaptive subgradient methods for online learning and stochastic optimization. Journal of Machine Learning Research, 2011, 12(7): 2121-2159 http://web.stanford.edu/~jduchi/projects/DuchiHaSi10.html [25] Hinton G E, Srivastava N, Krizhevsky A, Sutskever I, Salakhutdinov R R. Improving neural networks by preventing co-adaptation of feature detectors[Online], available: https://arxiv.org/pdf/1207.0580.pdf, December 27, 2018 期刊类型引用(0)
其他类型引用(3)
-
下载:
计量
- 文章访问数: 1067
- HTML全文浏览量: 258
- PDF下载量: 140
- 被引次数: 3
