-
摘要: 现有多视图子空间聚类算法通常先进行张量表示学习, 进而将学习到的表示张量融合为统一的亲和度矩阵. 然而, 因其独立地学习表示张量和亲和度矩阵, 忽略了两者之间的高度相关性. 为了解决此问题, 提出一种基于一步张量学习的多视图子空间聚类方法, 联合学习表示张量和亲和度矩阵. 具体地, 该方法对表示张量施加低秩张量约束, 以挖掘视图的高阶相关性. 利用自适应最近邻法对亲和度矩阵进行灵活重建. 使用交替方向乘子法对模型进行优化求解, 通过对真实多视图数据的实验表明, 较于最新的多视图聚类方法, 提出的算法具有更好的聚类准确性.Abstract: A surge of the existing multi-view subspace clustering algorithms generally learn the third-order tensor representation first and then fuse the learned representation tensor into a unified affinity matrix. However, since they learn the representation tensor and the affinity matrix independently, they cannot seamlessly capture their high-order correlation. To address this challenge, we propose a novel multi-view subspace clustering method based on one-step tensor learning (OTSC) to jointly learn the representation tensor and affinity matrix. Specifically, we impose the low-rank tensor constraint on the representation tensor to explore the correlation of high-order cross-views dexterously, utilize the adaptive nearest neighbor strategy to reconstruct a flexible affinity matrix, and adopt the alternating direction method of multipliers (ADMM) to optimize our model. Extensive experiments on real multi-view data demonstrated the superiority of OTSC compared to the state-of-the-art methods.
-
随着信息技术的高速发展, 各领域中所产生的数据维度正在以前所未有的速度增长, 例如社交网络数据、金融交易数据和城市交通流量数据等.
然而, 传统的数据表征方法无法适用于具有复杂关联特征的网络数据集. 所以, 图网络[1]——一种非规则域中用于表征关联数据的模型应运而生. 如何更好地分析这些基于图网络表征的数据集, 从而更加高效地挖掘数据集的深度信息成为当下研究的热点问题之一.
近年来, 随着图信号处理的兴起和发展, 图网络中的信号(数据)分析与处理引起了研究者们的广泛关注. 图信号处理是将传统的信号处理理论衍生至基于图网络表征的非规则域信号处理理论[2]. 目前,图信号处理的理论研究主要包括图滤波器(组)的设计[3]、图信号采样/恢复[4]、图信号压缩[5]和图拓扑学习[6]等. 相关的应用研究有传感网络中的异常数据检测[7]及修复[8], 基于图数据的机器学习等[9-10]. 然而, 目前该研究领域中仍然存在着许多亟待探索和解决的理论问题和应用瓶颈[11]. 例如, 图信号处理中尚未出现类似于奈奎斯特采样定理的统一采样理论[12]. 相关的挑战还包括图信号的大规模分布式计算[13]、异构网络中的图信号处理[14]、如何融合多尺度下的图信号特征而进行信号多分辨分析[15], 以及如何分析张量图网络中的多层图数据之间的关联性[16]等. 随着图信号处理的不断发展, 必将成为有效应对数据泛滥现象和降低数据冗余的重要工具, 并为网络数据的高效处理提供理论支撑.
由于存在图网络的拓扑结构复杂多变以及数据维度带来的计算消耗大的问题, 如何利用尽可能少的采样节点信号和网络拓扑信息更加高效和完备地表征未采样节点信号, 从而为网络数据的传输和处理提供高效的技术支撑是图信号处理中的核心问题[17]. 在图信号重构的相关研究中, 由于带限图信号重构问题可作为其他类型图信号重构问题的源问题进行相关推广; 如何设计高效的带限图信号重构算法是一个重要的研究课题, 它为设计平滑图信号重构算法和实际网络数据重构方法提供了理论基础.
基于Papoulis-Gerchberg信号重构算法[18], Narang等[19]提出一种基于空域迭代图滤波的信号重构方法(Iteration least square reconstruction, ILSR). 该方法通过将采样信号和每次迭代后产生的采样信号残差进行累加后, 再进行图谱域带限滤波处理, 从而达到重构目的. 在ILSR重构算法的基础上, Wang等[20]提出了基于迭代加权策略的信号重构算法(Iteration weighting reconstruction, IWR)和基于迭代传播策略的信号重构算法(Iteration propagating reconstruction, IPR), 两种算法优于ILSR算法的原因在于对采样节点进行了残差滤波处理. 在IWR算法中, Wang等[20]首先将采样信号的残差扩大相应的权重, 然后进行图滤波处理; 而在IPR算法中, 首先是基于预先划分好的局部集将采样节点的信号残差传递给相邻的未采样节点, 然后进行图滤波处理. 由于两种算法在每步迭代中加入了对于采样信号残差的处理, 增大了未采样信号在插值过程中的增量, 进而提高了重构的效率和精度. 为了进一步地提高对于残差信号的估计精度, Yang等[21]提出了基于扩散算子的迭代重构算法(Iteration graph reconstruction based diffusion operator, IGDR). IGDR算法修正了IWR和IPR算法中由于采样信号残差在局部集内均匀传递而导致的过平滑现象, 在每步迭代中基于局部扩散算子和全局扩散算子对信号采样进行了联合处理, 使得迭代滤波得到的未采样信号为图带限滤波信号和残差扩散信号的总和. 不同于IWR、IPR和IGDR算法聚焦于迭代残差信号的处理方法, Brugnoli等[22]同样在ILSR算法的基础上提出了基于最优参数的Papoulis-Gerchberg信号迭代重构算法(Optimal Papoulis-Gerchberg iterative reconstruction, O-PGIR), 该算法通过在每步迭代中设置松弛参数的最优解而达到较高的迭代效率.
不同于基于空域滤波的重构算法研究, 为了完善图信号谱域理论框架及提升图信号的谱域特征分析能力, 基于图傅里叶变换的图谱域重构算法同样是近年来的研究热点.
Tseng等先后提出基于压缩感知的硬阈值截断图谱域重构算法[23]和基于图傅里叶变换的图谱域重构算法[24]. 在硬阈值截断图谱域重构算法中,作者首先将图信号重构问题转化为图谱域中的稀疏优化问题, 然后采用经典压缩感知理论中的基追踪算法和正交匹配算法或迭代硬阈值截断法分别进行求解. 通过上述方法估计出未采样图信号在图谱域中的频率分量, 最后基于图傅里叶逆变换将估计的频率分量转换为空域图信号. 在正交匹配算法的基础上作者又提出了基于图傅里叶变换的信号重构算法; 在正交匹配算法中, 完整频率分量是通过逐步重构出每个图频率分量值而实现的. 而在基于图傅里叶变换的信号重构算法中, 作者通过重构出小于截止图频率内的频率分量值实现信号重构. 该算法实质上是将ILSR算法转化到图频域进行处理. 然而, 两种方法并没有针对低通带限图信号的谱域特性进行更深入的分析, 只是将空域重构算法转化到变换域进行.
本文首先基于图傅里叶变换的分块矩阵形式和图带限信号特性分析得出图带限分量的恒等不变性. 基于该特性, 本文将重构问题建模为一个最小二乘模型. 本文所提出的重构模型是根据图高频部分的恒等关系, 相比于基于图低频段相似性的ILSR重构模型, 更加能够准确地表征信号的图谱域带限特性, 提高了重构精度. 此外, 由于根据重构模型而设计的迭代算法采用拟牛顿法进行求解, 在避免海森矩阵求解的同时高效利用了模型的二阶梯度信息, 相比于ILSR和O-PGIR提高了迭代效率. 而在基于残差信号的重构算法中, 本文根据残差信号同样具备图带限分量的恒等不变性, 设计了一种基于残差谱移位的重构算法. 相比于IWR/IPR和IGDR算法, 本文算法具有较好的重构性能. 此外, 由于本文提出的图带限分量的恒等不变性不需要考虑带限频率所在的频段, 所以针对分段带限图信号的重构问题同样适用, 并且具有良好的重构性能.
1. 基于谱移位的重构算法
图信号是指定义在具有网络拓扑结构中的信号集合, 其拓扑结构采用图模型
$G = (V{\rm{, }}\;E{\rm{, }}\;{\boldsymbol{W}})$ 进行表征. 其中, 节点集为$V = \{ {v_1}, \cdot \cdot \cdot ,{v_N}\} $ .$E = \{ e(i,j)\} $ 是图模型中的边集合,$e(i,j)$ 表示节点${v_i}$ 和节点${v_j}$ 之间有边相连. 信号${\boldsymbol{f}} = \{ f(i)\} \in {{\mathbf{R}}^N},$ 其中$f(i)$ 为图模型${{G}}$ 中节点${v_i}$ 上的信号值. 邻接矩阵${\boldsymbol{W}} = $ $ \{ w(i,j)\} \in {{\mathbf{R}}^{N \times N}}$ 用于表征节点之间的相关性,${\boldsymbol{W}}$ 中的元素$w(i,j)$ 如式(1)所示.$$w(i,j) = \left\{ {\begin{aligned} &1,\;\;\;\;{e(i,j) \in {{E}}}\\ &0,\;\;\;\;{\text{其他}} \end{aligned}} \right.$$ (1) 由矩阵
${\boldsymbol{W}}$ 可得到图拉普拉斯矩阵${\boldsymbol{L}} = {\boldsymbol{D}} - {\boldsymbol{W}}$ 和归一化图拉普拉斯矩阵${{\boldsymbol{L}}_{{Nor}}} = {{\boldsymbol{D}}^{ - 1/2}}{\boldsymbol{L}}{{\boldsymbol{D}}^{ - 1/2}}$ , 其中的度矩阵定义为${\boldsymbol{D}} = {\rm{diag}}\{ {d_i}\}$ ,对角线元素${d_i}$ 为邻接矩阵中第$i$ 行元素之和. 通过对归一化图拉普拉斯矩阵${{\boldsymbol{L}}_{Nor}}$ 进行特征值分解, 得到特征向量矩阵${\boldsymbol{U}} = [{{\boldsymbol{u}}_1}\;\cdots\;{{\boldsymbol{u}}_N}]$ 和与其对应的特征值矩阵${\boldsymbol{\Lambda }} = $ $ {\rm{diag}} \{ {\lambda _1},\cdots,{\lambda _N}\}$ .在图信号处理理论中, 图傅里叶变换对建立了图信号在空间域和图谱域之间的联系, 从谱聚类的角度分析和处理图信号[25]. 其正变换和逆变换分别如式(2)和式(3)所示, 其中
${\boldsymbol{f}}$ 和${\tilde{\boldsymbol f}}$ 分别表示空域信号和图频率分量.$${\tilde{\boldsymbol f}} = {{\boldsymbol{U}}^{\rm{T}}}{\boldsymbol{f}}$$ (2) $${\boldsymbol{f}} = {\boldsymbol{U\tilde f}}$$ (3) 根据图傅里叶变换对的定义, 图带限信号(Band-limited graph signals)
${{\boldsymbol{f}}_{BLG}} \in P{W_\omega }$ 的定义为: 当${\lambda _i} > \omega $ 时,${{\tilde{\boldsymbol f}}_{BLG}}(i) = 0$ ; 其中$\omega $ 为带限图信号${{\boldsymbol{f}}_{BLG}}$ 的截止图频率. 如图1所示, 图1(a)为空间域中节点信号的分布图; 下层为图信号的拓扑结构, 上层为将各节点信号连接而成的平面图. 图1(b)表示的是图信号经过图傅里叶变换后得到的图谱域示意图; 在其图谱域示意图中, 其高频段的图频率分量为零. 由于在图信号重构问题中, 如何设计采样策略同样对于能否实现精确重构有着一定的影响. 在本文中将采用基于重构唯一性条件而设计采样策略. 在满足该条件的情况下, 任意的带限图信号均可实现精确重构. 图截止频率($\omega $ )的重构唯一性的条件为[26]: 当带限图信号${{\boldsymbol{f}}_{BLG}} \in P{W_\omega }$ 的截止图频率${\omega ^2} \leq \eta$ 时, 从任意的采样节点集合重构得到的带限图信号具有唯一性. 其中$\eta $ 是关于${\boldsymbol{L}}_{Nor}^ *$ 的最小特征值,${\boldsymbol{L}}_{Nor}^ *$ 是由${{\boldsymbol{L}}_{Nor}}^2$ 中对应于未采样节点集合的行和列而构成的子矩阵.本文所研究的是带限图信号重构问题,即是在已知图信号
${\boldsymbol{f}}$ 的先验信息 —图带限特性$({\boldsymbol{f}} \in $ $ P{W_\omega })$ 和采样信号${\boldsymbol{f}}(S)$ 的情况下, 如何重构得到未采样信号${\boldsymbol{f}}({S^c})$ .采样矩阵${{\boldsymbol{P}}_S} = {\rm{diag}}\{ {{\boldsymbol{1}}_S}\} \in {{\mathbf{R}}^{N \times N}}$ (对应于采样节点的主对角线元素为1,其余为0). 本文定义带限图信号的带宽为$B$ , 即共有$B$ 个${\lambda _i} \leq \omega$ , 采样节点个数为$M$ , 未采样节点个数为$N - M .$ 若将图信号
${\boldsymbol{f}}$ 中的采样信号${\boldsymbol{f}}(S)$ 和未采样信号${\boldsymbol{f}}({S^c})$ 进行适当的重新排序后可得图信号${\boldsymbol{f}} = $ $ {[{\boldsymbol{f}}^{\rm{T}}{(S)}{\boldsymbol{\Phi }}^{\rm{T}}{(S)}{\rm{ }}\quad\Phi^{\rm{T}} {({S^c})}{\boldsymbol{f}}^{\rm{T}}{({S^c})}]^{\rm{T}}}, $ 其中${\boldsymbol{\Phi }}(S) \in {{\mathbf{R}}^{M \times N}}$ 是由${{\boldsymbol{P}}_{\rm{S}}}$ 中$M$ 个非全零的行向量而构成,${\boldsymbol{\Phi }}({S^c}) \in $ $ {{\mathbf{R}}^{(N - M) \times N}}$ 是由$({\boldsymbol{I}} - {{\boldsymbol{P}}_{\rm{S}}})$ 中$N - M$ 个非全零行向量组成.图傅里叶变换对的分块矩阵表示形式如式(4)和式(5)所示.
${{\boldsymbol{U}}_L}(S) \in {{\mathbf{R}}^{M \times B}}$ 和${{\boldsymbol{U}}_L}({S^c}) \in $ $ {{\mathbf{R}}^{(N - M) \times B}}$ 分别由矩阵${\boldsymbol{U}}$ 的子矩阵$[{{\boldsymbol{u}}_1}\;\cdots\;{{\boldsymbol{u}}_B}]$ 中对应于采样节点和未采样节点的行向量所构成的子矩阵; 子矩阵${{\boldsymbol{U}}_H}(S)$ 和${{\boldsymbol{U}}_H}({S^c})$ 分别是由${\boldsymbol{U}}$ 的子矩阵$[{{\boldsymbol{u}}_{B + 1}}\;\cdots\;{{\boldsymbol{u}}_N}]$ 中对应于采样节点和未采样节点的行向量所构成的子矩阵.${{\tilde{\boldsymbol f}}_L} \in {{\mathbf{R}}^B}$ 和${{\tilde{\boldsymbol f}}_H} \in {{\mathbf{R}}^{(N - B)}}$ 分别表示对应于前$B$ 个图频率分量(图低频分量)和第$(B + 1)$ 至第$N$ 个图频率分量(图高频分量).$$\begin{split} \left[ \begin{array}{l} {{{\tilde{\boldsymbol f}}}_L} \\ {{{\tilde{\boldsymbol f}}}_H} \end{array} \right] = \left[ \begin{array}{l} {{\boldsymbol{U}}^{\rm{T}}_L}{(S)}{\rm{ }}\;\quad{{\boldsymbol{U}}^{\rm{T}}_L}{({S^c})} \\ {{\boldsymbol{U}}^{\rm{T}}_H}{(S)}{\rm{ }}\quad{{\boldsymbol{U}}^{\rm{T}}_H}{({S^c})} \end{array} \right]\left[ \begin{array}{l} \Phi (S){\boldsymbol{f}}(S) \\ \Phi ({S^c}){\boldsymbol{f}}({S^c}) \end{array} \right] \end{split}$$ (4) $$ \left[ \begin{array}{l} {\Phi(S)}{\boldsymbol{f}}(S) \\ {\Phi ({S^c})}{\boldsymbol{f}}({S^c}) \end{array} \right] = \left[ \begin{array}{l} {{\boldsymbol{U}}_L}(S){\rm{ }}\;\,\quad{{\boldsymbol{U}}_H}(S) \\ {{\boldsymbol{U}}_L}({S^c}){\rm{ }}\quad{{\boldsymbol{U}}_H}({S^c}) \end{array} \right]\left[ \begin{array}{l} {{{\tilde{\boldsymbol f}}}_L} \\ {{{\tilde{\boldsymbol f}}}_H} \end{array} \right] $$ (5) 在ILSR算法中[19], Narang等根据图带限特性——
${{\tilde{\boldsymbol f}}_H} = {\mathbf{0}}$ , 将式(5)表示为式(6). 该算法的重构准则是通过中间变量——带限图信号的低频分量${{\tilde{\boldsymbol f}}_L}$ 恒定, 建立了采样信号${\boldsymbol{f}}(S)$ 和未采样信号${\boldsymbol{f}}({S^c})$ 之间的联系, 得到重构信号的闭式解, 如式(6)所示.$$\begin{split} {\boldsymbol{f}}({S^c}) =\;&\Phi^{\rm{T}} ({S^c}){{\boldsymbol{U}}_L}({S^c}){[{{\boldsymbol{U}}^{\rm{T}}_L}{(S)}{{\boldsymbol{U}}_L}(S)]^{ - 1}}\times \\ &{{\boldsymbol{U}}^{\rm{T}}_L}{(S)}\Phi (S){\boldsymbol{f}}(S) \end{split} $$ (6) 与ILSR算法的重构准则不同, 本文提出的重构准则是基于采样信号的高频分量和未采样信号的图高频分量之和为零; 即图带限分量的恒等不变性, 如式(7)所示. 根据此特性, 可得重构信号
${\boldsymbol{f}}({{{S}}^c})$ 的闭式解, 如式(8)所示.$$ {{\tilde{\boldsymbol f}}_H} = [{{\boldsymbol{U}}^{\rm{T}}_H}{(S)}{\rm{ }}\quad{{\boldsymbol{U}}^{\rm{T}}_H}{({S^c})}]\left[ \begin{array}{l} {\Phi (S)}{\boldsymbol{f}}(S) \\ {\Phi ({S^c})}{\boldsymbol{f}}({S^c}) \end{array} \right] $$ (7) $$ \begin{split} {\boldsymbol{f}}({S^c}) =\;& - \Phi^{\rm{T}} {({S^c})}{[{{\boldsymbol{U}}_H}({S^c}){{\boldsymbol{U}}^{\rm{T}}_H}{({S^c})}]^{ - 1}} \times\\ &{{\boldsymbol{U}}_H}({S^c}){{\boldsymbol{U}}^{\rm{T}}_H}{(S)}\Phi (S){\boldsymbol{f}}(S) \end{split} $$ (8) 然而, 由于闭式解中涉及到矩阵逆运算, 导致求解的计算开销大. 尤其是当处理大规模图网络数据时, 计算和存储的成本都较高. 为了避免此问题, 本文基于图带限分量的恒等不变性提出如式(9)所示的重构模型, 采用迭代求解实现重构带限图信号的目的. 该模型的目标函数利用了图带限分量的恒等不变性, 将其建模为最小二乘模型. 进而估计出未采样信号
${\boldsymbol{f}}({S^c})$ .$$ \begin{split} & \mathop {{\rm{min}}}\limits_{{\boldsymbol{f}}({S^c})} {\rm{ }}\left\| {{\boldsymbol{Y}} - {{\boldsymbol{U}}^{\rm{T}}_H}{{({S^c})}}\Phi ({S^c}){\boldsymbol{f}}({S^c})} \right\|_2^2 \\ & {\rm{ }}{\rm{s.t}}\;\;\;{\rm{ }}{\boldsymbol{Y}} = - {{\boldsymbol{U}}^{\rm{T}}_H}{(S)}\Phi (S){\boldsymbol{f}}(S) \end{split} $$ (9) 通过设计该重构模型的求解算法, 本文提出了基于谱移位的带限图信号重构算法(Reconstruction algorithm of band-limited graph signals based graph frequency shifting, BGSR-GFS). BGSR-GFS算法流程如算法1所示.
算法 1. BGSR-GFS算法
输入.
${{\boldsymbol{U}}_1} = {{\boldsymbol{U}}_H}({S^c}){{\boldsymbol{U}}^{\rm{T}}_H}{({S^c})},$ $\sigma, $ $\Phi (S)$ $\Phi ({S^c}),$ ${\boldsymbol{f}}(S),$ $K,$ ${{\boldsymbol{U}}_2} = {{\boldsymbol{U}}_{{H}}}({S^c}){{\boldsymbol{U}}^{\rm{T}}_{{H}}}{(S)}$ 输出.
${{\boldsymbol{f}}_{{R}}}({S^c})$ 初始化.
${\boldsymbol{f}}({S^c}) = {\mathbf{0}},$ ${{\boldsymbol{H}}^{(1)}} = {\bf {I}},$ $k = 1$ ${{\boldsymbol{G}}^{(1)}} = {{\boldsymbol{U}}_2}{\boldsymbol{\Phi }}(S){\boldsymbol{f}}(S)$ 当
$k \leq K,$ 则:步骤 1.
${{\boldsymbol{d}}^{(k)}} = - {{\boldsymbol{H}}^{(k)}}{{\boldsymbol{G}}^{(k)}}$ ;步骤 2.
${\alpha ^{(k)}} = \frac{{{({\boldsymbol{G}}^{(k)})}^{{\rm{ T}}}{{\boldsymbol{d}}^{(k)}}}}{{{({\boldsymbol{d}}^{(k)})}^{{\rm{ T}}}{{\boldsymbol{U}}_1}{{\boldsymbol{d}}^{(k)}}}}$ ;步骤 3.
${\boldsymbol{f}}^{(k + 1)}{({S^c})} = {\boldsymbol{f}}^{(k)}{({S^c})} + {\alpha ^{(k)}}{{\boldsymbol{d}}^{(k)}} ;$ 步骤 4.
${{\boldsymbol{G}}^{(k + 1)}} = {{\boldsymbol{U}}_1}{\boldsymbol{f}}^{(k + 1)}{({S^c})} + {{\boldsymbol{G}}^{(1)}}$ ;步骤 5.
${{\boldsymbol{p}}^{(k)}} = {\boldsymbol{f}}^{(k + 1)}{({S^c})} - {\boldsymbol{f}}{({S^c})^{(k)}}$ ;步骤 6.
${{\boldsymbol{q}}^{(k)}} = {{\boldsymbol{G}}^{(k + 1)}} - {{\boldsymbol{G}}^{(k)}}$ ;步骤 7.
$$\Delta {{\boldsymbol{H}}^{(k)}} = \frac{{{{\boldsymbol{p}}^{(k)}}{({\boldsymbol{p}}^{(k)})}^{\rm{T}}}}{{{({\boldsymbol{p}}^{(k)})}^{\rm{T}}{{\boldsymbol{q}}^{(k)}}}} - \frac{{{{\boldsymbol{H}}^{(k)}}{{\boldsymbol{q}}^{(k)}}{({\boldsymbol{q}}^{(k)})}^{\rm{T}}{{\boldsymbol{H}}^{(k)}}}}{{{({\boldsymbol{p}}^{(k)})}^{\rm{T}}{{\boldsymbol{H}}^{(k)}}{{\boldsymbol{q}}^{(k)}}}}$$ 步骤 8.
${{\boldsymbol{H}}^{(k + 1)}} = {{\boldsymbol{H}}^{(k + 1)}} + \Delta {{\boldsymbol{H}}^{(k)}} ;$ 步骤 9. 若
$\big\| {{\boldsymbol{f}}^{(k + 1)}{{({S^c})}} - {\boldsymbol{f}}^{(k)}{{({S^c})}}}\big\|_2^2$ , 小于门限阈值$\sigma $ 或达到最大迭代次数$K\,(k > K)$ , 则终止迭代, 输出参数${\boldsymbol{f}}{({S^c})^{(k + 1)}},$ 否则, 继续迭代, 跳转至步骤1;步骤 10.
${{\boldsymbol{f}}_{{R}}}({S^c}) = {\boldsymbol{f}}^{(k + 1)}{({S^c})}$ .该重构算法基于拟牛顿法进行迭代求解. 在高效利用其重构模型二阶梯度信息的同时, 避免了海森矩阵的求解.
当且仅当
${{\boldsymbol{U}}^{\rm{T}}_H}{({S^c})}$ 满足其行数大于等于列数时, 该最小二乘问题有唯一解. 可知BGSR-GFS重构算法的适用条件为图信号具有带限特性且带宽$B$ 小于等于采样节点个数$M$ .2. 基于残差谱移位的重构算法
由于ILSR重构算法并没有对迭代过程中的残差信号进行分析和处理, 所以无论在还是迭代效率上都较为有限. 因此, 针对如何根据迭代残差信号的相关特性提升和迭代效率, 研究者们先后提出了IPR/IWR[20]和IGDR重构算法[21]. 此类基于残差估计的重构算法的关键在于如何根据采样节点的残差信号
${{\boldsymbol{f}}^{(k)}_{{{\rm{Re}}{\rm{s}}}}}(S)$ 估计未采样节点的残差信号${{\boldsymbol{f}}^{(k)}_{{{\rm{Re}} {\rm{s}}}}}({S^c})$ .基于残差估计的重构算法的迭代步骤归纳为公式(10), 不同算法之间的差异在于如何更好地估计采样残差信号
${{\boldsymbol{f}}^{(k)}_{{\rm{Re}} {\rm{s}}}}{(S)}$ 和未采样残差信号${{\boldsymbol{f}}^{(k)}_{{\rm{Re}} {\rm{s}}}}{({{\rm{S}}^c})}$ .$$ \begin{split} {{\boldsymbol{f}}^{(k + 1)}} = \;&\Phi^{\rm{T}} {({S^c})}{\boldsymbol{U}}^{{S^c}}_L\Phi ({S^c}){\boldsymbol{f}}^{(k)}{({S^c})} + \\ &\Phi^{\rm{T}}{(S)}{\boldsymbol{U}}^S_L\Phi (S){\boldsymbol{f}}^{(k)}{(S)} +\\ & {{\boldsymbol{f}}^{(k)}_{{{\rm{Re}}{\rm{s}}}}}{({S^c})} + {{\boldsymbol{f}}^{(k)}_{{{\rm{Re}} {\rm{s}}}}}{(S)} \end{split} $$ (10) $$ \begin{split} &{\boldsymbol{U}}_L^{{S^c}} = {{\boldsymbol{U}}_L}({S^c}){{\boldsymbol{U}}^{\rm{T}}_L}{({S^c})} \qquad\qquad\quad\quad \\ &{\boldsymbol{U}}_L^S = {{\boldsymbol{U}}_L}({S}){{\boldsymbol{U}}^{\rm{T}}_L}{(S)} \\ & {\boldsymbol{f}}^{(k)}{({{S}})} = ({\boldsymbol{I}} - {{\boldsymbol{P}}_S}){{\boldsymbol{f}}^{(k)}} \\ &{\boldsymbol{f}}^{(k)}{({{{S}}^c})} = {{\boldsymbol{P}}_S}{{\boldsymbol{f}}^{(k)}} \end{split} $$ (11) Wang等[20]基于局部聚合的处理方法, 提出了基于局部集采样的IPR和IWR重构算法. 在IWR重构算法中, 采样残差首先进行相应权重的扩大(权重矩阵
${{\boldsymbol{W}}_{{\rm{IPR}}}}$ ), 然后再进行图带限滤波, 如式(12)所示.$$ \begin{split} & {{\boldsymbol{f}}^{(k)}_{{\rm{Res}}}}{(S)} = \Phi^{\rm{T}} {(S)}{\boldsymbol{U}}_L^S\Phi (S) \times\\ &\qquad\qquad\;\;{{\boldsymbol{W}}_{{\rm{IPR}}}}[{\boldsymbol{f}}(S) - {\boldsymbol{f}}^{(k)}{(S)}] \\ & {{\boldsymbol{f}}^{(k)}_{{\rm{Res}}}}{({S^c})} = {\boldsymbol{0}} \end{split} $$ (12) 不同于IWR算法, IPR重构算法通过采样残差
${{\boldsymbol{f}}_{{\rm{Re}}{\rm{ s}}}}({{S}})$ 和网络拓扑特性, 估计未采样残差${{\boldsymbol{f}}_{{\rm{Re}} {\rm{s}}}}({{{S}}^c})$ . 具体而言, 首先是基于局部集内平滑特性, 将未采样残差设置为局部集内的采样残差, 然后再进行图带限滤波. 如式(13)所示, 其中${\boldsymbol{V}}({v_d})$ 为采样节点${v_d}$ 的未采样邻居节点集.$$\begin{split} &{{\boldsymbol{f}}^{(k)}_{{\rm{Res}}}}{(S)} = \Phi^{\rm{T}} {(S)}{\boldsymbol{U}}_L^S\Phi (S)[{\boldsymbol{f}}(S) - {\boldsymbol{f}}^{(k)}{(S)}] \\ &{{\boldsymbol{f}}^{(k)}_{{\rm{Res}}}}{({S^c})} = \Phi^{\rm{T}} {({S^c})}{\boldsymbol{U}}_L^{{S^c}}\Phi ({S^c})[{{{\boldsymbol{f}}^{{\rm{Prop}}}}{(S)}]^{(k)}} \\ & [{{{\boldsymbol{f}}^{{\rm{Prop}}}}{(S)}]^{(k)}}\{ {v_i}\} = {\boldsymbol{f}}(S)\{ {v_d}\} - {\boldsymbol{f}}^{(k)}{(S)}\{ {v_d}\} , \\ &\qquad\qquad\qquad\qquad\qquad\qquad\quad\forall {v_i} \in {\boldsymbol{V}}({v_d}) \end{split} $$ (13) 由于IPR/IWR算法在迭代过程中, 都对采样残差进行相应的预处理工作; 所以相比于ILSR算法, 两种算法的和迭代效率均有提升. 然而, 由于IWR和IPR重构算法对于未采样图信号的迭代残差估计是基于平滑准则, 导致会出现过平滑现象[27]. 为了缓解“过平滑” 问题, Yang等[21]提出基于局部扩散算子的IGDR重构算法, 如式(14)所示. 其中,
$J$ 为采样节点和未采样节点之间的最大跳数,${\delta _j}$ 表示与采样节点集$S$ 和未采样节点${v_j}$ 之间的最短路径相关的指示函数. IGDR算法通过将采样残差经过图带限滤波后得到的全局未采样残差${\boldsymbol{f}}_{{\rm{Re}}{\rm{ s}}}^G({S^c})$ 和采样残差基于随机游走策略得到的局部未采样残差${\boldsymbol{f}}_{{\rm{Re}} {\rm{s}}}^L({S^c})$ 相加, 得到最终的未采样残差${{\boldsymbol{f}}_{{\rm{Re}}{\rm{ s}}}}({S^c})$ .$$ \begin{split} & {{\boldsymbol{f}}^{(k)}_{{\rm{Res}}}}{(S)} = \Phi^{\rm{T}} {(S)}{\boldsymbol{U}}_L^S\Phi (S)[{\boldsymbol{f}}(S) - {\boldsymbol{f}}^{(k)}{(S)}] \\ & {{\boldsymbol{f}}^{(k)}_{{\rm{Res}}}}{({S^c})} = [{\boldsymbol{f}}_{{\rm{Re}} {\rm{s}}}^G{({S^c})]^{(k)}} + [{\boldsymbol{f}}_{{\rm{Re}} {\rm{s}}}^L{({S^c})]^{(k)}} =\\ & \qquad\qquad\qquad{{\boldsymbol{U}}_{\rm{H}}}({S^c}){{\boldsymbol{U}}_{\rm{H}}^{\rm{T}}{(S)}}[{\boldsymbol{f}}(S) - {\boldsymbol{f}}^{(k)}{(S)}]+ \\ & \qquad\qquad\qquad{{\boldsymbol{P}}_S}\sum\limits_{j = 1}^J {{\delta _j}{{\boldsymbol{D}}^{ - 1}}{{\boldsymbol{A}}^j}[{\boldsymbol{f}}(S) - {\boldsymbol{f}}^{(k)}{{(S)}}]} \end{split} $$ (14) 综上所述, IPR/IWR重构算法是基于图平滑滤波估计残差信号, 而IGDR算法是基于图带限特性的原则而设计的. 两种残差重构法都是基于重构信号的低频分量相似性而设计的, 对于高频分量缺乏相应的分析和处理, 导致迭代效率和相比于ILSR算法的提升有限.
根据ILSR算法以及凸集映射原理[18]可知, 在第
$k$ 次迭代中的信号${{\boldsymbol{f}}^{(k)}}$ 满足图带限特性[28]. 因为${{\boldsymbol{f}}^{(k)}}$ 满足图带限特性以及图傅里叶变换具有线性特征, 所以可知残差信号${\boldsymbol{f}}_{{\rm{Re}} s}^{(k)} = {\boldsymbol{f}} - {{\boldsymbol{f}}^{(k)}}$ 同样满足图带限分量的恒等不变性. 由此, 本文设计了一种基于残差谱移位的图信号重构模型, 如式(15)所示.$$ \begin{split} &{{\boldsymbol{f}}^{(k)}_{{\rm{Res}}}}{(S)} = \Phi^{\rm{T}} {(S)}{\boldsymbol{U}}_L^S{\Phi _S}[{\boldsymbol{f}}(S) - {\boldsymbol{f}}^{(k)}{(S)}] \\ & {{\boldsymbol{f}}^{(k)}_{{\rm{Res}}}}{({S^c})} = \Phi^{\rm{T}} {({S^c})}{{\boldsymbol{f}}^*} \\ &\mathop {\min }\limits_{{{\boldsymbol{f}}^ * }}\;\;{\rm{ }}\left\| {{\boldsymbol{Y}} - {{\boldsymbol{U}}^{\rm{T}}_H}{{({S^c})}}{{\boldsymbol{f}}^ * }} \right\|_2^2 \\ &{\rm{s.t}}\qquad{\rm{ }}{\boldsymbol{Y}} = - {{\boldsymbol{U}}^{\rm{T}}_H}{(S)}\Phi (S)[{\boldsymbol{f}}(S) - {\boldsymbol{f}}^{(k)}{(S)}]{\rm{ }} \end{split} $$ (15) 基于此重构模型, 本文提出基于残差谱移位的重构算法(Band-limited graph signals reconstruction based graph frequency shifting of residual signals, BGSR-GFS-R), 算法流程如算法2所示.
算法 2. BGSR-GFS-R算法
输入.
${{\boldsymbol{U}}_1} = {{\boldsymbol{U}}_H}({S^c}){{\boldsymbol{U}}^{\rm{T}}_H}{({S^c})},$ $K,$ $M$ 输出.
${{\boldsymbol{f}}_{{R}}}({S^c})$ .${{\boldsymbol{H}}_{{\rm{BL}}}} = {[{{\boldsymbol{U}}^{\rm{T}}_{{L}}}{(S)}{\rm{ }}\;\;\;{{\boldsymbol{U}}^{\rm{T}}_{{L}}}{(S^c)}]^{\rm{T}}}[{{\boldsymbol{U}}^{\rm{T}}_{{L}}}{(S)}{\rm{ }}\;\;\;{{\boldsymbol{U}}^{\rm{T}}_{{L}}}{(S^c)}]$ ${{\boldsymbol{U}}_2} = {{\boldsymbol{U}}_H}({S^c}){{\boldsymbol{U}}^{\rm{T}}_H}{(S)},$ $\Phi (S),$ $\Phi ({S^c}),$ ${\boldsymbol{f}}(S),$ ${{\boldsymbol{P}}_{{S}}},$ $\sigma $ 步骤 1. 初始化
$k = 1,$ ${{\boldsymbol{f}}^{(1)}} = {{\boldsymbol{H}}_{{\rm{BL}}}}{\boldsymbol{f}}(S)$ ;当
$k \leq K,$ 则:步骤 2.
${{\boldsymbol{f}}_{{\rm{Res}}}}(S) = {\boldsymbol{f}}(S) - {{\boldsymbol{P}}_S}{{\boldsymbol{f}}^{(k)}}$ ;步骤 3. 设置零向量
${{\boldsymbol{f}}^{(1)}_{{\rm{Res}}}}{({S^c})}$ , 单位矩阵${{\boldsymbol{H}}^{(1)}}$ ,${{\boldsymbol{G}}^{(1)}} = $ $ {{\boldsymbol{U}}_{\rm{2}}}{\boldsymbol{\Phi }}(S){{\boldsymbol{f}}_{{\rm{Res}}}}(S),$ 初始化$m=1 $ ;当
$m \leq M$ , 则:步骤 4.
${{\boldsymbol{d}}^{(m)}} = - {{\boldsymbol{H}}^{(m)}}{{\boldsymbol{G}}^{(m)}}$ ;步骤 5.
${\alpha ^{(m)}} = \frac{{{({\boldsymbol{G}}^{(m)})}^{{\rm{ T}}}{{\boldsymbol{d}}^{(m)}}}}{{{({\boldsymbol{d}}^{(m)})}^{{\rm{ T}}}{{\boldsymbol{U}}_1}{{\boldsymbol{d}}^{(m)}}}}$ ;步骤 6.
${{\boldsymbol{f}}^{(m + 1)}_{{\rm{Res}}}}{({S^c})} = {\boldsymbol{f}}^{(m)}{({S^c})} + {\alpha ^{(m)}}{{\boldsymbol{d}}^{(m)}}$ ;步骤 7.
${{\boldsymbol{G}}^{(m + 1)}} = {{\boldsymbol{U}}_1}{\boldsymbol{f}}^{(m + 1)}{({S^c})} + {{\boldsymbol{G}}^{(1)}}$ ;步骤 8.
${{\boldsymbol{p}}^{(m)}} = {{\boldsymbol{f}}^{(m + 1)}_{{\rm{Res}}}}{({S^c})} - {{\boldsymbol{f}}^{(m)}_{{\rm{Res}}}}{({S^c})}$ ;步骤 9.
${{\boldsymbol{q}}^{(m)}} = {{\boldsymbol{G}}^{(m + 1)}} - {{\boldsymbol{G}}^{(m)}}$ ;步骤 10.
$$\Delta {{\boldsymbol{H}}^{(m)}} = \frac{{{{\boldsymbol{p}}^{(m)}}{({\boldsymbol{p}}^{(m)})}^{\rm{T}}}}{{{({\boldsymbol{p}}^{(m)})}^{\rm{T}}{{\boldsymbol{q}}^{(m)}}}} - \frac{{{{\boldsymbol{H}}^{(m)}}{{\boldsymbol{q}}^{(m)}}{({\boldsymbol{q}}^{(m)})}^{\rm{T}}{{\boldsymbol{H}}^{(m)}}}}{{{({\boldsymbol{p}}^{(m)})}^{\rm{T}}{{\boldsymbol{H}}^{(k)}}{{\boldsymbol{q}}^{(m)}}}}$$ 步骤 11.
${{\boldsymbol{H}}^{(m + 1)}} = {{\boldsymbol{H}}^{(m + 1)}} + \Delta {{\boldsymbol{H}}^{(m)}}$ ;步骤 12. 若
$\big\| {{{\boldsymbol{f}}^{(m + 1)}_{{\rm{Res}}}}{{({S^c})}} - {{\boldsymbol{f}}^{(m)}_{{\rm{Res}}}}{{({S^c})}}} \big\|_2^2$ 小于门限阈值$\sigma $ 或达到最大迭代次数$M\,(m > M),$ 则终止迭代, 输出参数${{\boldsymbol{f}}^{(k + 1)}_{{\rm{Res}}}}{({S^c})},$ 否则, 继续迭代, 跳转至步骤4;步骤 13.
$[{{\boldsymbol{f}}^ * _{{\rm{Res}}}}{({S^c})}]^{(k)} = \Phi^{\rm{T}} {({S^c})}{{\boldsymbol{f}}^{(m + 1)}_{{\rm{Res}}}}{({S^c})}$ ;步骤 14.
${{\boldsymbol{f}}^{(k + 1)}} = {{\boldsymbol{H}}_{{\rm{BL}}}}{{\boldsymbol{f}}^{(k)}} + {{\boldsymbol{H}}_{{\rm{BL}}}}{{\boldsymbol{f}}_{{\rm{Res}}}}(S) + [{{\boldsymbol{f}}^ *_{{\rm{Res}}}}{({S^c}) }]^{(k)}$ 步骤 15. 若
$\left\| {{{\boldsymbol{f}}^{(k + 1)}} - {{\boldsymbol{f}}^{(k)}}} \right\|_2^2$ 小于门限阈值$\sigma $ 或达到最大迭代次数$K\,(k >K),$ 则终止迭代, 输出参数${{\boldsymbol{f}}^{(k + 1)}},$ 否则, 继续迭代, 跳转至步骤2;步骤 16.
${{\boldsymbol{f}}_{{R}}}({S^c}) = ({\boldsymbol{I}} - {{\boldsymbol{P}}_{{S}}}){{\boldsymbol{f}}^{(k + 1)}}$ .本文提出的BGSR-GFS-R重构算法基于迭代中的采样残差信号和谱移位策略, 估计得到未采样残差信号. 然后将未采样残差信号与经过带限图滤波后的未采样信号相加, 最终得到重构后的未采样信号. 相比于其他基于残差处理的重构算法(IWR/IPR和IGDR), 本算法对于残差信号的处理不依赖与图网络的子图集合. 并且, 由于本算法利用的是其残差信号的图带限分量的恒等不变性, 将其建模为最小二乘问题后进行迭代求解, 避免了“过平滑”现象.
由于其残差信号的图傅里叶变换的变换矩阵同样为
${{\boldsymbol{U}}^{\rm{T}}_{{H}}}{({S^c})} ,$ 所以要求矩阵${\boldsymbol{U}}_1={\boldsymbol{U}}_0({S^c}){\boldsymbol{U}}^{\rm{T}}_0({S^c})$ 为满秩矩阵, 即采样节点个数不小于带限信号的带宽.3. 分段带限图信号重构算法
在现有的图信号重构算法中, 所针对的图信号往往具备平滑或者是低频段受限的信号特征; 即各节点的信号值与其邻居节点的信号值差异较小, 在图谱域上呈现出能量较为集中在低频区域内. 除此以外, 由于在实际情况中由于物理设备及传输手段的限制, 采集得到的图信号中往往存在着少量的异常节点数据[7]. 将上述的数据集基于地理距离建模为图信号后, 本文发现由于其中存在着少量节点信号值与其邻居节点的信号值差异较大, 其在图谱域上所呈现的是类似于分段带限的信号特性, 如图2所示.
$$ \left[ \begin{array}{l} {{{\tilde{\boldsymbol f}}}_L} \\ {{{\tilde{\boldsymbol f}}}_0} \\ {{{\tilde{\boldsymbol f}}}_H} \end{array} \right] = \left[ \begin{array}{l} {{\boldsymbol{U}}^{\rm{T}}_L}{(S)}{\rm{ }}\quad{{\boldsymbol{U}}^{\rm{T}}_L}{({S^c})} \\ {{\boldsymbol{U}}^{\rm{T}}_0}{(S)}{\rm{ }}\quad{{\boldsymbol{U}}^{\rm{T}}_0}{({S^c})} \\ {{\boldsymbol{U}}^{\rm{T}}_H}{(S)}{\rm{ }}\quad{{\boldsymbol{U}}^{\rm{T}}_H}{({S^c})} \end{array} \right]\left[ \begin{array}{l} {\Phi (S)}{\boldsymbol{f}}(S) \\ {\Phi ({S^c})}{\boldsymbol{f}}({S^c}) \end{array} \right] $$ (16) 针对分段带限图信号的重构问题, 本文上述两种重构算法同样适用. 由
${{\tilde{\boldsymbol f}}_0} = {\mathbf{0}}$ , 可知分段带限图信号在图频率${\lambda _i} \in ({\omega _1},{\omega _2})$ 内, 同样满足图带限分量的恒等不变性, 如式(16)所示. 基于上述分析, 本文提出分段带限图信号重构的优化模型, 如式(17)所示.$$\begin{split} & \mathop {\min }\limits_{{\boldsymbol{f}}({S^c})} {\rm{ }}\left\| {{\boldsymbol{Y}} - {{\boldsymbol{U}}^{\rm{T}}_0}{{({S^c})}}\Phi ({S^c}){\boldsymbol{f}}({S^c})} \right\|_2^2 \\ &{\rm{ s}}{\rm{.t }}\;\;\;\;\;\;{\boldsymbol{Y}} = - {{\boldsymbol{U}}^{\rm{T}}_0}{(S)}\Phi (S){\boldsymbol{f}}(S) \end{split} $$ (17) 基于上述模型, 只需更改重构算法BGSR-GFS/BGSR-GFS-R中的部分输入变量, 便可实现分段带限图信号的重构. 具体而言, 在BGSR-GFS中更改的输入变量
${{\boldsymbol{U}}_1} = {{\boldsymbol{U}}_0}({S^c}){{\boldsymbol{U}}^{\rm{T}}_0}{({S^c})}$ /${{\boldsymbol{U}}_2} = {{\boldsymbol{U}}_0}({S^c}){{\boldsymbol{U}}^{\rm{T}}_0}{(S)}$ , 在GBSR-GFS-R算法中除了同样更新矩阵${{\boldsymbol{U}}_1}$ 和${{\boldsymbol{U}}_2}$ , 还需要将${{\boldsymbol{H}}_{{\rm{BL}}}}$ 更新为${\boldsymbol{H}}_{{\rm{BL}}}^ *$ .$${\boldsymbol{H}}_{{\rm{BL}}}^ * = \left[ \begin{array}{l} {{\boldsymbol{U}}_{{L}}}(S){\rm{ }}\;\;\;\;\;\,{{\boldsymbol{U}}_{{H}}}(S) \\ {{\boldsymbol{U}}_{{L}}}({S^c}){\rm{ }}\;\;\;\;{{\boldsymbol{U}}_{{H}}}({S^c}) \end{array} \right]\left[ \begin{array}{l} {{\boldsymbol{U}}^{\rm{T}}_{{L}}}{(S)}{\rm{ }}\;\;\;\,\;\;{{\boldsymbol{U}}^{\rm{T}}_{{H}}}{(S)} \\ {{\boldsymbol{U}}^{\rm{T}}_{{L}}}{({S^c})}{\rm{ }}\;\;\;\;{{\boldsymbol{U}}^{\rm{T}}_{{H}}}{({S^c})} \end{array} \right]$$ (18) 4. 实验仿真及分析
本文将BGSR-GFS和BGSR-GFS-R重构算法与4种重构算法(ILSR、O-PGIR、IPR和IGDR)进行对比. 由于IPR算法性能优于IWR算法,故实验中只对比了IPR算法; 其次, 由于GBSR-IHT和GBSR-GFT是将ILSR算法变换至图谱域上进行重构, 其迭代效率和ILSR算法一致, 故本文未将其加入对比算法. 本文的实验仿真是在3.40 GHz的Intel i7-6700处理器和16 GB RAM的个人计算机上运行, 使用的软件为MATLAB R2019b.
实验中采用的数据集分别为美国明尼苏达州交通网络(
${G_1}$ )和美国部分主要城市温度网络(${G_2}$ ), 如图3所示.${G_1}$ 是由2642个节点和6608条边构成的, 节点和边分别表示交通网中的十字路口和实际的州际公路[29];${G_2}$ 中的节点个数为218, 节点表示美国主要城市[30], 本文采用$K$ 近邻法构建节点之间的边连接$(K = 5).$ 数据集中的带限图信号是由服从高斯分布的随机信号经过带限图滤波后构成的. 数据集${G_1}$ 的截止频率为0.4077, 数据集${G_2}$ 的截止频率为0.3698. 迭代阈值$\sigma $ 设置为$1 \times {10^{ - 8}}$ .本文采用的采样策略为贪婪采样[20]和随机采样. 基于贪婪采样策略,
${G_1}$ 和${G_2}$ 分别得到的采样节点数为873和33, 如图3所示. 为了公平地比较各算法在不同采样情况下的重构效果, 仿真中随机采样的节点个数与贪婪采样一致. 本文采用重构信号和原始信号之间的相对误差(Relative error, RE) 评估算法的重构精度, 如式(19)所示. 其中${\boldsymbol{f}}_S^R$ 和${{\boldsymbol{f}}_S}$ 分别表示重构信号和原始信号.$${{RE}} = \frac{{\left\| {{{\boldsymbol{f}}_S} - {\boldsymbol{f}}_S^R} \right\|_2^2}}{{\left\| {{{\boldsymbol{f}}_S}} \right\|_2^2}}$$ (19) 在无噪情况中, 不同算法的重构性能如图4所示, 其中图4(a)和图4(c)表示基于随机采样的
${G_1}$ 和${G_2}$ 数据集的重构性能, 图4(b)和图4(d)表示基于贪婪采样的${G_1}$ 和${G_2}$ 数据集的重构性能. 相比于ILSR和O-PGIR算法, 由于BGSR-GFS算法利用了信号的图高频分量特征; 无论采用随机采样或贪婪采样, 新算法都具有更优的迭代效率和重构误差. 此外, 由于BGSR-GFS-R算法基于残差信号的图高频分量特征进行重构, 该算法能够高效地估计未采样节点的残差信号, 相比于IPR和IGDR重构算法, 其迭代效率和重构精度均有提升.
图 4 无噪环境下带限图信号重构性能对比Fig. 4 Comparison of graph band-limited signals reconstruction performances in noiseless environment如图4(a)所示, 本文将重构算法应用于基于随机采样的
${G_1}$ 数据集中, BGSR-GFS和BGSR-GFS-R的重构精度分别为$3.75 \times {10^{ - 15}}$ 和$2.07 \times {10^{ - 15}}$ , 算法ILSR, OPGIR, IPR和IGDR的重构精度分别为$1.05 \times {10^{ - 7}}$ ,$7.82 \times {10^{ - 13}}$ ,$8.13 \times {10^{ - 15}}$ 和$6.51 \times $ $ {10^{ - 15}}$ . 而基于贪婪采样, BGSR和BGSR-GFS-R的重构精度分别为$3.79 \times {10^{ - 15}}$ 和$2.70 \times {10^{ - 15}}$ , ILSR, OPGIR, IPR和IGDR的重构精度分别为$1.47 \times $ $ {10^{ - 14}}$ ,$9.01 \times {10^{ - 15}}$ ,$7.06 \times {10^{ - 15}}$ 和$6.51 \times {10^{ - 15}}$ . 新算法的重构精度提升40 % ~ 70 %.如图4(b)所示, 本文将重构算法应用于数据集
${G_2}$ 中, 新算法BGSR-GFS的重构精度分别为$1.97 \times {10^{ - 15}}$ (随机)和$2.47 \times {10^{ - 15}}$ (贪婪), 新算法BGSR-GFS-R的重构精度分别为$5.53 \times {10^{ - 16}}$ (随机)和$7.51 \times {10^{ - 16}}$ (贪婪). 在随机采样中, 算法ILSR, OPGIR, IPR和IGDR的重构精度分别为$7.59 \times $ $ {10^{ - 6}}$ ,$6.73 \times {10^{ - 11}}$ ,$2.76 \times {10^{ - 15}}$ 和$3.42 \times {10^{ - 15}}$ . 基于贪婪采样,算法ILSR, OPGIR, IPR和IGDR的重构精度分别为$1.65 \times {10^{ - 9}}$ ,$4.65 \times {10^{ - 15}}$ ,$1.43 \times {10^{ - 15}}$ 和$3.40 \times {10^{ - 15}}$ . 相比于其他算法, 新算法的重构精度提升约60 %.如表1和表2所示, 相比于ILSR和O-PGIR算法, BGSR-GFS算法的重构效率提升70 %. 相比于ILSR和O-PGIR算法, BGSR-GFS-R算法的重构效率提升75 %.
表 1 无噪情况下基于随机采样的${G_1}$ 重构效率Table 1${G_1}$ reconstruction efficiency of random sampling in noiseless算法 迭代次数 运行时间 (s) ILSR 220 139.99 OPGIR 114 108.78 IPR 96 61.87 IGDR 33 20.47 BGSR-GFS 27 5.73 BGSR-GFS-R 8 8.97 表 2 无噪情况下基于随机采样的${G_2}$ 重构效率Table 2${G_2}$ reconstruction efficiency of random sampling in noiseless算法 迭代次数 运行时间 (s) ILSR 269 0.1509 OPGIR 139 0.1291 IPR 64 0.0405 IGDR 34 0.0271 BGSR-GFS 7 0.0065 BGSR-GFS-R 5 0.0146 为了对比噪声环境中的算法的鲁棒性, 本文在采样信号中分别加入信噪比为
$20\;{\rm{dB}}$ 和$40\;{\rm{dB}}$ 的随机高斯噪声. 信号重构性能对比如图5所示, 本文提出的重构算法和对比算法的抗噪鲁棒性相同, 然而BGSR-GFS和BGSR-GFS-R的迭代效率更高. 无论是本文算法还是对比算法均没有进行噪声抑制或消除的步骤, 导致无法消除噪声对于重构性能的影响.
图 5 含噪环境下带限图信号重构性能对比Fig. 5 Comparison of graph band-limited signals reconstruction performances in noisy environment在第3组仿真中, 本文将针对分段带限图信号进行重构性能对比. 本文将第1组仿真实验中的图信号加入高频分量. 即随机选取
${{Q}}$ 个连续的高频分量后, 再通过图傅里叶逆变换得到分段带限图信号(${G_1}$ 和${G_2}$ 的${{Q}}$ 值分别为10和3). 为了确保对比试验的公平性, 本文将对比算法中的低通图滤波器调整为带通图滤波器.如图6所示, 无论是基于随机采样或贪婪采样, 本文算法都具有良好的重构精度和迭代效率. 由于ILSR和O-PGIR算法都是利用图信号的低频分量相似性原则设计重构算法, 而没有考虑到图信号的高频段分量的差异性, 所以迭代效率十分有限. 算法IPR在ILSR的基础上, 基于相邻节点残差信号等值传递的原则进行迭代过程中增量的估计, 而算法IGDR在IPR的基础上增加了扩散策略, 进一步提高了迭代效率; 两种基于残差法的重构策略实质上都是利用了残差信号低频分量之间的相似性, 同样无法实现高效的信号重构. 与上述4种算法不同的是, 由于本文提出的两种算法同时考虑了图低频相似性和图高频差异性, 通过图谱域移位策略重构分段带限图信号, 具有较高的重构精度和迭代效率.
图 6 分段带限图信号重构性能对比Fig. 6 Comparison of graph separate band-limited signals reconstruction performances5. 结束语
本文针对带限图信号的重构问题, 提出了基于图带限分量恒等特性的重构模型. 通过将该重构模型转化为最小二乘问题, 本文提出了两种基于图谱域移位的重构算法. 此外, 本文所提出的新算法同样适用于分段带限图信号的重构问题. 最后, 数值仿真表明, 相比于其他重构算法, 本文算法的重构性能更优.
-
图 3 基于一步张量学习的多视图子空间聚类结构图
Fig. 3 The framework of the one-step tensor learning for multi-view subspace clustering (OTSC)
图 5 根据
$ACC$ 和$NMI$ 调整数据集ORL参数$\alpha$ 与$\gamma$ Fig. 5 Parameters tuning in terms of
$ACC$ and$NMI$ on ORL
图 7 收敛性曲线 ((a) BBCSport; (b) Extended YaleB)
Fig. 7 The convergence curves and ACC versus iterations on ((a) BBCSport; (b) Extended YaleB)
表 1 符号与定义
Table 1 Notations and definitions
符号 定义 $\boldsymbol{x}, X, {\cal{X}}$ 向量, 矩阵, 张量 1 单位向量 $I$ 单位矩阵 ${\cal{I}}$ 单位张量 $n$ 样本个数 $V$ 视图个数 $d_v$ 第$v$个视图的特征维度 $X^v\in {\bf{R}}^{d_v \times n}$ 第$v$个视图的特征矩阵 ${\cal{Z}}\in{\bf{R}}^{n\times n\times V}$ 表示张量 $A\in {\bf{R}}^{n \times n}$ 亲和度矩阵 $E^v\in {\bf{R}}^{n \times n}$ 噪声矩阵 $\|\cdot\|_{2,1}$ $l_{2,1}$范数 $\|\cdot\|_{\rm{F}}$ Frobenius范数 $\|\cdot\|_\infty$ 无穷范数 $\|\cdot\|_{*}$ 矩阵核范数 $\|\cdot\|_{\circledast}$ 张量核范数 ${\rm{FFT}}$ 快速傅里叶分解 
下载: 导出CSV
表 2 真实多视图数据集信息
Table 2 Summary of all real-world multi-view databases
数据集 样本数量 类别 视图 种类 Extended YaleB 640 38 3 面部图像 ORL 400 40 3 面部图像 3Sources 169 6 3 新闻故事 BBCSport 544 5 2 新闻故事 UCI-Digits 2000 10 3 手写数字 COIL_20 1440 20 3 通用对象
下载: 导出CSV
表 3 参数设置
Table 3 Parameter setting
数据集 $\alpha$ $\gamma$ $K$ Extended YaleB 1 0.005 5 ORL 0.1 0.05 12 3Sources 0.1 50 8 BBCSport 0.05 5 8 UCI-Digits 0.2 2 15 COIL_20 0.05 1 5
下载: 导出CSV
表 4 数据集Extended YaleB、ORL的聚类结果
Table 4 Clustering results (mean
$ \pm $ standard deviation) on Extended YaleB and ORL数据 类型 方法 $ACC$ $NMI$ $AR$ $F$-$score$ $Precision$ $Recall$ Extended YaleB 单视图方法 SSCbest 0.587±0.003 0.534±0.003 0.430±0.005 0.487±0.004 0.451±0.002 0.509±0.007 LRRbest 0.615±0.013 0.627±0.040 0.451±0.002 0.508±0.004 0.481±0.002 0.539±0.001 RSSbest 0.742±0.001 0.787±0.000 0.685±0.001 0.717±0.001 0.704±0.001 0.730±0.000 多视图方法 RMSC 0.210±0.013 0.157±0.019 0.060±0.014 0.155±0.012 0.151±0.012 0.159±0.013 DiMSC 0.615±0.003 0.636±0.002 0.453±0.005 0.504±0.006 0.481±0.004 0.534±0.004 LT-MSC 0.626±0.010 0.637±0.003 0.459±0.030 0.521±0.006 0.485±0.001 0.539±0.002 MLAN 0.346±0.011 0.352±0.015 0.093±0.009 0.213±0.023 0.159±0.018 0.321±0.013 t-SVD 0.652±0.000 0.667±0.004 0.500±0.003 0.550±0.002 0.514±0.004 0.590±0.004 GMC 0.434±0.000 0.449±0.000 0.157±0.000 0.265±0.000 0.204±0.000 0.378±0.000 LMSC 0.598±0.005 0.568±0.004 0.354±0.007 0.423±0.006 0.390±0.006 0.463±0.005 SCMV-3DT 0.410±0.001 0.413±0.002 0.185±0.002 0.276±0.001 0.244±0.002 0.318±0.001 LRTG 0.954±0.000 0.905±0.000 0.899±0.000 0.909±0.000 0.908±0.000 0.911±0.000 WTNNM 0.648±0.005 0.661±0.002 0.501±0.000 0.552±0.000 0.533±0.000 0.573±0.000 GLTA 0.571±0.002 0.630±0.005 0.510±0.005 0.560±0.004 0.544±0.004 0.576±0.006 本方法 OTSC 0.969±0.001 0.934±0.001 0.931±0.002 0.937±0.002 0.935±0.002 0.939±0.002 WOTSC 0.972±0.000 0.943±0.000 0.938±0.000 0.944±0.000 0.942±0.000 0.946±0.000 ORL 单视图方法 SSCbest 0.765±0.008 0.893±0.007 0.694±0.013 0.682±0.012 0.673±0.007 0.764±0.005 LRRbest 0.773±0.003 0.895±0.006 0.724±0.020 0.731±0.004 0.701±0.001 0.754±0.002 RSSbest 0.846±0.024 0.938±0.007 0.798±0.023 0.803±0.023 0.759±0.030 0.852±0.017 多视图方法 RMSC 0.723±0.007 0.872±0.012 0.645±0.003 0.654±0.007 0.607±0.009 0.709±0.004 DiMSC 0.838±0.001 0.940±0.003 0.802±0.000 0.807±0.003 0.764±0.012 0.856±0.004 LT-MSC 0.795±0.007 0.930±0.003 0.750±0.003 0.768±0.004 0.766±0.009 0.837±0.005 MLAN 0.705±0.02 0.854±0.018 0.384±0.010 0.376±0.015 0.254±0.021 0.721±0.020 t-SVD 0.970±0.003 0.993±0.002 0.967±0.002 0.968±0.003 0.946±0.004 0.991±0.003 GMC 0.633±0.000 0.857±0.000 0.337±0.000 0.360±0.000 0.232±0.000 0.801±0.000 LMSC 0.877±0.024 0.949±0.006 0.839±0.022 0.843±0.021 0.806±0.027 0.884±0.017 SCMV-3DT 0.839±0.012 0.908±0.007 0.763±0.018 0.769±0.017 0.747±0.020 0.792±0.016 LRTG 0.933±0.003 0.970±0.002 0.905±0.005 0.908±0.005 0.888±0.004 0.928±0.007 WTNNM 0.967±0.000 0.992±0.000 0.960±0.000 0.952±0.000 0.946±0.000 0.968±0.000 GLTA 0.976±0.002 0.994±0.006 0.958±0.024 0.963±0.019 0.952±0.035 0.989±0.012 本方法 OTSC 0.983±0.002 0.988±0.001 0.964±0.003 0.965±0.003 0.958±0.004 0.972±0.001 WOTSC 0.938±0.000 0.972±0.000 0.907±0.000 0.909±0.000 0.885±0.000 0.936±0.000
下载: 导出CSV
表 5 数据集3Sources、UCI-Digits的聚类结果
Table 5 Clustering results (mean
$ \pm $ standard deviation) on 3Sources and UCI-Digits数据 类型 方法 $ACC$ $NMI$ $AR$ $F$-$score$ $Precision$ $Recall$ 3Sources 单视图方法 SSCbest 0.762±0.003 0.694±0.003 0.658±0.004 0.743±0.003 0.769±0.001 0.719±0.005 LRRbest 0.647±0.033 0.542±0.018 0.486±0.028 0.608±0.033 0.594±0.031 0.636±0.096 RSSbest 0.722±0.000 0.601±0.000 0.533±0.000 0.634±0.000 0.679±0.000 0.595±0.000 多视图方法 RMSC 0.583±0.022 0.630±0.011 0.455±0.031 0.557±0.025 0.635±0.029 0.497±0.028 DiMSC 0.795±0.004 0.727±0.010 0.661±0.005 0.748±0.004 0.711±0.005 0.788±0.003 LT-MSC 0.781±0.000 0.698±0.003 0.651±0.003 0.734±0.002 0.716±0.008 0.754±0.005 MLAN 0.775±0.015 0.676±0.005 0.580±0.008 0.666±0.007 0.756±0.003 0.594±0.009 t-SVD 0.781±0.000 0.678±0.000 0.658±0.000 0.745±0.000 0.683±0.000 0.818±0.000 GMC 0.693±0.000 0.622±0.000 0.443±0.000 0.605±0.000 0.484±0.000 0.804±0.000 LMSC 0.912±0.006 0.826±0.007 0.842±0.011 0.887±0.008 0.873±0.007 0.877±0.012 SCMV-3DT 0.440±0.020 0.386±0.009 0.226±0.012 0.411±0.009 0.399±0.012 0.425±0.016 LRTG 0.947±0.000 0.865±0.000 0.881±0.000 0.909±0.000 0.911±0.000 0.906±0.000 WTNNM 0.793±0.000 0.692±0.000 0.679±0.000 0.761±0.010 0.693±0.000 0.845±0.000 GLTA 0.859±0.008 0.753±0.015 0.713±0.014 0.775±0.011 0.827±0.009 0.730±0.013 本方法 OTSC 0.953±0.000 0.880±0.000 0.893±0.000 0.918±0.000 0.914±0.000 0.922±0.000 WOTSC 0.947±0.000 0.867±0.000 0.888±0.000 0.914±0.000 0.909±0.000 0.920±0.000 UCI-Digits 单视图方法 SSCbest 0.815±0.011 0.840±0.001 0.770±0.005 0.794±0.004 0.747±0.010 0.848±0.004 LRRbest 0.871±0.001 0.768±0.002 0.736±0.002 0.763±0.002 0.759±0.002 0.767±0.002 RSSbest 0.819±0.000 0.863±0.000 0.787±0.000 0.810±0.000 0.756±0.000 0.872±0.000 多视图方法 RMSC 0.915±0.024 0.822±0.008 0.789±0.014 0.811±0.012 0.797±0.017 0.826±0.006 DiMSC 0.703±0.010 0.772±0.006 0.652±0.006 0.695±0.006 0.673±0.005 0.718±0.007 LT-MSC 0.803±0.001 0.775±0.001 0.725±0.001 0.753±0.001 0.739±0.001 0.767±0.001 MLAN 0.874±0.000 0.910±0.000 0.847±0.000 0.864±0.000 0.797±0.000 0.943±0.000 t-SVD 0.955±0.000 0.932±0.000 0.924±0.000 0.932±0.000 0.930±0.000 0.934±0.000 GMC 0.736±0.000 0.815±0.000 0.678±0.000 0.713±0.000 0.644±0.000 0.799±0.000 LMSC 0.893±0.000 0.815±0.000 0.783±0.000 0.805±0.000 0.798±0.000 0.812±0.000 SCMV-3DT 0.930±0.001 0.861±0.001 0.846±0.001 0.861±0.001 0.859±0.001 0.864±0.001 LRTG 0.981±0.000 0.953±0.000 0.957±0.000 0.961±0.000 0.961±0.000 0.962±0.000 WTNNM 0.998±0.000 0.993±0.000 0.994±0.000 0.995±0.010 0.998±0.000 0.995±0.000 GLTA 0.997±0.000 0.992±0.000 0.993±0.000 0.994±0.000 0.994±0.000 0.994±0.000 本方法 OTSC 0.983±0.001 0.958±0.001 0.962±0.001 0.966±0.001 0.965±0.000 0.966±0.002 WOTSC 0.983±0.000 0.958±0.000 0.962±0.000 0.966±0.000 0.965±0.000 0.966±0.000
下载: 导出CSV
表 6 数据集BBCSport、COIL-20的聚类结果
Table 6 Clustering results (mean
$ \pm $ standard deviation) on BBCSport and COIL-20数据 类型 方法 $ACC$ $NMI$ $AR$ $F$-$score$ $Precision$ $Recall$ BBCSport 单视图方法 SSCbest 0.627±0.003 0.534±0.008 0.364±0.007 0.565±0.005 0.427±0.004 0.834±0.004 LRRbest 0.836±0.001 0.698±0.002 0.705±0.001 0.776±0.001 0.768±0.001 0.784±0.001 RSSbest 0.878±0.000 0.714±0.000 0.717±0.000 0.784±0.000 0.787±0.000 0.782±0.000 多视图方法 RMSC 0.826±0.001 0.666±0.001 0.637±0.001 0.719±0.001 0.766±0.001 0.677±0.001 DiMSC 0.922±0.000 0.785±0.000 0.813±0.000 0.858±0.000 0.846±0.000 0.872±0.000 LT-MSC 0.460±0.046 0.222±0.028 0.167±0.043 0.428±0.014 0.328±0.028 0.629±0.053 MLAN 0.721±0.000 0.779±0.000 0.591±0.000 0.714±0.000 0.567±0.000 0.962±0.000 t-SVD 0.879±0.000 0.765±0.000 0.784±0.000 0.834±0.000 0.863±0.000 0.807±0.000 GMC 0.807±0.000 0.760±0.000 0.722±0.000 0.794±0.000 0.727±0.000 0.875±0.000 LMSC 0.847±0.003 0.739±0.001 0.749±0.001 0.810±0.001 0.799±0.001 0.822±0.001 SCMV-3DT 0.980±0.000 0.929±0.000 0.935±0.000 0.950±0.000 0.959±0.000 0.942±0.000 LRTG 0.943±0.005 0.869±0.009 0.840±0.012 0.879±0.000 0.866±0.006 0.892±0.014 WTNNM 0.963±0.000 0.900±0.000 0.908±0.000 0.930±0.000 0.950±0.000 0.911±0.000 GLTA 1.000±0.000 1.000±0.000 1.000±0.000 1.000±0.000 1.000±0.000 1.000±0.000 本方法 OTSC 0.970±0.000 0.914±0.000 0.911±0.000 0.933±0.000 0.928±0.000 0.937±0.000 WOTSC 0.985±0.000 0.950±0.000 0.957±0.000 0.967±0.000 0.963±0.000 0.971±0.000 COIL-20 单视图方法 SSCbest 0.803±0.022 0.935±0.009 0.798±0.022 0.809±0.013 0.734±0.027 0.804±0.028 LRRbest 0.761±0.003 0.829±0.006 0.720±0.020 0.734±0.006 0.717±0.003 0.751±0.002 RSSbest 0.837±0.012 0.930±0.006 0.789±0.005 0.800±0.005 0.717±0.012 0.897±0.017 多视图方法 RMSC 0.685±0.045 0.800±0.017 0.637±0.044 0.656±0.042 0.620±0.057 0.698±0.026 DiMSC 0.778±0.022 0.846±0.002 0.732±0.005 0.745±0.005 0.739±0.007 0.751±0.003 LT-MSC 0.804±0.011 0.860±0.002 0.748±0.004 0.760±0.007 0.741±0.009 0.776±0.006 MLAN 0.862±0.011 0.961±0.004 0.835±0.006 0.844±0.013 0.758±0.008 0.953±0.007 t-SVD 0.830±0.000 0.884±0.005 0.786±0.003 0.800±0.004 0.785±0.007 0.808±0.001 GMC 0.791±0.001 0.941±0.000 0.782±0.000 0.794±0.000 0.694±0.000 0.929±0.000 LMSC 0.806±0.013 0.862±0.007 0.765±0.014 0.776±0.013 0.770±0.013 0.783±0.013 SCMV-3DT 0.701±0.028 0.810±0.009 0.635±0.003 0.654±0.029 0.614±0.039 0.702±0.018 LRTG 0.927±0.000 0.976±0.000 0.928±0.000 0.932±0.000 0.905±0.000 0.961±0.000 WTNNM 0.902±0.000 0.945±0.000 0.893±0.000 0.898±0.010 0.897±0.000 0.900±0.000 GLTA 0.903±0.006 0.946±0.001 0.891±0.007 0.897±0.006 0.893±0.013 0.900±0.001 本方法 OTSC 0.936±0.004 0.983±0.004 0.938±0.006 0.941±0.006 0.906±0.007 0.979±0.006 WOTSC 0.960±0.026 0.976±0.004 0.934±0.025 0.938±0.024 0.918±0.042 0.959±0.004
下载: 导出CSV
-
[1] Du G W, Zhou L H, Yang Y D, Lü K, Wang L Z. Deep multiple auto-encoder-based multi-view clustering. Data Science and Engineering, 2021, 6(3): 323-338 doi: 10.1007/s41019-021-00159-z [2] Fu L L, Chen Z L, Chen Y Y, Wang S P. Unified low-rank tensor learning and spectral embedding for multi-view subspace clustering. IEEE Transactions on Multimedia, DOI: 10.1109/TMM.2022.3185886 [3] Wang X Y, Han T X, Yan S C. An HOG-LBP human detector with partial occlusion handling. In: Proceedings of the IEEE 12th International Conference on Computer Vision (ICCV). Kyoto, Japan: IEEE, 2009. 32−39 [4] Lades M, Vorbruggen J C, Buhmann J, Lang J, von der Malsburg C, Wurtz R P, et al. Distortion invariant object recognition in the dynamic link architecture. IEEE Transactions on Computers, 1993, 42(3): 300-311 doi: 10.1109/12.210173 [5] Dalal N, Triggs B. Histograms of oriented gradients for human detection. In: Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR’05). San Diego, USA: IEEE, 2005. 886−893 [6] Zhang C Q, Fu H Z, Liu S, Liu G C, Cao X C. Low-rank tensor constrained multiview subspace clustering. In: Proceedings of the IEEE International Conference on Computer Vision (ICCV). Santiago, Chile: IEEE, 2015. 1582−1590 [7] Xie Y, Tao D C, Zhang W S, Liu Y, Zhang L, Qu Y Y. On unifying multi-view self-representations for clustering by tensor multi-rank minimization. International Journal of Computer Vision, 2018, 126(11): 1157-1179 doi: 10.1007/s11263-018-1086-2 [8] Shi D, Zhu L, Li J J, Cheng Z Y, Zhang Z. Flexible multiview spectral clustering with self-adaptation. IEEE Transactions on Cybernetics, DOI: 10.1109/TCYB.2021.3131749 [9] 赵博宇, 张长青, 陈蕾, 刘新旺, 李泽超, 胡清华. 生成式不完整多视图数据聚类. 自动化学报, 2021, 47(8): 1867-1875 doi: 10.16383/j.aas.c200121Zhao Bo-Yu, Zhang Chang-Qing, Chen Lei, Liu Xin-Wang, Li Ze-Chao, Hu Qing-Hua. Generative model for partial multi-view clustering. Acta Automatica Sinica, 2021, 47(8): 1867-1875 doi: 10.16383/j.aas.c200121 [10] Qin Y L, Wu H Z, Zhang X P, Feng G R. Semi-supervised structured subspace learning for multi-view clustering. IEEE Transactions on Image Processing, 2022, 31: 1-14 doi: 10.1109/TIP.2021.3128325 [11] Han Z B, Zhang C Q, Fu H Z, Zhou J Y. Trusted multi-view classification with dynamic evidential fusion. IEEE Transactions on Pattern Analysis and Machine Intelligence, DOI: 10.1109/TPAMI.2022.3171983 [12] An J F, Luo H Y, Zhang Z, Zhu L, Lu G M. Cognitive multi-modal consistent hashing with flexible semantic transformation. Information Processing & Management, 2022, 59(1): Article No. 102743 [13] Peng Z H, Liu H, Jia Y H, Hou J H. Adaptive attribute and structure subspace clustering network. IEEE Transactions on Image Processing, 2022, 31: 3430-3439 doi: 10.1109/TIP.2022.3171421 [14] Huang Z Y, Zhou J T, Zhu H Y, Zhang C, Lv J C, Peng X. Deep spectral representation learning from multi-view data. IEEE Transactions on Image Processing, 2021, 30: 5352-5362 doi: 10.1109/TIP.2021.3083072 [15] Liang Y W, Huang D, Wang C D, Yu P S. Multi-view graph learning by joint modeling of consistency and inconsistency. IEEE Transactions on Neural Networks and Learning Systems, DOI: 10.1109/TNNLS.2022.3192445 [16] Wang H, Yang Y, Liu B. GMC: Graph-based multi-view clustering. IEEE Transactions on Knowledge and Data Engineering, 2020, 32(6): 1116-1129 doi: 10.1109/TKDE.2019.2903810 [17] Patel V M, Vidal R. Kernel sparse subspace clustering. In: Proceedings of the IEEE International Conference on Image Processing (ICIP). Paris, France: IEEE, 2014. 2849−2853 [18] Yin M, Guo Y, Gao J B, He Z S, Xie S L. Kernel sparse subspace clustering on symmetric positive definite manifolds. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Las Vegas, USA: IEEE, 2016. 5157−5164 [19] Wang S Q, Chen Y Y, Zhang L N, Cen Y G, Voronin V. Hyper-laplacian regularized nonconvex low-rank representation for multi-view subspace clustering. IEEE Transactions on Signal and Information Processing over Networks, 2022, 8: 376-388 doi: 10.1109/TSIPN.2022.3169633 [20] Li Z L, Tang C, Zheng X, Liu X W, Zhang W, Zhu E. High-order correlation preserved incomplete multi-view subspace clustering. IEEE Transactions on Image Processing, 2022, 31: 2067-2080 doi: 10.1109/TIP.2022.3147046 [21] Liu G C, Lin Z C, Yan S C, Sun J, Yu Y, Ma Y. Robust recovery of subspace structures by low-rank representation. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2013, 35(1): 171-184 doi: 10.1109/TPAMI.2012.88 [22] Elhamifar E, Vidal R. Sparse subspace clustering: Algorithm, theory, and applications. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2013, 35(11): 2765-2781 doi: 10.1109/TPAMI.2013.57 [23] 尹明, 吴浩杨, 谢胜利, 杨其宇. 基于自注意力对抗的深度子空间聚类. 自动化学报, 2022, 48(1): 271-281Yin Ming, Wu Hao-Yang, Xie Sheng-Li, Yang Qi-Yu. Self-attention adversarial based deep subspace clustering. Acta Automatica Sinica, 2022, 48(1): 271-281 [24] Gao H C, Nie F P, Li X L, Huang H. Multi-view subspace clustering. In: Proceedings of the IEEE International Conference on Computer Vision (ICCV). Santiago, Chile: IEEE, 2015. 4238−4246 [25] Chen Y Y, Xiao X L, Zhou Y C. Multi-view subspace clustering via simultaneously learning the representation tensor and affinity matrix. Pattern Recognition, 2020, 106: 107441 doi: 10.1016/j.patcog.2020.107441 [26] Zhang G Y, Zhou Y R, Wang C D, Huang D, He X Y. Joint representation learning for multi-view subspace clustering. Expert Systems with Applications, 2021, 166: 113913 doi: 10.1016/j.eswa.2020.113913 [27] Wu J L, Xie X Y, Nie L Q, Lin Z C, Zha H B. Unified graph and low-rank tensor learning for multi-view clustering. Proceedings of the AAAI Conference on Artificial Intelligence, 2020, 34(4): 6388-6395 doi: 10.1609/aaai.v34i04.6109 [28] Carroll J D, Chang J J. Analysis of individual differences in multidimensional scaling via an n-way generalization of “eckart-young” decomposition. Psychometrika, 1970, 35(3): 283-319 doi: 10.1007/BF02310791 [29] Tucker L R. Some mathematical notes on three-mode factor analysis. Psychometrika, 1966, 31(3): 279-311 doi: 10.1007/BF02289464 [30] Kilmer M E, Braman K, Hao N, Hoover R C. Third-order tensors as operators on matrices: A theoretical and computational framework with applications in imaging. SIAM Journal on Matrix Analysis and Applications, 2013, 34(1): 148-172 doi: 10.1137/110837711 [31] Liu X W, Wang L, Zhang J, Yin J P, Liu H. Global and local structure preservation for feature selection. IEEE Transactions on Neural Networks and Learning Systems, 2014, 25(6): 1083-1095 doi: 10.1109/TNNLS.2013.2287275 [32] Chen G L, Lerman G. Spectral curvature clustering (SCC). International Journal of Computer Vision, 2009, 81(3): 317-330 doi: 10.1007/s11263-008-0178-9 [33] Liu G C, Lin Z C, Yu Y. Robust subspace segmentation by low-rank representation. In: Proceedings of the 27th International Conference on Machine Learning (ICML). Haifa, Israel: Omnipress, 2010. 663−670 [34] 王卫卫, 李小平, 冯象初, 王斯琪. 稀疏子空间聚类综述. 自动化学报, 2015, 41(8): 1373-1384 doi: 10.16383/j.aas.2015.c140891Wang Wei-Wei, Li Xiao-Ping, Feng Xiang-Chu, Wang Si-Qi. A survey on sparse subspace clustering. Acta Automatica Sinica, 2015, 41(8): 1373-1384 doi: 10.16383/j.aas.2015.c140891 [35] You C, Robinson D P, Vidal R. Scalable sparse subspace clustering by orthogonal matching pursuit. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Las Vegas, USA: IEEE, 2016. 3918−3927 [36] Vidal R, Favaro P. Low rank subspace clustering (LRSC). Pattern Recognition Letters, 2014, 43: 47-61 doi: 10.1016/j.patrec.2013.08.006 [37] Kheirandishfard M, Zohrizadeh F, Kamangar F. Deep low-rank subspace clustering. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW). Seattle, USA: IEEE, 2020. 864−865 [38] Nie F P, Wang X Q, Huang H. Clustering and projected clustering with adaptive neighbors. In: Proceedings of the 20th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining (SIGKDD). New York, USA: ACM, 2014. 977−986 [39] Yin M, Gao J B, Xie S L, Guo Y. Multiview subspace clustering via tensorial t-product representation. IEEE Transactions on Neural Networks and Learning Systems, 2019, 30(3): 851-864 doi: 10.1109/TNNLS.2018.2851444 [40] Xia R K, Pan Y, Du L, Yin J. Robust multi-view spectral clustering via low-rank and sparse decomposition. In: Proceedings of the 28th AAAI Conference on Artificial Intelligence (AAAI). Québec City, Canada: AAAI Press, 2014. 2149−2155 [41] Chen Y Y, Xiao X L, Peng C, Lu G M, Zhou Y C. Low-rank tensor graph learning for multi-view subspace clustering. IEEE Transactions on Circuits and Systems for Video Technology, 2022, 32(1): 92-104 doi: 10.1109/TCSVT.2021.3055625 [42] Guo X J. Robust subspace segmentation by simultaneously learning data representations and their affinity matrix. In: Proceedings of the 24th International Conference on Artificial Intelligence. Buenos Aires, Argentina: AAAI Press, 2015. 3547−3553 [43] 文杰, 颜珂, 张正, 徐勇. 基于低秩张量图学习的不完整多视角聚类. 自动化学报, DOI: 10.16383/j.aas.c200519Wen Jie, Yan Ke, Zhang Zheng, Xu Yong. Low-rank tensor graph learning based incomplete multi-view clustering. Acta Automatica Sinica, DOI: 10.16383/j.aas.c200519 [44] Cao X C, Zhang C Q, Fu H Z, Liu S, Zhang H. Diversity-induced multi-view subspace clustering. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Boston, USA: IEEE, 2015. 586−594 [45] Nie F P, Cai G H, Li J, Li X L. Auto-weighted multi-view learning for image clustering and semi-supervised classification. IEEE Transactions on Image Processing, 2018, 27(3): 1501-1511 doi: 10.1109/TIP.2017.2754939 [46] Zhang C Q, Fu H Z, Hu Q H, Cao X C, Xie Y, Tao D C, et al. Generalized latent multi-view subspace clustering. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2020, 42(1): 86-99 doi: 10.1109/TPAMI.2018.2877660 [47] Gao Q X, Xia W, Wan Z Z, Xie D Y, Zhang P. Tensor-SVD based graph learning for multi-view subspace clustering. Proceedings of the AAAI Conference on Artificial Intelligence, 2020, 34(4): 3930-3937 doi: 10.1609/aaai.v34i04.5807 期刊类型引用(4)
1. 郑薇. 基于混沌BP算法的数字温度传感器温度误差模糊控制方法. 工业仪表与自动化装置. 2023(03): 122-126+133 . 
百度学术2. 易利群，盛玉霞，柴利. 融合MRI信息的PET图像去噪:基于图小波的方法. 自动化学报. 2023(12): 2605-2614 . 本站查看3. 王涵予，姜永元，张守亮，吴任翔，孙伟. 人工气候加速试验箱温湿度图信号重构智能监测算法. 计算机应用. 2022(S1): 376-379 . 百度学术4. 张戍育，余国文. 基于无人机蜂群的雷达波束特征提取方案. 空军预警学院学报. 2021(05): 353-358 . 百度学术其他类型引用(5)
-
计量
- 文章访问数: 1286
- HTML全文浏览量: 585
- PDF下载量: 449
- 被引次数: 9
