-
摘要: 张量主成分分析(Tensor principal component analysis, TPCA)在彩色图像低维表征领域得到广泛深入研究, 采用${\rm{F}}$范数平方作为低维投影的距离度量方式, 表征含离群数据和噪声图像的鲁棒性较弱. ${L}_{1}$范数能够抑制噪声的影响, 但所获的低维投影数据缺乏重构误差约束, 其局部表征能力也较弱. 针对上述问题, 利用${\rm{F}}$范数作为目标函数的距离度量方式, 提出一种基于$\rm{F}$范数的分块张量主成分分析算法(Block TPCA with $\rm{F}$-norm, BlockTPCA-F), 提高张量低维表征的鲁棒性. 考虑到同时约束投影距离与重构误差, 提出一种基于比例$\rm{F}$范数的分块张量主成分分析算法(Block TPCA with proportional F-norm, BlockTPCA-PF), 其最大化投影距离与最小化重构误差均得到了优化. 然后, 给出其贪婪的求解算法, 并对其收敛性进行理论证明. 最后, 对包含不同噪声块和具有实际遮挡的彩色人脸数据集进行实验, 结果表明, 所提算法在平均重构误差、图像重构与分类率等方面均得到明显提升, 在张量低维表征中具有较强的鲁棒性.Abstract: Tensor principal component analysis (TPCA) has been widely and deeply studied in the field of low-dimensional representation of color images. Using the square F-norm as the distance metric of low-dimensional projection, the robustness of representing the images with outliers and noise is weak. ${L}_{1}$ can suppress the influence of noise, but the obtained low-dimensional projection data lacks the constraint of reconstruction errors, and the local representation ability is also weak. To solve the above problems, using F-norm as the distance metric of the objective function, a block TPCA with F-norm (BlockTPCA-F) algorithm is proposed to improve the robustness of tensor representation with low dimension. Considering the constraints of projection distances and reconstruction errors at the same time, a block TPCA with proportional F-norm (BlockTPCA-PF) algorithm is presented. The maximum projection distance and the minimum reconstruction error in the objective function are optimized. Then, the greedy algorithms for BlockTPCA-F and BlockTPCA-PF are given respectively, and the convergence is proved theoretically. Finally, experiments are carried out on color face datasets with different artificial noise blocks or actual occluded faces. The results show that the proposed algorithms have been significantly improved in the average reconstruction error, the image reconstruction and the classification rate, and they have strong robustness in tensor low-dimensional representation.
-
在数据处理领域, 最重要的就是从海量高维数据样本中寻求最优的低维子空间表征这些样本的时空结构信息. 近年来, 以张量形式表示的多通道高维数据如彩色图像、高光谱图像、彩色视频等应用日趋增多, 张量数据处理技术也随之快速发展, 已广泛应用于信号处理[1-2]、数据挖掘[3]、模式识别[4]等众多领域. 因此, 研究张量低维表征技术, 挖掘张量数据时空结构信息及样本间相关信息, 显得尤为必要.
基于图像矩阵的低维表征技术已取得长足发展, 其中主成分分析(Principal component analysis, PCA)[5]较为典型, 其应用成果最为丰硕, 理论研究也最为深入. PCA的目标是寻找所有数据样本最优投影方向, 使得提取的低维特征能更好地表征原始数据, 更大程度实现“主成分分解”与“信息压缩”[6]. PCA以向量形式实现了图像的低维表征, 但破坏了图像的整体空间结构. 随后, 二维主成分分析 (Two-dimensional PCA, 2DPCA)[7]算法直接以矩阵的形式表征图像的低维特征. 为了进一步表征图像的深层次结构和局部特征, Wang等[8]提出了块主成分分析(Block PCA, BPCA)算法, 将图像分块重组后再进行数据投影与低维表征. 这些二维算法均采用F范数平方进行距离度量, 在其表征方向上满足PCA 投影方差最大的优化目标, 鲁棒性较差.
目前, 鲁棒表征算法主要有基于矩阵分解的低秩表征和基于距离度量的低维表征两类. 低秩表征算法是将数据矩阵分解成一个低秩矩阵与一个稀疏矩阵, 利用低秩和稀疏约束实现去噪功能, 其中鲁棒主成分分析(Robust PCA, RPCA)[9]相关算法较为典型. 该类算法求解过程难以收敛, 计算复杂度较高. 而基于距离度量的低维表征算法主要包括基于$ L_{1} $范数的PCA贪婪求解算法 (PCA with L1-norm greedy, PCA-L1-G)[10]和非贪婪求解算法(PCA with $ L_{1} $-norm non-greedy, PCA-$ L_{1} $-NG)[11], 以及基于$ L_{1} $范数的2DPCA贪婪求解算法 (2DPCA with $ L_{1} $-norm greedy, 2DPCA-$ L_{1} $-G)[12]和非贪婪求解算法(2DPCA with $ L_{1} $-norm non-greedy, 2DPCA-L1-NG)[13]. 考虑到$ L_{p} $范数为$ L_{1} $范数的扩展与延伸, 基于$ L_{p} $范数的PCA-Lp算法[14]、G2DPCA-$ L_{p} $算法[15]和$ L_{p} $SPCA算法[16]采用迭代方式求得最优解, 提高了算法的鲁棒性. 这类低维表征算法依然沿用投影距离最大的优化思路, 选用不同的距离度量方式减少噪声对数据低维表征的影响, 使得算法具有较强的鲁棒性.
现今, 彩色图像与视频流等张量数据处理技术需求快速增加, 如直接采用上述一阶向量或二阶矩阵的算法进行低维表征, 则大量时空结构信息丢失[17], 并且其数据的操作量、计算的复杂度等也呈指数级增长. 因此, 基于张量对象的多线性主成分分析算法(Multilinear PCA, MPCA)[18]可以提升对张量目标的低维表征能力. 进而, 增量式张量主成分分析算法(Incremental TPCA, ITPCA)[19]和在线MPCA算法[20] 等提升了张量数据的实时处理能力, 在前景分割及目标追踪等领域得到了应用. Wu等[21]从张量的深度学习网络出发, 将传统的PCA扩展到了多线性主成分分析网络(MPCA network, MPCAnet), 实现了多维张量图像的高层语义表征. 为了提高对张量数据的局部表征能力, Li等[22] 将分块处理技术引入到TPCA算法, 对协方差矩阵的分块矩阵进行特征分解以寻求最优的表征特征. 上述张量算法在数据表征过程中其鲁棒性较弱, 对噪声极为敏感.
同样, 鲁棒张量表征算法也分为基于张量分解的低秩表征和基于距离度量的低维表征. 在张量低秩表征研究中, 基于张量奇异值分解(Tensor singular value decomposition, t-SVD)[23-24]、交替方向乘子法(Alternating direction method of multipliers, ADMM)[25]以及近似梯度法[26]等低秩表征算法较为典型. 将稀疏模型引入到目标函数[27-28], 使得表征张量数据的低秩特征的同时具有稀疏性与鲁棒性. 基于张量核范数的相关算法[29-30]在处理非线性噪声污染时具有一定的鲁棒性能. 这类张量低秩表征算法通过高阶张量分解提取特征, 其计算复杂度较高. 而基于距离度量的张量低维表征算法则更具优势. 研究者提出了基于$ L_{1} $范数的张量主成分分析贪婪求解算法(Tensor PCA with L1-norm greedy, TPCA-L1-G)[31]和非贪婪求解算法(Tensor PCA with L1-norm non-greedy, TPCA-L1-NG)[32], 算法具有较强的鲁棒性. 这些张量低维表征算法采用$ L_{1} $范数作为距离度量方式, 寻求低维表征方向上的最大投影距离, 但失去了$ {\rm{F}} $范数平方的旋转不变性.
与此不同, $ {\rm{F}} $范数保留了$ {\rm{F}} $范数平方的旋转不变性[33], 在基于距离度量的低维表征算法中具有显著优势. Angle-2DPCA 算法[34]和双向的Bilateral Angle-2DPCA 算法[35]将$ {\rm{F}} $范数作为距离度量方式, 并且考虑了重构误差与投影距离之间的关系, 给出了其非贪婪的求解算法. 这些算法无法完整表征张量数据的时空结构及样本间的相关性. 为此, Ge等[36]提出基于$ {\rm{F}} $范数的张量主成分分析(TPCA with F-norm, TPCA-F)算法, 以最大化投影距离作为优化目标, 在保留其旋转不变性的同时实现了对张量数据的鲁棒低维表征. 但该算法忽略张量行列之间的时空结构信息, 其重构误差也并未得到优化, 故算法的鲁棒性受到了限制.
本文总结前人研究成果, 将$ {\rm{F}} $范数引入鲁棒张量低维表征中, 并在行列方向对张量数据进行分块处理, 充分挖掘张量数据内部的时空结构信息, 降低噪声对低维表征的影响. 先后提出基于$ {\rm{F}} $范数的分块张量主成分分析算法(BlockTPCA-F)和基于比例$ {\rm{F}} $范数的分块张量主成分分析算法(BlockTPCA-PF. 分别给出了其贪婪的求解算法, 并对其收敛性进行了理论证明. 本文结构如下: 第1节对张量低维表征的相关算法进行简单回顾与分析; 第2节基于$ {\rm{F}} $范数的目标优化函数, 提出BlockTPCA-F和BlockTPCA-PF算法并进行理论分析; 第3节在Aberdeen、GT和AR彩色人脸数据集上分别进行实验与对比分析; 第4节进行总结.
1. 相关算法回顾
1.1 多线性主成分分析算法
多线性主成分分析算法(MPCA)[18]主要用于张量数据的低维表征, 比如从彩色图像或者具有时间序列的视频数据中通过奇异值分解(Singular value decomposition, SVD)方法进行特征提取, 从而实现张量数据的低维表征.
现有M个样本维数为N的张量数据集表示为 ${\rm{\{ }}{{\cal{X}}_m} \in {\bf{R}}^{{{I_1} \times {I_2} \times \cdots \times {I_N}}}, {m = 1, \cdots ,M} {\rm{\} }}$, 设这些样本均已完成中心化处理. 对n模$ (n = 1, \cdots ,N) $总散度矩阵进行特征分解, 得到前$ {k} $个最大特征值对应的特征向量组成投影矩阵$ { \boldsymbol{U}^{(n)}} $. 将每个张量样本$ {{\cal{X}}_m} $通过投影矩阵进行投影即可得到投影张量$ {{\cal{Y}}_m} $为
$$ {{\cal{Y}}_m} = {{\cal{X}}_m} \times {{}_1{ \boldsymbol{U}^{(1)\rm{T}}}} \times \cdots \times {{}_n{ \boldsymbol{U}^{(n)\rm{T}}}} \times \cdots \times {}_N{ \boldsymbol{U}^{(N)\rm{T}}} $$ (1) 根据所求投影张量$ {{\cal{Y}}_m} $计算其总散度矩阵为
$$ {\Psi _{\cal{Y}}} = \sum\limits_{m = 1}^M {\left\| {{{\cal{Y}}_m}} \right\|_{\rm{F}}^2} $$ (2) 由式(1)可以求出$N $阶特征矩阵, MPCA算法通过循环迭代的方式寻求其总散度矩阵最大时所对应的投影矩阵$ {\boldsymbol{U}^{(n)}} $表示为
$$ {\boldsymbol{U}^{(n)}}=\mathop {{\rm{arg}}\max }\limits_{{\boldsymbol{U}^{(1)}},{\boldsymbol{U}^{(2)}}, \cdots, {\boldsymbol{U}^{(N)}}} {\Psi _{\cal{Y}}} $$ (3) 式(3)表明MPCA实质是将高维张量数据进行列拆分, 采用F范数平方度量所有样本列向量之间的距离, 并且满足投影方差最大的优化目标, 实现张量数据的低维表征. 如这些张量数据中含有噪声数据, 将会放大噪声等离群点在图像表征的作用, 导致其求得的特征主成分失真, 算法的鲁棒性较差.
1.2 基于$L _{1} $范数的张量主成分分析算法
$L _{1} $范数是对数据投影的绝对值进行目标优化, 与F范数平方相比, 降低了离群点对张量数据表征的敏感性. 为此, Li等[33]提出了基于$L _{1} $范数的张量主成分分析的贪婪求解算法(TPCA-L1-G).
设$ {\boldsymbol{U}^{(n)}} = [ {\boldsymbol{u}_{{J_1}}^{(1)}, \cdots ,\boldsymbol{u}_{{J_n}}^{(n)}} ] $为N阶张量 $ {{\cal{X}}_m} $ 所对应的第n阶投影矩阵. 当 $ {J_1} = \cdots = {J_N} = 1 $时, 其中$ \boldsymbol{u}_1^{(1)}, \cdots, \boldsymbol{u}_1^{(N)} $ 是未知的.
TPCA-$L _{1} $-G的目标函数为
$$ \mathop {\max }\limits_{\boldsymbol{u}_1^{(1)},\boldsymbol{u}_1^{(2)} \cdots ,\boldsymbol{u}_1^{(N)}} \sum\limits_{m = 1}^M {{{\left\| {{{\cal{X}}_m} \times {}{\boldsymbol{u}_1^{(1)\rm{T}}} \times \cdots \times {}{\boldsymbol{u}_1^{(N)\rm{T}}}} \right\|}_1}} $$ (4) 为了求解N个特征向量$ \boldsymbol{u}_1^{(1)},\boldsymbol{u}_1^{(2)}, \cdots ,\boldsymbol{u}_1^{(N)} $, 使得目标函数(4)满足投影距离最大, 将极性函数$p_m^{(n)}(t)$引入目标函数(4), 并化简为
$$ \mathop {\max }\limits_{\boldsymbol{u}_1^{(1)},\boldsymbol{u}_1^{(2)}, \cdots ,\boldsymbol{u}_1^{(N)}} \sum\limits_{m = 1}^M {p_m^{(n)}(t){\cal{Y}}_m} $$ (5) 其中, ${\cal{Y}}_m = {\cal{X}}_m \times {\boldsymbol{u}_1^{(1)\rm{T}}(t)} \times \cdots \times {\boldsymbol{u}_1^{(N)\rm{T}}(t)}$, t为极性函数的迭代次数.
运用循环迭代的方法求解目标函数(5) 的最优解. 通过改变特征向量的阶数n, 求解得到所有的投影矩阵 $ {\boldsymbol{U}^{(1)}},{\boldsymbol{U}^{(2)}}, \cdots ,{\boldsymbol{U}^{(N)}} $ 的第1阶特征向量 $ \boldsymbol{u}_1^{(1)},\boldsymbol{u}_1^{(2)}, \cdots ,\boldsymbol{u}_1^{(N)} $. 将同样的循环应用在其余各阶特征向量上, 求出 $ {\boldsymbol{U}^{(n)}} $中的其他最优解$\boldsymbol{u}_{{j_n}}^{(n)} (2 \le {j_n} \le {J_N})$, 即为TPCA-L1-G算法目标函数对应的最优解. TPCA-L1-G算法在表征张量数据时具有一定的鲁棒性, 但其贪婪求得的解仅为局部最优解.
为此, Pang等[31]提出了一种基于$L _{1} $范数的张量主成分分析的非贪婪求解算法(TPCA-L1-NG). 与TPCA-L1-G算法类似, 现有N阶张量 $ {\cal{X}}_m $所对应的各阶投影矩阵$ {\boldsymbol{U}^{(1)}},{\boldsymbol{U}^{(2)}}, \cdots, {\boldsymbol{U}^{(N)}} $, 则TPCA-L1-NG算法的目标函数为
$$ \max \sum\limits_{m = 1}^M {{{\left\| {{{\cal{X}}_m} \times {{}_1{\boldsymbol{U}^{(1)\rm{T}}}} \times \cdots \times {}_N{\boldsymbol{U}^{(N)\rm{T}}}} \right\|}_1}} $$ (6) 为了求解投影矩阵$ {\boldsymbol{U}^{(1)}} $, 先初始化并固定矩阵$ {\boldsymbol{U}^{(2)}},{\boldsymbol{U}^{(3)}}, \cdots, {\boldsymbol{U}^{(N)}} $, 即目标函数(6)可改为
$$ \begin{split} &\max \sum\limits_{m = 1}^M {{{\left\| {{{\cal{X}}_m} \times {}_1{\boldsymbol{U}^{(1)\rm{T}}} \times \cdots \times {}_N{\boldsymbol{U}^{(N)\rm{T}}}} \right\|}_1}} =\\&\qquad\max \sum\limits_{m = 1}^M {{{\left\| {{}_1{\boldsymbol{U}^{(1)\rm{T}}} \times {}_1{{\cal{X}}_m}} \right\|}_1}} =\\&\qquad\max \sum\limits_{m = 1}^M {{{\left\| {{}_1{\boldsymbol{U}^{(1)\rm{T}}} \times {}_1{\boldsymbol{X}_m}} \right\|}_1}} =\\& \qquad\max \sum\limits_{m = 1}^M {\sum\limits_{{j_2}}^{{J_2}} { \cdots \sum\limits_{{j_N}}^{{J_N}} {{{\left\| {{}_1{\boldsymbol{U}^{(1)\rm{T}}} \times {}_1 \boldsymbol{x}_m^{{j_2} \cdots {j_N}}} \right\|}_1}} } } \\[-15pt] \end{split}$$ (7) 其中, $ {}_1{{\cal{X}}_m} = {{\cal{X}}_m} \times {}_2{\boldsymbol{U}^{(2)\rm{T}}} \times \cdots \times {}_N{\boldsymbol{U}^{(N)\rm{T}}} $, $ {}_1{\boldsymbol{X}_m} $是$ {}_1{{\cal{X}}_m} $的1模展开矩阵, $ {}_1\boldsymbol{x}_m^{{j_2} \cdots {j_N}} $是矩阵 $ {}_1{\boldsymbol{X}_m} $中的列向量.
经过奇异值分解化简式(7), 求得目标函数(6)的最大值. 通过改变目标函数(6)中的阶数n, 重复循环求解出所有的投影矩阵 $ {\boldsymbol{U}^{(1)}}, {\boldsymbol{U}^{(2)}}, \cdots, {\boldsymbol{U}^{(N)}} $, 即可实现对张量数据的低维表征.
与MPCA算法相比, TPCA-L1-G与TPCA-L1-NG算法均采用$L _{1} $范数度量方式, 寻求低维表征方向上的最大投影距离, 具有一定的抑制噪声能力. 它失去了F范数所特有的旋转不变性, 并且其非贪婪求解算法会使其重构误差逐层累加, 进而影响低维表征的效果. 基于上述分析可知, 范数的度量方式与目标函数均可影响张量数据低维表征的鲁棒性. 从距离度量方式来看, F范数度量方式不仅对噪声数据具有较强的鲁棒性, 还能很好地揭示其旋转不变性. 本文将F范数引入到张量主成分分析的目标函数中, 可提升算法在噪声影响下的张量低维表征能力. 此外, 分块处理可以充分展示张量数据行列之间的空间结构信息, 有利于表征图像的深层次特征和局部特征. 同时, 分块处理也有利于将异常数据从整个数据块中剥离出来, 突出异常数据和张量数据之间的差异, 提高算法的鲁棒性, 进而提升分类性能. 为此, 本文结合分块处理技术, 采用F范数度量方式, 先提出基于F范数的分块鲁棒张量低维表征算法BlockTPCA-F. 在此基础上, 进一步寻求低维表征方向上的投影距离最大化与重构误差最小化的双优化目标, 提出基于比例F范数的分块鲁棒主成分分析算法, 使得该算法在满足投影距离最大的同时, 确保重构误差尽可能小, 进一步提升算法的鲁棒性能.
2. 基于F范数的鲁棒张量低维表征
2.1 BlockTPCA-F算法
为了提取张量图像的局部特征信息, 有效表征张量数据的时空结构特征, 降低计算复杂度, 引入分块概念. 对于张量 $\cal{X} \in $Rh×r×n而言, 张量对象可以由一幅$ h \times r $大小的RGB图像组成($ n = 3 $), 设分块参数为$s $, 则每个块的大小均为 $ sh \times sr \times 3 $.
与MPCA算法、TPCA-L1-G算法和TPCA-L1-NG算法相比, 基于F范数投影距离最大构建目标函数定义为
$$ \begin{split} &\max \sum\limits_{m = 1}^M {{{\left\| {{{\cal{X}}_m} \times {}_1{\boldsymbol{U}^{(1)\rm{T}}} \times \cdots \times {}_N{\boldsymbol{U}^{(N)\rm{T}}}} \right\|}_{\rm{F}}}} =\\ &\qquad\max \sum\limits_{m = 1}^M {{{\left\| {{{\cal{Y}}_m}} \right\|}_{\rm{F}}}} \\[-10pt]\end{split}$$ (8) 其中, 投影张量$ {{\cal{Y}}_m} $ 是$ {{\cal{X}}_m} $的核心张量.
通过迭代方式确定所有投影矩阵$ {\boldsymbol{U}^{(n)}} $, 设在第$ t $次迭代中计算$ {\boldsymbol{U}^{(n)}} $项时为$ \boldsymbol{U}_t^{(n)} $. 因无法同时求解各阶投影矩阵, 故在近似求解$ \boldsymbol{U}_t^{(n)} $时, 在投影矩阵$\boldsymbol{U}^{(1)},\boldsymbol{U}^{(2)}, \cdots ,\boldsymbol{U}^{(n - 1)},\boldsymbol{U}_t^{(n)}, \boldsymbol{U}^{(n + 1)},\cdots ,\boldsymbol{U}^{(N)}$中, 除$ \boldsymbol{U}_t^{(n)} $外, 其他各阶均作为已知量.
对目标函数(8)进行简单代数运算, 可以得到
$$ \begin{split} \sum\limits_{m = 1}^M {{{\left\| {{\cal{Y}}_m^t} \right\|}_{\rm{F}}}} =\;& \sum\limits_{m = 1}^M {\frac{{\left\| {{\cal{Y}}_m^t} \right\|_{\rm{F}}^2}}{{{{\left\| {{\cal{Y}}_m^t} \right\|}_{\rm{F}}}}}} = \sum\limits_{m = 1}^M {\frac{{\left\| {{}_t\boldsymbol{Y}_m^{(n)}} \right\|_{\rm{F}}^2}}{{{{\left\| {{}_t\boldsymbol{Y}_m^{(n)}} \right\|}_{\rm{F}}}}}} = \\ & \sum\limits_{m = 1}^M {\frac{{\left\| {\boldsymbol{U}_t^{(n){\rm{T}}} \cdot \boldsymbol{X}_m^{(n)} \cdot \boldsymbol{U}_{\phi (n)}^t} \right\|_{\rm{F}}^2}}{{{{\left\| {{}_t \boldsymbol{Y}_m^{(n)}} \right\|}_{\rm{F}}}}}} = \\ & \sum\limits_{m = 1}^M {{\rm{tr}}\left(\boldsymbol{U}_t^{(n){\rm{T}}} \cdot \phi _{(n)}^t \cdot {}_td_m^n \cdot {\boldsymbol{U}}_t^{(n)}\right)} =\\& {\rm{tr}}\left(\boldsymbol{U}_t^{(n){\rm{T}}} \cdot {\boldsymbol{H}}_n^t\right)\\[-10pt] \end{split} $$ (9) 其中, $ \boldsymbol{X}_m^{(n)},{}_t\boldsymbol{Y}_m^{(n)} $ 分别是$ {{\cal{X}}_m},{}_n{\cal{Y}}_m^t $ 沿着第$ n $ 阶方向的展开矩阵, 且满足${\left\| {{{\cal X}_m}} \right\|_{\rm{F}}} = {\| {\boldsymbol{X}_m^{(n)}} \|_{\rm{F}}}$, ${\left\| {_n{\cal Y}_m^t} \right\|_{\rm{F}}} = {\| {_t\boldsymbol{Y}_m^{(n)}} \|_{\rm{F}}}$. 其他符号定义如下:
$$ \begin{split} \boldsymbol{U}_{\phi (n)}^t = \boldsymbol{U}_t^{(n + 1)} \otimes \cdots\otimes \boldsymbol{U}_t^N \otimes \boldsymbol{U}_{t + 1}^{(1)}\otimes \cdots \otimes \boldsymbol{U}_{t + 1}^{(n - 1)}\end{split} $$ (10) $$\begin{aligned} {}_t\boldsymbol{Y}_m^{(n)} = \boldsymbol{U}_t^{(n)\rm{T}} \cdot \boldsymbol{X}_m^{(n)} \cdot \boldsymbol{U}_{\phi (n)}^t \end{aligned} $$ (11) $$ \phi _{(n)}^t = \boldsymbol{X}_m^{(n)} \cdot \boldsymbol{U}_{\phi (n)}^t \cdot \boldsymbol{U}_{\phi (n)}^{t\rm{T}} \cdot \boldsymbol{X}_m^{(n)\rm{T}} $$ (12) $$ d_m^t = \frac{1}{{{{\left\| {{\cal{Y}}_m^t} \right\|}_{\rm{F}}}}} = \frac{1}{{{{\left\| {{}_t\boldsymbol{Y}_m^{(n)}} \right\|}_{\rm{F}}}}} $$ (13) $$ \boldsymbol{H}_n^t = \sum\limits_{m = 1}^M {\phi _{(n)}^t \cdot d_m^t} \cdot \boldsymbol{U}_t^{(n)} $$ (14) 在求解目标函数之前, 先引入两个定理.
定理 1. 对于阶数相同的两个矩阵$ {\boldsymbol{X}} $和$ {\boldsymbol{Y}} $, 则有
$$ {\rm{tr}}\left( {{\boldsymbol{X}^{\rm T}}\boldsymbol{Y}} \right) \le {\left\| \boldsymbol{X} \right\|_{\rm{F}}}{\left\| \boldsymbol{Y} \right\|_{\rm{F}}} $$ (15) 当且仅当矩阵$ {\boldsymbol{X}} $或$ {\boldsymbol{Y}} $成倍数关系时不等式成立.
证明. 根据矩阵迹的定义, 有
$$ {\rm{tr}}\left( {{\boldsymbol{X}^{\rm T}}\boldsymbol{Y}} \right) = {\left( {vec\left( \boldsymbol{X} \right)} \right)^{\rm T}}vec\left( \boldsymbol{Y} \right) $$ (16) 根据Cauchy-Schwarz不等式将式(15)转换为
$$ \begin{split} &{\left( {vec\left( \boldsymbol{X} \right)} \right)^{\rm T}}vec\left( \boldsymbol{Y} \right) \le {\left\| {vec\left( \boldsymbol{X} \right)} \right\|_2}{\left\| {vec\left( \boldsymbol{Y} \right)} \right\|_2} =\\ &\qquad{\left\| \boldsymbol{X} \right\|_{\rm{F}}}{\left\| \boldsymbol{Y} \right\|_{\rm{F}}} \end{split} $$ (17) 对比式(16)和式(17)可得到
$$ {\rm{tr}}\left( {{\boldsymbol{X}^{\rm T}}\boldsymbol{Y}} \right) \le {\left\| \boldsymbol{X} \right\|_{\rm{F}}}{\left\| \boldsymbol{Y} \right\|_{\rm{F}}} $ □ $(18) 定理2. 假定对于一个二维矩阵$ \boldsymbol{H} \in {{\bf{R}}^{m \times n}} $, 将其进行奇异值分解后得到$ \boldsymbol{A}\Sigma {\boldsymbol{B}^{\rm T}} $, 则 $ \boldsymbol{U} = \boldsymbol{A}{\boldsymbol{B}^{\rm T}} $即为目标函数(19)的解.
$$ {\mathop { {\rm{argmax}}}\limits_{{\boldsymbol{U}^{\rm T}}\boldsymbol{U}= {{\boldsymbol{I}}_k}} } \;\; {\rm{tr}}\left( {{\boldsymbol{U}^{\rm{T}}}\boldsymbol{H}} \right) $$ (19) 其中, $ {\boldsymbol{A}^{\rm T}}\boldsymbol{A} = {\boldsymbol{B}^{\rm T}}\boldsymbol{B} = {\boldsymbol{I}_k} $, $ \Sigma \in {{\bf{R}}^{k \times k}} $是一个非奇异的对角矩阵. $ \Sigma $的对角元素$ {\lambda _j} $ 即为矩阵$ \boldsymbol{H} $的奇异值, $ k = {\rm{rank}}\left( \boldsymbol{H} \right) $.
证明. 对矩阵$ \boldsymbol{H} $进行奇异值分解得到
$$ \begin{split} {\rm{tr}}\left( {{\boldsymbol{U}^{\rm T}}\boldsymbol{H}} \right) =\;& {\rm{tr}}\left( {{\boldsymbol{U}^{\rm T}}\boldsymbol{A}\Sigma {\boldsymbol{B}^{\rm T}}} \right) =\\& {\rm{tr}}\left( {\boldsymbol{A}{\Sigma ^{\frac{1}2}}{\Sigma ^{\frac{1}2}}{\boldsymbol{B}^{\rm T}}{\boldsymbol{U}^{\rm T}}} \right) \end{split} $$ (20) 再根据定理1可得
$$ \begin{split} {\rm{tr}}\left( {{\boldsymbol{U}^{\rm T}}\boldsymbol{H}} \right) =\;& {\left( {vec\left( {\boldsymbol{A}{\Sigma ^{\frac{1}2}}} \right)} \right)^{\rm T}}vec\left( {{\Sigma ^{\frac{1}2}}{\boldsymbol{B}^{\rm T}}{\boldsymbol{U}^{\rm T}}} \right) \le\\& {\left\| {vec\left( {\boldsymbol{A}{\Sigma ^{\frac{1}2}}} \right)} \right\|_2}{\left\| {vec\left( {{\Sigma ^{\frac{1}2}}{\boldsymbol{B}^{\rm T}}{\boldsymbol{U}^{\rm T}}} \right)} \right\|_2} =\\& {\left\| {\boldsymbol{A}{\Sigma ^{\frac{1}2}}} \right\|_{\rm{F}}}{\left\| {{\Sigma ^{\frac{1}2}}{\boldsymbol{B}^{\rm T}}{\boldsymbol{U}^{\rm T}}} \right\|_{\rm{F}}} =\\& {\left\| {{\Sigma ^{\frac{1}2}}} \right\|_{\rm{F}}}{\left\| {{\Sigma ^{\frac{1}2}}} \right\|_{\rm{F}}} \\[-15pt]\end{split} $$ (21) 当且仅当$ \boldsymbol{A}{\Sigma ^{1/2}} = {\Sigma ^{1/2}}{\boldsymbol{B}^{\rm T}}{\boldsymbol{U}^{\rm T}} $时等号成立, 即满足 $ \boldsymbol{U} = \boldsymbol{A}{\boldsymbol{B}^{\rm T}} $.
□ 下面求解目标函数(9), 因无法同时求解未知变量$ d_m^t $与$ \boldsymbol{U}_t^{(n)} $, 且两者相互关联. 故接下来先固定$ d_m^t $ 迭代求解$ \boldsymbol{U}_t^{(n)} $, 然后固定$ \boldsymbol{U}_t^{(n)} $再迭代求解$ d_m^t $.
步骤 1. 先固定$ d_m^t $更新$ \boldsymbol{U}_t^{(n)} $, 此时目标函数为
$$ \mathop {\rm{argmax}}\limits_{\boldsymbol{U}_t^{(n){\rm T}}\boldsymbol{U}_t^{(n)} = {J_n}} {\rm{tr}}\left( {\boldsymbol{U}_t^{(n){\rm T}} \cdot \boldsymbol{H}_n^t} \right) $$ (22) 对$\boldsymbol{H}_n^t$进行奇异值分解, 可得
$$ \boldsymbol{H}_n^t = \boldsymbol{A}_n^t\Sigma _n^t\boldsymbol{B}_n^{t{\rm T}} $$ (23) 对目标函数(22)应用定理2, 可得其最优解为
$$ \boldsymbol{U}_{t + 1}^{(n)} = \boldsymbol{A}_n^t\boldsymbol{B}_n^{t{\rm T}} $$ (24) 步骤 2. 固定$ \boldsymbol{U}_{t + 1}^{(n)} $再求解$ d_m^{t + 1} $, 即
$$ \begin{split} & d_m^{t + 1} =\; \frac{1}{{{{\left\| {{}_{t + 1}\boldsymbol{Y}_m^{(n)}} \right\|}_{\rm{F}}}}} = \\&\frac{1}{{{{\left\| {{{\cal{X}}_m} \times {}_1\boldsymbol{U}_{t + 1}^{(1){\rm T}}\times \cdots \times {}_{(n)}\boldsymbol{U}_{t + 1}^{(n){\rm T}} \times \cdots \times {}_N \boldsymbol{U}_t^{(N){\rm T}}} \right\|}_{\rm{F}}}}} \end{split} $$ (25) 通过式(22) ~ (25)迭代更新直到收敛, 最终求得各项投影矩阵$ {\boldsymbol{U}^{(1)}}, {\boldsymbol{U}^{(2)}}, \cdots , {\boldsymbol{U}^{(N)}} $.
定理3. BlockTPCA-F算法中目标函数(9)求解过程收敛, 且算法的每次迭代均满足
$$ \sum\limits_{m = 1}^M {{{\left\| {\boldsymbol{U}_{t + 1}^{(n){\rm T}} \cdot \boldsymbol{X}_m^{(n)} \cdot \boldsymbol{U}_{\phi (n)}^t} \right\|}_{\rm{F}}} \ge \sum\limits_{m = 1}^M {{{\left\| {{}_t\boldsymbol{Y}_m^{(n)}} \right\|}_{\rm{F}}}} } $$ (26) 证明. 在第$ t+1 $次迭代中, 根据目标函数(22)可知其最优解为 $ \boldsymbol{U}_{t + 1}^{(n)} = \boldsymbol{A}_n^t\boldsymbol{B}_n^{t{\rm T}} $, 则以下不等式成立
$$ \begin{split} &\sum\limits_{m = 1}^M {\frac{{{\rm{tr}}\left( \boldsymbol{U}_{t + 1}^{(n){\rm T}} \cdot \boldsymbol{X}_m^{(n)} \cdot \boldsymbol{U}_{\phi (n)}^t \cdot \boldsymbol{U}_{\phi (n)}^{t{\rm T}} \cdot \boldsymbol{X}_m^{(n){\rm T}} \cdot \boldsymbol{U}_t^{(n)} \right)}}{{{{\left\| {{}_t\boldsymbol{Y}_m^{(n)}} \right\|}_{\rm{F}}}}}} \ge\\& \qquad\sum\limits_{m = 1}^M {{{\left\| {{}_t\boldsymbol{Y}_m^{(n)}} \right\|}_{\rm{F}}}} \\[-15pt]\end{split} $$ (27) 对于式(26)中的 $\sum\nolimits_{m = 1}^M {{{\| {\boldsymbol{U}_{t + 1}^{(n){\rm T}} \cdot \boldsymbol{X}_m^{(n)} \cdot \boldsymbol{U}_{\phi (n)}^t} \|}_{\rm{F}}}}$, 由定理1和Cauchy-Schwarz不等式可以得到
$$ \begin{split} &{\rm{tr}}\left(\boldsymbol{U}_{t + 1}^{(n){\rm T}} \cdot \boldsymbol{X}_m^{(n)} \cdot \boldsymbol{U}_{\phi (n)}^t \cdot \boldsymbol{U}_{\phi (n)}^{t{\rm T}} \cdot \boldsymbol{X}_m^{(n){\rm T}} \cdot \boldsymbol{U}_t^{(n)}\right)\le\\ & \quad{\left\| {\boldsymbol{U}_{\phi (n)}^{t{\rm T}} \cdot \boldsymbol{X}_m^{(n){\rm T}} \cdot \boldsymbol{U}_{t + 1}^{(n)}} \right\|_{\rm{F}}} \cdot {\left\| { \boldsymbol{U}_t^{(n){\rm T}} \cdot \boldsymbol{X}_m^{(n)} \cdot \boldsymbol{U}_{\phi (n)}^t} \right\|_{\rm{F}}} \end{split} $$ (28) 通过上述分析, 将式(27)进行整理, 得到
$$ \begin{split} &\sum\limits_{m = 1}^M {\frac{{{\rm{tr}}\left( \boldsymbol{U}_{t + 1}^{(n){\rm T}} \cdot \boldsymbol{X}_m^{(n)} \cdot \boldsymbol{U}_{\phi (n)}^t \cdot \boldsymbol{U}_{\phi (n)}^{t{\rm T}} \cdot \boldsymbol{X}_m^{(n){\rm T}} \cdot \boldsymbol{U}_t^{(n)} \right)}}{{{{\left\| {{}_t\boldsymbol{Y}_m^{(n)}} \right\|}_{\rm{F}}}}}} \le\\ & \qquad\sum\limits_{m = 1}^M {{{\left\| {\boldsymbol{U}_{t + 1}^{(n){\rm T}} \cdot \boldsymbol{X}_m^{(n)} \cdot \boldsymbol{U}_{\phi (n)}^t} \right\|}_{\rm{F}}}} \\[-15pt]\end{split} $$ (29) 通过对比式(27)和式(29)得到
$$ \sum\limits_{m = 1}^M {{{\left\| {\boldsymbol{U}_{t + 1}^{(n){\rm T}} \cdot \boldsymbol{X}_m^{(n)} \cdot \boldsymbol{U}_{\phi (n)}^t} \right\|}_{\rm{F}}} \ge \sum\limits_{m = 1}^M {{{\left\| {{}_t\boldsymbol{Y}_m^{(n)}} \right\|}_{\rm{F}}}} } $$ (30) 式(30)表明BlockTPCA-F算法在每次迭代过程中收敛于目标函数(9)的最优解.
□ 为了直观理解BlockTPCA-F算法的求解过程, 图1展示该算法求解一个投影矩阵后其张量维度的变化及数据处理流程. 具体求解过程如算法1所示.
算法 1. BlockTPCA-F算法
输入. 张量样本序列 $ X = \left\{ {{{\cal{X}}_m},m = 1,2, \cdots ,M} \right\} $, 其中, $ {{\cal{X}}_m} \in {{\bf{R}}^{{I_1} \times {I_2} \times \cdots \times {I_N}}} $, 并已中心化处理.
输出. $ {\boldsymbol{U}^{(n)}} \in {\boldsymbol{I}_n} \times {\boldsymbol{J}_n} $.
步骤 1. 初始化: 对于任意 $ {\boldsymbol{U}^{(n)}} \in {\boldsymbol{I}_n} \times {\boldsymbol{J}_n} $, 满足 $ {\boldsymbol{U}^{(n){\rm T}}}{\boldsymbol{U}^{(n)}} = {\boldsymbol{I}_{{\boldsymbol{J}_n}}} $.
步骤 2. 对于$ n = 1 \to N $, 令$ t = 1 $, 由式(13)计算所有训练样本的$ d_m^t $.
步骤 3. 计算$ \boldsymbol{H}_n^t = \sum\nolimits_{m = 1}^M {\phi _{(n)}^t \cdot d_m^t \cdot \boldsymbol{U}_t^{(n)}} $.
步骤 4. 由奇异值分解计算矩阵$ \boldsymbol{H}_n^t=\boldsymbol{A}_n^t\Sigma _n^t\boldsymbol{B}_n^{t{\rm T}} $.
步骤 5. 求解$\arg \max {\rm{tr}}(\boldsymbol{U}_t^{(n){\rm T}} \cdot \boldsymbol{H}_n^t),$ 更新$ \boldsymbol{U}_{t + 1}^{(n)} $, 计算得到$ \boldsymbol{U}_{t + 1}^{(n)} = \boldsymbol{A}_n^t\boldsymbol{B}_n^{t{\rm T}} $.
步骤 6. 如达到收敛条件后, 则输出当前$ \boldsymbol{U}_t^{(n)} $, 并令$n \leftarrow n + 1,$ 否则令 $ t \leftarrow t + 1 $, 并跳转到步骤2. 直到求出所有最优解.
与MPCA算法、TPCA-L1-G算法及TPCA-L1-NG算法一样, BlockTPCA-F算法也基于表征方向上的投影距离最大建立目标函数. 然而, MPCA算法采用F 范数平方作为距离度量方式, 将扩大噪声数据对整个数据样本的影响, 使得求得低维特征的表征方向与实际表征方向偏差较大. 而TPCA-L1-G与TPCA-L1-NG算法采用$L _{1} $范数度量, 失去了旋转不变性. 本文提出的BlockTPCA-F算法将减弱噪声数据的影响, 提升算法对张量数据的低维表征能力. 此外, BlockTPCA-F算法在预处理过程中采用分块处理方法, 将输入的张量数据在行列方向上进行分块处理, 有利于挖掘原本张量数据行列内部之间的时空结构信息, 进一步提升算法的鲁棒性.
2.2 BlockTPCA-PF 算法
BlockTPCA-F 算法在保留F 范数的旋转不变性与数据行列间的时空结构信息同时, 在一定程度上提高了算法的鲁棒张量低维表征能力. 但该算法仅考虑了张量表征方向上投影距离最大的单一目标优化问题, 在F范数的度量方式下, 其重构误差并未受到约束. 为此, 提出基于比例F 范数的分块张量主成分分析算法(BlockTPCA-PF), 在满足其投影距离最大的同时保证其重构误差较小.
首先, 定义重构张量为
$$ {{\cal{Z}}_m} = {{\cal{Y}}_m} \times {}_1{\boldsymbol{U}^{(1)}} \times {}_2{\boldsymbol{U}^{(2)}} \times \cdots \times {}_N{\boldsymbol{U}^{(N)}} $$ (31) 则误差张量表示为
$$ {{\cal{E}}_m} = {{\cal{X}}_m} - {{\cal{Z}}_m} $$ (32) 定义BlockTPCA-PF算法的目标函数为误差张量与投影张量之间的比值, 表示为
$$ \min \sum\limits_{m = 1}^M {\frac{{{{\left\| {{{\cal{E}}_m}} \right\|}_{\rm{F}}}}}{{{{\left\| {{{\cal{Y}}_m}} \right\|}_{\rm{F}}}}}} $$ (33) 将循环迭代方法应用于求解过程, 假设 $ \boldsymbol{U}_{}^{(1)}, \cdots , \boldsymbol{U}_{}^{(n - 1)}, \boldsymbol{U}_{}^{(n + 1)}, \cdots ,\boldsymbol{U}_{}^{(N)} $已知, 求解$ \boldsymbol{U}_t^{(n)} $, 将目标函数(33)改写为
$$ \min \sum\limits_{m = 1}^M {\frac{{{{\left\| {{\cal{E}}_m^t} \right\|}_{\rm{F}}}}}{{{{\left\| {{\cal{Y}}_m^t} \right\|}_{\rm{F}}}}}} $$ (34) 其中, $ {\cal{E}}_m^t = {{\cal{X}}_m} - {\cal{Z}}_m^t $, $ {\cal{E}}_m^t, {\cal{Z}}_m^t, {\cal{Y}}_m^t $为第t 次迭代值.
通过简单代数运算, 目标函数(34)进一步推导如下:
$$ \begin{split} \sum\limits_{m = 1}^M {\frac{{{{\left\| {{\cal{E}}_m^t} \right\|}_{\rm{F}}}}}{{{{\left\| {{\cal{Y}}_m^t} \right\|}_{\rm{{\rm{F}}}}}}}} =\;& \sum\limits_{m = 1}^M {\frac{{\left\| {{\cal{E}}_m^t} \right\|_{\rm{F}}^2}}{{{{\left\| {{\cal{Y}}_m^t} \right\|}_{\rm{F}}} \cdot {{\left\| {{\cal{E}}_m^t} \right\|}_{\rm{F}}}}}} =\\& \sum\limits_{m = 1}^M {\frac{{\left\| {{{\cal{X}}_m}} \right\|_{\rm{F}}^2 - \left\| {{\cal{Y}}_m^t} \right\|_{\rm{F}}^2}}{{{{\left\| {{\cal{Y}}_m^t} \right\|}_{\rm{F}}} \cdot {{\left\| {{\cal{E}}_m^t} \right\|}_{\rm{F}}}}}} =\\& \sum\limits_{m = 1}^M {\left( {q_m^t \cdot (\left\| {{{\cal{X}}_m}} \right\|_{\rm{F}}^2 - \left\| {{\cal{Y}}_m^t} \right\|_{\rm{F}}^2)} \right)} =\\& \sum\limits_{m = 1}^M {\left( {q_m^t \cdot \left(\left\| {\boldsymbol{X}_m^{(n)}} \right\|_{\rm{F}}^2 - \left\| {{}_t\boldsymbol{Y}_m^{(n)}} \right\|_{\rm{F}}^2\right)} \right)} \end{split} $$ (35) 其中, $ \boldsymbol{X}_m^{(n)},{}_t\boldsymbol{Y}_m^{(n)} $分别是$ {{\cal{X}}_m},{\cal{Y}}_m^t $的n模展开矩阵, 而$ q_m^t $定义为
$$ q_m^t = \frac{1}{{{{\left\| {{\cal{Y}}_m^t} \right\|}_{\rm{F}}} \cdot {{\left\| {{\cal{E}}_m^t} \right\|}_{\rm{F}}}}} $$ (36) 式(35)中, 未知变量同样包括$ \boldsymbol{U}_t^{(n)} $和$ q_m^t $, 且$ q_m^t $与$ \boldsymbol{U}_t^{(n)} $相互关联. 参考BlockTPCA-F 算法对目标函数的求解过程, 将其分为两步.
步骤 1. 先固定$ {}_tq_m^n $求出$ \boldsymbol{U}_t^{(n)} $, 此时式(35)中第1 项为常数项, 则目标函数(35)变为
$$ \begin{split} &\max \sum\limits_{m = 1}^M \left(_tq_m^n \cdot \left\| {{}_t\boldsymbol{Y}_m^{(n)}} \right\|_{\rm{F}}^2\right) =\\&\qquad \max \sum\limits_{m = 1}^M \left(_tq_m^n \cdot \left\| {\boldsymbol{U}_t^{(n){\rm T}} \cdot \boldsymbol{X}_m^{(n)} \cdot \boldsymbol{U}_{\phi (n)}^t} \right\|_{\rm{F}}^2\right) =\\&\qquad \max \sum\limits_{m = 1}^M {{\rm{tr}}\left(\boldsymbol{U}_t^{(n){\rm T}} \cdot \phi _{(n)}^t \cdot q_m^t \cdot \boldsymbol{U}_t^{(n)}\right)} =\\& \qquad\max {\rm{tr}}\left(\boldsymbol{U}_t^{(n){\rm T}} \cdot \boldsymbol{H}_n^t\right) \\[-10pt]\end{split} $$ (37) 其中, 各符号定义可参考式(10) ~ (14).
对$ \boldsymbol{H}_n^t $进行奇异值分解, 可得到
$$ \boldsymbol{H}_n^t = \boldsymbol{A}_n^t\Sigma _n^t\boldsymbol{B}_n^{t{\rm T}} $$ (38) 同理, 可得到最优解为
$$ \boldsymbol{U}_{t + 1}^{(n)}=\boldsymbol{A}_n^t\boldsymbol{B}_n^{t{\rm T}} $$ (39) 步骤 2. 固定$ \boldsymbol{U}_{t + 1}^{(n)} $来更新$ q_m^{t + 1} $为
$$ q_m^{t + 1} = \frac{1}{{{{\left\| {{\cal{Y}}_m^{t + 1}} \right\|}_{\rm{F}}} \cdot {{\left\| {{\cal{E}}_m^{t + 1}} \right\|}_{\rm{F}}}}} $$ (40) 其中, $ {\cal{E}}_m^{t + 1} = {{\cal{X}}_m} - {\cal{Z}}_m^{t + 1} $.
$ {\cal{Z}}_m^{t + 1} $可以通过式(41)和式(42)更新为
$$ {\cal{Y}}_m^{t + 1} = {{\cal{X}}_m} \times {{}_1\boldsymbol{U}_{t + 1}^{(1){\rm T}}} \times \cdots \times {}_{n}\boldsymbol{U}_{t + 1}^{(n){\rm T}} \times \cdots \times {}_N \boldsymbol{U}_{t+1}^{(N){\rm T}} $$ (41) $$ {\cal{Z}}_m^{t + 1} = {\cal{Y}}_m^{t + 1} \times {}_1\boldsymbol{U}_{t + 1}^{(1){\rm T}} \times \cdots \times {}_{n}\boldsymbol{U}_{t + 1}^{(n){\rm T}} \times \cdots \times {}_N\boldsymbol{U}_{t+1}^{(N){\rm T}} $$ (42) 式(37) ~ (42)循环迭代直至满足收敛条件, 可求得最终$ \boldsymbol{U}_{}^{(n)} $. 以此类推, 依次求得各项投影矩阵$ \boldsymbol{U}_{}^{(1)}, \boldsymbol{U}_{}^{(2)}, \cdots, \boldsymbol{U}_{}^{(N)} $.
为了便于理解BlockTPCA-PF算法的求解过程, 图2为该算法每一步求解投影矩阵后张量维度的变化及数据处理流程. 具体求解过程如算法2所示.
算法 2. BlockTPCA-PF算法
输入. 张量样本序列 $ \boldsymbol{X} = \left\{ {{{\cal{X}}_m},m = 1,2, \cdots ,M} \right\} $, $ {{\cal{X}}_m} \in {{\bf{R}}^{{I_1} \times {I_2} \times \cdots \times {I_N}}} $, 其中数据已中心化处理.
输出. $ {\boldsymbol{U}^{(n)}} \in {\boldsymbol{I}_n} \times {\boldsymbol{J}_n} $.
步骤 1. 初始化: 对于任意的 $ {\boldsymbol{U}^{(n)}} \in {\boldsymbol{I}_n} \times {\boldsymbol{J}_n} $, 满足 $ {\boldsymbol{U}^{(n){\rm T}}}{\boldsymbol{U}^{(n)}} = {\boldsymbol{I}_{{J_n}}} $.
步骤 2. 对于$ n = 1 \to N $, 令$ t = 1 $, 对所有训练样本计算$ q_m^t $.
步骤 3. 计算$ \boldsymbol{H}_n^t = \sum\nolimits_{m = 1}^M {\phi _{(n)}^t \cdot q_m^t \cdot \boldsymbol{U}_t^{(n)}} $.
步骤 4. 由奇异值分解计算矩阵$\boldsymbol{H}_n^t=\boldsymbol{A}_n^t\Sigma _n^t\boldsymbol{B}_n^{t{\rm T}} .$
步骤 5. 求解$\arg \max {\rm{tr}}(\boldsymbol{U}_t^{(n){\rm T}} \cdot \boldsymbol{H}_n^t)$, 更新$ \boldsymbol{U}_{t + 1}^{(n)} $, 计算得到${\boldsymbol{U}}_{t + 1}^{(n)} = \boldsymbol{A}_n^t\boldsymbol{B}_n^{t{\rm T}}$.
步骤 6. 如达到收敛条件后输出当前$ \boldsymbol{U}_t^{(n)} $, 则令$ { n \leftarrow} $ $n + 1$, 否则令 $ t \leftarrow t + 1 $并跳转到步骤2. 直至求出所有最优解.
本文提出的BlockTPCA-PF算法与BlockTPCA-F算法相比, 不仅考虑到投影距离最大化, 还使得其重构误差尽可能小, 实现了投影距离最大与重构误差最小的双目标优化, 对含噪的张量数据具有更强的低维表征能力.
根据张量样本、投影张量和误差张量三者之间的几何关系, 如图3所示. BlockTPCA-PF算法目标函数(33)可认为是三角函数的正切形式, 对其目标函数进行拓展和延伸, 可得到另两种比例形式.
图 3 ${{\cal{X}}_m}$, ${{\cal{Y}}_m}$与${{\cal{E}}_m}$之间的关系Fig. 3 The relation between ${{\cal{X}}_m}$, ${{\cal{Y}}_m}$ and ${{\cal{E}}_m}$第1 种为正弦形式, 将误差张量与张量数据之间的比值作为目标函数, 求解推导过程与上述算法相似.
$$ \min \sum\limits_{m = 1}^M {\frac{{{{\left\| {{{\cal{E}}_m}} \right\|}_{\rm{F}}}}}{{{{\left\| {{{\cal{X}}_m}} \right\|}_{\rm{F}}}}}} $$ (43) 第2 种为余弦形式, 也可将投影张量与张量数据之间的比值作为目标函数, 求解方式同上.
$$ \max \sum\limits_{m = 1}^M {\frac{{{{\left\| {{{\cal{Y}}_m}} \right\|}_{\rm{F}}}}}{{{{\left\| {{{\cal{X}}_m}} \right\|}_{\rm{F}}}}}} $$ (44) 这两种比例形式, 其目标函数仅仅呈现了不同三角函数形式, 求解算法也极为相似, 均能实现投影距离最大与重构误差最小的双目标优化, 能够提高算法对噪声异常值的鲁棒性. 因篇幅所限, 本文不做进一步推导与实验验证.
3. 实验结果分析
为了验证所提算法的有效性和鲁棒性, 选用Aberdeen、GT和AR彩色人脸数据集作为实验样本. 将MPCA、TPCA-L1-G、TPCA-L1-NG、TPCA-F 算法以及本文提出的BlockTPCA-F和BlockTPCA-PF算法进行对比实验与分析. 鲁棒性实验是通过各个算法的平均重构误差来进行判定, 而重构图像实验则可以直观判断各个算法的低维表征效果, 分类率实验则通过各个算法求得的低维特征来判定分类识别情形. 实验软件环境为Windows10、Python 3.7和OpenCV 2.4.10, 采用Intel i5-6300HQ (2.3 GHz) 处理器, 8 GB内存的硬件环境.
本文应用3 个彩色人脸数据集对算法的有效性和实用性进行验证. Georgia Tech (GT)彩色人脸数据集由50人组成, 每人不同面部表情的图像15幅, 共750 幅. 其中包括光照、微表情和人脸旋转角度等变化. Aberdeen (AB)彩色人脸数据集共有687幅图像, 但每个人脸的图像数均不同. 为了保证实验的一致性, 最终选取27个个体, 每人14幅图像, 共378幅图像. 其变化因素与GT数据集相同. 上述两个数据集的图像像素均为$100\times100 $. 考虑到不同程度的噪声对算法性能的影响, 在数据集中随机抽取样本数为20%, 40%, 60%的彩色图像样本加入位置随机、像素大小分别为$ 20\times20$, $40\times40$, $60\times60$的黑白杂点噪声块, 且噪声块并不跨越图像边界. 两个数据集部分图像样本分别加入不同噪声块如图4 和图5所示. 对数据集随机添加不同大小的噪声块, 验证算法在噪声影响下特征提取的准确性, 进而分析在不同程度噪声的影响下各个算法的鲁棒性和分类性能. 为进一步验证本文所提出的算法的普适性, 选取带有真实噪声影响的AR 彩色人脸数据集进行鲁棒性和分类率的相关实验. 本文选取AR彩色人脸数据集中的10名男性和10名女性的各26幅图像, 共520幅图像, 图像像素均为$165\times 120$. 其中包括不同的面部表情、光照条件、太阳镜及围巾遮挡等情形, 部分图像样本如图6所示.
3.1 鲁棒性实验与分析
将上述数据集样本进行中心化, 以平均重构误差(Average reconstruction error, ARCE)为性能指标, 进行鲁棒性实验与对比分析. 在相同主成分个数(Number of principal components, NPC)时, ARCE越小, 则其算法的鲁棒性越优. 定义平均重构误差如下:
$$ \overline{e} = \frac{1}{M}\sum\limits_{m = 1}^M {{{\left\| {{{\cal{E}}_m}} \right\|}_{\rm{F}}}} = \frac{1}{M}\sum\limits_{m = 1}^M {{{\left\| {\boldsymbol{E}_m^{(n)}} \right\|}_{\rm{F}}}} $$ (45) 其中, $ \boldsymbol{E}_m^{(n)} $ 是误差张量$ {{\cal{E}}_m} $的n模展开矩阵.
GT和Aberdeen人脸数据集的ARCE实验结果如图7所示, 而AR人脸数据集的ARCE 实验结果如图8所示, 从中可得出如下结论. 1) 随着NPC增加, 主成分包含的表征信息逐渐增多, 各个算法的ARCE均呈现逐步下降趋势并趋于平稳, 表明其子空间的表征维数对ARCE影响很大. 2) MPCA、TPCA-L1-G、TPCA-L1-NG 和TPCA-F 四种算法对噪声较敏感, 其ARCE性能均弱于本文提出的算法. 本文算法对原始张量数据执行不同的分块处理, 其分块大小为$50\times50\times3 $时, 可获得其最优ARCE性能. 随着NPC增大, BlockTPCA-F 和BlockTPCA-PF 算法对ARCE性能的提升显著, 依然优于TPCA-F 算法, 说明分块处理可以增强算法的低维表征能力, 同时也表明本文提出的两个算法均具有较强的鲁棒性. 3) 基于F 范数平方和基于$L _{1} $范数的张量算法, 其ARCE受噪声的增加而不断增大, 特征表征能力大幅下降. TPCA-F 算法其目标函数未考虑到重构误差的约束, 最终其ARCE未能呈现出明显优势. 4) 与其他算法相比, BlockTPCA-F 和BlockTPCA-PF 算法其ARCE 曲线更为平滑, 表明噪声信息对本文提出的算法影响最小, 具有更强的鲁棒性. 5) BlockTPCA-PF 算法的目标函数同时考虑了投影距离最大与重构误差最小两个优化目标, 因此, 随着噪声块的增大, 该算法与BlockTPCA-F 相比具有更优的鲁棒性能. 6) 在图8中, AR数据集样本大小为$165\times120\times3 $, 分块大小设定为$33\times60\times3 $时, 可获得最优性能. 可以看到, 在具有真实遮挡的ARCE实验中, BlockTPCA-F 和BlockTPCA-PF算法与其他算法相比, 其ARCE性能优势依然明显, 进一步验证上述结论在真实噪声下的适用性.
3.2 图像重构实验与分析
为了验证各个算法的低维表征直观效果, 将各个算法提取的前$ k $个子图像进行叠加, 得到原始图像的近似彩色重构人脸图像, 通过观察图像的清晰度可以直观判定算法的低维表征效果. 从GT 数据集中选用其中一个样本图像进行重构实验. 从图7观察可知, 当NPC为20 时, ARCE趋向稳定, 说明此时特征提取已包含人脸图像中的大部分表征信息. 为此, 本文选取前20阶主成分进行图像重构实验. 各个算法在不同噪声块下前20阶重构图像的实验结果如图9 ~ 11所示.
分析图9 ~ 11可得以下结论. 1) 随着NPC增加, 各个算法的重构图像愈加清晰, 表明其重构图像表征的特征信息也增多, 其重构图像与原始图像之间的差异就越小. 2) 与其他算法相比, TPCA-F 算法其图像重构效果并不明显, 而本文提出的BlockTPCA-F 和BlockTPCA-PF 算法, 同样采用$50\times50\times3 $的分块大小, 其重构图像更为清晰, 具有显著优势, 并且在色彩和细节还原度上明显优于其他算法, 表明本文算法均具有较强的特征表征能力. 3) 随着噪声块的逐步增大, 其他算法受噪声影响较大, 在提取相同NPC的前提下其重构图像清晰度下降明显. 而本文提出的算法受噪声影响很小, 说明本文算法在强噪声干扰下依然具有明显优势, 在张量低维表征领域适应能力更强.
3.3 分类率实验与分析
采用K-最近邻分类(K-nearest neighbor, KNN)算法进行分类率实验, 并选取K = 1时进行分类. 所有实验样本均经过中心化处理, 其中训练样本与测试样本中心化所采用的均值来源于训练样本的均值. 对GT数据集随机抽取7幅作为训练样本, 其余8幅作为测试样本. 在Aberdeen数据集中, 随机抽取7 幅作为训练样本, 其余7幅作为测试样本. 两个数据集加噪方式及分块大小(50 × 50 × 3)均与鲁棒性实验一样. 为了消除噪声块的随机性, 重复加入噪声块5 次, 取平均分类率作为最终结果, 如表1 ~ 3所示. 在AR数据集中, 训练样本和测试样本各13幅, 其分块大小(33 × 60 × 3)也与鲁棒性实验一样. 随机选取20人进行重复实验5次, 其平均分类率如表4所示.
表 1 20%噪声下最优平均分类率Table 1 Optimal average classification rate under 20% noiseNPC MPCA TPCA-$L _{1} $-G TPCA-$L _{1} $-NG TPCA-F BlockTPCA-F BlockTPCA-PF AB 10 0.9048 0.8974 0.9079 0.9153 0.9153 0.9143 20 0.9132 0.9111 0.9132 0.9101 0.9164 0.9175 30 0.9090 0.9069 0.9090 0.9069 0.9090 0.9101 40 0.9058 0.9048 0.9058 0.9026 0.9090 0.9090 50 0.9048 0.9058 0.9058 0.9005 0.9079 0.9058 GT 10 0.6940 0.7020 0.7055 0.7055 0.6900 0.6915 20 0.7015 0.6935 0.6935 0.6950 0.7070 0.7090 30 0.7005 0.6875 0.6880 0.6905 0.7020 0.7035 40 0.6900 0.6860 0.6850 0.6845 0.7010 0.7035 50 0.6855 0.6820 0.6850 0.6840 0.6970 0.7000 表 3 60%噪声下最优平均分类率Table 3 Optimal average classification rate under 60% noiseNPC MPCA TPCA-$L _{1} $-G TPCA-$L _{1} $-NG TPCA-F BlockTPCA-F BlockTPCA-PF AB 10 0.7958 0.7958 0.7937 0.7915 0.8148 0.8116 20 0.7810 0.7810 0.7788 0.7779 0.7926 0.7947 30 0.7810 0.7746 0.7820 0.7757 0.7788 0.7799 40 0.7841 0.7746 0.7767 0.7799 0.7778 0.7799 50 0.7778 0.7757 0.7778 0.7799 0.7757 0.7757 GT 10 0.5354 0.5550 0.5690 0.5700 0.5690 0.5680 20 0.5344 0.5450 0.5665 0.5680 0.5580 0.5580 30 0.5238 0.5455 0.5590 0.5590 0.5510 0.5520 40 0.5101 0.5435 0.5470 0.5470 0.5500 0.5510 50 0.5048 0.5405 0.5450 0.5455 0.5470 0.5485 表 4 AR人脸数据集最优平均分类率Table 4 Optimal average classification rate of AR face datasetNPC MPCA TPCA-$L _{1} $-G TPCA-$L _{1} $-NG TPCA-F BlockTPCA-F BlockTPCA-PF AR 10 0.7692 0.7653 0.7692 0.7731 0.8077 0.8077 20 0.7654 0.7653 0.7654 0.7616 0.8001 0.8001 30 0.7654 0.7615 0.7653 0.7654 0.8039 0.8039 40 0.7654 0.7692 0.7692 0.7654 0.8038 0.8038 50 0.7692 0.7615 0.7654 0.7692 0.8039 0.8039 通过分析可得出如下结论. 1) 从距离度量方式看, 在相同NPC时, 基于$L _{1} $范数的相关算法比基于F 范数平方的MPCA算法分类率高, 表明$L _{1} $范数度量方式具有一定的抗噪能力和分类优势. 在含较小噪声块时, TPCA-F 算法分类性能没有明显优势. 但在含较大噪声块的情况下分类性能明显高于其他算法. 引入分块处理后的BlockTPCA-F和BlockTPCA-PF算法分类优势进一步提升. 2)从NPC个数上看, 在20%和40%低噪声影响下, 本文提出的算法相比于其他算法具有更高的分类性能. 表明基于F范数的分块算法在含噪的特征提取过程中具有更高的准确性, 具有更强的鲁棒性与低维表征能力. 而在60%噪声影响下, 其表征能力有所降低. 这是因为在高噪声的影响下, 其贪婪求解方式易陷入局部最优解, 此时非贪婪求解方式则有优势. 3) 从最优平均分类率看, 在相同噪声条件下, 最优分类率大都是由基于F范数度量的算法实现的. 说明基于F范数的算法明显优于其他算法. 在20%和40%低噪声条件下, 本文算法在F范数基础上对图像先进行分块处理, 使得其分类性能够进一步提升. 表明本文提出的算法在低噪声影响下具有更强的低维表征能力. 而在60%高噪声影响下, 分类优势并不明显, 其原因是在强噪声的干扰下提取的特征并不精确, 进而影响到分类性能. 4) 从不同数据集看, GT数据集包含更多的光照和姿态表情, 其相应分类率普遍低于Aberdeen数据集对应的分类率. 而在AR数据集的实验中, 因其噪声主要来源为现实意义的遮盖噪声, 光照、表情变化以及周围物体环境的遮盖都会影响张量算法特征提取的准确性. 本文提出的基于比例F范数的算法在这3 个数据集下均具有较明显的分类优势, 并且在AR数据集中的实验效果优势更为明显.
表 2 40%噪声下最优平均分类率Table 2 Optimal average classification rate under 40% noiseNPC MPCA TPCA-$L _{1} $-G TPCA-$L _{1} $-NG TPCA-F BlockTPCA-F BlockTPCA-PF AB 10 0.8804 0.8794 0.8847 0.8772 0.8889 0.8889 20 0.8783 0.8772 0.8751 0.8709 0.8889 0.8889 30 0.8624 0.8571 0.8593 0.8635 0.8751 0.8730 40 0.8519 0.8497 0.8508 0.8614 0.8603 0.8571 50 0.8497 0.8476 0.8466 0.8519 0.8529 0.8497 GT 10 0.6243 0.6645 0.6650 0.6630 0.6690 0.6690 20 0.5788 0.6335 0.6300 0.6295 0.6590 0.6590 30 0.5556 0.6115 0.6115 0.6115 0.6455 0.6455 40 0.5471 0.6050 0.6070 0.6070 0.6320 0.6320 50 0.5439 0.6035 0.6070 0.6065 0.6220 0.6220 4. 结束语
本文提出基于F范数和基于比例F范数的分块张量主成分分析算法. 当混入较多噪声数据时, 算法仍然具有较好的鲁棒性和较强的低维表征能力. 基于比例F范数的分块张量主成分分析算法, 将误差张量与投影张量之间的比值作为目标函数. 在追寻投影距离最大的同时确保重构误差尽可能小, 其张量低维表征效果得到了进一步提升. 给出了其贪婪求解算法, 并对收敛性进行了理论证明. 最后选用GT、Aberdeen和含有现实意义噪声的AR 彩色人脸数据集进行了实验验证, 并与MPCA算法、TPCA-L1-G 算法、TPCA-L1-NG算法以及TPCA-F算法进行了对比分析. 结果表明本文提出的算法在平均重构误差、图像重构和分类率等方面均得到了提升, 在张量低维表征领域具有较强的适用性. 后续将围绕鲁棒距离投影分析、目标函数的普适形式、求解方式等方面进一步加以研究, 不断提高张量低维表征的鲁棒性和适用性.
-
图 3 ${{\cal{X}}_m}$, ${{\cal{Y}}_m}$与${{\cal{E}}_m}$之间的关系
Fig. 3 The relation between ${{\cal{X}}_m}$, ${{\cal{Y}}_m}$ and ${{\cal{E}}_m}$
表 1 20%噪声下最优平均分类率
Table 1 Optimal average classification rate under 20% noise
NPC MPCA TPCA-$L _{1} $-G TPCA-$L _{1} $-NG TPCA-F BlockTPCA-F BlockTPCA-PF AB 10 0.9048 0.8974 0.9079 0.9153 0.9153 0.9143 20 0.9132 0.9111 0.9132 0.9101 0.9164 0.9175 30 0.9090 0.9069 0.9090 0.9069 0.9090 0.9101 40 0.9058 0.9048 0.9058 0.9026 0.9090 0.9090 50 0.9048 0.9058 0.9058 0.9005 0.9079 0.9058 GT 10 0.6940 0.7020 0.7055 0.7055 0.6900 0.6915 20 0.7015 0.6935 0.6935 0.6950 0.7070 0.7090 30 0.7005 0.6875 0.6880 0.6905 0.7020 0.7035 40 0.6900 0.6860 0.6850 0.6845 0.7010 0.7035 50 0.6855 0.6820 0.6850 0.6840 0.6970 0.7000 
下载: 导出CSV
表 3 60%噪声下最优平均分类率
Table 3 Optimal average classification rate under 60% noise
NPC MPCA TPCA-$L _{1} $-G TPCA-$L _{1} $-NG TPCA-F BlockTPCA-F BlockTPCA-PF AB 10 0.7958 0.7958 0.7937 0.7915 0.8148 0.8116 20 0.7810 0.7810 0.7788 0.7779 0.7926 0.7947 30 0.7810 0.7746 0.7820 0.7757 0.7788 0.7799 40 0.7841 0.7746 0.7767 0.7799 0.7778 0.7799 50 0.7778 0.7757 0.7778 0.7799 0.7757 0.7757 GT 10 0.5354 0.5550 0.5690 0.5700 0.5690 0.5680 20 0.5344 0.5450 0.5665 0.5680 0.5580 0.5580 30 0.5238 0.5455 0.5590 0.5590 0.5510 0.5520 40 0.5101 0.5435 0.5470 0.5470 0.5500 0.5510 50 0.5048 0.5405 0.5450 0.5455 0.5470 0.5485
下载: 导出CSV
表 4 AR人脸数据集最优平均分类率
Table 4 Optimal average classification rate of AR face dataset
NPC MPCA TPCA-$L _{1} $-G TPCA-$L _{1} $-NG TPCA-F BlockTPCA-F BlockTPCA-PF AR 10 0.7692 0.7653 0.7692 0.7731 0.8077 0.8077 20 0.7654 0.7653 0.7654 0.7616 0.8001 0.8001 30 0.7654 0.7615 0.7653 0.7654 0.8039 0.8039 40 0.7654 0.7692 0.7692 0.7654 0.8038 0.8038 50 0.7692 0.7615 0.7654 0.7692 0.8039 0.8039
下载: 导出CSV
表 2 40%噪声下最优平均分类率
Table 2 Optimal average classification rate under 40% noise
NPC MPCA TPCA-$L _{1} $-G TPCA-$L _{1} $-NG TPCA-F BlockTPCA-F BlockTPCA-PF AB 10 0.8804 0.8794 0.8847 0.8772 0.8889 0.8889 20 0.8783 0.8772 0.8751 0.8709 0.8889 0.8889 30 0.8624 0.8571 0.8593 0.8635 0.8751 0.8730 40 0.8519 0.8497 0.8508 0.8614 0.8603 0.8571 50 0.8497 0.8476 0.8466 0.8519 0.8529 0.8497 GT 10 0.6243 0.6645 0.6650 0.6630 0.6690 0.6690 20 0.5788 0.6335 0.6300 0.6295 0.6590 0.6590 30 0.5556 0.6115 0.6115 0.6115 0.6455 0.6455 40 0.5471 0.6050 0.6070 0.6070 0.6320 0.6320 50 0.5439 0.6035 0.6070 0.6065 0.6220 0.6220
下载: 导出CSV
-
[1] Zare A, Ozdemir A, Iwen M A, Aviyente S. Extension of PCA to higher order data structures: An introduction to tensors, tensor decompositions, and tensor PCA. Proceedings of the IEEE, 2018, 106(8): 1341-1358 doi: 10.1109/JPROC.2018.2848209 [2] Chachlakis D G, Dhanaraj M, Prater-Bennette A, Markopoulos P P. Dynamic L1-norm tucker tensor decomposition. IEEE Journal of Selected Topics in Signal Processing, 2021, 15(3): 587-602 doi: 10.1109/JSTSP.2021.3058846 [3] Liu J X, Wang D, Chen J. Monitoring framework based on generalized tensor PCA for three-dimensional batch process data. Industrial & Engineering Chemistry Research, 2020, 59(22): 10493-10508 [4] Qing Y H, Liu W Y. Hyperspectral image classification based on multi-scale residual network with attention mechanism. Remote Sensing, 2021, 13(3): Article No. 335 doi: 10.3390/rs13030335 [5] Wu S X, Wai H T, Li L, Scaglione A. A review of distributed algorithms for principal component analysis. Proceedings of the IEEE, 2018, 106(8): 1321-1340 doi: 10.1109/JPROC.2018.2846568 [6] 夏志明, 赵文芝, 徐宗本. 张量主成分分析与高维信息压缩方法. 工程数学学报, 2017, 34(6): 571-590 doi: 10.3969/j.issn.1005-3085.2017.06.001Xia Zhi-Ming, Zhao Wen-Zhi, Xu Zong-Ben. Principle component analysis for tensors and compression theory for high-dimensional information. Chinese Journal of Engineering Mathematics, 2017, 34(6): 571-590 doi: 10.3969/j.issn.1005-3085.2017.06.001 [7] Yang J, Zhang D, Frangi A F, Yang J Y. Two-dimensional PCA: A new approach to appearance-based face representation and recognition. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2004, 26(1): 131-137 doi: 10.1109/TPAMI.2004.1261097 [8] Wang H X. Block principal component analysis with L1-norm for image analysis. Pattern Recognition Letters, 2012, 33(5): 537-542 doi: 10.1016/j.patrec.2011.11.029 [9] Neumayer S, Nimmer M, Setzer S, Steidl G. On the robust PCA and Weiszfeld$’$s algorithm. Applied Mathematics & Optimization, 2020, 82(3): 1017-1048 [10] Kwak N. Principal component analysis based on L1-norm maximization. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2008, 30(9): 1672-1680 doi: 10.1109/TPAMI.2008.114 [11] Nie F P, Huang H, Ding C, Luo D J, Wang H. Robust principal component analysis with non-greedy $l_1$-norm maximization. In: Proceedings of the 22nd International Joint Conference on Artificial Intelligence. Barcelona, Spain: AAAI, 2011. 1433−1438 [12] Li X L, Pang Y W, Yuan Y. L1-norm-based 2DPCA. IEEE Transactions on Systems, Man, and Cybernetics, Part B (Cybernetics), 2010, 40(4): 1170-1175 doi: 10.1109/TSMCB.2009.2035629 [13] Wang R, Nie F P, Yang X J, Gao F F, Yao M L. Robust 2DPCA with non-greedy $\ell_1$-norm maximization for image analysis. IEEE Transactions on Cybernetics, 2015, 45(5): 1108-1112 [14] Kwak N. Principal component analysis by $L_p$-norm maximization. IEEE Transactions on Cybernetics, 2014, 44(5): 594-609 doi: 10.1109/TCYB.2013.2262936 [15] Wang J. Generalized 2-D principal component analysis by Lp-norm for image analysis. IEEE Transactions on Cybernetics, 2016, 46(3): 792-803 doi: 10.1109/TCYB.2015.2416274 [16] 李春娜, 陈伟杰, 邵元海. 鲁棒的稀疏$L_p$-模主成分分析. 自动化学报, 2017, 43(1): 142-151Li Chun-Na, Chen Wei-Jie, Shao Yuan-Hai. Robust sparse $L_p$ norm principal component analysis. Acta Automatica Sinica, 2017, 43(1): 204-211 [17] Xiao X L, Chen Y Y, Gong Y J, Zhou Y C. Low-rank preserving t-linear projection for robust image feature extraction. IEEE Transactions on Image Processing, 2021, 30: 108-120 doi: 10.1109/TIP.2020.3031813 [18] Lu H P, Plataniotis K N, Venetsanopoulos A N. MPCA: Multilinear principal component analysis of tensor objects. IEEE Transactions on Neural Networks, 2008, 19(1): 18-39 doi: 10.1109/TNN.2007.901277 [19] Hu W M, Li X, Zhang X Q, Shi X C, Maybank S, Zhang Z F. Incremental tensor subspace learning and its applications to foreground segmentation and tracking. International Journal of Computer Vision, 2011, 91(3): 303-327 doi: 10.1007/s11263-010-0399-6 [20] Han L, Wu Z, Zeng K, Yang X W. Online multilinear principal component analysis. Neurocomputing, 2018, 275: 888-896 doi: 10.1016/j.neucom.2017.08.070 [21] Wu J S, Qiu S J, Zeng R, Kong Y Y, Senhadji L, Shu H Z. Multilinear principal component analysis network for tensor object classification. IEEE Access, 2017, 5: 3322-3331 doi: 10.1109/ACCESS.2017.2675478 [22] Li X T, Ng M K, Xu X F, Ye Y M. Block principal component analysis for tensor objects with frequency or time information. Neurocomputing, 2018, 302: 12-22 doi: 10.1016/j.neucom.2018.02.014 [23] Zheng Y M, Xu A B. Tensor completion via tensor QR decomposition and $L_{2,1}$-norm minimization. Signal Processing, 2021, 189: Article No. 108240 [24] Du S Q, Xiao Q J, Shi Y Q, Cucchiara R, Ma Y D. Unifying tensor factorization and tensor nuclear norm approaches for low-rank tensor completion. Neurocomputing, 2021, 458: 204-218 doi: 10.1016/j.neucom.2021.06.020 [25] Yang J H, Zhao X L, Ji T Y, Ma T H, Huang T Z. Low-rank tensor train for tensor robust principal component analysis. Applied Mathematics and Computation, 2020, 367: Article No. 124783 doi: 10.1016/j.amc.2019.124783 [26] Zhang X Q, Wang D, Zhou Z Y, Ma Y. Robust low-rank tensor recovery with rectification and alignment. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2021, 43(1): 238-255 doi: 10.1109/TPAMI.2019.2929043 [27] Lai Z H, Xu Y, Chen Q C, Yang J, Zhang D. Multilinear sparse principal component analysis. IEEE Transactions on Neural Networks and Learning Systems, 2014, 25(10): 1942-1950 doi: 10.1109/TNNLS.2013.2297381 [28] Sun W W, Yang G, Peng J T, Du Q. Lateral-slice sparse tensor robust principal component analysis for hyperspectral image classification. IEEE Geoscience and Remote Sensing Letters, 2020, 17(1): 107-111 doi: 10.1109/LGRS.2019.2915315 [29] Lu C Y, Feng J S, Chen Y D, Liu W, Lin Z C, Yan S C. Tensor robust principal component analysis with a new tensor nuclear norm. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2020, 42(4): 925-938 doi: 10.1109/TPAMI.2019.2891760 [30] Zheng Y B, Huang T Z, Zhao X L, Jiang T X, Ma T H, Ji T Y. Mixed noise removal in hyperspectral image via low-fibered-rank regularization. IEEE Transactions on Geoscience and Remote Sensing, 2020, 58(1): 734-749 doi: 10.1109/TGRS.2019.2940534 [31] Pang Y W, Li X L, Yuan Y. Robust tensor analysis with L1-norm. IEEE Transactions on Circuits and Systems for Video Technology, 2010, 20(2): 172-178 doi: 10.1109/TCSVT.2009.2020337 [32] Zhao L M, Jia W M, Wang R, Yu Q. Robust tensor analysis with non-greedy $\ell_1$-norm maximization. Radioengineering, 2016, 25(1): 200-207 doi: 10.13164/re.2016.0200 [33] Li T, Li M Y, Gao Q X, Xie D Y. F-norm distance metric based robust 2DPCA and face recognition. Neural Networks, 2017, 94: 204-211 doi: 10.1016/j.neunet.2017.07.011 [34] Gao Q X, Ma L, Liu Y, Gao X B, Nie F P. Angle 2DPCA: A new formulation for 2DPCA. IEEE Transactions on Cybernetics, 2018, 48(5): 1672-1678 doi: 10.1109/TCYB.2017.2712740 [35] Zhou S S, Zhang D Q. Bilateral angle 2DPCA for face recognition. IEEE Signal Processing Letters, 2019, 26(2): 317-321 doi: 10.1109/LSP.2018.2889925 [36] Ge W M, Li J X, Wang X F. Robust tensor principal component analysis based on F-norm. In: Proceedings of the IEEE International Conference on Mechatronics and Automation (ICMA). Beijing, China: IEEE, 2020. 1077−1082 期刊类型引用(1)
1. 张晓敏，张超，石乐岩，王肖锋. 基于面积投影的分块鲁棒张量主成分分析算法. 光电子·激光. 2024(10): 1058-1065 . 
百度学术其他类型引用(1)
-
下载:
计量
- 文章访问数: 1034
- HTML全文浏览量: 364
- PDF下载量: 177
- 被引次数: 2
