-
摘要: 复杂场景下的高精度车牌识别仍然存在着许多挑战, 除了光照、分辨率不可控和运动模糊等因素导致的车牌图像质量低之外, 还包括车牌品类多样产生的行数不一和字数不一等困难, 以及因拍摄角度多样出现的大倾角等问题. 针对这些挑战, 提出了一种基于单字符注意力的场景鲁棒的高精度车牌识别算法, 在无单字符位置标签信息的情况下, 使用注意力机制对车牌全局特征图进行单字符级特征分割, 以处理多品类车牌和倾斜车牌中的二维字符布局问题. 另外, 该算法通过使用共享参数的多分支结构代替现有算法的串行解码结构, 降低了分类头参数量并实现了并行化推理. 实验结果表明, 该算法在公开车牌数据集上实现了超越现有算法的精度, 同时具有较快的识别速度.Abstract: There are still many challenges for high-precision vehicle license plate recognition in complex scenarios. In addition to the low quality of license plate images caused by factors such as poor illumination, low resolution, and motion blur, challenges also include different variant numbers of characters and lines for different license plate categories, as well as large inclination caused by the various camera locations. In response to these challenges, this paper proposes a scene-robust high-precision license plate recognition algorithm based on character attention, which performs character level segmentation on the global feature map of the license plate images without character position label information. Such character level segmentation can deal with the 2D character layout problems in multi-category license plates and inclined license plates. In addition, this algorithm uses a shared weight classification header structure to replace the serial decoding structure used in existing algorithms, which reduces the number of classification header parameters and realizes parallel inference. The experimental results show that the algorithm achieves high accuracy which surpasses the existing algorithms on the public-domain data sets, and meanwhile has a faster recognition speed.
-
在数据处理领域, 最重要的就是从海量高维数据样本中寻求最优的低维子空间表征这些样本的时空结构信息. 近年来, 以张量形式表示的多通道高维数据如彩色图像、高光谱图像、彩色视频等应用日趋增多, 张量数据处理技术也随之快速发展, 已广泛应用于信号处理[1-2]、数据挖掘[3]、模式识别[4]等众多领域. 因此, 研究张量低维表征技术, 挖掘张量数据时空结构信息及样本间相关信息, 显得尤为必要.
基于图像矩阵的低维表征技术已取得长足发展, 其中主成分分析(Principal component analysis, PCA)[5]较为典型, 其应用成果最为丰硕, 理论研究也最为深入. PCA的目标是寻找所有数据样本最优投影方向, 使得提取的低维特征能更好地表征原始数据, 更大程度实现“主成分分解”与“信息压缩”[6]. PCA以向量形式实现了图像的低维表征, 但破坏了图像的整体空间结构. 随后, 二维主成分分析 (Two-dimensional PCA, 2DPCA)[7]算法直接以矩阵的形式表征图像的低维特征. 为了进一步表征图像的深层次结构和局部特征, Wang等[8]提出了块主成分分析(Block PCA, BPCA)算法, 将图像分块重组后再进行数据投影与低维表征. 这些二维算法均采用F范数平方进行距离度量, 在其表征方向上满足PCA 投影方差最大的优化目标, 鲁棒性较差.
目前, 鲁棒表征算法主要有基于矩阵分解的低秩表征和基于距离度量的低维表征两类. 低秩表征算法是将数据矩阵分解成一个低秩矩阵与一个稀疏矩阵, 利用低秩和稀疏约束实现去噪功能, 其中鲁棒主成分分析(Robust PCA, RPCA)[9]相关算法较为典型. 该类算法求解过程难以收敛, 计算复杂度较高. 而基于距离度量的低维表征算法主要包括基于$ L_{1} $范数的PCA贪婪求解算法 (PCA with L1-norm greedy, PCA-L1-G)[10]和非贪婪求解算法(PCA with $ L_{1} $-norm non-greedy, PCA-$ L_{1} $-NG)[11], 以及基于$ L_{1} $范数的2DPCA贪婪求解算法 (2DPCA with $ L_{1} $-norm greedy, 2DPCA-$ L_{1} $-G)[12]和非贪婪求解算法(2DPCA with $ L_{1} $-norm non-greedy, 2DPCA-L1-NG)[13]. 考虑到$ L_{p} $范数为$ L_{1} $范数的扩展与延伸, 基于$ L_{p} $范数的PCA-Lp算法[14]、G2DPCA-$ L_{p} $算法[15]和$ L_{p} $SPCA算法[16]采用迭代方式求得最优解, 提高了算法的鲁棒性. 这类低维表征算法依然沿用投影距离最大的优化思路, 选用不同的距离度量方式减少噪声对数据低维表征的影响, 使得算法具有较强的鲁棒性.
现今, 彩色图像与视频流等张量数据处理技术需求快速增加, 如直接采用上述一阶向量或二阶矩阵的算法进行低维表征, 则大量时空结构信息丢失[17], 并且其数据的操作量、计算的复杂度等也呈指数级增长. 因此, 基于张量对象的多线性主成分分析算法(Multilinear PCA, MPCA)[18]可以提升对张量目标的低维表征能力. 进而, 增量式张量主成分分析算法(Incremental TPCA, ITPCA)[19]和在线MPCA算法[20] 等提升了张量数据的实时处理能力, 在前景分割及目标追踪等领域得到了应用. Wu等[21]从张量的深度学习网络出发, 将传统的PCA扩展到了多线性主成分分析网络(MPCA network, MPCAnet), 实现了多维张量图像的高层语义表征. 为了提高对张量数据的局部表征能力, Li等[22] 将分块处理技术引入到TPCA算法, 对协方差矩阵的分块矩阵进行特征分解以寻求最优的表征特征. 上述张量算法在数据表征过程中其鲁棒性较弱, 对噪声极为敏感.
同样, 鲁棒张量表征算法也分为基于张量分解的低秩表征和基于距离度量的低维表征. 在张量低秩表征研究中, 基于张量奇异值分解(Tensor singular value decomposition, t-SVD)[23-24]、交替方向乘子法(Alternating direction method of multipliers, ADMM)[25]以及近似梯度法[26]等低秩表征算法较为典型. 将稀疏模型引入到目标函数[27-28], 使得表征张量数据的低秩特征的同时具有稀疏性与鲁棒性. 基于张量核范数的相关算法[29-30]在处理非线性噪声污染时具有一定的鲁棒性能. 这类张量低秩表征算法通过高阶张量分解提取特征, 其计算复杂度较高. 而基于距离度量的张量低维表征算法则更具优势. 研究者提出了基于$ L_{1} $范数的张量主成分分析贪婪求解算法(Tensor PCA with L1-norm greedy, TPCA-L1-G)[31]和非贪婪求解算法(Tensor PCA with L1-norm non-greedy, TPCA-L1-NG)[32], 算法具有较强的鲁棒性. 这些张量低维表征算法采用$ L_{1} $范数作为距离度量方式, 寻求低维表征方向上的最大投影距离, 但失去了$ {\rm{F}} $范数平方的旋转不变性.
与此不同, $ {\rm{F}} $范数保留了$ {\rm{F}} $范数平方的旋转不变性[33], 在基于距离度量的低维表征算法中具有显著优势. Angle-2DPCA 算法[34]和双向的Bilateral Angle-2DPCA 算法[35]将$ {\rm{F}} $范数作为距离度量方式, 并且考虑了重构误差与投影距离之间的关系, 给出了其非贪婪的求解算法. 这些算法无法完整表征张量数据的时空结构及样本间的相关性. 为此, Ge等[36]提出基于$ {\rm{F}} $范数的张量主成分分析(TPCA with F-norm, TPCA-F)算法, 以最大化投影距离作为优化目标, 在保留其旋转不变性的同时实现了对张量数据的鲁棒低维表征. 但该算法忽略张量行列之间的时空结构信息, 其重构误差也并未得到优化, 故算法的鲁棒性受到了限制.
本文总结前人研究成果, 将$ {\rm{F}} $范数引入鲁棒张量低维表征中, 并在行列方向对张量数据进行分块处理, 充分挖掘张量数据内部的时空结构信息, 降低噪声对低维表征的影响. 先后提出基于$ {\rm{F}} $范数的分块张量主成分分析算法(BlockTPCA-F)和基于比例$ {\rm{F}} $范数的分块张量主成分分析算法(BlockTPCA-PF. 分别给出了其贪婪的求解算法, 并对其收敛性进行了理论证明. 本文结构如下: 第1节对张量低维表征的相关算法进行简单回顾与分析; 第2节基于$ {\rm{F}} $范数的目标优化函数, 提出BlockTPCA-F和BlockTPCA-PF算法并进行理论分析; 第3节在Aberdeen、GT和AR彩色人脸数据集上分别进行实验与对比分析; 第4节进行总结.
1. 相关算法回顾
1.1 多线性主成分分析算法
多线性主成分分析算法(MPCA)[18]主要用于张量数据的低维表征, 比如从彩色图像或者具有时间序列的视频数据中通过奇异值分解(Singular value decomposition, SVD)方法进行特征提取, 从而实现张量数据的低维表征.
现有M个样本维数为N的张量数据集表示为 ${\rm{\{ }}{{\cal{X}}_m} \in {\bf{R}}^{{{I_1} \times {I_2} \times \cdots \times {I_N}}}, {m = 1, \cdots ,M} {\rm{\} }}$, 设这些样本均已完成中心化处理. 对n模$ (n = 1, \cdots ,N) $总散度矩阵进行特征分解, 得到前$ {k} $个最大特征值对应的特征向量组成投影矩阵$ { \boldsymbol{U}^{(n)}} $. 将每个张量样本$ {{\cal{X}}_m} $通过投影矩阵进行投影即可得到投影张量$ {{\cal{Y}}_m} $为
$$ {{\cal{Y}}_m} = {{\cal{X}}_m} \times {{}_1{ \boldsymbol{U}^{(1)\rm{T}}}} \times \cdots \times {{}_n{ \boldsymbol{U}^{(n)\rm{T}}}} \times \cdots \times {}_N{ \boldsymbol{U}^{(N)\rm{T}}} $$ (1) 根据所求投影张量$ {{\cal{Y}}_m} $计算其总散度矩阵为
$$ {\Psi _{\cal{Y}}} = \sum\limits_{m = 1}^M {\left\| {{{\cal{Y}}_m}} \right\|_{\rm{F}}^2} $$ (2) 由式(1)可以求出$N $阶特征矩阵, MPCA算法通过循环迭代的方式寻求其总散度矩阵最大时所对应的投影矩阵$ {\boldsymbol{U}^{(n)}} $表示为
$$ {\boldsymbol{U}^{(n)}}=\mathop {{\rm{arg}}\max }\limits_{{\boldsymbol{U}^{(1)}},{\boldsymbol{U}^{(2)}}, \cdots, {\boldsymbol{U}^{(N)}}} {\Psi _{\cal{Y}}} $$ (3) 式(3)表明MPCA实质是将高维张量数据进行列拆分, 采用F范数平方度量所有样本列向量之间的距离, 并且满足投影方差最大的优化目标, 实现张量数据的低维表征. 如这些张量数据中含有噪声数据, 将会放大噪声等离群点在图像表征的作用, 导致其求得的特征主成分失真, 算法的鲁棒性较差.
1.2 基于$L _{1} $范数的张量主成分分析算法
$L _{1} $范数是对数据投影的绝对值进行目标优化, 与F范数平方相比, 降低了离群点对张量数据表征的敏感性. 为此, Li等[33]提出了基于$L _{1} $范数的张量主成分分析的贪婪求解算法(TPCA-L1-G).
设$ {\boldsymbol{U}^{(n)}} = [ {\boldsymbol{u}_{{J_1}}^{(1)}, \cdots ,\boldsymbol{u}_{{J_n}}^{(n)}} ] $为N阶张量 $ {{\cal{X}}_m} $ 所对应的第n阶投影矩阵. 当 $ {J_1} = \cdots = {J_N} = 1 $时, 其中$ \boldsymbol{u}_1^{(1)}, \cdots, \boldsymbol{u}_1^{(N)} $ 是未知的.
TPCA-$L _{1} $-G的目标函数为
$$ \mathop {\max }\limits_{\boldsymbol{u}_1^{(1)},\boldsymbol{u}_1^{(2)} \cdots ,\boldsymbol{u}_1^{(N)}} \sum\limits_{m = 1}^M {{{\left\| {{{\cal{X}}_m} \times {}{\boldsymbol{u}_1^{(1)\rm{T}}} \times \cdots \times {}{\boldsymbol{u}_1^{(N)\rm{T}}}} \right\|}_1}} $$ (4) 为了求解N个特征向量$ \boldsymbol{u}_1^{(1)},\boldsymbol{u}_1^{(2)}, \cdots ,\boldsymbol{u}_1^{(N)} $, 使得目标函数(4)满足投影距离最大, 将极性函数$p_m^{(n)}(t)$引入目标函数(4), 并化简为
$$ \mathop {\max }\limits_{\boldsymbol{u}_1^{(1)},\boldsymbol{u}_1^{(2)}, \cdots ,\boldsymbol{u}_1^{(N)}} \sum\limits_{m = 1}^M {p_m^{(n)}(t){\cal{Y}}_m} $$ (5) 其中, ${\cal{Y}}_m = {\cal{X}}_m \times {\boldsymbol{u}_1^{(1)\rm{T}}(t)} \times \cdots \times {\boldsymbol{u}_1^{(N)\rm{T}}(t)}$, t为极性函数的迭代次数.
运用循环迭代的方法求解目标函数(5) 的最优解. 通过改变特征向量的阶数n, 求解得到所有的投影矩阵 $ {\boldsymbol{U}^{(1)}},{\boldsymbol{U}^{(2)}}, \cdots ,{\boldsymbol{U}^{(N)}} $ 的第1阶特征向量 $ \boldsymbol{u}_1^{(1)},\boldsymbol{u}_1^{(2)}, \cdots ,\boldsymbol{u}_1^{(N)} $. 将同样的循环应用在其余各阶特征向量上, 求出 $ {\boldsymbol{U}^{(n)}} $中的其他最优解$\boldsymbol{u}_{{j_n}}^{(n)} (2 \le {j_n} \le {J_N})$, 即为TPCA-L1-G算法目标函数对应的最优解. TPCA-L1-G算法在表征张量数据时具有一定的鲁棒性, 但其贪婪求得的解仅为局部最优解.
为此, Pang等[31]提出了一种基于$L _{1} $范数的张量主成分分析的非贪婪求解算法(TPCA-L1-NG). 与TPCA-L1-G算法类似, 现有N阶张量 $ {\cal{X}}_m $所对应的各阶投影矩阵$ {\boldsymbol{U}^{(1)}},{\boldsymbol{U}^{(2)}}, \cdots, {\boldsymbol{U}^{(N)}} $, 则TPCA-L1-NG算法的目标函数为
$$ \max \sum\limits_{m = 1}^M {{{\left\| {{{\cal{X}}_m} \times {{}_1{\boldsymbol{U}^{(1)\rm{T}}}} \times \cdots \times {}_N{\boldsymbol{U}^{(N)\rm{T}}}} \right\|}_1}} $$ (6) 为了求解投影矩阵$ {\boldsymbol{U}^{(1)}} $, 先初始化并固定矩阵$ {\boldsymbol{U}^{(2)}},{\boldsymbol{U}^{(3)}}, \cdots, {\boldsymbol{U}^{(N)}} $, 即目标函数(6)可改为
$$ \begin{split} &\max \sum\limits_{m = 1}^M {{{\left\| {{{\cal{X}}_m} \times {}_1{\boldsymbol{U}^{(1)\rm{T}}} \times \cdots \times {}_N{\boldsymbol{U}^{(N)\rm{T}}}} \right\|}_1}} =\\&\qquad\max \sum\limits_{m = 1}^M {{{\left\| {{}_1{\boldsymbol{U}^{(1)\rm{T}}} \times {}_1{{\cal{X}}_m}} \right\|}_1}} =\\&\qquad\max \sum\limits_{m = 1}^M {{{\left\| {{}_1{\boldsymbol{U}^{(1)\rm{T}}} \times {}_1{\boldsymbol{X}_m}} \right\|}_1}} =\\& \qquad\max \sum\limits_{m = 1}^M {\sum\limits_{{j_2}}^{{J_2}} { \cdots \sum\limits_{{j_N}}^{{J_N}} {{{\left\| {{}_1{\boldsymbol{U}^{(1)\rm{T}}} \times {}_1 \boldsymbol{x}_m^{{j_2} \cdots {j_N}}} \right\|}_1}} } } \\[-15pt] \end{split}$$ (7) 其中, $ {}_1{{\cal{X}}_m} = {{\cal{X}}_m} \times {}_2{\boldsymbol{U}^{(2)\rm{T}}} \times \cdots \times {}_N{\boldsymbol{U}^{(N)\rm{T}}} $, $ {}_1{\boldsymbol{X}_m} $是$ {}_1{{\cal{X}}_m} $的1模展开矩阵, $ {}_1\boldsymbol{x}_m^{{j_2} \cdots {j_N}} $是矩阵 $ {}_1{\boldsymbol{X}_m} $中的列向量.
经过奇异值分解化简式(7), 求得目标函数(6)的最大值. 通过改变目标函数(6)中的阶数n, 重复循环求解出所有的投影矩阵 $ {\boldsymbol{U}^{(1)}}, {\boldsymbol{U}^{(2)}}, \cdots, {\boldsymbol{U}^{(N)}} $, 即可实现对张量数据的低维表征.
与MPCA算法相比, TPCA-L1-G与TPCA-L1-NG算法均采用$L _{1} $范数度量方式, 寻求低维表征方向上的最大投影距离, 具有一定的抑制噪声能力. 它失去了F范数所特有的旋转不变性, 并且其非贪婪求解算法会使其重构误差逐层累加, 进而影响低维表征的效果. 基于上述分析可知, 范数的度量方式与目标函数均可影响张量数据低维表征的鲁棒性. 从距离度量方式来看, F范数度量方式不仅对噪声数据具有较强的鲁棒性, 还能很好地揭示其旋转不变性. 本文将F范数引入到张量主成分分析的目标函数中, 可提升算法在噪声影响下的张量低维表征能力. 此外, 分块处理可以充分展示张量数据行列之间的空间结构信息, 有利于表征图像的深层次特征和局部特征. 同时, 分块处理也有利于将异常数据从整个数据块中剥离出来, 突出异常数据和张量数据之间的差异, 提高算法的鲁棒性, 进而提升分类性能. 为此, 本文结合分块处理技术, 采用F范数度量方式, 先提出基于F范数的分块鲁棒张量低维表征算法BlockTPCA-F. 在此基础上, 进一步寻求低维表征方向上的投影距离最大化与重构误差最小化的双优化目标, 提出基于比例F范数的分块鲁棒主成分分析算法, 使得该算法在满足投影距离最大的同时, 确保重构误差尽可能小, 进一步提升算法的鲁棒性能.
2. 基于F范数的鲁棒张量低维表征
2.1 BlockTPCA-F算法
为了提取张量图像的局部特征信息, 有效表征张量数据的时空结构特征, 降低计算复杂度, 引入分块概念. 对于张量 $\cal{X} \in $Rh×r×n而言, 张量对象可以由一幅$ h \times r $大小的RGB图像组成($ n = 3 $), 设分块参数为$s $, 则每个块的大小均为 $ sh \times sr \times 3 $.
与MPCA算法、TPCA-L1-G算法和TPCA-L1-NG算法相比, 基于F范数投影距离最大构建目标函数定义为
$$ \begin{split} &\max \sum\limits_{m = 1}^M {{{\left\| {{{\cal{X}}_m} \times {}_1{\boldsymbol{U}^{(1)\rm{T}}} \times \cdots \times {}_N{\boldsymbol{U}^{(N)\rm{T}}}} \right\|}_{\rm{F}}}} =\\ &\qquad\max \sum\limits_{m = 1}^M {{{\left\| {{{\cal{Y}}_m}} \right\|}_{\rm{F}}}} \\[-10pt]\end{split}$$ (8) 其中, 投影张量$ {{\cal{Y}}_m} $ 是$ {{\cal{X}}_m} $的核心张量.
通过迭代方式确定所有投影矩阵$ {\boldsymbol{U}^{(n)}} $, 设在第$ t $次迭代中计算$ {\boldsymbol{U}^{(n)}} $项时为$ \boldsymbol{U}_t^{(n)} $. 因无法同时求解各阶投影矩阵, 故在近似求解$ \boldsymbol{U}_t^{(n)} $时, 在投影矩阵$\boldsymbol{U}^{(1)},\boldsymbol{U}^{(2)}, \cdots ,\boldsymbol{U}^{(n - 1)},\boldsymbol{U}_t^{(n)}, \boldsymbol{U}^{(n + 1)},\cdots ,\boldsymbol{U}^{(N)}$中, 除$ \boldsymbol{U}_t^{(n)} $外, 其他各阶均作为已知量.
对目标函数(8)进行简单代数运算, 可以得到
$$ \begin{split} \sum\limits_{m = 1}^M {{{\left\| {{\cal{Y}}_m^t} \right\|}_{\rm{F}}}} =\;& \sum\limits_{m = 1}^M {\frac{{\left\| {{\cal{Y}}_m^t} \right\|_{\rm{F}}^2}}{{{{\left\| {{\cal{Y}}_m^t} \right\|}_{\rm{F}}}}}} = \sum\limits_{m = 1}^M {\frac{{\left\| {{}_t\boldsymbol{Y}_m^{(n)}} \right\|_{\rm{F}}^2}}{{{{\left\| {{}_t\boldsymbol{Y}_m^{(n)}} \right\|}_{\rm{F}}}}}} = \\ & \sum\limits_{m = 1}^M {\frac{{\left\| {\boldsymbol{U}_t^{(n){\rm{T}}} \cdot \boldsymbol{X}_m^{(n)} \cdot \boldsymbol{U}_{\phi (n)}^t} \right\|_{\rm{F}}^2}}{{{{\left\| {{}_t \boldsymbol{Y}_m^{(n)}} \right\|}_{\rm{F}}}}}} = \\ & \sum\limits_{m = 1}^M {{\rm{tr}}\left(\boldsymbol{U}_t^{(n){\rm{T}}} \cdot \phi _{(n)}^t \cdot {}_td_m^n \cdot {\boldsymbol{U}}_t^{(n)}\right)} =\\& {\rm{tr}}\left(\boldsymbol{U}_t^{(n){\rm{T}}} \cdot {\boldsymbol{H}}_n^t\right)\\[-10pt] \end{split} $$ (9) 其中, $ \boldsymbol{X}_m^{(n)},{}_t\boldsymbol{Y}_m^{(n)} $ 分别是$ {{\cal{X}}_m},{}_n{\cal{Y}}_m^t $ 沿着第$ n $ 阶方向的展开矩阵, 且满足${\left\| {{{\cal X}_m}} \right\|_{\rm{F}}} = {\| {\boldsymbol{X}_m^{(n)}} \|_{\rm{F}}}$, ${\left\| {_n{\cal Y}_m^t} \right\|_{\rm{F}}} = {\| {_t\boldsymbol{Y}_m^{(n)}} \|_{\rm{F}}}$. 其他符号定义如下:
$$ \begin{split} \boldsymbol{U}_{\phi (n)}^t = \boldsymbol{U}_t^{(n + 1)} \otimes \cdots\otimes \boldsymbol{U}_t^N \otimes \boldsymbol{U}_{t + 1}^{(1)}\otimes \cdots \otimes \boldsymbol{U}_{t + 1}^{(n - 1)}\end{split} $$ (10) $$\begin{aligned} {}_t\boldsymbol{Y}_m^{(n)} = \boldsymbol{U}_t^{(n)\rm{T}} \cdot \boldsymbol{X}_m^{(n)} \cdot \boldsymbol{U}_{\phi (n)}^t \end{aligned} $$ (11) $$ \phi _{(n)}^t = \boldsymbol{X}_m^{(n)} \cdot \boldsymbol{U}_{\phi (n)}^t \cdot \boldsymbol{U}_{\phi (n)}^{t\rm{T}} \cdot \boldsymbol{X}_m^{(n)\rm{T}} $$ (12) $$ d_m^t = \frac{1}{{{{\left\| {{\cal{Y}}_m^t} \right\|}_{\rm{F}}}}} = \frac{1}{{{{\left\| {{}_t\boldsymbol{Y}_m^{(n)}} \right\|}_{\rm{F}}}}} $$ (13) $$ \boldsymbol{H}_n^t = \sum\limits_{m = 1}^M {\phi _{(n)}^t \cdot d_m^t} \cdot \boldsymbol{U}_t^{(n)} $$ (14) 在求解目标函数之前, 先引入两个定理.
定理 1. 对于阶数相同的两个矩阵$ {\boldsymbol{X}} $和$ {\boldsymbol{Y}} $, 则有
$$ {\rm{tr}}\left( {{\boldsymbol{X}^{\rm T}}\boldsymbol{Y}} \right) \le {\left\| \boldsymbol{X} \right\|_{\rm{F}}}{\left\| \boldsymbol{Y} \right\|_{\rm{F}}} $$ (15) 当且仅当矩阵$ {\boldsymbol{X}} $或$ {\boldsymbol{Y}} $成倍数关系时不等式成立.
证明. 根据矩阵迹的定义, 有
$$ {\rm{tr}}\left( {{\boldsymbol{X}^{\rm T}}\boldsymbol{Y}} \right) = {\left( {vec\left( \boldsymbol{X} \right)} \right)^{\rm T}}vec\left( \boldsymbol{Y} \right) $$ (16) 根据Cauchy-Schwarz不等式将式(15)转换为
$$ \begin{split} &{\left( {vec\left( \boldsymbol{X} \right)} \right)^{\rm T}}vec\left( \boldsymbol{Y} \right) \le {\left\| {vec\left( \boldsymbol{X} \right)} \right\|_2}{\left\| {vec\left( \boldsymbol{Y} \right)} \right\|_2} =\\ &\qquad{\left\| \boldsymbol{X} \right\|_{\rm{F}}}{\left\| \boldsymbol{Y} \right\|_{\rm{F}}} \end{split} $$ (17) 对比式(16)和式(17)可得到
$$ {\rm{tr}}\left( {{\boldsymbol{X}^{\rm T}}\boldsymbol{Y}} \right) \le {\left\| \boldsymbol{X} \right\|_{\rm{F}}}{\left\| \boldsymbol{Y} \right\|_{\rm{F}}} $ □ $(18) 定理2. 假定对于一个二维矩阵$ \boldsymbol{H} \in {{\bf{R}}^{m \times n}} $, 将其进行奇异值分解后得到$ \boldsymbol{A}\Sigma {\boldsymbol{B}^{\rm T}} $, 则 $ \boldsymbol{U} = \boldsymbol{A}{\boldsymbol{B}^{\rm T}} $即为目标函数(19)的解.
$$ {\mathop { {\rm{argmax}}}\limits_{{\boldsymbol{U}^{\rm T}}\boldsymbol{U}= {{\boldsymbol{I}}_k}} } \;\; {\rm{tr}}\left( {{\boldsymbol{U}^{\rm{T}}}\boldsymbol{H}} \right) $$ (19) 其中, $ {\boldsymbol{A}^{\rm T}}\boldsymbol{A} = {\boldsymbol{B}^{\rm T}}\boldsymbol{B} = {\boldsymbol{I}_k} $, $ \Sigma \in {{\bf{R}}^{k \times k}} $是一个非奇异的对角矩阵. $ \Sigma $的对角元素$ {\lambda _j} $ 即为矩阵$ \boldsymbol{H} $的奇异值, $ k = {\rm{rank}}\left( \boldsymbol{H} \right) $.
证明. 对矩阵$ \boldsymbol{H} $进行奇异值分解得到
$$ \begin{split} {\rm{tr}}\left( {{\boldsymbol{U}^{\rm T}}\boldsymbol{H}} \right) =\;& {\rm{tr}}\left( {{\boldsymbol{U}^{\rm T}}\boldsymbol{A}\Sigma {\boldsymbol{B}^{\rm T}}} \right) =\\& {\rm{tr}}\left( {\boldsymbol{A}{\Sigma ^{\frac{1}2}}{\Sigma ^{\frac{1}2}}{\boldsymbol{B}^{\rm T}}{\boldsymbol{U}^{\rm T}}} \right) \end{split} $$ (20) 再根据定理1可得
$$ \begin{split} {\rm{tr}}\left( {{\boldsymbol{U}^{\rm T}}\boldsymbol{H}} \right) =\;& {\left( {vec\left( {\boldsymbol{A}{\Sigma ^{\frac{1}2}}} \right)} \right)^{\rm T}}vec\left( {{\Sigma ^{\frac{1}2}}{\boldsymbol{B}^{\rm T}}{\boldsymbol{U}^{\rm T}}} \right) \le\\& {\left\| {vec\left( {\boldsymbol{A}{\Sigma ^{\frac{1}2}}} \right)} \right\|_2}{\left\| {vec\left( {{\Sigma ^{\frac{1}2}}{\boldsymbol{B}^{\rm T}}{\boldsymbol{U}^{\rm T}}} \right)} \right\|_2} =\\& {\left\| {\boldsymbol{A}{\Sigma ^{\frac{1}2}}} \right\|_{\rm{F}}}{\left\| {{\Sigma ^{\frac{1}2}}{\boldsymbol{B}^{\rm T}}{\boldsymbol{U}^{\rm T}}} \right\|_{\rm{F}}} =\\& {\left\| {{\Sigma ^{\frac{1}2}}} \right\|_{\rm{F}}}{\left\| {{\Sigma ^{\frac{1}2}}} \right\|_{\rm{F}}} \\[-15pt]\end{split} $$ (21) 当且仅当$ \boldsymbol{A}{\Sigma ^{1/2}} = {\Sigma ^{1/2}}{\boldsymbol{B}^{\rm T}}{\boldsymbol{U}^{\rm T}} $时等号成立, 即满足 $ \boldsymbol{U} = \boldsymbol{A}{\boldsymbol{B}^{\rm T}} $.
□ 下面求解目标函数(9), 因无法同时求解未知变量$ d_m^t $与$ \boldsymbol{U}_t^{(n)} $, 且两者相互关联. 故接下来先固定$ d_m^t $ 迭代求解$ \boldsymbol{U}_t^{(n)} $, 然后固定$ \boldsymbol{U}_t^{(n)} $再迭代求解$ d_m^t $.
步骤 1. 先固定$ d_m^t $更新$ \boldsymbol{U}_t^{(n)} $, 此时目标函数为
$$ \mathop {\rm{argmax}}\limits_{\boldsymbol{U}_t^{(n){\rm T}}\boldsymbol{U}_t^{(n)} = {J_n}} {\rm{tr}}\left( {\boldsymbol{U}_t^{(n){\rm T}} \cdot \boldsymbol{H}_n^t} \right) $$ (22) 对$\boldsymbol{H}_n^t$进行奇异值分解, 可得
$$ \boldsymbol{H}_n^t = \boldsymbol{A}_n^t\Sigma _n^t\boldsymbol{B}_n^{t{\rm T}} $$ (23) 对目标函数(22)应用定理2, 可得其最优解为
$$ \boldsymbol{U}_{t + 1}^{(n)} = \boldsymbol{A}_n^t\boldsymbol{B}_n^{t{\rm T}} $$ (24) 步骤 2. 固定$ \boldsymbol{U}_{t + 1}^{(n)} $再求解$ d_m^{t + 1} $, 即
$$ \begin{split} & d_m^{t + 1} =\; \frac{1}{{{{\left\| {{}_{t + 1}\boldsymbol{Y}_m^{(n)}} \right\|}_{\rm{F}}}}} = \\&\frac{1}{{{{\left\| {{{\cal{X}}_m} \times {}_1\boldsymbol{U}_{t + 1}^{(1){\rm T}}\times \cdots \times {}_{(n)}\boldsymbol{U}_{t + 1}^{(n){\rm T}} \times \cdots \times {}_N \boldsymbol{U}_t^{(N){\rm T}}} \right\|}_{\rm{F}}}}} \end{split} $$ (25) 通过式(22) ~ (25)迭代更新直到收敛, 最终求得各项投影矩阵$ {\boldsymbol{U}^{(1)}}, {\boldsymbol{U}^{(2)}}, \cdots , {\boldsymbol{U}^{(N)}} $.
定理3. BlockTPCA-F算法中目标函数(9)求解过程收敛, 且算法的每次迭代均满足
$$ \sum\limits_{m = 1}^M {{{\left\| {\boldsymbol{U}_{t + 1}^{(n){\rm T}} \cdot \boldsymbol{X}_m^{(n)} \cdot \boldsymbol{U}_{\phi (n)}^t} \right\|}_{\rm{F}}} \ge \sum\limits_{m = 1}^M {{{\left\| {{}_t\boldsymbol{Y}_m^{(n)}} \right\|}_{\rm{F}}}} } $$ (26) 证明. 在第$ t+1 $次迭代中, 根据目标函数(22)可知其最优解为 $ \boldsymbol{U}_{t + 1}^{(n)} = \boldsymbol{A}_n^t\boldsymbol{B}_n^{t{\rm T}} $, 则以下不等式成立
$$ \begin{split} &\sum\limits_{m = 1}^M {\frac{{{\rm{tr}}\left( \boldsymbol{U}_{t + 1}^{(n){\rm T}} \cdot \boldsymbol{X}_m^{(n)} \cdot \boldsymbol{U}_{\phi (n)}^t \cdot \boldsymbol{U}_{\phi (n)}^{t{\rm T}} \cdot \boldsymbol{X}_m^{(n){\rm T}} \cdot \boldsymbol{U}_t^{(n)} \right)}}{{{{\left\| {{}_t\boldsymbol{Y}_m^{(n)}} \right\|}_{\rm{F}}}}}} \ge\\& \qquad\sum\limits_{m = 1}^M {{{\left\| {{}_t\boldsymbol{Y}_m^{(n)}} \right\|}_{\rm{F}}}} \\[-15pt]\end{split} $$ (27) 对于式(26)中的 $\sum\nolimits_{m = 1}^M {{{\| {\boldsymbol{U}_{t + 1}^{(n){\rm T}} \cdot \boldsymbol{X}_m^{(n)} \cdot \boldsymbol{U}_{\phi (n)}^t} \|}_{\rm{F}}}}$, 由定理1和Cauchy-Schwarz不等式可以得到
$$ \begin{split} &{\rm{tr}}\left(\boldsymbol{U}_{t + 1}^{(n){\rm T}} \cdot \boldsymbol{X}_m^{(n)} \cdot \boldsymbol{U}_{\phi (n)}^t \cdot \boldsymbol{U}_{\phi (n)}^{t{\rm T}} \cdot \boldsymbol{X}_m^{(n){\rm T}} \cdot \boldsymbol{U}_t^{(n)}\right)\le\\ & \quad{\left\| {\boldsymbol{U}_{\phi (n)}^{t{\rm T}} \cdot \boldsymbol{X}_m^{(n){\rm T}} \cdot \boldsymbol{U}_{t + 1}^{(n)}} \right\|_{\rm{F}}} \cdot {\left\| { \boldsymbol{U}_t^{(n){\rm T}} \cdot \boldsymbol{X}_m^{(n)} \cdot \boldsymbol{U}_{\phi (n)}^t} \right\|_{\rm{F}}} \end{split} $$ (28) 通过上述分析, 将式(27)进行整理, 得到
$$ \begin{split} &\sum\limits_{m = 1}^M {\frac{{{\rm{tr}}\left( \boldsymbol{U}_{t + 1}^{(n){\rm T}} \cdot \boldsymbol{X}_m^{(n)} \cdot \boldsymbol{U}_{\phi (n)}^t \cdot \boldsymbol{U}_{\phi (n)}^{t{\rm T}} \cdot \boldsymbol{X}_m^{(n){\rm T}} \cdot \boldsymbol{U}_t^{(n)} \right)}}{{{{\left\| {{}_t\boldsymbol{Y}_m^{(n)}} \right\|}_{\rm{F}}}}}} \le\\ & \qquad\sum\limits_{m = 1}^M {{{\left\| {\boldsymbol{U}_{t + 1}^{(n){\rm T}} \cdot \boldsymbol{X}_m^{(n)} \cdot \boldsymbol{U}_{\phi (n)}^t} \right\|}_{\rm{F}}}} \\[-15pt]\end{split} $$ (29) 通过对比式(27)和式(29)得到
$$ \sum\limits_{m = 1}^M {{{\left\| {\boldsymbol{U}_{t + 1}^{(n){\rm T}} \cdot \boldsymbol{X}_m^{(n)} \cdot \boldsymbol{U}_{\phi (n)}^t} \right\|}_{\rm{F}}} \ge \sum\limits_{m = 1}^M {{{\left\| {{}_t\boldsymbol{Y}_m^{(n)}} \right\|}_{\rm{F}}}} } $$ (30) 式(30)表明BlockTPCA-F算法在每次迭代过程中收敛于目标函数(9)的最优解.
□ 为了直观理解BlockTPCA-F算法的求解过程, 图1展示该算法求解一个投影矩阵后其张量维度的变化及数据处理流程. 具体求解过程如算法1所示.
算法 1. BlockTPCA-F算法
输入. 张量样本序列 $ X = \left\{ {{{\cal{X}}_m},m = 1,2, \cdots ,M} \right\} $, 其中, $ {{\cal{X}}_m} \in {{\bf{R}}^{{I_1} \times {I_2} \times \cdots \times {I_N}}} $, 并已中心化处理.
输出. $ {\boldsymbol{U}^{(n)}} \in {\boldsymbol{I}_n} \times {\boldsymbol{J}_n} $.
步骤 1. 初始化: 对于任意 $ {\boldsymbol{U}^{(n)}} \in {\boldsymbol{I}_n} \times {\boldsymbol{J}_n} $, 满足 $ {\boldsymbol{U}^{(n){\rm T}}}{\boldsymbol{U}^{(n)}} = {\boldsymbol{I}_{{\boldsymbol{J}_n}}} $.
步骤 2. 对于$ n = 1 \to N $, 令$ t = 1 $, 由式(13)计算所有训练样本的$ d_m^t $.
步骤 3. 计算$ \boldsymbol{H}_n^t = \sum\nolimits_{m = 1}^M {\phi _{(n)}^t \cdot d_m^t \cdot \boldsymbol{U}_t^{(n)}} $.
步骤 4. 由奇异值分解计算矩阵$ \boldsymbol{H}_n^t=\boldsymbol{A}_n^t\Sigma _n^t\boldsymbol{B}_n^{t{\rm T}} $.
步骤 5. 求解$\arg \max {\rm{tr}}(\boldsymbol{U}_t^{(n){\rm T}} \cdot \boldsymbol{H}_n^t),$ 更新$ \boldsymbol{U}_{t + 1}^{(n)} $, 计算得到$ \boldsymbol{U}_{t + 1}^{(n)} = \boldsymbol{A}_n^t\boldsymbol{B}_n^{t{\rm T}} $.
步骤 6. 如达到收敛条件后, 则输出当前$ \boldsymbol{U}_t^{(n)} $, 并令$n \leftarrow n + 1,$ 否则令 $ t \leftarrow t + 1 $, 并跳转到步骤2. 直到求出所有最优解.
与MPCA算法、TPCA-L1-G算法及TPCA-L1-NG算法一样, BlockTPCA-F算法也基于表征方向上的投影距离最大建立目标函数. 然而, MPCA算法采用F 范数平方作为距离度量方式, 将扩大噪声数据对整个数据样本的影响, 使得求得低维特征的表征方向与实际表征方向偏差较大. 而TPCA-L1-G与TPCA-L1-NG算法采用$L _{1} $范数度量, 失去了旋转不变性. 本文提出的BlockTPCA-F算法将减弱噪声数据的影响, 提升算法对张量数据的低维表征能力. 此外, BlockTPCA-F算法在预处理过程中采用分块处理方法, 将输入的张量数据在行列方向上进行分块处理, 有利于挖掘原本张量数据行列内部之间的时空结构信息, 进一步提升算法的鲁棒性.
2.2 BlockTPCA-PF 算法
BlockTPCA-F 算法在保留F 范数的旋转不变性与数据行列间的时空结构信息同时, 在一定程度上提高了算法的鲁棒张量低维表征能力. 但该算法仅考虑了张量表征方向上投影距离最大的单一目标优化问题, 在F范数的度量方式下, 其重构误差并未受到约束. 为此, 提出基于比例F 范数的分块张量主成分分析算法(BlockTPCA-PF), 在满足其投影距离最大的同时保证其重构误差较小.
首先, 定义重构张量为
$$ {{\cal{Z}}_m} = {{\cal{Y}}_m} \times {}_1{\boldsymbol{U}^{(1)}} \times {}_2{\boldsymbol{U}^{(2)}} \times \cdots \times {}_N{\boldsymbol{U}^{(N)}} $$ (31) 则误差张量表示为
$$ {{\cal{E}}_m} = {{\cal{X}}_m} - {{\cal{Z}}_m} $$ (32) 定义BlockTPCA-PF算法的目标函数为误差张量与投影张量之间的比值, 表示为
$$ \min \sum\limits_{m = 1}^M {\frac{{{{\left\| {{{\cal{E}}_m}} \right\|}_{\rm{F}}}}}{{{{\left\| {{{\cal{Y}}_m}} \right\|}_{\rm{F}}}}}} $$ (33) 将循环迭代方法应用于求解过程, 假设 $ \boldsymbol{U}_{}^{(1)}, \cdots , \boldsymbol{U}_{}^{(n - 1)}, \boldsymbol{U}_{}^{(n + 1)}, \cdots ,\boldsymbol{U}_{}^{(N)} $已知, 求解$ \boldsymbol{U}_t^{(n)} $, 将目标函数(33)改写为
$$ \min \sum\limits_{m = 1}^M {\frac{{{{\left\| {{\cal{E}}_m^t} \right\|}_{\rm{F}}}}}{{{{\left\| {{\cal{Y}}_m^t} \right\|}_{\rm{F}}}}}} $$ (34) 其中, $ {\cal{E}}_m^t = {{\cal{X}}_m} - {\cal{Z}}_m^t $, $ {\cal{E}}_m^t, {\cal{Z}}_m^t, {\cal{Y}}_m^t $为第t 次迭代值.
通过简单代数运算, 目标函数(34)进一步推导如下:
$$ \begin{split} \sum\limits_{m = 1}^M {\frac{{{{\left\| {{\cal{E}}_m^t} \right\|}_{\rm{F}}}}}{{{{\left\| {{\cal{Y}}_m^t} \right\|}_{\rm{{\rm{F}}}}}}}} =\;& \sum\limits_{m = 1}^M {\frac{{\left\| {{\cal{E}}_m^t} \right\|_{\rm{F}}^2}}{{{{\left\| {{\cal{Y}}_m^t} \right\|}_{\rm{F}}} \cdot {{\left\| {{\cal{E}}_m^t} \right\|}_{\rm{F}}}}}} =\\& \sum\limits_{m = 1}^M {\frac{{\left\| {{{\cal{X}}_m}} \right\|_{\rm{F}}^2 - \left\| {{\cal{Y}}_m^t} \right\|_{\rm{F}}^2}}{{{{\left\| {{\cal{Y}}_m^t} \right\|}_{\rm{F}}} \cdot {{\left\| {{\cal{E}}_m^t} \right\|}_{\rm{F}}}}}} =\\& \sum\limits_{m = 1}^M {\left( {q_m^t \cdot (\left\| {{{\cal{X}}_m}} \right\|_{\rm{F}}^2 - \left\| {{\cal{Y}}_m^t} \right\|_{\rm{F}}^2)} \right)} =\\& \sum\limits_{m = 1}^M {\left( {q_m^t \cdot \left(\left\| {\boldsymbol{X}_m^{(n)}} \right\|_{\rm{F}}^2 - \left\| {{}_t\boldsymbol{Y}_m^{(n)}} \right\|_{\rm{F}}^2\right)} \right)} \end{split} $$ (35) 其中, $ \boldsymbol{X}_m^{(n)},{}_t\boldsymbol{Y}_m^{(n)} $分别是$ {{\cal{X}}_m},{\cal{Y}}_m^t $的n模展开矩阵, 而$ q_m^t $定义为
$$ q_m^t = \frac{1}{{{{\left\| {{\cal{Y}}_m^t} \right\|}_{\rm{F}}} \cdot {{\left\| {{\cal{E}}_m^t} \right\|}_{\rm{F}}}}} $$ (36) 式(35)中, 未知变量同样包括$ \boldsymbol{U}_t^{(n)} $和$ q_m^t $, 且$ q_m^t $与$ \boldsymbol{U}_t^{(n)} $相互关联. 参考BlockTPCA-F 算法对目标函数的求解过程, 将其分为两步.
步骤 1. 先固定$ {}_tq_m^n $求出$ \boldsymbol{U}_t^{(n)} $, 此时式(35)中第1 项为常数项, 则目标函数(35)变为
$$ \begin{split} &\max \sum\limits_{m = 1}^M \left(_tq_m^n \cdot \left\| {{}_t\boldsymbol{Y}_m^{(n)}} \right\|_{\rm{F}}^2\right) =\\&\qquad \max \sum\limits_{m = 1}^M \left(_tq_m^n \cdot \left\| {\boldsymbol{U}_t^{(n){\rm T}} \cdot \boldsymbol{X}_m^{(n)} \cdot \boldsymbol{U}_{\phi (n)}^t} \right\|_{\rm{F}}^2\right) =\\&\qquad \max \sum\limits_{m = 1}^M {{\rm{tr}}\left(\boldsymbol{U}_t^{(n){\rm T}} \cdot \phi _{(n)}^t \cdot q_m^t \cdot \boldsymbol{U}_t^{(n)}\right)} =\\& \qquad\max {\rm{tr}}\left(\boldsymbol{U}_t^{(n){\rm T}} \cdot \boldsymbol{H}_n^t\right) \\[-10pt]\end{split} $$ (37) 其中, 各符号定义可参考式(10) ~ (14).
对$ \boldsymbol{H}_n^t $进行奇异值分解, 可得到
$$ \boldsymbol{H}_n^t = \boldsymbol{A}_n^t\Sigma _n^t\boldsymbol{B}_n^{t{\rm T}} $$ (38) 同理, 可得到最优解为
$$ \boldsymbol{U}_{t + 1}^{(n)}=\boldsymbol{A}_n^t\boldsymbol{B}_n^{t{\rm T}} $$ (39) 步骤 2. 固定$ \boldsymbol{U}_{t + 1}^{(n)} $来更新$ q_m^{t + 1} $为
$$ q_m^{t + 1} = \frac{1}{{{{\left\| {{\cal{Y}}_m^{t + 1}} \right\|}_{\rm{F}}} \cdot {{\left\| {{\cal{E}}_m^{t + 1}} \right\|}_{\rm{F}}}}} $$ (40) 其中, $ {\cal{E}}_m^{t + 1} = {{\cal{X}}_m} - {\cal{Z}}_m^{t + 1} $.
$ {\cal{Z}}_m^{t + 1} $可以通过式(41)和式(42)更新为
$$ {\cal{Y}}_m^{t + 1} = {{\cal{X}}_m} \times {{}_1\boldsymbol{U}_{t + 1}^{(1){\rm T}}} \times \cdots \times {}_{n}\boldsymbol{U}_{t + 1}^{(n){\rm T}} \times \cdots \times {}_N \boldsymbol{U}_{t+1}^{(N){\rm T}} $$ (41) $$ {\cal{Z}}_m^{t + 1} = {\cal{Y}}_m^{t + 1} \times {}_1\boldsymbol{U}_{t + 1}^{(1){\rm T}} \times \cdots \times {}_{n}\boldsymbol{U}_{t + 1}^{(n){\rm T}} \times \cdots \times {}_N\boldsymbol{U}_{t+1}^{(N){\rm T}} $$ (42) 式(37) ~ (42)循环迭代直至满足收敛条件, 可求得最终$ \boldsymbol{U}_{}^{(n)} $. 以此类推, 依次求得各项投影矩阵$ \boldsymbol{U}_{}^{(1)}, \boldsymbol{U}_{}^{(2)}, \cdots, \boldsymbol{U}_{}^{(N)} $.
为了便于理解BlockTPCA-PF算法的求解过程, 图2为该算法每一步求解投影矩阵后张量维度的变化及数据处理流程. 具体求解过程如算法2所示.
算法 2. BlockTPCA-PF算法
输入. 张量样本序列 $ \boldsymbol{X} = \left\{ {{{\cal{X}}_m},m = 1,2, \cdots ,M} \right\} $, $ {{\cal{X}}_m} \in {{\bf{R}}^{{I_1} \times {I_2} \times \cdots \times {I_N}}} $, 其中数据已中心化处理.
输出. $ {\boldsymbol{U}^{(n)}} \in {\boldsymbol{I}_n} \times {\boldsymbol{J}_n} $.
步骤 1. 初始化: 对于任意的 $ {\boldsymbol{U}^{(n)}} \in {\boldsymbol{I}_n} \times {\boldsymbol{J}_n} $, 满足 $ {\boldsymbol{U}^{(n){\rm T}}}{\boldsymbol{U}^{(n)}} = {\boldsymbol{I}_{{J_n}}} $.
步骤 2. 对于$ n = 1 \to N $, 令$ t = 1 $, 对所有训练样本计算$ q_m^t $.
步骤 3. 计算$ \boldsymbol{H}_n^t = \sum\nolimits_{m = 1}^M {\phi _{(n)}^t \cdot q_m^t \cdot \boldsymbol{U}_t^{(n)}} $.
步骤 4. 由奇异值分解计算矩阵$\boldsymbol{H}_n^t=\boldsymbol{A}_n^t\Sigma _n^t\boldsymbol{B}_n^{t{\rm T}} .$
步骤 5. 求解$\arg \max {\rm{tr}}(\boldsymbol{U}_t^{(n){\rm T}} \cdot \boldsymbol{H}_n^t)$, 更新$ \boldsymbol{U}_{t + 1}^{(n)} $, 计算得到${\boldsymbol{U}}_{t + 1}^{(n)} = \boldsymbol{A}_n^t\boldsymbol{B}_n^{t{\rm T}}$.
步骤 6. 如达到收敛条件后输出当前$ \boldsymbol{U}_t^{(n)} $, 则令$ { n \leftarrow} $ $n + 1$, 否则令 $ t \leftarrow t + 1 $并跳转到步骤2. 直至求出所有最优解.
本文提出的BlockTPCA-PF算法与BlockTPCA-F算法相比, 不仅考虑到投影距离最大化, 还使得其重构误差尽可能小, 实现了投影距离最大与重构误差最小的双目标优化, 对含噪的张量数据具有更强的低维表征能力.
根据张量样本、投影张量和误差张量三者之间的几何关系, 如图3所示. BlockTPCA-PF算法目标函数(33)可认为是三角函数的正切形式, 对其目标函数进行拓展和延伸, 可得到另两种比例形式.
图 3 ${{\cal{X}}_m}$, ${{\cal{Y}}_m}$与${{\cal{E}}_m}$之间的关系Fig. 3 The relation between ${{\cal{X}}_m}$, ${{\cal{Y}}_m}$ and ${{\cal{E}}_m}$第1 种为正弦形式, 将误差张量与张量数据之间的比值作为目标函数, 求解推导过程与上述算法相似.
$$ \min \sum\limits_{m = 1}^M {\frac{{{{\left\| {{{\cal{E}}_m}} \right\|}_{\rm{F}}}}}{{{{\left\| {{{\cal{X}}_m}} \right\|}_{\rm{F}}}}}} $$ (43) 第2 种为余弦形式, 也可将投影张量与张量数据之间的比值作为目标函数, 求解方式同上.
$$ \max \sum\limits_{m = 1}^M {\frac{{{{\left\| {{{\cal{Y}}_m}} \right\|}_{\rm{F}}}}}{{{{\left\| {{{\cal{X}}_m}} \right\|}_{\rm{F}}}}}} $$ (44) 这两种比例形式, 其目标函数仅仅呈现了不同三角函数形式, 求解算法也极为相似, 均能实现投影距离最大与重构误差最小的双目标优化, 能够提高算法对噪声异常值的鲁棒性. 因篇幅所限, 本文不做进一步推导与实验验证.
3. 实验结果分析
为了验证所提算法的有效性和鲁棒性, 选用Aberdeen、GT和AR彩色人脸数据集作为实验样本. 将MPCA、TPCA-L1-G、TPCA-L1-NG、TPCA-F 算法以及本文提出的BlockTPCA-F和BlockTPCA-PF算法进行对比实验与分析. 鲁棒性实验是通过各个算法的平均重构误差来进行判定, 而重构图像实验则可以直观判断各个算法的低维表征效果, 分类率实验则通过各个算法求得的低维特征来判定分类识别情形. 实验软件环境为Windows10、Python 3.7和OpenCV 2.4.10, 采用Intel i5-6300HQ (2.3 GHz) 处理器, 8 GB内存的硬件环境.
本文应用3 个彩色人脸数据集对算法的有效性和实用性进行验证. Georgia Tech (GT)彩色人脸数据集由50人组成, 每人不同面部表情的图像15幅, 共750 幅. 其中包括光照、微表情和人脸旋转角度等变化. Aberdeen (AB)彩色人脸数据集共有687幅图像, 但每个人脸的图像数均不同. 为了保证实验的一致性, 最终选取27个个体, 每人14幅图像, 共378幅图像. 其变化因素与GT数据集相同. 上述两个数据集的图像像素均为$100\times100 $. 考虑到不同程度的噪声对算法性能的影响, 在数据集中随机抽取样本数为20%, 40%, 60%的彩色图像样本加入位置随机、像素大小分别为$ 20\times20$, $40\times40$, $60\times60$的黑白杂点噪声块, 且噪声块并不跨越图像边界. 两个数据集部分图像样本分别加入不同噪声块如图4 和图5所示. 对数据集随机添加不同大小的噪声块, 验证算法在噪声影响下特征提取的准确性, 进而分析在不同程度噪声的影响下各个算法的鲁棒性和分类性能. 为进一步验证本文所提出的算法的普适性, 选取带有真实噪声影响的AR 彩色人脸数据集进行鲁棒性和分类率的相关实验. 本文选取AR彩色人脸数据集中的10名男性和10名女性的各26幅图像, 共520幅图像, 图像像素均为$165\times 120$. 其中包括不同的面部表情、光照条件、太阳镜及围巾遮挡等情形, 部分图像样本如图6所示.
3.1 鲁棒性实验与分析
将上述数据集样本进行中心化, 以平均重构误差(Average reconstruction error, ARCE)为性能指标, 进行鲁棒性实验与对比分析. 在相同主成分个数(Number of principal components, NPC)时, ARCE越小, 则其算法的鲁棒性越优. 定义平均重构误差如下:
$$ \overline{e} = \frac{1}{M}\sum\limits_{m = 1}^M {{{\left\| {{{\cal{E}}_m}} \right\|}_{\rm{F}}}} = \frac{1}{M}\sum\limits_{m = 1}^M {{{\left\| {\boldsymbol{E}_m^{(n)}} \right\|}_{\rm{F}}}} $$ (45) 其中, $ \boldsymbol{E}_m^{(n)} $ 是误差张量$ {{\cal{E}}_m} $的n模展开矩阵.
GT和Aberdeen人脸数据集的ARCE实验结果如图7所示, 而AR人脸数据集的ARCE 实验结果如图8所示, 从中可得出如下结论. 1) 随着NPC增加, 主成分包含的表征信息逐渐增多, 各个算法的ARCE均呈现逐步下降趋势并趋于平稳, 表明其子空间的表征维数对ARCE影响很大. 2) MPCA、TPCA-L1-G、TPCA-L1-NG 和TPCA-F 四种算法对噪声较敏感, 其ARCE性能均弱于本文提出的算法. 本文算法对原始张量数据执行不同的分块处理, 其分块大小为$50\times50\times3 $时, 可获得其最优ARCE性能. 随着NPC增大, BlockTPCA-F 和BlockTPCA-PF 算法对ARCE性能的提升显著, 依然优于TPCA-F 算法, 说明分块处理可以增强算法的低维表征能力, 同时也表明本文提出的两个算法均具有较强的鲁棒性. 3) 基于F 范数平方和基于$L _{1} $范数的张量算法, 其ARCE受噪声的增加而不断增大, 特征表征能力大幅下降. TPCA-F 算法其目标函数未考虑到重构误差的约束, 最终其ARCE未能呈现出明显优势. 4) 与其他算法相比, BlockTPCA-F 和BlockTPCA-PF 算法其ARCE 曲线更为平滑, 表明噪声信息对本文提出的算法影响最小, 具有更强的鲁棒性. 5) BlockTPCA-PF 算法的目标函数同时考虑了投影距离最大与重构误差最小两个优化目标, 因此, 随着噪声块的增大, 该算法与BlockTPCA-F 相比具有更优的鲁棒性能. 6) 在图8中, AR数据集样本大小为$165\times120\times3 $, 分块大小设定为$33\times60\times3 $时, 可获得最优性能. 可以看到, 在具有真实遮挡的ARCE实验中, BlockTPCA-F 和BlockTPCA-PF算法与其他算法相比, 其ARCE性能优势依然明显, 进一步验证上述结论在真实噪声下的适用性.
3.2 图像重构实验与分析
为了验证各个算法的低维表征直观效果, 将各个算法提取的前$ k $个子图像进行叠加, 得到原始图像的近似彩色重构人脸图像, 通过观察图像的清晰度可以直观判定算法的低维表征效果. 从GT 数据集中选用其中一个样本图像进行重构实验. 从图7观察可知, 当NPC为20 时, ARCE趋向稳定, 说明此时特征提取已包含人脸图像中的大部分表征信息. 为此, 本文选取前20阶主成分进行图像重构实验. 各个算法在不同噪声块下前20阶重构图像的实验结果如图9 ~ 11所示.
分析图9 ~ 11可得以下结论. 1) 随着NPC增加, 各个算法的重构图像愈加清晰, 表明其重构图像表征的特征信息也增多, 其重构图像与原始图像之间的差异就越小. 2) 与其他算法相比, TPCA-F 算法其图像重构效果并不明显, 而本文提出的BlockTPCA-F 和BlockTPCA-PF 算法, 同样采用$50\times50\times3 $的分块大小, 其重构图像更为清晰, 具有显著优势, 并且在色彩和细节还原度上明显优于其他算法, 表明本文算法均具有较强的特征表征能力. 3) 随着噪声块的逐步增大, 其他算法受噪声影响较大, 在提取相同NPC的前提下其重构图像清晰度下降明显. 而本文提出的算法受噪声影响很小, 说明本文算法在强噪声干扰下依然具有明显优势, 在张量低维表征领域适应能力更强.
3.3 分类率实验与分析
采用K-最近邻分类(K-nearest neighbor, KNN)算法进行分类率实验, 并选取K = 1时进行分类. 所有实验样本均经过中心化处理, 其中训练样本与测试样本中心化所采用的均值来源于训练样本的均值. 对GT数据集随机抽取7幅作为训练样本, 其余8幅作为测试样本. 在Aberdeen数据集中, 随机抽取7 幅作为训练样本, 其余7幅作为测试样本. 两个数据集加噪方式及分块大小(50 × 50 × 3)均与鲁棒性实验一样. 为了消除噪声块的随机性, 重复加入噪声块5 次, 取平均分类率作为最终结果, 如表1 ~ 3所示. 在AR数据集中, 训练样本和测试样本各13幅, 其分块大小(33 × 60 × 3)也与鲁棒性实验一样. 随机选取20人进行重复实验5次, 其平均分类率如表4所示.
表 1 20%噪声下最优平均分类率Table 1 Optimal average classification rate under 20% noiseNPC MPCA TPCA-$L _{1} $-G TPCA-$L _{1} $-NG TPCA-F BlockTPCA-F BlockTPCA-PF AB 10 0.9048 0.8974 0.9079 0.9153 0.9153 0.9143 20 0.9132 0.9111 0.9132 0.9101 0.9164 0.9175 30 0.9090 0.9069 0.9090 0.9069 0.9090 0.9101 40 0.9058 0.9048 0.9058 0.9026 0.9090 0.9090 50 0.9048 0.9058 0.9058 0.9005 0.9079 0.9058 GT 10 0.6940 0.7020 0.7055 0.7055 0.6900 0.6915 20 0.7015 0.6935 0.6935 0.6950 0.7070 0.7090 30 0.7005 0.6875 0.6880 0.6905 0.7020 0.7035 40 0.6900 0.6860 0.6850 0.6845 0.7010 0.7035 50 0.6855 0.6820 0.6850 0.6840 0.6970 0.7000 表 3 60%噪声下最优平均分类率Table 3 Optimal average classification rate under 60% noiseNPC MPCA TPCA-$L _{1} $-G TPCA-$L _{1} $-NG TPCA-F BlockTPCA-F BlockTPCA-PF AB 10 0.7958 0.7958 0.7937 0.7915 0.8148 0.8116 20 0.7810 0.7810 0.7788 0.7779 0.7926 0.7947 30 0.7810 0.7746 0.7820 0.7757 0.7788 0.7799 40 0.7841 0.7746 0.7767 0.7799 0.7778 0.7799 50 0.7778 0.7757 0.7778 0.7799 0.7757 0.7757 GT 10 0.5354 0.5550 0.5690 0.5700 0.5690 0.5680 20 0.5344 0.5450 0.5665 0.5680 0.5580 0.5580 30 0.5238 0.5455 0.5590 0.5590 0.5510 0.5520 40 0.5101 0.5435 0.5470 0.5470 0.5500 0.5510 50 0.5048 0.5405 0.5450 0.5455 0.5470 0.5485 表 4 AR人脸数据集最优平均分类率Table 4 Optimal average classification rate of AR face datasetNPC MPCA TPCA-$L _{1} $-G TPCA-$L _{1} $-NG TPCA-F BlockTPCA-F BlockTPCA-PF AR 10 0.7692 0.7653 0.7692 0.7731 0.8077 0.8077 20 0.7654 0.7653 0.7654 0.7616 0.8001 0.8001 30 0.7654 0.7615 0.7653 0.7654 0.8039 0.8039 40 0.7654 0.7692 0.7692 0.7654 0.8038 0.8038 50 0.7692 0.7615 0.7654 0.7692 0.8039 0.8039 通过分析可得出如下结论. 1) 从距离度量方式看, 在相同NPC时, 基于$L _{1} $范数的相关算法比基于F 范数平方的MPCA算法分类率高, 表明$L _{1} $范数度量方式具有一定的抗噪能力和分类优势. 在含较小噪声块时, TPCA-F 算法分类性能没有明显优势. 但在含较大噪声块的情况下分类性能明显高于其他算法. 引入分块处理后的BlockTPCA-F和BlockTPCA-PF算法分类优势进一步提升. 2)从NPC个数上看, 在20%和40%低噪声影响下, 本文提出的算法相比于其他算法具有更高的分类性能. 表明基于F范数的分块算法在含噪的特征提取过程中具有更高的准确性, 具有更强的鲁棒性与低维表征能力. 而在60%噪声影响下, 其表征能力有所降低. 这是因为在高噪声的影响下, 其贪婪求解方式易陷入局部最优解, 此时非贪婪求解方式则有优势. 3) 从最优平均分类率看, 在相同噪声条件下, 最优分类率大都是由基于F范数度量的算法实现的. 说明基于F范数的算法明显优于其他算法. 在20%和40%低噪声条件下, 本文算法在F范数基础上对图像先进行分块处理, 使得其分类性能够进一步提升. 表明本文提出的算法在低噪声影响下具有更强的低维表征能力. 而在60%高噪声影响下, 分类优势并不明显, 其原因是在强噪声的干扰下提取的特征并不精确, 进而影响到分类性能. 4) 从不同数据集看, GT数据集包含更多的光照和姿态表情, 其相应分类率普遍低于Aberdeen数据集对应的分类率. 而在AR数据集的实验中, 因其噪声主要来源为现实意义的遮盖噪声, 光照、表情变化以及周围物体环境的遮盖都会影响张量算法特征提取的准确性. 本文提出的基于比例F范数的算法在这3 个数据集下均具有较明显的分类优势, 并且在AR数据集中的实验效果优势更为明显.
表 2 40%噪声下最优平均分类率Table 2 Optimal average classification rate under 40% noiseNPC MPCA TPCA-$L _{1} $-G TPCA-$L _{1} $-NG TPCA-F BlockTPCA-F BlockTPCA-PF AB 10 0.8804 0.8794 0.8847 0.8772 0.8889 0.8889 20 0.8783 0.8772 0.8751 0.8709 0.8889 0.8889 30 0.8624 0.8571 0.8593 0.8635 0.8751 0.8730 40 0.8519 0.8497 0.8508 0.8614 0.8603 0.8571 50 0.8497 0.8476 0.8466 0.8519 0.8529 0.8497 GT 10 0.6243 0.6645 0.6650 0.6630 0.6690 0.6690 20 0.5788 0.6335 0.6300 0.6295 0.6590 0.6590 30 0.5556 0.6115 0.6115 0.6115 0.6455 0.6455 40 0.5471 0.6050 0.6070 0.6070 0.6320 0.6320 50 0.5439 0.6035 0.6070 0.6065 0.6220 0.6220 4. 结束语
本文提出基于F范数和基于比例F范数的分块张量主成分分析算法. 当混入较多噪声数据时, 算法仍然具有较好的鲁棒性和较强的低维表征能力. 基于比例F范数的分块张量主成分分析算法, 将误差张量与投影张量之间的比值作为目标函数. 在追寻投影距离最大的同时确保重构误差尽可能小, 其张量低维表征效果得到了进一步提升. 给出了其贪婪求解算法, 并对收敛性进行了理论证明. 最后选用GT、Aberdeen和含有现实意义噪声的AR 彩色人脸数据集进行了实验验证, 并与MPCA算法、TPCA-L1-G 算法、TPCA-L1-NG算法以及TPCA-F算法进行了对比分析. 结果表明本文提出的算法在平均重构误差、图像重构和分类率等方面均得到了提升, 在张量低维表征领域具有较强的适用性. 后续将围绕鲁棒距离投影分析、目标函数的普适形式、求解方式等方面进一步加以研究, 不断提高张量低维表征的鲁棒性和适用性.
-
图 8 双行黄牌、新能源车牌及黑色车牌注意力图
Fig. 8 Attention maps of double-line and new energy and black plate licenses
表 1 在CCPD上的车牌识别准确率(%)
Table 1 License plate recognition accuracy on CCPD (%)
算法 平均 基础集 明暗集 远近集 旋转集 倾斜集 天气集 挑战集 Li 等[1] 94.4 97.8 94.8 94.5 87.9 92.1 86.8 81.2 Xu 等[27] 95.5 98.5 96.9 94.3 90.8 92.5 87.9 85.1 Wang 等[23] 96.6 98.9 96.1 96.4 91.9 93.7 95.4 83.1 Zou 等[8] 97.8 99.3 98.5 98.6 92.5 94.4 99.3 86.6 Yang 等[4] 97.5 99.1 96.9 95.9 97.1 98.0 97.5 85.9 Qin 等[33] 97.5 99.5 93.3 93.7 98.2 95.9 98.9 92.9 Qiao 等[34] 96.9 99.0 97.1 95.5 95.0 96.5 95.9 83.1 Zhang 等[20] 98.5 99.6 98.8 98.8 96.4 97.6 98.5 88.9 Liu 等[35] 98.74 99.73 99.05 99.23 97.62 98.40 98.89 88.51 GCN 98.79 99.70 99.07 98.96 98.33 98.82 98.66 89.42 CARNet 99.50
(0.02)99.89
(0.01)99.57
(0.08)99.56
(0.04)99.68
(0.04)99.80
(0.01)99.38
(0.06)94.92
(0.09)
下载: 导出CSV
表 2 本文算法有效性评估(%)
Table 2 Evaluation of the effectiveness of the algorithm of this paper (%)
评估指标 算法 平均 基础集 明暗集 远近集 旋转集 倾斜集 天气集 挑战集 $ {R_{LP}} $ GCN 98.79 99.70 99.07 98.96 98.33 98.82 98.66 89.42 (0.10) (0.03) (0.11) (0.11) (0.25) (0.19) (0.13) (0.54) CARNet 99.50 99.89 99.57 99.56 99.68 99.80 99.38 94.92 (0.02) (0.01) (0.08) (0.04) (0.04) (0.01) (0.06) (0.09) $ {R_{Char}} $ GCN 99.74 99.95 99.83 99.79 99.68 99.78 99.77 97.28 (0.02) (0.01) (0.02) (0.01) (0.05) (0.03) (0.02) (0.14) CARNet 99.90 99.98 99.94 99.93 99.95 99.97 99.90 98.89 (0.01) (0.01) (0.01) (0.01) (0.01) (0.01) (0.01) (0.01) $ {R_{C\_Char}} $ GCN 99.72 99.87 99.78 99.78 99.56 99.71 99.70 98.18 (0.02) (0.01) (0.02) (0.01) (0.06) (0.03) (0.06) (0.07) CARNet 99.92 99.99 99.93 99.89 99.95 99.98 99.95 99.13 (0.01) (0.01) (0.02) (0.02) (0.01) (0.01) (0.02) (0.01) $ {R_{W\_Char}} $ GCN 99.74 99.97 99.83 99.80 99.70 99.80 99.78 97.13 (0.02) (0.01) (0.02) (0.01) (0.05) (0.03) (0.01) (0.16) CARNet 99.90 99.98 99.94 99.93 99.95 99.97 99.89 98.85 (0.01) (0.01) (0.01) (0.01) (0.01) (0.01) (0.01) (0.01)
下载: 导出CSV
表 4 在混合品类车牌上的识别准确率
Table 4 Recognition accuracy on mixed types of license plates
车牌类别 数量 (张) GCN[22] (%) CARNet (%) 蓝牌车牌 1050 96.3 99.0 新能源绿牌 1010 41.9 78.5 大型车后牌 660 35.8 62.1 教练车牌 860 44.9 74.8 港澳车牌 1580 53.7 74.9 大型车前牌 980 63.2 75.8
下载: 导出CSV
表 5 各算法速度比较
Table 5 Comparison of algorithm speed
下载: 导出CSV
表 6 低功耗嵌入式硬件测试
Table 6 Low-power embedded device test
算法 硬件平台 推理引擎 耗时 (ms) Qin 等[9] Jetson Nano TensorFlow 68 CARNet Jetson Nano Pytorch 41 CARNet Jetson TX2 Pytorch 30 CARNet Hi3516DV300 NNIE 46
下载: 导出CSV
表 7 特征提取网络消融实验
Table 7 Feature extraction ablation experiment
特征提取 $ {R_{LP}} $(%) 参数量 计算复杂度 (GMacs) Resnet45[25] 99.5 13.94 M 14.66 Xception19 99.5 1.87 M 1.71
下载: 导出CSV
表 8 分类头参数共享消融实验
Table 8 Classification head weight sharing ablation experiment
参数共享 $ {R_{LP}} $(%) 参数量 计算复杂度 (GMacs) 是 99.5 1.87 M 1.71 否 99.4 3.82 M 1.71
下载: 导出CSV
表 9 单字符注意力消融实验
Table 9 Ablation experiments for single-character attention
单字符注意力 $ {R_{LP}} $(%) 参数量 计算复杂度 (GMacs) 有 99.5 1.87 M 1.71 无 99.1 3.04 M 1.02
下载: 导出CSV
-
[1] Li H, Wang P, You M Y, Shen C H. Reading car license plates using deep neural networks. Image and Vision Computing, 2018, 72: 14-23 doi: 10.1016/j.imavis.2018.02.002 [2] Wu C H, Xu S G, Song G C, Zhang S Q. How many labeled license plates are needed. In: Proceedings of the Chinese Conference on Pattern Recognition and Computer Vision. Guangzhou, China: 2018. 334−346 [3] Huang G, Liu Z, Maaten L V, Weinberger K Q. Densely connected convolutional networks. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Honolulu, USA: IEEE, 2017. 2261−2269 [4] Yang Y X, Xi W, Zhu C K, Zhao Y H. HomoNet: Unified license plate detection and recognition in complex scenes. In: Proceedings of the International Conference on Collaborative Computing: Networking, Applications and Worksharing. Shanghai, China: 2020. 268−282 [5] He M X, Hao P. Robust automatic recognition of Chinese license plates in natural scenes. IEEE Access, 2020, 8: 173804-173814 doi: 10.1109/ACCESS.2020.3026181 [6] Lee C Y, Osindero S. Recursive recurrent nets with attention modeling for ocr in the wild. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas, USA: IEEE, 2016. 2231−2239 [7] Cheng Z Z, Bai F, Xu Y L, Zheng G, Pu S L, Zhou S G. Focusing attention: Towards accurate text recognition in natural images. In: Proceedings of the IEEE International Conference on Computer Vision. Venice, Italy: IEEE, 2017. 5086−5094 [8] Zou Y J, Zhang Y J, Yan J, Jiang X X, Huang T J, Fan H S, et al. A robust license plate recognition model based on bi-LSTM. IEEE Access, 2020, 8: 211630-211641 doi: 10.1109/ACCESS.2020.3040238 [9] Qin S X, Liu S J. Efficient and unified license plate recognition via lightweight deep neural network. IET Image Processing, 2020, 14(16): 4102-4109 doi: 10.1049/iet-ipr.2020.1130 [10] Guo J M, Liu Y F. License plate localization and character segmentation with feedback self-learning and hybrid binarization techniques. IEEE Transactions on Vehicular Technology, 2008, 57(3): 1417-1424 doi: 10.1109/TVT.2007.909284 [11] Silva S M, Jung C R. License plate detection and recognition in unconstrained scenarios. In: Proceedings of the European Conference on Computer Vision. Munich, Germany: 2018. 580−596 [12] Gou C, Wang K F, Yao Y J, Li Z X. Vehicle license plate recognition based on extremal regions and restricted boltzmann machines. IEEE Transactions on Intelligent Transportation Systems, 2016, 17(4): 1096-1107 doi: 10.1109/TITS.2015.2496545 [13] Park S H, Yu S B, Kim J, Yoon H. An all-in-one vehicle type and license plate recognition system using yolov4. Sensors, 2022, 22(3): 921-939 doi: 10.3390/s22030921 [14] Wang D, Tian Y M, Geng W H, Zhao L, Gong C. LPR-Net: Recognizing Chinese license plate in complex environments. Pattern Recognition Letters, 2020, 130: 148-156 doi: 10.1016/j.patrec.2018.09.026 [15] Luo C J, Jin L W, Sun Z H. Moran: A multi-object rectified attention network for scene text recognition. Pattern Recognition, 2019, 90: 109-118 doi: 10.1016/j.patcog.2019.01.020 [16] Jaderberg M, Simonyan K, Zisserman A, Kavukcuoglu K. Spatial transformer networks. In: Proceedings of the Annual Conference on Neural Information Processing Systems. Montreal, Can-ada: 2015. 2017−2025 [17] 周晓君, 高媛, 李超杰, 阳春华. 基于多目标优化多任务学习的端到端车牌识别方法. 控制理论与应用, 2021, 38(5): 676−688Zhou Xiao-Jun, Gao Yuan, Li Chao-Jie, Yang Chun-Hua. Multi-objective optimization based multi-task learning for end-to-end car license plates recognition. Control Theory and Applications. 2021, 38(5): 676−688 [18] Li H, Wang P, Shen C H, Zhang G Y. Show, attend and read: A simple and strong baseline for irregular text recognition. In: Proceedings of the 33rd AAAI Conference on Artificial Intelligence. Honolulu, USA: 2019. 8610−8617 [19] Xu H, Guo Z H, Wang D H, Zhou X D, Shi Y. 2D license plate recognition based on automatic perspective rectification. In: Proceedings of the 25th International Conference on Pattern Recognition. Milan, Italy: IEEE, 2021. 202−208 [20] Zhang L J, Wang P, Li H, Li Z, Shen C H. A robust attentional framework for license plate recognition in the wild. IEEE Transactions on Intelligent Transportation Systems, 2021, 22(11): 6967-6976 doi: 10.1109/TITS.2020.3000072 [21] Hu W Y, Cai X C, Hou J, Yi S, Lin Z P. GTC: Guided training of ctc towards efficient and accurate scene text recognition. In: Proceedings of the 34th AAAI Conference on Artificial Intelligence. New York, USA: 2020. 11005−11012 [22] Yan R J, Peng L R, Xiao S Y, Yao G. Primitive representation learning for scene text recognition. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Nashville, USA: IEEE, 2021. 284−293 [23] Wang T W, Zhu Y Z, Jin L W, Luo C J, Chen X X, Wu Y Q, et al. Decoupled attention network for text recognition. In: Proceedings of the 34th AAAI Conference on Artificial Intelligence. New York, USA: AAAI, 2020. 12216−12224 [24] Chollet F. Xception: Deep learning with depthwise separable convolutions. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Honolulu, USA: IEEE, 2017. 1251−1258 [25] Shi B G, Yang M K, Wang X G, Lyu P Y, Yao C, Bai X. Aster: An attentional scene text recognizer with flexible rectification. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2018, 41(9): 2035-2048 [26] Ronneberger O, Fischer P, Brox T. U-net: Convolutional networks for biomedical image segmentation. In: Proceedings of the International Conference on Medical Image Computing and Computer-assisted Intervention. Munich, Germany: 2015. 234− 241 [27] Xu Z B, Yang W, Meng A J, Lu N X, Huang H, Ying C C, et al. Towards end-to-end license plate detection and recognition: A large dataset and baseline. In: Proceedings of the European Conference on Computer Vision. Munich, Germany: 2018. 255− 271 [28] Zhao Y T, Yu Z, Li X Y. Evaluation methodology for license plate recognition systems and experimental results. IET Intelligent Transport Systems, 2018, 12(5): 375-385 doi: 10.1049/iet-its.2017.0138 [29] Sun M, Zhou F, Yang C, Yin X C. Image generation framework for unbalanced license plate data Set. In: Proceedings of the International Conference on Data Mining Workshops. Beijing, China: IEEE, 2019. 883−889 [30] Han B G, Lee J T, Lim K T, Choi D H. License plate image generation using generative adversarial networks for end-to-end license plate character recognition from a small set of real images. Applied Sciences, 2020, 10(8): 2780-2796 doi: 10.3390/app10082780 [31] Sun Y F, Liu Q, Chen S L, Zhou F, Yin X C. Robust Chinese license plate generation via foreground text and background separation. In: Proceedings of the 11th International Conference on Image and Graphics. Haikou, China: 2021. 290−302 [32] Goodfellow I J, Pouget-Abadie J, Mirza M, Xu B. Generative adversarial nets. In: Proceedings of the Advances in Neural Information Processing Systems. Montreal, Canada: 2014. 2672− 1680 [33] Qin S X, Liu S J. Towards end-to-end car license plate location and recognition in unconstrained scenarios. Neural Computing and Applications, to be published [34] Qiao L, Chen Y, Cheng Z Z, Xu Y L, Niu Y, Pu S L, et al. Mango: A mask attention guided one-stage scene text spotter. In: Proceedings of the 35th AAAI Conference on Artificial Intelligence. Virtual Event: 2021. 2467−2476 [35] Liu Q, Chen S L, Li Z J, Yang C, Chen F, Yin X C. Fast recognition for multidirectional and multi-type license plates with 2D spatial attention. In: Proceedings of the 16th International Conference on Document Analysis and Recognition. Lausanne, Swi-tzerland: 2021. 125−139 期刊类型引用(8)
1. 赵南南，高翡晨. 基于改进YOLOv8的交通场景实例分割算法. 计算机工程. 2025(01): 198-207 . 
百度学术2. 陈冠宇，尚雅层. 基于YOLOv7-Tiny的车牌及放大号检测研究. 价值工程. 2024(07): 104-106 . 百度学术3. 向万里，王力东，孟学雷，杜文举，杨霄煜. 一种识别倾斜混合颜色车牌的轻量级模型. 北京邮电大学学报. 2024(05): 92-98 . 百度学术4. 王骥，黄远甲，方炜，谢文武，熊文昌，李兴旺. 基于二维空间遍历长短时记忆网络的端到端车牌识别方法. 计算机应用. 2024(S2): 257-261 . 百度学术5. 周逸云，万新军，胡伏原，陈昊. 基于联合注意与特征关联的实例分割算法. 计算机工程. 2023(06): 217-226 . 百度学术6. 徐胜军，杜淼，段中兴，李明海，韩九强. 多尺度区域注意力InfoGAN车牌识别网络. 西安交通大学学报. 2023(08): 206-218 . 百度学术7. 周恺，赵向军. 基于激光图像增强的车牌模糊边缘检测方法. 激光杂志. 2023(08): 88-93 . 百度学术8. 王峰，唐志瑞，邹俊逸，王海波，邢广兴. 融合GP-NAS改进的端到端车牌识别算法. 重庆理工大学学报(自然科学). 2023(10): 38-46 . 百度学术其他类型引用(8)
-
下载:
计量
- 文章访问数: 990
- HTML全文浏览量: 316
- PDF下载量: 269
- 被引次数: 16
