-
摘要: 近来, 稀疏表示分类算法已经在模式识别和特征提取领域获得了广泛的关注. 受最近提出的稀疏表示判别投影算法启发, 本文提出了一种新的特征加权组稀疏判别投影算法(Feature weighted group sparse classification steered discriminative projection, FWGSDP). 首先, 提出特征加权组稀疏分类算法(Feature weighted group sparsebased classification, FWGSC)进行稀疏系数编码, 该算法采用带特征加权约束的保局性信息, 能够鲁棒地重构给定的输入数据; 其次, 通过类内重构散度最小、类间重构散度最大为目标计算最优投影判别矩阵, 使得输入数据具有最佳的模式分类效果; 最后, 提出迭代重约束稀疏编码方法并结合特征分解操作进行FWGSDP模型高效求解. 在ExYaleB, PIE和AR三个人脸数据库的实验验证了所提算法在普通数据和带噪数据中的分类效果都优于现存的算法.Abstract: Recently, sparse representation classification (SRC) has attracted more and more attention in pattern recognition and feature extraction. Motivated by the recent developed SRC steered discriminative projection algorithm, a new feature weighted group sparse discriminative projection algorithm (FWGSDP) is proposed in this paper. First, sparse coefficients are produced by a new proposed feature weighted group sparse representation classification algorithm (FWGSC), which can robustly regress a given signal with regularized regression coefficients by introducing the feature weighted locality structure of the data. Second, FWGSDP maximizes the subtraction of inter-class reconstruction residual and intra-class reconstruction residual, and thus enables data-in to achieve better separation. Finally, a sequentially iteratively re-restrained sparse coding and eigen-decomposition strategy is developed to solve the FWGSDP model efficiently. Experimental results on the ExYaleB, the PIE, and the AR database demonstrate that the proposed algorithm is more effective than other feature extraction methods.
-
Key words:
- Sparse representation /
- locality-constraint /
- group sparse /
- discriminative projection
-
近十年,压缩感知和稀疏表示技术已成为模式识别和机器视觉领域最热门的研究方向之一.在大数据应用快速发展的今天,样本的高维性和冗余性已成为困扰研究者的关键科学难题.大量相关的探索性算法正在不断涌现.2009年,Wright等提出的基于稀疏表示的分类器(Sparse representation based classifier,SRC)[1]成功应用于计算机视觉领域,面对高维以及变化丰富的图像数据,SRC算法采用全体训练样本作为超完备字典,以最小化l1范数为目标求解测试样本在完备字典上的稀疏表示系数矢量,然后通过各类稀疏系数矢量重构测试样本并求解其误差,根据重构误差的大小对测试样本进行分类.以SRC为基础,Xu等[2]和He等[3]分别提出两阶段操作策略进行鲁棒的大数据量识别.Yang等[4]则提出结合稀疏表示与Fisher判别思想进行字典信息更新.上述SRC型算法通过稀疏性质的引入,最大程度地保留了测试样本的全局信息,在人脸识别[5-6]、信号去噪[7]、时间序列分类[8]等应用中获得了广泛的关注.然而,Zhang等[9-10]通过理论分析和实验验证表明SRC型算法的成功并非源自于其稀疏特性,而是通过样本间的协作关系获得优秀的分类性能,并提出了协作表示分类器(Collaborative representation classifier,CRC),以l2范数替换l1范数,在不降低识别率的前提下获得了运行效率的大幅度提升.
SRC和CRC算法在依据全体训练数据作为测试字典进行查询分类的过程中忽视了样本的类别标签信息,其判别性能有待进一步提升.针对此问题,Majumdar等[11]在SRC和CRC的基础上提出了组稀疏分类算法(Group sparse classification,GSC),将训练样本根据类别信息进行分组,假设测试样本由多个子空间组合近似表示的情况下,GSC以最小化l12组合范数为目标选择最少的子空间组数表达测试样本.类似地,Elhamifar等[12]提出了基于结构化稀疏表达的人脸识别算法,其核心思想是从超完备字典中寻找最少组数来表达测试样本数据.GSC的识别性能优于常规的SRC和CRC算法,鉴于此优势,已有大量基于组稀疏表示的改进型和应用型算法不断涌现[13-15].
GSC、SRC和CRC等算法都通过正则项范数的调整进行系数计算,以全局样本表示的方式实现待测数据判定,但没有添加局部特性约束.基于此,Lu等[16]和Timofte等[17-18]分别将测试样本和训练数据间的欧氏距离以权值形式添加至l1与l2范数约束上,提出加权稀疏表示分类器(Weighted sparse representation based classification,WSRC)和加权协作表示分类器(Weighted collaborative representation based classification,WCRC).类似地,Chao等[19]提出一种添加局部约束的组稀疏算法(Locality-constrained group sparse representation,LGSR),通过结合组稀疏惩罚项和数据局部约束,增加算法局部特性.然而,局部约束破坏了组稀疏结构,意味着组间差异效果的缺失.因此,Tang等[20]通过重构因素和局部约束联合加权的形式提出了加权组稀疏分类器(Weighted group sparse classifier,WGSC),获得了更好的结构化信息和鉴别效果.上述加权算法都通过样本的整体特征进行权值系数计算,Yang等[21]则从样本特征的概率分布形式出发,对不同的特征添加贡献度因子,提出正则化鲁棒编码算法(Regularized robust coding,RRC),具有更高的抗噪能力,却丢失了样本的局部分布特性引导.
稀疏表示型算法在模式分类中获得了广泛的应用,但是在面向高维输入数据时,其运行过程存在计算量过大的问题.维数约减(包括特征提取和特征选择)[22-25]成为其关键的预处理步骤.典型的降维技术包括主成分分析法(Principal component analysis,PCA)[22]和线性判别分析法(Linear discriminative analysis,LDA)[23]以及各自的改进版本[26-27],两者都从全局散度出发,分别通过无监督和有监督的形式构建投影目标函数.对应地,He等[28]提出局部保持投影算法(Locality preserving projection,LPP),从样本局部结构出发,引入明确的变换矩阵,以近邻关系保持为准则构建目标函数,挖掘数据的本质子流形.此外,局部Fisher判别分析(Local Fisher discriminant analysis,LFDA)[29]则兼顾了LPP和LDA的优势,在LDA的散度矩阵中添加局部特性,不仅增加了LDA算法的效果,而且弥补了LDA的类内散度矩阵秩约束缺陷.
上述经典维数约减算法可以归结至图嵌入框架[30],其关键步骤是输入样本的几何邻域构建,常见方法包括k近邻选择和ε半径选择,算法性能受参数k和ε的干扰较大.鉴于SRC型算法具有优越的编码能力和重构特性,Qiao等[31]和Cheng等[32]分别开发了稀疏保持投影算法(Sparsity preserving projections,SPP)用于维数约减,SPP采用SRC算法构建自适应的邻域表示系数,免除了参数调整对算法性能的影响困扰.受SPP的启发,部分研究者将稀疏系数保持思想引入到经典LPP[33]和LFDA[34],提出了兼顾保局性和稀疏性的降维投影算法.此外,Ly等[35]结合SPP与无向有权图思想,并引入类别标签,提出了有监督的稀疏图判别分析算法,具有更好的鉴别性能.Yang等[36]和Lu等[37]分别提出了稀疏判别投影分类算法(Sparse representation classifier steered discriminative projection,SRCDP)和基于最佳投影的稀疏表示分类器,以同类重构散度最小、异类重构散度最大为目标函数,在保留SRC分类规则的基础上进行降维,获得了理想的识别效果.受l1范数和迭代操作影响,SRCDP算法的计算耗时较大,近邻图构建效率低下.鉴于此,常见的解决方法是采用l2范数[38-39]或者最小二乘法[40]替换l1图构建,以识别率降低为代价提升降维效率.
受SRCDP和WGSC等算法的启发,本文提出特征加权组稀疏判别投影分析算法(Feature weighted group sparse classification steered discriminative projection,FWGSDP).首先,针对WGSC和RRC存在的问题,提出特征加权组稀疏分类器(Feature weighted group sparsebased classification,FWGSC),结合各类重构冗余以及样本距离测度逼近样本分布结构,并兼顾特征加权因子进行奇异点剔除,从样本和特征两方面减少重构表示误差;其次,以FWGSC为基础进行编码系数求解,并计算特征加权约束的类内重构散度矩阵和类间重构散度矩阵;最后,依据类Fisher准则构建目标函数获得最优投影矩阵,提升模式分类性能.
本文后续内容结构安排如下:第1节描述了相关工作,包括SRC、GSC、WGSC和SRCDP.第2节给出了特征加权组稀疏分类器的算法思想和求解策略.第3节在FWGSC的基础上进行了邻域构建,并通过散度约束目标函数进行投影矩阵计算,描述了完整的FWGSDP算法.第4节分别通过有遮挡和无遮挡的人脸识别环境验证了FWGSC和FWGSDP的性能.最后第5节为全文总结.
1. 相关工作
本节主要回顾以SRC为基础的相关稀疏表示型分类及投影算法,在此之前,给出所需的数学符号定义.设存在c类目标数据,训练样本表示为 $ X=[X_{1},\cdots,X_{c}]\in {\bf R}^{m\times n}$ ,其中 ${X_i}=[{x_{i1}},{\rm{ }}{x_{i2}},\cdots,{x_{i{n_i}}}] \in {{\bf{R}}^{m \times {n_i}}}$ 是第i类数据的训练样本子集, $\pmb x_{ij}\in{\bf R}^m$ 表示第i类目标的第j个样本,ni为第i类训练样本数,即 $\sum\nolimits_{i=1}^c n_i=n$ 为训练样本总数, $y \in {{\bf{R}}^m}$ 为测试样本.
1.1 稀疏表示分类器
稀疏表示法具有明确的可解释性,其基本思想是假设各类输入样本具有过完备性[1],则第i类测试样本y可通过该类训练样本进行稀疏线性表示:
$ \begin{align} \pmb y=\pmb x_{i1}\pmb \theta_{i1}+\pmb x_{i2}\pmb\theta_{i2}+ \cdots+\pmb x_{in_{i}}\pmb\theta_{in_{i}}=X_{i}\pmb\theta_{i} \end{align} $
(1) 其中, $\pmb\theta_{i}=[\pmb\theta_{i1};\pmb\theta_{i2};\cdots;\pmb\theta_{in_{i}}]\in {\bf R}^n_i$ 是Xi对应的稀疏编码系数(分号分隔符表明元素依列展开).由于测试样本y的所属类别i是未知的.因此,SRC采用完整输入数据作为表示样本,即y由X表示为
$ \begin{align} \pmb y=X_1\pmb\theta_1+X_1\pmb\theta_2+\cdots+X_{c}\pmb\theta_{c}= X \pmb\theta \end{align} $
(2) 依据基本思想假设,式(2)中除第i类元素外,系数矢量 $\pmb\theta \in {\bf R}^n$ 余下的元素都为0[1].因此,计算矢量θ的过程是一个稀疏逼近的过程,通过最小化重构误差以及l1范数标准化求解,即
$ \mathop {\min }\limits_{_\theta } \left\| {y - X{\rm{ }}\theta } \right\|_2^2+\lambda {\left\| \theta \right\|_1} $
(3) 其中,参数λ用于平衡重构误差和系数值之间的贡献度.得到系数θ后,计算测试样本由各类样本重构的冗余值,并将y归类为最小重构值的类别标签,即
$ k=\arg \mathop {\min }\limits_{_i} {\left\| {y - X{\delta _i}(\theta)} \right\|_2},\quad i=1,\cdots,c $
(4) 其中, $\delta_i(\pmb\theta)$ 是一个选择算子,表示将θ中除第i类外元素设为0值的矢量.
1.2 组稀疏分类器
针对模式分类问题,SRC的一个主要缺点是在求解l1范数最小化的过程中忽略了对训练样本类别标签的考虑.因此,在面向复杂高维输入样本时(完备性缺失),SRC很有可能存在通过异类数据表示测试样本的情形,影响其分类效果.组稀疏分类器尝试从类组级别构建稀疏系数θ,意味着通过GSC所计算得到的系数θ中,部分数据类组所对应的系数值全为0,而特定的类组系数则为非0值[11].GSC采用l12组合范数进行目标系数计算,即
$ \mathop {\min }\limits_\theta \sum\limits_{i=1}^c {{{\left\| {{\theta _i}} \right\|}_2}} \quad {\rm{s}}.{\rm{t}}.\quad y=X\theta $
(5) 式(5)等价于最小化重构误差及l12组合范数标准化的解
$ \mathop {\min }\limits_\theta \left\| {y - X\theta } \right\|_2^2+\lambda \sum\limits_{i=1}^c {{{\left\| {{\theta _i}} \right\|}_2}} $
(6) 与SRC算法相比,GSC利用训练样本的类别信息增强组稀疏性.从式(6)中可以看出测试样本y被尽可能少的训练样本类重构,具有明确的类别指示性.
1.3 加权组稀疏分类算法
受到局部结构和组稀疏思想的启发,Tang等[20]提出加权组稀疏分类算法WGSC.WGSC保持数据局部性的同时结合组稀疏优势,目标是找到一个更优的稀疏表示策略.对于任意测试样本y,WGSC通过距离加权d和重构冗余加权r的形式将其表示为训练样本按类线性组合,即
$ \mathop {\min }\limits_{_\theta } \left\| {y - X} \right\|\theta _2^2+\lambda \sum\limits_{i=1}^c {{r_i}} {\left\| {{d_i} \odot {\rm{ }}{\theta _i}} \right\|_2} $
(7) 其中, $\odot $ 代表矢量di和θi依元素相乘.从式(7)可见,WGSC采用r评估各类样本表示测试数据的重要程度,其计算形式为
$ {r_i}=\left\| {y - {X_i}\theta _i^*} \right\|_2^2,\theta _i^*=\arg \min \left\| {y - {X_i}{\theta _i}} \right\|_2^2{\rm{ }} $
(8) 其中,ri是y到单类重构子空间的距离,表示y由xi表示的准确度.为规范化ri取值,其最终定义为 $r_i=\exp((r_i-r_{\min})/\sigma _1)$ ,其中 $r_{\min}=\min\{r_1,r_2,\cdots,r_c\},\sigma _1$ 是带宽参数,用于调整重构权值ri的衰减速度.此外,为避免选择远距离训练数据成为表示样本,WGSC在式(7)中集成了局部距离约束 $\pmb d_i=[d_{i1};d_{i2};\cdots;d_{in_i}]$ ,其元素定义为 $d_{ik}=\exp(\|\pmb y-\pmb x_{ik}\|_2^2/\sigma _2)$ ,σ2的意义与σ1一致.同GSC算法相比,WGSC不仅考虑了训练数据的组结构特性,而且兼顾数据局部分布状态以及测试样本和训练数据间的相似度因子,包含了更多的鉴别性信息.
1.4 稀疏判别投影分类算法
除忽略类别标签引导的缺陷外,SRC型算法的另一个劣势是计算复杂度高.此外,获取稀疏性的潜在条件是过完备训练字典,即输入样本的维数 m<<个数n.然而,现实应用数据的维度一般都很高.因此,SRC的实现过程往往伴随着维数约简过程,稀疏判别投影分类算法SRCDP[36]是最近提出的一个稀疏表示型降维算法代表.
定义矩阵 $P \in {\bf R}^{m\times d}$ 是输入特征至降维子空间的线性投影变换,即任意数据xij从m维原空间通过 $\pmb z_{ij}=P^{\rm T }\pmb x_{ij}$ 映射到d维子空间.同理,将整个训练集投影到子空间表示为 $Z=P^{\rm T}X$ .SRCDP的基本思想是要求降维后的子空间样本不仅能够提升测试效率,且子空间的样本更适于SRC分类任务.基于此目标,定义 $\pmb v_{ij}^s=Z\delta_s(\pmb\theta_{ij})$ 为子空间数据zij由第s类系数重构而成的矢量,zij和第s类的距离(或称为重构冗余)则为 ${d_s}({z_{ij}})=\left\| {{z_{ij}} - v_{ij}^s} \right\|$ .在此基础上,SRCDP引入与LDA类似的类内散度矩阵Bw和类间散度矩阵Bb.
$ {B_w}=\frac{1}{n}\sum\limits_{ij} {({z_{ij}} - v_{ij}^i)} {({z_{ij}} - v_{ij}^i)^{\rm{T}}}{\rm{ }} $
(9) $ {B_b}=\frac{1}{{n(c - 1)}}\sum\limits_{ij} {\sum\limits_{s \ne i} {({z_{ij}} - v_{ij}^s)} } {({z_{ij}} - v_{ij}^s)^{\rm{T}}}{\rm{ }} $
(10) 将 $\pmb z_{ij}=P^{\rm T}\pmb x_{ij},Z=P^{\rm T}X$ 以及 $\pmb v_{ij}^i=Z\delta_i(\pmb\theta_{ij})$ , $\pmb v_{ij}^s=Z \delta_s(\pmb\theta _{ij})$ 代入式(9)和式(10)中,则有
$ \begin{array}{l} {B_w}=\frac{1}{n}\sum\limits_{ij} {\left[{{P^{\rm{T}}}{x_{ij}} - {P^{\rm{T}}}X{\delta _i}\left({{\theta _{ij}}} \right)} \right]} {\rm{ \times }}\\ \;\;\;\;\;\;\;\;\;{\left[{{P^{\rm{T}}}{x_{ij}} - {P^{\rm{T}}}X{\delta _i}\left({{\theta _{ij}}} \right)} \right]^{\rm{T}}} \end{array} $
(11) $ \begin{array}{l} {B_{\rm{b}}}=\frac{1}{{n(c - 1)}}\left[{{P^{\rm{T}}}{x_{ij}} - {P^{\rm{T}}}X{\delta _i}\left({{\theta _{ij}}} \right)} \right]{\rm{ \times }}\\ \;\;\;\;\;\;\;\;\;{\left[{{P^{\rm{T}}}{x_{ij}} - {P^{\rm{T}}}X{\delta _i}\left({{\theta _{ij}}} \right)} \right]^{\rm{T}}} \end{array} $
(12) 最终,为实现最优的SRC分类,以类内散度最小、类间散度最大为准则构建目标函数为
$ J(P)=\max \frac{{{\rm{tr}}({B_b})}}{{{\rm{tr}}({B_w})}} $
(13) 依据上述构建过程可知,SRCDP的重构系数θij由子空间数据Z计算得到,而Z需要通过投影矩阵p计算得到.因此,SRCDP的求解过程需要迭代更新投影矩阵p和稀疏编码系数θij,其收敛性并不明确,且时间开销较大.
2. 特征加权组稀疏分类算法
有效的稀疏系数编码是表示型投影分析算法的核心步骤.因此,本节针对现有表示型分类算法所存在的问题提出一种新的特征加权组稀疏分类算法FWGSC.在实际模式识别应用中,训练样本往往具有复杂的分布结构或者存在污损及遮挡情形,不同的样本特征贡献度各异.因此,稀疏表示型算法的关键问题描述为:选择哪些训练样本以及哪部分样本特征用于精确的重构测试样本.SRC和CRC分别利用l1和l2范数求解稀疏系数θ,但是缺乏明确的类别标签指示.GSC利用训练数据类别信息增加鉴别力,但是其相同类别的训练样本在稀疏表示的过程中同步选择和舍弃,会造成信息的丢失.WSRC和WGSC算法通过数据间的欧氏距离引导同类近邻样本精确表示测试数据,但是缺乏特征优选方案.RRC和松弛协作表示算法[41]对不同的特征进行分部加权,有效地缓解了噪声污染下的目标识别问题,但是并没有考虑输入数据的局部结构信息.基于此,本节所提的FWGSC算法兼顾了稀疏性、标签信息、特征贡献因素以及局部结构信息,目标是在使用训练样本字典集表示测试样本的过程中,摒除样本中的无效特征分量,使选择的训练样本不仅是与测试样本邻近的样本数据,还包括与测试样本强关联的样本特征.
2.1 FWGSC算法描述
组稀疏表示分类算法GSC已经验证为较SRC和CRC具有更佳的鉴别能力[12,42].WGSC进一步在GSC的基础上添加了样本加权约束,使得算法兼顾稀疏性、监督性和保局性.然而,WGSC并没有考虑样本不同特征的影响因子.本节以WGSC为基础,假设测试样本 $y \in {{\bf{R}}^m}$ 中的不同特征具有不同的贡献度,以s表示特征加权矢量,其中 $s_i\in[0,1)$ ,i=1,…,m,所构建的目标函数为
$ \mathop {\min }\limits_{_\theta } \left\| {s \odot(X\theta - y)} \right\|_2^2+\lambda \sum\limits_{i=1}^c {r_i^s} {\left\| {d_i^s \odot {\theta _i}} \right\|_2}{\rm{ }} $
(14) 其中,第1部分 $\|\pmb s\odot(X\pmb\theta-\pmb y)\|_2^2$ 是重构误差,第2部分则是系数θ的加权 $l_{12}$ 混合范数正则化项,两者都包含特征加权约束.式(14)中 $r_i^s$ 表示带特征约束的类组权值,用于评估各类在表示测试样本时的相对重要性,借鉴线性回归分类算法(Linear regression classifier,LRC)[43]思想,其形式为
$ \begin{array}{*{20}{l}} {r_i^s=}&{{{\left\| {s \odot({X_i}\theta _i^* - y)} \right\|}_2}}\\ {\theta _i^*=}&{\arg \mathop {\min }\limits_{_{{\theta _i}}} \left\| {s \odot({X_i}{\theta _i} - y)} \right\|_2^2{\rm{ }}} \end{array} $
(15) $r_i^s$ 值越大,说明第i类数据无法精确的重构测试样本,则第i类系数θi趋向于收缩至0值.为避免选择相距较远的训练数据来表示测试样本,需要在 $l_{12}$ 范数中增加局部约束,式(14)采用 $\pmb d_i^s=[d_{i1}^s;d_{i2}^s;\cdots$ ; $d_{in_i}^s]$ 惩罚测试样本与第i类训练数据的距离值,其定义为
$ d_{ik}^s=s \odot {\left\| {{x_{ik}} - y} \right\|_2} $
(16) 此外,由于特征约束矢量s的引入,FWGSC对每个特征点进行了加权.设 $\pmb e=\pmb y-X\pmb\theta $ 是测试样本y的重构冗余,则 $e_i=y_i-r_i\pmb\theta$ 是第i个特征点的重构冗余,i=1,…,m,其中ri表示X中第i行.当测试样本中第i个特征点受到噪声污损时,通过特征权值si削弱甚至剔除该点的重构贡献(同样的思想亦存在于di和ri).因此,为精确表示测试样本,FWGSC不仅兼顾了WGSC和RRC算法的优势,而且将特征加权思想融入了距离、重构计算过程中,其解具有更丰富的鉴别信息.为简化算法描述,定义 $\pmb\eta_i=[\eta_{i1};\eta_{i2};\cdots;\eta_{in_i}]$ ,i=1,2,…,c,其中 $\eta_{ik}=r_i^sd_{ik}^s,k=1,2,\cdots,n_i$ .最优化目标函数式(14)改写为
$ \mathop {\min }\limits_{_\theta } \left\| {s \odot(X\theta - y)} \right\|_2^2+\lambda \sum\limits_{i=1}^c {\left\| {{\eta _i} \odot {\theta _i}_2} \right\|} {\rm{ }} $
(17) ηi是测试样本与第i类数据之间的距离矢量.很明显,ηi不同于WSRC、WCRC和WGSC中的加权形式,包含了更多的数据分布信息和噪声信息.
通过最优化式(17),所得的系数 $\pmb\theta ^*$ 能够精确表示测试样本,可用于后续FWGSDP算法计算重构散度.此外,与SRC类似,FWGSC是一个高效分类器,其判别规则为
$ k=\arg \min {\left\| {_is \odot(y - X{\delta _i}({\theta ^*}))} \right\|_2}{\rm{ }} $
(18) 即在特征权值s的引导下,选择重构误差最小的类为测试样本y的归属模式.
2.2 特征权值矢量s
假设所采集的训练数据是无损的普通样本,而测试数据y是不确定的.以人脸识别为例,训练样本是无遮挡无坏点的图像集,测试样本则形式多样,可以包含墨镜、围巾等穿戴物,也可能是图像损坏带来的高斯噪声等.由于常规特征元素可以通过训练样本正确表示.因此,奇异特征点(遮挡、带噪)所对应的重构冗余ei具有更高值,需要将其对应的si赋较小的值(最小为0).相反,低重构冗余值ei所对应的矢量元素是常规特征点,其对应的si权值应该较大(接近于1).换言之,目标函数式(17)中的s本质上反映了样本特征的重构冗余状态描述.
从式(17)第1部分 $\|\pmb s\odot(X\pmb\theta-\pmb y)\|_2^2$ 可以看出,当si=1(s中所有元素为1)时,对应于l2范数,即假设冗余状态呈高斯分布[1];当 ${s_i}={(1/\left\| {{e_i}} \right\|)^{1/2}}$ 时,对应于l1范数,即假设冗余状态呈拉普拉斯分布[1];此外,还可以选择更为丰富的权值函数形式,当 $s_i=\exp(-e_i^2/2\sigma^2)$ 时,冗余状态呈高斯核逼近分布[5];当 $s_i=1/(1+1/(\exp(-\mu e_i^2+\mu\sigma)))$ 时,冗余状态呈logistic逼近分布[22].图 1所示为上述四种si函数的示意图.
从图 1可见,l2范数逼近对所有的特征点并无差别,忽略了奇异点扰动和噪声影响等因素;l1范数逼近赋更高的权值于小冗余特征,符合抗噪本质,然而,当冗余值逼近于0时,其权值趋向于无穷,为算法运行带来了不稳定性;高斯核逼近函数和logistic权值函数的取值范围为[0,1],符合权值约束要求,其中logistic函数对规范特征(冗余值较小的特征)赋更高的值而对奇异点(冗余值较大的特征)赋更小的值,更符合抗噪保真的本质.因此,本文选用logistic作为权值矢量s的特征约束函数.
2.3 FWGSC优化求解与分析
FWGSC算法兼顾样本和特征加权约束,且其特征权值si会进一步影响样本权值.因此,常规的稀疏型求解算法,如梯度投影法SLEP[44]、同伦分析法[45]、近端梯度法[46]等,都不能直接应用于求解FWGSC的最优系数θ.针对此问题,本节提出迭代重约束方法进行模型求解.为方便微分计算,首先引入矩阵 $ S={\rm diag}\{s_1,s_2,\cdots,s_m\}\in {\bf R}^{m\times m},\Pi={\rm diag}\{\pmb\eta _1,\pmb\eta _2,\cdots,\pmb\eta _c\}\in {\bf R}^{n\times n}$ ,同时定义 $\sum_{i=1}^c\|\pmb\eta _i\odot \pmb\theta_i\|$ 简写为 $\|\Pi\pmb\theta\|$ ,将特征加权组稀疏的目标模型表示为
$ \mathop {\min }\limits_{_\theta } \left\| {S(X\theta - y)} \right\|_2^2+\lambda \left\| {\Pi \theta } \right\| $
(19) 将式(19)依θ求矢量微分并设为0,得
$ \begin{align} X^{\rm T}S^{\rm T}SX\theta-X^{\rm T}S^{\rm T}S y+\lambda\Pi^{\rm T}D\Pi\theta=0 \end{align} $
(20) 其中,D是块对角矩阵
$ \left[{\begin{array}{*{20}{c}} {\frac{1}{{{{\left\| {{\eta _1} \odot {\theta _1}} \right\|}_2}}}{I_{{n_1}}}}&0&\cdots &0\\ 0&0&\cdots &0\\ \vdots &\vdots &\ddots &\vdots \\ 0&0&\cdots &{\frac{1}{{{{\left\| {{\eta _c} \odot {\theta _c}} \right\|}_2}}}{I_{{n_c}}}} \end{array}} \right] $
则可得
$ \begin{align} \pmb\theta=(X^{\rm T}S^{\rm T}SX+\lambda\Pi^{\rm T}D\Pi)^{-1}X^{\rm T}S^{\rm T}S\pmb y \end{align} $
(21) 其中,D的取值依赖于系数θ,且样本权值对角矩阵 $\Pi $ 的计算依赖于特征权值矢量s,因此所提的迭代重约束求解策略细节如算法1所示.
算法1.迭代重约束稀疏表示构建算法
输入.训练样本X,测试样本y,平衡参数λ,初始化系数 $\pmb\theta^{(1)}$ .
输出.最优化系数 $\pmb\theta^*$ 和最终特征加权系数s.
步骤1.设迭代数t=1,计算冗余矢量 $\pmb e^{(t)}=\pmb y-X\pmb\theta^{(t)}$ .
步骤2.按照logistic函数获得特征权值矢量s,并计算 $\pmb\eta_i=[\eta_{i1};\eta_{i2};\cdots;\eta_{in_i}]$ ,其中 $\eta_{ik}=r_i^sd_{ik}^s$ .
步骤3.构建特征加权矩阵S、样本加权矩阵 $\Pi$ 以及块对角矩阵D.
步骤4.依式(21)求解 $\pmb\theta^{(t+1)}$ .
步骤5.验证收敛条件,如满足则输出 $\pmb\theta^*$ ,算法中止,否则转至步骤1.
算法1中值得强调以下几点:
1) 式(21)是一个凸优化问题,因此算法1中输入初始化系数 $\pmb\theta^{(1)}$ 的选择较为灵活,本文采用1/n作为初始化系数,其中1是所有元素为1的n维矢量.
2) 系数θ的升级过程是一个闭式求解公式,形式简单,易于实现.
a) 目标函数式(19)满足 $\|obj^{(t+1)}-obj^{(t)}\|_2/\|obj^{(t)}\|_2<\varepsilon $ ;
b) 特征约束满足 $\|\pmb s^{(t+1)}-\pmb s^{(t)}\|_2/\|\pmb s^{(t)}\|_2<\varepsilon$ (本文实验部分将之设定为ε=5×10-2);
c) 迭代步数t达到最大设定值(本文为20).通过实验发现,20步的迭代次数多于实际所需,一般在10次迭代内前两个算法收敛条件已经满足.
4) 通过定理1可知,算法1具有全局最优解.此外,对比压缩感知理论中经典的迭代重加权方法(Iteratively reweighted,IR)[47-48],算法1求解策略虽然基本思想迥异,但其求解步骤却与IR具有相似性,仅将IR中的非负加和因子收缩替换为特征加权系数更新.因此,所提的求解算法具有指数级收敛速率[47].
定理1.目标函数式(19)通过算法1更新求解,其值在每次迭代中逐步减少,直至收敛.
证明.通过算法1步骤4可知
$ {\theta ^{(t+1)}}=\mathop {\min }\limits_{_\theta } \left\| {S(X\theta - y)} \right\|_2^2+\lambda {\theta ^{\rm{T}}}{\Pi ^{\rm{T}}}{D^{(t)}}\Pi \theta $
因此
$ \begin{align} &\| S(X \pmb\theta^{(t+1)}-\pmb y)\|_2^2+\lambda \pmb\theta^{(t+1){\rm T}}\Pi^{\rm T} D^{(t)}\Pi\pmb\theta^{(t+1)}\le\notag\\ &\qquad\| S(X\pmb\theta-\pmb y)\|_2^2+\lambda \pmb\theta\Pi^{\rm T} D^{(t)}\Pi\pmb\theta \end{align} $
(22) 类似于于-(a-b)2≤0,可以证明
$ \begin{align} &\|\Pi\pmb\theta^{(t+1)}\|_2-\frac{\|\Pi\pmb\theta^{(t+1)}\|_2^2}{2\|\Pi\pmb\theta\|_2}\leq\notag\\ &\qquad\frac{\|\Pi\pmb\theta\|_2}{2}=\|\Pi\pmb\theta\|_2-\frac{\|\Pi\pmb\theta\|_2^2}{2\|\Pi\pmb\theta\|_2} \end{align} $
(23) 将式(23)改写为
$ \begin{equation*} \begin{aligned} &\lambda \sum_{i=1}^c\|\pmb\eta_i\odot \pmb\theta_{i}^{(t+1)}\|_2-\lambda \sum\limits_{i=1}^{c}\frac{\|\pmb\eta_i\odot \pmb\theta _i^{(t+1)}\|_2^2}{2\|\pmb\eta_i\odot \pmb\theta_i\|_2}\le\\ &\qquad \lambda \sum\limits_{i=1}^{c}\|\pmb\eta_i\odot \pmb\theta_i\|_2-\lambda \sum\limits_{i=1}^{c}\frac{\|\pmb\eta_i\odot \pmb\theta_{i}\|_{2}^{2}}{2\|\pmb\eta_i\odot \pmb\theta_i\|_2}\\ \end{aligned} \end{equation*} $
即
$ \begin{align} &\lambda \sum\limits_{i=1}^{c}\|\pmb\eta_i\odot \pmb\theta_{i}^{(t+1)}\|_2-\lambda \pmb\theta^{(t+1){\rm T}}\Pi^{\rm T}D^{(t)}\Pi\pmb\theta^{(t+1)} \le\notag\\ &\qquad \lambda \sum\limits_{i=1}^{c}\|\pmb\eta_i\odot \pmb\theta_i\|_2-\lambda \pmb\theta^{\rm T}\Pi^{\rm T}D^{(t)}\Pi\pmb\theta \end{align} $
(24) 结合不等式(22)和(24),得到
$ \begin{align} &\| S(X\pmb\theta^{(t+1)}- y)\|_2^2+\lambda \sum_{i=1}^c\|\pmb\eta_i\odot\pmb\theta_i^{(t+1)}\|_2\le\notag\\ &\qquad \| S(X\pmb\theta- y)\|_2^2+\lambda \sum_{i=1}^c\|\pmb\eta_i\odot\pmb\theta_i\|_2\notag \end{align} $
由于目标函数通过迭代会逐次下降,且式(19)具有下确界(大于0),因此算法1收敛.
FWGSC求解的关键耗时步骤为式(21),即步骤4.考虑到矩阵S和 $\Pi$ 都是对角矩阵,式(21)的计算复杂度为O $(n^2m)$ ,设算法1的迭代次数为t,则FWGSC的算法复杂度为O $(tn^2m)$ .通过多次实验发现,一般S的取值≤7,远远小于m和n.对比SRC的求解复杂度O(m2n1.5)[36]可知,FWGSC的模型复杂度低于经典SRC算法,尤其在高维度小样本应用中(如图像分类、基因序列诊测等),其求解效率更具有明显的优越性.
3. 特征加权组稀疏判别投影分析算法
综上所述,FWGSC算法兼顾特征和样本加权,所得稀疏系数能够精确地重构未知样本,本节以此作为系数计算关键步骤,并借鉴SRCDP思想,提出特征加权组稀疏判别投影分析算法(Feature weighted group sparse discriminative projection,FWGSDP),实现输入数据特征降维,进一步提升模式分类效果.
3.1 FWGSDP算法描述
依次选择第i类目标数据的第j个样本xij,采用FWGSC算法,通过余下的训练样本 $X_{-i}$ 进行线性表示构建得到稀疏系数 $\pmb \theta_{ij}$ 和特征加权系数 $S _{ij}={\rm diag}\{s_{ij}\}$ .定义 $\delta _k(\pmb\theta _{ij})$ 为Rm列矢量,其中仅保留第k类数据所对应的稀疏系数,余下的置为0.基于FWGSC的决策规则,分别定义类内冗余散度矩阵式(25)和类间冗余散度矩阵式(26)为
$ \begin{array}{l} B{'_w} = \frac{1}{n}\sum\limits_{ij} {\left[ {{P^{\rm{T}}}{s_{ij}}{x_{ij}} - {P^{\rm{T}}}{s_{ij}}X{\delta _i}\left( {{\theta _{ij}}} \right)} \right] \times } \\ \;\;\;\;\;\;\;\;\;{\left[ {{P^{\rm{T}}}{s_{ij}}{x_{ij}} - {P^{\rm{T}}}{s_{ij}}X{\delta _i}\left( {{\theta _{ij}}} \right)} \right]^{\rm{T}}} = \\ \;\;\;\;\;\;\;\;\;\;{P^{\rm{T}}}\frac{1}{n}\sum\limits_{ij} {\left[ {{s_{ij}}{x_{ij}} - {s_{ij}}X{\delta _i}\left( {{\theta _{ij}}} \right)} \right] \times } \;\\ \;\;\;\;\;\;\;\;\;\;{\left[ {{s_{ij}}{x_{ij}} - {s_{ij}}X{\delta _i}\left( {{\theta _{ij}}} \right)} \right]^{\rm{T}}}P = {P^{\rm{T}}}{B_w}Pn \end{array} $
(25) $ \begin{array}{l} B{'_b}\frac{1}{{n\left( {c - 1} \right)}}\sum\limits_{ij} {\sum\limits_{k \ne i} {} \left[ {{P^{\rm{T}}}{s_{ij}}{x_{ij}} - {P^{\rm{T}}}{s_{ij}}X{\delta _k}\left( {{\theta _{ij}}} \right)} \right]} \times \\ \;\;\;\;\;\;{\left[ {{P^{\rm{T}}}{s_{ij}}{x_{ij}} - {P^{\rm{T}}}{s_{ij}}X{\delta _k}\left( {{\theta _{ij}}} \right)} \right]^{\rm{T}}} = \\ \;\;\;\;\;\;\;{P^{\rm{T}}}\frac{1}{{n\left( {c - 1} \right)}}\sum\limits_{ij} {\left[ {{s_{ij}}{x_{ij}} - {s_{ij}}X{\delta _k}\left( {{\theta _{ij}}} \right)} \right] \times } \\ \;\;\;\;\;\;\;\;\;\;\;{\left[ {{s_{ij}}{x_{ij}} - {s_{ij}}X{\delta _k}\left( {{\theta _{ij}}} \right)} \right]^{\rm{T}}}P = {P^{\rm{T}}}{B_b}P \end{array} $
其中, $ B_w=(1/n)\sum_{ij}[S_{ij}\pmb x_{ij}-S_{ij} X\delta_i(\pmb\theta_{ij})] [S_{ij}\pmb x_{ij}-S_{ij}X\delta_i(\pmb\theta_{ij})]^{\rm T}$ , $B_b=(1/n(c-1))\sum_{ij}\sum_{k \neq i}[S_{ij}\pmb x_{ij}-S_{ij} X\delta_s(\pmb\theta_{ij})] [S_{ij}\pmb x_{ij}-S_{ij}X\delta_s(\pmb\theta_{ij})]^{\rm T}$ 分别是原空间的类内冗余散度矩阵和类间冗余散度矩阵.与SRCDP类似,以类内冗余散度最小、类间冗余散度最大为目标,得到
$ J(P)={\rm{tr}}(\beta {B_{b'}} - {B_{w'}}){\rm{ }} $
(27) 其中,β是平衡参数,需人工设定,一般范围为(0,2),通过本文实验发现,其具体选值对结果影响较小.式(27)的基本思想是在子空间投影数据中,同类数据重构散度缩小而异类数据重构散度扩大,提升FWGSC分类器的鉴别性能.
此外,为获得规范化解,可添加相关性、正交性等约束[49]于式(27).本文将投影矩阵P约束为由单位矢量组成,即 $P=[\pmb p_1,\cdots,\pmb p_d]$ 且 $\pmb p_k^{\rm T} \pmb p_k=1$ ,k=1,…,d,用以更好地保持输入数据的分布形态[49].因此,最终的目标函数可以描述为
$ \begin{array}{l} \max p_k^{\rm{T}}(\beta {B_b} - {B_w}){p_k}\\ {\rm{s}}.{\rm{t}}.\quad p_k^{\rm{T}}{p_k}=1,\;k=1,\cdots,d \end{array} $
(28) 3.2 FWGSDP优化求解与分析
使用拉格朗日乘子将FWGSDP的目标函数进行变换得到
$ \begin{align} L(\pmb p_k,\lambda_k)=\sum_{k=1}^d\pmb p_k^{\rm T}(\beta B_b-B_w)\pmb p_k-\lambda_k(\pmb p_k^{\rm T}\pmb p_k-1) \end{align} $
(29) 通过对式(29)求pk的导数,且令求导结果为0求取最优解
$ \begin{align} \frac{\partial L}{\partial \pmb p_k}=(\beta B_b- B_w-\lambda_k)\pmb p_k=0 \end{align} $
(30) 可得
$ \begin{align} (\beta B_b-B_w)\pmb p_k=\lambda_k\pmb p_k \end{align} $
(31) 从上式可知λk是矩阵 $\beta B_b-B_w$ 的特征值,pk则是对应的特征矢量.因此
$ \begin{align} J(P) =&\ \sum_{k=1}^d\pmb p_k^{\rm T}(\beta B_b- B_w)\pmb p_k=\notag\\ &\ \sum_{k=1}^d\lambda_k\pmb p_k^{\rm T}\pmb p_k= \sum_{k=1}^d\lambda_k \end{align} $
(32) 综上所知,最优解 $ P^*$ 是由矩阵 $\beta B_b-B_w$ 前d个最大特征值对应的特征矢量组成.此外,由于 $\beta B_b-B_w$ 是实对称矩阵,则命题1成立,FWGSDP是一个有监督正交线性投影算法,能够保留更多的鉴别性信息,尤其适合于FWGSC算法.
命题1.式(28)的最优化解P问题是正交的,即当i≠j时, $\pmb p_i^{\rm T}\pmb p_j=0$ ,且 $\pmb p_i^{\rm T}\pmb p_i=1$ .
结合算法1求解步骤,特征加权组稀疏判别投影算法的求解步骤如算法2所示.对比SRCDP和FWGSDP,前者需要迭代更新投影矩阵P,而后者采用一次计算作为最优化P解.以一次计算为例,两者在投影判别部分的计算复杂度基本一致,包含散度矩阵构建和特征分解,分别需要O $(n^2(cm+n))$ 和O $(m^3)$ 的计算量.根据上一节所述,在稀疏编码阶段,SRCDP采用SRC进行系数求解,复杂度高于FWGSC,因此FWGSDP的单次训练复杂度低于SRCDP.进一步考虑SRCDP是迭代型算法,因此它的总体复杂度明显高于FWGSDP算法.
算法2.特征加权组稀疏判别投影算法
输入.训练样本X,测试样本y,平衡参数λ,初始化系数 $\pmb\theta^{(1)}$ .
输出.投影矩阵P.
步骤1.针对完整训练样本X,依次选择Xij,采用算法1构建稀疏系数θij.
步骤2.按式(25)和式(28)构建类内冗余散度矩阵Sw和类间冗余散度矩阵Sb.
步骤3.计算矩阵 $\beta B_b-B_w$ 最大的d个特征矢量,并构建投影矩阵P.
4. 实验分析
为验证所提算法的有效性,以人脸识别为例,分别通过原空间与降维子空间两方面对FWGSC和FWGSDP进行实验分析.第4.1节为原空间性能测试,验证了所提算法在无遮挡和有遮挡情形下的人脸识别率;第4.2节为降维子空间中的性能测试,将FWGSDP与经典降维分析算法的性能优劣进行了实验对比;第4.3节详细讨论了FWGSC和FWGSDP的参数优选过程.实验中采用的所有人脸图像都经过统一地中心配准和边缘裁剪.所有样本包括训练数据和测试数据都通过l2范数进行规范化处理.实验平台为32位Win7操作系统,i5处理器,4GB内存以及Matlab2014运行环境.
4.1 原空间人脸识别性能分析
4.1.1 无遮挡人脸识别
首先在光照、表情变化却不包括噪声遮挡的环境中验证FWGSC算法的性能,对比算法包括WGSC[20]、GSC[11]、WSRC[16]、SRC[1]和LRC[43].实验过程中不采用任何降维算法.选用的人脸数据库为ExYaleB[50]和PIE[51].ExYaleB包括38个人物对象的21888张人脸图像,其中含9个姿态调整和64种光照变化.与文献[21]一致,本文抽选其中2414幅接近正面,光照各异的图像用于测试,每幅图像大小都统一调整至32像素×32像素.任意选择其中每个人物ntr={5,10,20,30,40,50}幅图像作为训练样本,余下的为测试样本.PIE包括68人的41368幅面部图像,其中含13个姿态调整和43个光照变化.本文选取其中11554幅正面、不同光照的图像用于实验测试,每幅图像大小都统一调整至32像素×32像素.任意选择其中每个人物ntr={5,10,20,30,40}幅图像作为训练样本,余下的为测试样本.
图 2显示了两个数据库中不同算法在不同训练样本量下的识别率结果,具体数值由10次随机样本选择实验取平均得到.从中可见,六种表示型算法都具有优秀的识别性能,在ntr=20的实验条件下基本达到了大于90%的精度.在所有算法中,LRC分类器仅采用单类样本进行重构表示,因此在训练样本量较少的情形中,如ntr=5和ntr=10时,其识别率明显低于其他几种算法,而ntr足够大时,其识别率与SRC算法较为接近.WSRC算法的综合识别率较SRC算法略有提升,但是在PIE数据库的少样本实验中(ntr=5和ntr=10),其精度反而低于SRC,说明单纯的样本距离加权不能准确地反映数据分布结构,部分姿态接近的异类图像会比表情夸张和姿势变化的同类图像具有更小的欧氏距离值,反而弱化分类器的判别能力.GSC较WSRC算法具有明显的识别率提升,说明l12组范数的鉴别性能优于单纯的l1范数或l2范数.WGSC算法在样本距离加权的基础上,又添加了重构冗余加权,其性能优于GSC算法,尤其在ExYaleB数据库中,WGSC较GSC的识别率平均提升了2%.最后,FWGSC算法集合了特征加权、重构冗余加权、样本距离加权、组范数等优势特性,其识别率全面优于其他几种表示型算法,在ntr=20时,分别在ExYaleB和PIE数据库中获得了97.34%和95.69%的识别率.
图 2 稀疏型分类器在不同数据库中识别率对比Fig. 2 The recognition rates of different sparse representation classifiers in ExYaleB and PIE databases4.1.2 有遮挡人脸识别
SRC型算法的一个重要特征是遮挡鲁棒性[1],在本小节中,选用AR人脸数据库[21]验证FWGSC分类器的抗遮挡能力.AR人脸库包含126人的4000多幅人脸图像,除不同的光照条件和面部表情外,其中部分图像还含有局部遮挡(眼镜、头罩、围巾等).与文献[21]类似,本文抽选其中一个子集作实验测试,包含50位男性和50位女性,仅随机选取每个人物同时期4张无遮挡图片作为训练样本,在不同时期中选取各人物不同遮挡情形下(眼镜或围巾)的3幅图像作为测试样本,每幅图像都统一裁剪至42像素×30像素.对比算法选用抗噪性较强的RRC[21]、 CESR[5]、GSRC[6]以及基准分类器SRC,其中RRC算法采用识别率较高的l1范数约束.
实验结果如表 1所示,其中加粗数据值即为同等条件下的最优识别率.很明显,除在墨镜遮挡的不同时期测试实验中RRC算法共享了最优识别率外,其他环境下FWGSC都具有最优的测试值.值得注意的是,CESR在墨镜遮挡情形下效果较优却在围巾遮挡情形下效果较弱,而GSRC则正处于相反的情况.平均而言,在同时期样本测试实验中,FWGSC较RRC、CESR、GSRC和SRC分别提升了0.65%、30.85%、11.35%、36.70%的识别率.在不同时期样本测试实验中,FWGSC则分别提升了1.0%、34.85%、28.3%、48.8%的识别率.
表 1 AR数据库有遮挡情形下不同算法的识别率对比Table 1 Recognition rate by competing algorithms on AR database with occlusion测试样本 算法 墨镜遮挡（％) 围巾遮挡（％) FWGSC 99.3 95.7 RRC 99.0 94.7 同时期 CESR 95.3 38.0 GSRC 87.3 85.0 SRC 89.3 32.3 FWGSC 89.3 78.3 RRC 89.3 76.3 不同时期 CESR 79.0 20.7 GSRC 45.0 66.0 SRC 57.3 12.7 图 3选择AR数据库中第一个人物目标的墨镜遮挡样例进行了分类过程展示,其中,图 3(a)是测试样本;图 3(b)是算法收敛后的特征权值展示,即将优化后的s矢量展开为等像素图像,其中黑色部分表示特征权值趋向于0,可见其正好反映了测试人脸的墨镜区域,消除了墨镜遮挡部分对分类结果的影响;图 3(c)~(g)分别是经FWGSC、RRC、CESR、GSRC、SRC算法重构后人脸图像.其中,CESR、GSRC和SRC三个算法缺乏特征加权考虑,其重构人脸都带有明显的墨镜痕迹,降低了识别精度;RRC和FWGSC都引入了特征加权特性,其重构人脸消除了墨镜效果,相比较而言,FWGSC算法的重构图像棱角更为明确,而RRC则显得比较模糊;图 3(h)是算法的重构冗余值,其中横坐标为不同类别标签,可见FWGSC和RRC分类器的目标类(第一类)重构冗余小于其他类别的重构冗余,其中,FWGSC的目标类重构冗余值小于RRC的相应值,说明其更为优秀的鉴别能力.CESR、GSRC和SRC三个算法则将目标类别误认为冗余值最小的异类样本(第60类目标).图 3(i)是算法1的收敛过程展示,从中可见特征权值在第9次迭代达到收敛条件(5E-2),而目标函数值则在第5次迭代即达到收敛条件,两者都明显少于最高迭代次数20.同时,图 3(i)中展示了目标函数值变化的拟合曲线f(x)=0.67 exp(-0.68x),说明本文所提迭代重约束求解算法具有快速收敛性.
4.2 降维子空间人脸识别性能分析
4.2.1 无遮挡人脸识别
通过ExYaleB和PIE两个数据进行降维空间中的无遮挡人脸识别实验,数据库描述与上一节一致,任意选择每类20个样本作为训练数据,余下的所有样本作为测试数据.
实验步骤为:首先采用训练样本构建不同子空间维数的投影矩阵P;然后将训练数据和测试数据都依P投影至子空间;最后在子空间中通过分类器得到整体测试识别率.对比特征提取算法包括PCA、LPP、LFDA、SRCDP以及本文所提的FWGSDP,其中FWGSDP和PCA、LPP、LFDA的子空间分类器选用上一节实验结果中识别性能最优的FWGSC,SRCDP的子空间分类器则保持为文献[36]所述的SRC(SRCDP以SRC分类性能最优为目标进行降维投影目标泛函构建).LPP和LFDA的近邻样本数选为19,即每类样本数减1.图 4显示了上述算法在不同子空间维数下的识别率和方差对比.通过图 4可以发现: 1)当子空间维数达到300后,所有降维算法本身的识别率都不再存在明显变化,说明对于一般的数据集来说,300维的特征描述已经足以反映样本间的鉴别性,高于300的特征维数即存在表达冗余度;2)几何图嵌入降维的算法包括PCA、 LPP和LFDA的识别率梯度较难确定,如在ExYaleB 300维实验中PCA的识别率高于LPP和LFDA,在PIE 100和200维实验中LPP的识别率高于PCA和LFDA,而在PIE 300至500维实验中则是LFDA的识别率优于PCA和LPP,这主要是由于图嵌入降维算法并未与后续分类器进行有效融合,实现为独立的降维模块和判别模块,缺乏稳定的分类性能;3)在两个数据库中,FWGSDP的人脸识别性能在不同子空间维数下都明显优于其他几种算法,包括SRCDP,说明稀疏邻域模式设计与稀疏分类器融合的重要性以及FWGSC较SRC在分类性能上的优越性(从上一节实验已经得到验证).
图 4 不同子空间维数的人脸识别率和方差对比Fig. 4 Comparison of recognition rates and variance under different feature dimensions进一步,表 2给出了在ExYaleB和PIE数据库中FWGSDP降维前后FWGSC分类算法的人脸识别测试实验对比,包括识别率和每个样本识别时间(单位为秒).从表 2可见,当子空间维数达到300后,人脸识别率都较原空间有所提升.在ExYaleB中,降维至300后人脸识别率较原空间提升了0.1%,在PIE中则是提升了0.11%,虽然提升幅度并不显著,但是考虑到FWGSC算法在原空间中已经达到了约97%的识别性能,能实现进一步提升已属难得.此外,在测试时间方面,由于维数约简后的人脸数据特征量大大减少,使得算法的运行效率得到了成倍提升.在ExYaleB和PIE数据库中分别获得了较原空间运行效率约8倍和3倍的测试时间缩减.
表 2 降维前后FWGSC分类算法的人脸识别对比Table 2 Comparison of FWGSC performance with and without dimension reduction唯数 ExYaleB PIE 识别率(%) 测试时间(s) 识别率(%) 测试时间(s) 原始样本1024 97.34 0.9983 95.69 1.4002 FWGSDP 100 95.04 0.1103 93.62 0.4683 FWGSDP200 96.25 0.1170 95.20 0.4896 FWGSDP300 97.44 0.1215 95.80 0.5046 FWGSDP 400 97.61 0.1286 95.89 0.5175 FWGSDP500 97.61 0.1332 95.95 0.5296 4.2.2 有遮挡人脸识别
与第4.1.2节实验环境一致,采用AR数据库测试FWGSDP和FWGSC在有遮挡人脸识别应用中的算法性能,对比算法仍然选取PCA、LPP、 LFDA、SRCDP和FWGSDP.表 3为该实验测试结果,其中包括识别率和投影矩阵P的构建耗时(单位为秒),SRCDP和FWGSDP的稀疏邻域构建采用了PCA预投影数据.依据第4.2节实验结果,表 3中各算法统一选择子空间维数为300.从表 3可见,在四个不同遮挡情形中,通过FWGSDP维数约简后的子空间人脸识别率分别为99.5%、96.0%、90.8%和79.6%,较原空间的99.3%、95.7%、89.3%和78.3%分别提升了0.2%、0.3%、1.5%和1.3%;类似地,通过SRCDP维数约简后的子空间识别率较原空间中的SRC分类精度分别提升了3.5%、26.1%、21.4%和39.7%;而PCA、LPP和LFDA三种几何图嵌入型降维算法虽然也采用了FWGSC分类器,但其识别率却对比原空间不增反降,说明针对性的对稀疏系数采用类内紧缩类间离散策略构建子空间投影目标函数对于提升或保持SRC型算法性能是极其重要的.此外,表 3反映了FWGSDP在模型构建效率上优于SRCDP,符合文中算法复杂度分析.虽然经典图嵌入模型的构建效率更高,但考虑FWGSDP突出的识别性能以及模型构建效率在重要性上弱于运行效率的特点,GWGSDP算法是值得推广应用的.
表 3 AR数据库有遮挡情形下不同算法的识别率对比Table 3 Comparison of competing dimension reduction algorithms on AR database with occlusion测试样本 算法 墨镜遮挡识别率(%) 墨镜遮挡耗时(s) 围巾遮挡识别率(%) 围巾遮挡耗时(s) PCA 91.0 1.083 85.7 1.184 LPP 92.5 2.810 89.6 2.672 同时期 LFDA 93.4 4.380 91.5 4.253 SRCDP 92.8 21.27 58.4 21.96 FWGSDP 99.5 14.72 96.0 14.03 PCA 84.6 1.079 70.6 1.067 LPP 87.3 2.714 75.1 2.705 不同时期 LFDA 86.5 4.525 75.4 4.361 SRCDP 78.7 22.15 52.4 22.06 FWGSDP 90.8 15.18 79.6 14.98 4.3 最优参数选择
本文实验所对比的算法CESR、GSRC、WSRC、 WGSRC、SRC、SRCDP、LFDA、RRC都包含人工设定参数,在具体实验过程中采用各自文献所公开的源码进行性能验证,模型参数以原著设定为基本准则,通过网格式搜索确定最佳值.本节重点讨论所提算法FWGSDP的最优参数设定思路,包括FWGSC系数求解算法中的特征选择参数 $\sigma$ 和 $\mu$ 、重构误差与系数平衡参数λ,以及类间散度和类内散度平衡参数β.参数 $\sigma$ 和 $\mu$ 是logistic函数计算的前提, $\sigma$ 称为分界点参数,即logistic函数开始下降的位置,用于选择有效特征数量.一种直观的设定方案是取值为平方误差矢量 $e_i^2$ , $i=1,\cdots,m$ 的第 $\lfloor \tau m\rfloor$ 大元素,其中m是特征维数, $\lfloor\cdot\rfloor$ 是取下整数运算, $ \tau\in(0,1)$ 用于确定有效特征百分比.设定 $\mu=10/\sigma $ ,确保低误差特征权值的logistic函数映射接近于1.因此具体实验中的待定参数为τ、λ和β,采取先确定β和λ再在投影过程中确定β的思路.
以PIE为例,选取每类数据20个样本、子空间维数为300作为参数优选过程演示.考虑到有效特征数量不可能过少,因此设定β的选取范围为{0.95,0.9,0.85,0.8,075},而λ则以文献[17]的默认值1E-3展开设定,即{1E-5,1E-4,5E-4,1E-3,5E-3,1E-2}.图 5展示了所述两个参数变化下的人脸识别结果,从中可见,当取τ=0.9且λ=1E-4时,FWGSC具有最佳识别性能.以此为基础,图 6在不同的β值下进行了识别率展示.综合图 5和图 6的参数选择过程可知,虽然FWGSDP模型具有多个人工选择参数,但其确定过程却比较直观.首先,如图 6所示,不同的β值下的人脸识别率曲线波动很小,一般选择0.5~1.5之间时,可以达到近似最优的算法性能;在图 5中随着τ和λ值变化时,识别率波动相对较大,在具体应用中可依据经验进行参数值设定,其中λ的取值在1E-4和1E-3之间较为稳定,而τ值在有遮挡和无遮挡应用中一般可分别设定为0.7和0.9进行算法实现.
图 5 PIE中FWGSC参数λ和τ选择Fig. 5 The selection of parameter λ and τ of FWGSC in PIE database5. 总结
本文提出了一种特征加权组稀疏判别投影算法FWGSDP,包含两个关键操作步骤,即特征加权组稀疏分类和最优化投影判别分析.特征加权组稀疏分类以加权组稀疏模型WGSC为基础,通过引入特征加权约束,改进了样本距离结构和类组重构冗余的权值信息,使得FWGSC在带噪和普通环境中都能够获得精确的表示系数,其独立分类性能优于经典的稀疏表示型算法,并且是FWGSDP算法中重构系数构建的关键步骤.最优化投影判别分析以FWGSC分类效果最优化为目标计算类内冗余散度矩阵和类间冗余散度矩阵,并以类Fisher准则制定约束函数,计算最优的判别投影矩阵,使得FWGSC在降维后的数据中具有更高的识别率,且算法运行效率大大提升.以人脸数据为例,采用ExYaleB、PIE和AR数据库验证了所提算法的性能优于经典模式分类和特征提取算法.
通过实验发现,所提算法FWGSDP虽然易于实现并性能出众,但应用过程中需要人工设定参数σ,μ,λ和β,虽然可以通过经验方式进行指引设置,且β的取值对最终结果的影响较小,但仍然会削弱所提算法的应用扩展能力.因此,后续将集中进行参数的自适应确定或参数削减工作.
-
图 2 稀疏型分类器在不同数据库中识别率对比
Fig. 2 The recognition rates of different sparse representation classifiers in ExYaleB and PIE databases
图 4 不同子空间维数的人脸识别率和方差对比
Fig. 4 Comparison of recognition rates and variance under different feature dimensions
图 5 PIE中FWGSC参数λ和τ选择
Fig. 5 The selection of parameter λ and τ of FWGSC in PIE database
表 1 AR数据库有遮挡情形下不同算法的识别率对比
Table 1 Recognition rate by competing algorithms on AR database with occlusion
测试样本 算法 墨镜遮挡（％) 围巾遮挡（％) FWGSC 99.3 95.7 RRC 99.0 94.7 同时期 CESR 95.3 38.0 GSRC 87.3 85.0 SRC 89.3 32.3 FWGSC 89.3 78.3 RRC 89.3 76.3 不同时期 CESR 79.0 20.7 GSRC 45.0 66.0 SRC 57.3 12.7 
下载: 导出CSV
表 2 降维前后FWGSC分类算法的人脸识别对比
Table 2 Comparison of FWGSC performance with and without dimension reduction
唯数 ExYaleB PIE 识别率(%) 测试时间(s) 识别率(%) 测试时间(s) 原始样本1024 97.34 0.9983 95.69 1.4002 FWGSDP 100 95.04 0.1103 93.62 0.4683 FWGSDP200 96.25 0.1170 95.20 0.4896 FWGSDP300 97.44 0.1215 95.80 0.5046 FWGSDP 400 97.61 0.1286 95.89 0.5175 FWGSDP500 97.61 0.1332 95.95 0.5296
下载: 导出CSV
表 3 AR数据库有遮挡情形下不同算法的识别率对比
Table 3 Comparison of competing dimension reduction algorithms on AR database with occlusion
测试样本 算法 墨镜遮挡识别率(%) 墨镜遮挡耗时(s) 围巾遮挡识别率(%) 围巾遮挡耗时(s) PCA 91.0 1.083 85.7 1.184 LPP 92.5 2.810 89.6 2.672 同时期 LFDA 93.4 4.380 91.5 4.253 SRCDP 92.8 21.27 58.4 21.96 FWGSDP 99.5 14.72 96.0 14.03 PCA 84.6 1.079 70.6 1.067 LPP 87.3 2.714 75.1 2.705 不同时期 LFDA 86.5 4.525 75.4 4.361 SRCDP 78.7 22.15 52.4 22.06 FWGSDP 90.8 15.18 79.6 14.98
下载: 导出CSV
-
[1] Wright J, Yang A Y, Ganesh A, Sastry S S, Yi M. Robust face recognition via sparse representation. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2009, 31(2): 210-227 [2] Xu Y, Zhang D, Yang J, Yang J Y. A two-phase test sample sparse representation method for use with face recognition. IEEE Transactions on Circuits and Systems for Video Technology, 2011, 21(9): 1255-1262 [3] He R, Hu B G, Zheng W S, Guo Y Q. Two-stage sparse representation for robust recognition on large-scale database. In: Proceedings of the 24th AAAI Conference on Artificial Intelligence. Atlanta, Georgia, USA: AAAI, 2010. 475-480 [4] Yang M, Zhang L, Feng X C, Zhang D. Sparse representation based fisher discrimination dictionary learning for image classification. International Journal of Computer Vision, 2014, 109(3): 209-232 [5] He R, Zheng W S, Hu B G. Maximum correntropy criterion for robust face recognition. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2011, 33(8): 1561-1577 [6] Yang M, Zhang L. Gabor feature based sparse representation for face recognition with Gabor occlusion dictionary. In: Proceedings of the 11th European Conference on Computer Vision. Heraklion, Crete, Greece: Springer, 2010. 448-461 [7] 刘建伟, 崔立鹏, 刘泽宇, 罗雄麟. 正则化稀疏模型综述. 计算机学报, 2015, 38(7): 1307-1325Liu Jian-Wei, Cui Li-Peng, Liu Ze-Yu, Luo Xiong-Lin. Survey on the regularized sparse models. Chinese Journal of Computers, 2018, 38(7): 1307-1325 [8] Chen Z H, Zuo W M, Hu Q H, Lin L. Kernel sparse representation for time series classification. Information Sciences, 2015, 292: 15-26 [9] Zhang L, Yang M, Feng X C. Sparse representation or collaborative representation: which helps face recognition? In: Proceedings of the 2011 International Conference on Computer Vision. Barcelona: IEEE, 2011. 471-478 [10] Zhu P F, Zuo W M, Zhang L, Shiu S C K, Zhang D. Image set-based collaborative representation for face recognition. IEEE Transactions on Information Forensics and Security, 2014, 9(7): 1120-1132 [11] Majumdar A, Ward R K. Fast group sparse classification. Canadian Journal of Electrical and Computer Engineering, 2009, 34(4): 136-144 [12] Elhamifar E, Vidal R. Robust classification using structured sparse representation. In: Proceedings of the 2011 IEEE Conference on Computer Vision and Pattern Recognition. Providence, RI: IEEE, 2011. 1873-1879 [13] Huang J, Nie F P, Huang H, Ding C. Supervised and projected sparse coding for image classification. In: Proceedings of the 27th AAAI Conference on Artificial Intelligence. Bellevue, Washington, USA: AAAI, 2013. 438-444 [14] Wang L J, Lu H C, Wang D. Visual tracking via structure constrained grouping. IEEE Signal Processing Letters, 2015, 22(7): 794-798 [15] Liu H C, Li S T, Yin H T. Infrared surveillance image super resolution via group sparse representation. Optics Communications, 2013, 289: 45-52 [16] Lu C Y, Min H, Gui J, Zhu L, Lei Y K. Face recognition via weighted sparse representation. Journal of Visual Communication and Image Representation, 2013, 24(2): 111-116 [17] Timofte R, van Gool L. Adaptive and weighted collaborative representations for image classification. Pattern Recognition Letters, 2014, 43: 127-135 [18] Wu J Q, Timofte R, van Gool L. Learned collaborative representations for image classification. In: Proceedings of the 2015 IEEE Winter Conference on Applications of Computer Vision. Waikoloa, HI: IEEE, 2015. 456-463 [19] Chao Y W, Yeh Y R, Chen Y W, Lee Y J, Wang Y C F. Locality-constrained group sparse representation for robust face recognition. In: Proceedings of the 18th IEEE International Conference on Image Processing. Brussels: IEEE, 2011. 761-764 [20] Tang X, Feng G C, Cai J X. Weighted group sparse representation for undersampled face recognition. Neurocomputing, 2014, 145: 402-415 [21] Yang M, Zhang L, Yang J, Zhang D. Regularized robust coding for face recognition. IEEE Transactions on Image Processing, 2013, 22(5): 1753-1766 [22] Jerome F, Trevor H, Robert T. The Elements of Statistical Learning: Data Mining, Inference, and Prediction. New York: Springer, 2001. 534-553 [23] Duda R O, Hart P E, Stork D G. Pattern Classification (2nd edition). New York, USA: Wiley, 2001. [24] 郑建炜, 王万良, 姚晓敏, 石海燕. 张量局部Fisher判别分析的人脸识别. 自动化学报, 2012, 38(9): 1485-1495Zheng Jian-Wei, Wang Wan-Liang, Yao Xiao-Min, Shi Hai-Yan. Face recognition using tensor local Fisher discriminant analysis. Acta Automatica Sinica, 2012, 38(9): 1485-1495 [25] Zheng J W, Yang D, Chen S Y, Wang W L. Incremental min-max projection analysis for classification. Neurocomputing, 2014, 123: 121-130 [26] 杨利平, 龚卫国, 辜小花, 李伟红, 杜兴. 完备鉴别保局投影人脸识别算法. 软件学报, 2010, 21(6): 1277-1286Yang Li-Ping, Gong Wei-Guo, Gu Xiao-Hua, Li Wei-Hong, Du Xing. Complete discriminant locality preserving projections for face recognition. Journal of Software, 2010, 21(6): 1277-1286 [27] 赵家程, 崔慧敏, 冯晓兵. 基于统计学习分析多核间性能干扰. 软件学报, 2013, 24(11): 2558-2570Zhao Jia-Cheng, Cui Hui-Min, Feng Xiao-Bing. Analyzing cross-core performance interference on multi-core processors based on statistical learning. Journal of Software, 2013, 24(11): 2558-2570 [28] He X F, Yan S C, Hu Y X, Niyogi P, Zhang H J. Face recognition using Laplacianfaces. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2005, 27(3): 328-340 [29] Sugiyama M. Dimensionality reduction of multimodal labeled data by local Fisher discriminant analysis. Journal of Machine Learning Research, 2007, 8(5): 1027-1061 [30] Yan S C, Xu D, Zhang B Y, Zhang H J, Yang Q, Lin S. Graph embedding and extensions: a general framework for dimensionality reduction. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2007, 29(1): 40-51 [31] Qiao L S, Chen S C, Tan X Y. Sparsity preserving projections with applications to face recognition. Pattern Recognition, 2010, 43(1): 331-341 [32] Cheng B, Yang J C, Yan S C, Fu Y, Huang T S. Learning with l1-graph for image analysis. IEEE Transactions on Image Processing, 2010, 19(4): 858-866 [33] 郑忠龙, 黄小巧, 贾泂, 杨杰. 稀疏局部保持投影. 计算机学报, 2014, 37(9): 2038-2046Zheng Zhong-Long, Huang Xiao-Qiao, Jia Jiong, Yang Jie. Locality preserving projection with sparse penalty. Chinese Journal of Computers, 2014 37(9): 2038-2046 [34] Shao Z F, Zhang L. Sparse dimensionality reduction of hyperspectral image based on semi-supervised local Fisher discriminant analysis. International Journal of Applied Earth Observation and Geoinformation, 2014, 31: 122-129 [35] Ly N H, Du Q, Fowler J E. Sparse graph-based discriminant analysis for hyperspectral imagery. IEEE Transactions on Geoscience and Remote Sensing, 2014, 52(7): 3872-3884 [36] Yang J, Chu D L, Zhang L, Yu Y, Yang J Y. Sparse representation classifier steered discriminative projection with applications to face recognition. IEEE Transactions on Neural Networks and Learning Systems, 2013, 24(7): 1023-1035 [37] Lu C Y, Huang D S. Optimized projections for sparse representation based classification. Neurocomputing, 2013, 113: 213-219 [38] Ly N H, Du Q, Fowler J E. Collaborative graph-based discriminant analysis for hyperspectral imagery. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2014, 7(6): 2688-2696 [39] Yang W K, Wang Z Y, Sun C Y. A collaborative representation based projections method for feature extraction. Pattern Recognition, 2015, 48(1): 20-27 [40] 马小虎, 谭延琪. 基于鉴别稀疏保持嵌入的人脸识别算法. 自动化学报, 2014, 40(1): 73-82Ma Xiao-Hu, Tan Yan-Qi. Face recognition based on discriminant sparsity preserving embedding. Acta Automatica Sinica, 2014, 40(1): 73-82 [41] Yang M, Zhang D, Zhang D, Wang S L. Relaxed collaborative representation for pattern classification. In: Proceedings of the 2012 IEEE Conference on Computer Vision and Pattern Recognition. Providence, RI: IEEE, 2012. 2224- 2231 [42] Liu Y, Li X M, Liu C Y, Tang Y F. Group sparsity in dimensionality reduction of sparse representation. In: Proceedings of the 2014 International Symposium on Wireless Personal Multimedia Communications. Sydney, NSW: IEEE, 2014. 541-546 [43] Naseem I, Togneri R, Bennamoun M. Linear regression for face recognition. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2010, 32(11): 2106-2112 [44] Liu J, Ji S W, Ye J P. SLEP: Sparse Learning with Efficient Projections. Arizona State University, USA, 2009 [Online], available: http://www.yelab.net/software/SLEP/, May 4, 2016 [45] Salman A M, Romberg J. Dynamic updating for l1 minimization. IEEE Journal of Selected Topics in Signal Processing, 2010, 4(2): 421-434 [46] Beck A, Teboulle M. A fast iterative shrinkage-thresholding algorithm for linear inverse problems. SIAM Journal on Imaging Sciences, 2009, 2(1): 183-202 [47] Lu C Y, Lin Z C, Yan S C. Smoothed low rank and sparse matrix recovery by iteratively reweighted least squares minimization. IEEE Transactions on Image Processing, 2015, 24(2): 646-654 [48] Lei Y, Song Z J. An improved IRLS algorithm for sparse recovery with intra-block correlation. Optik, 2015, 126(7-8): 850-854 [49] Li F, Wang J X, Tang B P, Tian D Q. Life grade recognition method based on supervised uncorrelated orthogonal locality preserving projection and K-nearest neighbor classifier. Neurocomputing, 2014, 138: 271-282 [50] Lee K C, Ho J, Kriegman D. Acquiring linear subspaces for face recognition under variable lighting. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2005, 27(5): 684-698 [51] Gross R, Matthews I, Cohn J, Kanade T, Baker S. Multi-PIE. Image and Vision Computing, 2010, 28(5): 807-813 期刊类型引用(7)
1. 郑毅，胡祥培. 基于时间光滑正则化的序列诊疗数据融合方法. 管理科学. 2021(04): 61-70 . 
百度学术2. 李艳秋，颜普，高翠云，徐荃. 基于表情特征描述与稀疏加权决策的情感识别. 安徽建筑大学学报. 2019(04): 78-82+116 . 百度学术3. 王志强，童莹，曹雪虹，任丽. 加权鉴别保持投影降维的非约束人脸识别研究. 信号处理. 2019(10): 1762-1772 . 百度学术4. 王万良，邱虹，郑建炜. 基于压缩感知图像分析的河流表面流速估计方法. 水力发电学报. 2018(05): 69-79 . 百度学术5. 王万良，朱文博，郑建炜. 基于ADMM的拉普拉斯约束表示型聚类算法. 浙江工业大学学报. 2018(04): 363-368+381 . 百度学术6. 王锋华，成敬周，文凡. 快速双非凸回归算法及其电力数据预测应用. 智能系统学报. 2018(04): 665-672 . 百度学术7. 唐铭，何岩萍，尹恒，刘奇，何凌. 基于声道特性的腭裂语音高鼻音等级自动识别. 计算机工程与应用. 2018(21): 141-147 . 百度学术其他类型引用(2)
-
下载:
计量
- 文章访问数: 2119
- HTML全文浏览量: 450
- PDF下载量: 1322
- 被引次数: 9
