-
摘要: 为实现自寻的反坦克导弹红外导引头对复杂背景下坦克目标的快速有效分割, 以红外导引头拍摄的坦克目标红外图像为研究对象, 采用计算简单的最大类间方差法, 对其分割效果进行了研究.根据实验结果, 揭示了最大类间方差法进行图像分割的有效性机理.在此基础上, 提出了对背景区域像素和灰度级别进行约束的思想, 以降低背景区域类内方差, 提高算法的分割精度, 并给出了具体的方法.首先利用坦克目标的先验信息, 根据光学成像原理, 推导了红外坦克目标图像的大小估计公式, 用来实现对背景像素的约束; 然后采用黄金分割法对背景灰度级别进行约束; 最后利用最大类间方差法实现了复杂背景下红外坦克目标的分割.实验表明, 本文方法的分割效果堪比手工分割效果, 且计算量较少, 算法耗时最大不超过1.44 ms, 完全满足对坦克目标图像分割的有效性和实时性需求.
-
关键词:
- 自寻的反坦克导弹红外成像制导系统 /
- 坦克目标分割 /
- 最大类间方差法 /
- 阈值分析 /
- 背景约束
Abstract: To achieve fast and efficient tank segmentation under infrared complex background for infrared imaging guidance system of homing antitank missile, the maximum between-class variance method is studied using tank infrared images from the infrared imaging and guidance system, and the working mechanism of the maximum between-class variance method is revealed. Then the idea to restrict the background pixels and gray levels is proposed to lower the background within-class variance so as to improve the segmentation accuracy of the method. The detailed approach is as follows. Firstly, with the prior information of the tank, according to the optical imaging principle, the size equation of the tank image is deduced, by which background pixels are restricted; secondly, the golden section is used to restrict the background gray levels; lastly, with the maximum between-class variance method, segmentation of the tank target is achieved. Experiments show that the segmentation result of the proposed method is as good as manual segmentation's and the processing time is decreased to no more than 1.44 ms. So it can completely meet the needs of effectiveness and real-time processing for the tank segmentation under the infrared complex background of the homing antitank missile. -
人脸作为重要的视觉信息在人与人交互中传递大量信息.很多系统已经能够准确的识别人脸的年龄、表情和性别等信息[1-5], 人脸的人种、民族在人类学和计算视觉具有重要的实用价值.随着日益频繁的国际和地区往来, 在安保、公共安全、犯罪识别、海关签证、边境口岸都具有广泛的应用价值[6-8].同时, 相关研究会促进各种人脸分析识别系统对于不同人种和民族的技术公平性, 使得系统具有更好的适用性, 避免出现一些系统只适于部分族群而产生的技术"歧视"[8].如何利用计算机技术深入分析和挖掘人脸的群体特征及其规律, 对推进和深化人脸识别技术和人类学研究也同样具有重要意义.
人种是指人类学用肤色、头发、身体结构等差异加以区分的人群.民族是指在特定地理区域和遗传因素形成的具有特定文化和语言的人群共同体.人脸的这些群体特征是人脸视觉认知中先于年龄、性别和表情识别的最重要的人脸信息之一.神经科学研究表明, 人脸的人种特征是人脸最先识别的特征.如图 1所示, 在80 ~ 120 ms首先识别人脸的人种属性, 接下来在150 ms识别人脸年龄和性别等特征进行认知[9].体质人类学也对人脸的人种和民族特征进行了大量研究, 采集大量不同人种和民族数据通过人体测量学对人脸几何特征进行统计分析[10-11].体质人类学对人脸长度、角度等进行测量构建相应的指标体系, 这些指标体系支撑了体质人类学的发展.随着机器视觉和人脸分析技术不断发展, 进一步完善体质人类学对提高民族特征指标体系具有有效性, 通过结合数据构建科学的指标体系对体质人类学研究具有重要科学意义. Bledsoe[12]最早利用面部几何特征之间的距离和比率, 分析了白种人的面部特征; Kanade[13]对眼角、嘴巴和下巴等面部特征之间几何关系, 在一个自建的20个白种人数据库上进行了分析; Brunelli等[14]通过47个样本的白人数据库, 研究了人脸部件几何结构(例如鼻子长度、嘴巴宽度和下巴形状等)之间的匹配关系, 研究表明, 通过人脸的几何特征可以有效地判别和分析人脸的民族特征.此外, 人脸的族群特征由于相互融合, 同一人脸可以包含多个人种或民族的特征, 这也给人脸的族群特征分析带来了一定的困难.同一人种的不同民族人脸面部特征研究与不同人种的面部特征研究不同, 不同人种人脸肤色和体貌特征之间差异较大, 同一人种包含多个民族, 同一民族人脸差异要小于人种之间的差异[15]. 1991年Lindsay等发现对同人种面孔的记忆力比对不同人种的要好[16], 这主要由于日常接触同族人群较多, 因此人们对本民族人脸认知要快于异族人群.但目前机器视觉领域中, 人脸民族特征相关研究主要集中于不同人种的人脸特征差异研究, 而对于同人种内的不同民族研究较少.中国属于亚裔黄种人, 人口占全世界20 %, 是一个统一的多民族国家, 由于受地域、生活方式和遗传等因素的影响形成了56个民族, 并分布于我国横跨的5个时区之中[17], 如何更好地利用计算机技术科学揭示和研究中国不同民族面部具有重要的科学意义.
流形学习(Manifold learning)可从高维采样的数据空间中恢复低维的流形结构, 找到高维空间中的低维流形, 并求出相关映射.流形分析不仅可以实现高维数据降维, 还可以可视化分析数据本质和内在规律[18]. 2010年Seung和Lee在Science发表的"认知的流形模式"探讨了人类视觉感知机制, 证实了人类视觉神经系统可以捕获这种非线性流形结构的能力, 提出视觉感知的流形假说[19].当识别人脸图像由于光照变化, 表情、年龄、姿态和视觉方向产生变化, 人类视觉的高维空间中会产生一个由光照、表情、年龄和姿态等变量控制的低维流形; 但对于人脸民族特征是否在不同个体存在由族群特征控制的低维流形还有待进行研究. 2015年文献[20]指出, 人脸族群或民族特征的流形相关工作还未展开.而对于中国不同民族的人脸特征, 本文作者[21-24]早期建立了中国多民族人脸数据库, 并利用人脸图像特征对部分民族的人脸特征进行了前期研究, 研究表明中国的不同民族面部特征间也存在多样性.人脸民族特征的流形结构研究需要建立多民族数据库.本文将通过构建多民族人脸数据对中国人脸面部民族特征的内在规律进行研究, 对比体质人类学人脸面部特征的测量指标, 进而研究人脸民族特征.
1. 相关工作
流形学习分析人脸数据在高维空间中的低维流形是人脸识别和分析研究的热点之一.流形学习对数据进行结构学习, 产生可靠的嵌入投影, 将数据投射到低维的子空间表示, 去除冗余信息, 找到更为紧凑的本质特征表示方法.传统的流形线性子空间算法有主成分分析(Principal component analysis, PCA)[25]、线性判别分析(Linear discriminant analysis, LDA)[26]、独立成分分析(Independent component correlation algorithm, ICA)[27]、二维主成分分析(Two-dimensional principal component analysis, 2DPCA)[28]、二维线性判别分析(Two-dimensional linear discriminant analysis, 2DLDA)[29]等. Tenenbaum等提出两种流形学习算法, 局部线性嵌入(Locally linear embedding, LLE)和等距映射(Isometric feature mapping, Isomap)[30], 针对LLE方法矩阵分解的不稳定和对噪声敏感等缺点, 拉普拉斯特征映射(Laplacian eigenmaps, LE)[31]理论于2003年被Belkin团队提出, 该方法是在谱分析理论的基础上发展起来的.由于LLE和LE等非线性降维方法没有显式地给出映射关系, 只能得到训练样本的低维嵌入, 难以获得新样本点的低维投影, 于是He等给出了局部保持投影(Locality preserving projection, LPP)[32-33]的概念, 它是LE的线性化推广.因为LLE和LE具有一样的不足, He团队又针对LLE进行改进, 这才有了近邻保持嵌入(Neighborhood preserving embedding, NPE)[34].詹德川等[35]在Isomap的基础上引入了集成学习方法, 利用坐标相关性来度量可视化效果.何力等[36]提出了从放大因子和延伸方向两个角度出发来讨论维数约简过程中样本点改变前与新形成的对应关系.曾宪华等[37] 2007年提出了基于人脑增殖学习原理的动态增殖流行学习算法. Chen等[38]在LPP的基础上进行二维推广, 提出一种二维局部保持投影(Two-dimensional neighborhood preserving embedding, 2DLPP)算法, 直接在二维矩阵上从行方向执行维数约简操作. 2011年, 张大明等[39]把NPE拓展到二维, 即二维近邻保持嵌入(Two-dimensional neighborhood preserving embedding, 2DNPE)算法, 解决了NPE可能遭遇奇异值的问题.
流形学习不仅可作为人脸识别的特征分析方法, 还被用于人脸年龄和表情的语义分布结构内在规律研究[40-43], 在人脸的年龄流形研究中, Guo等在2008年对人脸年龄流形结构进行研究[43], 实验表明不同年龄呈现流形结构, 如图 2(a)所示, 在0 ~ 45岁人脸呈现均匀的流形分布, 60岁以上样本流形结构分布较为混杂; 在人脸的面部表情流形研究中, 文献[42]在Frey人脸表情库[44]上执行Isomap, 中性表情、高兴的正表情和不高兴的负表情依次在个体流形呈现如图 2(b)的低维空间结构不同个体的人脸表情图像会形成不同的表情流形.续爽等在图嵌入的框架下分析人脸表情子空间, 将分散于高维图像空间中的6个个体表情流形都统一到低维子空间内的一个流形上, 如图 2(c)所示, 证实了来自不同个体的表情数据按表情的语义流形分布[45].
图 2 人脸年龄和表情属性的流形语义分布Fig. 2 Semantic distribution of age and facial expression attributes中国人类学学者已经通过人体测量学对我国不同民族进行了面部特征研究, 进而分析各民族及族群的起源、进化和融合过程[46-47].随着数据采集设备不断发展, 以人脸的二维和三维形状分析为基础的形态测量学或人体测量学[48]及几何形态测量学[49]应运而生, 一些难以量化的非线性测量指标, 例如不规则形状的角度、曲度、面积都可以通过相关采集设备进行计算获得相应数据.利用人脸特征点定位可以准确获得人脸各种几何特征数据, 基于人脸图像和三维模型的人脸几何形态测量学成为分析人脸的重要途径之一[50].本文构建了中国分布不同区域的三个民族的人脸数据集, 在此基础上, 结合人类学研究文献对广西壮族、吉林朝鲜族和新疆维吾尔族体质的面部特征研究总结出20个常用人脸面部几何特征, 如图 3所示.通过这20个人脸几何特征分析不同民族的低维流形空间结构.这20个人脸几何特征包括面宽$(x_{1})$、下颌宽$(x_{2})$、形态面高$(x_{3})$、额头高$(x_{4})$、容貌面高$(x_{5})$、鼻宽$(x_{6})$、嘴宽$(x_{7})$、两眼外宽$(x_{8})$、眼裂宽$(x_{9})$、鼻高$(x_{10})$、两眼内宽$(x_{11})$、下脸高$(x_{12})$、眉周长$(x_{13})$、眼周长$(x_{14})$、鼻周长$(x_{15})$、嘴周长$ (x_{16})$眉面积$(x_{17})$、眼面积$(x_{18})$、鼻面积$(x_{19})$、嘴面积$(x_{20})$.
人脸特征数据集表示为${\{ x_{1}, x_{2}, \cdots, x_{n}\}}$, 每一张人脸图像的几何特征数据可以表示为${ x_{i}\in {\bf R}^{D}}$, D代表每个图像的特征数量.假设${\{ x_{1}, x_{2}, \cdots, x_{n}\}}$实际是一种$d$维的流形结构$M$嵌入到${{\bf R}^{D}}$空间中, 其中${(d\ll D)}$, 那么, 就有可能找到一组新的低维数据${\{ y_{1}, y_{2}, \cdots, y_{n}\}}$来表示这组人脸几何特征数据集, 其中${y_{i} \in {\bf R}^{D}}$.如图 4所示, 其中深色代表朝鲜族, 中浅色代表维吾尔族, 浅色代表壮族.本文将人脸数据库中的3个民族按性别分为2组, 图 4(a)为男性组, 图 4(b)为女性组, 分散于Laplacian[51]和LPP[52]流形结构.
图 4 壮族(浅色)、维吾尔族(中浅色)、朝鲜族(深色)男女流形结构Fig. 4 Male and female manifold structure of three ethnies (Zhuang, Uygur, Korean)如图 4所示, 在体质人类学指标体系下, 3个民族数据集Laplacian拉普拉斯和LPP流形空间数据分布混杂在一起, 不同民族数据样本没有形成各自民族语义的子流形结构.主要由于体质人类学测量指标在主要人脸的器官及各个器官相对位置定义的几何特征维度较低, 没有有效刻画民族的人脸几何特征, 这些指标特征没有能够描述不同民族群体人脸特征差异性.因此未形成相应的民族语义子流形.课题组前期在人类学指标体系下对我国几个少数民族进行研究, 利用AFS概念语义化在人类学指标体系下抽取人脸语义特征进行分析研究, 也发现体质人类学指标对于民族属性识别率较低.因此本文主要探索以下两个问题: 1)中国各民族人脸特征是否存在按民族语义分布的子流形结构. 2)人脸中的哪些几何特征能够刻画人脸的民族属性.
本文将利用中国3个民族人脸数据特征研究不同民族语义流形结构.
2. 多民族人脸数据集
本文为研究中国各民族的人脸特征, 根据区域分布选取3个民族建立数据集.如表 1所示, 中国百万以上人口的民族及其地理位置, 选取位于东北、西北和南部的3个民族进行分析, 主要由于位于较远不同地域的民族区分度较大, 同一区域内的民族可能会由于人口流动造成数据区分度较小.
民族 人口数量 人口比例(%) 地理位置 壮族 16 926 381 1.27 广西 维吾尔族 10 069 346 0.76 新疆 朝鲜族 1 830 929 0.14 吉林 本文采集了我国分布较远的3个民族, 位于广西的壮族、新疆的维吾尔族和吉林的朝鲜族作为数据集[54]. 3个民族的地理分布如图 5所示.
每个民族采集100人, 其中男、女各50人, 从高校各民族本科生采集, 采集对象年龄集中于18 ~ 22岁, 可以降低年龄因素对民族特征的影响.
为了准确采集中国多民族人脸数据库.实验室采用如图 5所示的篮箱系统和多机位相机对人脸进行采集.图 6为采集的3个民族人脸数据部分样本[54].本文公开采集的具有民族标记和人脸特征点的数据集为其他领域相关研究提供数据1.
1http://zs.dlnu.edu.cn/minzu300face.rar
3. 人脸特征点定位及相似度计算
人脸几何形态特征作为体质人类学分析民族特征的测量体系, 主要研究基础是基于颅面的测量.其他指标, 例如肤色纹理和颜色等易于受外界环境变化影响.此外, 基于图像的人脸民族几何特征与人体测量学既有联系又有区别.人类学建立于对于颅面几何特征精确测量, 而基于图像的人脸的特征点之间的像素点距离进行计算, 不是实测的几何特征, 需要进行归一化, 而角度和比例特征不随人脸图像大小变化影响, 具有较好稳定性.要测量长度、角度或者比例特征依赖于对人脸重要特征点的精确定位算法.
本文采用Stasm算法对人脸进行标注[55].主要由于Stasm标注特征点相对较少, 这样生成的其他几何特征相对规模较小.如图 7所示, 共77个特征点以及特征点标定的位置.
4. 人脸高维几何特征筛选
人脸包含高维的几何特征.人脸特征维度图示如图 8所示.一张480像素× 640像素的人脸包含像素特征30.72万个, 但由77个特征点会生成2 926个长度特征、21万余个角度特征、410万个比例特征和组成.比例特征远远高于人脸的像素特征.
设人脸特征点集合为$F={\left[l_{1}, l_{2}, \cdots, l_{n}\right]^{ \rm{T}}}$, $N$ = $77, $其中长度特征为${d(l_{i}, l_{j})={\|l_{i} - l_{j}\|}^{2}}$, 角度特征为
$ \begin{align} {\beta}_{i}={{\arccos}}\frac{d({{l}}_{{i}}, {{l}}_{{j}})^{2}+d({{l}}_{{i}}, {{l}}_{{q}})^{2}-d({{l}}_{{j}}, {{l}}_{{q}})^{2}} {2\times d({{l}}_{{i}}, {{ l}}_{{j}})\times d({{l}}_{{i}}, {{l}}_{{j}})} \end{align} $
(1) 比例指数为
$ \begin{align} r=\frac{d({l}_{i}, {l}_{j})}{d({l}_{a}, {l}_{b})} \end{align} $
(2) 其中, ${\forall {l}_{i}, {l}_{j}, {l}_{a}, {l}_{b}\in\{ { l}_{1}, { l}_{2}, \cdots, {l}_{n}\}}$.
由于人脸结构基本上为左右对称, 因此几何特征存在大量冗余特征.本文采用LE和LLE流形算法, 对未筛选冗余特征的2 926维的长度数据集进行流形分析, 如图 9所示.
从图 9可以看出, 直接采用人脸全部长度特征进行流形分析, 不同民族样本流形分布混杂在一起, 没有形成各自民族的子流形结构, 主要由于人脸的相对左右对称存在大量冗余特征, 因此需要从高维的特征中筛选掉冗余特征.考虑到特征之间的相关性和冗余性, 本文利用基于空间搜索的最大相关最小冗余(Minimal redundancy maximal relevance, mRMR)算法[56-57]对几何特征进行筛选. mRMR算法使用互信息衡量特征的相关性与冗余度, 并使用信息差和信息熵两个代价函数寻找特征子集, 其基本思想是基于互信息的最大统计依赖准则来获得较好的特征. mRMR算法中最大相关和最小冗余定义为
$ \max\{{D}({F}, {c}), {D}\}=\frac{1}{|{F}|}\sum\limits_{{x}_{i}\in{S}}{I}({ f}_{r}, {c}) $
(3) $ \max\{{R}({F}), {R}\}=\frac{1}{|{F}|^{2}}\sum\limits_{{f}_{r}, {f}_{0}\in{ F}}{I}({f}_{r}, {f}_{0}) $
(4) 其中, $F$为人脸几何特征, $c$为样本民族属性类别, ${{I}({f}_{r}, { c})}$表示特征${{f}_{r}}$与类别$c$之间的互信息, ${{I}({f}_{r}, { f}_{0})}$表示特征${{f}_{r}}$与特征${{f}_{0}}$之间的相互信息.
给定两个随机变量${x}$和${y}$, 设它们的概率密度分别为${p(x)}$, ${p(y)}$和${p(x, y)}$, 则它们之间的互信息定义为
$ \begin{align} {{I}{({x}, {y})}}=\iint p(x, y) {\rm log}\frac{{p}{({x}, {y})}}{{p}{({x})}{p}{({y})}}{\rm d}x{\rm d}y \end{align} $
(5) mRMR算法利用下式作为评价函数进行特征子集的选择.
$ \begin{align} \begin{cases} \max\phi _{1}\left ( D, R \right ), &\phi _{1}=D-R\\ \max\phi _{2}\left ( D, R \right ), &\phi _{2}= \dfrac{D}{R} \end{cases} \end{align} $
(6) 由于人脸几何特征数据维度较高, 传统数据库只适用于特征维度较低的数据集.本文采用mongoDB数据库, 将维度较高的角度与比例特征数据进行存储.实验中, 为了提高算法效率将219 450个角度特征切分22个独立数据集分别利用mRMR进行筛选, 每个数据集包含角度特征9 975个; 将4 279 275个比例特征分为455个独立的数据集, 每个数据集包含比例特征9 405个, 如表 2所示筛选的几何特征.
表 2 筛选的几何特征Table 2 The selected geometric features长度几何特征 角度几何特征 比例几何特征 特征维度 2 926 219 450 4 279 275 筛选后特征维度 195 250 500 长度特征在mRMR特征权重值$score\geq 0$条件下, 筛选出195个距离特征; 在角度数据集分割为22个独立的子数据集, 从每个子数据集特征权重$score$ $>$ $0.23$的特征, 共筛选出1 535个角度特征, 合并1 535个角度特征形成新数据集继续进行筛选, mRMR权重$score\geq 0$条件下, 筛选出250个角度特征; 在455个的比例子数据集, 本文利用mRMR分别对每个子数据集根据权重$score\geq 0.23$的标准共筛选出7 124个比例特征, 再利用筛选出的7 124个比例特征形成新数据集继续进行计算, 最终在权重$score\geq 0$条件下, 筛选出500个比例特征.
根据图 10中的多民族人脸流行分析流程, 本文从mRMR对人脸特征筛选特征中构建3个民族人脸长度数据集、角度数据集和比例数据集, 进而利用流形分析方法对不同数据集的样本空间结构进行可视化, 并验证在该特征指标下是否不同民族人脸在空间中存在民族语义的子流形结构, 进而用分类器验证筛选后特征的有效性.
5. 不同几何特征下的人脸流形分析
本节对长度、角度及比例特征类别下的5个不同特征集合的数据集进行流形分析, 观察和研究不同特征指标体系下的人脸民族的样本空间流形结构.
5.1 多民族人脸长度特征流形分析
人脸几何长度一直是体质人类学分析民族和族群的重要指标, 77个特征点包含2 926个长度特征. 图 4的实验数据表明, 在体质人类学的人脸几何测量指标中, 不同族群样本集中在低维空间子流形结构.由于其中含有冗余的长度特征, 因此本文利用mRMR筛选出195个特征长度, 构建包含3个民族人脸数据样本的数据集.
从2 926个特征中筛选出来的195个几何长度特征, 按权重进行排序.本文将每个长度的特征权重根据Score分为5部分: [0.15, 0.452), [0.10, 0.15), [0.05, 0.10), [0.01, 0.05), (0, 0.05), 将前4个不同权重范围的长度特征区域在表 3进行显示, 并与人类学的指标进行对比, 其中字体加粗的鼻宽、鼻高、唇厚、口裂宽存在于筛选出的195个长度特征之中.
表 3 mRMR筛选的4个权重范围的长度特征Table 3 The selected distance-based features by mRMR权重 权重区域特点 1 眼裂宽度、眉眼距离、眉与鼻翼距离、鼻翼长度特征 2 眉毛各长度特征、额头宽度、鼻翼与眼内角距离、下唇厚度 3 更为精细的鼻部和嘴部几何长度特征 4 嘴部与眉尖距离, 嘴部与下颚距离, 眉与耳朵距离 人类学常用指标体系 头长、头宽、面宽、鼻宽、鼻高、唇厚、口裂宽、内眼角宽、外眼角间距、内眼角间距、颧间宽、下颌长度、下颌角间距 为了更为直观分析影响这些通过mRMR筛选的人脸几何长度的语义特征, 本文将4个权重范围特征在人脸进行可视化.一类权重用19个距离特征点表示, 二类权重用37个距离特征点表示, 三类权重用63个距离特征点表示, 四类权重用65个距离特征点表示, 如图 11所示.通过4个不同权重区间的长度可以观察到, 如图 11(a)和图 11(b)所示, 眉毛、眼睛和鼻子组成的T形区域的长度特征与人脸的民族特征语义相关性较强.特征描述从T形区域延伸到嘴部区域.主要表现在上唇和下唇的长宽相关性较强, 这与人类学常用指标一致.
从图 11和表 3可以看出, 1)筛选出的权重较高, 人脸长度特征与人体测量学对民族研究指标略有不同.其中人体测量学只有4个指标与mRMR算法得到的长度指标相同, 其余指标没有包含在195个筛选特征集合中; 2)与民族相关的人脸特征主要集中于眉眼区域和鼻翼区域, 以及眉、眼睛和鼻部三者之间的距离长度; 3)脸型与民族特征相关性较差, 除脸型周围的特征点集合中除脸部标记耳部特征点被作为与眉部被选取外, 表明脸型的颧骨周围特征点及长度都没有被选取; 4)鼻头部的精细长度与民族特征相关性较强, 在权重3的范围内, 鼻部区域的各种长度特征被更为精细的刻画, 而这鼻头部的各种几何特征度量一致被研究忽视; 5)除传统人类学的鼻宽和额高, 在权重4的范围内, 嘴部区域与民族特征相关性较强, 主要表现在上唇和下唇的长宽相关性较强, 这与人类学常用指标一致.
通过mRMR从2 926个特征筛选195个长度特征, 本文对筛选后的数据集进行流形学习.如图 12所示, 采用LE拉普拉斯和LLE对数据进行流形分布可视化.其中深色代表朝鲜族, 中浅色代表维吾尔族, 浅色代表壮族, 都能在空间内形成与民族语义相关的子流形结构分布.
图 12 筛选长度特征数据集的流形结构Fig. 12 The illustration of ethnic manifold structure based on selected features按民族语义分布的子流形结构表明, 3个民族人脸数据集样本在长度筛选后的特征指标中能够形成各自相对独立的子流形分布结构.也验证了筛选后长度特征的有效性, 这些特征长度可以一定程度刻画不同民族的差异性.
5.2 多民族人脸角度特征流形分析
人脸角度特征点也是人脸几何特征之一.例如内外眼角角度表示眼睛的形状, 耳际点与下颚角度可以一定程度表示人脸长度比例等.人脸的角度特征不仅可以表示人脸单个部件器官内部的角度, 还可以表达人脸不同器官部件之间关系.在人脸77个特征点共包含219 450个角度特征.采用mRMR筛选多民族人脸数据集的角度间的相关性和冗余性, 并构建特征数据集进行流形分析.本文利用筛选后的角度特征通过角点和特征区域对4个权重角度的角点及其相关点集进行描述, 如表 4所示, 并对其中特征区域进行说明.
表 4 mRMR筛选的4个权重范围的角度特征Table 4 The selected angle features by mRMR权重 角点 权重区域特点 1 眉尖点 眉毛与内眼角点和鼻根部形成的角度关系 2 鼻根点, 眉尖点, 形成鼻翼与鼻眼角度关系热区, 耳位置点 通过角度度量眉眼距离关系 3 眉、眼角点 眼裂角度, 眉眼之间角度关系, 鼻翼角度关系 4 眉和嘴部 更为精细的眼鼻嘴之间定位关系 为进一步刻画不同权重角度特征, 找出能区分人脸民族属性的角度特征, 本文对不同权重角度特征进行可视化, 如图 13所示.从这些角度特征中选取出250个权重较高的角度特征, 每个角度特征可用上述距离特征(边)之间的夹角表示, 并根据权重大小分为4个不同权重范围的角度特征.三角着色的"热区"是该区域角度都是权重较高的角度特征.
图 13和表 4表明, 权重较高与民族特征相关的人脸角度特征主要是眉、眼、鼻三者之间的布局关系, 人脸局部角度特征集中于眼睛开裂角度和鼻翼角度.分析结论与人脸的长度特征计算出的民族特征显著区域基本一致.
本文采用传统的PCA和LDA对角度进行流形分析. PCA是1986年Jolliffe提出的线性降维技术.线性判别式分析LDA, 也叫做Fisher线性判别. FLD由Belhumeur于1996年引入人工智能领域, 其基本思想是将高维的样本投影到最佳鉴别矢量空间, 从而可以达到抽取分类信息、压缩特征空间维数的效果.
采用PCA和LDA对多民族人脸角度分析结果如图 14所示, 角度的3个主分量张成到3维空间进行显示. 3个民族的人脸数据在筛选后的民族语义描述下分布清晰, 各个民族人脸角度主分量形成了按民族语义的流形结构.其中也可以发现不同民族之间也存在模糊性的样本, 这也表明人脸的民族属性具有一定的模糊隶属关系.
5.3 多民族人脸几何指数特征(比例特征)分析
人类学采用指数特征对人脸进行描述.人体测量中的指数是两种测量绝对值之间的百分比关系.由于指数反映的是人体形态上的某种比例关系, 与绝对值特征相比, 能够较好排除因个体差异带来的比较误差, 因此, 在人类学群体间的比较研究中具有更为重要的意义.不同民族的各种人脸指数特征同各种绝对测量一样, 也存在着相当大的变异范围.人类学家根据指数的变异范围, 将指数区分为若干等级进行研究比较[58-59].
体质人类学关于人脸研究定义了18个比例指数特征, 其中15个在正面人脸, 其他3个在颅侧面.正面15个指数特征如表 5所示.
表 5 体质人类学定义的15个正脸指数Table 5 The 15 Physical anthropological definition of 15 frontal face index序号 指数特征名称 1 头宽高指数 2 额顶宽指数 3 头面宽指数 4 形态面指数 5 形态上面指数 6 容貌面指数 7 颧下颌宽度指数 8 颧额宽指数 9 容貌上面指数 10 额面指数 11 容貌上面高 12 头面高指数 13 鼻指数 14 鼻宽深指数 15 唇指数 本文首先利用这15个体质人类学定义的指数比例特征构建数据集, 验证这些指标能否表达不同民族的人脸差异, 因此通过Laplacian和Isomap对数据进行流形分析, 流形分布如图 15所示.
图 15 壮族(浅色)、维吾尔族(中浅色)、朝鲜族(深色)男女流形结构Fig. 15 The male and female manifold structure of the Zhuang (light), Uygur (middle light) and Korean (dark)图 15表明, 体质人类学比例指数的流形分布按各民族语义形成了一定程度子流形结构, 例如女性的Laplacian流形分布中的深色朝鲜族和浅色的壮族形成了较为完整的流形结构, 而男性的维吾尔和壮族较难区分.在Isomap流形结构中, 男性和女性的流形分布形成了类簇, 但是深色朝鲜族与中浅色维吾尔族数据混杂在一起, 没有形成明显边界的类簇.需要指出, 人体测量学定义了15个正脸指数特征, 而一张包含77个特征点的人脸共包括4 279 275个指数特征.
本文采用mRMR对人脸比例特征进行权重分析, 从427万多个比例特征中找出能够区分民族属性的比例特征.因为数据维度较高, 将数据高维指数特征按维度分为455个独立的子数据集, 利用mRMR对每个子数据集根据$score\geq 0.23$的标准共筛选出7 124个比例特征, 再利用筛选出的7 124个比例特征形成新数据集合并进行计算, 最终在权重$score\geq 0$条件下, 筛选出500个比例特征.
如图 16所示, 根据权重大小将部分权重较高的比例特征分为4个不同权重范围的比例特征刻画在人脸上.每个图的同一颜色代表一对长度组成的比例指数特征.
从图 16可以看出, 眼裂宽度、眉眼距离、鼻翼长度、鼻翼与眼内角距离以及鼻翼与眉毛距离等在每类权重特征中都出现, 额宽、眼睛到嘴部距离出现频率也较高, 说明这些特征对区分民族有重要作用.为提供详细的人脸指数特征说明, 本文给出了权重较高的15个指数特征, 如表 6所示.
表 6 不同权重的比例特征Table 6 The index features with different weight序号 权重区域特点 权重值 (眼裂高度) / (眉眼距离) 0.329 1 (眼裂高度) / (鼻翼与眉毛距离) 0.362 (鼻翼与眉毛距离)/ (嘴部与眉尖) 0.312 (鼻翼与眼内角点距离) / (额头高度) 0.35 (眼裂高度) / (鼻翼与眉毛距离) 0.302 2 (鼻翼长度) / (眉眼距离) 0.302 (眉眼距离) / (眉毛与鼻翼距离) 0.301 (鼻翼长度) / (眉毛与嘴部距离) 0.302 (眼裂高度) / (鼻翼与眉毛距离) 0.30 3 (鼻翼与眼内角点距离) / (额头高度) 0.294 (鼻翼距离) / (嘴巴与眼外角点距离) 0.297 (眉间距) / (鼻翼与眼内角距离) 0.297 (眼裂高度) / (鼻翼与眼内角点距离) 0.274 4 (眉毛与上唇距离) / (眉毛与下唇距离) 0.283 (鼻翼长度) / (眼睛与下颌距离) 0.281 本文利用筛选的500个指数特征构建数据集进行流形分析.采用PCA、LDA、LE和LPP方法比例进行维数约减流形分析, 如图 17所示.可视的三维流形空间中3个民族的人脸比例数据分布清晰, 各个民族的比例特征同样可以形成各自的聚类簇.采用拉普拉斯和LPP方法对数据进行流形分布可视化后, 呈现了与民族语义相关的子流形结构分布, 其中深色代表朝鲜族, 中浅色代表维吾尔族, 浅色代表壮族.
5.4 多民族人脸几何混合特征流形分析
人脸包含长度、角度、指数(比例)特征, 这些特征都可以形成各自对民族几何特征语义描述.为探究三类特征中哪一类特征更重要, 本文将三类特征混合形成数据集进行分析.
将250个长度特征、500个角度特征和500个人脸比例特征进行混合, 利用mRMR筛选了51个$score$ $>$ $0$的特征.其中长度、角度和比例特征的占比分别为0 %, 14.6 %, 85.4 %.总结了区分民族特征的重要指标51个, 如表 7所示.给出了类型(角度或指数比例)、权重值及其详细的人脸特征点计算公式.
表 7 长度、角度筛选出的51个人脸几何特征Table 7 The selected 51 geometric features from distance-based and angular attributesID 类型 详细 权重 ID 类型 详细 权重 1 I (49, 57)/(22, 7) 0.669 27 I (39, 43)/(7, 22) 0.299 2 I (35, 47)/(23, 51) 0.362 28 I (49, 69)/(34, 72) 0.296 3 I (37, 51)/(16, 24) 0.35 29 I (22, 73)/(21, 64) 0.298 4 I (39, 43)/(22, 36) 0.329 30 I (49, 52)/(15, 7) 0.296 5 I (50, 71)/(33, 60) 0.33 31 I (35, 47)/(28, 51) 0.298 6 I (49, 52)/(5, 17) 0.312 32 I (25, 50)/(21, 27) 0.292 7 I (22, 76)/(21, 54) 0.312 33 I (37, 51)/(14, 19) 0.294 8 I (51, 59)/(22, 45) 0.302 34 A ∠(21, 55, 26) 0.289 9 I (31, 35)/(37, 51) 0.305 35 I (39, 43)/(28, 51) 0.287 10 A ∠(51, 59, 27) 0.311 36 I (49, 52)/(22, 38) 0.289 11 I (39, 43)/(20, 58) 0.302 37 I (49, 76)/(35, 72) 0.289 12 I (37, 59)/(14, 22) 0.302 38 I (50, 52)/(22, 60) 0.286 13 I (17, 36)/(23, 50) 0.302 39 I (35, 47)/(23, 50) 0.287 14 I ∠(31, 22, 33) 0.297 40 I (49, 52)/(7, 35) 0.287 15 I (49, 52)/(60, 74) 0.304 41 I (22, 53)/(21, 50) 0.284 16 I (50, 55)/(17, 55) 0.301 42 I (50, 70)/(33, 60) 0.285 17 I (18, 21)/(33, 49) 0.302 43 A ∠(17, 49, 21) 0.285 18 I (35, 60)/(21, 54) 0.305 44 I (37, 51)/(16, 24) 0.285 19 I (39, 43)/(23, 51) 0.303 45 I (37, 51)/(16, 24) 0.282 20 I (37, 51)/(18, 25) 0.301 46 A ∠(51, 25, 59) 0.283 21 I (22, 73)/(21, 76) 0.347 47 A ∠(35, 29, 49) 0.284 22 I (49, 52)/(24, 66) 0.303 48 I (49, 57)/(22, 43) 0.282 23 I (49, 57)/(14, 22) 0.302 49 I (39, 43)/(19, 49) 0.282 24 I (50, 57)/(29, 61) 0.296 50 A ∠(21, 49, 25) 0.281 25 A ∠(21, 36, 22) 0.299 51 I (31, 35)/(24, 51) 0.279 26 A ∠(22, 60, 50) 0.298 注: I代表长度, A代表角度 从表 7可以看出, 1)人脸长度特征对于民族特征影响较小, 这与我们的认知相符.例如, 各民族未成年的人脸与成年人脸虽然长度特征相差较大, 但人可以很快识别其族群, 可见人脸的长度特征对于人脸的民族特征影响较小; 2)指数(比例)特征占比远大于角度特征, 数量比为5.8倍.本文对表 7中的角度和比例特征中的顶点和边按频度进行统计, 并标记其在人脸的区域位置, 得到如表 8所示边和点的支持度.
表 8 混合指标中的特征边与点的频繁项集Table 8 The frequent itemsets of the characteristic edge and point in the mixed attributesID 边 支持度 说明 ID 点 支持度 部位 1 39 ~ 43 6 眼裂 1 22 16 眉 2 49 ~ 52 6 鼻翼长度 2 49 16 鼻 3 37 ~ 51 4 鼻眼距离 3 51 14 鼻 4 35 ~ 47 3 眼裂 4 21 11 眉 5 49 ~ 57 3 鼻翼宽度 5 50 10 鼻 6 22 ~ 73 2 眉嘴距离 6 35 9 眼 7 31 ~ 35 2 眼裂 7 37 7 眼 8 14 ~ 22 2 额头高度1 8 43 7 眼 9 16 ~ 24 2 额头高度2 9 52 7 鼻 10 21 ~ 54 2 眉鼻距离1 10 39 6 眼 11 23 ~ 50 2 眉鼻距离2 11 24 5 眉 12 23 ~ 51 2 眉鼻距离3 12 57 4 鼻 13 23 4 眉 14 31 3 眼 15 46 3 眼 16 14 3 额头 17 16 3 额头 18 73 2 嘴 19 54 2 鼻 从表 8可以看出, 最为频繁出现的是眼裂和鼻翼相关信息, 如图 18所示.其中鼻部和眼部特征点占比64 %, 加上眉部占比超过85 %.说明在中国三个民族数据样本中, 区分度较大区位为鼻部和眼部信息, 这些部位反映了更多的民族特征信息.
由于混合特征中比例特征占比较高, 本文得出如图 19所示的混合特征下的流形结构, 可见其分布与指数特征数据集基本一致, 但更为清晰.这个研究表明人脸比例属性是描述人脸民族特征的重要指标, 长度和角度对于人脸民族的特征语义表述权重较小, 但融入一些比例无法描述的角度特征可以让人脸民族刻画的更为准确.
5.5 实验分析
采用分类器对筛选的数据集进行分析, 主要利用不同分类器通过对人脸的族群判别的各种分类指标来验证筛选出的不同人脸几何特征的有效性.将采集到的维吾尔族、壮族和朝鲜族的人脸图像, 经过图像预处理、特征点定位、几何特征计算、特征选择等步骤, 最终建立传统20个长度特征(A数据集), 筛选的195个几何长度特征(B数据集)、250个几何角度特征(C数据集)、250个比例指数特征(D数据集)和有三种特征筛选出的51个混合特征数据集(E数据集)共5个数据集, 将每个测试结果按性别指标较好的前两项粗体标注.其中交叉验证为10折, 取各指标在交叉验证中的平均值.未验证性别对民族特征的有效性, 每个数据集按性别拆分为两个数据集, 采用不同的模式分类方法对其进行分类与预测, 进而验证特征的有效性.类别为3个民族标记, 维吾尔族、壮族和朝鲜族.
实验硬件环境: Intel(R) Core(TM) i7-4770 CPU, 8GB内存; 软件环境:操作系统Win7;实验工具: Weka version 3.6[60].
为便于比较各模型的性能, 定义TP Rate、FP Rate、查准率(Precision)、查全率(Recall)、F-Measure、AUC (Area under curve)等[61]指标汇总信息.对于多分类问题, 计算指标值时, 假设${Y}$ = $\{{y}_{1}, {y}_{2}, \cdots, { y}_{n}\}$是数据集的类标号集合, 首先需将多分类问题分解成$k$个二分类问题, 为每一个类${ y}_{1}$ $\in$ ${y}$创建二类分类器, 其中所有属于${{ y}_{i}}$的样本都被看作正类, 而其他样本被看作负类. TP代表被分类模型正确预测的正样本数, FN代表分类模型错误预测为负类的正样本数, FP代表被分类模型错误预测为正类的负样本数, TN代表被分类模型正确预测的负样本数.分类器的分类效果越好, 它所对应的TP值就越高, FP越低.
$ \begin{align} TP_{\rm Rate}= \frac{TP}{TP+FN} \end{align} $
(7) 式(7)表示正确分类正样本的比例.
$ \begin{align} FP_{\rm Rate}=\frac{FP}{FP+TN} \end{align} $
(8) 式(8)代表错误分类负样本的比例.
$ \begin{align} Recall=\frac{TP}{TP+FN} \end{align} $
(9) 式(9)代表被判定为正确分类的正类样本数占所有被正类的样本数的比例.
$ \begin{align} Precision=\frac{TP}{TP+FP} \end{align} $
(10) 式(10)代表被正确分类的正类样本数占所有被判定为正类的样本数的比例.
AUC被定义为ROC曲线下的面积, 也可以认为是ROC曲线下面积占单位面积的比例, AUC的取值范围在0.5 ~ 1之间. AUC更大的分类器效果更好. F-Measure又称为F-Score, 是一种统计量, 常用于评价模型的好坏.
$ \begin{align} {F}{\rm -}{Measure}=\frac{2\times Precision\times Recall}{Precision+Recall} \end{align} $
(11) 分类正确率为
$ \begin{align} Accuracy=\frac{TP+TN}{TP+FN+FP+TN} \end{align} $
(12) 首先采用J48分类算法进行实验[62], 设置剪枝的阈值0.25, 实验结果如表 9所示, 混合特征数据集分类器指标高于其他数据集; 其次不同民族男性和女性的角度特征数据集分类效果高于比例特征数据, 长度特征数据集指标较差.
表 9 J48交叉验证学习后结果指标Table 9 J48 cross validation results after feature learningDataSet Sex TP Rate FP Rate Precision Recall F-Measure AUC A M 0.753 0.123 0.753 0.753 0.753 0.814 B M 0.833 0.083 0.834 0.833 0.833 0.879 C M 0.92 0.04 0.921 0.921 0.921 0.935 D M 0.90 0.05 0.902 0.9 0.90 0.935 E M 0.96 0.02 0.96 0.96 0.96 0.975 A F 0.727 0.137 0.725 0.727 0.724 0.775 B F 0.773 0.113 0.776 0.773 0.773 0.863 C F 0.813 0.093 0.814 0.813 0.812 0.853 D F 0.767 0.117 0.765 0.767 0.764 0.844 E F 0.813 0.093 0.818 0.813 0.814 0.888 决策树J48提供的规则集可以更好理解人脸的民族特征语义描述.本文从不同数据集J48决策树中抽取其识别率最高的决策树, 如图 20所示.
图 20 不同指标下的民族判别决策树Fig. 20 Ethnic classification decision trees with different indicators从不同类型特征的决策树可以得到:长度数据集决策树为4层9条规则, 角度数据集为3层5条规则, 指数比例数据集有3层4条规则.可见角度数据集和比例数据集的决策树信息表达较优, 层数均为3.从规则条数看, 比例数据规则条数最为精简, 而且比例指数数据集仅依靠4条分类规则就可以得到高于其他特征数据集的交叉验证的平均准确率.可见人脸的比例特征数据可以更好地对人脸特征进行描述.
本文利用Naive Bayes进行分类实验[63], 如表 10所示, 其中Naive Bayes采用K2搜索算法, 估计方法采用Simple estimator, 男女混合特征数据集指标结果最好, 男性比例特征数据集分类指标相对较好, 女性角度数据集分类指标优于比例特征数据集结果.
表 10 Naive Bayes实验结果Table 10 Naive Bayes experimental resultsDataSet Sex TP Rate FP Rate Precision Recall F-Measure AUC A M 0.82 0.09 0.821 0.82 0.82 0.927 B M 0.90 0.05 0.903 0.90 0.901 0.96 C M 0.96 0.02 0.96 0.96 0.96 0.993 D M 0.967 0.017 0.968 0.967 0.967 0.992 E M 0.973 0.013 0.974 0.973 0.973 0.999 A F 0.773 0.113 0.779 0.773 0.772 0.882 B F 0.753 0.123 0.755 0.753 0.750 0.902 C F 0.893 0.053 0.894 0.893 0.893 0.947 D F 0.887 0.057 0.889 0.887 0.887 0.956 E F 0.92 0.04 0.921 0.92 0.92 0.979 表 11为Naive Bayes算法分类实验[64]结果, 混合指标数据集各个指标在不同性别均最好, 男性比例特征数据集分类指标与角度数据集分类指标基本相当, 女性数据集比例特征数据集分类指标高于角度数据集.
表 11 Bayes network实验结果Table 11 Bayes network experimental resultsDataSet Sex TP Rate FP Rate Precision Recall F-Measure AUC A M 0.793 0.103 0.793 0.793 0.793 0.923 B M 0.893 0.053 0.897 0.893 0.894 0.962 C M 0.967 0.017 0.967 0.967 0.967 0.995 D M 0.967 0.017 0.967 0.967 0.967 0.992 E M 0.967 0.017 0.967 0.987 0.987 1.0 A F 0.733 0.133 0.735 0.733 0.734 0.883 B F 0.767 0.117 0.766 0.767 0.766 0.898 C F 0.887 0.057 0.888 0.887 0.887 0.951 D F 0.900 0.05 0.901 0.9 0.9 0.964 E F 0.913 0.043 0.914 0.913 0.913 0.983 表 12为RBFNetwork分类实验结果[65], 其中随机种子数为1、最低标准偏差为0.1, 混合指标数据集各个指标在不同性别均最好, 男性比例特征数据集分类指标相对较好, 女性角度数据集在5项指标除AUC外其他指标好于比例特征数据集.
表 12 RBF network实验结果Table 12 RBF network experimental resultsDataSet Sex TP Rate FP Rate Precision Recall F-Measure AUC A M 0.773 0.113 0.775 0.773 0.773 0.871 B M 0.913 0.043 0.915 0.913 0.914 0.947 C M 0.967 0.017 0.967 0.967 0.967 0.978 D M 0.973 0.013 0.974 0.973 0.973 0.976 E M 0.993 0.003 0.993 0.993 0.993 0.994 A F 0.753 0.123 0.753 0.753 0.753 0.866 B F 0.807 0.097 0.805 0.807 0.805 0.904 C F 0.900 0.050 0.900 0.900 0.900 0.937 D F 0.893 0.053 0.893 0.893 0.893 0.943 E F 0.907 0.047 0.909 0.907 0.907 0.94 表 13和表 14是SVM的两种不同实现算法分类结果. 表 13采用Weka的LibSVM类库分类实验[66], 其中分类类型C-SVC, 核函数类型${{\rm e}^{-r\left | u-v \right |^{2}}}, $核函数中的${degree} = 3$, 核函数中的${{coef}_{0}} = 0$, ${cachesize}$ = 40 MB.不同男性的混合特征数据集与比例数据集分类指标基本相同, 女性混合特征要优于比例特征数据集.
表 13 SVM中LibSVM实验结果Table 13 SVM in LibSVM experimental resultsDataSet Sex TP Rate FP Rate Precision Recall F-Measure AUC A M 0.773 0.113 0.775 0.773 0.772 0.83 B M 0.82 0.09 0.823 0.82 0.823 0.865 C M 0.86 0.07 0.858 0.86 0.857 0.895 D M 0.933 0.033 0.934 0.933 0.933 0.95 E M 0.953 0.023 0.953 0.953 0.953 0.965 A F 0.733 0.133 0.752 0.733 0.734 0.8 B F 0.720 0.14 0.758 0.72 0.713 0.79 C F 0.667 0.167 0.715 0.667 0.608 0.75 D F 0.860 0.07 0.862 0.86 0.859 0.895 E F 0.92 0.04 0.922 0.92 0.92 0.94 表 14 SVM中SMO实验结果Table 14 SVM in SMO experimental resultsDataSet Sex TP Rate FP Rate Precision Recall F-Measure AUC A M 0.893 0.053 0.895 0.893 0.893 0.944 B M 0.967 0.017 0.967 0.967 0.967 0.982 C M 0.967 0.017 0.967 0.967 0.967 0.983 D M 0.973 0.013 0.974 0.973 0.973 0.985 E M 0.973 0.013 0.973 0.973 0.973 0.985 A F 0.867 0.067 0.868 0.867 0.867 0.922 B F 0.907 0.047 0.907 0.907 0.907 0.947 C F 0.907 0.047 0.907 0.907 0.907 0.943 D F 0.933 0.033 0.934 0.933 0.934 0.965 E F 0.953 0.023 0.954 0.953 0.953 0.97 同时本文还采用了Weka中的独立的SMO (Sequential minimal optimization)[67]算法进行分类实验, SMO算法是一种用于解决SVM训练过程中所产生优化问题的算法.在SMO算法中, 核函数为多项式函数.
从表 14可以看出男性的混合特征数据集和比例特征数据集分类指标相同, 女性混合特征数据集略微优于比例特征数据集.
为观察不同数据集对特征数量的影响, 本文将特征属性按mRMR计算的权重$score$进行排序, 依次递增特征数量, 分析不同算法与特征个数的变化曲线, 如图 21所示.
图 21 不同类型特征增量下的准确率变化曲线Fig. 21 The recongnition rates comparison based on different types of features从图 21可以看出, 比例特征数据集的增量特征准确率变化曲线较为平缓.各个分类算法比例特征数据集抖动相对长度和角度变化较小.这也说明, 人脸几何特征中的比例特征能够更好帮助区分人脸的族群特征.
本文对比不同算法在不同数据集的交叉验证的平均准确率及方差, 如表 15所示.混合特征数据其平均准确率高于其他数据集, 方差也在较小范围波动.表明混合特征可以更加准确有效地作为人脸民族特征分析的指标.
表 15 SVM中SMO实验结果Table 15 SVM in SMO experimental results性别 J48 Naive Bayes BayesNet M(20长度特征) 80.00±1.83 89.33±1.04 79.30±1.62 M(195长度特征) 83.33±2.21 90.00±1.06 89.33±0.69 M(250角度特征) 92.00±1.05 96.00±0.55 96.70±0.85 M(400角度特征) 90.00±1.11 96.70±0.47 96.70±0.28 M(51混合特征) 96.00±0.55 97.33±0.21 98.67±0.53 F(20长度特征) 72.67±2.31 77.33±1.44 73.33±1.94 F(195长度特征) 77.33±1.51 75.33±1.21 76.67±1.20 F(250角度特征) 81.33±2.78 89.33±0.95 88.67±0.47 F(400角度特征) 76.67±2.51 88.67±0.55 90.00±0.38 F(51混合特征) 81.33±2.10 92.00±0.35 91.33±0.32 M(20长度特征) 77.33±2.17 89.33±1.65 77.33±1.03 M(195长度特征) 91.33±0.95 96.67±0.54 82.00±0.99 M(250角度特征) 96.70±0.85 96.70±0.56 86.00±0.32 M(400角度特征) 97.30±0.35 97.30±0.61 93.30±0.52 M(51混合特征) 99.33±1.25 97.33±0.49 95.33±0.49 F(20长度特征) 75.33±2.87 86.67±1.19 73.33±1.67 F(195长度特征) 80.67±1.14 90.67±1.29 72.00±1.43 F(250角度特征) 90.00±1.10 90.67±0.88 66.67±1.08 F(400角度特征) 89.33±0.85 93.33±1.30 86.00±0.73 F(51混合特征) 90.67±0.94 95.33±0.76 92.00±0.89 6. 结论
本文利用流形学习分析研究中国三个民族人脸几何特征, 分析分布规律和结构.首先从体质人类学采用的测量指标入手, 验证了传统经验构建的低维几何描述难以形成按不同民族语义特征描述的子流形结构.为了进一步研究人脸几何特征是否存在按民族语义分布的子流形结构, 本文扩充了人脸几何特征维度, 并利用mRMR算法对人脸中的冗余几何特征进行筛选, 在降维后的长度、角度和比例特征中分析不同民族人脸特征的流形结构, 实验结果表明, 民族人脸数据在子空间内可按民族语义形成流形结构, 且采用该指标体系可以有效地对不同民族人脸进行分类和识别.
本文的主要工作包括: 1)通过实验验证了人脸特征具有按民族语义分布的流形结构; 2)提出了一种筛选和分析不同民族人脸几何特征差异的算法框架; 3)提出了一套丰富和补充体质人类学指标的人脸民族几何特征测量指标集合.
本文研究得到以下人脸民族特征的数据结论: 1)人脸的比例特征相比于长度和角度是较为重要的人脸民族特征描述指标; 2)嘴部和脸型对于人脸民族特征影响较小; 3)眼部、鼻部和眉部区域对于人脸民族特征影响较大, 占85 %权重; 4)鼻翼和眉眼距是最为重要的人脸民族语义指标.
此外, 本文提出的多民族人脸特征分析和筛选及流形分析方法可以对其他不同民族人脸特征研究进行推广.人脸民族特征分析和体质人类学者可以根据这种方法来深入分析不同民族之间的差异特征, 并可以扩充数据集, 研究不同民族样本数据集下人脸几何特征的流形结构分布.
-
图 5 距离为1 455米处的白天坦克红外图像分割结果
Fig. 5 Segmentation results of tank infrared image taken in daytime with distance of 1 455 m
图 6 距离为1 199米处的白天坦克红外图像分割结果
Fig. 6 Segmentation results of tank infrared image taken in daytime with distance of 1 199 m
图 7 距离为936米处的白天坦克红外图像分割结果
Fig. 7 Segmentation results of tank infrared image taken in daytime with distance of 936 m
图 8 距离为573米处的白天坦克红外图像分割结果
Fig. 8 Segmentation results of tank infrared image taken in daytime with distance of 573 m
图 9 距离为446米处的白天坦克红外图像分割结果
Fig. 9 Segmentation results of tank infrared image taken in daytime with distance of 446 m
图 10 距离为1 611米处夜间坦克红外图像分割结果
Fig. 10 Segmentation results of tank infrared image taken at night with distance of 1 611 m
图 11 距离为1 251米处夜间坦克红外图像分割结果
Fig. 11 Segmentation results of tank infrared image taken at night with distance of 1 251 m
图 12 类距离为980米处夜间坦克红外图像分割结果
Fig. 12 Segmentation results of tank infrared image taken at night with distance of 980 m
图 13 距离为740米处夜间坦克红外图像分割结果
Fig. 13 egmentation results of tank infrared image taken at night with distance of 740 m
图 14 距离为353米处夜间坦克红外图像分割结果
Fig. 14 Segmentation results of tank infrared image taken at night with distance of 353 m
表 1 坦克目标距离及所占最大像素数
Table 1 The target distance and its maximum pixels
Daytime images Night images Fig. 5(a) Fig. 6(a) Fig. 7(a) Fig. 8(a) Fig. 9(a) Fig. 10(a) Fig. 11(a) Fig. 12(a) Fig. 13(a) Fig. 14(a) Target distance (m) 1455 1199 936 573 446 1 611 1 251 980 740 353 Target pixels 526 775 1 271 3 390 5 601 429 712 1 159 2 032 8 924 
下载: 导出CSV
表 2 算法分割精度对比(%)
Table 2 The segmentation accuracy comparison of different methods (%)
Images Standard Otsu method 2-D maximum entropy KFCM Proposed method Daytime Fig. 5(a) 0.25 76.57 85.93 96.01 Fig. 6(a) 0.26 0.28 98.19 91.54 Fig. 7(a) 0.90 0.91 97.47 99.69 Fig. 8(a) 62.08 98.08 94.09 97.08 Fig. 9(a) 78.68 96.17 89.40 98.51 Night Fig. 10(a) 0.09 0.09 95.26 99.57 Fig. 11(a) 71.84 73.26 66.81 86.23 Fig. 12(a) 0.59 79.35 0.81 99.91 Fig. 13(a) 0.68 0.67 0.76 99.89 Fig. 14(a) 7.10 54.93 99.92 96.98 Average 22.25 48.03 72.86 96.54
下载: 导出CSV
表 3 算法耗时对比
Table 3 The consuming time comparison of different methods
Images Standard Otsu method (ms) 2-D maximum entropy (ms) KFCM (ms) Proposed method (ms) Daytime Fig. 5(a) 1.42 4 260.79 27597.60 1.40 Fig. 6(a) 1.32 4 247.61 21 529.17 1.27 Fig. 7(a) 1.55 4 237.53 41 853.46 1.41 Fig. 8(a) 1.47 4 031.80 54170.71 1.39 Fig. 9(a) 1.36 4 158.24 52 666.22 1.29 Night Fig. 10(a) 1.44 4 375.39 21 598.83 1.40 Fig. 11(a) 1.64 4 521.92 26614.01 1.40 Fig. 12(a) 1.43 4153.51 27991.33 1.34 Fig. 13(a) 1.52 3 839.10 43 789.32 1.44 Fig. 14(a) 1.40 4 671.52 45 569.53 1.32 Average 1.45 4 249.74 36 338.02 1.37
下载: 导出CSV
-
[1] Gao C, Zhou D G, Guo Y C. Automatic iterative algorithm for image segmentation using a modified pulse-coupled neural network. Neurocomputing, 2013, 119:332-338 doi: 10.1016/j.neucom.2013.03.025 [2] Wei S, Hong Q, Hou M S. Automatic image segmentation based on PCNN with adaptive threshold time constant. Neurocomputing, 2011, 74(9):1485-1491 doi: 10.1016/j.neucom.2011.01.005 [3] 汪海洋, 潘德炉, 夏德深.二维Otsu自适应阈值选取算法的快速实现.自动化学报, 2007, 33(9):968-972 doi: 10.1360/aas-007-0968Wang Hai-Yang, Pan De-Lu, Xia De-Shen. A fast algorithm for two-dimensional Otsu adaptive threshold algorithm. Acta Automatica Sinica, 2007, 33(9):968-972 doi: 10.1360/aas-007-0968 [4] Kim B G, Park D J. Novel target segmentation and tracking based on fuzzy membership distribution for vision-based target tracking system. Image and Vision Computing, 2006, 24(12):1319-1331 doi: 10.1016/j.imavis.2006.04.008 [5] 范朝冬, 张英杰, 欧阳红林, 肖乐意.基于改进斜分Otsu法的回转窑火焰图像分割.自动化学报, 2014, 40(11):2480-2489 http://www.aas.net.cn/CN/Y2014/V40/I11/2480Fan Chao-Dong, Zhang Ying-Jie, Ouyang Hong-Lin, Xiao Le-Yi. Improved Otsu method based on histogram oblique segmentation for segmentation of rotary kiln flame image. Acta Automatica Sinica, 2014, 40(11):2480-2489 http://www.aas.net.cn/CN/Y2014/V40/I11/2480 [6] 聂守平, 王鸣, 刘峰.低对比度图像分割算法研究.中国激光, 2004, 31(1):89-91 http://www.cnki.com.cn/Article/CJFDTOTAL-JJZZ200401026.htmNie Shou-Ping, Wang Ming, Liu Feng. Image segmentation algorithm study for low contrast image. Chinese Journal of Lasers, 2004, 31(1):89-91 http://www.cnki.com.cn/Article/CJFDTOTAL-JJZZ200401026.htm [7] 郭海涛, 田坦, 王连玉, 张春田.利用二维属性直方图的最大熵的图像分割方法.光学学报, 2006, 26(4):506-509 http://www.cnki.com.cn/Article/CJFDTOTAL-GXXB200604005.htmGuo Hai-Tao, Tian Tan, Wang Lian-Yu, Zhang Chun-Tian. Image segmentation using the maximum entropy of the two-dimensional bound histogram. Acta Optica Sinica, 2006, 26(4):506-509 http://www.cnki.com.cn/Article/CJFDTOTAL-GXXB200604005.htm [8] 龙建武, 申铉京, 陈海鹏.自适应最小误差阈值分割算法.自动化学报, 2012, 38(7):1134-1144 doi: 10.3724/SP.J.1004.2012.01134Long Jian-Wu, Shen Xuan-Jing, Chen Hai-Peng. Adaptive minimum error thresholding algorithm. Acta Automatica Sinica, 2012, 38(7):1134-1144 doi: 10.3724/SP.J.1004.2012.01134 [9] 刘金, 金炜东. 3维自适应最小误差阈值分割法.中国图象图形学报, 2013, 18(11):1416-1424 http://www.cnki.com.cn/Article/CJFDTOTAL-ZGTB201311004.htmLiu Jin, Jin Wei-Dong. Three-dimensional adaptive minimum error thresholding segmentation algorithm. Journal of Image and Graphics, 2013, 18(11):1416-1424 http://www.cnki.com.cn/Article/CJFDTOTAL-ZGTB201311004.htm [10] 范九伦, 雷博.二维直线型最小误差阈值分割法.电子与信息学报, 2009, 31(8):1801-1806 http://www.cnki.com.cn/Article/CJFDTOTAL-DZYX200908006.htmFan Jiu-Lun, Lei Bo. Two-dimensional linear-type minimum error threshold segmentation method. Journal of Electronics and Information Technology, 2009, 31(8):1801-1806 http://www.cnki.com.cn/Article/CJFDTOTAL-DZYX200908006.htm [11] 吴一全, 占必超, 吴加明.基于类内绝对差和混沌粒子群的红外图像分割.光学学报, 2010, 30(1):79-85 doi: 10.3788/AOSWu Yi-Quan, Zhan Bi-Chao, Wu Jia-Ming. An infrared image segmentation method based on within-class absolute difference and chaotic particle swarm optimization. Acta Optica Sinica, 2010, 30(1):79-85 doi: 10.3788/AOS [12] 李昱川, 田铮.基于图的加权核K均值的图像多尺度分割.光学学报, 2009, 29(10):2762-2767 doi: 10.3788/AOSLi Yu-Chuan, Tian Zheng. Multiscale image segmentation based on graph weighted kernel K-means. Acta Optica Sinica, 2009, 29(10):2762-2767 doi: 10.3788/AOS [13] 乔立永, 徐立新, 高敏.红外成像制导二维斜分最大熵分割的快速实现.红外与激光工程, 2013, 42(7):1691-1699 http://www.cnki.com.cn/Article/CJFDTOTAL-HWYJ201307009.htmQiao Li-Yong, Xu Li-Xin, Gao Min. Fast maximum entropy thresholding based on two-dimensional histogram oblique segmentation in infrared imaging guidance. Infrared and Laser Engineering, 2013, 42(7):1691-1699 http://www.cnki.com.cn/Article/CJFDTOTAL-HWYJ201307009.htm [14] 胡敏, 李梅, 汪荣贵.改进的Otsu算法在图像分割中的应用.电子测量与仪器学报, 2010, 24(5):443-449 doi: 10.3724/SP.J.1187.2010.00443Hu Min, Li Mei, Wang Rong-Gui. Application of an improved Otsu algorithm in image segmentation. Journal of Electronic Measurement and Instrument, 2010, 24(5):443-449 doi: 10.3724/SP.J.1187.2010.00443 [15] 张天序, 赵广州, 王飞, 朱光喜.一种快速递归红外舰船图像分割新算法.红外与毫米波学报, 2006, 25(4):225-230 http://www.cnki.com.cn/Article/CJFDTOTAL-HWYH200604012.htmZhang Tian-Xu, Zhao Guang-Zhou, Wang Fei, Zhu Guang-Xi. Fast recursive algorithm for infrared ship image segmentation. Journal of Infrared and Millimeter Waves, 2006, 25(4):225-230 http://www.cnki.com.cn/Article/CJFDTOTAL-HWYH200604012.htm [16] Otsu N. A threshold selection method from gray-level histograms. IEEE Transactions on System Man and Cybernetic, 1979, 9(1):62-66 doi: 10.1109/TSMC.1979.4310076 [17] 许向阳, 宋恩民, 金良海. Otsu准则的阈值性质分析.电子学报, 2009, 37(12):2716-2719 http://www.cnki.com.cn/Article/CJFDTOTAL-DZXU200912019.htmXu Xiang-Yang, Song En-Min, Jin Liang-Hai. Characteristic analysis of threshold based on Otsu criterion. Acta Electronica Sinica, 2009, 37(12):2716-2719 http://www.cnki.com.cn/Article/CJFDTOTAL-DZXU200912019.htm [18] 华罗庚.优选法.北京:科学出版社, 1981.Hua Luo-Geng. Optimum Selection Method. Beijing:Science Press, 1981. [19] 解永春, 吴宏鑫.黄金分割在自适应鲁棒控制器设计中的应用.自动化学报, 1992, 18(2):177-185 http://www.aas.net.cn/CN/Y1992/V18/I02/177Xie Yong-Chun, Wu Hong-Xin. The application of the golden section in adaptive robust controller design. Acta Automatica Sinica, 1992, 18(2):177-185 http://www.aas.net.cn/CN/Y1992/V18/I02/177 [20] Sen S K, Ravi P A. Golden ratio in science, as random sequence source, its computation and beyond. Computers and Mathematics with Applications, 2008, 56(2):469-468 doi: 10.1016/j.camwa.2007.06.030 [21] Lu Y. A golden section approach to optimization of automotive friction materials. Journal of Materials Science, 2003, 38(5):1081-1085 doi: 10.1023/A:1022362217043 [22] Cai J M, Han D, Chen C X, Chen S Y. Application of the golden section search algorithm in the nonlinear isoconversional calculations to the determination of the activation energy from nonisothermal kinetic conversion data. Solid State Sciences, 2010, 12(5):829-833 doi: 10.1016/j.solidstatesciences.2010.02.010 [23] Tsai C H, Kolibal J, Li M. The golden section search algorithm for finding a good shape parameter for meshless collocation methods. Engineering Analysis with Boundary Elements, 2010, 34(8):738-746 doi: 10.1016/j.enganabound.2010.03.003 [24] Stakhov A P. The Generalized Principle of the Golden Section and its applications in mathematics, science, and engineering. Chaos, Solitons and Fractals, 2005, 26(2):263-289 doi: 10.1016/j.chaos.2005.01.038 [25] 周祥, 何小荣, 陈丙珍.基于最优变异因子的遗传算法在ANN训练中的应用.清华大学学报(自然科学版), 2002, 42(5):619-621 http://www.cnki.com.cn/Article/CJFDTOTAL-QHXB200205013.htmZhou Xiang, He Xiao-Rong, Chen Bing-Zhen. Best mutation coefficient genetic algorithm for ANN training. Journal of Tsinghua University (Science and Technology), 2002, 42(5):619-621 http://www.cnki.com.cn/Article/CJFDTOTAL-QHXB200205013.htm [26] 李道平, 姚小兰, 伍清河, 曲亦直.自适应小波去噪算法及其在偏心补偿中的应用.北京理工大学学报, 2010, 30(2):179-182, 196 http://www.cnki.com.cn/Article/CJFDTOTAL-BJLG201002014.htmLi Dao-Ping, Yao Xiao-Lan, Wu Qing-He, Qu Yi-Zhi. Self-adaptive wavelet threshold de-noising method and its application in the compensation of roll eccentricity signal. Transactions of Beijing Institute of Technology, 2010, 30(2):179-182, 196 http://www.cnki.com.cn/Article/CJFDTOTAL-BJLG201002014.htm [27] 魏雪峰, 刘晓.基于2维最大熵最佳阈值算法的图像分割研究.激光技术, 2013, 37(4):519-522 http://www.cnki.com.cn/Article/CJFDTOTAL-JGJS201304024.htmWei Xue-Feng, Liu Xiao. Research of image segmentation based on 2-D maximum entropy optimal threshold. Laser Technology, 2013, 37(4):519-522 http://www.cnki.com.cn/Article/CJFDTOTAL-JGJS201304024.htm [28] 洪霞, 周牧, 田增山, 董会宁.基于二维最大熵阈值分割的SIFT图像匹配算法.半导体光电, 2013, 34(4):689-693, 705 http://www.cnki.com.cn/Article/CJFDTOTAL-BDTG201304036.htmHong Xia, Zhou Mu, Tian Zeng-Shan, Dong Hui-Ning. SIFT image matching algorithm based on two-dimensional maximum entropy-aided threshold segmentation. Semiconductor Optoelectronics, 2013, 34(4):689-693, 705 http://www.cnki.com.cn/Article/CJFDTOTAL-BDTG201304036.htm [29] 康家银, 纪志成, 龚成龙.一种核模糊C均值聚类算法及其应用.仪器仪表学报, 2010, 31(7):1657-1663 http://www.cnki.com.cn/Article/CJFDTOTAL-YQXB201007038.htmKang Jia-Yin, Ji Zhi-Cheng, Gong Cheng-Long. Kernelized fuzzy C-menas clustering algorithm and its application. Chinese Journal of Scientific Instrument, 2010, 31(7):1657-1663 http://www.cnki.com.cn/Article/CJFDTOTAL-YQXB201007038.htm [30] Ji Z X, Xia Y, Chen Q, Sun Q S, Xia D S, Feng D D. Fuzzy c-means clustering with weighted image patch for image segmentation. Applied Soft Computing, 2012, 12(6):1659-1667 doi: 10.1016/j.asoc.2012.02.010 [31] Wang H, Zhang H, Ray N. Adaptive shape prior in graph cut image segmentation. Pattern Recognition, 2013, 46(5):1409-1414 doi: 10.1016/j.patcog.2012.11.002 期刊类型引用(5)
1. 何星辰，郭勇，李奇龙，高唱. 基于深度学习的抗年龄干扰人脸识别. 自动化学报. 2022(03): 877-886 . 
本站查看2. 于晓童，任甫. 几何形态测量法在人类颅面形态研究中的应用. 沈阳医学院学报. 2021(01): 1-4 . 百度学术3. 张克博. 审美位移与现代化重构——动画影片《姜子牙》角色设计的几点思考. 大观. 2021(03): 3-4 . 百度学术4. 山笑珂，张炳林. 利用改进深度信念网络的人脸表情识别. 计算机工程与设计. 2021(07): 2052-2060 . 百度学术5. 杜宇浩，阎高伟，李荣，王芳. 基于局部线性嵌入的测地线流式核多工况软测量建模方法. 化工学报. 2020(03): 1278-1287 . 百度学术其他类型引用(9)
-
下载:
计量
- 文章访问数: 2663
- HTML全文浏览量: 210
- PDF下载量: 779
- 被引次数: 14
