-
摘要: 人脸活体检测是为了提高人脸识别系统安全性而需要重点研究的问题.本文首先从人脸活体检测的问题出发, 分个体、类内、类间三个层面对人脸活体检测存在的困难与挑战进行了阐述分析.接下来, 本文以算法使用的分类线索为主线, 分类别对人脸活体检测算法及其优缺点进行了梳理和总结.之后, 本文就常用人脸活体检测数据集的特点、数据量、数据多样性等方面进行了对比分析, 对算法评估常用的性能评价指标进行了阐述, 总结分析了代表性人脸活体检测方法在照片视频类数据集CASIA-MFSD、Replay-Attack、Oulu-NPU、SiW以及面具类数据集3DMAD、SMAD、HKBU-MARsV2上的实验性能.最后本文对人脸活体检测未来可能的发展方向进行了思考和探讨.Abstract: Face anti-spoofing is an important research field for ensuring the security of face recognition system. In this paper, we first discuss the difficulties and challenges in the development of face anti-spoofing. Then we take the classification clues utilized by the methods as the main line to review the achievements in the study of face anti-spoofing. Next, we analyze the characteristics, data volume and data diversity of commonly used face anti-spoofing datasets. The evaluation metrics of performances commonly used in algorithm evaluation are expounded. We summarize and analyze the performances of representative face anti-spoofing methods on CASIA-MFSD, Replay-Attack, Oulu-NPU, SiW, 3DMAD, SMAD and HKBU-MARsV2 datasets. Finally, we discuss the future development direction of face anti-spoofing.
-
Key words:
- Face anti-spoofing /
- computer vision /
- face recognition /
- deep learning /
- feature representations
-
“碳中和·碳达峰”是促进中国能源经济转型、构建人类命运共同体的重要战略决策, 为实现双碳目标, 风能作为最具竞争力的清洁能源正受到世界范围的强烈关注[1-3]. 风机都配备具有远程监督和控制功能的监控和数据采集(Supervisory control and data acquisition, SCADA)系统, SCADA系统累积了大量风机数据, 但由于地处偏远且环境恶劣, 加之多变的工作条件, 从而导致传感器故障、数据传输噪声和丢失、功率输出受限或设备异常等情况发生[4], 进而使得数据在收集、传输和存储中不可避免地会发生丢失和损坏. 数据缺失会导致三大问题[5-6]: 1) 许多数据驱动的模型不能直接处理含有缺失值的数据集; 2) 缺失数据过多会导致数据集中有效数据的数量减少, 数据的精度降低, 训练达不到理想效果或存在训练过拟合的风险; 3) 缺失数据使训练数据分布出现偏差, 会导致分析结果出现显著偏差, 建立的模型不准确. 数据缺失不仅会破坏信息的完整性, 还会导致数据挖掘和分析出现偏差. 然而, 如状态监测[7]、故障诊断[8]、风–功率预测[9] 和功率曲线建模[10] 等风机下游任务需要有完整数据集才能够完成. 例如, 无线电干扰造成风机状态监测信号数据丢失, 给后续信号处理和状态监测带来困难, 甚至可能会导致状态监测失败[11]. 风机的风速计结冰, 从而在数据中留下空白, 造成的数据丢失可能导致风能资源估算出现偏差[12]. 因此, 需要进行合理的数据插补来提高数据的质量, 以完成风机的下游任务. 数据插补对风机研究有重要意义.
插补方法主要分为基于统计概念的方法(均值、热卡插补和多重插补)和基于数据驱动的深度学习方法(通过模型拟合对缺失值进行预测)两类[13-16].
在基于统计概念的方法中, 通过研究统计特征和缺失数据的概率进行缺失数据插补. Mostafa 等[17] 使用累积线性回归插补算法对插补变量进行累积, 并将变量纳入线性回归方程, 以填补下一个缺失值. Razavi-Far 等[18] 提出基于后插补的期望最大化(Expectation-maximization, EM)算法, 通过融合模块完成插补值的融合. Ye 等[19] 提出一种联合插补模型, 为数据集属性构建一个贝叶斯网络, 通过该网络推断出缺失的属性值. Zhang[20] 提出一种使用R链式方程多重插补(Multiple imputation by chained equations, MICE)逐步进行多重插补的方法. 然而, 基于统计概念的方法的插补性能可能会受到模型假设限制. 例如, EM 算法通常定义所有属性的联合分布, MICE方法通常将缺失数据插补视为一组线性回归问题. 因此, 在属性之间关系复杂的情况下, 以上方法的理想化模型假设应用于风机数据插补时, 由于缺少对数据集未观测数据分布和时空相关性的学习, 插补结果的真实性可能有所欠缺.
近年来, 基于数据驱动的深度学习方法不需要过多模型假设, 其所具备的强大拟合能力和泛化能力使之成为插补缺失数据最常用的方法[21]. Tak 等[22] 提出一种使用K-邻近法的数据驱动型插补方法, 一次插补多个传感器数据. Folguera 等[23] 提出一种基于自组织图的数据插补方法, 该方法以权重的距离对象为概念, 对缺失值进行插补. Pan 等[24] 提出一种基于多层感知器(Multilayer perceptron, MLP)的离散缺失值插补方法, 该方法采用动量梯度下降算法, 并利用预填充策略来提高MLP的插补收敛速度. Khan 等[25] 提出一种卷积神经网络来插补缺失值, 使用经过网络训练的核来完成每个实例的缺失值插补. Yu 等[26] 提出一种时空图卷积网络, 是在图上对问题进行表述, 并用完整的卷积结构构建模型. Zhang 等[27] 提出一种基于残差神经网络的方法, 根据时空数据的属性设计网络的端到端结构. Yoon 等[28] 提出一种生成现实时间序列数据的框架, 将无监督范例的灵活性与有监督训练的控制性结合在一起. 与基于统计概念的方法相比, 数据驱动方法不需要先验知识和显式数学表达式, 并具有可靠的数据插补结果. 然而, 当缺失数据集的时空模式更加复杂时, 上述方法在处理高度复杂、非线性和非平稳的时间序列数据时可能面临挑战, 往往无法完全捕捉这些特征, 难以获得令人满意的数据插补结果. 在插补风机数据时还存在以下难点: 1) 上述插补方法往往只能从原始数据集中提取观测数据集训练模型, 缺少对未观测数据的学习, 插补结果与真实数据相比出现显著偏差; 2) 风机数据具有复杂的时空相关性, 若无法准确描述时空相关性, 会造成插补建模不准确, 数据插补精度大大降低; 3) 风机数据受所处环境影响很大, 多变的环境使数据插补也变得困难, 然而基于固定参数模型的方法难以满足插补需求.
为解决上述问题, 本文提出多变量时空融合网络(Multivariate spatiotemporal integration network, MSIN) 模型, 在设计具有缺失值定位–指引机制的生成对抗网络基础之上, 通过设计多视角时空卷积模块来捕获潜在的全局以及局部的时空关系, 同时考虑到实际风场环境的不确定性和随机变化等因素, 提出实时自更新机制, 用来及时响应外部环境的动态变化.
本文所做的贡献如下:
1) 提出一种面向风机数据的多变量时空融合网络, 网络学习真实底层数据分布进行数据插补. 在此基础上设计缺失值定位–指引机制, 为提出的网络模型提供缺失值信息.
2) 设计多视角时空卷积模块, 通过学习风机时间衰减和空间相关性, 捕捉跨时间步长的依赖关系和空间相关性, 完成赋予时空属性的数据插补研究.
3) 提出联合损失函数, 将能够衡量数据整体、属性和分布的多种损失函数相结合, 量化插补值与实际值的概率分布差异, 实现风机数据局部和全局的插补性能评估.
4) 提出实时自更新机制, 该机制能够从原始数据中学习变化趋势, 并根据数据分布变化完成模型微调, 赋予模型适应性的能力, 从而适应SCADA系统大数据应用场景下风电场动态变化环境.
1. 先验知识
空间分散的风电场并不是独立运行、互不影响的. 实际上, 分布在某一区域内的风电场之间以及同一风电场内不同风机之间都存在很强的时空相关性. 风电场中的实际情况是, 即使是同一风电场中相邻的风机, 在风机排列不同的情况下, 其输出功率也会有很大差异. 这种差异可归因于多种因素, 包括尾流区域风速不足、风向传输效应、气象系统穿越风场的距离等. 因此, 风机的输出功率会有明显差异. 其变化规律表明, 风速、风向和风电场间距等因素会影响时空相关性, 沿风向的相关性高于其他方向. 此外, 相邻风机的相关性随着风机间距的增加而减弱.
风机的相关性是数据插补的关键性因素, 为获得更好的插补效果, 筛选出强相关性的变量是非常重要的. 为此, 本文采用皮尔逊相关系数(Pearson correlation coefficient, PCC)法, 并设置PCC的阈值为$ \delta _\mathrm{pcc}=0.5 $(阈值通过风机变量相关性分析及大量的实验确定), 公式如下
$$ \begin{equation} \mathrm{PCC} ( x, \;y )=\frac{{\rm{E}} ( xy )-{\rm{E}} ( x ){\rm{E}} ( y )}{\sqrt{{\rm{E}} (x^{2} ) -{\rm{E}}^{2} ( x )} \sqrt{{\rm{E}} ( y^{2} )-{\rm{E}}^{2} ( y )}} \end{equation} $$ (1) 其中, $ x $和$ y $是输入数据的两个风机变量.
使用PCC将数据处理完毕后, 接着使用最大信息系数(Maximal information coefficient, MIC)法, 令其阈值为$ \delta _\mathrm{mic}=0.3 $, 计算任意两个数据变量$ x $与$ y $之间的$ \mathrm{MIC} ( x,\; y ) $值, 公式如下
$$ \begin{equation} \mathrm{MIC} ( x,\; y )=\max_{\eta _{x} \eta _{y}< B ( \eta ) }\frac{I ( x, \;y ) }{\log_{2}\left ({\min ( \eta _{x} \eta _{y} )} \right )} \end{equation} $$ (2) 其中, $ B ( \eta )=\eta^{0.6} $, $\eta$是数据点的个数, $ \eta _{x} $和$ \eta _{y} $是$ X $轴和$ Y $轴的分区块数. 互信息值$ I ( x,\; y ) $的公式如下
$$ \begin{split} I ( x, \;y ) =\;&H ( x ) +H ( y ) -H ( x,\; y ) = \\ & \sum_{i=1 }^{\eta _{x}}p ( x_{i} )\log_{2}{\frac{1}{p ( x_{i} ) } } \;+ \\ & \sum_{j=1 }^{\eta _{y}}p ( y_{j} )\log_{2}{\frac{1}{p ( y_{j} ) } }\; - \\ & \sum_{i=1 }^{\eta _{x}}\sum_{j=1 }^{\eta _{y}}p ( x_{i}y_{j} )\log_{2}{\frac{1}{p ( x_{i}y_{j} ) } } \end{split} $$ (3) 其中, $H(x) $和$ H(y) $分别代表随机变量$ x $和$ y $的熵, $H(x, \;y)$是它们的联合熵, $ p(\cdot) $表示概率分布.
PCC和MIC可以相互补充, 对各个变量的线性和非线性进行分析. 根据阈值对风机61个变量进行判断, 删除如总解缆转数、总偏航次数、偏航运行时间等无关的特征, 最终保留如表 1所示的28个相关变量.
表 1 风机变量Table 1 The variables of wind turbine编号 变量 编号 变量 1 轮毂转速 14 风电机定子温度1 2 叶片桨距角1 15 风电机定子温度2 3 叶片桨距角2 16 风电机定子温度3 4 叶片桨距角3 17 风电机定子温度4 5 节点X方向振动值 18 风电机定子温度5 6 节点Y方向振动值 19 风电机定子温度6 7 电网侧输出功率 20 发电机输出功率 8 风向偏移角度 21 轮毂角度 9 速度传感器 22 发电机转矩 10 ISU温度 23 INU RMIO 温度 11 发电机环境温度1 24 齿轮箱前轴承温度 发电机环境温度2 齿轮箱后轴承温度 12 机舱温度 25 INU温度 13 风速 26 风向 进一步, 图 1显示了同一风机不同变量之间的时间相关性以及不同风机同一变量之间的空间相关性, 其中某些风机变量之间和处于不同位置的风机之间具有较强的耦合性. 然而, 现有的插补方法受缺失数据集数据量大、预处理复杂、面向风机的时空特征提取的应用较少等局限, 大多数现有文献都忽略了这种时空相关性, 导致模型插补精度不理想、泛化效果不佳. 在此基础上, 本文提出的MSIN能够为插补研究提供缺失值的有效信息, 捕捉数据之间的时空相关性, 适应于变化的多场景, 突破现有插补方法的局限性.
图 1 风机时空关联分析示意图Fig. 1 Schematic diagram of spatiotemporal correlation analysis of wind turbines2. 多变量时空融合网络
2.1 网络结构
生成对抗式多变量时空融合网络的网络架构如图 2所示, 生成器$ G $和判别器$ D $实现对抗训练, 完成插补研究. $ G $观察真实数据的掩码矩阵$ M_{j}、 $随机矩阵$ Z $和观测矩阵$ \tilde{X} $, 专注于填充数据的缺失部分, 通过由卷积、多视角时空卷积模块和反卷积组成的生成器$ G $, 将更新后的掩码矩阵与观测矩阵叠加, 得到输出的完整数据. $ D $的任务是判断一个完整数据的分量是观测量或插补量, 并输出概率估算矩阵. 此插补网络能够突破大多数深度学习方法需要使用完整数据集训练模型或者是仅通过数据集的可观测部分来学习数据分布的限制, 缺失值定位–指引机制为$ H $提供原始数据缺失部分的信息, 在此机制的辅助下, $ G $把注意力集中在未观测部分的插补上, 确保$ D $能够学习真实的数据分布.
假设存在一个$ d $维空间, 数据集$ \tilde{X} $被定义为符合以下公式
$$ \begin{equation} \tilde{X}_{j}=\left\{\begin{aligned}& X_{j}, &&M_{j}=1\\& \ast, && M_{j}=others \end{aligned}\right. \end{equation} $$ (4) 其中, $ M_{j} $是掩码矩阵, $ j\in \left \{ 1, \;\cdots ,\; d \right \} $. $ M_{j} = 1 $时, $ X_{j} $是观测值; $ M_{j} = others $时, $ \ast $是缺失值.
生成器$ G $的输入是$ \tilde{X} $、$ M=\left ( M_{1}, \;\cdots ,\; M_{d}\right) $和噪声$ Z=\left ( Z_{1}, \;\cdots ,\; Z_{d}\right) $. 生成器输出插补向量$ \bar{X} $, $ \bar{X} $是一条完整的数据向量, 生成器在插补缺失部分的同时, 也将原有的未缺失部分进行插补和替换. 使用插补向量替换$ \tilde{X} $的未观测部分得到$ \hat{X} $, $ \odot $表示元素相乘, $ \bar{X} $和$ \hat{X} $的定义如下
$$ \begin{equation} \bar{X}=G \left ( \tilde{X}, M, \;\left ( \mathbf{1} -M \right ) \odot Z \right ) \end{equation} $$ (5) $$ \begin{equation} \hat{X}=M\odot \tilde{X}+\left ( \mathbf{1}-M \right )\odot \bar{X} \end{equation} $$ (6) 缺失值定位–指引机制$ H $强化了$ G $和$ D $的对抗过程, 它是一个随机变量. $ H $定义不同, 作为传递给判别器$ D $的一个额外的输入指引信息则不同, 如 $ H = 0 $ 或 $ H = 1 $时, 缺失值定位–指引机制提示$ D $, 输入数据中的对应值是插补的还是真实的; $ H = 0.5 $时进行混淆, 限制$ G $得到有效信息的程度, 加快收敛, 从而可以训练出具有多个分布的$ G $, 根据$ D $的结果选择最优插补值. $ B= ( B_{1}, \;\cdots , \; B_{d})\in \left \{ 0,\; 1 \right \} ^{d} $为随机变量, $ H $的定义如下
$$ \begin{equation} H = B\odot M + 0.5\left ( \mathbf{1}-B \right ) \end{equation} $$ (7) $$ \begin{equation} B_{j}=\begin{cases} 1, & \text{ } j\neq k\\ 0, & \text{ } j=k \end{cases} \end{equation} $$ (8) $$ \begin{equation} H_{j}=\begin{cases} M_{j}, & \text{} j\neq i\\ 0.5, & \text{} j=i \end{cases} \end{equation} $$ (9) 其中, 设$ M_{0} , \;M_{1} \in \left \{ 0, \;1 \right \} ^{d} $, 使它们只有一个分量不同, 并让这个分量成为第$ i $个分量. 其中$ M_{0} $的第$ i $个分量为0, $ M_{1} $的第$ i $个分量为1. $ k $和$ j $被定义为从$ \left \{ 1,\; \cdots ,\;d \right \} $中随机抽样, 可得$ H=\left \{ 0, \;0.5,\; 1 \right \}^{d} $.
为完成训练, 所提出的目标函数是通过最大化正确预测$ M $的概率来训练$ D $, 通过最小化$ D $能够正确预测$ M $的概率来训练$ G $, 定义如下
$$ \begin{split} &\underset{G}{\min }\;\underset{D}{\max }{{\rm{E}}}_{\hat{X}, M, H} ( M^{\rm{T}}\ln D ( \hat{X} , H )\;+ \\ & \qquad ( 1-M^{\rm{T}} )\ln ( 1-D ( \hat{X}, H ) ) ) \end{split} $$ (10) 2.2 多视角时空卷积模块
由第$ 1 $节可知时间依赖性和特征相关性对于风机数据插补的重要性, 在遵循从局部到全局的规律下, 本文分两部分对缺失数据进行插补, 一是从空间特征相关性探讨局部缺失数据与空间维度上邻近的数据之间的相关性; 二是根据历史数据的缺失模式时间特征依赖性对缺失值进行插补, 同时保持数据全局的时间连续性, 具体如图 3所示, 图 3中的$ {\tau _{t}} $为时间间隔.
现有的模型只考虑风机的时间连续性, 忽略了空间异质性和风机之间的连通性与全局性, 即假设时空相互作用是稳定的, 这意味着模型结构在整个空间范围内是全局固定的. 然而, 全局性固定时间划分策略对于详细反映风机在时间上的非稳态变化是无效的. 因此, 准确的风机时空表示对于使风机插补更贴近真实数据至关重要. 为此, 在整合风机时空信息或动态特征的基础之上, 本节提出多视角时空卷积模块. 其中模块的卷积操作是基于风机数据的时空依赖性将数据的时间维度特征隐式地传递到空间特征序列中, 以此捕捉同一风机多个变量与多个风机同一变量之间的局部空间和全局时间相关性.
$ 1) $局部空间特征相关性. 在同一时间步中, 风机不同的特征之间可能存在一定的相关性, 因为时间序列数据的相似属性通常作为特征向量在一个时间步中连接起来, 如风速和输出功率, 可能会相互影响和相互联系. 通过下式的缺失值插补, 学习不同特征之间的交互模式
$$ \begin{equation} \hat{X}_{t}=wX_{t}+b \end{equation} $$ (11) $$ \begin{equation} \hat{X}_{t}=M_{t}X_{t}+\left ( 1-M_{t} \right )\hat{X}_{t} \end{equation} $$ (12) 其中, $ X_{t} $是原始时间序列的分解成分, $ \hat{X}_{t} $是在一个时间步长$ t $中原始的输入值, $ w $, $ b $是卷积神经网络(Convolutional neural network, CNN)的权重和偏置, $ M_{t} $是掩码值, 其数值是由数据集预先确定的. 通过与$ \hat{X}_{t} $做运算, 赋予了$ \hat{X}_{t} $时空特性.
$ 2) $全局时间特征相关性. 时序数据的特点是观测值对缺失值的贡献, 即时空相关性, 取决于它们之间的时间间隔, 时间间隔越大, 观测值对缺失数据重建的影响越小. 本文通过设计时间特征相关性模块捕捉这种衰减效应
$$ \begin{equation} \zeta _{t}=\frac{1}{ \mathrm{e}^{\max \left ( 0,\; w+b\right )}} \end{equation} $$ (13) $$ \begin{equation} \tilde{X}_{t-1}=\tilde{X}_{t-1}\odot \zeta _{t} \end{equation} $$ (14) $$ \begin{equation} \tilde{X}_{t}=\mathrm{CNN} (\tilde{X}_{t-1}, \;w, \;b ) \end{equation} $$ (15) $$ \begin{equation} \tilde{X}_{t}=M_{t}X_{t}+\left ( 1-M_{t} \right )\tilde{X}_{t} \end{equation} $$ (16) 其中, $ \zeta _{t} $是衰减系数, $ {\tilde{X}_{t}} $是考虑时间衰减性和序列相邻数据约束的缺失值.
最终根据掩码信息$ M_{t} $和时间衰减学习了权衡系数$ \lambda _{t} $, 以此来确定时间和空间两者对提取特征的作用百分比, 有效地结合时间和空间可以更准确地描述数据的特征
$$ \begin{equation} \lambda _{t}=f\left ( w\left (M_{t}\circ\zeta _{t} \right )+b \right ) \end{equation} $$ (17) $$ \begin{equation} O_{t}=\lambda _{t}\odot\tilde{X}_{t} + \left ( 1-\lambda _{t} \right ) \hat{X}_{t} \end{equation} $$ (18) 其中, $ f\left ( \cdot \right ) $为限定在0与1之间的激活函数; $“ {\circ} ”$是连通操作(Concat); $ O_{t} $是时空模块最终的输出, 输出值保留了原始时间序列数据的时空特征.
2.3 联合损失函数
考虑到风机缺失数据与相邻数据之间的强相关性, 提出联合损失函数, 用于提高网络对数据间交互程度的衡量, 插补与原始数据的潜在映射和相应分布相匹配的数据, 进一步提高插补数据的能力. 联合损失函数包括JS损失、对抗损失以及重建损失.
$ 1) $JS损失
用于衡量插补分量与周围紧邻的观测分量的接近程度以及插补分量对于时空相邻的观测分量之间的局部相关性和全局相关性, 并且组合掩码矩阵提供缺失数据的位置信息. JS损失对于多视角时空卷积模块也具有辅助作用, 进一步缩小了损失值, 提高了插补数据的真实性.
$$ \begin{split} L_{js} =\;&\frac{1}{2} \sum_{j=0}^{n}X_{j}\mathrm{ln} \left (\frac{2X_{j} }{ X_{j}+\bar{X}_{j}}\right)+\\ &\frac{1}{2} \sum_{j=0}^{n}\bar{X}_{j}\ln \left (\frac{2\bar{X}_{j}}{{X}_{j}+\bar{X}_{j} }\right) \end{split} $$ (19) 其中, $ {X_{j}} $是生成器的输入, 即真实观测数据; $ {\bar{X}_{j}} $是生成器输出的插补数据.
$ 2) $重建损失
最小二乘正则化器用于测量每个缺失项的插补数据与真实数据之间的重构误差, 从而确保生成器的重构能力, 当重构特征与观测特征接近时, 重构损失最小
$$ \begin{equation} L_{r} (X,\; \bar{X} )=\sum\limits_{j=1}^{n}m_{j}\left ( \bar{X}_{j}-X_{j} \right )^{2} \end{equation} $$ (20) 其中, 当数据是插补的, $ m_{j}=0 $; 当数据是观测的, $ m_{j}=1 $.
$ 3) $对抗损失
为使插补数据与风机的真实数据尽可能地接近, 采用对抗损失, 对抗损失包括生成器损失$ L_{g} $和判别器损失$ L_{d} $. 生成器接收不完整的风机数据, 用观测到的部分插补缺失的部分, 得到完整的数据输出. 判别器判别数据是插补的还是观测的. 生成器和判别器的对抗损失函数如下所示
$$ \begin{split} {L_d}( {m,\; \hat m, \;\bar b} )=\; & \sum\limits_{j:{\bar{b}_j=0}} {\left( {{m_j}\ln ( {{{\hat m}_j}} )} \right.}+ \\ &\left. { \left( {1 - {m_j}} \right)\ln ( {1 - {{\hat m}_j}} )} \right) \end{split} $$ (21) 式中, $m $是掩码矩阵的真实值, $ \hat m $是掩码矩阵的预测值, $ \bar b $为式(8)中随机变量$ B $的取值, $ \bar{b}_{j}=0 $即需要判别器进行判断的值对应提示矩阵信息量为$ 0 $
$$ \begin{equation} L_{g} ( m,\; \hat{m},\; \bar b )=-\sum\limits_{j:\bar{b}_{j}=0 }^{}\left ( 1-m_{j} \right )\ln_{}{\hat{m}_{j}} \end{equation} $$ (22) 根据$\min_{D}(-\sum_{j=1}^{K_{D}}L_{D} ( m ( j ), \;\hat{m} ( j ), \;\bar b ( j ) ))$来训练判别器$ D $, $ K_{D} $为训练$ G $与$ D $的样本批次. 对抗损失不仅确保$ G $对观测分量的输出值成功欺骗判别器, 还确保$ G $对观测分量的输出值与实际观测值接近. 此外, 这还有助于确保网络能够在其隐藏层中有效地捕获和学习特征.
$ 4) $MSIN目标损失
$ L_{g} $和$ L_{d} $受到生成对抗网络的启发, 最小化这两个指标可以使插补数据充分符合真实数据的分布. $ L_{r} $测量插补数据与真实数据之间的损失, 最小化这个指标可以使插补出的数据足够准确. $ L_{js} $约束每个插补值符合其周围相邻值的分布, 最小化这个指标可以使输入数据符合其局部分布. 结合上述损失函数, MSIN的生成器和判别器的损失函数定义如下
$$ \begin{equation} L_{G} =L_{g} +\alpha L_{r} +\beta L_{js} \end{equation} $$ (23) $$ \begin{equation} L_{D} =L_{d} \end{equation} $$ (24) 其中, $ L_{G} $为生成器损失, $ L_{D} $为判别器损失, $ {\alpha} $和$ {\beta} $是超参数.
2.4 实时自更新机制
由于风电场所处环境的因素, 风机受天气和设备通信等影响, 采集的数据存在一定的随机性, 短时间内风速、风向的变化往往是不规则的, 会导致场景中出现不合理的波动, 因此需要MSIN具备适应复杂多变环境的能力, 本文使用实时自更新机制来解决这个问题.
实时自更新机制意味着模型按照时间顺序接收训练数据, 并根据接收样本的损失和梯度对模型进行更新. 该机制不需要在计算机中存储所有训练数据, 但可以根据数据分布的变化自动调整模型本身. 这些优势使得实时自更新机制更适合于处理海量的数据, 并及时响应外部环境中的动态变化. 使用函数${F:{\mathcal{K}}_{1} \times {\mathcal{K}}_{2}\to {\bf{R}} }$来定义生成器和判别器的训练过程, 表征生成器和判别器的效用, 定义实时自更新机制需要满足的准则
$$ \begin{equation} F ( g,\; d )\le \min\limits_{g\in {\mathcal{K}}_{1} }F ( g, \;d ) \end{equation} $$ (25) $$ \begin{equation} F ( g,\; d )\ge \max\limits_{d\in {\mathcal{K}}_{2} }F ( g,\;d ) \end{equation} $$ (26) 其中, $ {\mathcal{K}}_{1} $和$ {\mathcal{K}}_{2} $分别是生成器$ G $和判别器$ D $选择的一些连续状态集. 定义零和博弈为函数$ F:\mathcal{K}_{1}\times \mathcal{K}_{2} \to {\bf{R}} $, $ \mathcal{K} $为决策集, $ \left ( g, \;d \right )\in \mathcal{K}_{1}\times\mathcal{K}_{2} $是一个纯策略.
在满足准则的前提下, $ G $和$ D $在每个时间步骤中都在最大化和最小化MSIN的全局目标函数. 用队列$ Q_{1} $, $ Q_{2} $来保存$ G $和$ D $处理的风机样本数据的历史状态, 每更新n步, 删除队列中最旧的数据历史记录, 并向队列中添加新的数据记录, 始终保持队列的完整性, 并通过队列保存的历史数据状态来更新优化的$ G $和$ D $, 经过$ T $轮迭代后, 计算方法为
$$ \begin{equation} g_{t}\gets \mathrm{arg}\min\limits_{g\in {\mathcal{K}}_{1} } \sum\limits_{\tau =0}^{t-1}f_{\tau } ( g ) \end{equation} $$ (27) $$ \begin{equation} d_{t}\gets \mathrm{arg}\max\limits_{d\in {\mathcal{K}}_{2} } \sum\limits_{\tau =0}^{t-1}\bigtriangledown h_{\tau }\left ( d_{\tau } \right )^\mathrm{T} d-\frac{\sqrt{T} }{2\eta _{0} }\left \| d \right \|^{2} \end{equation} $$ (28) 其中, $ g_{t} $ 是 $ G $ 的在线决策, $ d_{t} $ 是 $ D $ 的在线决策, $f_{\tau } ( g )$是 $ G $ 接收的损失序列, $ \bigtriangledown h_{\tau }\left ( d_{\tau } \right )^\mathrm{T} d $ 是 $ D $ 的线性近似值, 参数$ \eta _{0} $取决于半凹的零和对策$ F $的Lipschitz常数以及${\mathcal{K}}_{2}$的直径.
进一步, 训练目标是最大程度减小决策误差值, 决策误差$ E_{N} $是生成器和判别器的累积损失和最佳固定损失, 其定义如下
$$ \begin{equation} E_{N} ( f_{1}, \;\cdots ,\; f_{N} ) = \sum\limits_{t=1}^{N}f_{t} ( g_{t} )-\min\limits_{g\ast \in {\mathcal{K}}} {\sum\limits_{t=1}^{N}f_{t} ( g^{\ast } ) } \end{equation} $$ (29) $$ \begin{equation} g_{t}=\mathrm{arg}\min\limits_{g\in {\mathcal{K}}}\sum\limits_{\tau =1}^{t-1}S_{\tau } ( g )+\eta ^{-1}R ( g ) \end{equation} $$ (30) 其中, 变量 $g^{\ast }$ 是决策空间 ${\mathcal{K}} $ 中的一个最优决策, $\mathrm{arg}\min_{g\in {\mathcal{K}}} \sum_{\tau =1}^{t-1}S_{\tau } ( g )$为$ \mathcal{K} $中选择使累计函数损失最小的点, $\eta ^{-1}R ( g )$为正则化项.
$ G $和$ D $经过反复交替训练最小化决策误差, 最终达到平衡状态, 此时, 总是存在一个混合纳什均衡, 即总是存在两个分布$ i_{1} $, $ i_{2} $
$$ \begin{equation} {\rm{E}} _{ ( g, d )\sim i_{1}\times i_{2}} ( F ( g, d ) ) \le \min\limits_{g\in {\mathcal{K}}_{1}}{\rm{E}}_{d\sim i_{2} } ( F ( g, d ) )\;+\;\varepsilon \end{equation} $$ (31) $$ \begin{equation} {{\rm{E}}} _{ ( g, d )\sim i_{1}\times i_{2}} ( F ( g, d ) ) \ge \max\limits_{d\in {\mathcal{K}}_{2}}{{\rm{E}}}_{g\sim i_{1} } ( F ( g, d ) )\;-\;\varepsilon \end{equation} $$ (32) 其中, $ \varepsilon =\mathrm{O} ( 1/\sqrt{T} ) $, $ T $是当前时间到最后一次更新时间之间的时间间隔.
计算生成器和判别器的序列$ f\left ( \cdot \right ) $, $ h\left ( \cdot \right ) $, 更新队列$ Q_{1} $, $ Q_{2} $.
2.5 网络训练流程图
基于生成对抗网络的多变量时空融合网络流程图如图 4所示, 具体步骤为:
初始化实时自更新机制, 即初始化生成器和判别器的序列以及队列$ Q_{1} $, $ Q_{2} $; 判断此时模型是否收敛, 若收敛则结束训练, 若未收敛则进行判别器的训练, 即训练过程一直保持自更新状态; 在此过程中, 首先固定生成器, 训练判别器, 计算$ {\bar{X} ( j )} $, $ {\hat{X} ( j )} $和$ {H ( j )} $值; 根据随机梯度下降法更新判别器; 接着固定判别器, 训练生成器, 根据随机梯度下降法更新生成器; 计算生成器和判别器的序列, 使用最新的样本, 更新队列$ Q_{1} $和$ Q_{2} $, 并删除最老的样本, 直至模型收敛, 训练结束.
3. 实验
3.1 实验设置
实验数据采用某北方风电场收集的SCADA数据, 数据的采样间隔为10 min. 所有的实验都使用完整的数据, 通过从完整数据集中随机删除一定的数据来获取缺失的数据集, 通过将插补数据与真实数据对比来验证本文所提MSIN方法的有效性. 实验中共使用$ 350 $天的数据, 这些SCADA数据从风电场的SCADA系统中导出. 如第1节中表 1所示, 数据包含28个特征, 将观测数据按照已有顺序进行排列, 构成维度为28×28的输入样本, 根据设置的卷积核和步长的大小变化, 卷积过程的维度变化情况是: 28×28、14×14、7×7、4×4; 在卷积和反卷积的过程中, 相应位置的特征对应一致, 因此这两个操作的维度变化是互为逆过程, 由此可知反卷积过程数据维度变化情况是: 4×4、7×7、14×14、28×28. 由于是数据整体性分析, 因此对多变量数据插补时, 采用的输入数据与单一变量缺失的区别在于缺失数据的个数、缺失数据的数量及相应时刻不同, 其余输入数据参数(如维度、排列顺序等)未发生变化. 考虑到不同的评价指标往往具有不同的大小和单位, 会影响数据分析的结果. 为消除指标间大小和单位的影响, 以解决数据指标之间的可比性问题, 本文采用最大最小归一化的方式, 将原始数据标准化后均匀地缩放并映射到[0, 1] 区间. 消除数据的单位限制, 将其转化为无量纲的数值. 所有实验均是在Intel(R) Core(TM) i5-8265U CPU @ 1.60 GHz上完成的, 通过经验(Experience of experts)和试错(Trial-and-error)法选择参数, 具体的实验结果显示在表 2 ~ 5. 表中的粗体值是该列的最小值, 并综合了三个评价指标来选择最优值. 网络的参数设置如下: 提示率为0.9, $ \alpha =100 $, $ \beta = 0.1 $, 迭代次数为25, 学习率为0.001. 为验证本文方法在不同缺失率下的插补效果, 在不同缺失率下做了多次实验.
表 2 不同提示率下的评估结果Table 2 Evaluation results under different hint-rates提示率 MAE MAPE RMSE 0.10 0.1549 3.0010 0.2396 0.20 0.1552 2.9599 0.2398 0.30 0.1557 2.3107 0.2384 0.40 0.1564 2.2437 0.2401 0.50 0.1552 3.3131 0.2390 0.60 0.1555 2.2019 0.2400 0.70 0.1577 2.2831 0.2398 0.80 0.1543 2.8454 0.2397 0.90 0.1541 1.1783 0.2381 0.95 0.1561 1.9770 0.2391 表 3 不同$ \alpha $下的评估结果Table 3 Evaluation results under different$ \alpha $$ \alpha $ MAE MAPE RMSE 0.0001 0.6231 27135.3668 0.4956 0.0010 0.4983 128671.0614 0.6251 0.0100 0.4963 42939.8706 0.6236 0.1000 0.4967 167721.3201 0.6238 1 0.3625 229.8665 0.4843 10 0.1805 23.6173 0.2644 100 0.1539 5.4836 0.2321 1000 0.1518 5.7790 0.2488 表 4 不同$ \beta $下的评估结果Table 4 Evaluation results under different$ \beta $$ \beta $ MAE MAPE RMSE 0.0001 0.1532 1.2270 0.2320 0.0010 0.1505 2.3903 0.2290 0.0100 0.1507 2.3558 0.2274 0.1000 0.1499 1.9291 0.2268 1 0.1530 4.0830 0.2319 10 0.1801 23.7244 0.2641 100 0.3652 237.1457 0.4874 1000 0.4970 35792.8434 0.6240 表 5 不同学习率下的评估结果Table 5 Evaluation results under different learning rates学习率 MAE MAPE RMSE 0.0001 0.2121 1.7066 0.2941 0.0010 0.1521 1.4009 0.2295 0.0100 0.4272 4.2201 0.5652 0.1000 0.4264 7.0552 0.5648 1 0.4302 5.2400 0.5676 10 0.4269 7.8907 0.5646 100 0.4272 9.6068 0.5657 1000 0.4298 6.7900 0.5674 为验证数据插补性能, 本文介绍以下三个指标来评估数据插补的结果: 平均绝对误差(Mean absolute error, MAE), 平均绝对百分比误差(Mean absolute percentage error, MAPE)和均方根误差(Root mean square error, RMSE)
$$ \begin{equation} \mathrm{MAE}=\frac{1}{WS} \sum\limits_{j=1}^{W}\sum\limits_{i=1}^{S}\left | R_{i, j}-C_{i, j} \right | \end{equation} $$ (33) $$ \begin{equation} \mathrm{MAPE}=\frac{1}{WS} \sum\limits_{j=1}^{W}\sum\limits_{i=1}^{S}\left | \frac{R_{i, j}-C_{i, j}}{C_{i, j}}\right |\times 100 \% \end{equation} $$ (34) $$ \begin{equation} \mathrm{RMSE}=\sqrt{\frac{1}{WS} \sum\limits_{j=1}^{W}\sum\limits_{i=1}^{S}\left ( R_{i, j}-C_{i, j} \right ) ^{2} } \end{equation} $$ (35) 其中, $ {W} $和${S}$是矩阵的行数和列数, $ {R} $是原始缺失数据, $ {C} $是通过插补获得的完整数据.
3.2 插补结果
在本节中, 展示风机数据插补的可视化结果, 并使用评价指标验证所提方法的有效性.
首先, 通过对相同缺失率下的4种不同情况的风机样本进行插补, 说明方法的插补能力. 图 5是数据插补结果示例, 橙色的实线表示原始数据样本的趋势, 蓝色的虚线表示进行插补后的完整样本的趋势. 虽然产生缺失的原因不同, 但从图5中四个子图的曲线重叠程度来看, 插补数据和原始数据在绝大部分采样点的归一化数值都是一致的, 这说明所提方法插补的数据与原始数据类似. 由于按顺序接收样本并进行更新, 当前模型能够对数据变化做出快速反应. 插补数据与原始数据之间的差异微乎其微, 因此所提出的在线更新机制能有效地插补环境变化下的数据.
图 5 所提方法对具有相同缺失率的不同风机的不完整数据插补结果((a) 样本1; (b) 样本2; (c)样本3; (d)样本4)Fig. 5 Results of incomplete data imputation of the proposed method for different wind turbines with the same missing rate ((a) Sample 1; (b) Sample 2; (c) Sample 3; (d) Sample 4)进一步, 研究不同缺失率下相同风机数据的插补效果. 图 6为缺失率从0.1增大到0.8的插补结果, 缺失率越大, 原始数据与插补数据重合程度越小, 说明缺失率越低插补效果越好. 表 6展示三种不同评价指标的结果, 其中包含最小值(min)、最大值(max)和平均值(avg). 根据图表的插补结果, 可以得出以下结论: 1) 在相同缺失率下, 即使应对不同的缺失场景, 所提方法均有良好的插补效果; 2) 随着缺失率的增加, 相应的数据插补性能有所下降; 3) 三个评价指标的值均处于较低水平. 因此, 这些结论表明, 在进行的实验中, 插补的数据与原始的数据在统计上相似. 无论是图表的直观表示, 还是相应的三个评价指标的定量分析结果, 都表明MSIN 在不同缺失数据情况下的插补性能优异.
图 6 同一风机样本在不同缺失率下的不完整数据插补结果((a) 0.1; (b) 0.2; (c) 0.3; (d) 0.4; (e) 0.5; (f) 0.6; (g) 0.7; (h) 0.8)Fig. 6 Incomplete data imputation results for the same wind turbine sample at different missing rates ((a) 0.1; (b) 0.2; (c) 0.3; (d) 0.4; (e) 0.5; (f) 0.6; (g) 0.7; (h) 0.8)表 6 风机数据在不同缺失率下的评价指标结果Table 6 Results of evaluation metrics for wind turbine data with different missing rates缺失率 MAE MAPE RMSE max min avg max min avg max min avg 0.1 0.1653 0.0822 0.1179 3.8283 1.2530 2.3968 0.2432 0.1556 0.1877 0.2 0.1768 0.1052 0.1298 3.7203 1.1687 2.4970 0.2656 0.1724 0.2032 0.3 0.1914 0.1127 0.1409 3.7355 1.2704 2.6702 0.2768 0.1884 0.2186 0.4 0.1791 0.1079 0.1356 3.5158 1.2851 2.6973 0.2841 0.1920 0.2244 0.5 0.1881 0.1217 0.1418 3.6810 1.2905 2.7583 0.2654 0.2068 0.2269 0.6 0.1968 0.1386 0.1544 3.7117 1.2130 2.7925 0.2823 0.2239 0.2753 0.7 0.1994 0.1789 0.1629 3.8964 1.2025 2.8347 0.2833 0.2353 0.2538 0.8 0.1999 0.1625 0.1787 3.9935 1.2148 2.8559 0.3004 0.2465 0.2734 3.3 消融实验
本文的消融实验由三个模块组成: 时空模块 (ST)、JS损失函数 (JS)和重建损失 (R), 为了公平地评价MSIN中每个模块的有效性和优势, 本文设计了消融实验, 图 7展示相关结果.
图 7 消融实验评价指标的平均结果 ((a) MAE; (b) MAPE; (c) RMSE)Fig. 7 The average results of evaluation metrics for ablation experiments ((a) MAE; (b) MAPE; (c) RMSE)MSIN: 本文提出的完整的MSIN方法.
MSIN-R: 在MSIN的基础上去掉重建损失, 表明重建损失在网络中的作用.
MSIN-ST: 在MSIN的基础上去掉多视角时空卷积模块, 即, 此时该方法缺乏对风机时空关系的捕捉, 能够体现多视角时空卷积模块对于网络插补效果的影响.
MSIN-JS: 该方法由生成对抗网络和多视角时空卷积模块组成, 旨在证明在对抗生成网络的基础上去掉JS散度对于插补效果的影响.
MSIN-ST-JS: 该方法保留生成对抗网络的结构及重建损失.
MSIN-ST-JS-R: 该方法仅包含生成对抗网络结构.
如图 7所示, MSIN方法在插补数据时, 相对于完全去掉提取时空特征模块的MSIN-ST而言, MAE、MAPE、RMSE的数值都实现了很大程度的下降. 对比MSIN-ST与MSIN, 说明多视角时空卷积模块为时空特征提取中重要的结构, 对提高插补网络的性能贡献极大. 当去掉重建损失时, MSIN-R和MSIN-ST-JS-R的三种评价指标都远大于其他方法, 可见重建损失是对插补效果影响最大的模块. JS散度损失函数对于插补网络的影响虽然没有重建损失模块和ST模块那么明显, 但JS散度损失与ST模块结合, 对于ST模块具有辅助作用, 可以进一步降低三个评价指标的数值, 加入JS散度损失函数相当于整体上进行优化. 即, 当ST模块、JS模块和R模块共同作用时, 插补效果是最好的.
3.4 对比实验
通过计算插补数据训练时间(表 7)和CPU利用率(图 8), 评估所提方法的数据训练成本. 每次迭代的运行时间反映了MSIN方法的在线插补和参数更新过程. 由于MSIN具有更复杂的网络结构、多视角时空卷积模块和实时自更新机制, 因此与传统方法相比, MSIN的运行时间更长. 而传统统计方法由于不涉及神经网络训练, 因此运行时间较短, CPU利用率较低. 在运行时间和CPU利用率方面, 所提方法处于深度学习方法的中上游, 在更短的时间与更低的CPU利用率之间取得了平衡. 因此, 与其他深度学习方法相比, MSIN的数据插补成本更具优势.
表 7 七种插补方法一次迭代的运行时间(s)Table 7 Running time of the seven imputation methods for one iteration (s)插补方法 缺失率 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 MSIN 4.3156 4.7167 4.9595 5.1400 5.1159 4.9905 5.1656 5.0997 TimeGAN[28] 6.5895 6.6172 7.3519 8.8907 7.7120 8.4728 7.8757 8.3546 M-RNN[29] 81.1218 70.8649 69.9753 67.5593 69.0319 68.2631 71.2586 68.9668 MIRACLE[30] 0.2554 0.3761 0.3752 0.3925 0.3879 0.3692 0.3712 0.3941 MICE[31] 2.5963 2.1705 2.1164 2.7042 2.2922 2.3221 2.6145 2.5653 MissForest[32] 0.5963 0.5771 0.7897 0.7921 0.8396 0.9587 0.9132 0.8527 LGDI[33] 15.6514 14.0879 15.8731 16.3439 14.9822 17.3042 15.9346 17.8468 为证明MSIN方法的优越性, 本文将MSIN与一些依赖于统计概念的插补方法和基于深度学习的数据驱动插补方法作比较, 包括时间序列生成式对抗网络(Time-series generative adversarial networks, TimeGAN)[28]、多向循环神经网络(Multi-directional recurrent neural network, M-RNN)[29]、因果感知插补算法(Causally-aware imputation algorithm, MIRACLE)[30]、MICE方法[31]、MissForest插补方法[32]、大缺口数据插补方法(Large gaps data imputation, LGDI)[33].
$ 1) $ TimeGAN: 由前馈网络实现的恢复函数和递归网络实现的嵌入网络构成自编码部分, 由递归网络实现的生成器和带有前馈输出层的双向递归网络实现的判别器构成对抗部分, 两个部分共同训练.
$ 2) $ M-RNN: 由插补模块和补偿模块两个部分构成, 除了基础的M-RNN, 还在两个M-RNN 单元之间加入dropout层, 两个模块同时训练能够完成数据流内的插补和跨数据流的插补.
$ 3) $ MIRACLE: 通过同时学习一个$ m $图, 使用一个自助插补循环来改进基线插补, 该循环用一个学习到的因果图逐步正则化预测.
$ 4) $ MICE: 通过一系列预测模型的迭代, 插补数据集中的缺失数据. 对预测模型进行一系列迭代, 在每次迭代中, 数据集中的每个指定变量都会使用数据集中的其他变量进行估计, 这些迭代会持续运行直到收敛.
$ 5) $ MissForest: 首先, 使用中值插补填补缺失值. 然后, 将缺失值标记为“预测”行, 将其他行标记为训练行, 并将其输入经过预测训练的随机森林模型. 然后将该行生成的预测值填入, 生成一个转换后的数据集.
$ 6) $ LGDI: 是一种基于迭代的方法, 它将重塑和极值分离操作与 MICE算法相结合, 使用一系列回归模型, 并利用之前的估计值预测后续变量.
图 9显示了整个实验结果, 综合图 9(a)、图 9(b)、图 9(c)三张子图来看, MSIN方法远远超过了其他方法. 随着缺失率的增加, 训练时的梯度变化不明显, 说明 MSIN的优势在高缺失率(大于0.2)条件下依然明显, 在此条件下仍能够捕捉时空特征, 最终的收敛值也较其他六个模型小. 与其他模型相比, MAE、MAPE 和 RMSE分别下降18.54%、41.00% 和 3.15%以上. 这意味着时空特征被保留下来且插补的数据符合良好的数据分布. 本文所提方法一般优于经典统计法和数据驱动方法, 该方法捕获了周围的邻域关系, 并考虑了整个风电场的局部和全局时空关系, 即使是在缺失率增加的情况下, MSIN仍能保持良好且稳定的插补结果.
图 9 不同方法对比实验结果 ((a) MAE; (b) MAPE; (c) RMSE)Fig. 9 Comparative experimental results of different methods ((a) MAE; (b) MAPE; (c) RMSE)4. 结束语
本文设计一种基于生成对抗网络的多变量时空融合方法MSIN, 用于解决风机SCADA数据缺失问题. MSIN是一个包含生成对抗结构、缺失值定位–指引机制、多视角时空卷积模块、联合损失函数模块和实时自更新机制的神经网络, 弥补了其他数据插补模型只关注数据本身的分布而忽视了时间和空间相关性对风机数据的影响的缺陷. 1) 在该方法中, 缺失值定位–指引机制为生成器提供了缺失数据位置信息, 并辅助判别器判别数据真伪; 2) 多视角时空卷积模块通过对局部空间特征相关性和全局时间特征相关性的提取, 捕捉了风机时间序列潜在的时空相关性; 3) 联合损失函数有助于获取缺失数据与相邻数据的关系; 4) 实时自更新机制学习数据分布来处理大量数据, 并且能够根据外部环境的动态变化及时作出响应, 由此使网络能够适应于多变环境. 通过实验对比显示MSIN的插补性能要优于其他方法.
本文通过生成对抗网络实现风电机组缺失数据插补问题的研究, 在此基础上, 仍有以下三点问题需要进一步研究: 1) 研究风电场数据与其他多源数据(如气象、地理信息)的融合, 以提高插补数据的全面性和精确性; 2) 提高模型的可解释性, 通过解释模型参数和决策过程, 使得模型的输出更具可信度; 3) 考虑模型在面对极端天气等情况下的性能, 以提高其在实际应用中的普适性.
-
图 5 各类人脸活体检测方法性能分布图
Fig. 5 Performance comparison of different category of face anti-spoofing methods
表 1 主流人脸活体检测方法总览
Table 1 Brief overview of face anti-spoofing methods
一级类别 二级类别 分类特征 防范的假体人脸 算法优点 算法缺点 交互式人脸活体检测 基于随机动作的方法 用户配合的动作: 点头、抬头、眨眼、闭眼、遮挡眼睛、扬眉、皱眉、笑脸、吐舌头、张嘴[8, 12] 照片、视频 对二维类假体人脸准确率高, 通用性强 需要用户配合, 用户体验差, 不能防止眼部、嘴部挖洞的面具攻击, 适用范围窄 基于唇语声音混合的方法 朗读一个数字串、一段文字时的唇语与声音[10-11] 非交互式人脸活体检测 基于图像纹理的方法 LBP、HOG、Gabor等描述符从灰度图中抽取的灰度纹理特征[15-17, 21, 23, 30-33] 照片、视频、面具 容易实现, 计算量少, 单张图片可预测结果, 速度快 容易被拍摄设备、光照条件、图像质量影响, 跨数据集通用能力不强 LBP、LPQ等描述符从HSV, YCbCr颜色空间图像中抽取的颜色纹理特征[20, 35, 39] 基于图像质量的方法 手工设计特征抽取图像镜面反射、颜色分布、清晰度方面的图像质量特征[43-45] 照片、视频 针对单类假体人脸的跨数据集通用能力相对强, 速度快 需要根据假体人脸的类别设计具体特征, 跨假体类型的通用能力不强, 需要高质量图像, 难以抵御高清哑光照片视频攻击 基于生命信息的方法 光流法、运动成分分解检测活体不自主地眨脸部、唇部的微运动[48, 51-52, 56] 照片 对照片类假体人脸准确率高, 通用性高 需要视频为输入
计算量大, 速度慢
难以防范视频攻击
对假体制造的微运动鲁棒性不强远程光学体积描记术(rPPG)信息检测待测 面具 特定约束条件下准确率高 需要视频为输入
鲁棒性不强, 受外界光照、个体运动的影响大基于其他硬件的方法 近红外图像特征[62-68] 照片、视频、面具 准确率高 需要增加新的昂贵硬件
设备采集、处理图像的时间增加短波红外图像特征[69] 热红外图像特征[70]
400 nm至1 000 nm的多个波段图像特征[71-72]
光场图像信息[73-74]
深度图像信息[75-78]基于深度特征的方法 从头训练CNN抽取深度特征分类[79-80, 83]、利用预训练的ResNet-50、VGG等模型抽取特征[84−85, 87] 照片、视频、面具 相对来说, 准确率较高 模型参数多, 计算量大, 训练时间长
过拟合问题
对数据量和数据丰富性上有高要求深度特征与手工特征融合[85, 95-97] 三维卷积抽取时空深度特征[93-94] 混合特征类方法 纹理信息和运动生命信息的混合[17-19, 25, 85, 93-94, 97, 99-101] 照片、视频、面具 融合多特征的优点
提升识别准确率和通用性计算量、存储增大, 相对识别时间增长
算法实现和维护的工作量增加纹理信息和人脸结构信息的混合[76, 80, 83, 98, 102] 人脸结构信息与运动生命信息的混合[89] 图像质量与运动生命信息的混合[95] 背景信息[27]和其他特征的混合[79, 81, 84, 87, 93, 98, 100] 
下载: 导出CSV
表 2 主流人脸活体检测数据集总览
Table 2 Brief overview of face anti-spoofing datasets
数据集 年份 假体人脸 个体数 数据量 姿态、表情、光照等录制场景 录制设备与图像分辨率 NUAA[116] 2010 三种打印照片 15 12 641张图像 三个不同光照的外界环境 网络摄像头–可见光图像640 × 480像素 Yale Recaptured[33] 2011 LCD屏显示的照片 10 2 560张图像 64种不同光照 Kodak C813 8.2与Samsung Omnia i900的摄像头–裁剪后的灰度图 64 × 64像素 Print-Attack Database[117] 2011 手持照片、固定照片 50 200个视频 两种不同光照 可见光图像
苹果笔记本内置摄像头– 320 × 240像素CASIA MFSD[34] 2012 弯曲照片、挖眼照片、视频 50 600个视频 室内光照 可见光图像
使用时间长的USB摄像头– 640 × 480像素; 新USB摄像头– 480 × 640像素; Sony NEX-5摄像头– 1 920 × 1 080像素Replay Attack[16] 2012 手持或者固定的照片与视频 50 1 300个视频 两种不同光照 可见光图像
苹果笔记本内置摄像头– 320 × 240像素MSU MFSD[45] 2015 高分辨率照片与视频 35 280个视频 一个场景 可见光图像
MacBook Air 13内置摄像头– 640 × 480像素
Google Nexus 5前置摄像头– 720 × 480像素UVAD[31] 2015 6种设备拍摄的人脸视频 404 17 076个视频 不同背景光照的室内室外场景 索尼摄像头–可见光图像1 366 × 768像素 REPLAY MOBILE[118] 2016 高分辨率照片与视频 40 1 200个视频 五种不同光照 iPad Mini2 (iOS) 以及LG-G4
前置摄像头–可见光图像720 × 1 280像素MSU USSA[119] 2016 高分辨率照片与视频 1 000 9 000张 一个场景 可见光图像
Google Nexus 5前置摄像头– 1 280 × 960像素; 后置摄像头– 3 264 × 2 448像素Oulu-NPU[120] 2017 照片与视频 55 5 940个视频 三种不同光照场景 六种智能手机的前置摄像头–可见光图像1 920 × 1 080像素 SiW[89] 2018 高低两种分辨率的照片, 弯曲照片与高分辨率视频 165 4 478个视频 活体人脸录制了距离、姿态、表情、光照差异 Canon EOST6, Logitech C920摄像头–可见光图像1 920 × 1 080像素 GUC LiFFAD[21] 2015 激光、喷墨打印的照片, iPad显示的照片 80 4 826张图像 不同焦距的图像, 室内室外场景 光场相机 Msspoof[121] 2016 可见光与近红外光谱的黑白照片 22 4 704张图片 7种不同的室内室外环境 uEye摄像头以及近红外滤波器
可见光与近红外图像– 1 280 × 1 024像素EMSPAD[122] 2017 激光打印的照片, 喷墨打印的照片 50 10 500张图像 2个场景 多光谱摄像头7个波段的图像
裁剪对齐后120 × 120像素3DMAD[37] 2013 定制三维人脸面具 17 76 500张图像 3种不同场景 Kinect深度摄像头–深度图 640 × 480像素; 可见光摄像头–可见光图像640 × 480像素 HKBU MARsV2[123] 2016 两种三维人脸面具 12 1 008个视频 7种不同光照 可见光图像, 三种传统摄像头:
Logitech C920网络摄像头– 1 280 × 720像素; 工业摄像头– 800 × 600像素; Canon EOS M3-1 280 × 720像素; 可见光图像, 4种移动设备摄像头:
Nexus 5, iPhone6, Samsung S7, Sony Tablet S;SMAD[92] 2017 硅胶三维人脸面具 – 130个视频 不同光照, 不同录制背景环境 – MLFP[124] 2017 挖去眼部的二维照片, 乳胶三维人脸面具 10 1 350个视频 室内室外场景 Android智能手机–可见光图像1 280 × 720像素; FLIR ONE热像仪安卓版–热红外图像640 × 480像素; 微软Kinect –近红外图像424 × 512像素
下载: 导出CSV
表 3 CASIA-MFSD与Replay-Attack数据集单数据集测试性能数据(%)
Table 3 The performance of intra-test on CASIA-MFSD and Replay-Attack datasets (%)
方法 CASIA-MFSD Replay-Attack EER EER HTER LBP[16] 18.2 13.9 13.8 DoG[34] 17.0 – – Motion Magn[55] 14.4 0.0 1.25 IDA[43] 32.4 – 15.2 LBP-TOP[17] 10.0 7.9 7.6 CNN[79] 7.4 6.1 2.1 DMD + LBP[56] 21.8 5.3 3.8 IDA and motion[95] 5.8 0.83 0.0 Colour LBP[20] 2.1 0.4 2.8 VLBC[127] 6.5 1.7 0.8 3D CNN[94] 5.2 0.16 0.04 FD-ML-LPQ-FS[41] 4.6 5.6 4.8 patch + depthCNN[80] 2.7 0.8 0.7 SURF[39] 2.8 0.1 2.2 PreDRS + LSTM[84] 1.22 1.03 1.18 ST Mapping[82] 1.1 0.78 0.80 DDGL[92] – 1.3 0.0 LiveNet[88] 4.59 – 5.74 Color texture[35] 4.6 1.2 4.2 DSGN[90] 3.42 0.13 0.63 deep LBP[85] 2.3 0.1 0.9 3D CNN + geneloss[93] 1.4 0.3 1.2 SSD + SPMT[98] 0.04 0.04 0.06
下载: 导出CSV
表 4 Oulu数据集单数据集测试性能数据(%)
Table 4 The performance of intra-test on Oulu dataset (%)
协议 方法 APCER BPCER ACER 1 GRADIANTex[128] 7.1 5.8 6.5 1 CPq[128] 2.9 10.08 6.9 1 GRADIANT[128] 1.3 12.5 6.9 1 Auxiliary[89] 1.6 1.6 1.6 1 Noise Modeling[129] 1.2 1.7 1.5 1 TDI[130] 2.5 0.0 1.3 2 GRADIANT[128] 3.1 1.9 2.5 2 GRADIANTex[128] 6.9 2.5 4.7 2 MixedFASNet[128] 9.7 2.5 6.1 2 Auxiliary[89] 2.7 2.7 2.7 2 Noise Modeling[129] 4.2 4.4 4.3 2 TDI[130] 1.7 2.0 1.9 3 GRADIANT[128] 2.6±3.9 5.0±5.3 3.8±2.4 3 GRADIANTex[128] 2.4±2.8 5.6±4.3 4.0±1.9 3 MixedFASNet[128] 5.3±6.7 7.8±5.5 6.5±4.6 3 Auxiliary[89] 2.7±1.3 3.1±1.7 2.9±1.5 3 Noise Modeling[129] 4.0±1.8 3.8±1.2 3.6±1.6 3 TDI[130] 5.9±1.0 5.9±1.0 5.9±1.0 4 GRADIANT[128] 5.0±4.5 15.0±7.1 10.0±5.0 4 GRADIANTex[128] 27.5±24.2 3.3±4.1 15.4±11.8 4 Massy HNU[128] 35.8±35.3 8.3±4.1 22.1±17.6 4 Auxiliary[89] 9.3±5.6 10.4±6.0 9.5±6.0 4 Noise Modeling[129] 5.1±6.3 6.1±5.1 5.6±5.7 4 TDI[130] 14.0±3.4 4.1±3.4 9.2±3.4
下载: 导出CSV
表 6 3DMAD、SMAD与HKBU-MARsV2数据集单数据集测试性能数据(%)
Table 6 The performance of intra-test on 3DMAD, SMAD and HKBU-MARsV2 datasets (%)
方法 3DMAD SMAD HKBU-MARsV2 HTER HTER EER HTER LBPs[38] 0.1 20.8 22.5 24.0±25.6 deep and color[37] 0.95 – – – IDA motion[95] 0 – – – Color texcure[20] – – 23.0 23.4±20.5 videolet agg[101] 0 20.4 – – GrPPG[57] 7.94 – 16.4 16.1±20.5 LBP-TOP[92] – 21.5 – – DBN[92] 0.5 19.2 – – DDGL[92] 0 13.1 – – CFrPPG[60] 6.82±12.1 – 4.04 4.42±5.1
下载: 导出CSV
表 7 CASIA-MFSD与Replay-Attack数据集间跨数据集测试性能数据HTER (%)
Table 7 The performance of inter-test between CASIA-MFSD and Replay-Attack (%)
训练 CASIA-MFSD Replay-Attack 测试 Replay-Attack CASIA-MFSD LBP[126] 55.9 57.6 Motion[126] 50.2 47.9 Motion Magn[55] 50.1 47.0 LBP-TOP[126] 49.7 60.6 CNN[79] 48.5 45.5 Color LBP[20] 30.3 37.7 texture+Motion[99] 12.4 31.6 FD-ML-LPQ-FS[41] 50.25 42.59 ST Mapping[82] 35.05 40.22 SURF[39] 26.9 23.2 DDGL[92] 22.8 27.4 Noise Modeling[129] 28.5 41.1 DeepImg+rPPG[89] 27.6 28.4 Domain Adapt[91] 27.4 36.0 Color texture[35] 9.6 39.2 LiveNet[88] 8.39 19.12
下载: 导出CSV
表 8 3DMAD与HKBU-MARsV2数据集间跨数据集测试性能数据HTER (%)
Table 8 The performance of inter-test between 3DMAD and HKBU-MARsV2 (%)
下载: 导出CSV
-
[1] 中华人民共和国公安部. 安防人脸识别应用防假体攻击测试方法, GA/T 1212-2014, 2014.Ministry of Public Security of the People's Republic of China. Face Recognition Applications in Security Systems-Testing Methodologies for Anti-Spoofing, GA/T 1212-2014, 2014. [2] Li Y, Xu K, Yan Q, Li Y J, Deng R H. Understanding OSN-based facial disclosure against face authentication systems. In: Proceedings of the 9th ACM Symposium on Information, Computer and Communications Security. Kyoto, Japan: ACM, 2014. 413-424 [3] Chakraborty S, Das D. An overview of face liveness detection. International Journal on Information Theory, 2014, 3(2): Article No. 2 [4] Souza L, Oliveira L, Pamplona M, Papa J. How far did we get in face spoofing detection? Engineering Applications of Artificial Intelligence, 2018, 72: 368-381 doi: 10.1016/j.engappai.2018.04.013 [5] Ramachandra R, Busch C. Presentation attack detection methods for face recognition systems: A comprehensive survey. ACM Computing Surveys, 2017, 50(1): Article No. 8 [6] 郑河荣, 褚一平, 潘翔, 赵小敏. 基于人脸姿态控制的交互式视频活体检测方法及其系统. CN 201510764681, 中国, 2016-01-20Zheng He-Rong, Chu Yi-Ping, Pan Xiang, Zhao Xiao-Min. Interactive Video in Vivo Detection Method Based on Face Attitude Control and System Thereof. CN Patent 201510764681, China, January 20, 2016 [7] 薛炳如, 卜习栓, 王金凤. 一种基于动作识别的活体人脸识别方法及系统. CN 201611129097, 中国, 2017-05-10Xue Bing-Ru, Bu Xi-Shuan, Wang Jin-Feng. Action Recognition Based Living Body Face Recognition Method and System. CN Patent 201611129097, China, May 10, 2017 [8] 王先基, 陈友斌. 一种活体人脸检测方法与系统. CN 201310384 572, 中国, 2013-12-11Wang Xian-Ji, Chen You-Bin. Method and System for Detecting Living Body Human Face. CN Patent 2013103845 72, China, December 11, 2013 [9] 徐光柱, 刘鸣, 尹潘龙, 雷帮军, 李春林. 基于人眼区域活动状态的活体检测方法和装置. CN 201510472931, 中国, 2015-12-09Xu Guang-Zhu, Liu Ming, Yin Pan-Long, Lei Bang-Jun, Li Chun-Lin. Living Body Detection Method and Apparatus Based on Active State of Human Eye Region. CN Patent 201510472931, China, December 9, 2015 [10] 汪铖杰, 李季檩, 倪辉, 吴永坚, 黄飞跃. 人脸识别方法及识别系统. CN 201510319470, 中国, 2015-10-07Wang Cheng-Jie, Li Ji-Lin, Ni Hui, Wu Yong-Jian, Huang Fei-Yue. Face Recognition Method and Recognition System. CN Patent 201510319470, China, October 7, 2015 [11] Kollreider K, Fronthaler H, Faraj M I, Bigun J. Real-time face detection and motion analysis with application in "liveness" assessment. IEEE Transactions on Information Forensics and Security, 2007, 2(3): 548-558 doi: 10.1109/TIFS.2007.902037 [12] Ng E S, Chia Y S. Face verification using temporal affective cues. In: Proceedings of the 21st International Conference on Pattern Recognition. Tsukuba, Japan: IEEE, 2012. 1249-1252 [13] Chetty G, Wagner M. Liveness verification in audio-video authentication. In: Proceedings of the 10th Australian International Conference on Speech Science and Technology. Sydney, Australia: Australian Speech Science and Technology Association Inc, 2004. 358-363 [14] Frischholz R W, Werner A. Avoiding replay-attacks in a face recognition system using head-pose estimation. In: Proceedings of the 2013 IEEE International SOI Conference. Nice, France: IEEE, 2003. 234-235 [15] Määttä J, Hadid A, Pietikäinen M. Face spoofing detection from single images using micro-texture analysis. In: Proceedings of the 2011 International Joint Conference on Biometrics. Washington, USA: IEEE, 2011. 1-7 [16] Chingovska I, Anjos A, Marcel S. On the effectiveness of local binary patterns in face anti-spoofing. In: Proceedings of the 11th International Conference of Biometrics Special Interest Group. Darmstadt, Germany: IEEE, 2012. 1-7 [17] De Freitas Pereira T, Komulainen J, Anjos A, De Martino J M, Hadid A, Pietikäinen M, et al. Face liveness detection using dynamic texture. EURASIP Journal on Image and Video Processing, 2014, 2014(1): Article No. 2 [18] De Freitas Pereira T, Anjos A, De Martino J M, Marcel S. LBP-TOP based countermeasure against face spoofing attacks. In: Proceedings of the 2012 Asian Conference on Computer Vision. Daejeon, Korea (South): Springer, 2012. 121-132 [19] Komulainen J, Hadid A, Pietikäainen M. Face spoofing detection using dynamic texture. In: Proceedings of the 2012 Asian Conference on Computer Vision. Daejeon, Korea (South): Springer, 2012. 146-157 [20] Boulkenafet Z, Komulainen J, Hadid A. Face spoofing detection using colour texture analysis. IEEE Transactions on Information Forensics and Security, 2016, 11(8): 1818-1830 doi: 10.1109/TIFS.2016.2555286 [21] Raghavendra R, Raja K B, Busch C. Presentation attack detection for face recognition using light field camera. IEEE Transactions on Image Processing, 2015, 24(3): 1060-1075 doi: 10.1109/TIP.2015.2395951 [22] Kose N, Dugelay J L. Classification of captured and recaptured images to detect photograph spoofing. In: Proceedings of the 2012 International Conference on Informatics, Electronics and Vision. Dhaka, Bangladesh: IEEE, 2012. 1027-1032 [23] Yang J W, Lei Z, Liao S C, Li S Z. Face liveness detection with component dependent descriptor. In: Proceedings of the 2013 International Conference on Biometrics. Madrid, Spain: IEEE, 2013. 1-6 [24] Raghavendra R, Busch C. Robust 2D/3D face mask presentation attack detection scheme by exploring multiple features and comparison score level fusion. In: Proceedings of the 17th International Conference on Information Fusion. Salamanca, Spain: IEEE, 2014. 1-7 [25] Arashloo S R, Kittler J, Christmas W. Face spoofing detection based on multiple descriptor fusion using multiscale dynamic binarized statistical image features. IEEE Transactions on Information Forensics and Security, 2015, 10(11): 2396-2407 doi: 10.1109/TIFS.2015.2458700 [26] Määttä J, Hadid A, Pietikäinen M. Face spoofing detection from single images using texture and local shape analysis. IET Biometrics, 2012, 1(1): 3-10 doi: 10.1049/iet-bmt.2011.0009 [27] Komulainen J, Hadid A, Pietikäinen M. Context based face anti-spoofing. In: Proceedings of the 6th IEEE International Conference on Biometrics: Theory, Applications and Systems. Arlington, USA: IEEE, 2013. 1-8 [28] Schwartz W R, Rocha A, Pedrini H. Face spoofing detection through partial least squares and low-level descriptors. In: Proceedings of the 2011 International Joint Conference on Biometrics. Washington, USA: IEEE, 2011. 1-8 [29] Yang J W, Lei Z, Yi D, Li S Z. Person-specific face antispoofing with subject domain adaptation. IEEE Transactions on Information Forensics and Security, 2015, 10(4): 797-809 doi: 10.1109/TIFS.2015.2403306 [30] Da Silva Pinto A, Pedrini H, Schwartz W, Rocha A. Video-based face spoofing detection through visual rhythm analysis. In: Proceedings of the 25th SIBGRAPI Conference on Graphics, Patterns and Images. Ouro Preto, Brazil: IEEE, 2012. 221-228 [31] Pinto A, Schwartz W R, Pedrini H, De Rezende Rocha A. Using visual rhythms for detecting video-based facial spoof attacks. IEEE Transactions on Information Forensics and Security, 2015, 10(5): 1025-1038 doi: 10.1109/TIFS.2015.2395139 [32] Waris M A, Zhang H L, Ahmad I, Kiranyaz S, Gabbouj M. Analysis of textural features for face biometric anti-spoofing. In: Proceedings of the 21st European Signal Processing Conference. Marrakech, Morocco: IEEE, 2013. 1-5 [33] Peixoto B, Michelassi C, Rocha A. Face liveness detection under bad illumination conditions. In: Proceedings of the 18th IEEE International Conference on Image Processing. Brussels, Australia: IEEE, 2011. 3557-3560 [34] Zhang Z W, Yan J J, Liu S F, Lei Z, Yi D, Li S Z. A face antispoofing database with diverse attacks. In: Proceedings of the 5th IARR International Conference on Biometrics. New Delhi, India: IEEE, 2012. 26-31 [35] Boulkenafet Z, Komulainen J, Hadid A. On the generalization of color texture-based face anti-spoofing. Image and Vision Computing, 2018, 77: 1-9 doi: 10.1016/j.imavis.2018.04.007 [36] Kose N, Dugelay J L. Countermeasure for the protection of face recognition systems against mask attacks. In: Proceedings of the 10th IEEE International Conference and Workshops on Automatic Face and Gesture Recognition. Shanghai, China: IEEE, 2013. 1-6 [37] Erdogmus N, Marcel S. Spoofing in 2D face recognition with 3D masks and anti-spoofing with kinect. In: Proceedings of the 6th IEEE International Conference on Biometrics: Theory, Applications and Systems. Arlington, USA: IEEE, 2013. 1-6 [38] Erdogmus N, Marcel S. Spoofing face recognition with 3D masks. IEEE Transactions on Information Forensics and Security, 2014, 9(7): 1084-1097 doi: 10.1109/TIFS.2014.2322255 [39] Boulkenafet Z, Komulainen J, Hadid A. Face antispoofing using speeded-up robust features and fisher vector encoding. IEEE Signal Processing Letters, 2017, 24(2): 141-145 [40] Chan P P K, Liu W W, Chen D N, Yeung D S, Zhang F, Wang X Z, et al. Face liveness detection using a flash against 2D spoofing attack. IEEE Transactions on Information Forensics and Security, 2018, 13(2): 521-534 doi: 10.1109/TIFS.2017.2758748 [41] Benlamoudi A, Aiadi K E, Ouafi A, Samai D, Oussalah M. Face antispoofing based on frame difference and multilevel representation. Journal of Electronic Imaging, 2017, 26(4): Article No. 043007 [42] Mohan K, Chandrasekhar P, Jilani S A K. Object face liveness detection with combined HOGlocal phase quantization using fuzzy based SVM classifier. Indian Journal of Science and Technology, 2017, 10(3): 1-10 [43] Galbally J, Marcel S, Fierrez J. Image quality assessment for fake biometric detection: Application to iris, fingerprint, and face recognition. IEEE Transactions on Image Processing, 2014, 23(2): 710-724 doi: 10.1109/TIP.2013.2292332 [44] Galbally J, Marcel S. Face anti-spoofing based on general image quality assessment. In: Proceedings of the 22nd International Conference on Pattern Recognition. Stockholm, Sweden: IEEE, 2014. 1173-1178 [45] Wen D, Han H, Jain A K. Face spoof detection with image distortion analysis. IEEE Transactions on Information Forensics and Security, 2015, 10(4): 746-761 doi: 10.1109/TIFS.2015.2400395 [46] Li H L, Wang S Q, Kot A C. Face spoofing detection with image quality regression. In: Proceedings of the 6th International Conference on Image Processing Theory, Tools and Applications. Oulu, Finland: IEEE, 2016. 1-6 [47] Akhtar Z, Foresti G L. Face spoof attack recognition using discriminative image patches. Journal of Electrical and Computer Engineering, 2016, 2016: Article No. 4721849 [48] Pan G, Sun L, Wu Z H, Lao S H. Eyeblink-based anti-spoofing in face recognition from a generic webcamera. In: Proceedings of the 11th IEEE International Conference on Computer Vision. Rio de Janeiro, Brazil: IEEE, 2007. 1-8 [49] Sun L, Pan G, Wu Z H, Lao S H. Blinking-based live face detection using conditional random fields. In: Proceedings of the 2007 International Conference on Biometrics. Seoul, Korea (South): Springer, 2007. 252-260 [50] Li J W. Eye blink detection based on multiple Gabor response waves. In: Proceedings of the 2008 International Conference on Machine Learning and Cybernetics. Kunming, China: IEEE, 2008. 2852-2856 [51] Bharadwaj S, Dhamecha T I, Vatsa M, Singh R. Face Anti-Spoofing via Motion Magnification and Multifeature Videolet Aggregation, Technology Report, IIITD-TR2014-002, Indraprastha Institute of Information Technology, New Delhi, India, 2014. [52] Bao W, Li H, Li N, Jiang W. A liveness detection method for face recognition based on optical flow field. In: Proceedings of the 2009 International Conference on Image Analysis and Signal Processing. Linhai, China: IEEE, 2009. 233 -236 [53] Kollreider K, Fronthaler H, Bigun J. Verifying liveness by multiple experts in face biometrics. In: Proceedings of the 2008 IEEE Computer Society Conference on Computer Vision and Pattern Recognition Workshops. Anchorage, USA: IEEE, 2008. 1-6 [54] Kollreider K, Fronthaler H, Bigun J. Non-intrusive liveness detection by face images. Image and Vision Computing, 2009, 27(3): 233-244 doi: 10.1016/j.imavis.2007.05.004 [55] Bharadwaj S, Dhamecha T I, Vatsa M, Singh R. Computationally efficient face spoofing detection with motion magnification. In: Proceedings of the 2013 IEEE Conference on Computer Vision and Pattern Recognition Workshops. Portland, USA: IEEE, 2013. 105-110 [56] Tirunagari S, Poh N, Windridge D, Iorliam A, Suki N, Ho A T S. Detection of face spoofing using visual dynamics. IEEE Transactions on Information Forensics and Security, 2015, 10(4): 762-777 doi: 10.1109/TIFS.2015.2406533 [57] Li X B, Komulainen J, Zhao G Y, Yuen P C, Pietikäinen M. Generalized face anti-spoofing by detecting pulse from face videos. In: Proceedings of the 23rd International Conference on Pattern Recognition. Cancun, Mexico: IEEE, 2016. 4244-4249 [58] Nowara E M, Sabharwal A, Veeraraghavan A. PPGSecure: Biometric presentation attack detection using photopletysmograms. In: Proceedings of the 12th IEEE International Conference on Automatic Face & Gesture Recognition. Washington, USA: IEEE, 2017. 56-62 [59] Hernandez-Ortega J, Fierrez J, Morales A, Tome P. Time analysis of pulse-based face anti-spoofing in visible and NIR. In: Proceedings of the 2018 Conference on Computer Vision and Pattern Recognition Workshops. Salt Lake City, USA: IEEE, 2018. 544-552 [60] Liu S Q, Lan X Y, Yuen P C. Remote photoplethysmography correspondence feature for 3D mask face presentation attack detection. In: Proceedings of the 15th European Conference on Computer Vision. Munich, Germany: Springer, 2018. 558-573 [61] Wang S Y, Yang S H, Chen Y P, Huang J W. Face liveness detection based on skin blood flow analysis. Symmetry, 2017, 9(12): Article No. 305 [62] Yi D, Lei Z, Zhang Z W, Li S Z. Face anti-spoofing: Multi-spectral approach. Handbook of Biometric Anti-Spoofing. London: Springer, 2014. [63] Kim Y S, Na J, Yoon S, Yi J. Masked fake face detection using radiance measurements. Journal of the Optical Society of America A, 2009, 26(4): 760-766 doi: 10.1364/JOSAA.26.000760 [64] Zhang Z W, Yi D, Lei Z, Li S Z. Face liveness detection by learning multispectral reflectance distributions. In: Proceedings of the 2011 IEEE International Conference on Automatic Face and Gesture Recognition. Santa Barbara, CA, USA: IEEE, 2011. 436-441 [65] Sun X D, Huang L, Liu C P. Context based face spoofing detection using active near-infrared images. In: Proceedings of the 23rd International Conference on Pattern Recognition. Cancun, Mexico: IEEE, 2016. 4262-4267 [66] Sun X D, Huang L, Liu C P. Multispectral face spoofing detection using VIS-NIR imaging correlation. International Journal of Wavelets, Multiresolution and Information Processing, 2018, 16(2): Article No. 1840003 [67] Kose N, Dugelay J L. Reflectance analysis based countermeasure technique to detect face mask attacks. In: Proceedings of the 18th International Conference on Digital Signal Processing. Fira, Greece: IEEE, 2013. 1-6 [68] Dowdall J, Pavlidis I, Bebis G. Face detection in the near-IR spectrum. Image and Vision Computing, 2003, 21(7): 565-578 doi: 10.1016/S0262-8856(03)00055-6 [69] Steiner H, Kolb A, Jung N. Reliable face anti-spoofing using multispectral SWIR imaging. In: Proceedings of the 2016 International Conference on Biometrics. Halmstad, Sweden: IEEE, 2016. 1-8 [70] Kant C, Sharma N. Fake face recognition using fusion of thermal imaging and skin elasticity. International Journal of Computer Science and Communications, 2013, 4(1): 65 -72 http://pdfs.semanticscholar.org/83f7/9d370cbfaebeb363c4300ae61968ccf04bf8.pdf [71] Raghavendra R, Raja K B, Marcel S, Busch C. Face presentation attack detection across spectrum using time-frequency descriptors of maximal response in laplacian scale-space. In: Proceedings of the 6th International Conference on Image Processing Theory, Tools, and Applications. Oulu, Finland: IEEE, 2016. 1-6 [72] Raghavendra R, Raja K B, Venkatesh S, Busch C. Face presentation attack detection by exploring spectral signatures. In: Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition Workshops. Honolulu, USA: IEEE, 2017. 672-679 [73] Kim S, Ban Y, Lee S. Face liveness detection using a light field camera. Sensors, 2014, 14(12): 22471-22499 doi: 10.3390/s141222471 [74] Xie X H, Gao Y, Zheng W S, Lai J H, Zhu J Y. One-snapshot face anti-spoofing using a light field camera. In: Proceedings of the 12th Chinese Conference on Biometric Recognition. Shenzhen, China: Springer, 2017. 108-117 [75] Wang Y, Nian F D, Li T, Meng Z J, Wang K Q. Robust face anti-spoofing with depth information. Journal of Visual Communication and Image Representation, 2017, 49: 332-337 doi: 10.1016/j.jvcir.2017.09.002 [76] Raghavendra R, Busch C. Novel presentation attack detection algorithm for face recognition system: Application to 3D face mask attack. In: Proceedings of the 2014 IEEE International Conference on Image Processing. Paris, France: IEEE, 2014. 323-327 [77] Lagorio A, Tistarelli M, Cadoni M, Fookes C, Sridharan S. Liveness detection based on 3D face shape analysis. In: Proceedings of the 2013 International Workshop on Biometrics and Forensics. Lisbon, Portugal: IEEE, 2013. 1-4 [78] Tang Y H, Chen L M. 3D facial geometric attributes based anti-spoofing approach against mask attacks. In: Proceedings of the 12th IEEE International Conference on Automatic Face and Gesture Recognition. Washington, DC, USA: IEEE, 2017. 589-595 [79] Yang J W, Lei Z, Li S Z. Learn convolutional neural network for face anti-spoofing. arXiv Preprint arXiv: 1408. 5601, 2014. [80] Atoum Y, Liu Y J, Jourabloo A, Liu X M. Face anti-spoofing using patch and depth-based CNNs. In: Proceedings of the 2017 IEEE International Joint Conference on Biometrics. Denver, Colorado, USA: IEEE, 2017: 319-328 [81] Alotaibi A, Mahmood A. Deep face liveness detection based on nonlinear diffusion using convolution neural network. Signal, Image and Video Processing, 2017, 11(4): 713-720 doi: 10.1007/s11760-016-1014-2 [82] Lakshminarayana N N, Narayan N, Napp N, Setlur S, Govindaraju V. A discriminative spatio-temporal mapping of face for liveness detection. In: Proceedings of the 2017 IEEE International Conference on Identity, Security and Behavior Analysis. New Delhi, India: IEEE, 2017. 1-7 [83] Li L, Feng X Y, Boulkenafet Z, Xia Z Q, Li M M, Hadid A. An original face anti-spoofing approach using partial convolutional neural network. In: Proceedings of the 6th International Conference on Image Processing Theory, Tools and Applications. Oulu, Finland: IEEE, 2016. 1-6 [84] Tu X K, Fang Y C. Ultra-deep neural network for face anti-spoofing. In: Proceedings of the 24th International Conference on Neural Information Processing. Guangzhou, China: Springer, 2017. 686-695 [85] Li L, Feng X Y, Jiang X Y, Xia Z Q, Hadid A. Face anti-spoofing via deep local binary patterns. In: Proceedings of the 2017 IEEE International Conference on Image Processing. Beijing, China: IEEE, 2017. 101-105 [86] Lucena O, Junior A, Moia V, Souza R, Valle E, Lotufo R. Transfer learning using convolutional neural networks for face anti-spoofing. In: Proceedings of the 14th International Conference Image Analysis and Recognition. Montreal, Canada: Springer, 2017. 27-34 [87] Nagpal C, Dubey S R. A performance evaluation of convolutional neural networks for face anti spoofing. arXiv Preprint arXiv: 1805.04176, 2018. [88] Rehman Y A U, Po L M, Liu M Y. LiveNET: Improving features generalization for face liveness detection using convolution neural networks. Expert Systems with Applications, 2018, 108: 159-169 doi: 10.1016/j.eswa.2018.05.004 [89] Liu Y J, Jourabloo A, Liu X M. Learning deep models for face anti-spoofing: Binary or auxiliary supervision. In: Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City, USA: IEEE, 2018. 389-398 [90] Ning X, Li W J, Wei M L, Sun L J, Dong X L. Face anti-spoofing based on deep stack generalization networks. In: Proceedings of the 2018 International Conference on Pattern Recognition Applications and Methods. Funchal, Madeira, Portugal: SCITEPRESS, 2018. [91] Li H L, Li W, Cao H, Wang S Q, Huang F Y, Kot A C. Unsupervised domain adaptation for face anti-spoofing. IEEE Transactions on Information Forensics and Security, 2018, 13(7): 1794-1809 doi: 10.1109/TIFS.2018.2801312 [92] Manjani I, Tariyal S, Vatsa M, Singh R, Majumdar A. Detecting silicone mask-based presentation attack via deep dictionary learning. IEEE Transactions on Information Forensics and Security, 2017, 12(7): 1713-1723 doi: 10.1109/TIFS.2017.2676720 [93] Li H L, He P S, Wang S Q, Rocha A, Jiang X H, Kot A C. Learning generalized deep feature representation for face anti-spoofing. IEEE Transactions on Information Forensics and Security, 2018, 13(10): 2639-2652 doi: 10.1109/TIFS.2018.2825949 [94] Gan J Y, Li S L, Zhai Y K, Liu C Y. 3D convolutional neural network based on face anti-spoofing. In: Proceedings of the 2nd International Conference on Multimedia and Image Processing. Wuhan, China: IEEE, 2017. 1-5 [95] Feng L T, Po L M, Li Y M, Xu X Y, Yuan F, Cheung T C H, et al. Integration of image quality and motion cues for face anti-spoofing: A neural network approach. Journal of Visual Communication and Image Representation, 2016, 38: 451-460 doi: 10.1016/j.jvcir.2016.03.019 [96] Asim M, Ming Z, Javed M Y. CNN based spatio-temporal feature extraction for face anti-spoofing. In: Proceedings of the 2nd International Conference on Image, Vision and Computing. Chengdu, China: IEEE, 2017. 234-238 [97] Shao R, Lan X Y, Yuen P C. Deep convolutional dynamic texture learning with adaptive channel-discriminability for 3D mask face anti-spoofing. In: Proceedings of the 2017 IEEE International Joint Conference on Biometrics. Denver, Colorado, USA: IEEE, 2017. 748-755 [98] Song X, Zhao X, Fang L J, Lin T W. Discriminative representation combinations for accurate face spoofing detection. Pattern Recognition, 2019, 85: 220-231 doi: 10.1016/j.patcog.2018.08.019 [99] Patel K, Han H, Jain A K. Cross-database face antispoofing with robust feature representation. In: Proceedings of the 11th Chinese Conference on Biometric Recognition. Chengdu, China: Springer, 2016. 611-619 [100] Tronci R, Muntoni D, Fadda G, Pili M, Sirena N, Murgia G, et al. Fusion of multiple clues for photo-attack detection in face recognition systems. In: Proceedings of the 2011 International Joint Conference on Biometrics. Washington, DC, USA: IEEE, 2011. 1-6 [101] Siddiqui T A, Bharadwaj S, Dhamecha T I, Agarwal A, Vatsa M, Singh R, et al. Face anti-spoofing with multifeature videolet aggregation. In: Proceedings of the 23rd International Conference on Pattern Recognition. Cancun, Mexico: IEEE, 2016. 1035-1040 [102] Kose N, Dugelay J L. Mask spoofing in face recognition and countermeasures. Image and Vision Computing, 2014, 32(10): 779-789 doi: 10.1016/j.imavis.2014.06.003 [103] Ojala T, Pietikainen M, Maenpaa T. Multiresolution gray-scale and rotation invariant texture classification with local binary patterns. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2002, 24(7): 971-987 doi: 10.1109/TPAMI.2002.1017623 [104] Haralick R M, Shanmugam K, Dinstein I. Textural features for image classification. IEEE Transactions on Systems, Man, and Cybernetics, 1973, SMC-3(6): 610-621 doi: 10.1109/TSMC.1973.4309314 [105] Poh M Z, McDuff D J, Picard R W. Advancements in noncontact, multiparameter physiological measurements using a webcam. IEEE Transactions on Biomedical Engineering, 2011, 58(1): 7-11 doi: 10.1109/TBME.2010.2086456 [106] Adelson E H, Wang J Y A. Single lens stereo with a plenoptic camera. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1992, 1(2): 99-106 http://doi.ieeecomputersociety.org/resolve?ref_id=doi:10.1109/34.121783&rfr_id=trans/tg/2009/02/ttg2009020221.htm [107] Perona P, Malik J. Scale-space and edge detection using anisotropic diffusion. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1990, 12(7): 629-639 doi: 10.1109/34.56205 [108] He K M, Zhang X Y, Ren S Q, Sun J. Deep residual learning for image recognition. In: Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas, USA: IEEE, 2016. 770-778 [109] Hochreiter S, Schmidhuber J. Long short-term memory. Neural Computation, 1997, 9(8): 1735-1780 doi: 10.1162/neco.1997.9.8.1735 [110] Wolpert D H. Stacked generalization. Neural Networks, 1992, 5(2): 241-259 doi: 10.1016/S0893-6080(05)80023-1 [111] Ting K M, Witten I H. Stacked generalization: When does it work? In: Proceedings of the 15th International Joint Conference on Artifical Intelligence. San Francisco, USA: Morgan Kaufmann Publishers Inc, 1997. 866-871 [112] Tran D, Bourdev L, Fergus R, Torresani L, Paluri M. Learning spatiotemporal features with 3D convolutional networks. In: Proceedings of the 2015 IEEE International Conference on Computer Vision. Santiago, Chile: IEEE, 2015. 4489-4497 [113] Parkhi O M, Vedaldi A, Zisserman A. Deep face recognition. In: Proceedings of the 2015 British Machine Vision Conference. Swansea, UK: BMVA Press, 2015. 41.1-41.12 [114] Zhao G Y, Pietikainen M. Dynamic texture recognition using local binary patterns with an application to facial expressions. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2007, 29(6): 915-928 doi: 10.1109/TPAMI.2007.1110 [115] Liu W, Anguelov D, Erhan D, Szegedy C, Reed S, Yang F C, et al. SSD: Single shot MultiBox detector. In: Proceedings of the 14th European Conference on Computer Vision. Amsterdam, The Netherlands: Springer, 2016. 21-37 [116] Tan X Y, Li Y, Liu J, Jiang L. Face liveness detection from a single image with sparse low rank bilinear discriminative model. In: Proceedings of the 11th European Conference on Computer Vision. Crete, Greece: Springer, 2010. 504-517 [117] Anjos A, Marcel S. Counter-measures to photo attacks in face recognition: A public database and a baseline. In: Proceedings of the 2011 International Joint Conference on Biometrics. Washington, DC, USA: IEEE, 2011. 1-7 [118] Costa-Pazo A, Bhattacharjee S, Vazquez-Fernandez E, Marcel S. The replay-mobile face presentation-attack database. In: Proceedings of the 2016 International Conference of the Biometrics Special Interest Group. Darmstadt, Germany: IEEE, 2016. 1-7 [119] Patel K, Han H, Jain A K. Secure face unlock: Spoof detection on smartphones. IEEE Transactions on Information Forensics and Security, 2016, 11(10): 2268-2283 doi: 10.1109/TIFS.2016.2578288 [120] Boulkenafet Z, Komulainen J, Li L, Feng X Y, Hadid A. OULU-NPU: A mobile face presentation attack database with real-world variations. In: Proceedings of the 12th IEEE International Conference on Automatic Face and Gesture Recognition. Washington, DC, USA: IEEE, 2017. 612-618 [121] Chingovska I, Erdogmus N, Anjos A, Marcel S. Face recognition systems under spoofing attacks. Face Recognition Across the Imaging Spectrum. Cham: Springer, 2016. [122] Raghavendra R, Raja K B, Venkatesh S, Cheikh F A, Busch C. On the vulnerability of extended multispectral face recognition systems towards presentation attacks. In: Proceedings of the 2017 IEEE International Conference on Identity, Security and Behavior Analysis. New Delhi, India: IEEE, 2017. 1-8 [123] Liu S Q, Yang B Y, Yuen P C, Zhao G Y. A 3D mask face anti-spoofing database with real world variations. In: Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition Workshops. Las Vegas, USA: IEEE, 2016. 100-106 [124] Agarwal A, Yadav D, Kohli N, Singh R, Vatsa M, Noore A. Face presentation attack with latex masks in multispectral videos. In: Proceedings of the 2017 Computer Vision and Pattern Recognition Workshops. Honolulu, USA: IEEE, 2017. 275-283 [125] International Organization for Standardization. ISO/IEC 30107-3. Biometrics, Information Technology-Biometric Presentation Attack Detection — Part 1: Framework, 2016. [126] De Freitas Pereira T, Anjos A, De Martino J M, Marcel S. Can face anti-spoofing countermeasures work in a real world scenario? In: Proceedings of the 2013 International Conference on Biometrics. Madrid, Spain: IEEE, 2013. 1-8 [127] Zhao X C, Lin Y P, Heikkilä J. Dynamic texture recognition using volume local binary count patterns with an application to 2D face spoofing detection. IEEE Transactions on Multimedia, 2018, 20(3): 552-566 doi: 10.1109/TMM.2017.2750415 [128] Boulkenafet Z, Komulainen J, Akhtar Z, Benlamoudi A, Samai D, Bekhouche S E, et al. A competition on generalized software-based face presentation attack detection in mobile scenarios. In: Proceedings of the 2017 IEEE International Joint Conference on Biometrics. Denver, Colorado, USA: IEEE, 2017. 688-696 [129] Jourabloo A, Liu Y J, Liu X M. Face de-spoofing: Anti-spoofing via noise modeling. In: Proceedings of the 15th European Conference on Computer Vision. Munich, Germany: Springer, 2018. [130] Wang Z Z, Zhao C X, Qin Y X, Zhou Q S, Lei Z. Exploiting temporal and depth information for multi-frame face anti-spoofing. arXiv Preprint arXiv: 1811.05118, 2018. 期刊类型引用(1)
1. 甘路. 基于物联网的机器人目标跟踪方法研究. 企业观察家. 2024(05): 73-75 . 
百度学术其他类型引用(0)
-
下载:
计量
- 文章访问数: 2680
- HTML全文浏览量: 2307
- PDF下载量: 805
- 被引次数: 1
