-
摘要: 跨光谱人脸检测在活体人脸识别、体温筛查等领域有着重要的应用价值. 众所周知, 可见光人脸易于检测, 然而红外人脸难于检测, 因此借助可见光图像的人脸检测结果进而完成红外人脸检测是一种有效的解决方案. 但是跨光谱图像之间不可避免的存在偏差, 导致检测精度不高. 为了解决这一问题, 提出了一种弱对齐跨光谱图像的人脸检测算法, 该方法基于跨光谱图像之间的偏差设计了候选框布置策略, 并在此基础上提出了跨光谱特征表示方法用于选取最优候选框. 此外, 本文还构建了一个跨光谱人脸数据集. 最后, 在跨光谱人脸数据集和OTCBVS人脸数据集上的实验结果证明, 该方法能够较好地完成红外图像人脸检测任务.Abstract: Cross-spectral face detection has important application value in the field of face spoof detection and body temperature screening. It is known that it is easy to detect faces in visible light images. However, it is a challenge problem to localize faces accurately in infrared images. Therefore, it is an effective solution to complete infrared face detection based on the face detection results of visible light images. The result of above scheme is nevertheless unsatisfactory since there are unavoidable deviations between cross-spectral images. To solve this problem, this paper proposes a novel face detection algorithm based on weakly aligns cross-spectral images. This method designs the dispatch scheme of candidate box based on the deviation between cross-spectral images, and thus proposes a cross-spectral feature representation method to select the best candidate box. In addition, this paper also constructed a cross-spectral face dataset. Finally, the experimental results on the cross-spectral face and OTCBVS face datasets demontrate that the proposed method can complete the task of infrared image face detection well over the competed methods.
-
Key words:
- Weakly aligned /
- cross-spectral /
- face detection /
- computer vision
-
云资源的按使用付费模式以及弹性扩展能力, 为大规模科学应用的分布式管理与高效执行提供了快速、灵活、可扩展的部署环境[1-3]. 科学应用的分布式管理与高效执行的关键在于工作流调度, 而调度算法的设计、调度性能的优劣以及调度方案的可实施性, 直接取决于任务执行时间的估计精度[4-5].
在实际云数据中心环境下, 大量、频繁的用户服务请求与响应, 使数据中心的运行数据规模呈指数级增长. 其中, 工作流执行日志数据包含了大量的任务执行时间历史及其相关影响因素数据, 并在数据驱动的任务执行时间预测中发挥着重要作用. 任务执行时间的影响因素数据, 可根据其特征划分为类别型数据和数值型数据. 类别型数据与任务和资源的多样性、异构性相关, 其数值离散且取值范围广, 如任务名称和机器ID等; 数值型数据则与云环境的动态特性相关, 其数值连续, 且在一定范围内波动, 如资源利用率和网络带宽等. 在大数据环境下, 类别型数据的高维稀疏特性会扩大模型的搜索空间, 数值型数据的低维稠密特性会降低部分特征之间的差异性, 从而加大了模型寻优和学习的难度, 给任务执行时间预测带来了巨大挑战[6].
本文提出了一种基于多维度特征融合(Multi-dimensional feature fusion, MDFF)的云工作流任务执行时间预测算法. 针对类别型数据和数值型数据的特点, 设计不同的特征提取方法, 分别提取类别型和数值型特征. 同时, 通过将提取的特征和原始数据特征进行有选择地融合, 并采用轻量梯度提升机算法对融合特征进行挖掘与利用, 实现云工作流任务执行时间的精准预测.
本文的主要贡献如下:
1)构建具有注意力机制的堆叠残差循环网络, 将类别型数据从高维稀疏空间映射到低维稠密空间, 通过减小搜索空间, 提升模型对类别型数据的解析能力, 同时增强模型对类别型特征的关注度, 以有效提取类别型特征, 提高预测精度.
2)引入极限梯度提升算法, 对数值型数据进行离散化编码, 通过将过于稠密的数值型数据稀疏化, 突出特征之间的差异性, 避免模型训练陷入局部最优的可能, 提升模型的非线性信息表达能力, 有效提取数值型特征, 改善预测精度.
3)设计多维异质特征融合策略, 将具有注意力机制的堆叠残差循环网络提取的类别型特征、极限梯度提升(Extreme gradient boosting, XGB)模型提取的数值型特征与原始样本数据进行选择性融合, 以充分挖掘与利用任务执行时间的多维度特征, 学习更全面的任务执行时间知识, 降低预测误差.
1. 研究现状
传统的云计算任务执行时间估计方法, 大多基于微分测量[7]、相似性分析[8-9]以及数学表达式[10-11]等统计学习算法, 忽略了云资源的动态变化以及云环境的复杂特性, 难以实现任务执行时间的准确估计. 随着机器学习的不断发展, 数据驱动的执行时间预测方法被广泛应用于各种云应用场景. 近年来, 研究人员一直在探索如何将各种机器学习算法(如传统机器学习、深度学习与集成学习算法)应用于云计算任务执行时间预测, 以从海量、异构、复杂和多维的工作流任务执行数据中挖掘出更有效的信息.
基于传统机器学习的云工作流任务执行时间预测, 大多采用多元线性回归、支持向量回归等早期机器学习算法. Nouri等[12]和Tahvili等[13]建立了任务执行时间及其影响因素的多元回归模型, 实现任务执行时间的估计. 可是, 多元线性回归模型更适合捕捉线性关系, 难以学习工作流任务执行时间及其影响因素之间的非线性关系. Park等[14]与郑婷婷等[15]利用支持向量回归, 进行任务执行时间预测. 但是, 支持向量回归采用二次规划计算支持向量, 导致很大的内存和时间开销, 特别是在大数据样本时, 其模型训练时间过长.
深度学习具有超强的特征映射能力, 能够从海量数据中学习并挖掘数据之间的非线性关系, 为数据驱动的任务执行时间预测提供了新思路[16-17]. 伍章俊等[18]和Nadeem等[19]采用径向基函数(Radial basis function, RBF)神经网络, 构建了云工作流活动执行时间预测模型. 但是, RBF网络是一种单隐含层的前馈网络, 难以有效学习序列数据驱动的任务执行时间变化趋势相关的知识, 不适用于云环境下的任务执行时间预测. 因此, Rehse等[20]引入循环神经网络(Recurrent neural network, RNN), 通过捕捉任务执行时间的变化趋势来进行任务运行时间预测. Zhu等[21]提出了基于长短时记忆网络(Long short-term memory, LSTM)的预测方法, 解决RNN因梯度爆炸/消失而引起的预测精度降低问题. Bi等[22]选择Savitzky-Golay滤波器, 滤除原始数据序列的极值点和噪声干扰, 并利用LSTM进行任务执行时间预测.
神经网络(Neural network, NN)强大的非线性拟合能力和大数据学习能力, 使基于深度学习的任务执行时间预测效果得到了明显改善, 但是, NN固有的层级连接结构和大量神经元计算, 不仅使优化超平面变得十分复杂, 也大大增加了模型寻优的难度, 从而影响预测精度. 此外, 这些研究工作大多基于单一机器学习算法, 即使特征空间包含非常有效的信息, 但是单一模型有限的学习能力, 很难找到最优解, 直接影响预测精度[23].
集成学习可以综合相同/不同模型的学习能力, 为云计算任务执行时间预测开辟了新的途径. 一些学者将多个单一模型有机结合, 通过不同模型的优势互补来增强集成模型的学习能力, 并减少预测误差. 郑顾平等[24]综合线性、非线性和多项式回归等拟合技术, 搭建了基于参数变化的云应用程序执行时间预估模型. 类似地, 李帅标等[25]将朴素贝叶斯、支持向量回归和LSTM有机结合, 通过Stacking策略进行模型融合, 提出了一种业务过程剩余时间预测算法. Nadeem等[26]通过集成局部学习和进化计算, 实现了对e-Science工作流执行时间的预测. Hilman等[27]基于LSTM和K最近邻技术, 设计了在线增量学习方法, 用于工作流任务运行时间预测. Gao等[28]采用基于受限玻尔兹曼机(Restricted Boltzmann machine, RBM)堆叠的深度置信网络(Deep belief network, DBN), 建立了并发请求云服务响应时间与虚拟机资源之间的映射模型. Pham等[29]提出了基于随机森林(Random forest, RF)的两阶段预测算法, 实现对云工作流任务执行时间的估计. 实践证明, 在大多数情况下, 集成方法的预测精度优于单一机器学习算法. 因此, 本文利用集成学习方法解决大数据驱动的云工作流任务执行时间预测问题.
集成学习在大数据驱动的云计算任务执行时间预测方面取得了一定效果, 但它们大多基于仿真数据, 且仿真环境难以模拟云环境下资源的动态接入、撤离以及网络的不稳定性. 因此, 仿真数据给出的离散型或者连续型任务执行时间的影响因素数据, 其取值都在一定范围内, 使得类别型数据和数值型数据难以区分. 也就是说, 仿真数据与实际云数据中心环境下的工作流执行日志数据存在很大差异. 然而, 现有采用仿真数据的集成学习方法往往忽略了这种差异性, 在对类别型和数值型数据进行相似处理的基础上, 进行云计算任务执行时间预测. 现有的集成学习方法存在以下问题: 1)对类别型数据的解析能力不足, 即类别型数据的高维稀疏特性使搜索空间过大, 模型很难找到最优解, 从而影响预测精度; 2)缺乏足够的非线性表达能力, 且模型学习困难、易于陷入局部最优, 难以应对数值型数据的低维稠密特性所带来的特征差异性降低问题, 影响预测效果; 3)直接对提取到的特征进行学习, 导致学习效率低甚至学到无效或错误信息, 影响预测结果的准确性.
2. 相关理论基础
本节介绍本文算法涉及的主要理论基础, 即XGB算法[30]和轻量梯度提升机(Light gradient boosting machine, LGBM)算法[31].
2.1 极限梯度提升算法
作为梯度提升机(Gradient boosting machine, GBM)的一种高效实现, XGB利用梯度提升技术, 通过迭代生成残差下降的决策树(即基学习器), 将低精度的基学习器组合成一个较高精度的强学习器, 并利用正则化和二阶泰勒展开防止过拟合, 提高了模型的泛化能力. 因此, XGB模型能获得较好且不同的特征表达, 适合处理取值范围固定、数值连续的数值型数据.
数据集
$D = \{ ({X_i},{Y_i})\} $ 含有n个样本和m个特征, 其中${X_i}$ 为第i个样本的输入向量,${Y_i}$ 为${X_i}$ 对应的输出,${Y_i} \in {{\bf{R}}}$ ,$i = 1,2, \cdots ,n$ . 假设XGB模型由K棵树集成, 其预测函数如下:$${\hat Y_i} = \varphi ({X_i}) = \sum\limits_{k = 1}^K {{f_k}({X_i})} ,\;\;\;{f_k} \in F$$ (1) 式中,
$F =\{ {f(X) = {\omega _{q(X)}}} \}\;( q:\,{{\bf{R}}^m} \to \{1,2,\cdots,T\},$ $\omega \in {{\bf{R}}^T})$ 为一组回归树,${\hat Y_i}$ 为样本$X_i $ 的预测值, q表示每棵树的结构,$\omega $ 表示叶子权重, T为叶子节点的数量,${f_k}$ 对应第k棵树的结构和叶子权重,$f _k(X_i) $ 为第k棵树对样本$X_i $ 的预测分数. 目标函数可定义为:$$L(\varphi ) = \sum\limits_{i = 1}^n {l({{\hat Y}_i},{Y_i})} + \sum\limits_{k = 1}^K {\Omega ({f_k})} $$ (2) 式中, l为可导凸函数, 表示预测值
${\hat Y_i}$ 和真实值${Y_i}$ 的差异.$ \Omega ( \cdot )$ 是正则化惩罚项, 用以避免树的结构过于复杂、平滑学习权重并缓解过拟合.在XGB模型迭代添加树的过程中, 第t次的目标函数可表示为:
$${L^t} = \sum\limits_{i = 1}^n {l\left( {{Y_i},\;{{\hat Y}_i}^{t - 1} + {f_t}({X_i})} \right)} + \Omega ({f_t})$$ (3) 式中,
$\hat Y_i^{t - 1}$ 为第t−1次迭代时第i个样本的预测值. 对式(3)进行二阶泰勒级数展开并去掉常数项, 可得:$${L^t} \simeq \sum\limits_{i = 1}^n {\left[ {{g_i}{f_t}(X{}_i) + \frac{1}{2}{h_i}{f_t}^2(X{}_i)} \right]} + \Omega ({f_t})$$ (4) 式中,
$\Omega ({f_t}) \;=\; \gamma T \;+\; ({1}/{2})\lambda \sum\nolimits_{j = 1}^T {\omega _j^2},$ ${f_t}(X{}_i) = {\omega _{{q_t}({X_i})}},$ $\gamma $ 和$\lambda$ 为自然系数,${g_i} = {\partial _{{{\hat Y}_i^{t - 1}}}}l( {{Y_i},{{\hat Y}_i^{t - 1}}} )$ 和${h_i} = \partial _{{{\hat Y}_i^{t - 1}}}^2l( {{Y_i},{{\hat Y}_i^{t - 1}}} )$ 分别为损失函数的一阶和二阶泰勒展开. 定义${I_j} = \left\{ {i|q({X_i}) = j} \right\}$ 为叶子节点j上样本的集合, 对于一个固定的结构$q\left( X \right)$ , 可按式(5)和(6)计算最优权重$\omega _j^ * $ 和最优目标函数值${L^ * }$ :$$\omega _j^ * = - \frac{{\sum\limits_{i \in {I_j}} {{g_i}} }}{{\sum\limits_{i \in {I_j}} {{h_i}} + \lambda }}$$ (5) $${L^*} = - \frac{1}{2}\sum\limits_{j = 1}^T {\frac{{{{\bigg( {\sum\limits_{i \in {I_j}} {{g_i}} } \bigg)}^2}}}{{\sum\limits_{i \in {I_j}} {{h_i}} + \lambda }}} + \gamma T$$ (6) 2.2 轻量梯度提升机
LGBM基于单边梯度采样(Gradient-based one-side sampling, GOSS)和互斥特征捆绑技术(Exclusive feature bundling, EFB), 能够在不损失预测精度的情况下加速梯度提升过程, 提高模型训练效率. 因此, 相比于XGB模型, LGBM模型易于扩展、训练效率高, 更适合处理特征维度高、数据量大的数据, 满足云工作流任务执行时间预测问题的需求.
作为一种在保证精度的前提下能减少数据量的算法, GOSS在决策树迭代生成过程中根据梯度绝对值对数据进行排序, 选取前
$a \%$ 个样本, 并在剩余的样本数据中随机采样b个样本. 在计算信息增益时, 通过对采样的小梯度数据乘以系数(1−a)/b, 来缓解甚至消除数据分布的影响, 使算法更加关注训练不足的实例. 在分割点d分割特征j的信息增益的计算如式(7)所示:$$\begin{split} {{\hat V}_j}(d) = \;& \frac{1}{I}\left[ \frac{{{{\left( {\sum\limits_{{X_i} \in {A_l}} {{\vartheta _i}} + \frac{{1 - a}}{b}\sum\limits_{{X_i} \in {B_l}} {{\vartheta _i}} } \right)}^2}}}{{I_l^j(d)}} +\right.\\ &\left. \frac{{{{\left( {\sum\limits_{{X_i} \in {A_r}} {{\vartheta _i}} + \frac{{1 - a}}{b}\sum\limits_{{X_i} \in {B_r}} {{\vartheta _i}} } \right)}^2}}}{{I_r^j(d)}} \right] \end{split} $$ (7) 式中, I、
$ I_l^j\left( d \right) $ 和$I_r^j\left( d \right) $ 分别为叶子节点d及其左右两个子节点上的样本个数;${A_l}$ 和${A_r}$ 分别为d的左、右两个子节点上的大梯度样本集合;${B_l}$ 和${B_r}$ 分别为d的左、右两个子节点上的小梯度样本集合;${\vartheta _i}$ 为第i个样本${X_i}$ 的梯度.通过将互斥的特征绑定为单一特征, EFB从捆绑的特征中构建直方图, 达到了在不损失精度的情况进行特征降维的目的. 首先, EFB计算并判断特征之间的互斥程度, 若两个特征之间的互斥程度之和小于设定的阈值, 则绑定它们的特征, 减少参与训练的特征数, 提高模型训练效率. 其中, 两个特征是否互斥及其互斥程度, 可按式(8)和式(9)进行判断:
$$ {E}_{i}^{u,v}=\left\{\begin{aligned} &0,\;\;\;{X}_{i}^{u}\ne 0\;{\text{且}\;}{X}_{i}^{v}\ne 0\\ &1,\;\;\;{\text{其他}} \end{aligned}\right.$$ (8) $$\sum\limits_{i = 1}^n {E_i^{u,v}} \leq E$$ (9) 式中,
$X_i^u$ 和$X_i^v$ 分别为样本i的第u和第v个特征的数值, E为判断两个特征互斥程度的阈值.3. 基于多维度特征融合的云工作流任务执行时间预测
现有的任务执行时间预测算法缺乏有效的非线性表达能力和高维稀疏数据解析能力, 导致任务执行时间预测精度低, 难以满足大数据环境下的云工作流任务执行时间预测要求. 为此, 本文提出了一种基于多维度特征融合的云工作流任务执行时间预测算法. 首先, 针对类别型数据
${x_{Ca}}$ 和数值型数据${x_{Nu}}$ , 设计异质特征提取器, 实现对类别型特征${\tilde x_{Ca}}$ 和数值型特征${\tilde x_{Nu}}$ 的有效提取. 其次, 有选择地融合原始数据特征和提取到的特征, 为预测模型提供更全面、更深层的融合知识. 最后, 基于融合特征数据${\tilde x_{Fu}}$ 构建预测模型, 实现对云工作流任务执行时间的精准预测. 本文基于多维度特征融合的云工作流任务执行时间预测模型如图1所示, 主要包括特征提取、特征融合和预测3个部分.
图 1 基于多维度特征融合的云工作流任务执行时间预测模型Fig. 1 The multi-dimensional feature fusion-based runtime prediction model for cloud workflow tasks3.1 基于SARR的类别型特征提取
基于神经网络的预测任务, 通常包括特征提取和预测两个步骤. 为充分挖掘类别型数据相关的知识, 本文MDFF算法采用具有注意力机制的堆叠残差循环网络(Stacked attention residual recurrent neural network, SARR)提取类别型特征. 在RNN网络的基础上, 通过引入注意力机制和添加残差连接, 构建堆叠残差循环网络, 设计基于SARR的类别型特征提取器.
SARR包括Embedding模块、门控循环单元(Gate recurrent unit, GRU)模块和LSTM模块三个部分, 如图2所示. 图2中, Embedding模块包含基于RNN的Embedding单元; GRU模块包括GRU单元、Attention单元以及残差连接; LSTM模块包含LSTM单元、Attention单元以及残差连接.
如图2所示, 样本影响因素数据中的类别型向量
${x_{Ca}}$ ,${x_{Ca}} \in {{\bf{R}}^{1 \times {N_{Ca}}}}$ , 依次经过SARR的Embedding模块、GRU模块和LSTM模块处理, 最终提取到相应的类别型特征向量$\tilde x_{Ca}$ ,${\tilde x_{Ca}} \in {{\bf{R}}^{1 \times {N_{SARR}}}}$ . 图2中, LSTM模块输出的特征向量即为SARR提取到的类别型特征. 在SARR模型中, Embedding 模 块、GRU模块和LSTM模块的计算过程分别如式(10) ~ (12)所示:$$ y_{E}=W_{e} x_{C a}+b_{e} $$ (10) $$ y_{G R U}=W_{g r u} y_{E}+b_{g r u} $$ (11) $$ \tilde{x}_{C a}=y_{L S T M}=W_{l s t m} y_{G R U}+b_{l s t m} $$ (12) 式中,
$y_{E} $ 、$ y_{G R U}$ 和$y_{L S T M} $ 分别为Embedding模块、GRU模块和LSTM模块的输出向量,$W_e $ 和$b_e $ 、$W_{g r u} $ 和$b_{g r u} $ 、$W_{l s t m} $ 和$b_{l s t m} $ 分别为Embedding模块、GRU模块和LSTM模块的线性权值矩阵和偏差.SARR在不增加网络层数的情况下, 解决了梯度消失可能引起的网络退化问题, 能够提取与任务执行时间显著相关的特征, 并通过为最终的预测器提供更有效的特征, 改善预测精度.
3.2 基于XGB的数值型特征提取
基于梯度提升机的预测方法, 通常包括特征提取和预测两个步骤. 为充分挖掘数值型数据相关的知识, 本文设计了基于XGB的数值型特征提取器, 如图3所示. 其中, 从每一个XGB基学习器的根节点到叶子节点所进行的运算为特征提取过程, 从所有基学习器的叶子节点到输出节点的计算属于预测过程.
如图3所示, 本文利用XGB提取样本影响因素数据中数值型向量
$ x_{Nu} $ 对应的特征向量$\tilde x_{Nu} $ , 其中${x_{Nu}} \in {{\bf{R}}^{1 \times {N_{Nu}}}}$ ,${\tilde x_{Nu}} \in {{\bf{R}}^{1 \times {N_{XGB}}}}$ . 首先, 计算$ x_{Nu}$ 在每棵树的每个叶子节点上分裂后的损失减少值$L_{split} $ , 根据该损失减少值判断是否需继续分裂, 并最终确定XGB模型中每棵树的结构. 其中, 分裂损失的计算公式如下:$$ {L_{{{split }}}} = \frac{1}{2}\left| {\frac{{G_L^2}}{{{H_L} + \lambda }} + \frac{{G_R^2}}{{{H_R} + \lambda }} - \frac{{G_j^2}}{{{H_j} + \lambda }}} \right| - \gamma $$ (13) 式中,
$G_j $ 和$H_j$ 分别为在叶子$j $ 上所有数值型数据集合$I_j $ 的损失函数的一阶、二阶梯度统计量之和;${G_L} = \sum\nolimits_{i \in {I_L}} {{g_i}} $ 和$ {H_L} = \sum\nolimits_{i \in {I_L}} {{h_i}} $ 、${G_R} = \sum\nolimits_{i \in {I_R}} {{g_i}} $ 和${H_R} = \sum\nolimits_{i \in {I_R}} {{h_i}} $ 分别为叶子节点j分裂后的左、右叶子节点的一阶、二阶梯度统计量之和;$I_R $ 和$I_L $ 分别为当前叶子节点分裂后的左、右叶子节点上的数值型数据集合,$\gamma $ 为常数.然后, 通过树的结构函数
$q\left( \cdot \right) $ 寻找每个数值型向量在每棵树的每个分支最深一层中所属叶子的下标, 并标记为1, 对每个数值型向量进行离散化编码. 结构函数$q\left( \cdot \right) $ 如式(14)所示:$${q_k}\left( {{x_{Nu}}} \right):\;{\bf R}^{{N_{Nu}}} \to {T_k}$$ (14) 式中,
$T_k $ 为第k棵树的叶子节点数量. 利用XGB对数值型向量进行离散化编码后获得的新向量, 即为数值型特征向量${\tilde x_{Nu}} $ .3.3 多维异质特征融合
在提取的类别型特征和数值型特征基础上, 本文进一步提出了多维异质特征融合策略, 旨在同时收集低维和高维特征信息之间的交互信息, 使预测模型学习到更全面且有效的任务执行时间知识, 降低预测误差.
本文提出的多维异质特征融合策略, 包含特征拼接、特征重要性计算、特征排序和筛选几个步骤. 首先, 将SARR与XGB模型提取到的特征向量与原始输入向量进行拼接, 得到一个式(15)所示的新输入向量
${x_{fu1}}$ , 且${x_{fu1}} \in {{\bf{R}}^{1 \times ({N_{Ca}} + {N_{Nu}} + {N_{SARR}} + {N_{XGB}})}}$ :$${x_{fu1}} = \left( {{x_{Ca}},\;{x_{Nu}},\;{{\tilde x}_{Ca}},\;{{\tilde x}_{Nu}}} \right)$$ (15) 然后, 利用
${x_{fu1}}$ 训练LGBM模型, 用于计算不同特征的重要性, 并按重要性对特征进行排序:$$ {f_{imp}}\left( {{x_i}} \right) = {\rm{rank}}\left( {{N_{split}}\left( {{x_i}} \right)} \right),{x_i} \in {x_{fu1}} $$ (16) 式中,
$x_i $ 为拼接向量$x_{fu1} $ 中的第i维特征,${f_{imp}}\left( \cdot \right) $ 为特征重要性计算与排序函数,${N_{split}}\left( {{x_i}} \right)$ 为整个特征重要性排序模型生成过程中${x_i}$ 被选取为分裂节点的次数. 最后, 从排序表中筛选出更具判别力的特征, 构成用于任务执行时间预测的多维度融合输入特征向量${\tilde x_{Fu}} $ :$$ {\tilde x_{Fu}} = \left(x_i | {{f_{imp}}\left( {{x_i}} \right) \ge {\rm{ }}threshold{\rm{ }}} ,\;{x_i} \in {x_{fu1}}\right) $$ (17) 式中,
$threshold $ 为特征筛选阈值, 且${x_i}$ 被选为分裂点的次数越多, 说明${x_i}$ 对预测结果的贡献越大.多维度融合特征
$ {\tilde x_{Fu}}$ 舍弃了部分信息含量少或者与输出关联性弱的特征, 在保证预测精度的同时降低了特征空间的维度, 进一步减少了预测所需的计算开销.3.4 云工作流任务执行时间预测
在获得多维异质融合特征的基础上, 本文采用LGBM模型对多维异质特征进行充分挖掘与利用, 以精准地预测任务执行时间, 为大数据环境下的云工作流调度提供决策支持.
本文基于多维度特征融合的云工作流任务执行时间预测方法, 包括3个部分: 1)针对类别型数据和数值型数据, 设计不同的特征提取方法, 分别提取类别型和数值型特征; 2)将提取到的特征数据与原始数据进行选择性融合, 为预测模型提供更全面的特征输入; 3)构建基于融合特征的预测模型, 获得云工作流任务执行时间预测结果. 整体流程如下:
步骤1. 输入云工作流任务执行时间数据集
$D = \{ ({X_i},{Y_i})\} $ , 其中,${X_i}$ 为第i个样本的任务执行时间影响因素向量;${Y_i}$ 为第i个样本的任务执行时间.步骤2. 将一个输入数据向量
${X_i}$ 划分为类别型数据向量$x_{Ca} $ 和数值型数据向量$x_{Nu} $ , 即${X_i} = \{ {x_{Ca}}, {x_{Nu}}\}$ .步骤3. 利用类别型数据向量
$ x_{Ca}$ , 训练SARR模型, 不断调整参数, 直至获得误差最小的SARR模型.步骤4. 对训练好的SARR模型, 去掉其输出层以及输出层的所有连接参数, 得到类别型特征提取器, 并对
$x_{Ca} $ 进行特征提取, 获得类别型特征向量${\tilde x_{Ca}}$ .步骤5. 利用数值型数据向量
$x_{Nu} $ , 训练XGB模型, 并对$x_{Nu} $ 进行特征提取, 获得初始数值型特征向量${\tilde x_{Nu\_1}}$ .步骤6. 利用类别型特征向量
${\tilde x_{Ca}}$ 和初始数值型特征向量${\tilde x_{Nu\_1}} $ , 训练LGBM评判模型.步骤7. 调整XGB模型参数, 重复步骤5 ~ 6, 直至LGBM评判模型的误差稳定在一定范围内, 且波动不超过5%; 挑选出使LGBM评判模型误差最小的XGB模型参数, 并基于该组参数训练XGB模型.
步骤8. 对训练好的XGB模型, 去掉其输出层以及输出层的所有连接参数, 获得数值型特征提取器, 并对
$x_{Nu} $ 进行特征提取, 获得最终数值型特征向量$\tilde x_{Nu} $ .步骤9. 构建多维异质特征融合器, 将类别型数据向量
$ x_{Ca}$ 、数值型数据向量$x_{Nu} $ 、类别型特征向量${\tilde x_{Ca}}$ 和数值型特征向量$\tilde x_{Nu} $ 进行融合, 获得融合后的特征向量$\tilde x_{Fu}$ .步骤10. 基于融合特征向量
$ \tilde x_{Fu}$ , 利用网格寻优算法训练LGBM预测模型, 直至获得误差最小的LGBM模型, 并将其作为预测器.步骤11. 取出类别型特征提取器、数值型特征提取器、多维异质特征融合器和预测器, 构建基于多维度特征融合的云工作流任务执行时间预测模型.
步骤12. 输出云工作流任务执行时间预测模型.
4. 实验结果与分析
为了验证所提出的基于多维度特征融合的云工作流任务执行时间预测模型的有效性, 本文选择2018年阿里巴巴集群数据集行进行仿真实验, 通过在不同指标下与6种基线预测方法进行对比说明本文方法的优越性.
4.1 实验配置
4.1.1 数据集
本文实验数据来源于阿里巴巴2018年集群运行日志数据集Cluster-trace-v2018[32]. Cluster-trace-v2018记录了阿里巴巴某个生产集群中约4000台服务器8天的运行详细日志, 具体可查阅
https://github.com/alibaba/clusterdata/blob/master/Cluster-trace-v2018. 在进行云工作流任务执行时间预测前, 本文对Cluster-trace-v2018数据集进行了预处理. 首先, 分析Cluster-trace-v2018数据集, 寻找任务执行时间相关的关键属性, 并根据这些关键属性匹配不同数据表中的数据, 获得包含任务执行时间和相关影响因素的数据集. 其次, 对该数据集存在的异常值和缺失值进行处理, 获得包含22155组云工作流任务的执行时间及其对应的所有影响因素数据, 即最终可用于检验算法的云工作流任务执行时间数据集. 最后, 在获取的数据集上随机抽取17724组数据构成训练集, 将剩余的4431组数据作为测试集.
4.1.2 对比算法
为了验证MDFF的有效性和优越性, 本文选取了六种对比算法, 包括深度兴趣网络(Deep interest network, DIN)[33]、深度交叉网络(Deep & cross network, DCN)[34]、深度因子分解机(Deep factorization machine, DeepFM)[35]、宽度与深度模型(Wide & Deep, W&D)[36]、两阶段预测方法(Two stage approach, TSA)[37]和梯度提升树与线性回归的结合方法(Gradient boosting decision tr-ee + linear regression, GBDT
$+ $ LR)[38]. 其中, DI-N和DCN侧重于类别型数据的处理, 其数值型特征提取能力弱; TSA以及GBDT$+ $ LR偏向于数值型数据的处理, 类别型特征的提取能力弱; DeepFM和W&D能同时提取类别型特征和数值型特征. 所有方法采用的参数组合均为使预测效果最好的参数组合, 其具体模型结构或参数设置如下:在DIN中, 嵌入单元1和2的维度分别为82和80, Dense单元的神经元个数为16, 隐含神经元个数为32, 激活函数为Relu, 输出层神经元个数为1, 激活函数为Relu; 最大迭代次数为500, 批量大小为100, 优化器为Adam.
DCN的嵌入维度为8, 网络的随机失活(Dropout)比例均为0.5, 隐含层的神经元个数为64-64, 领域维度设为原始特征维度, 交叉宽度设为领域维度与嵌入维度的乘积; 最大迭代次数为450, 批量大小为100, 批量标准化因子为1, 批量标准化衰减因子为0.95, 学习率为0.01, L2正则化系数为0.01, 优化器为Adam.
DeepFM的嵌入维度为80, 其因子分解机和网络的随机失活(Dropout)比例分别为1和0.5, 网络部分的神经元个数为32-32, 激活函数为Relu; 最大迭代次数为500, 批量大小为100, 批量标准化因子为1, 批量标准化衰减因子为0.995, 学习率为0.01, L2正则化系数为0.01, 优化器为Adam.
在W&D中, Wide部分采用线性回归方法, 并选用默认参数. Deep部分采用含两个隐含层的神经网络, 其结构为325-100-50-1, 网络部分神经元个数为32-32, 激活函数为Relu. 最大迭代次数为500, 批量大小为100, 优化器为Adam.
在TSA中, 第1阶段预测采用随机森林, 基学习器数量为200, 最大树深度为7; 第2阶段采用线性回归, 且选用默认参数.
在GBDT
$+ $ LR中, GBDT部分的基学习器数量为150, LR部分采用线性回归, 且选取默认参数.在MDFF中, 类别型特征提取模型SARR的嵌入单元1和2的维度分别为82和80, Dense单元神经元个数为16, GRU单元和LSTM单元的神经元个数均为32, 最大迭代次数为400, 批量大小为100, 随机失活(Dropout)比例为0.15, 激活函数为Relu, 优化器为Adam. 数值型特征提取模型XGB的基学习器数量为30, 学习率为0.15, 最大树深度为8, 列采样比例为0.4. 任务执行时间预测模型LGBM的学习率为0.15, 基学习器数量为1000, 最大树深度为9, 最多叶子结点个数为31, 列采样比例为0.4.
4.1.3 评价指标
为了检验本文MDFF算法的预测精度, 本文选取了平均绝对误差(Mean absolute error, MAE)、均方根误差(Root mean square error, RMSE)、均方根对数误差(Root mean square log error, RMS-LE)和决定系数(R square, R2)四种评价指标[39-40], 并在这些评价指标的基础上, 设计了预测精度差值
$\delta $ 和预测精度改善比例$\eta $ 两个指标, 分别用于反映MDFF算法的预测精度提升的数值大小以及提升程度.1) MAE表示目标真实值和预测值之差的平均绝对值, 用于度量两个变量之间的差异. MAE具有较强的可解释性和鲁棒性, 且MAE的值越小, 说明预测模型的性能越好. MAE的具体计算如式(18)所示:
$$MAE = \frac{1}{n}\sum\limits_{i = 1}^n {|{Y_i} - {{\hat Y}_i}} |$$ (18) 式中, n为样本数量,
${Y_i}$ 、${\hat Y_i}$ 分别为第i个样本的真实值和预测值.2) RMSE表示目标真实值和预测值的样本标准差, 用于度量模型的预测误差大小. RMSE与数值范围紧密相关, 相对于MAE来说, RMSE对数值预测的错误更加敏感, 但鲁棒性较弱. RMSE的值越小, 说明预测模型的性能越好. 计算公式如下:
$$RMSE = \sqrt {\frac{1}{n}\sum\limits_{i = 1}^n {({Y_i} - {{\hat Y}_i}} {)^2}} $$ (19) 3) RMSLE. 鉴于RMSE容易被数值较大的样本所主导, RMSLE在RMSE的基础上增加了取对数操作, 以便在保持RMSE敏感性的基础上, 对模型进行公平地评价. RMSLE的值越小, 说明预测模型的性能越好. 计算公式如下:
$$RMSLE = \sqrt {\frac{1}{n}\sum\limits_{i = 1}^n {{{\left[ {\lg ({Y_i} + 1) - \lg ({{\hat Y}_i} + 1)} \right]}^2}} } $$ (20) 4) R2通过数据的变化来表征一个预测算法的拟合程度. R2的值越大, 说明预测模型的性能越好. 计算公式如下:
$$R2 = 1 - \frac{{\sum\limits_{i = 1}^n {({Y_i} - {{\hat Y}_i}} {)^2}}}{{\sum\limits_{i = 1}^n {({Y_i} - \bar Y} {)^2}}}$$ (21) 式中,
$\bar Y$ 为所有样本真实值的平均值.$\sum\nolimits_{i = 1}^n {{{( {{Y_i} - \bar Y} )}^2}}$ 表示原始数据的离散程度,$\sum\nolimits_{i = 1}^n {{{( {{Y_i} - {{\hat Y}_i}} )}^2}}$ 反映预测数据与真实数据的误差. R2越接近1, 说明模型对输出的解释能力越强, 即对数据的拟合性能越好; 反之亦然.5)预测精度差值
$\delta $ 用于表示本文MDFF算法预测精度提升的数值大小. 计算公式如下:$$ {\delta }_{i}^{j}=\left\{\begin{aligned} &{e}_{MDFF}^{j}-{e}_{i}^{j},\;\;j=R2 \\ &{e}_{i}^{j}-{e}_{MDFF}^{j},\;\;{\text{其他}} \end{aligned}\right.$$ (22) 式中,
${\delta }_{i}^{j} $ 为MDFF算法与第$i $ 个对比算法在评价指标$j $ 下的预测精度差值, 且j$ \in $ {MAE, RMSE, RMSLE, R2}; i为不同的对比算法, 即i$ \in $ {DIN, DCN, DeepFM, W&D, TSA, GBDT+LR}.${e}_{i}^{j} $ 为第i个对比算法在评价指标j下的数值,${e}_{MDFF}^{j} $ 为MDFF在评价指标$j $ 下的数值.$\delta _i^j$ 越大, 说明在第j个评价指标下, 本文MDFF算法与第i个对比算法预测精度的差值越大, 即MDFF算法对预测性能的改善越多.6)预测精度提升比例
$\eta $ 表示MDFF算法的预测精度改善程度. 计算公式如下:$$ {\eta }_{i}^{j}=\left\{\begin{aligned} &\frac{{e}_{MDFF}^{j}-{e}_{i}^{j}}{{e}_{i}^{j}},\;\;\;j=R2\\ &\frac{{e}_{i}^{j}-{e}_{MDFF}^{j}}{{e}_{i}^{j}},\;\;\;{\text{其他}}\end{aligned}\right.$$ (23) 式中,
${\eta }_{i}^{j} $ 为MDFF比第$i $ 个对比算法在评价指标$j $ 下的预测精度改善程度.${\eta }_{i}^{j} $ 越大, 说明在第j个评价指标下, 本文MDFF算法比第i个对比算法预测精度的提升比例越高.4.2 实验结果分析
为了避免随机性, 本文采用10次实验结果的平均值进行性能比较. 针对不同的评价指标, 分别计算所有方法的MAE、RMSE、RMSLE和R2值, 如图4 ~ 7所示. 由图4 ~ 图6可知, 本文MDFF算法的MAE、RMSE、RMSLE值达到了最小, 说明其预测结果的平均绝对误差和均方根误差更小, 且对大数值样本的偏向性最小. 由图7可知, M-DFF的R2值最大, 说明该算法的拟合程度最好.
1)由于DIN、DCN、TSA和GBDT
$+ $ LR要么侧重提取类别型特征, 要么侧重提取数值型特征, 而忽略另外一类特征, 使模型很难获得全面的特征知识. 因此, 其模型对特征的非线性表达能力和解析能力不足. 在本文提出的MDFF算法中, 针对类别型数据和数值型数据的特点, 分别设计不同的特征提取器, 有效地从原始数据中提取类别型特征和数值型特征, 挖掘更全面的任务执行时间知识, 提高了工作流任务执行时间的预测精度. 在上述四类评价指标下, MDFF算法的预测性能均优于四类对比算法, 即DIN、DCN、TSA和GBDT$+ $ LR.值得注意的是, 注意力机制的引入, 使得DIN的RMSE和R2仅次于MDFF, 预测误差波动相对较小且获得了较好的拟合效果. 这也说明了本文采用具有注意力机制的SARR模型, 在提取类别型特征方面的有效性. 由于梯度提升算法对数值型数据进行了离散化编码, 所以GBDT
$+ $ LR的RMSE和R2值仅次于DIN, 且预测误差较小, 达到了较好的拟合效果, 这说明本文设计的基于XGB的特征提取算法, 能够有效地提取数值型特征.2)虽然DeepFM和W&D算法能同时提取类别型特征和数值型特征, 但是与本文MDFF算法相比, 其预测结果相对较差. 主要原因如下: a)本文提出的MDFF算法, 通过具有堆叠循环网络结构、注意力机制和残差连接的SARR模型, 将类别型数据从高维稀疏的特征空间映射到低维稠密的特征空间, 提高了模型对类别型特征的关注度. 因此, 与DeepFM和W&D采用DNN进行类别型特征提取相比, MDFF算法能够更有效地提取类别型特征; b) DeepFM和W&D分别采用因子分解机和线性回归模型提取数值型特征, 而本文MDFF算法利用XGB对数值型数据进行离散化编码, 通过对过于稠密的输入向量空间进行稀疏化处理, 提高了特征之间的差异性, 从而能更有效地提取数值型特征. 此外, 通过异质多维度特征融合策略, 本文MDFF算法能够有效避免因直接使用类别型特征和数值型特征而引入冗余信息或者噪声的可能性. 总的来说, SARR和XGB的使用, 使得MDFF具有更强的提取类别型和数值型特征的能力, 结合多维异质特征融合策略, MDFF不仅能够提取有效的深层特征, 还能学习更全面的任务执行时间知识, 使预测性能得到了明显改善.
为了进一步说明本文提出的MDFF算法与对比算法在不同指标上的精度提升程度, 表1和表2给出了MDFF与其他对比算法在四种性能指标下的差值和性能提升比例.
表 1 预测精度的差值Table 1 The difference of prediction performancei $ \delta _i^{MAE}$ $\delta _i^{RMSE} $ $ \delta _i^{RMSLE}$ $\delta _i^{R2} $ DIN 1.439 1.825 0.679 0.006 DCN 0.286 4.043 0.048 0.014 DeepFM 0.373 1.811 0.043 0.009 W&D 0.810 3.576 0.141 0.012 TSA 0.942 6.408 0.030 0.025 GBDT + LR 1.257 2.143 0.117 0.007 表 2 预测精度提升的比例(%)Table 2 The proportion of performance improvement (%)i $ \eta _i^{MAE}$ $\eta _i^{RMSE} $ $ \eta _i^{RMSLE}$ $\eta _i^{R2} $ DIN 36.94 22.06 82.60 0.61 DCN 10.43 36.95 16.49 1.43 DeepFM 13.18 18.85 15.03 0.92 W&D 24.80 34.14 36.72 1.22 TSA 27.72 48.16 10.99 2.59 GBDT + LR 33.85 23.70 32.50 0.71 由表1和表2可以看出, 不同算法在不同性能指标下具有不同的性能表现, 且MDFF与对比算法的性能差值以及MDFF算法的性能提升比例也不相同, 但相对来说, 本文提出的MDFF算法在不同性能指标下的表现更优. 这也说明了MDFF具有更强的类别型和数值型特征提取能力, 同时对特征进行重要性排序并有选择性地融合, 大大提高了预测性能.
在上述性能指标的对比中, 本文提出的MDFF算法都能取得良好的性能表现, 即MDFF算法具有较强的异质特征提取与融合能力, 获得了更高的预测精度. 与各类对比算法相比, MDFF算法主要有以下3个方面的优势: 1) MDFF算法采用SARR提取类别型特征, 将类别型数据从高维稀疏的特征空间映射到低维稠密的特征空间, 避免了搜索空间过大的问题, 提高了模型对类别型特征的关注度. 因此, 相对于普通DNN网络, MDFF算法能更有效地、更具针对性地提取类别型特征; 2) MDFF采用XGB提取数值型特征, 即借助于XGB对数值型数据进行离散化编码, 并对过于稠密的输入向量空间进行稀疏化处理, 提高了特征之间的差异性, 实现了数值型特征的有效提取; 3) MDFF采取多维异质特征融合策略, 对SARR和XGB提取到的特征进行有选择性地融合, 以充分挖掘与利用多维度特征, 为任务执行时间的预测提供更全面有效的知识, 改善了预测性能. 由此可见, 通过类别型特征和数值型特征的有效提取与融合, MDFF算法的预测精度得到了明显提升.
综上所述, 本文提出的基于多维度特征融合的预测算法预测平均误差、预测误差波动和预测偏向性更小, 不仅对类别型特征和数值型特征有较强的解析和表达能力, 而且能够对异质特征进行充分地挖掘与利用, 实现了对云工作流任务执行时间的精准预测, 可以满足大数据环境下的云工作流任务执行时间估计需求.
5. 结束语
云计算中的工作流调度和资源配置依赖于任务执行时间的准确估计. 本文针对工作流任务执行时间预测问题, 提出了一种基于多维度特征融合的预测方法. 首先, 构建具有注意力机制的堆叠残差循环网络, 对类别型数据进行特征提取, 增强了模型对类别型数据的解析能力. 其次, 引入XGB对数值型数据进行离散化编码, 提取数值型特征, 提高了模型的非线性表达能力. 然后, 融合提取到的特征和原始样本特征, 获得多维异质特征, 给预测模型提供了更全面的任务执行时间知识. 最后, 利用LGBM对多维异质特征进行充分挖掘, 构建预测模型, 实现对云工作流任务执行时间的精准预测, 并采用阿里巴巴的集群数据集进行了实验验证. 实验结果表明, 该方法优于现有的基线预测算法, 在MAE、RMSE、RMSLE以及R2四种评价指标下, 均达到了更好的性能. 因此, 本文所提出的基于多维度特征融合的预测方法, 能够满足大数据环境下云工作流任务执行时间预测的需求. 然而, 本文仅在集群数据集上进行了预测模型的搭建, 如何将预测模型部署到实际云数据中心, 实现工作流任务执行时间的在线预测, 仍需进一步探索研究.
-
图 2 双相机与空间内任意一点的关系
Fig. 2 The relationship between dual cameras and any point in space
图 3 空间中任意一点在相机中的成像坐标
Fig. 3 The imaging coordinates of any point in space in the camera
图 4 像素坐标系与图像坐标系的关系
Fig. 4 The relationship between pixel coordinate system and image coordinate system
图 10 跨光谱特征表示网络训练方式
Fig. 10 Cross-spectral feature representation network training method
表 1 测试集为CSF-白天的实验结果
Table 1 Experiment results on CSF-day
算法 IoU > 0.5 时 AP (%) IoU > 0.3 时 AP (%) 坐标映射 44.6 88.4 粗略纠正 55.9 87.9 本文算法 87.5 89.6 
下载: 导出CSV
表 2 测试集为CSF-夜间的实验结果
Table 2 Experiment results on CSF-night
算法 IoU > 0.5 时 AP (%) IoU > 0.3 时 AP (%) 坐标映射 36.9 82.7 粗略纠正 50.8 82.4 本文算法 81.8 84.1
下载: 导出CSV
表 3 测试集为OTCBVS的实验结果
Table 3 Experiment results on OTCBVS
算法 IoU > 0.5 时 AP (%) IoU > 0.3 时 AP (%) 坐标映射 16.4 46.8 粗略纠正 54.5 76.5 本文算法 74.4 86.6
下载: 导出CSV
表 5 CSF中候选框的选取对模型的影响
Table 5 Influence of the selection of the proposal on the model in CSF
候选框 IoU > 0.5 时 AP (%) 时间 (ms) 1/8 71.4 9 1/8, 2/8 84.8 16 1/8, 2/8, 3/8 86.3 23 1/8, $\cdots , 4/8$ 86.4 28
下载: 导出CSV
表 6 OTCBVS中候选框的选取对模型的影响
Table 6 Influence of the selection of the proposal on the model in OTCBVS
候选框 IoU > 0.5 时 AP (%) 时间 (ms) 1/8 70.5 10 1/8, 2/8 73.1 16 1/8, 2/8, 3/8 74.2 24 1/8, $\cdots, 4/8$ 74.4 30
下载: 导出CSV
表 7 负样本类型对模型精度的影响
Table 7 Effect of negative sample type on model accuracy
负样本类型 IoU > 0.5 时 AP (%) 0 46.1 4/8 70.5 5/8 69.7 6/8 47.1 7/8 21.5 0, 4/8, 5/8, 6/8, 7/8 86.4
下载: 导出CSV
表 8 CSF数据集上的对比实验结果
Table 8 Comparative experiment results on CSF dataset
算法 IoU > 0.5 时 AP (%) IoU > 0.3 时 AP (%) FaceBoxes 9.1 9.1 S3FD 9.1 9.1 Pyramidbox 35.9 36.3 DSFD 35.8 36.3 Tinyface 56.5 82.4 S3FD-IR 72.3 73.4 DSFD-IR 81.9 83.7 DSFD-本文算法 86.4 88.5
下载: 导出CSV
表 9 OTCBVS数据集上的对比实验结果
Table 9 Comparative experiment results on OTCBVS dataset
算法 IoU > 0.5 时 AP (%) IoU > 0.3 时 AP (%) FaceBoxes — — S3FD 9.1 9.1 Pyramidbox 36.1 36.1 DSFD 27.2 27.2 Tinyface 25.1 38.6 S3FD-IR 60.8 73.6 DSFD-IR 69.4 70.4 DSFD-本文算法 75.0 86.3
下载: 导出CSV
-
[1] Bilodeau G A, Torabi A, St-Charles P L, Riahi D. Thermal–visible registration of human silhouettes: A similarity measure performance evaluation. Infrared Physics & Technology, 2014, 64: 79-86. [2] Rowley H A, Baluja S, Kanade T. Neural network-based face detection. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1998, 20(1), 23-38. doi: 10.1109/34.655647 [3] Rowley H A, Baluja S, Kanade T. Rotation invariant neural network-based face detection. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Santa Barbara, USA: IEEE, 1998. 38−44 [4] Viola P, Jones M J. Robust Real-Time Face Detection. International Journal of Computer Vision, 2004, 57(2): 137-154. doi: 10.1023/B:VISI.0000013087.49260.fb [5] Li S Z, Zhu L, Zhang Z, Blake A, Zhang H, Shum H. Statistical learning of multi-view face detection. In: Proceedings of the 7th European Conference on Computer Vision. Berlin, Germany: 2002. 67−81 [6] Mathias M, Benenson R, Pedersoli M, Van Gool L. Face detection without bells and whistles. In: Proceedings of the 13rd European Conference on Computer Vision. Zurich, Switzerland: 2014. 720−735 [7] Li Q, Sun Z, He R, Tan T. Learning symmetry features for face detection based on sparse group lasso. In: Proceedings of the Chinese Conference on Biometric Recognition. Jinan, China: 2013. 162−169 [8] Li J, Wang Y, Wang C, Tai Y, Qian J, Yang J, et al. DSFD: Dual shot face detector. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Seattle, USA: IEEE, 2020. 5055−5064 [9] Zhang S, Zhu X, Lei Z, Shi H, Wang X, Li S Z, et al. S3FD: Single shot scale-invariant face detector. In: Proceedings of the IEEE International Conference on Computer Vision. Venice, Ita-ly: IEEE, 2017. 192−201 [10] Bai Y, Zhang Y, Ding M, Ghanem B. Finding tiny faces in the wild with generative adversarial network. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Salt Lake City, USA: IEEE, 2018. 21–30 [11] Zhang S, Wen L, Shi H, Lei Z, Lyu S, Li S Z. Single-Shot Scale-Aware Network for Real-Time Face Detection. International Journal of Computer Vision, 2019, 127(6-7): 537-559. doi: 10.1007/s11263-019-01159-3 [12] Zhang S, Zhu X, Lei Z, Shi H, Wang X, Li S Z. Faceboxes: A CPU real-time face detector with high accuracy. In: Proceedin-gs of the IEEE International Joint Conference on Biometrics. Denver, USA: IEEE, 2017. 1−9 [13] Tang X, Du D K, He Z, Liu J. Pyramidbox: A context-assisted single shot face detector. In: Proceedings of the 15th European Conference on Computer Vision. Munich, Germany: 2018. 797− 813 [14] Yang S, Luo P, Loy C C, Tang X. Wider face: A face detection benchmark. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas, USA: IEEE, 2016. 525−5533 [15] C. Ma, T Ngo, U Hideaki, N Hajime, S. Atsushi, T Rin-Ichiro. Adapting local features for face detection in thermal image. Sensors, 2017, 17(12): 2741-. [16] Kyal C K, Poddar H, Reza M. Detection of human face by thermal infrared camera using MPI model and feature extraction method. In: Proceedings of the 4th International Conference on Computing Communication and Automation. Greater Noida, India: IEEE, 2018. 1−5 [17] Budzan S, Wyżgolik R. Face and eyes localization algorithm in thermal images for temperature measurement of the inner canthus of the eyes. Infrared Physics & Technology, 2013, 60: 225-234. [18] Ribeiro R F, Fernandes J M, Neves A J R. Face detection on infrared thermal image. In: Proceedings of the 2nd International Conference on Advances in Signal Image and Video Processing. Barcelona, Spain: 2017. 38–42 [19] Goulart C, Valadão C, Delisle-Rodriguez D, Funayama D, Favarato A, Baldo G, et al. Visual and Thermal Image Processing for Facial Specific Landmark Detection to Infer Emotions in a Child-Robot Interaction. Sensors, 2019, 19(13): 2844. doi: 10.3390/s19132844 [20] Somboonkaew A, Prempree P, Vuttivong S, Wetcharungsri J, Porntheeraphat S, Chanhorm S, et al. Mobile-platform for automatic fever screening system based on infrared forehead temperature. In: Proceedings of the IEEE Opto-Electronics and Communications Conference and Photonics Global Conference. Sing-apore, Singapore: IEEE, 2017. 1−4 [21] Mallat K, Dugelay J L. A benchmark database of visible and thermal paired face images across multiple variations. In: Proceedings of the IEEE International Conference of the Biometrics Special Interest Group. Darmstadt, Germany: IEEE, 2018. 1−5 [22] Panetta K, Wan Q, Agaian S, Rajeev S, Kamath S, Rajendran R, et al. A comprehensive database for benchmarking imaging systems. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2018, 42(3): 509-520. [23] Hwang S, Park J, Kim N, Choi Y, So Kweon I. Multispectral pedestrian detection: Benchmark dataset and baseline. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Boston, USA: IEEE, 2015. 1037−1045 [24] 张秀伟, 张艳宁, 杨涛, 等. 基于Co-motion的可见光--热红外图像序列自动配准算. 自动化学报, 2010, 36(009): 1220-1231. doi: 10.3724/SP.J.1004.2010.01220Zhang Xiu-Wei, Zhang Yan-Ning, Yang Tao, Zhang Xin-Gong, Shao Da-Pei. Automatic Visual-thermal Image Sequence Registration Based on Co-motion. Acta Automatica Sinica, 2010, 36(009): 1220-1231. doi: 10.3724/SP.J.1004.2010.01220 [25] 高雪琴, 刘刚, 肖刚, 等. 基于FPDE的红外与可见光图像融合算法[J]. 自动化学报, 2020, v. 46(04): 186-194.Gao Xue-Qin, Liu Gang, Xiao Gang, Bavirisetti Durga Prasad, SHI Kai-Lei. Fusion Algorithm of Infrared and Visible Images Based on FPDE. Acta Automatica Sinica, 2020, v. 46(04): 186-194. [26] 廉蔺, 李国辉, 张军, 涂丹. 基于边缘最优映射的红外和可见光图像自动配准算. 自动化学报, 2012, 38(04): 570-581. doi: 10.3724/SP.J.1004.2012.00570Lian Lin, Li Guo-Hui, Zhang Jun, Tu Dan. An Automatic Registration Algorithm of Infrared and Visible Images Based on Optimal Mapping of Edges. Acta Automatica Sinica, 2012, 38(04): 570-581. doi: 10.3724/SP.J.1004.2012.00570 [27] (刘松涛, 刘振兴, 姜宁. 基于融合显著图和高效子窗口搜索的红外目标分. 自动化学报, 2018, 44(012): 2210-2221).Liu Song-Tao, Liu Zhen-Xing, Jiang Ning. Target Segmentation of Infrared Image Using Fused Saliency Map and Efficient Subwindow Search. Acta Automatica Sinica, 2018, 44(012): 2210-2221. [28] (袁浩期, 李扬, 王俊影, 等. 基于红外热像的行人面部温度高精度检测技术. 红外技术, 2019, v. 41;No. 324(12): 94-99).Yuan Hao-qi, Li Yang, Wang Jun-Ying, Liu Hang. High Precision Detection Technology of Pedestrian Face Temperature Based on Infrared Thermal Imaging. Infrared Technology, 2019, v. 41;No. 324(12): 94-99. [29] Zhi T, Pires B R, Hebert M, Narasimhan S. G. Deep material-aware cross-spectral stereo matching. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Salt Lake City, USA: IEEE, 2018. 1916−1925 [30] Liang M, Guo X, Li H, Wang X, Song, Y. Unsupervised cross-spectral stereo matching by learning to synthesize. In: Proceedings of the AAAI Conference on Artificial Intelligence. Honolulu, USA: 2019. 8706−8713 [31] Zhang L, Zhu X, Chen X, Yang X, Lei Z, Liu Z. Weakly aligned cross-modal learning for multispectral pedestrian detection. In: Proceedings of the IEEE International Conference on Computer Vision. Seoul, South Korea: IEEE, 2019. 5127−5137 [32] Dwith Chenna Y N, Ghassemi P, Pfefer T J, Casamento J, Wang Q. Free-Form Deformation Approach for Registration of Visible and Infrared Facial Images in Fever Screening. Sensors, 2018, 18(2): 125. doi: 10.3390/s18010125 [33] Simonyan K, Zisserman A. Very deep convolutional networks for large-scale image recognition. arXiv preprint, 2014, arXiv: 1409.1556 [34] Schroff F, Kalenichenko D, Philbin J. FaceNet: A unified embedding for face recognition and clustering. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Boston, USA: IEEE, 2015. 815−823 期刊类型引用(3)
1. 齐向明，侯明君，高鹏淇，黄胜. 基于区域渐进校准网络的人脸检测与定位. 辽宁工程技术大学学报(自然科学版). 2024(02): 248-256 . 
百度学术2. 王梓歌，葛利跃，陈震，张聪炫，王子旭，舒铭奕. 联合深度超参数卷积和交叉关联注意力的大位移光流估计. 自动化学报. 2024(08): 1631-1645 . 本站查看3. 王鑫刚，田军委，于亚琳，王沁，张杰. 改进Canny算法的红外人脸图像边缘轮廓提取. 应用光学. 2023(01): 61-70 . 百度学术其他类型引用(2)
-
下载:
计量
- 文章访问数: 1461
- HTML全文浏览量: 378
- PDF下载量: 237
- 被引次数: 5
