Multi-objective Layer-wise Optimization and Multi-level Probability Fusion for Image Description Generation Using LSTM
-
摘要: 使用计算模型对图像进行自动描述属于视觉高层理解，要求模型不仅能够对图像中的目标及场景进行描述，而且能够对目标与目标之间、目标与场景之间的关系进行表达，同时能够生成符合一定语法和结构的自然语言句子.目前基于深度卷积神经网络（Convolutional neural network，CNN）和长短时记忆网络（Long-short term memory，LSTM）的方法已成为解决该问题的主流，虽然已取得巨大进展，但存在LSTM层次不深，难以优化的问题，导致模型性能难以提升，生成的描述句子质量不高.针对这一问题，受深度学习思想的启发，本文设计了基于逐层优化的多目标优化及多层概率融合的LSTM（Multi-objective layer-wise optimization/multi-layer probability fusion LSTM，MLO/MLPF-LSTM）模型.模型中首先使用浅层LSTM进行训练，收敛之后，保留原LSTM模型中的分类层及目标函数，并添加新的LSTM层及目标函数重新对模型进行训练，对模型原有参数进行微调；在测试时，将多个分类层使用Softmax函数进行变换，得到每层对单词的预测概率分值，然后将多层的概率分值进行加权融合，得到单词的最终预测概率.在MSCOCO和Flickr30K两个数据集上实验结果显示，该模型性能显著，在多个统计指标上均超过了同类其他方法.Abstract: The task of image automatic description by computer belongs to high-level visual understanding. Unlike image classification, object detection, etc., it usually requires that the model should not only have abilities of describing scene and objects, but also have capacities of expressing the relations between different objects and between objects and background in the image. In addition, it is required that the model should generate natural sentences which accord with correct grammars and appropriate structures. Nowadays, the approaches based on convolutional neural network (CNN) and long-short term memory network (LSTM) have been the popular solutions to this task, and a series of successes have been obtained. However, there are still several sticky problems, for instance, the LSTM network is not deep enough and the model is difficult to optimize, and as a result, performances cannot be improved and the sentences generated are of low quantity. To address these difficulties, inspired by the idea of deep learning, a model named MLO/MLPF-LSTM is proposed, in which the method of layer-wise optimization, multi-objective optimization and multi-layer probability fusion are employed. In details, an LSTM network with shallow depth is trained firstly, then, new LSTM layers and related objective functions are added to the optimized LSTM network. Meanwhile, the classification layers and objective functions in the original LSTM model are reserved and fine-tuned with the new layers. During the test, the probabilities of all the Softmax functions which are fed with the corresponding classification layers are fused for the final predicted probabilities by a weighted average method. Experimental results on MSCOCO and Flickr30K datasets demonstrate that our model is effective and outperforms other methods of same kinds on a number of evaluation metrics.
-
非刚性点阵配准(Non-rigid point set registration)是将某一点阵(称为源点阵)与其发生形变后的点阵(称为目标点阵)进行匹配的过程.该技术在计算机视觉、机器学习、医学图像处理、模式识别以及地理信息系统中扮演着极其重要的角色.基于当前算法的特点,非刚性点阵配准算法大体可以分为两大类:基于迭代或非迭代的算法 和基于学习或非学习的算法.由于本文算法主要涉及基于迭代的问题,所以我们主要从基于迭代或非迭代的角度来介绍当前的非刚性点阵配准算法.
在基于非迭代的非刚性点阵配准算法中,两组点阵之间的对应关系是通过使用某种高级结构特征(High level structural features)仅进行一次相似性评估后直接找回两组点阵之间的对应关系. 在基于非迭代的配准模型中,直线[1]、曲线[2]、表面结构[3]、Shape context[4-5]和图论(Graphs)[6-7]等特征被用于两个点阵之间相似度的评估.在非迭代算法中,Shape context和Graphs是最受欢迎的两种特征描述法,其核心是通过最小化两个点阵之间的分布差异(使用Shape context时)或者拓扑结构差异(使用Graphs时)来找回点阵之间的对应关系[4-9].最近,一部分研究人员[10-14] 在传统的基于Graphs特征算法的基础上加入了学习要素,通过在配准前使用适当的学习样本进行学习来优化算法中的参数设置,从而提高了算法的配准精度.但是这类算法由于使用了Shape context 或Graphs特征,当相邻点较为接近时该类特征则变得非常相似以至于这类算法并不能达到较好的配准效果[8, 15-16].
基于迭代的算法通常包括两个相互交替的过程:对应关系评估(Correspondence estimation)和空间变换更新(Transformation updating).相对于基于非迭代的算法,基于迭代的算法的优势在于它们在迭代过程中逐步地调整源点阵的初始几何形状和空间位置使得源点阵在几何形状和空间位置上变得越来越接近目标点阵,从而使得通过几何结构特征寻找它们之间的对应关系变得更加容易.TPS-RPM[17]是第一个利用迭代技术来进行非刚性点阵配准的算法.它通过使用点阵到点阵的距离、Softassign[18-19]和退火算法[20-21]来评估点阵之间的对应概率和控制薄板样条函数(Thin plate spline,TPS)[22]的更新. Myronenko等[23] 在TPS-RPM算法框架基础上提出了在空间变换更新中增加运动一致性约束条件(Motion coherence constraint)[24]来提高配准过程中空间变换的稳定性,并利用最大似然法(Maximum likelihood)来评估点阵之间的对应关系. 之后,Myronenko等[25]在文献[23]的基础上发表了著名的CPD算法(Coherent points drift algorithm),他们改良了空间变换模型使之既可以适用于刚性和非刚性的点阵配准问题,并可以在配准精度要求相对不高的情况下通过使用快速高斯变换(Fast Gauss transform)[26]和矩阵低秩逼近(Low-rank matrix approximation)[27]技术减少计算量来提升算法的配准速度.近期,Jian等[16]提出了一种基于高斯混合模型(Gaussian mixture model)的非刚性点阵配准算法(称为GMMREG).该算法不直接在几何空间中配准两个点阵,而是把两个点阵先转变成为两个高斯混合模型,然后在这基础上进行对应关系评估,空间变换更新基于最小化两个高斯混合模型的L2距离[28].最近,国内的Ma等[29]提出了一种基于Shape context特征和L2E评估[30]的算法,Wang等[31]通过使用不对称的高斯模型捕捉空间点阵的不对称分布,并用其作为特征描述进行点阵的非刚性配准.
本文中,我们提出了一种基于混合特征的非刚性点阵配准算法.本算法的主要贡献体现在以下3个方面:
1) 全局结构特征描述算法:我们提出了一种利用和向量来描述点阵中各点的全局结构特征的描述算法.
2) 局部结构特征描述算法:我们提出了一种利用点阵之间的局部区域相邻点的距离和描述点阵中各点的局部结构特征的描述算法.
3) 基于混合特征的点阵对应评估算法:我们通过混合全局和局部结构特征描述算法提出了一种基于混合特征的能量方程,该方程允许使用混合特征进行点阵对应评估,使得在配准过程中所使用的特征不再单一化,使配准精度得到了提高并在大部分实验中超越了当前相关算法.
1. 方法
我们首先定义了全局和局部特征描述法以及混合特征能量优化方程,然后对本文算法的两个核心步骤进行介绍.在本章的后面部分,我们将对本文算法的参数设定以及本文算法与当前相关方法的差异进行说明.假设 $\{{\pmb a}_{i},i=1,2,\cdots,n\}$ 和 $\{{\pmb b}_{j},j=1,2,\cdots,m\}$ 是两组需要进行配准的点阵, ${\pmb a}$ 和 ${\pmb b}$ 分别为源点阵和目标点阵.
1.1 全局和局部结构特征差异
我们首先定义了两种特征描述法,分别被用来评估源点阵 ${\pmb a}$ 与目标点阵 ${\pmb b}$ 之间的全局与局部几何结构特征差异.
1.1.1 全局结构特征差异
全局几何结构特征差异被定义为
\begin {equation} G_{{\pmb a}_{i}{\pmb b}_{j}}= |{\pmb v}_{{\pmb a}_{i}}-{\pmb v}_{{\pmb b}_{j}} |\end {equation}
(1) 其中 $G_{\pmb{ab}}$ 为全局结构差异矩阵,矩阵中的每个元素值为两个向量 ${\pmb v}_{{\pmb a}_{i}}$ 与 ${\pmb v}_{{\pmb b}_{j}}$ 相减后的模. $G_{\pmb{ab}}$ 被用于评估点阵 ${\pmb a}$ 与点阵 ${\pmb b}$ 之间的全局结构特征差异. ${\pmb v}_{{\pmb a}_{i}}$ 与 ${\pmb v}_{{\pmb b}_{j}}$ 则是我们提出的全局结构特征描述法,定义为
\begin {equation} {\pmb v}_{{\pmb a}_{i}}=\sum_{k=1,,kneqi}^{n}\overrightarrow{{\pmb a}_{i}{\pmb a}_{k}}\end {equation}
(2) \begin {equation} {\pmb v}_{{\pmb b}_{j}}=\sum_{k=1,,kneqj}^{m}\overrightarrow{{\pmb b}_{j}{\pmb b}_{k}}\end {equation}
(3) 其中 $\overrightarrow{{\pmb a}_{i}{\pmb a}_{k}}$ 与 $\overrightarrow{{\pmb b}_{j}{\pmb b}_{k}}$ 分别是点 ${\pmb a}_{i}$ 到点 ${\pmb a}_{k}$ 与点 ${\pmb b}_{j}$ 到 ${\pmb b}_{k}$ 的几何向量. ${\pmb v}_{{\pmb a}_{i}}$ 与 ${\pmb v}_{{\pmb b}_{j}}$ 则是分别用来描述点 ${{\pmb a}_{i}}$ 与点 ${{\pmb b}_{j}}$ 的全局结构特征的和向量.
1.1.2 局部结构特征差异
局部结构特征差异被定义为
\begin {equation}L_{{\pmb a}_{i}{\pmb b}_{j}}=\sum_{k=1}^{K}\parallel T({ N}({\pmb a}_{i})_{k},{\pmb b}_{j})-{N}({\pmb b}_{j})_{k}\parallel^{2}\end {equation}
(4) 其中 $L_{{\pmb a}{\pmb b}}$ 是点阵 ${\pmb a}$ 与点阵 ${\pmb b}$ 之间的局部结构差异矩阵,K 为相邻点的个数. ${N}({\pmb a}_{i})_{k}$ 和 ${N}({\pmb b}_{j})_{k}$ 分别为点 ${\pmb a}_{i}$ 和点 ${\pmb b}_{j}$ 的第 k 个最近点. T 则是平移方程,被定义为
\begin {equation}T({N}({\pmb a}_{i})_{k},{\pmb b}_{j})={N}({\pmb a}_{i})_{k}+({\pmb b}_{j}-{\pmb a}_{i})\end {equation}
(5) 其主要思想为考虑在点阵 ${\pmb a}$ 与 ${\pmb b}$ 中的每一个点与其相邻点( ${N}({\pmb a}_{i})_{k=1,\cdots,K}$ 或 $N{{({{a}_{i}})}_{k=1,\cdots ,K}}$ )构成了一个局部小段,评估点阵 ${\pmb a}$ 与 ${\pmb b}$ 之间的对应关系就可以转化为评估局部小段的相似度. 例如,首先将 ${\pmb a}_{i}$ 以及它的 K个相邻点 ${N}({\pmb a}_{i})_{k=1,\cdots,K}$ 根据平移向量 $\overrightarrow{{\pmb a}_{i}{\pmb b}_{j}}$ 移动到 点 ${\pmb b}_{j}$ . 然后把点 ${\pmb a}_{i}$ 的相邻点 ${N}({\pmb a}_{i})_{k=1,\cdots,K}$ 与点 ${\pmb b}_{j}$ 的相邻点 ${N}({\pmb b}_{j=1,2,\cdots,m})$ 之间的几何距离进行累加.最后,点 ${\pmb a}_{i}$ 在点阵 ${\pmb b}$ 中的对应点被确定为拥有最小距离和的点 ${N}({\pmb b}_{j})$ .其中,局部结构特征差异主要决定于相邻点个数 K,同时 K也决定了两个点阵之间局部结构相似度的评估.
在这里,我们使用Linear assignment技术来最小化全局结构特征差异矩阵 $G_{\pmb{ab}}$ 与局部结构特征差异矩阵 $L_{{\pmb{ab}}}$ ,我们将会获得两种对应关系,它们分别是基于最小化的全局结构特征差异和局部结构特征差异计算而来的.
1.2 基于混合特征的能量优化方程
本文中提出的基于混合特征的能量优化方程被定义为
\begin {equation}E(M)=\sum_{i=1}^n\sum_{j=1}^m G_{{\pmb a}_{i}{\pmb b}_{j}}M_{ij}+\alpha \sum_{i=1}^n\sum_{j=1}^m L_{{\pmb a}_{i}{\pmb b}_{j}}M_{ij}\end {equation}
(6) 其中 $\sum_{i=1}^n \sum_{j=1}^m G_{{\pmb a}_{i}{\pmb b}_{j}}M_{ij}$ 和 $\sum_{i=1}^n\sum_{j=1}^m L_{{\pmb a}_{i}{\pmb b}_{j}}M_{ij}$ 分别描述了基于最小化全局和局部结构特征差异计算的能量,可以被考虑为Linear assignment问题. $G_{{\pmb a}{\pmb b}}$ 和 $L_{{\pmb a}{\pmb b}}$ 分别正规化至[0,1]区间. n 和 m分别代表了点阵 ${\pmb a}$ 与 ${\pmb b}$ 中的序列长度. Mij是对应矩阵,表示了点阵 ${\pmb a}$ 与 点阵 ${\pmb b}$ 之间的对应关系,当点 ${\pmb a}_{i}$ 与点 ${\pmb b}_{j}$ 相对应时赋值为1,反之则赋值为0. Mij 始终满足 ${\sum_{j=1}^m}M_{ij}=1$ 和 ${\sum_{i=1}^n}M_{ij}=1$ . $\alpha$ 为权重参数用于调节能量优化时 $\sum_{i=1}^n\sum_{j=1}^m G_{{\pmb a}_{i}{\pmb b}_{j}}M_{ij}$ 与 $\sum_{i=1}^n\sum_{j=1}^m L_{{\pmb a}_{i}{\pmb b}_{j}}M_{ij}$ 的比重. 在配准过程中,能量调节参数 $\alpha$ 通过退火算法在每次迭代中逐渐减小,最后趋近为0.
1.3 配准过程
首先我们创建一个可变形的代理点阵 ${{\pmb a}^{w}}$ ,并使其在配准开始时满足 ${\pmb a}^{w}={\pmb a}$ .本文算法的主要过程是:1) 首先利用前述基于混合特征的能量优化方程在每次迭代中评估 ${{\pmb a}^{w}}$ 和 ${\pmb b}$ 的对应关系(前述式(1) $\thicksim$ (6) 中的 ${{\pmb a}_{i}}$ 应使用 ${{\pmb a}^{w}}$ ); 2) 随后使用TPS空间变换更新 ${{\pmb a}^{w}}$ 的空间位置及几何形状,该TPS空间变换由步骤1) 中获取的对应关系建立而来.这两个步骤1) 和2) 相互交替迭代以至于代理点阵 ${{\pmb a}^{w}}$ 能逐渐在空间位置和几何形状上越来越接近其目标点阵 ${\pmb b}$ ,最终准确地匹配上它在点阵 ${\pmb b}$ 中的真实对应点.使用代理点阵 ${\pmb a}^{w}$ 评估获得的对应点即为点阵 ${\pmb a}$ 的对应关系.
1.3.1 步骤1:对应关系评估
在每一次迭代中,点阵 ${{\pmb a}^{w}}$ 与 ${\pmb b}$ 的对应关系通过最小化基于混合特征的能量优化方程(6) 获得.基于混合特征的能量优化在本文中被看作一个线性分配问题,所以式(6) 可以使用Jonker-Volgenant算法[32]求解.Jonker-Volgenant算法已被广泛用于解决线性分配问题,它可以提供最短广增路(Shortest augmenting path)并拥有O $(N^3) $ 的计算复杂度.
对于线性分配中的Integer cost问题,在配准前我们首先将需要配准的点阵坐标缩放至[0,1]之间,然后在每一次迭代中把计算出的全局与局部结构特征差异矩阵通过使用 $\lfloor{G_{{\pmb a}^{w}{\pmb b}}}× R \rceil$ 和 $\lfloor {L_{{\pmb a}^{w}{\pmb b}}}× R \rceil$ 进行数值处理,其中R被设为 $10^{6}$ .对于非方形矩阵问题(点阵 ${\pmb b}$ 包含冗余点),非方形矩阵 ${{ G}_{{\pmb a}^{w}{\pmb b}}}$ 和 ${L_{{\pmb a}^{w}{\pmb b}}}$ 可以通过分配虚拟项(Dummy entries)[33]来转换为方形矩阵,而且不会影响整体能量优化.转换后 $E(M)$ 则可以使用通常手段求解,并且仍然给出最优解.虽然我们提供了一种针对目标点阵包含冗余点的配准解决方案,但是本文算法并不能很好地处理包含冗余点的配准问题.原因是用于描述各点全局结构特征的和向量 ${\pmb v}_{{\pmb a}_{i}}$ 和 ${\pmb v}_{{\pmb b}_{j}}$ 容易受冗余点的影响.
通过使用Jonker-Volgenant算法求解的对应关系矩阵M确保了从点阵 ${{\pmb a}^{w}}$ 到点阵 ${\pmb b}$ 的一一对应关系. 当前迭代的对应点集 ${\pmb b}^{c}$ 由式(7) 进行更新
\begin{equation}{\pmb b}^{c}= M \cdot {\pmb b}\end{equation}
(7) 本文提出的基于混合特征的能量优化方程为使用混合特征来评估对应关系提供了一个灵活方法.例如,当 $\alpha$ 非常大时,最小化E等于最小化局部结构特征差异 ${L_{{\pmb a}^{w}{\pmb b}}}$ ,求出的点对点的对应关系是基于最小化两个点阵之间的局部结构特征差异.当 $\alpha$ 逐渐变小时,对应关系评估开始转向使用最小化全局结构特征差异,求出的点对点的对应关系是基于最小化两个点阵之间的全局结构特征差异.
1.3.2 步骤 2:空间变换更新
当更新完当前对应点集 ${\pmb b}^{c}$ 后,空间变换通过使用 ${\pmb b}^{c}$ 和源点阵 ${\pmb a}$ 的对应关系进行更新(由于 ${\pmb a}$ 和 ${{\pmb a}^{w}}$ 拥有相同的点阵序列,所以 ${\pmb b}^{c}$ 也是源点阵 ${\pmb a}$ 的对应点集).本文中,我们使用TPS空间变换来建立从 ${\pmb a}$ 到 ${\pmb b}^{c}$ 的映射关系
\begin{equation}f({\pmb a},{\pmb d},{ w})={\pmb a}\cdot {d} + \phi({\pmb a})\cdot{ w}\end{equation}
(8) 其中 ${d}$ 为一个仿射系数矩阵, ${ w}$ 为一个非刚性形变系数矩阵. $\phi({\pmb a})$ 称为TPS内核方程(TPS kernel function),分别在二维和三维映射中被定义为 $\phi({\pmb a})=\|{\pmb a}-{{\pmb a}_{c}}\|^{2}\log \|{\pmb a}-{{\pmb a}_{c}}\|$ 和 $\phi({\pmb a})=\|{\pmb a}-{{\pmb a}_{c}}\|$ . ${{\pmb a}_{c}}$ 是从点阵 ${\pmb a}$ 中选取的一组控制点.
为了使用适当的仿射系数 ${ d}$ 和非刚性形变系数 ${ w}$ 来建立从 ${\pmb a}$ 到它的对应点集 ${\pmb b}^{c}$ 的映射关系,TPS能量方程被定义为
\begin{equation}E_{\textrm{TPS}}({ d},{w})=\|{\pmb b}^{c}-{\pmb a} {d}- \Phi {w}\|^{2}+λ \textrm{tr}({w}^{\rm T} \Phi { w})\end{equation}
(9) 其中正规化参数λ用于调节非刚性形变系数 ${w}$ ,同时它也被前述使用在式(6) 中用来控制权重参数 $\alpha$ 的能量权重调节所控制. ${\Phi}$ 是TPS内核矩阵,由前述TPS内核方程 $\phi({\pmb a})$ 计算而来.
为了计算 ${d}$ 和 ${w}$ 的最小二乘解,矩阵的QR分解技术[34]被用于分离点阵的仿射和非刚性形变空间
\begin{equation}{\pmb a}=QR=[Q_{1}|Q_{2}] \left(\begin{array}{c}{R}_{1} \\0 \\\end{array} \right)\end{equation}
(10) 其中,Q1 $\in {\bf R}^{N× D}$ , ${ Q}_{2}$ $\in {\bf R}^{N×(N-D)}$ , ${R}_{1}$ $\in {\bf R}^{D× D}$ . 此外,Q1与Q2拥有相同的正交列. 所以式(9) 可以转换为
\begin{equation}\begin{aligned}E_{\textrm{TPS}}(\boldsymbol{\gamma},{d})=\|Q^{\rm T}_{2}{\pmb b}^{c}-Q^{\rm T}_{2} \Phi Q_{2} \boldsymbol{\gamma}\|^{2}+ \|Q^{\rm T}_{1}{\pmb b}^{c}-\\{ R}_{1}{ d}-Q^{\rm T}_{1}\Phi Q_{2}\boldsymbol{\gamma}\|^{2} +λ\boldsymbol{\gamma}^{\rm T}Q^{\rm T}_{2} \Phi Q_{2}\boldsymbol{\gamma}\end{aligned}\end{equation}
(11) 其中 ${ w}=Q_{2}\boldsymbol{\gamma}$ , $\boldsymbol{\gamma}$ $\in{\bf R}^{(N-D-1) × (D+1) }$ .式(11) 的最小二乘解可以通过先最小化 $\boldsymbol{\gamma}$ ,然后最小化 ${d}$ 来求解. ${ w}$ 和 ${ d}$ 的解为
\begin{equation}\hat{{ w}}=Q_{2}\boldsymbol{\gamma}=Q_{2}(Q^{\rm T}_{2} \Phi Q_{2}+λ I_{N-D-1})^{-1}Q^{\rm T}_{2}{\pmb b}^{c}\end{equation}
(12) \begin{equation}\hat{{ d}}={R}^{-1}(Q^{\rm T}_{1}{\pmb b}^{c}-\Phi {w})\end{equation}
(13) 代理点阵 ${\pmb a}^{w}$ 的空间位置与几何形状被更新为
\begin{equation}{\pmb a}^{w}={\pmb a}\cdot {d} + \Phi \cdot { w}\end{equation}
(14) 代理点阵 ${\pmb a}^{w}$ 的空间位置与几何形状更新后,本文算法重新回到步骤1(第1.3.1节)进行对应关系评估,两个步骤交替进行直到能量权重调节中的T达到终止设置(Tfinal).
1.4 算法伪代码及参数设置
算法 1给出了本文算法的伪代码.
算法 1. 基于混合特征的非刚性配准算法
输入. 点阵 ${\pmb a}$ , ${{\pmb a}^{w}}$ 和 ${\pmb b}$ .
预处理. 初始化参数Tinit,Tfinal,r, $λ_{init}$ 和 $\alpha_{init}$ . 设定 K并且确定点阵 ${{\pmb a}^{w}}$ 和 ${\pmb b}$ 的相邻点集 ${N}({\pmb a}_{i})$ 和 ${ N}({\pmb b}_{j})$ .
开始 . 能量权重调节计划.
步骤 1. 使用式(6) 和(7) 评估当前对应关系 ${\pmb b}^{c}$ .
步骤 2. 使用式(12) 和(13) 更新TPS空间变 换.
使用式(14) 更新 ${{\pmb a}^{w}}$ .
通过调节减小T,然后更新参数 $\alpha$ 和λ.
结束. 直至满足 $T\leq T_{final}$ .
输出. 代理点阵 ${{\pmb a}^{w}}$ }.\vskip2
本文提出的基于混合特征的非刚性点阵配准算法包含四组重要参数:调节参数Tinit,Tfinal 和 r,权重参数 $\alpha$ ,正规化参数λ 以及相邻点个数参数K.每组参数的详细设定如下
1) 调节参数:能量权重调节中所使用的T[20-21]在配准开始前被设定为一个较高的值Tinit,随后在每次迭代中利用一个线性调节计划 $T=T × r$ 使得T值在配准过程中被逐步降低,其中 r为调节率.当到达一个较低的设定值 Tinit 时,调节计划停止.本文中设计该线性调节计划的目的主要有2方面: 首先利用T来逐步减小式(6) 中的权重参数 $\alpha$ ,使得式(6) 的能量优化问题可以从首先最小化局部结构特征差异逐步过度到最小化全局结构特征差异;其次利用T来逐步减小式(9) 和(12) 中的正规化参数λ,使得TPS空间变换可以从更加刚性的形变更新逐渐转化为更加非刚性的形变更新.由于调节参数从根本上决定了算法迭代的次数,所以Tinit,Tfinal 和r 的参数设定原则为满足配准所需的足够迭代次数.基于前期使用Fish 1点阵[17]进行的试错实验(Trial-and-error experiment),起始Tinit值被设为点阵 ${\pmb a}$ 到 ${\pmb b}$ 最大距离平方的 $1/10$ ,终止Tfinal 值被设为点阵 ${\pmb a}$ 中各点到其最近点平均距离平方的 $1/8$ ,调节率r 通常被设为0.7.
2) 权重参数:权重参数 $\alpha$ 在每次迭代中,通过使用 $\alpha=\alpha_{init} × T$ 被逐渐减小, $\alpha$ 的初始值设定原则为能够保证在配准前期整个算法可以集中在利用最小化局部结构特征差异来评估点阵的对应关系.初始值 $\alpha_{init}$ 被设为相邻点个数的平方 $K^{2}$ .
3) 正规化参数:正规化参数λ在每次迭代中,通过使用 $λ=λ_{init}× T$ 被逐渐减小,由于λ主要用来控制TPS变换中的刚性和非刚性形变(λ较大时,TPS呈现出刚性变换; λ较小时,TPS转为呈现非刚性形变),所以λ的初始值设定原则为能够确保在配准前期TPS处于刚性变换.初始值 $λ_{init}$ 被设为点阵 ${\pmb a}$ 中点的数量.
4) 相邻点数量参数:参数K的默认值设定是基于用于区别局部结构差异所需的最少相邻点数.例如,当我们需要区别角(Corner,其中包含2个相邻点)和十字(Cross,其中包含4个相邻点)时,我们至少需要借助4个相邻点来判断.基于上述考虑,我们将参数K在二维和三维配准情况下的默认值设为5.
2. 相关研究
当前主要有TPS-RPM[17],CPD[25],GMMREG (L2 +TPS)[16],Ma等[29]和Wang等[31]5种算法与本文算法相似,表 1详细列举了本文算法与上述5种算法之间存在的差异.
表 1 本文算法与相关算法的不同Table 1 Methodological differences between our method and the current methods算法 对应关系评估 空间变换更新 使用的特征 对应关系 约束条件 空间变换方程 本文算法 混合特征 B TPS 能量方程 1 TPS TPS-RPM 高斯概率密度 F TPS 能量方程 2 TPS CPD 高斯概率密度 F MCC-NLL GRBF GMMREG 高斯概率密度 F 最小化 L2 距离 TPS Ma 等[29] Shape context B L2E 评估子[30] RKHS Wang 等[31] MoAG F 最小化 L2 距离 RKHS 注: B: 二值对应; F: 模糊对应; GRBF (Gaussian radial basis function): 高斯径向基函数; TPS: 薄板样条函数; MCC-NLL(Motion coherence constraint based negative log-likelihod):基于运动一致性的负对数似然; RKHS (Reproducing kernel Hilbert space): 再生核Hilbert空间; MoAG (Mixture of asymmetric Gaussian model): 混合非对称高斯模型; 在TPS能量方程 2中, $λ_{2}\textrm{tr}(d-I)^{\rm T}(d-I)$ 被加到了式(7) (TPS能量方程 1) 来控制仿射变换. 1) 对应关系评估:与上述基于单一特征配准的5种算法不同,本文算法是一种基于混合特征的能量优化问题,且允许使用混合特征进行点阵之间的对应关系评估.因为本文算法与Ma等使用了线性分配技术求解对应关系,所以我们都提供了一个二值对应关系,即在对应关系矩阵Mij中仅使用0和1来描述对应关系.在TPS-RPM,CPD,GMMREG和Wang等[31]算法中,空间变换方程是建立在模糊对应(Fuzzy correspondences,即对应概率)关系基础上的,所以在指导代理点阵 ${{\pmb a}^{w}}$ 改变其空间位置和几何形状时会发生模糊更新,同时也会需要更多的迭代次数才能完成配准.在本文算法中,建立在最小化全局或局部结构特征差异的二值对应关系可以为代理点阵 ${{\pmb a}^{w}}$ 提供一个正确且清晰的空间位置与几何形状的更新指导.
2) 空间变换更新: 本文算法使用的是标准TPS能量方程.TPS-RPM在式(6) 中增加了 $λ_{2} \textrm{tr} [d-I]^{\rm T}[d-I]$ 项用于控制仿射参数.由于本文算法在每次迭代中提供了一个较为精确的二值对应关系给TPS空间变换,所以我们仅需要使用λ来控制 ${w}$ 系数在刚性和非刚性变换上的作用.同时一个自由的仿射变换(也就是不受控制的仿射系数 ${d}$ )可以帮助代理点阵 ${{\pmb a}^{w}}$ 快速(使用更少的迭代次数)地找到更加接近目标点阵 ${\pmb b}$ 的空间位置和几何形状来完成接下来的非刚性配准.此外,与CPD中强制相邻点集保持运动一致性不同,本文算法通过在整个配准过程中固定相邻点集 ${N}({\pmb a}_{i}^{w})$ 和 ${N}({\pmb b}_{j})$ ,来保护代理点阵 ${{\pmb a}^{w}}$ 的拓扑结构特征.
3. 实验
我们使用Matlab实现了本文算法的主要过程,其中Jonker-Volgenant算法使用C++编写并利用Matlab mex function调用Jonker-Volgenant算法的C++函数.我们首先基于以下四种配准模式测试了本文算法的各项性能,
1) 轮廓配准 (2D synthetic point set);
2) 3D 轮廓配准 (3D face point set);
3) 序列图像 (CMU house and CMU hotel sequence);
4) 真实图像特征点配准 (Pascal 2007 challenge datasets).
而且,本文算法还与下列当前典型的8种算法进行了性能比较实验,
1) 基于迭代的算法: TPS-RPM[17],CPD[25],GMMREG(L2 + TPS)[16],Wang等[31];
2) 基于Graph的学习算法: Caetano等[10],Leordeanu等[13],Torresani等[14];
3) 基于Graph的非学习算法: Zhou等[9].
最后,我们评估了本文算法的计算复杂度并且讨论了如何降低本文算法的计算复杂度.
3.1 实验设计
Line[17]、Fish 1[17]、Fish 2[25]、Chinese character[17]和3D face[25]是非刚性点阵算法在轮廓点阵配准测试中普遍使用的几个流行点阵,它们分别来自TPS-RPM[17]和CPD[25].本文首先使用这5个点阵作为源点阵,并使用下面人工合成的方法创建了一系列丰富的目标点阵与TPS-RPM,CPD和GMMREG进行了性能对比实验.为了达到公平的实验对比,在目标点阵的生成、误差测量和性能评估上我们遵循了TPS-RPM[17]和CPD[25]中所用的方法.由于本文中提出的全局特征描述法(见第1.1.1节)是由和向量设计而来,当配准目标点阵中包含冗余点时,本文算法并不能很好地处理包含冗余点的配准问题,所以在本实验中我们不进行包含冗余点的配准模式性能测试.
目标点阵:
1) 形变级别: 我们设置8个控制点(三维配准情况是为6个控制点)在每组轮廓点阵边缘.为了创建一系列不同形变级别且适合的目标点阵,每个控制点拥有上、下、左、右4个方向的自由移动以及0.2的移动步长.8个(或6个)控制点的移动循序以及方向被随机设定. 在本实验中,TPS空间变换被用于使用这8个(或6个)控制点使前述源点阵发生形变创建新目标点阵.因为被移动的控制点数量反映了点阵的形变大小,所以本实验中形变级别被定义为移动控制点的数量(二维和三维情况下的最大形变级别分别为8和6) .
2) 噪音比:我们通过利用均值为0且标准偏差从0.01至0.05的高斯白噪声(Gaussian white noise)创建了5个噪音级别的目标点阵.
3) 旋转角度:我们认为在适当旋转下的配准性能测试是必要的,因为通常形变发生时都会伴随着旋转.但是过大旋转会导致相关算法产生不稳定或无价值的配准结果,所以我们主要专注于在以 $15^{\circ}$ 为间隔,旋转 $-30^{\circ}$ 到 $30^{\circ}$ 的情况下的配准性能测试.在三维配准实验中,源点阵被沿Z轴旋转来创建新目标点阵.
误差测量: 在误差测量中,通常可以选择的测量方法很多.例如,正确匹配百分比、配准后点阵之间的平均距离等.为了保证直接和公平的比较,我们遵循了TPS-RPM与CPD中的误差测量法,即代理点阵 ${{\pmb a}^{w}}$ 与目标点阵 ${\pmb b}$ 之间平均距离的平方.
性能评估:平均误差(即100次测试中的平均距离平方与标准偏差)在本实验中被用来比较不同算法之间的配准性能.对于每组点阵,在每种形变级别、噪音比、旋转角度下执行了100次的随机实验.
3.2 二维轮廓点阵的配准结果
在第一系列的实验中,我们在不同的二维人造轮廓点阵上评估了本文算法的性能.与后面的序列图像(CMU sequences and Pascal 2007challenge)以及真实图像特征点(Pascal 2007challenge)配准相比,这些二维轮廓点阵拥有更多的点数以及较密的点阵分布.在这类点阵配准中,由于相邻点彼此靠近且拥有相似的局部结构特征,所以在评价各点的局部特征结构相似度时变得更加困难.本文算法与相关算法的比较结果如下.
3.2.1 Line
在点阵Line的配准测试中,本文算法仅与TPS-RPM进行对比测试.因为其他算法并没有在该点阵上进行测试并公布相关的参数设定.性能测试统计数据(平均误差与标准偏差)展示在图 1的第1 行.本文算法在所有的实验中展现了准确的配准结果,并且在所有形变级别、噪音比、旋转角度的测试中,给出了最优的配准结果.图 2给出了本文算法的一个配准实例.
图 1 二维轮廓点阵配准下的性能对比(误差线表示了100次随机测试中平均误差的标准偏差值.从第1行至第4行分别为点阵Line,Fish 1,Chinese character以及Fish2的实验结果.Fig. 1 Comparison of our results against CPD,TPS-RPM and GMMREG on 2D contour point set registration (The error bars indicate the standard deviations of the mean errors in100 random experiments. From the top row to bottom row are: Line,Fish 1,Chinese character and Fish 2,respectively.3.2.2 Fish 1
在点阵Fish 1的配准测试中,我们测试了本文算法与CPD,TPS-RPM 和GMMREG的性能,图 1的第2行展示了测试结果.这4种算法均给出了准确的配准结果,本文算法在所有的形变级别和所有旋转角度的测试中展现了最优的性能结果.在目标点阵含有噪音的配准测试中,这四种算法均展现了准确的配准结果,GMMREG 表现得更好. 图 3给出了本文算法的一个配准实例.
3.2.3 Chinese character
在点阵Chinese character的配准测试中,本文算法仅与TPS-RPM进行对比实验.因为CPD与GMMREG并未在非刚性配准中测试过该点阵(GMMREG仅在刚性配准中测试过该点阵).本文算法在所有形变级别、噪音比从0.01至0.03、所有旋转角度的测试中给出了最优的配准结果.图 4给出了一个本文算法的配准实例.
图 4 本文算法的配准实例: Chinese characterFig. 4 Registration examples on Chinese character point set3.2.4 Fish 2
本文算法与CPD的性能测试结果展示在图 1的第4行.本文算法在所有的实验中展现了准确的配准结果,并且在所有形变级别、噪音比以及旋转角度的测试中给出了最优的配准性能.图 5给出了本文算法的一个配准实例.
在二维轮廓点阵配准测试中,所有的算法均给出了准确的配准结果,但是本文算法在形变与旋转测试中明显地超越了相关算法.
3.3 三维人脸点阵的配准结果
在第二系列的实验中,我们评估了本文算法在三维配准中的性能.本实验中使用的3D face点阵已被CPD和GMMREG等算法用于测试其在三维配准中的性能. 图 6 给出了本文算法与CPD、GMMREG算法的性能测试结果.本文算法在所有实验中给出了准确的配准结果,同时在所有形变级别、噪音比从0.01至0.04以及所有旋转角度的实验中给出了最优的性能结果.图 7给出了一个本文算法的配准实例.
图 6 三维Face轮廓点阵配准下的性能对比 (误差线表示了100次随机测试中平均误差的标准偏差值.)Fig. 6 Comparison of our results against CPD and GMMREG on3D face contour point set registration (The error bars indicate the standard deviations of the mean errors in 100 random experiments.)3.4 序列图像的配准结果
在第三系列的实验中,我们测试了本文算法在序列图像特征点配准问题上的性能.与二维和三维人造点阵相比,序列图像拥有更少的特征点,这些点稀疏地分布在图像中.CMU house和CMU hotel序列图像是目前用于测试基于Graph的学习算法最流行的实验数据.两个序列图像分别由111和101幅图组成,每幅图拥有30个标记的特征点.在本实验中,我们使用正确配准点数的百分比(称为配准率)为误差测量法.
本文算法与三种基于Graph的学习算法{[10, 13-14],一种基于Graph的非学习算法[9],和三种基于迭代的算法[16, 25, 31]分别在这两组序列图像的所有配准可能中进行了性能对比实验.
表 2展示了实验结果.在House序列图像的配准中,对于Caetano等[10]与Zhou等[9],我们报告了他们公布的配准率的上限值,对于Leordeanu等[13]、Torresani等[14]和Wang等[31],我们给出了他们公布的配准率. 本文算法,Wang等[31]和Torresani等[14]给出了完美的配准结果,也超越了其他算法.但是从算法运行时间角度来看,本文算法的运行时间(平均0.049秒)比Torresani等公布的平均运行时间4.8秒[14]快了很多(该对比也考虑了使用电脑的性能问题).在CMU hotel序列图像的配准中,Wang等[14, 31]与Zhou等[9]没有提供他们的实验结果. 与CPD,GMMREG,Leordeanu等[13]和Caetano等[10]相比较,本文算法展现了更好的配准精度. 图 8给出了本文算法的两个配准实例.
表 2 CMU house和CMU hotel序列图像中所有可能的图像配准结果 (%)Table 2 Matching rates on the CMU house and CMU hotel for all possible image pairs (%)3.5 图像特征点的配准结果
在第四系列的实验中,我们使用Leordeanu等[13]的测试数据测试了本文算法的性能.这套测试数据集从Pascal 2007 challenge数据库中挑选出来的,包含30对汽车图像与20对摩托车图像. 每对图像中包含 $30\sim60$ 个特征点.本文算法与CPD,GMMREG,Zhou等[9]和Leordeanu等[13]进行了性能对比,其结果在表 3中列出,对于Zhou等[9] (A)和 Leordeanu等[13] (B),我们报告了他们公布的实验结果. 本文算法给出了最优的配准率.图 9给出了本文算法的两个配准实例.
表 3 汽车与摩托车图像库的配准结果 (%)Table 3 Matching rates on cars and motorbikes (%)本文算法 CPD GMMREG A B 93 80 82 80 80 3.6 计算复杂度
本文算法的计算复杂度主要与两个方面相关:1) 决定收敛性的能量权重调节参数 Tinit,Tfinal 与 r;2) 用于求解基于混合特征的能量优化方程的线性分配算法.
3.6.1 收敛范围
收敛范围主要与形变级别和能量权重调节参数设定相关.在其他相关算法中,TPS-RPM的收敛范围由退火算法决定,CPD和GMMREG则分别由容差停止准则(Tolerance stopping criterion)以及最大迭代次数所决定.我们调查了上述这四种算法在点阵Chinese character形变实验中的收敛范围.本文算法、TPS-RPM、CPD与GMMREG的参数设定值遵循前述Fish1实验中的设定值.CPD和TPS-RPM分别平均需要43次与85次迭代来完成整个配准过程,而GMMREG则需要最大迭代次数(100次)才能完成配准. 原因是由于容差停止准则被设定为 $10^{-10}$ ,GMMREG在配准中最小化后的L2距离很难达到该标准.本文算法仅需要17次迭代就可以完成配准.
此外,我们也调查了本文算法在不同能量权重调节参数设定下的收敛范围.图 10给出了在Chinese character点阵形变实验中的例子.对于每一个能量权重调节参数设定值,我们在每一个形变级别下运行了100次随机实验.基于图 10展示的实验结果,随着调节初始值Tinit降低为默认值的 $1/10$ 时,本文算法的性能发生了轻微的退化,配准所需迭代次数减少了 $41%$ (平均迭代次数从17次减少至10次);随着最终值Tfinal增加为默认值的10倍时,本文算法的性能发生了退化,配准所需迭代次数减少了 $41%$ (平均迭代次数从17次减少到10 次);随着调节速率r减少为默认值的 $1/2$ ,本文算法的性能轻微退化,配准所需迭代次数减少了 $65%$ (从17次减少至仅需6 次).即便能量权重调节参数被显著地改变了,所有的实验依旧展现了非常高的配准精度(也就是误差低于0.0013且标准偏差在 $\pm 0.0015$ 之内).基于这些结果,本文算法的计算复杂度可以通过调整能量权重调节参数设定大幅降低,同时算法依旧维持了很高的配准精度.
图 10 不同能量权重调节参数设定下的配准性能Fig. 10 Relationships between performances and different energy tradeoff adjustment parameter settings3.6.2 Jonker-Volgenant算法性能
为了使用线性分配技术求解二值对应矩阵M,本文算法使用了Jonker-Volgenant算法[32],该算法提供了O $(N^{3})$ 的计算复杂度. 我们在一台4GB内存和2.67GHz Intel(R)Xeon(R) CPU的电脑上使用Matlab mex function功能测试了C++代码的Jonker-Volgenant算法性能. 表 4给出了使用Jonker-Volgenant 算法求解不同大小的二值对应矩阵所需时间.Jonker-Volgenant算法展现了快速的求解能力,同时也为本文算法实现快速非刚性点阵配准提供了支撑.
表 4 Jonker-Volgenant 算法性能 (测试矩阵由 Matlab 的 rand 函数自动生成.)Table 4 Performance of Jonker-Volgenant algorithm (The cost matrices were generated by Matlab rand function.)矩阵大小 200 500 1 000 2 000 3 000 所需时间 (秒) 0.002 0.016 0.100 0.316 0.588 4. 结论
我们已经介绍了一种基于混合特征的非刚性点阵配准算法:1) 设计出了一种基于和向量特征的全局结构特征描述算法;2) 提出了一种利用点阵之间的局部区域相邻点的距离和描述点阵中各点的局部结构特征的描述算法;3) 提出一种基于混合特征的能量方程并设计了该方程的能量权重调节,该方程允许使用混合特征进行点阵对应评估.最后将本文算法与8种当前典型算法进行了性能对比测试,本文算法在绝大多数的形变和旋转配准情况中展现了最好的配准结果.
致谢: 感谢Chui Hai-Li,Rangarajan Anand,Myronenko Andriy,Song Xu-Bo,Jian Bing,Vemuri Baba,Zhou Feng,De la Torre Fernando,Leordeanu Marius,Torresani Lorenzo 和 Caetano Tiberio 提供了他们的算法源代码和测试数据. 这极大地促进了对比实验.我们无偿提供本文算法的Matlab源代码供学术研究.
-
图 4 MLPF-LSTM图像描述生成流程
Fig. 4 The pipeline of image description generation in MLPF-LSTM
图 6 MLO/MLPF-LSTM (3-stage)模型生成的部分图像描述示例
Fig. 6 Examples of image descriptions with MLO/ MLPF-LSTM (3-stage)
图 7 在MSCOCO数据集上使用不同策略加深模型深度时的性能表现
Fig. 7 Performance under different strategies at each stage on MSCOCO
表 1 MSCOCO数据集上不同层次及多层融合之后的性能对比(非联调方式) ($\%$)
Table 1 Performance comparison under different fusion conditions on MSCOCO (non-jointly optimizing) ($\%$)
Models B-1 B-2 B-3 B-4 C Baseline 67.7 49.4 35.2 25.0 78.2 2-stage P1 67.8 49.7 35.3 25.0 78.5 P2 67.5 49.6 35.3 25.0 79.6 Fusion 68.0 50.0 35.5 25.1 79.1 3-stage P1 67.9 49.8 35.5 25.2 79.0 P2 67.5 49.6 35.3 25.0 79.6 P3 67.3 49.4 35.1 24.8 78.9 Fusion 68.0 50.0 35.8 25.4 80.2 4-stage P1 67.6 49.5 35.3 25.1 78.7 P2 67.0 49.1 34.9 24.8 79.7 P3 66.8 49.0 34.8 24.7 79.5 P4 66.9 49.0 34.8 24.6 78.9 Fusion 67.7 49.8 35.6 25.3 80.4 C表示CIDEr 
下载: 导出CSV
表 2 MSCOCO数据集上不同层次及多层融合之后的性能对比(联调方式) ($\%$)
Table 2 Performance comparison under different fusion conditions on MSCOCO (jointly optimizing) ($\%$)
Models B-1 B-2 B-3 B-4 C Baseline$^+$ 70.2 52.7 38.3 27.6 86.2 2-stage P1 70.2 52.7 38.4 27.8 88.4 P2 69.9 52.6 38.3 27.7 87.5 Fusion 70.2 52.8 38.4 27.8 88.5 3-stage P1 70.5 52.8 38.4 27.8 89.3 P2 70.1 52.5 38.2 27.8 88.9 P3 70.1 52.8 38.5 27.9 88.2 Fusion 70.6 53.2 38.8 28.2 90.0 C表示CIDEr
下载: 导出CSV
表 3 Flickr30K数据集上不同层次及多层融合之后的性能对比(联调方式) ($\%$)
Table 3 Performance comparison under different fusion conditions on Flickr30K (jointly optimizing) ($\%$)
Models B-1 B-2 B-3 B-4 M Baseline$^+$ 60.2 41.8 28.5 19.2 19.2 2-stage P1 61.5 42.9 29.2 19.7 19.4 P2 60.7 42.2 29.0 19.8 19.2 Fusion 61.4 42.8 29.2 19.8 19.6 M表示METEOR
下载: 导出CSV
表 4 MSCOCO数据集上不同层次及多层融合之后的性能对比(使用联调方式和集束搜索算法) ($\%$)
Table 4 Performance comparison under different fusion conditions on MSCOCO (jointly optimizing and Beam search algorithm are employed) ($\%$)
Models B-1 B-2 B-3 B-4 C Baseline$^+$ 71.3 54.4 40.8 30.5 92.0 2-stage P1 71.4 54.3 40.7 30.6 93.8 P2 71.6 54.8 41.1 31.0 93.7 Fusion 71.5 54.5 41.0 31.0 94.2 C表示CIDEr
下载: 导出CSV
表 5 Flickr30K数据集上不同层次及多层融合之后的性能对比(使用联调方式和集束搜索算法) ($\%$)
Table 5 Performance comparison under different fusion conditions on Flickr30K (jointly optimizing and Beam search algorithm are employed) ($\%$)
Models B-1 B-2 B-3 B-4 M Baseline$^+$ 63.4 44.5 30.9 21.1 19.0 2-stage P1 65.1 45.8 31.8 21.9 19.2 P2 65.0 46.0 32.0 21.9 19.3 Fusion 66.2 47.2 33.1 23.0 19.6 M表示METEOR
下载: 导出CSV
表 6 不同方法在MSCOCO数据集上的性能对比($\%$)
Table 6 Performance comparison with other state-of-the-art methods on MSCOCO ($\%$)
Methods B-1 B-2 B-3 B-4 C multimodal RNN[14] 62.5 45.0 32.1 23.0 66.0 Google NIC[2] 66.6 46.1 32.9 24.6 -- LRCN-AlexNet[13] 62.8 44.2 30.4 21.0 -- m-RNN[1] 67.0 49.0 35.0 25.0 -- Soft-attention[15] 70.7 49.2 34.4 24.3 -- Hard-attention[15] 71.8 50.4 35.7 25.0 -- emb-gLSTM, Gaussian[28] 67.0 49.1 35.8 26.4 81.3 MLO/MLPF-LSTM 67.7 49.8 35.6 25.3 80.4 MLO/MLPF-LSTM$^+$ 70.6 53.2 38.8 28.2 90.0 MLO/MLPF-LSTM$^+$(BS) 71.5 54.5 41.0 31.0 94.2 BS表示Beam search, C表示CIDEr
下载: 导出CSV
表 7 不同方法在Flickr30K数据集上的性能对比($\%$)
Table 7 Performances comparison with other state-of-the-art methods on Flickr30K ($\%$)
Methods B-1 B-2 B-3 B-4 M multimodal RNN[14] 57.3 36.9 24.0 15.7 15.3 Google NIC[2] 66.3 42.3 27.7 18.3 -- LRCN-AlexNet[13] 58.7 39.1 25.1 16.5 -- m-RNN[1] 60.0 41.0 28.0 19.0 -- Soft-attention[15] 66.7 43.4 28.8 19.1 18.5 Hard-attention[15] 66.9 43.9 29.6 19.9 18.5 emb-gLSTM, Gaussian[28] 64.6 44.6 30.5 20.6 17.9 MLO/MLPF-LSTM$^+$ 61.4 42.8 29.2 19.8 19.6 MLO/MLPF-LSTM$^+$(BS) 66.2 47.2 33.1 23.0 19.6 M表示METEOR, BS表示Beam search
下载: 导出CSV
-
[1] Mao J H, Xu W, Yang Y, Wang J, Huang Z H, Yuille A. Deep captioning with multimodal recurrent neural networks (m-RNN). In: Proceedings of the 2015 International Conference on Learning Representations. San Diego, USA, 2015. [2] Vinyals O, Toshev A, Bengio S, Erhan D. Show and tell: a neural image caption generator. In: Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition. Boston, USA: IEEE, 2015. 3156-3164 [3] Kulkarni G, Premraj V, Ordonez V, Dhar S, Li S M, Choi Y, Berg A C, Berg T L. BabyTalk:understanding and generating simple image descriptions. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2013, 35(12):2891-2903 doi: 10.1109/TPAMI.2012.162 [4] Mitchell M, Han X F, Dodge J, Mensch A, Goyal A, Berg A, Yamaguchi K, Berg T, Stratos K, Daumé H Ⅲ. Midge: generating image descriptions from computer vision detections. In: Proceedings of the 13th Conference of the European Chapter of the Association for Computational Linguistics. Avignon, France: ACL, 2012. 747-756 http://tamaraberg.com/papers/EACL12.pdf [5] Elliott D, Keller F. Image description using visual dependency representations. In: Proceedings of the 2013 Conference on Empirical Methods in Natural Language Processing. Seattle, USA: ACL, 2013. 1292-1302 http://www.aclweb.org/anthology/D/D13/D13-1128.pdf [6] Farhadi A, Hejrati M, Sadeghi M A, Young P, Rashtchian C, Hockenmaieret J, Forsyth D. Every picture tells a story: generating sentences from images. In: Proceedings of the 2010 European Conference on Computer Vision (ECCV). Berlin, Heidelberg, Germany: Springer, 2010. 15-29 https://www.cs.cmu.edu/~afarhadi/papers/sentence.pdf [7] 张红斌, 姬东鸿, 尹兰, 任亚峰.基于梯度核特征及N-gram模型的商品图像句子标注.计算机科学, 2016, 43(5):269-273, 287 http://kns.cnki.net/KCMS/detail/detail.aspx?filename=jsja201605053&dbname=CJFD&dbcode=CJFQZhang Hong-Bin, Ji Dong-Hong, Yin Lan, Ren Ya-Feng. Product image sentence annotation based on gradient kernel feature and N-gram model. Computer Science, 2016, 43(5):269-273, 287 http://kns.cnki.net/KCMS/detail/detail.aspx?filename=jsja201605053&dbname=CJFD&dbcode=CJFQ [8] Socher R, Karpathy A, Le Q V, Manning C D, Ng A Y. Grounded compositional semantics for finding and describing images with sentences. Transactions of the Association for Computational Linguistics, 2014, 2:207-218 https://nlp.stanford.edu/~socherr/SocherKarpathyLeManningNg_TACL2013.pdf [9] Kuznetsova P, Ordonez V, Berg T L, Choi Y. TreeTalk:composition and compression of trees for image descriptions. Transactions of the Association for Computational Linguistics, 2014, 2:351-362 [10] Kuznetsova P, Ordonez V, Berg A, Berg T, Choi Y. Generalizing image captions for image-text parallel corpus. In: Proceedings of the 51st Annual Meeting of the Association for Computational Linguistics. Sofia, Bulgaria: ACL, 2013. 790-796 http://www.cs.unc.edu/~vicente/files/acl13_generalization.pdf [11] Mason R, Charniak E. Nonparametric method for data-driven image captioning. In: Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics. Baltimore, USA: ACL, 2014. 592-598 http://aclweb.org/anthology/P/P14/P14-2097.pdf [12] 蒋树强, 闵巍庆, 王树徽.面向智能交互的图像识别技术综述与展望.计算机研究与发展, 2016, 53(1):113-122 doi: 10.7544/issn1000-1239.2016.20150689Jiang Shu-Qiang, Min Wei-Qing, Wang Shu-Hui. Survey and prospect of intelligent interaction-oriented image recognition techniques. Journal of Computer Research and Development, 2016, 53(1):113-122 doi: 10.7544/issn1000-1239.2016.20150689 [13] Donahue J, Hendricks L A, Guadarrama S, Rohrbach M, Venugopalan S, Darrell T, Saenko K. Long-term recurrent convolutional networks for visual recognition and description. In: Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition. Boston, USA: IEEE, 2015. 2625-2634 http://openaccess.thecvf.com/content_cvpr_2015/papers/Donahue_Long-Term_Recurrent_Convolutional_2015_CVPR_paper.pdf [14] Karpathy A, Li F F. Deep visual-semantic alignments for generating image descriptions. In: Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition. Boston, USA: IEEE, 2015. 3128-3137 [15] Xu K, Ba J L, Kiros R, Cho K, Courville A, Salakhutdinov R, Zemel R S, Bengio Y. Show, attend and tell: neural image caption generation with visual attention. In: Proceedings of the 32nd International Conference on Machine Learning. Lille, France, 2015. 2048-2057 [16] Hinton G E, Salakhutdinov R R. Reducing the dimensionality of data with neural networks. Science, 2006, 313(5786):504-507 doi: 10.1126/science.1127647 [17] Hermans M, Schrauwen B. Training and analyzing deep recurrent neural networks. In: Proceedings of the 26th International Conference on Neural Information Processing Systems. Lake Tahoe, USA: Curran Associates Inc., 2013. 190-198 https://papers.nips.cc/paper/5166-training-and-analysing-deep-recurrent-neural-networks.pdf [18] Szegedy C, Liu W, Jia Y Q, Sermanet P, Reed S, Anguelov D, Erhan D, Vanhoucke V, Rabinovich A. Going deeper with convolutions. In: Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition. Boston, USA: IEEE, 2015. 1-9 https://www.cs.unc.edu/~wliu/papers/GoogLeNet.pdf [19] Lee C Y, Xie S N, Gallagher P W, Zhang Z Y, Tu Z W. Deeply-supervised nets. In: Proceedings of the 18th International Conference on Artificial Intelligence and Statistics. San Diego, USA, 2015. 562-570 [20] Gerber R, Nagel H H. Knowledge representation for the generation of quantified natural language descriptions of vehicle traffic in image sequences. In: Proceedings of the 1996 International Conference on Image Processing. Lausanne, Switzerland: IEEE, 1996. 805-808 https://ieeexplore.ieee.org/document/561027/ [21] Krizhevsky A, Sutskever I, Hinton G E. ImageNet classification with deep convolutional neural networks. In: Proceedings of the 2012 Advances in Neural Information Processing Systems. Lake Tahoe, USA: MIT Press, 2012. 1097-1105 https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf [22] Simonyan K, Zisserman A. Very deep convolutional networks for large-scale image recognition. In: Proceedings of the 2015 International Conference on Learning Representations. San Diego, USA, 2015. [23] He K M, Zhang X Y, Ren S Q, Sun J. Deep residual learning for image recognition. In: Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas, USA: IEEE, 2016. 770-778 [24] 石俊飞, 刘芳, 林耀海, 刘璐.基于深度学习和层次语义模型的极化SAR分类.自动化学报, 2017, 43(2):215-226 http://www.aas.net.cn/CN/abstract/abstract19010.shtmlShi Jun-Fei, Liu Fang, Lin Yao-Hai, Liu Lu. Polarimetric SAR image classification based on deep learning and hierarchical semantic model. Acta Automatica Sinica, 2017, 43(2):215-226 http://www.aas.net.cn/CN/abstract/abstract19010.shtml [25] 王伟凝, 王励, 赵明权, 蔡成加, 师婷婷, 徐向民.基于并行深度卷积神经网络的图像美感分类.自动化学报, 2016, 42(6):905-914 http://www.aas.net.cn/CN/abstract/abstract18881.shtmlWang Wei-Ning, Wang Li, Zhao Ming-Quan, Cai Cheng-Jia, Shi Ting-Ting, Xu Xiang-Min. Image aesthetic classification using parallel deep convolutional neural networks. Acta Automatica Sinica, 2016, 42(6):905-914 http://www.aas.net.cn/CN/abstract/abstract18881.shtml [26] 段艳杰, 吕宜生, 张杰, 赵学亮, 王飞跃.深度学习在控制领域的研究现状与展望.自动化学报, 2016, 42(5):643-654 http://www.aas.net.cn/CN/abstract/abstract18852.shtmlDuan Yan-Jie, Lv Yi-Sheng, Zhang Jie, Zhao Xue-Liang, Wang Fei-Yue. Deep learning for control:the state of the art and prospects. Acta Automatica Sinica, 2016, 42(5):643-654 http://www.aas.net.cn/CN/abstract/abstract18852.shtml [27] 郭潇逍, 李程, 梅俏竹.深度学习在游戏中的应用.自动化学报, 2016, 42(5):676-684 http://www.aas.net.cn/CN/abstract/abstract18857.shtmlGuo Xiao-Xiao, Li Cheng, Mei Qiao-Zhu. Deep learning applied to games. Acta Automatica Sinica, 2016, 42(5):676-684 http://www.aas.net.cn/CN/abstract/abstract18857.shtml [28] Jia X, Gavves E, Fernando B, Tuytelaars T. Guiding the long-short term memory model for image caption generation. In: Proceedings of the 2015 IEEE International Conference on Computer Vision. Santiago, Chile: IEEE, 2015. 2407-2415 https://www.cv-foundation.org/openaccess/content_iccv_2015/papers/Jia_Guiding_the_Long-Short_ICCV_2015_paper.pdf [29] 奚雪峰, 周国栋.面向自然语言处理的深度学习研究.自动化学报, 2016, 42(10):1445-1465 http://www.aas.net.cn/CN/abstract/abstract18934.shtmlXi Xue-Feng, Zhou Guo-Dong. A survey on deep learning for natural language processing. Acta Automatica Sinica, 2016, 42(10):1445-1465 http://www.aas.net.cn/CN/abstract/abstract18934.shtml [30] Lecun Y, Bottou L, Bengio Y, Haffner P. Gradient-based learning applied to document recognition. Proceedings of the IEEE, 1998, 86(11):2278-2324 doi: 10.1109/5.726791 [31] Chatfield K, Simonyan K, Vedaldi A, Zisserman A. Return of the devil in the details: delving deep into convolutional nets. In: Proceedings of the 2014 British Machine Vision Conference. Nottingham, England: British Machine Vision Association, 2014. [32] Russakovsky O, Deng J, Su H, Krause J, Satheesh S, Ma S, Huang Z H, Karpathy A, Khosla A, Bernstein M, Berg A C, Li F F. ImageNet large scale visual recognition challenge. International Journal of Computer Vision, 2015, 115(3):211-252 doi: 10.1007/s11263-015-0816-y [33] Hochreiter S, Schmidhuber J. Long short-term memory. Neural Computation, 1997, 9(8):1735-1780 doi: 10.1162/neco.1997.9.8.1735 [34] Graves A. Generating sequences with recurrent neural networks[Online], available: https://arxiv.org/pdf/1308.0850v5.pdf, June 5, 2014 [35] Bengio Y, Simard P, Frasconi P. Learning long-term dependencies with gradient descent is difficult. IEEE Transactions on Neural Networks, 1994, 5(2):157-166 doi: 10.1109/72.279181 [36] Gers F A, Schmidhuber J. Recurrent nets that time and count. In: Proceedings of the 2000 IEEE-INNS-ENNS International Joint Conference on Neural Networks. Como, Italy: IEEE, 2000. 189-194 [37] Cho K, Van Merrienboer B, Gulcehre C, Bahdanau D, Bougares F, Schwenk H, Bengio Y. Learning phrase representations using RNN encoder-decoder for statistical machine translation[Online], available: https://arxiv.org/pdf/1406.1078v3.pdf, September 3, 2014 [38] Greff K, Srivastava R K, Koutník J, Steunebrink B R, Schmidhuber J. LSTM:a search space odyssey. IEEE Transactions on Neural Networks and Learning Systems, 2017, 28(10):2222-2232 doi: 10.1109/TNNLS.2016.2582924 [39] Zhou B L, Lapedriza A, Xiao J X, Torralaba A, Oliva A. Learning deep features for scene recognition using places database. In: Proceedings of the 2015 Advances in Neural Information Processing Systems. Montréal, Canada: MIT Press, 2015. 487-495 http://places.csail.mit.edu/places_NIPS14.pdf [40] Lin T Y, Maire M, Belongie S, Hays J, Perona P, Ramanan D, Dollár P, Zitnick C L. Microsoft COCO: common objects in context. In: Proceedings of the 2014 European Conference on Computer Vision (ECCV). Zurich, Switzerland: Springer, 2014. 740-755 [41] Young P, Lai A, Hodosh M, Hockenmaier J. From image descriptions to visual denotations:new similarity metrics for semantic inference over event descriptions. Transactions of the Association for Computational Linguistics, 2014, 2:67-78 http://nlp.cs.illinois.edu/HockenmaierGroup/Papers/TACL2014/TACLDenotationGraph.pdf [42] Papineni K, Roukos S, Ward T, Zhu W J. BLEU: a method for automatic evaluation of machine translation. In: Proceedings of the 40th Annual Meeting on Association for Computational Linguistics. Philadelphia, USA: ACL, 2002. 311-318 http://www.aclweb.org/anthology/P02-1040.pdf [43] Banerjee S, Lavie A. METEOR: an automatic metric for MT evaluation with improved correlation with human judgments. In: Proceedings of the 2005 ACL Workshop on Intrinsic and Extrinsic Evaluation Measures for MT and/or Summarization. Ann Arbor, USA: ACL, 2005. 65-72 http://www.cs.cmu.edu/~alavie/METEOR/pdf/Banerjee-Lavie-2005-METEOR.pdf [44] Vedantam R, Zitnick C L, Parikh D. CIDEr: consensus-based image description evaluation. In: Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition. Boston, USA: IEEE, 2015. 4566-4575 [45] Jia Y Q, Shelhamer E, Donahue J, Karayev S, Long J, Girshick R, Guadarrama S, Darrell T. Caffe: convolutional architecture for fast feature embedding. In: Proceedings of the 22nd ACM International Conference on Multimedia. Orlando, Florida, USA: ACM, 2014. 675-678 [46] Krishna R, Zhu Y K, Groth O, Johnson J, Hata K, Kravitz J, Chen S, Kalantidis Y, Li L J, Shamma D A, Bernstein M S, Li F F. Visual Genome: connecting language and vision using crowd sourced dense image annotations[Online], available: https://arxiv.org/pdf/1602.07332.pdf, February 23, 2016 期刊类型引用(1)
1. 李超，葛斌，方旭晨，李刚，陆婧，王俊. 基于电磁驱动的体外膜肺氧合搏动式泵血系统. 生物医学工程研究. 2021(01): 72-77 . 
百度学术其他类型引用(0)
-
下载:
计量
- 文章访问数: 4063
- HTML全文浏览量: 1166
- PDF下载量: 1144
- 被引次数: 1
