-
摘要: 在图像标题生成领域, 交叉注意力机制在建模语义查询与图像区域的关系方面, 已经取得了重要的进展. 然而, 其视觉连贯性仍有待探索. 为填补这项空白, 提出一种新颖的语境辅助的交叉注意力(Context-assisted cross attention, CACA)机制, 利用历史语境记忆(Historical context memory, HCM), 来充分考虑先前关注过的视觉线索对当前注意力语境生成的潜在影响. 同时, 提出一种名为“自适应权重约束(Adaptive weight constraint, AWC)” 的正则化方法, 来限制每个CACA模块分配给历史语境的权重总和. 本文将CACA模块与AWC方法同时应用于转换器(Transformer)模型, 构建一种语境辅助的转换器(Context-assisted transformer, CAT)模型, 用于解决图像标题生成问题. 基于MS COCO (Microsoft common objects in context)数据集的实验结果证明, 与当前先进的方法相比, 该方法均实现了稳定的提升.Abstract: The cross attention mechanism has made significant progress in modeling the relationship between semantic queries and image regions in image captioning. However, its visual coherence remains to be explored. To fill this gap, we propose a novel context-assisted cross attention (CACA) mechanism. With the help of historical context memory (HCM), CACA fully considers the potential impact of previously attended visual cues on the generation of current attention context. Moreover, we present a regularization method, called adaptive weight constraint (AWC), to restrict the total weight assigned to the historical contexts of each CACA module. We apply CACA and AWC to the Transformer model and construct a context-assisted transformer (CAT) for image captioning. Experimental results on the MS COCO (microsoft common objects in context) dataset demonstrate that our method achieves consistent improvement over the current state-of-the-art methods.
-
Key words:
- Image captioning /
- attention mechanism /
- transformer /
- visual coherence
-
自编码器(Autoencoder, AE)[1]是一种非线性无监督神经网络, 也是一种无监督特征提取与降维方法, 通过非线性变换将输入数据投影到潜在特征空间中. AE由编码器和解码器组成, 可将输入数据编码为有意义的压缩表示, 然后对该表示进行解码使得解码输出与原始输入相同, 即解码器输出和输入数据间的重构误差最小. 当投影的潜在特征空间维数低于原始空间时, AE可视为非线性主成分分析的一种表示形式[1]. 随着深度学习的成功, 其在多个领域取得了重要突破[2], 而深度自编码器作为一种无监督深度神经网络被用于数据降维[3-4]、图像降噪[5]和信号处理[6-7]以提取数据的深层表示特征. 例如深度子空间聚类(Deep subspace clustering, DSL-l1)[8]通过深度自编码器对稀疏子空间聚类进行扩展, 在深度自编码器的编码器和解码器间引入自表达层, 用反向传播算法对编码器的输出进行自表示系数矩阵的学习, 以该自表示系数矩阵作为原始样本的相似度矩阵. DSL-l1模型是全连接卷积神经网络并使用l1范数, 求解模型的反向传播算法时间及空间复杂度较高. 为提高计算效率, 需先执行主成分分析法对数据降维.
无监督的极限学习机自编码器(Extreme learning machine autoencoder, ELM-AE)[9]是一种单隐层前馈神经网络, 其输入层到隐层的权值和偏置值随机给定, 学习过程只需通过优化最小二乘误差损失函数即可确定隐层到输出层的权值. 最小二乘损失函数的优化问题有解析解, 可转化为Moore-Penrose广义逆问题求解[10]. 因此本质上相当于直接计算网络权值而无需迭代求解, 相比反向传播和迭代求解的神经网络学习方法, 学习速度快、泛化性能好, 因此本文以ELM-AE作为基础自编码器.
极限学习机自编码器与极限学习机(Extreme learning machine, ELM)[11]类似, 主要不同之处在于ELM-AE的网络输出为输入样本的近似估计, ELM的网络输出为输入样本的类标签. 极限学习机自编码器虽然学习速度快, 但仅考虑数据全局非线性特征而未考虑面向聚类任务时数据本身固有的多子空间结构.
除极限学习机自编码器以外, 无监督极限学习机(Unsupervised extreme learning machine, US-ELM)[12]也是一种重要的无监督ELM模型, 它采用无类别信息的流形正则项替代ELM模型中含类标签的网络误差函数, 经US-ELM投影后保持样本间的近邻关系不变. US-ELM虽考虑了样本分布的流形结构, 但其流形正则项在高维空间中易出现测度“集中现象”且未考虑不同聚簇样本间的结构差异. 在US-ELM模型基础上, 稀疏和近邻保持的极限学习机降维方法(Extreme learning machine based on sparsity and neighborhood preserving, SNP-ELM)[13]引入全局稀疏表示及局部近邻保持模型,可以自适应地学习样本集的相似矩阵及不同簇样本集的子空间结构, 其不足之处在于需迭代求解稀疏优化问题, 运行时间较长.
综合上述分析, 本文以ELM-AE为基础自编码器, 引入最小二乘回归子空间模型(Least square regression, LSR)[14]对编码器的输出样本进行多子空间结构约束, 提出子空间结构保持的极限学习机自编码器(Extreme learning machine autoencoder based on subspace structure preserving, SELM-AE)及其多层版本(Multilayer SELM-AE, ML-SELM-AE), 使面向聚类任务的高维数据经过ML-SELM-AE降维后仍能保持原样本数据的多子空间结构, 并可获取数据的更深层特征.
1. 极限学习机自编码器
极限学习机自编码器降维方法通过将输入作为网络输出学习极限学习机网络, 其学习过程分为编码和解码过程, 学习目标是最小化重构误差. 图1给出ELM-AE模型网络结构. 对于由n个样本组成的聚类数据集S={xi |xi∈X
$\subseteq $ Rn×m, i =$1,\cdots,n $ }, xi 是网络输入变量, 网络输出${{\boldsymbol{\hat x}}_i}$ 为xi 的近似估计.ELM-AE网络的目标是计算最优的隐节点到输出节点的权值矩阵
${\boldsymbol{\beta }} $ , 使得在该权值下的网络输出${{\boldsymbol{\hat x}}_i} $ 与期望输出xi 间的误差最小. 对n个样本xi (i = 1, 2$,\cdots, $ n) 组成的数据集X, ELM-AE网络的优化模型定义为:$$\mathop {{\rm{min}}}\limits_{{\boldsymbol{\beta }} \in {{\bf{R}}^{{n_h} \times m}}} \frac{{\rm{1}}}{{\rm{2}}}||{\boldsymbol{\beta }}|{|^{\rm{2}}} + \frac{c}{{\rm{2}}}||{\boldsymbol{X}} - {\boldsymbol{H}}({\boldsymbol{X}}){\boldsymbol{\beta }}|{|^2}$$ (1) 其中,
${{\boldsymbol{\beta }} \in {{\bf{R}}^{{n_h} \times m}}} $ 为隐含层到输出层的权值矩阵, H(X)${{\boldsymbol{\in {\rm{R}}}}^{n{\rm{ \times }}{{{n}}_h}}}$ 为隐层输出矩阵:$$\begin{split} &{\boldsymbol{H}}{\rm{(}}{\boldsymbol{X}}{\rm{)}} = \left[ {\begin{array}{*{20}{c}} {{\boldsymbol{h}}{\rm{(}}{{\boldsymbol{x}}_{\rm{1}}}{\rm{)}}}\\ \vdots \\ {{\boldsymbol{h}}{\rm{(}}{{\boldsymbol{x}}_{{n}}}{\rm{)}}} \end{array}} \right] = \\ &\;\;\;\;\;{\left[ {\begin{array}{*{20}{c}} {{{{{g}}(}}{{{w}}_{\rm{1}}}{\rm{,}}{{{b}}_{\rm{1}}}{\rm{,}}{{\boldsymbol{x}}_{\rm{1}}}{\rm{)}}}& \cdots &{{{g}}{\rm{(}}{{{w}}_{{n_h}}},{{{b}}_{{n_h}}},{{\boldsymbol{{{x}}}}_{\rm{1}}}{\rm{)}}}\\ \vdots & \ddots & \vdots \\ {{{g(}}{{{w}}_{\rm{1}}}{\rm{,}}{{{b}}_{\rm{1}}}{\rm{,}}{{\boldsymbol{x}}_{{n}}}{\rm{)}}}& \cdots &{{{g(}}{{{w}}_{{{{n}}_{{h}}}}}{\rm{,}}{{{b}}_{{{{n}}_{{h}}}}}{\rm{,}}{{\boldsymbol{x}}_{{n}}}{\rm{)}}} \end{array}} \right]_{{{n}} \times {{{n}}_{{h}}}}} \end{split}$$ (2) h(xi) = (g(w1, b1, xi),···, g(
$w_{n_{h}}$ ,$b_{n_{h}}$ , xi))为隐层关于xi 的输出向量, nh为隐节点个数; wj 为第j个隐节点的输入权值, bj 为第j个隐节点的偏差, 输入权值wj 和隐节点偏差bj 均随机产生, 其取值区间为[−1, 1]; g(wj, bj, xi)为第j个隐节点的激励函数, 本文采用Sigmoid函数:$$g({w_i},{b_i},{\boldsymbol{x}}) = \frac{{\rm{1}}}{{{\rm{1}} + {\rm{exp(}} - {w_i}{\boldsymbol{x}} + {b_i})}}$$ (3) 模型(1)第1项与ELM模型相同, 最小化隐层到输出层的权值矩阵β的l2范数, 以控制模型的复杂度; 模型第2项为重构误差, 表示ELM-AE 网络的输出 H(X)β 与原始输入数据X 的误差, 重构误差越小, β越优. c为平衡模型复杂度和误差项的参数. 理想情况下, ELM-AE网络的输出H(X)β与真实值X相等, 即X = H(X)β, 此时误差为零.
ELM-AE模型与ELM模型不同之处在于ELM隐层到输出层的最优权矩阵β通过最小化网络输出H(X)β与真实类标签Y的误差得到; 而ELM-AE隐层到输出层的最优权矩阵β通过最小化网络输出H(X)β与输入数据矩阵X的误差得到, 因此ELM-AE可以看成是对数据矩阵X的非线性特征表示. 为实现数据降维, 增加对输入权向量w及偏置b的正交约束. 当样本xi 原始维数m大于隐节点个数nh时, 输入样本可被投影到较低维特征空间, 其对应的隐含层输出向量h(xi)为:
$$\begin{split} & {\boldsymbol{h}}({{\boldsymbol{x}}_i}) = g({\boldsymbol{w}} \cdot {{\boldsymbol{x}}_i} + {\boldsymbol{b}}) \\ &{\rm{s}}{\rm{.t}}.\quad {{\boldsymbol{w}}^{\rm{T}}}{\boldsymbol{w}} = {\boldsymbol{I}},{{\boldsymbol{b}}^{\rm{T}}}{\boldsymbol{b}} = {\rm{1}} \end{split} $$ (4) 式(1)描述的ELM-AE模型是凸优化问题且该问题仅含单变量β, 对其目标函数关于β求导并令导数等于0, 即可得到该问题的解析解如下:
$${{\boldsymbol{\beta }}^ * } = {\left[ {{\boldsymbol{H}^{ \rm T}}{{({\boldsymbol{X}})}}{\boldsymbol{H}}({\boldsymbol{X}}) + \frac{{\rm{1}}}{c}} \right]^{ - {\rm{1}}}}{\boldsymbol{H}^{\rm T}}{({\boldsymbol{X}})}{\boldsymbol{X}}$$ (5) 其中, β*是nh×m矩阵. 据文献[9], ELM-AE通过对原始高维数据X乘以隐含层与输出层间的权值矩阵β实现降维, 即X'=X(β*)T就是所需的降维后样本.
2. 子空间结构保持多层极限学习机自编码器
极限学习机自编码器ELM-AE虽然实现了无监督非线性降维, 但未考虑面向聚类任务的高维数据所蕴含的多子空间结构, 难以保证降维结果与聚类目标相匹配. 因此, 本文提出子空间结构保持极限学习机自编码器SELM-AE, 该模型在ELM-AE输出层之后增加自表示层, 使ELM-AE输出H(X)β保持输入数据X的多子空间结构不变.
2.1 子空间结构的获取
为获取数据的子空间结构, 通常采用样本矩阵作为字典, 得到数据自表示模型X=XZ (Z∈Rn×n), 即每一样本用所有其他样本的线性组合表示, 所有样本的组合系数构成自表示系数矩阵. 由此学习到的自表示系数矩阵Z隐含了样本间的相似关系与子空间结构, 理想情况下多簇数据的自表示系数矩阵具有块对角性.
文献[15]已证明, 在假设子空间独立情况下, 通过最小化Z的F范数, 可以保证Z具有块对角结构, 即当样本点xi和xj位于同一子空间时Zij≠0, 位于不同子空间时Zij = 0. 关于Z的自表示优化模型可采用最小二乘回归(LSR)模型, 即
$$ \begin{split} &\mathop {\min }\limits_{\boldsymbol{Z}} ||{\boldsymbol{Z}}|{|_{\rm{F}}}\\ &{\rm{s}}{\rm{.t}}{\rm{. }}\quad {\boldsymbol{X}} = {\boldsymbol{XZ}},\left( {{\rm{diag}}\left\{{\boldsymbol{Z}}\right\} = {\rm{0}}} \right) \end{split} $$ (6) 在实际应用中, 观测数据通常包含噪声, 噪声情况下该模型可扩展为:
$$\mathop {\min }\limits_{\boldsymbol{Z}} ||{\boldsymbol{X}} - {\boldsymbol{XZ}}||_{\rm{F}}^2 + \lambda ||{\boldsymbol{Z}}||_{\rm{F}}^2$$ (7) 模型(7)为凸优化问题, 有解析解, 其解为
${\boldsymbol{Z}} = {\left[ {{{\boldsymbol{X}}^{\rm{T}}}{\boldsymbol{X}} + \lambda {\boldsymbol{I}}} \right]^{ - {\rm{1}}}}{{\boldsymbol{X}}^{\rm{T}}}{\boldsymbol{X}}$ .2.2 子空间结构保持极限学习机自编码器(SELM-AE)
由式(7)学习得到的自表示系数矩阵Z = [Z1, ···, Zn] (Zi∈Rn为xi的表示系数), 包含数据的子空间结构信息. 为使极限学习机自编码器的网络输出
${\boldsymbol{{\hat X_1}}}$ =H(X)β仍保持这种子空间结构, 在极限学习机自编码器的输出层之后增加自表示层, 使得网络输出与输入的自表示系数相同, 即(H(X)β)T=(H(X)β)TZ. SELM-AE的网络结构如图2所示, 其中图2(a)用于根据式(7)学习X的自表示系数矩阵Z; 图2(b)在 ELM-AE 网络的输出层之后增加网络输出 H(X)β的自表示层, 使网络输出H(X)β与输入X有相同的子空间结构.图2(b)将输入数据X的自表示系数矩阵Z引入子空间结构保持的极限学习机自编码器（SELA-AE）的自表示层, 其优化模型如下:
$$ \begin{split} \mathop {\min }\limits_{\boldsymbol{\beta }} f({\boldsymbol{\beta }}) =\;& \frac{{\rm{1}}}{{\rm{2}}}||{\boldsymbol{\beta }}||_{\rm{F}}^{\rm{2}} + \frac{c}{{\rm{2}}}||{\boldsymbol{X}} - {\boldsymbol{H}}({\boldsymbol{X}}){\boldsymbol{\beta }}||_{\rm{F}}^2 + \\ &\frac{\lambda }{2}||{({\boldsymbol{H}}({\boldsymbol{X}}){\boldsymbol{\beta }})^{\rm{T}}} - {({\boldsymbol{H}}({\boldsymbol{X}}){\boldsymbol{\beta }})^{\rm{T}}}{\boldsymbol{Z}}||_{\rm{F}}^{\rm{2}} \end{split} $$ (8) 模型前两项与式(1)描述的 ELM-AE 模型相同, 第3项则为自表示误差项, 也称子空间结构保持项, 用以使SELM-AE的网络输出H(X)β保持原始数据的子空间结构, c 是自编码重构误差项的平衡参数, λ是自表示误差项的平衡参数.
由于
$\left\| {{{\left( {{\boldsymbol{H}}({\boldsymbol{X}}){\boldsymbol{\beta }}} \right)}^{\rm{T}}}{\rm{ - }}{{\left( {{\boldsymbol{H}}({\boldsymbol{X}}){\boldsymbol{\beta }}} \right)}^{\rm{T}}}{\boldsymbol{Z}}} \right\|_{\rm{F}}^{\rm{2}} = {\rm{tr}}[ {{\boldsymbol{\beta }}^{\rm{T}}}{\boldsymbol{H}^{\rm T}}{{({\boldsymbol{X}})}} $ $ ({\boldsymbol{I}} - {\boldsymbol{Z}})({\boldsymbol{I}} - {\boldsymbol{Z}})^{\rm{T}} {\boldsymbol{H}}({\boldsymbol{X}}){\boldsymbol{\beta }}]$ , 则式(8)可改写为$$\begin{split} \mathop {\min }\limits_{\boldsymbol{\beta }} f({\boldsymbol{\beta }}) =\;& \frac{{\rm{1}}}{{\rm{2}}}||{\boldsymbol{\beta }}||_{\rm{F}}^{\rm{2}} + \frac{c}{{\rm{2}}}||{\boldsymbol{X}} - {\boldsymbol{H}}({\boldsymbol{X}}){\boldsymbol{\beta }}||_{\rm{F}}^{\rm{2}} + \\ &{\rm{ }}\frac{\lambda }{{\rm{2}}}{\rm{tr}}\left[ {{{\boldsymbol{\beta }}^{\rm{T}}}{\boldsymbol{H}^{\rm T}}{{({\boldsymbol{X}})}}({\boldsymbol{I}} - {\boldsymbol{Z}}){{({\boldsymbol{I}} - {\boldsymbol{Z}})}^{\rm{T}}}{\boldsymbol{H}}({\boldsymbol{X}}){\boldsymbol{\beta }}} \right] \end{split} $$ (9) 2.3 模型求解
为求解SELM-AE模型即式(9), 可令A = (I-Z)(I-Z)T, 则式(9)等价表示为
$$\begin{split} \mathop {\min }\limits_{\boldsymbol{\beta }} f({\boldsymbol{\beta }}) =\;& \frac{{\rm{1}}}{{\rm{2}}}||{\boldsymbol{\beta }}||_{\rm{F}}^{\rm{2}} + {\rm{ }}\frac{c}{{\rm{2}}}||{\boldsymbol{X}} - {\boldsymbol{H}}({\boldsymbol{X}}){\boldsymbol{\beta }}||_{\rm{F}}^{\rm{2}} + \\ & {\rm{ }}\frac{\lambda }{{\rm{2}}}{\rm{tr}}({{\boldsymbol{\beta }}^{\rm{T}}}{\boldsymbol{H}^{\rm T}}{({\boldsymbol{X}})}{\boldsymbol{AH}}({\boldsymbol{X}}){\boldsymbol{\beta }}) \end{split} $$ (10) 式(10)是凸优化问题, 对其目标函数f(β)关于β求导并令导数为0得到
$$\begin{split} \frac{{{\rm{d}}f}}{{{\rm{d}}{\boldsymbol{\beta }}}} =\;& {\boldsymbol{\beta }} - c{\boldsymbol{H}^{\rm T}}{({\boldsymbol{X}})}({\boldsymbol{X}} - {\boldsymbol{H}}({\boldsymbol{X}}){\boldsymbol{\beta }}) + \\ & {\rm{ }} \lambda {\boldsymbol{H}^{\rm T}}{({\boldsymbol{X}})}{\boldsymbol{AH}}({\boldsymbol{X}}){\boldsymbol{\beta }} = {\rm{0}} \end{split} $$ 整理上述方程得到
$$\begin{split} & {\boldsymbol{\beta }} + c{\boldsymbol{H}^{\rm T}}{({\boldsymbol{X}})}{\boldsymbol{H}}({\boldsymbol{X}}){\boldsymbol{\beta }} + \\ &\;\;\;\;\; \lambda {\boldsymbol{H}^{\rm T}}{({\boldsymbol{X}})}{\boldsymbol{AH}}({\boldsymbol{X}}){\boldsymbol{\beta }} = c{\boldsymbol{H}^{\rm T}}{({\boldsymbol{X}})}{\boldsymbol{X}} \end{split} $$ 提取公因子β
$$\begin{split} & \left[ {{\boldsymbol{I}} + c{\boldsymbol{H}^{\rm T}}{{({\boldsymbol{X}})}}{\boldsymbol{H}}({\boldsymbol{X}}) + \lambda {\boldsymbol{H}^{\rm T}}{{({\boldsymbol{X}})}}{\boldsymbol{AH}}({\boldsymbol{X}})} \right]{\boldsymbol{\beta }}= \\ &\qquad c{\boldsymbol{H}^{\rm T}}{({\boldsymbol{X}})}{\boldsymbol{X}} \end{split} $$ 解该方程得到以下解析解
$$\begin{split} {{\boldsymbol{\beta }}^ * } =\;& [{\boldsymbol{I}} + c{\boldsymbol{H}^{\rm{T}}}{({\boldsymbol{X}})}{\boldsymbol{H}}({\boldsymbol{X}}) +\\ & \lambda {\boldsymbol{H}^{\rm{T}}{({\boldsymbol{X}})}}{\boldsymbol{AH}}({\boldsymbol{X}}){]^{ - {\rm{1}}}}c{\boldsymbol{H}^{\rm{T}}}{({\boldsymbol{X}})}{\boldsymbol{X}} \end{split} $$ (11) 最优权值矩阵β*与隐层输出H(X)相乘既可得到网络的输出H(X)β, 该输出是网络对输入X的最佳估计. 网络权值矩阵β是隐含层到网络输出层即输入数据的线性变换, 可通过最优权值矩阵β*进行降维, 降维后样本为X' = X(β*)T.
2.4 多层极限学习机自编码器(ML-SELM-AE)
由第2.3节讨论可知, 通过SELM-AE模型可以直接计算隐含层到输出层的最优权值矩阵β*, 计算速度快, 泛化性好. SELM-AE 网络以数据降维表示为目标, 其降维后样本维数与隐层节点数相等, 因此隐层节点数量通常远小于原始维数和样本数. 但作为单层神经网络, 较少的隐层节点会降低其对非线性投影函数的逼近能力. 受文献[16]的深度有监督极限学习机方法启发, 本文扩展单层子空间结构保持极限学习机自编码器SELM-AE为多层子空间结构保持极限学习机自编码器ML-SELM-AE (如图3), 以获取数据的深层特征.
图3所示的多层子空间结构保持极限学习机自编码器相当于多个SELM-AE自编码器的堆叠, 利用上述式(11)计算每一层最优权值矩阵β(l)(l = 1, 2, ···, L),将上一层输出X(l)(β(l))T作为下一层输入. ML-SELM-AE网络第l层（l = 1, 2, ..., L)随机产生正交输入权矩阵W(l)和偏置向量b(l); 第1层初始输入为原始数据X(1)=X, 第l层(l = 1, 2, ···, L)的权值矩阵β(l)根据式(11)改写为:
$$\begin{split} {{\boldsymbol{\beta }}^{(l)}} =\;& [{\boldsymbol{I}} + c{\boldsymbol{H}^{\rm T}}{({{\boldsymbol{X}}^{(l)}})}{\boldsymbol{H}}({{\boldsymbol{X}}^{(l)}}) + \\ &\lambda {\boldsymbol{H}^{\rm T}}{({{\boldsymbol{X}}^{(l)}})}{\boldsymbol{AH}}({{\boldsymbol{X}}^{(l)}}){]^{ - {\rm{1}}}}c{\boldsymbol{H}^{\rm T}}{({{\boldsymbol{X}}^{(l)}})}{{\boldsymbol{X}}^{(l)}} \end{split} $$ (12) 第l+1层输入X(l+1)可通过下式计算:
$${{\boldsymbol{X}}^{(l + 1)}} = {{\boldsymbol{X}}^{(l)}}{({{\boldsymbol{\beta }}^{(l)}})^{\rm{T}}}$$ (13) 其中, β(l)为第l层解码器的输出权矩阵. 若自编码器有L层, 则第L层的输出X(L+1)=X(L)(β(L))T, 即为降维后数据, 对降维后数据X(L+1)使用k-means算法完成聚类.
多层子空间结构保持极限学习自编码器ML-SELM-AE求解算法归纳如下:
算法1. ML-SELM-AE算法
输入. 数据矩阵{X}=
$\{ {x_i}\} _{i = 1}^n $ , 隐层节点数(维数)nh, 参数c > 0, λ > 0, 层数L输出. 降维后数据矩阵X(L+1)
1) 计算X自表示矩阵
$$\substack{ {\boldsymbol{Z}} = {[{{\boldsymbol{X}}^{\rm{T}}}{\boldsymbol{X}} + \lambda {\boldsymbol{I}}]^{ - 1}}{{\boldsymbol{X}}^{\rm{T}}}{\boldsymbol{X}};} $$ 2) 初始化第1层输入X (1) = X;
3) For l =1 to L
随机初始化第l层输入权重W(l)和偏置b(l);
通过式 (12) 计算第l 层输出权值 β(l);
通过式(13)计算第l层输出, 作为第l+1层输入, X(l+1) = X(l)(β(l))T;
end
4) 输出降维后数据矩阵X(L+1).
ML-SELM-AE算法中步骤 1)的时间开销主要用于矩阵乘法与n阶矩阵逆的计算, 时间复杂度分别为O(n2m)和O(n3); 若多层极限学习机网络层数为L, 则步骤3)需循环L次计算每一层SELM-AE的输出权值β(l)及输出X(l), 每次循环的时间开销主要用于权值β(l)的计算, 包括计算矩阵乘法与nh阶矩阵的逆, 矩阵乘法计算时间复杂度分别为O(nh2m)和O(nhnm),矩阵逆的计算时间复杂度为O(nh3). 对于高维小样本数据集, 样本数n远小于样本维数m, 故而当样本维数m小于隐层节点数nh时, 算法总时间复杂度为O(Lnh3); 当样本维数m大于隐层节点数nh时, 算法总时间复杂度为O(Lnh2m).
3. 实验
3.1 实验对比方法及参数设置
为验证本文所提的子空间结构保持单层极限学习机降维自编码器SELM-AE和多层极限学习机自编码器ML-SELM-AE的降维效果和有效性, 本文对两种方法进行数据可视化及高维数据降维聚类实验.
实验对比的其他降维方法有以下几种:
1)线性无监督降维
主成分分析法(Principal component analysis, PCA)[17]: 以最大化投影方差为目标, 方差虽可以刻画全局分布散度, 但无法描述样本间的近邻关系.
局部保持投影法(Locality preserving projections, LPP)[18]: 以保持降维前后样本间的近邻关系不变为目标.
近邻保持嵌入法(Neighborhood preserving embedding, NPE)[19]: 以最小化k近邻重构误差为目标, 旨在保持降维前后样本间的局部近邻结构.
2)传统无监督ELM
US-ELM: 无监督极限学习机, 利用无类别信息的流形正则项代替含类标签的误差函数, 将有监督极限学习机转化为无监督极限学习机, 实现原始数据向低维空间的非线性映射, 并能够得到显式的非线性映射函数. 但该方法预定义的近邻矩阵不具有数据自适应性.
ELM-AE: 极限学习机自编码器, 用原始数据替代误差函数中的类标签, 将有监督极限学习机转化为无监督式的极限学习机自编码器, 实现原始数据向低维空间的非线性映射. 但该方法仅考虑数据全局非线性特征.
ELM-AE的多层版本(Multilayer ELM-AE, ML-ELM-AE): 其多层扩展的思想与本文提出的ML-SELM-AE相同. 目的在于和ML-SELM-AE(子空间结构保持的多层极限学习机自编码器)进行对比.
3)面向聚类的子空间结构保持无监督ELM
SNP-ELM: 基于稀疏和近邻保持的极限学习机降维算法, 该方法引入稀疏及近邻保持模型学习US-ELM模型流形正则项所需的近邻矩阵, 具有较好的数据自适应性. 但需迭代求解稀疏优化问题, 运行时间较长.
SELM-AE: 本文提出的子空间结构保持极限学习机自编码器.该模型在ELM-AE模型基础上, 采用样本自表示模型刻画样本数据的子空间结构和样本间近邻关系, 使网络输出数据保持子空间结构不变, 具有较好的数据自适应性.
ML-SELM-AE:本文提出的SELM-AE模型多层版本.
3.2 实验数据集
实验采用2个脑电数据集、3个高维基因表达谱数据及UCI中的IRIS数据集[20]进行测试, 脑电数据集包括BCI竞赛II数据集IIb中的Session 10和Session 11、BCI竞赛III数据集II中的Subject A训练集[21], 基因表达数据集包括DLBCL、Prostate0和Colon[22].
研究表明, 脑电数据中C3、Cz、C4、Fz、P3、Pz、P4、PO7、PO8和Oz这10个电极的可分性更好[23], 因此选取BCI竞赛II数据集Data set IIb的该10个电极通道每轮行或列刺激后600 ms的脑电数据作为实验数据并进行0.5~30 Hz的巴特沃斯滤波; 对BCI竞赛III数据集Data set II选取相同10个电极通道每轮行或列刺激后1 s的脑电数据作为实验数据并进行0.1~20 Hz的巴特沃斯滤波. 数据集具体描述如表1所示.
表 1 数据集描述Table 1 The data set description数据集 维数 样本数 类别数 IRIS 4 150 3 Data set IIb 1440 504 2 Data set II 2400 1020 2 DLBCL 5469 77 2 Colon 2 000 62 2 Prostate0 6033 102 2 3.3 可视化实验
本实验分别用PCA、LPP、NPE、US-ELM、ELM-AE、SNP-ELM和SELM-AE七种方法将一个人造数据集和一个真实UCI数据集投影到一维和二维空间, 并选取每种降维方法的最优结果进行展示.
数据可视化及数据降维聚类实验采用相同的参数设置. LPP、NPE和US-ELM的近邻数k均取5. ELM-AE、SNP-ELM和SELM-AE的平衡参数c和λ均采用网格搜索策略设置, 统一参数搜索范围为{10−3, 10−2, ···, 103}. 所有极限学习机算法的激励函数均采用Sigmoid函数, 含流形正则项的极限学习机降维方法US-ELM和SNP-ELM降维后样本维数由特征方程的特征向量个数决定, 其隐层节点数设为1000. 极限学习机自编码器降维方法ELM-AE和SELM-AE隐层节点数与降维后样本维数相同.多层算法 ML-ELM-AE 和 ML-SELM-AE 中每一层的隐节点数均与第1层相同, 隐含层层数为 3.
3.3.1 一维可视化
本实验使用的二维人造双月数据集如图4所示, 该数据包含2类, 每类有150个样本. 该实验将双月数据用7种不同降维方法降至一维后的结果如图5所示.
从图5可以看出, PCA以投影后的样本方差最大为目标, 其降维结果近似于把该数据投影到双月数据方差最大的 X 轴方向, 投影后2类样本交叠明显、可分性差; 基于流形思想的LPP、NPE和US-ELM均以降维后样本保持原样本的近邻结构为目的, 但US-ELM投影到 1 维后的可分性明显优于LPP和NPE, 其降维后不同类样本的交叠程度较 LPP和NPE更低. 原因在于双月数据是非线性数据, 而US-ELM包含非线性神经网络结构, 其对非线性特征的表示能力比仅采用流形思想的LPP和NPE更强. ELM-AE也是基于极限学习机的非线性降维方法, 其通过自编码网络刻画数据全局非线性特征, 较之基于数据局部流形结构的US-ELM方法, 其降维后样本的可分性进一步改善.
SNP-ELM和SELM-AE也是非线性降维方法, 均在极限学习机降维基础上引入子空间结构保持特性, SNP-ELM使降维后样本同时保持数据的近邻结构和稀疏结构, SELM-AE 使自编码网络输出数据保持子空间结构不变, 这两种方法尽可能保持原样本的潜在结构使该数据投影到1维后2类样本完全分离, 不同类样本间没有交叠, 且本文提出的 SELM-AE 方法投影后样本的内聚度较之SNP-ELM更佳, 类间可分性最优.
3.3.2 二维可视化
本实验使用的IRIS数据包含3类150个样本, 每个样本有4个特征. 分别采用PCA、LPP、NPE、US-ELM、ELM-AE、SNP-ELM和SELM-AE七种降维方法将IRIS数据投影至2维后如图6所示. 从图6可以看出, 二维可视化与一维可视化实验结论类似, 即在七种降维方法中, SELM-AE降维后样本同类聚集性最好, 不同类样本交叠程度最低、可分性最优.
3.4 降维聚类对比实验
在6个实验数据集上分别采用本文方法SELM-AE、ML-SELM-AE与对比方法PCA、LPP、NPE、US-ELM、ELM-AE、ML-ELM-AE、SNP-ELM进行降维. 其中多层极限学习机自编码器ML-ELM-AE和ML-SELM-AE的层数L设为3, 每层极限学习机的隐层节点数固定为降维维数. 所有模型的最优参数均通过网格搜索得到, 降维维数的搜索范围为{21, 22, 23, ···, 210}; 参数c和λ的搜索范围为{10−3, 10−2, ···, 103}; 模型SNP-ELM参数η和δ的搜索范围为[−1, 1], 搜索步长为0.2.
3.4.1 k-means聚类
对降维后样本进行k-means聚类, 为避免k-means随机选取初始中心导致聚类结果的随机性, 以10次聚类的平均准确率为最终准确率[24]. 3种传统降维方法PCA、LPP和NPE的聚类准确率(方差, 维数)如表2所示, 6种ELM降维方法的聚类准确率(方差, 维数)如表3所示. 表2和表3是网格搜索最优参数得到的最佳平均聚类准确率、方差及对应维数.
表 2 传统降维方法的聚类准确率(%) (方差, 维数)Table 2 Comparison of clustering accuracy of traditional methods (%) (variance, dimension)数据集 k-means 传统算法 PCA LPP NPE IRIS 89.13 (0.32) 89.07 (0.34, 4) 90.27 (0.84, 2) 88.67 (0.00, 2) Data set IIb 86.47 (2.53) 88.21 (0.61, 4) 88.69 (7.33, 4) 89.58 (6.32, 256) Data set II 72.38 (8.94) 79.31 (4.39, 2) 82.26 (0.13, 512) 82.62 (0.71, 256) DLBCL 68.83 (0.00) 68.83 (0.00, 2) 63.55 (1.86, 8) 69.09 (0.82, 32) Colon 54.84 (0.00) 54.84 (0.00, 2) 54.84 (0.00, 2) 56.45 (0.00, 2) Prostate0 56.86 (0.00) 56.83 (0.00, 2) 56.86 (0.00, 2) 56.86 (0.00, 4) 表 3 ELM降维方法聚类准确率(%) (方差, 维数)(参数)Table 3 Comparison of clustering accuracy of ELM methods (%) (variance, dimension)(parameters)数据集 k-means Unsupervised ELM Subspace + unsupervised ELM US-ELM(λ) ELM-AE(c) ML-ELM-AE (c) SNP-ELM(λ,η,δ) SELM-AE(c, λ) ML-SELM-AE(c, λ) IRIS 89.13
(0.32)93.87
(13.78, 2)
(0.1)93.93
(1.19, 2)
(10)95.20
(1.05, 2)
(0.01)98.46
(0.32, 2)
(10, 0.6, −1)98.00
(0.00, 2)
(10, 0.01)98.40
(0.56, 2)
(10, 0.01)Data set IIb 86.47
(2.53)91.59
(4.25, 4)
(0.1)91.98
(0.25, 4)
(0.1)92.46
(0.08, 16)
(1)92.06
(0.13, 16)
(0.001, 0.8, 0.2)95.29
(0.06, 8)
(0.001, 1)96.63
(0.00, 8)
(0.001, 0.1)Data set II 72.38
(8.94)83.18
(0.32, 256)
(10)82.84
(0.00, 2)
(0.001)83.03
(0.00, 2)
(0.1)83.92
(1.65, 2)
(10, 0.2, −0.2)83.14
(0.00, 2)
(0.01, 1)84.22
(0.00, 2)
(0.001, 10)DLBCL 68.83
(0.00)76.62
(0.00, 32)
(0.001)78.05
(0.73, 2)
(0.001)82.46
(0.68, 2)
(0.001)86.34
(1.78, 8)
(0.001, -0.2, 0.6)83.63
(2.51, 2)
(10, 0.1)86.71
(3.48, 2)
(10, 1)Colon 54.84
(0.00)67.06
(4.19, 32)
(0.001)69.35
(0.00, 2)
(0.001)80.32
(1.02, 2)
(0.001)85.95
(3.69, 8)
(0.001, −0.8, 1)83.87
(0.00, 4)
(10, 0.1)85.97
(0.78, 2)
(10, 0.1)Prostate0 56.86
(0.00)64.09
(5.83, 2)
(0.01)75.98
(0.51, 2)
(0.01)79.61
(1.01, 2)
(0.01)82.92
(2.19, 128)
(0.1, 0.2, 0.8)84.31
(0.00, 2)
(10, 1)85.29
(0.00, 2)
(10, 0.01)表3中粗体值代表9种降维方法中聚类准确率最高者, 下划线值代表第2高者, 第3高者采用粗体加下划线标记. 由记. 由表2 ~ 3可以看出:
1) 经3种传统方法降维后的聚类准确率明显低于6种 ELM 降维方法. 原因在于PCA、LPP和NPE是全局线性降维模型, 其对非线性数据特征的描述能力低于非线性极限学习机降维方法.
2) 本文提出的ML-SELM-AE在5个数据集上取得最高的聚类准确率, 在IRIS数据集的准确率也接近最高值. 主要原因在于子空间结构保持项和多层编码器结构分别揭示了原始数据的子空间结构和非线性特征. ML-SELM-AE对应的单层方法SELM-AE和未引入子空间结构保持项的多层自编码器ML-ELM-AE聚类准确率均低于ML-SELM-AE, SELM-AE低0.3% ~ 3.1%, ML-ELM-AE低1.6% ~ 5.6%, 说明在准确率提升方面子空间结构保持项的作用优于编码器层数的增加. 多层ML-SELM-AE与单层SELM-AE在多数数据集上的聚类准确率不相上下, 且单层SELM-AE的计算速度更快.
3) 对比方法SNP-ELM的聚类准确率略低于ML-SELM-AE, 与SELM-AE相当, 但优于未考虑子空间结构保持项的其他降维方法, 且优势明显. 进一步说明子空间结构保持的重要性.
SNP-ELM模型的局限在学习样本的近邻表示和稀疏表示存在迭代求解过程, 耗时较长. 而本文的SELM-AE模型有解析解, 计算效率明显高于SNP-ELM, 即使在多层情况下也快于SNP-ELM. 从表4给出的SNP-ELM、SELM-AE和ML-SELM-AE运行时间便可以看出, SNP-ELM的运行时间明显高于SELM-AE和ML-SELM-AE, 是二者的100倍~1000倍. 因此, 综合考虑准确率和效率, 本文提出的SELM-AE和ML-SELM-AE较之SNP-ELM更有优势.
表 4 运行时间对比(s)Table 4 Comparison of running time (s)数据集 SNP-ELM SELM-AE ML-SELM-AE IRIS 4.58 0.02 0.02 Data set IIb 4.64×103 0.16 0.33 Data set II 8.24×103 0.65 0.76 DLBCL 7.77 0.04 0.06 Colon 3.44×102 0.03 0.11 Prostate0 1.15×102 0.07 0.13 4)对比ELM-AE、SELM-AE和相应的多层版本ML-ELM-AE 、ML-SELM-AE, 多层版本聚类准确率均高于对应的单层版本, 差距普遍在0.2%~4.0%之间, 说明增加网络层数可以提取更丰富的非线性特征, 提高降维样本的聚类准确率.
3.4.2 多种聚类方法对比实验
为观察不同聚类方法的影响, 进一步对降维前后数据应用三种子空间聚类方法进行聚类, 包括最小二乘回归子空间聚类(LSR)[14]、低秩表示子空间聚类(LRR)[25]和潜在低秩表示子空间聚类(LatLRR)[26]. 为取得最优结果, 3种聚类模型的最优参数λ均通过网格搜索得到, LSR和LRR的参数搜索范围为{10−3, 10−2, ···, 103}, LatLRR的参数搜索范围为{10−5, 10−4, ···, 1}.
在6个实验数据集上对未降维数据和采用ML-SELM-AE 降至2维后数据进行聚类实验, 不同聚类方法的聚类准确率及方差如表5所示.
表 5 ML-SELM-AE降维前后数据的聚类准确率(%) (方差)Table 5 Clustering accuracy before and after ML-SELM-AE dimensionality reduction (%) (variance)数据集 k-means LSR LRR LatLRR 未降维 已降维 未降维 已降维 未降维 已降维 未降维 已降维 IRIS 89.13 (0.32) 98.40 (0.00) 82.40 (0.69) 97.33 (0.00) 90.87 (0.00) 94.00 (0.83) 81.27 (1.03) 97.33 (0.00) Data set IIb 86.47 (2.53) 93.25 (0.00) 83.13 (0.00) 86.59 (0.19) 83.13 (0.00) 86.11 (0.00) 83.13 (0.00) 86.48 (0.25) Data set II 72.38 (8.94) 84.22 (0.00) 83.24 (0.08) 83.29 (0.05) 83.24 (0.00) 83.24 (0.00) 83.24 (0.00) 83.33 (0.00) DLBCL 68.83 (0.00) 86.71 (3.48) 76.62 (0.00) 81.43 (0.63) 76.62 (0.00) 78.57 (0.68) 74.03 (0.00) 78.18 (3.23) Colon 54.84 (0.00) 85.97 (0.78) 67.74 (0.00) 74.19 (0.00) 63.39 (0.00) 69.35 (0.00) 66.13 (1.67) 75.65 (4.06) Prostate0 56.86 (0.00) 85.29 (0.00) 63.82 (1.37) 70.59 (0.00) 57.84 (0.00) 63.73 (0.00) 55.88 (0.00) 74.51 (0.00) 从表5可以看出, 对于未降维高维数据, 子空间聚类方法 LSR 和 LRR 均优于 k-means 聚类. 但经过ML-SELM-AE降维后, k-means聚类的准确率明显高于三种子空间聚类方法, 且比未降维时的聚类准确率有显著提高. 该实验结果进一步说明采用多层极限学习机和子空间结构保持可使降维数据蕴含更丰富的聚簇信息, 聚类划分更容易.
3.4.3 多层极限学习机隐层节点数对聚类结果的影响
为观察多层极限学习机隐层节点数的不同设置对聚类结果的影响, 将ML-ELM-AE和ML-SELM-AE两种三层极限学习机自编码器的隐层节点数分别设为500-100-2、500-100-10、500-100-100及2-2-2、10-10-10、100-100-100, 并对高维数据集Data set IIb、Data set II、DLBCL、Colon和Prostate0进行降维和聚类, 取得的k-means聚类准确率如表6所示.
表 6 三层极限学习机自编码器隐层节点数与聚类准确率(%) (方差)Table 6 The number of hidden layer nodes and clustering accuracy for three-layer extreme learning machine autoencoder (%) (variance)数据集 ML-ELM-AE (Multilayer ELM-AE) ML-SELM-AE (Multilayer SELM-AE) 500-100-2 500-100-10 500-100-50 500-100-100 500-100-2 500-100-10 500-100-50 500-100-100 Data set IIb 88.69 (0.00) 91.98 (0.25) 90.89 (0.06) 87.66 (0.20) 95.44 (0.00) 94.92 (0.17) 95.44 (0.00) 94.80 (0.33) Data set II 82.94 (0.00) 82.94 (0.00) 82.94 (0.00) 82.94 (0.00) 83.14 (0.00) 83.04 (0.00) 83.04 (0.00) 83.04 (0.00) DLBCL 74.03 (0.00) 72.99 (3.29) 72.73 (0.00) 69.22 (0.88) 80.52 (0.00) 80.52 (0.00) 78.57 (2.05) 76.62 (0.00) Colon 73.87 (1.67) 59.68 (0.00) 69.52 (7.35) 59.03 (0.83) 78.55 (2.53) 75.97 (7.81) 76.13 (9.46) 70.48 (4.37) Prostate0 66.67 (0.00) 60.78 (0.00) 59.80 (0.00) 62.75 (0.00) 77.16 (0.47) 82.35 (0.00) 78.33 (6.51) 80.39 (0.00) 数据集 2-2-2 10-10-10 50-50-50 100-100-100 2-2-2 10-10-10 50-50-50 100-100-100 Data set IIb 92.46 (0.08) 90.48 (0.00) 90.16 (0.17) 90.40 (0.25) 96.63 (0.00) 95.83 (0.00) 95.44 (0.00) 94.84 (0.00) Data set II 83.04 (0.00) 83.04 (0.00) 83.04 (0.00) 82.94 (0.00) 84.22 (0.00) 83.14 (0.00) 83.04 (0.00) 83.04 (0.00) DLBCL 83.12 (0.00) 77.01 (0.63) 68.83 (0.00) 68.70 (0.41) 86.75 (4.23) 80.52 (0.00) 78.96 (0.82) 76.62 (0.00) Colon 80.64 (0.00) 60.00 (2.50) 70.00 (1.36) 62.90 (0.00) 85.97 (0.78) 68.23 (0.78) 80.65 (0.00) 76.61 (9.48) Prostate0 80.39 (0.00) 57.45 (0.83) 64.41 (0.47) 63.73 (0.00) 85.29 (0.00) 69.61 (0.00) 79.12 (6.67) 84.31 (0.00) 从表6可以看出, 在5个实验数据集上, 无论是ML-ELM-AE还是ML-SELM-AE, 三层隐层节点数均取2时的聚类准确率最优. 且隐层节点数取固定值与非固定值的聚类准确率差别不明显, 固定隐层节点数的聚类准确率总体略好于不固定隐层节点数.
3.5 SELM-AE模型参数分析
由表5的实验结果可知, 本文提的SELM-AE模型将数据投影到2维时便能取得较高的k-means聚类准确率, 因此取固定维数2情况下进行参数分析. SELM-AE模型的参数c和λ, 分别是目标函数中自编码重构误差项和子空间结构保持项的平衡参数.
3.5.1 目标函数值随参数c与λ的变化情况
SELM-AE模型以最小化目标函数值为目标. 本实验目的在于观察模型的目标函数值随参数c和λ变化情况(如图7), c和λ的取值范围均为{10−3, 10−2, ···, 103}.
由图7可以看出, 参数λ的变化对目标函数值的影响较小, 而参数c的变化对目标函数值的影响较大. 总体来看, 参数c和λ在区间[0.001, 10]内取值时, 目标函数值最小.
3.5.2 聚类准确率随参数c与λ的变化情况
为进一步观察SELM-AE模型聚类准确率随参数c和λ的变化情况, 图8给出参数c和λ取不同值时的k-means聚类准确率, 其中c和λ的变化范围为{10−3, 10−2, ···, 103}. 由图8可以看出, 参数c和λ在区间[0.001, 10]内取值时, 能取得最高的聚类准确率, 该参数的最佳取值区间与图7的分析结论一致.
4. 结束语
在极限学习机自编码器ELM-AE基础上, 本文提出子空间结构保持的极限学习机自编码器SELM-AE及其多层版本ML-SELM-AE. SELM-AE在极限学习机自编码器的输出层增加自表示层, 引入最小二乘回归子空间结构模型, 使自编码器输出与输入的自表示系数相同. 多层子空间结构保持极限学习自编码器ML-SELM-AE通过增加 SELM-AE自编码器层数获取数据的深层特征, 提高网络的特征提取能力. 在6个数据集上的实验结果表明, 经SELM-AE和ML-SELM-AE降维后的聚类准确率普遍优于经典降维方法和传统的ELM降维方法. 同时多层ML-SELM-AE因对非线性投影函数的逼近能力优于单层的SELM-AE模型, 其降维后数据的聚类准确率更高.
-
图 2 语境辅助的交叉注意力机制与其轻量级的模型结构
Fig. 2 Context-assisted cross attention mechanism and its light model structure
图 4 传统交叉注意力机制的三种语境辅助策略
Fig. 4 Three context-assisted strategies of traditional cross attention
图 5 由语境辅助的交叉注意力模块分配给图像特征与历史语境记忆的注意力分布可视化
Fig. 5 Visualization of attention distribution assigned to both image features and historical context memory by our CACA module
图 6 Transformer与CAT生成的图像标题展示
Fig. 6 Image captions generated by the Transformer and the CAT
表 1 基于Transformer的图像标题生成模型结合(轻量级)语境辅助的交叉注意力机制在MS COCO数据集上的性能表现 (%)
Table 1 Performance of Transformer-based image captioning models combined with (Light)CACA on MS COCO dataset (%)
模型名称 BLEU-1 BLEU-4 METEOR ROUGE-L CIDEr-D SPICE Transformer 80.0 38.0 28.5 57.9 126.5 22.4 Transformer + CACA (CAT) 80.8 38.9 28.9 58.6 129.6 22.6 Transformer + LightCACA (LightCAT) 80.6 38.4 28.6 58.2 127.8 22.5 $\mathcal{M}^{2}$Transformer[25] 80.8 39.1 29.2 58.6 131.2 22.6 $\mathcal{M}^{2}$Transformer + CACA 81.2 39.4 29.5 59.0 132.4 22.8 $\mathcal{M}^{2}$Transformer + LightCACA 81.2 39.3 29.4 58.8 131.9 22.8 DLCT[27] 81.4 39.8 29.5 59.1 133.8 23.0 DLCT + CACA 81.6 40.2 29.6 59.2 134.3 23.2 DLCT + LightCACA 81.4 40.0 29.5 59.2 134.1 23.0 $\mathcal{S}^{2}$Transformer[28] 81.1 39.6 29.6 59.1 133.5 23.2 $\mathcal{S}^{2}$Transformer + CACA 81.5 40.0 29.7 59.3 134.2 23.3 $\mathcal{S}^{2}$Transformer + LightCACA 81.3 39.7 29.6 59.3 133.8 23.3 DIFNet[29] 81.7 40.0 29.7 59.4 136.2 23.2 DIFNet + CACA 82.0 40.5 29.9 59.7 136.8 23.4 DIFNet + LightCACA 81.9 40.1 29.7 59.5 136.4 23.2 
下载: 导出CSV
表 2 基于LSTM的图像标题生成模型结合语境辅助的交叉注意力机制在MS COCO数据集上的性能表现 (%)
Table 2 Performance of LSTM-based image captioning models combined with CACA on MS COCO dataset (%)
下载: 导出CSV
表 3 语境辅助的交叉注意力机制对Transformer推理效率的影响(ms)
Table 3 The effect of context-assisted cross attention mechanism on Transformer＇s reasoning efficiency (ms)
模型名称 单轮贪心解码时间 单轮集束搜索解码时间 Transformer 4.7 63.9 CAT 6.1 86.6 LightCAT 4.9 68.1
下载: 导出CSV
表 4 本文模型与先进方法在MS COCO数据集上的性能对比(%)
Table 4 Performance comparison between our models and the state-of-the-art (%)
模型名称 BLEU-1 BLEU-4 METEOR ROUGE-L CIDEr-D SPICE Att2in[31] — 33.3 26.3 55.3 111.4 — Att2all[31] — 34.2 26.7 55.7 114.0 — BUTD[16] 79.8 36.3 27.7 56.9 120.1 21.4 AoANet[18] 80.2 38.9 29.2 58.8 129.8 22.4 $\mathcal{M}^{2}$Transformer[25] 80.8 39.1 29.2 58.6 131.2 22.6 X-LAN[19] 80.8 39.5 29.5 59.2 132.0 23.4 X-Transformer[19] 80.9 39.7 29.5 59.1 132.8 23.4 DLCT[27] 81.4 39.8 29.5 59.1 133.8 23.0 RSTNet (ResNext101)[26] 81.1 39.3 29.4 58.8 133.3 23.0 BUTD + CATT[20] — 38.6 28.5 58.6 128.3 21.9 Transformer + CATT[20] — 39.4 29.3 58.9 131.7 22.8 $\mathcal{S}^{2}$Transformer[28] 81.1 39.6 29.6 59.1 133.5 23.2 DIFNet[29] 81.7 40.0 29.7 59.4 136.2 23.2 ${\rm{CIIC}}_{\mathcal{O}}$ [39] 81.4 40.2 29.3 59.2 132.6 23.2 ${\rm{CIIC}}_{\mathcal{G}}$ [39] 81.7 40.2 29.5 59.4 133.1 23.2 Transformer + CACA (CAT) 80.8 38.9 28.9 58.6 129.6 22.6 $\mathcal{M}^{2}$Transformer + CACA 81.2 39.4 29.5 59.0 132.4 22.8 DLCT + CACA 81.6 40.2 29.6 59.2 134.3 23.2 $\mathcal{S}^{2}$Transformer + CACA 81.5 40.0 29.7 59.3 134.2 23.3 DIFNet + CACA 82.0 40.5 29.9 59.7 136.8 23.4
下载: 导出CSV
表 5 传统交叉注意力机制结合不同语境辅助策略在MS COCO数据集上的表现(%)
Table 5 Performance of the traditional cross attention mechanism combined with different context-assisted strategies on MS COCO dataset (%)
模型名称 BLEU-1 BLEU-4 METEOR ROUGE-L CIDEr-D SPICE TCA (base) 80.0 38.0 28.5 57.9 126.5 22.4 TCA + OHC 80.4 37.8 28.2 57.4 126.8 21.8 TCA + IHC 80.8 38.2 28.5 58.1 128.2 22.2 TCA + CHC (CACA) 81.2 38.6 28.6 58.2 128.9 22.6
下载: 导出CSV
表 6 不同解码器层数的CAT模型在共享与不共享交叉注意力模块参数时的性能表现(%)
Table 6 Performance of CAT models with different decoder layers when sharing or not sharing parameters of the cross attention module (%)
解码器层数 交叉注意力模块设置 BLEU-1 BLEU-4 METEOR ROUGE-L CIDEr-D SPICE $N=2$ TCA 78.8 37.4 28.0 57.4 125.4 21.8 $N=2$ CACA (Shared) 80.4 38.0 28.2 57.8 128.0 22.3 $N=2$ CACA (Not shared) 80.8 38.4 28.5 58.2 128.8 22.5 $N=3$ TCA 80.0 38.0 28.5 57.9 126.5 22.4 $N=3$ CACA (Shared) 81.2 38.6 28.6 58.2 128.9 22.6 $N=3$ CACA (Not shared) 81.0 38.8 28.8 58.3 129.3 22.7 $N=4$ TCA 79.6 37.8 28.5 57.8 126.2 22.2 $N=4$ CACA (Shared) 79.8 37.5 28.4 57.6 125.8 21.9 $N=4$ CACA (Not shared) 79.0 36.8 28.1 57.1 124.3 21.5
下载: 导出CSV
表 7 采用自适应权重约束的CAT模型在MS COCO数据集上的表现(%)
Table 7 Performance of the CAT model with adaptive weight constraint on MS COCO dataset (%)
权重约束方式 BLEU-4 METEOR ROUGE-L CIDEr-D 无权重约束 38.6 28.6 58.2 128.9 固定权重约束$\beta=0.1$ 38.4 28.4 58.1 127.8 固定权重约束$\beta=0.3$ 38.7 28.6 58.3 128.7 固定权重约束$\beta=0.5$ 38.9 28.7 58.4 129.3 固定权重约束$\beta=0.7$ 38.5 28.4 58.1 128.4 固定权重约束$\beta=0.9$ 38.1 28.2 57.6 127.2 自适应权重约束 38.9 28.9 58.6 129.6
下载: 导出CSV
表 8 Transformer与CAT模型的人工评价(%)
Table 8 Human evaluation of Transformer and CAT (%)
模型名称 更强的相关性 更强的一致性 Transformer 8.8 7.4 CAT 10.2 12.4
下载: 导出CSV
-
[1] Ji J, Luo Y, Sun X, Chen F, Luo G, Wu Y, et al. Improving image captioning by leveraging intra- and inter-layer global representation in Transformer network. In: Proceedings of the AAAI Conference on Artificial Intelligence. Virtual Conference: 2021. 1655−1663 [2] Fang Z, Wang J, Hu X, Liang L, Gan Z, Wang L, et al. Injecting semantic concepts into end-to-end image captioning. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. New Orleans, Louisiana, USA: IEEE, 2022. 18009−18019 [3] Tan J H, Tan Y H, Chan C S, Chuah J H. Acort: a compact object relation transformer for parameter efficient image captioning. Neurocomputing, 2022, 482: 60-72 doi: 10.1016/j.neucom.2022.01.081 [4] Fei Z. Attention-aligned Transformer for image captioning. In: Proceedings of the AAAI Conference on Artificial Intelligence. Vancouver, British Columbia, Canada: 2022. 607−615 [5] Stefanini M, Cornia M, Baraldi L, Cascianelli S, Fiameni G, Cucchiara R. From show to tell: a survey on deep learning-based image captioning. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2022, 45(1): 539-559 [6] Vinyals O, Toshev A, Bengio S, Erhan D. Show and tell: lessons learned from the 2015 mscoco image captioning challenge. IEEE Transactions on Multimedia, 2016, 39(4): 652-663 [7] Vaswani A, Shazeer N, Parmar N, Uszkoreit J, Jones L, Gomez A N, et al. Attention is all you need. In: Proceedings of Advances in Neural Information Processing Systems. Long Beach, USA: 2017. 5998−6008 [8] Cover T M, Thomas J A. Elements of Information Theory. New York: John Wiley & Sons, 2012. [9] Lin T Y, Maire M, Belongie S J, Hays J, Perona P, Ramanan D, et al. Microsoft coco: Common objects in context. In: Proceedings of European Conference on Computer Vision. Zurich, Switzerland: 2014. 740−755 [10] Qin Y, Du J, Zhang Y, Lu H. Look back and predict forward in image captioning. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Long Beach, USA: IEEE, 2019. 8367−8375 [11] Aneja J, Deshpande A, Schwing A G. Convolutional image captioning. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City, Utah, USA: IEEE, 2018. 5561−5570 [12] 汤鹏杰, 王瀚漓, 许恺晟. LSTM逐层多目标优化及多层概率融合的图像描述. 自动化学报, 2018, 44(7): 1237-1249Tang Peng-Jie, Wang Han-Li, Xu Kai-Sheng. Multi-objective layer-wise optimization and multi-level probability fusion for image description generation using lstm. Acta Automatica Sinica, 2018, 44(7): 1237-1249 [13] Xu K, Ba J, Kiros R, Cho K, Courville A C, Salakhutdinov R, et al. Show, attend and tell: Neural image caption generation with visual attention. In: Proceedings of the 32nd International Conference on Machine Learning. Lille, France: 2015. 2048−2057 [14] You Q, Jin H, Wang Z, Fang C, Luo J. Image captioning with semantic attention. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Las Vegas, Nevada, USA: 2016. 4651−4659 [15] Lu J, Xiong C, Parikh D, Socher R. Knowing when to look: Adaptive attention via a visual sentinel for image captioning. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Hawaii, USA: IEEE, 2017. 3242−3250 [16] Anderson P, He X, Buehler C, Teney D, Johnson M, Gould S, et al. Bottom-up and top-down attention for image captioning and visual question answering. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City, Utah, USA: IEEE, 2018. 6077−6086 [17] Chen S, Zhao Q. Boosted attention: Leveraging human attention for image captioning. In: Proceedings of European Conference on Computer Vision. Munich, Germany: 2018. 68−84 [18] Huang L, Wang W, Chen J, Wei X. Attention on attention for image captioning. In: Proceedings of the IEEE/CVF International Conference on Computer Vision. Seoul, South Korea: IEEE, 2019. 4633−4642 [19] Pan Y, Yao T, Li Y, Mei T. X-linear attention networks for image captioning. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Seattle, USA: IEEE, 2020. 10968−10977 [20] Yang X, Zhang H, Qi G, Cai J. Causal attention for vision-language tasks. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Virtual Conference: 2021. 9847−9857 [21] 王鑫, 宋永红, 张元林. 基于显著性特征提取的图像描述算法. 自动化学报, 2022, 48(3): 735-746Wang Xin, Song Yong-Hong, Zhang Yuan-Lin. Salient feature extraction mechanism for image captioning. Acta Automatica Sinica, 2022, 48(3): 735-746 [22] Herdade S, Kappeler A, Boakye K, Soares J. Image captioning: transforming objects into words. In: Proceedings of Advances in Neural Information Processing Systems. Vancouver, Canada: 2019. 11135−11145 [23] Li G, Zhu L, Liu P, Yang Y. Entangled transformer for image captioning. In: Proceedings of the IEEE/CVF International Conference on Computer Vision. Seoul, South Korea: IEEE, 2019. 8927−8936 [24] Yu J, Li J, Yu Z, Huang Q. Multimodal transformer with multi-view visual representation for image captioning. IEEE Transactions on Circuits and Systems for Video Technology, 2019, 30(12): 4467-4480 [25] Cornia M, Stefanini M, Baraldi L, Cucchiara R. Meshed-memory transformer for image captioning. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Seattle, USA: IEEE, 2020. 10575−10584 [26] Zhang X, Sun X, Luo Y, Ji J, Zhou Y, Wu Y, et al. Rstnet: Captioning with adaptive attention on visual and non-visual words. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Virtual Conference: 2021. 15465−15474 [27] Luo Y, Ji J, Sun X, Cao L, Wu Y, Huang F, et al. Dual-level collaborative transformer for image captioning. In: Proceedings of the AAAI Conference on Artificial Intelligence. Virtual Conference: 2021. 2286−2293 [28] Zeng P, Zhang H, Song J, Gao L. S2 transformer for image captioning. In: Proceedings of the International Joint Conferences on Artificial Intelligence. Vienna, Austria: 2022. [29] Wu M, Zhang X, Sun X, Zhou Y, Chen C, Gu J, et al. Difnet: Boosting visual information flow for image captioning. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. New Orleans, Louisiana, USA: 2022. 18020−18029 [30] Lian Z, Li H, Wang R, Hu X. Enhanced soft attention mechanism with an inception-like module for image captioning. In: Proceedings of the 32nd International Conference on Tools With Artificial Intelligence. Virtual Conference: 2020. 748−752 [31] Rennie S J, Marcheret E, Mroueh Y, Ross J, Goel V. Self-critical sequence training for image captioning. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Hawaii, USA: 2017. 1179−1195 [32] Vedantam R, Zitnick C L, Parikh D. Cider: Consensus-based image description evaluation. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Boston, USA: 2015. 4566−4575 [33] Karpathy A, Li F F. Deep visual-semantic alignments for generating image descriptions. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Boston, USA: 2015. 3128−3137 [34] Papineni K, Roukos S, Ward T, Zhu W J. Bleu: A method for automatic evaluation of machine translation. In: Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics. Philadelphia, USA: 2002. 311−318 [35] Denkowski M J, Lavie A. Meteor universal: Language specific translation evaluation for any target language. In: Proceedings of the 9th Workshop on Statistical Machine Translation. Baltimore, Maryland, USA: 2014. 376−380 [36] Lin C Y. Rouge: A package for automatic evaluation of summaries. In: Proceedings of Workshop on Text Summarization Branches Out, Post-Conference Workshop of ACL 2004. Barcelona, Spain: 2004. 74−81 [37] Anderson P, Fernando B, Johnson M, Gould S. Spice: Semantic propositional image caption evaluation. In: Proceedings of European Conference on Computer Vision. Amsterdam, Netherlands: 2016. 382−398 [38] Krishna R, Zhu Y, Groth O, Johnson J, Hata K, Kravitz J, et al. Visual genome: connecting language and vision using crowdsourced dense image annotations. International Journal of Computer Vision, 2017, 123(1): 32-73 doi: 10.1007/s11263-016-0981-7 [39] Liu B, Wang D, Yang X, Zhou Y, Yao R, Shao Z, et al. Show, deconfound and tell: Image captioning with causal inference. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. New Orleans, Louisiana, USA: 2022. 18041−18050 期刊类型引用(3)
1. 于勇政，王伟，蒲治伟. 基于信息关联加权的多目标跟踪算法. 现代防御技术. 2025(01): 23-36 . 
百度学术2. 许华杰，郑力文. 基于自适应卡尔曼滤波的视觉多目标跟踪. 计算机工程与应用. 2025(05): 200-210 . 百度学术3. 郑尚坡，陈德富，李坚利，林国贤，王星平. 基于改进YOLOv5s和DeepSORT的行人跟踪算法. 计算机与现代化. 2024(08): 54-58 . 百度学术其他类型引用(2)
-
下载:
计量
- 文章访问数: 503
- HTML全文浏览量: 127
- PDF下载量: 156
- 被引次数: 5
