Improving Semi-supervised Neural Machine Translation With Variational Information Bottleneck
-
摘要: 变分方法是机器翻译领域的有效方法, 其性能较依赖于数据量规模. 然而在低资源环境下, 平行语料资源匮乏, 不能满足变分方法对数据量的需求, 因此导致基于变分的模型翻译效果并不理想. 针对该问题, 本文提出基于变分信息瓶颈的半监督神经机器翻译方法, 所提方法的具体思路为: 首先在小规模平行语料的基础上, 通过引入跨层注意力机制充分利用神经网络各层特征信息, 训练得到基础翻译模型; 随后, 利用基础翻译模型, 使用回译方法从单语语料生成含噪声的大规模伪平行语料, 对两种平行语料进行合并形成组合语料, 使其在规模上能够满足变分方法对数据量的需求; 最后, 为了减少组合语料中的噪声, 利用变分信息瓶颈方法在源与目标之间添加中间表征, 通过训练使该表征具有放行重要信息、阻止非重要信息流过的能力, 从而达到去除噪声的效果. 多个数据集上的实验结果表明, 本文所提方法能够显著地提高译文质量, 是一种适用于低资源场景的半监督神经机器翻译方法.Abstract: Variational approach is effective in the field of machine translation, its performance is highly dependent on the scale of the data. However, in low-resource setting, parallel corpus is limited, which cannot meet the demand of variational approach on data, resulting in suboptimal translation effect. To address this problem, we propose a semi-supervised neural machine translation approach based on variational information bottleneck. The central ideas are as follows: 1) cross-layer attention mechanism is introduced to train the basic translation model; 2) the trained basic translation model is used on the basis of small-scale parallel corpus, then get large-scale noisy pseudo-parallel corpus by back-translation with the input of monolingual corpus. Finally, pseudo-parallel and parallel corpora are merged into combinatorial corpora; 3) variational information bottleneck is used to reduce data noise and eliminate information redundancy in the combinatorial corpus. Experiment results on multiple language pairs show that the model we proposed can effectively improve the quality of translation.
-
随着当代计算技术和多媒体技术的飞速发展, 追求用户高质量体验的沉浸式视频取得了长足的发展[1-2]. 一个多媒体系统, 其提供的显示和追踪技术如果可以用来在时间和空间上忠实地再现现实世界的感觉和行为, 就被称为沉浸[3].在视觉领域, 沉浸感就是指借助设备显示技术, 能够让参与到虚拟环境中的人们产生身临其境的临场感. 2016年, 多媒体产品工业界对于虚拟现实VR技术产生浓厚兴趣, Facebook、谷歌、微软、苹果等大公司都开展了相关技术研发, 并发布了相关VR产品.视频呈现的历史, 正是追逐更强沉浸式体验的技术发展过程.
为了增强沉浸感和互动性, 需要将现实世界的三维场景的全部信息进行记录, 并且能够为用户进行无失真的重现. 计算机视觉领域中, 场景的表示与重建技术是该问题主要的解决方案[4-5].
依据原始图像的数量可以将三维重建方法分为单视点图像三维重建和多视点图像三维重建. 单视点图像三维重建方法是基于单幅2D图像提取场景深度信息来构建立体视觉图像[6-7]. 由于多视点图像中包含更强的场景深度线索—视差, 基于图像的绘制技术(Image-based render, IBR)成为一种近年来较为热门的三维重建方法.该方法拍摄图像用于采集光线, 通过绘制对这些光线进行重组[8-9].
采集和重建是实现IBR渲染技术的主要方法.目前通用的方法需要的摄像机数量较多, 采集数据量大, 带来压缩和存储的巨大压力, 同时设备及带宽成本高昂; 若是减少摄像机数量, 则会导致重建内容产生跳跃性, 图像出现重影和模糊现象.
对IBR技术调研可知, 最先有Chai等[10]在2000年分析了全光函数的频带并找到最优的全光函数平均采样率. 在此基础上, Zhang等[11]将IBR的谱分析扩展到了更加通用的情况, 包括非Lambertian和遮挡场景. 他们利用一个表面全光函数首次研究了同心拼接的谱分析, 初步分析了非Lambertian反射和遮挡场景. 然而, 该方法在对全光函数进行分析时, 并没有指出在何种条件下全光函数为带限信号. 针对该问题, Do等[12-13]的论文指出: 除非场景表面是平的, 否则全光函数的频带不是带限的. Zhou等[14]扩展了对非Lambertian反射的光谱分析.通过将反射解析光场作为纹理信息, 建立了一个新的非Lambertian反射场景模型. 2014年, Gilliam等[15]首次提出了有限斜面的全光谱表达式, 并以此为基础对复杂场景进行合成.
2000年~2014年的研究大多将信号变换到傅里叶频域进行处理, 通过全光函数建模, 利用奈奎斯特采样定理推导最优的采样率, 方法较为传统.近年来, 许多新技术被应用于通过稀疏视点图像估计稠密视点图像的应用中.
2015年, Vagharshakyan等提出了一种重建密集采样光场的方法[16].通过一个由多视点校正相机采集得到的稀疏图像对光场进行重建, 而不需要对场景深度进行精确的估计, 所需的中间视图利用极化平面图像在剪切域里的稀疏性进行合成.
2016年, Heber等[17]利用卷积神经网络来预测光数据(Light field, LF)的深度.该方法根据2D超平面的方向学习LF和相应4D深度场以表示端到端的映射. 然后通过应用更高阶的正则化在后处理步骤中进一步细化所获得的预测.
2016年, Kalantari等[18]基于深度学习的方法使用两个卷积神经网络进行视差和颜色估计, LF的4个角视图用于合成中间视图.
2017年, Unde等[19]提出了基于迭代加权$ {L_1} $范数最小化的图像的块压缩感知框架重构算法和基于块的相关图像和视频帧联合重建算法, 编码复杂度低, 具有良好的压缩性能.
2017年, Ansari等[20]提出了一种基于提升的、可分离的、图像匹配的小波联合框架, 并将其应用于图像的重建.
2018年Vagharshakyan等[21]基于压缩感知框架的重建方法, 利用剪切波更灵活地对傅里叶频谱进行滤波, 以低于奈奎斯特采样定理的采样率进行稀疏视点的图像重建, 效果较好.
最新前沿方法[21]利用剪切波作为稀疏基, 通过随机测量矩阵获得低维测量信号, 基于压缩感知求解方法重建稠密多视点图像, 此时, 测量信号包含了原始稠密多视点图像尽可能多的信息熵[22].现实VR场景图像重建等应用场景中, 需要通过摄像机采集稀疏视点图像, 并将它们作为压缩感知框架中的低维信号.显然, 低维信号需要与测量矩阵相对应, 若是采用随机测量矩阵, 无法采集相应的低维测量信号. 本文提出构建稀疏视点测量矩阵, 基于该测量矩阵自适应构建稠密视点图像的稀疏基, 并使之满足压缩感知框架中获取唯一精确解的条件.
1. 基于压缩感知的多视点测量与稀疏基构建
1.1 压缩感知算法框架
根据压缩感知理论, 设原始信号为变量$ {\pmb x} $, 测量矩阵为$ \varPhi $, 采样后的信号为$ {\pmb y} $, 则:
$$ \begin{equation} {\pmb y} = \varPhi {{\pmb x}} \end{equation} $$ (1) 如果原始信号$ {\pmb x} $是稀疏信号, 则可通过求解以下式子获得信号$ {\pmb x} $近似无失真的重建信号$ \hat{\pmb x} $:
$$ \begin{equation} \hat{\pmb x} = {\rm{argmin}}{\left\| {\pmb x} \right\|_0}{\rm{, {\rm\ s.\, t.}} \ {\pmb y}} = {\varPhi} {\pmb x} \end{equation} $$ (2) 但是原始信号$ {\pmb x} $通常不满足稀疏性, 我们假设存在一个基$ {\varPsi } $, 使得:
$$ \begin{equation} {{\pmb x} = {\varPsi} {\pmb s} } \end{equation} $$ (3) 其中, s是稀疏的, 则将式(3)代入式(1)得:
$$ \begin{equation} {{\pmb y} = {\varPhi} {\varPsi} {\pmb s}} \end{equation} $$ (4) 因而, 可通过以下计算求解重建原始信号的估计$ {\hat{\pmb x}} $:
$$ \begin{equation} {{\hat{\pmb s}}} = {\rm{argmin}}{\left\| {{\pmb {s}}} \right\|_0}, {\rm{\ s.\, t. \ } {\pmb y}} = {\varPhi} {\varPsi} {{\pmb {s}, \hat{ \pmb x}}} = {\varPsi} {{\hat {\pmb s}}} \end{equation} $$ (5) 显然, 上面的公式需要先确定采样矩阵$ \varPhi $和稀疏基$ \varPsi $, 再通过稀疏表示求解方法获得.
1.2 动机与思路
由式(6)可知, 稀疏感知算法能够从观测值$ {\pmb {y}} $中, 通过稀疏优化求解方法, 估计出原始信号$ \pmb {x} $.由Candes-Romberg-Tao定理[23]可知, 式(6)中传感矩阵$ \varPhi \varPsi $必须满足RIP (Restricted isometry property)条件才能求得唯一解.由随机测量矩阵文献[24]可知, 随机测量矩阵与确定信号基(如小波基、傅里叶基)之间很大概率是不相关的, 低相关性保障了RIP条件的满足.并且, 随机测量矩阵使得观测数据的不确定性最大, 表明数据含有的信息熵最大.因此, 采用了压缩感知框架重建多视点图像的前沿方法[21], 观测矩阵$ \varPhi $采用随机测量矩阵, $ \varPsi $取剪切波基.然而, 在稠密多视点图像或视频的应用场景中(如光场重建, VR无缝漫游等), 相邻视点的间距小至几厘米, 一个几十平米的空间就需要成百上千的摄像头进行拍摄, 显然, 这导致成本高昂且数据量巨大. 因此, 需要通过采集稀疏视点图像用于估计出稠密视点图像.
如图 1所示, 假设奇数视点为稀疏视点, 偶数视点为待估计的虚拟视点, 所有视点为稠密视点.其中, 定义SVEPI表示由稀疏视点获得的对极平面图像(Epipolar-plane image, EPI), DVEPI表示由稠密视点得到的EPI.前沿方法将稠密视点映射成压缩感知框架中的原始信号$ \pmb {x} $, 并认为稀疏视点图像为测量信息. 但是, 在随机测量矩阵条件下, 测量信号值包含了所有稠密视点信息, 而SVEPI信息仅仅来源于稀疏视点信号, 两者不一致. 如果将SVEPI作为测量值, 显然会导致估计的原始信号不准确.因此, 需要重新构建稀疏视点测量矩阵, 使得测量值与稀疏视点采集的信息一致. 同时, 新的测量矩阵与稀疏基应满足压缩感知方法获取唯一精确解的RIP条件.
图 1 基于压缩感知框架的稠密多视点图像重建原理Fig. 1 Principle of dense multi-view image reconstruction based on compressed sensing framework由图 1可看出, 稀疏视点信号仅仅是抽取稠密视点图像的局部位置信息, 因此, 首先将稠密视点图像按序列重组方式转化成向量, 然后通过测量矩阵线性操作(在抽取信息位置设置1, 如图 2中矩阵$ \varPhi $的颜色块; 其他位置设0, 如图 2中矩阵$ \varPhi $的白色块), 使得原始信号经过设计的稀疏视点测量矩阵, 获得与稀疏视点采集信息相一致的测量值. 此外, 基于设计的稀疏测量矩阵, 为了使压缩感知框架能够求解出唯一精确解需最大化满足RIP条件. 由于RIP常数衡量了测量矩阵$ \varPhi $与基矩阵$ \varPsi $乘积中任意两列之间的正交程度, 提出构建稀疏基函数的列相关性代价函数作为RIP条件约束, 同时设计基函数$ \varPsi $线性表示系数的稀疏约束项, 求解获得能够基于测量矩阵自适应的最优稀疏基矩阵.
图 2 构建稀疏视点测量矩阵与自适应稀疏基函数Fig. 2 Constructing sparse viewpoint measurement matrix and adaptive sparse basis function2. 多视点稀疏测量的图像绘制算法
2.1 多视点信号的对极平面图像构建
由于对极平面原理, 不同视点拍摄的同一场景对象, 都会呈现在EPI图像的某一斜线上, 该斜率与视差有关, 并直接取决于对象与拍摄视点之间的景深. 因此, 可以利用对极平面图像(EPI)将不同视点中相应对象的信息聚集到同一图像, 使得进一步的处理能够更易于利用视点间的相关性.基于以上分析, 我们选择采用EPI来作为压缩感知框架中输入信号的表示方式.对极平面图像首先由Bolles等[25]提出. 与自然图像相比, EPI具有特定的斜线纹理结构, 如图 3所示. EPI构建方法如下所述.
设$ K $个视点图像分别为$ {{I}_1} $, $ {{I}_2} $, $ {{I}_3}, \cdots, $ $ {{I}_K} $.定义矩阵$ {{A}_m} $是第$ m $行都为1, 其他行都为0的矩阵, 矩阵$ {{A_{\rm{m}}}} $的大小等于图像大小, 表示如下:
$$ \begin{equation} {{A_m}} = \left[ {\begin{array}{*{20}{c}} 0&0&{\cdots}&0&0\\ \vdots & \vdots & \vdots & \vdots & \vdots \\ 1&1&{\cdots}&1&1\\ \vdots & \vdots & \vdots & \vdots & \vdots \\ 0&{\cdots}&{\cdots}&{\cdots}&0 \end{array}} \right]\begin{array}{*{20}{c}} 1\\ \vdots \\ m\\ \vdots \\ M \end{array} \end{equation} $$ (6) 则, EPI图可以表示为:
$$ \begin{equation} {E_m} = \sum\limits_{i = 1}^K {{{({I_i}. \times {A_m})}^{\rm T}}} \end{equation} $$ (7) 其中, T代表矩阵转置, $ m $代表多视点图像的第$ m $行, $ K $是代表多视点图像总个数.
2.2 多视点间隔采样的测量矩阵构建
由前述可知, 压缩感知框架中的随机测量矩阵并不能适用于现实场景的运用, 为了实现摄像机位置与观测矩阵相对应, 提出了采用等间隔采样矩阵作为测量矩阵的方法.
我们对EPI图的重建是基于分块进行的, 测量矩阵的设计原则如下: 能够从原始信号EPI分块向量中提取出对应视点位置采集到的信息.我们将稀疏测量矩阵$ \varPhi $定义为:
$$ \begin{equation} \varPhi(i, j) = \begin{cases} 1, &j = i + (\left\lceil i / y \right\rceil - 1) \times y \times t\\ 0, &\rm{其他情况} \end{cases} \end{equation} $$ (8) 其中, $ i \in \left[ {1:\left\lceil {\left( {x \times y} \right)/\left( {t + 1} \right)} \right\rceil } \right] $, $ j \in \left[ {1:x \times y} \right] $, $ \left( {x, y} \right) $为EPI块大小, $ t $为采样间隔.
采用等间隔矩阵后, 便可以设计出与矩阵相对应的摄像机摆放位置, 也是采用等间隔摆放的方式, 同时, 因为是测量矩阵的间隔采样特性, 测量值维度小于原始信号, 摄像机数量可以相应减少.
2.3 双约束代价构建与求解
不失一般性, 我们设被测信号为$ {\pmb {x}} $, 测量矩阵为$ \varPhi $和稀疏基$ \varPsi $, 由前面可知, 在多视点图像采集和重建中, 测量矩阵$ \varPhi $是设定已知的, 相关方法通常利用正则性约束稀疏求解[26-27].我们的任务是设计最优的稀疏基$ \varPsi $, 使其满足两个条件.条件1: 被测信号尽量被分解成稀疏的系数$ \pmb s $; 条件2: 能够利用稀疏优化求解方法获得精确解.
为了满足条件1, 我们构建稀疏约束正则项:
$$ \begin{equation} \min {\left\| {{\pmb {y}} - \varPhi \varPsi {\pmb {s}}} \right\|^2}\quad {\rm{ \ s.\, t. \ }}{\left\| {\pmb {s}} \right\|_0} \le \varepsilon \end{equation} $$ (9) 其中, $ {\pmb {y}} $为采集获得的信号, 我们使用EPI图的分块重组成列向量赋值$ {\pmb {y}} $, $ \varPhi $赋值为已知的间隔测量矩阵, $ \varepsilon $为稀疏度, $ \varPsi $为待求解矩阵变量.
为了满足条件2, 我们引入传感矩阵$ {{D}} = \varPhi \varPsi $, 根据测不准定理可知[24], 当$ {\left\| {\pmb {s}} \right\|_0} \le \frac{1}{2}(1 + \frac{1}{{\mu (D)}}) $时, $ {L_0} $范数问题等价于$ {L_1} $范数问题, 且它们有唯一解.我们所设计的最优稀疏基$ \varPsi $, 必须使得相关系数系数$ \mu (D) $最小.根据相干性的定义有, 设$ {\pmb d_{i, }}{\pmb d_j} $为列归一化的原子, 则:
$$ \begin{equation} \mu (D) = \max \left| {\langle {{\pmb d_i}, {\pmb d_j}} \rangle } \right|, \quad i \ne j \end{equation} $$ (10) 此外, 根据Welch定理[21]可知, 相干系数存在下界.设$ D\in{{\bf R}^{M \times K}} $, 其中$ {M<K} $, 列归一化, 则字典$ {D} $满足相干性, 且下界为WetchBound下界:
$$ \begin{equation} \mu (D) \ge \sqrt {\frac{{K - M}}{{M(K - 1)}}} \end{equation} $$ (11) 我们设$ {\mu _{\min }} = \sqrt {\frac{{K - M}}{{M(K - 1)}}} $, 因此, 需使得$ {D} $的相干系数逼近$ {\mu _{\min }} $. 假设:
$$ \begin{align} G = & {D^{\rm T}}D = \left[ {\begin{array}{*{20}{c}} {\pmb d_1^{\rm T}}\\ \vdots \\ {\pmb d_N^{\rm T}} \end{array}} \right]\left[ {\begin{array}{*{20}{c}} {{\pmb d_1}}& \cdots &{{\pmb d_N}} \end{array}} \right] = \\ & \left[ {\begin{array}{*{20}{c}} {{{\left\| {{\pmb d_1}} \right\|}^2}}&{\langle {{\pmb d_1}, {\pmb d_2}} \rangle }& \cdots &{\langle {{\pmb d_1}, {\pmb d_N}} \rangle }\\ {\langle {{\pmb d_2}, {\pmb d_1}} \rangle }&{{{\left\| {{\pmb d_2}} \right\|}^2}}& \cdots &{\langle {{\pmb d_1}, {\pmb d_2}} \rangle }\\ \vdots & \vdots & \ddots & \vdots \\ {\langle {{\pmb d_N}, {\pmb d_1}} \rangle }&{\langle {{\pmb d_{\rm{N}}}, {\pmb d_2}} \rangle }& \cdots &{{{\left\| {{\pmb d_N}} \right\|}^2}} \end{array}} \right]{\rm{ }} \end{align} $$ (12) 显然, 根据相干性的定义, 我们只需要使得矩阵$ {G} $上的元素逼近Welch下界, 由于$ {D} $是列向量归一化矩阵, 因此, $ {G} $对角线元素都为1.我们构建相干约束正则项为:
$$ \begin{equation} {\left\| {{D^{\rm T}}D - {G_\Lambda}} \right\|^2} \end{equation} $$ (13) 其中
$$ \begin{align} {G_\Lambda } = \, &\Big\{ {G_\Lambda } \in {{\bf R}^{N \times N}}: {\rm diag} \{G_\Lambda \} = 1, \\&{\rm{ }}\left| {\mathop {{g_{i, j}}}\limits_{i \ne j} } \right| = {\mu _{\min }}\Big\} \end{align} $$ (14) 综上所述, 我们计算求解多视点EPI分块稀疏基的代价函数为:
$$ \begin{align} &\arg \mathop {\min }\limits_{\varPsi, {\pmb s}} \left({\left\| {{\pmb y} - \varPhi \varPsi {\pmb s}} \right\|^2} + \lambda {\left\| {{D^{\rm T}}D - {G_\Lambda }} \right\|^2}\right)\quad \\&{\rm{\ s.\, t. \ }}{\left\| {\pmb {s}} \right\|_0} < \varepsilon \end{align} $$ (15) 其中, $ \lambda $为平滑因子, 可由用户设置.
由于有两个变量, 为了求解式(15), 需要分为两个阶段.
第一阶段, 假设$ \varPsi $为已知, $ \pmb s $为未知变量.这时, 相干性正则项为常量, 在最小化代价函数中不起作用, 因此, 求解代价函数(15)等价于求解函数:
$$ \begin{equation} \arg \mathop {\min }\limits_{\pmb s} \left\| {{\pmb {y}} - \varPhi \varPsi {\pmb {s}}} \right\|_F^2{\rm{\ s.t.}}\left\| {{\pmb {s}}} \right\| < \varepsilon \end{equation} $$ (16) 我们用正交匹配追踪算法(Orthogonal matching pursuit, OMP)求解.
第二阶段, 我们利用求解获得的$ \pmb s $设定为常量, 将$ \varPsi $设定为变量, 则求解(15)等价于:
$$ \begin{equation} \arg \mathop {\min }\limits_\varPsi ({\left\| {{\pmb y} - \varPhi \varPsi {\pmb s}} \right\|^2} + \lambda {\left\| {{D^{\rm T}}D - {G_\Lambda }} \right\|^2}){\rm{ }} \end{equation} $$ (17) 由于共轭梯度法是求解优化问题的常用方法, 且具有简单高效的特点, 本文利用共轭梯度法求解式(17).设:
$$ \begin{equation} f(\varPsi {\rm{)}} = {\left\| {{\pmb {y}} - \varPhi \varPsi {\pmb {s}}} \right\|^2} + \lambda {\left\| {{{(\varPhi \varPsi )}^{\rm T}}\varPhi \varPsi - {G_\Lambda }} \right\|^2} \end{equation} $$ (18) 通过矩阵求导可得:
$$ \begin{align} {\nabla _\varPsi }f = \, &{\rm{4(}}{\varPhi ^{\rm{T}}} \varPhi \varPsi {\varPsi ^{\rm T}}{\varPhi ^{\rm T}}\varPhi \varPsi - {\varPhi ^{\rm T}}\varPhi \varPsi {G_\Lambda })+ \\ & 2{\rm{(}}{\varPhi ^{\rm{T}}}{\pmb{y}}{{\pmb s}^{\rm T}} + {\varPhi ^{\rm{T}}}\varPhi \varPsi {\pmb {s}}{{\pmb {s}}^{\rm T}}) \end{align} $$ (19) 代入共轭梯度法求解, 从而获得原始信号:
$$ \begin{equation} {\pmb{x}} = \varPsi \pmb{s} \end{equation} $$ (20) 2.4 算法流程
综上所述, 多视点稀疏测量约束的图像绘制算法如图 4所示, 首先输入采集的稀疏多视点图像, 利用EPI模型将不同视点的对应信息集中表示, 构建稀疏视点测量矩阵, 通过建立稀疏性和传感矩阵列独立性的双约束代价求解稀疏基, 将获得的稀疏基和构建的测量矩阵代入压缩感知框架求解稀疏系数, 最后估计出稠密多视点图像.其中, 双约束代价的稀疏基求解算法如下:
任务: 通过求解下式, 找到最好的稀疏基矩阵用于表示低维数据样本$ {\pmb {y}} $:
$$ \begin{align} &\arg \mathop {\min }\limits_{\varPsi, {\pmb {s}}}\left ({\left\| {\pmb {y} - \varPhi \varPsi \pmb{s}} \right\|^2} + \lambda {\left\| {{D^{\rm T}}D - {G_\Lambda }} \right\|^2}\right)\\ &{\rm{\ s.\, t.}}\quad{\left\| {{\pmb {s}}} \right\|_0} < \varepsilon \end{align} $$ (21) 初始化: 设置稀疏基矩阵$ {\varPsi ^{{\rm{(0)}}}} \in {{\rm{\bf R}}^{n \times K}} $, 稀疏视点测量矩阵$ {\varPhi _{\pmb {s}}} $, 设$ J = 0. $
重复以下两个阶段直到收敛或满足退出条件:
1) 系数求解阶段: 使用OMP正交匹配追踪算法求解下式, 计算稀疏表示系数$ \pmb s $.
$$ \begin{equation} {{\pmb {s}}^{(J)}} = \arg \mathop {\min }\limits_{\pmb s} \left\| {{\pmb {y}} - \varPhi {\varPsi ^{{{(J)}}}}{\pmb {s}}} \right\|_F^2{\rm{\ s.\, t. \ }}\left\| {\pmb {s}} \right\| < \varepsilon \end{equation} $$ (22) 2) 基函数更新阶段: 固定前一阶段获得的$ \pmb s $, 利用共轭梯度法, 求解下式,
$$ \begin{align} {\varPsi ^{(J + {\rm{1}})}} = \, & {\rm{arg}}\mathop {\min }\limits_\varPsi\Big ({\left\| {{\pmb {y}} - \varPhi \varPsi {{\pmb s}^{{{(J)}}}}} \right\|^2} + \\ & {\rm \lambda} {\left\| {{{(\varPhi \varPsi )}^{\rm T}}\varPhi \varPsi - {G_\Lambda }} \right\|^2}\Big) \end{align} $$ (23) 同时更新$ J $值, 即$ J = J+1 $.
3. 实验
为了验证本文提出算法的有效性, 本实验通过Matlab实现了多视点稀疏测量的图像重建算法, 并利用了斯坦福提供的公共测试序列[28]分析算法的适用性.
基于分块的稀疏求解方法常用于图像恢复[29], 因而, 我们对EPI图像进行分块处理.针对分块大小的选择, 分别测试了由2$ \times $2、4$ \times $4、8$ \times $8三种块大小训练生成的稀疏表示基的重建误差. 其中, 稀疏表示基的向量个数非常重要, 需要测试基向量个数变化对于重建结果的影响. 因此, 该参数测试实验分析了不同分块情况下, 重建误差随着基向量个数变化的曲线情况, 如图 5所示.其中, 重建误差用原始图像与重建图像的均方根误差衡量.
图 5 基向量个数与重建误差的关系Fig. 5 The relationship between the number of base vectors and reconstruction error从结果可以看出, 对于2$ \times $2的分块大小, 基向量个数的变化对于重建误差没有很大影响; 对于4$ \times $4和8$ \times $8的分块大小, 相同基向量情况下, 重建误差随着块增大逐渐变小, 但误差减小的幅度逐渐趋于平缓; 8$ \times $8分块具有更低的重建误差.因此, 本文采用8$ \times $8作为实验的分块大小.
为了验证本文算法的有效性, 对比测试了三种算法: 基于傅里叶基的压缩传感矩阵算法[9]、基于小波基的压缩传感矩阵算法[19]以及本文提出的基于多视点稀疏测量约束的压缩传感矩阵算法. 算法的参数设置如表 1所示: 1)三种算法的输入为相同的8组斯坦福公共测试序列; 2)压缩传感矩阵分别采用了传统的基于傅里叶基的压缩传感矩阵、前沿方法的基于小波基的压缩传感矩阵、本文提出的基于多视点稀疏测量约束的压缩传感矩阵, 该部分是导致三种算法差异的主要参数; 3)采样点数均为原采样点数量的一半; 4)测量均使用本文提出的多视点间隔测量矩阵.
表 1 算法参数说明Table 1 Algorithm parameter description重建方法 测试序列 压缩传感矩阵 采样点倍数 测量矩阵 傅里叶频域滤波重建 8组斯坦福公共测试序列 基于傅里叶基 0.5 多视点间隔测量矩阵 小波基稀疏重建 8组斯坦福公共测试序列 基于小波基 0.5 多视点间隔测量矩阵 多视点稀疏测量约束重建 8组斯坦福公共测试序列 基于多视点稀疏测量约束 0.5 多视点间隔测量矩阵 实验结果如图 6主观质量对比图所示, 其中图 6(a)为原始图像, 为了便于分析图片细节, 用方框截出来部分图片放大进行分析; 图 6(b)为基于傅里叶基的还原结果, 图 6(c)为基于小波基的重建结果, 图 6(d)为基于本文重多视点稀疏测量约束方法的重建结果.在与原始图像的对比中可以看到, 基于小波基的重建结果整体图像较为模糊, 有重影等现象存在, 这与理论结果相符; 基于小波基的重建图像整体清晰度高于基于傅里叶基的重建结果, 但是图像边缘位置容易模糊, 且有少部分图像出现重影; 基于本文方法的重建结果整体图像最为清晰, 边缘部分基本上无失真还原, 无重影现象.
图 6 主观质量对比图((a)原始图像; (b)傅里叶频域滤波; (c)小波基稀疏重建; (d)本文重建方法)Fig. 6 Subjective quality comparison chart ((a) Original image; (b) Fourier frequency domain filtering; (c) Wavelet base sparse reconstruction; (d) Reconstruction method)表 2和表 3显示了用PSNR和SSIM两种方法评价的重建客观质量结果. 从中可以清晰地看到, 基于傅里叶基方法的重建图像PSNR、SSIM值最差, 基于小波基的方法对于PSNR、SSIM有所提高, 而用本文方法重建出来的PSNR、SSIM结果最好, 这与主观图像实验结果相符.
表 2 重建图像客观质量PSNR (平均值)比较Table 2 Comparison of objective quality PSNR (average) of reconstructed images重建方法 测试序列 Bracelet Bunny Cards and ball Chess Jelly Beans Knights Bulldozer Truck 傅里叶频域滤波重建 0.84 0.93 0.80 0.92 0.95 0.85 0.78 0.91 小波基稀疏重建 0.95 0.81 0.94 0.95 0.98 0.94 0.92 0.96 多视点稀疏测量约束重建 0.97 0.94 0.97 0.96 0.96 0.98 0.95 0.94 表 3 重建图像客观质量SSIM (平均值)比较Table 3 Comparison of objective quality SSIM (average) of reconstructed images重建方法 测试序列 Bracelet Bunny Cards and ball Chess Jelly Beans Knights Bulldozer Truck 傅里叶频域滤波重建 23.06 34.22 22.15 30.44 34.33 25.01 23.66 33.13 小波基稀疏重建 30.15 36.56 30.33 34.61 39.30 32.64 31.34 40.76 多视点稀疏测量约束重建 37.39 39.63 36..35 39.21 38.40 37.34 41.32 40.29 4. 结语
本文描述了一种从给定的稀疏视点通过相应的测量矩阵训练稀疏表示基, 优化求解原始EPI图分块, 进而重建稠密视点图象的方法.本文算法构建了均匀间隔采样的稀疏视点测量矩阵, 并基于该矩阵约束训练稀疏基, 进而求解基于多视点稀疏测量约束传感矩阵的压缩感知框架, 重建稠密多视点图像.通过仿真实验结果表明, 本文提出的方法在给定少量视点情况下, 重建稠密视点图象是非常有效的.提出的重建算法可应用于虚拟视点合成、多视点视频压缩后处理以及虚拟现实等.
-
图 1 传统作用于最高层网络的注意力机制融入
Fig. 1 Model with traditional attention mechanism based on top-layer merge
图 2 层内融合方式的层级注意力机制融入
Fig. 2 Model with hierarchical attention mechanism based on inner-layer merge
图 3 跨层融合方式的层级注意力机制融入
Fig. 3 Model with hierarchical attention mechanism based on cross-layer merge
图 4 融入变分信息瓶颈后的神经机器翻译模型
Fig. 4 NMT model after integrating variational information bottleneck
图 6 英−越翻译任务的译文长度评测
Fig. 6 Translation length evaluation of English-Vietnamese translation task
表 1 语料组合结构示例
Table 1 Examples of the combined corpus structure
语料类别 源语言语料 目标语言语料 原始语料 $ {D}_{a} $ $ {D}_{b} $ 单语语料 $ {D}_{x} $ — 伪平行语料 $ {D}_{x} $ $ {D}_{y} $ 组合语料 $ {D}_{b}+{D}_{y} $ $ {D}_{a}+{D}_{x} $ 
下载: 导出CSV
表 2 平行语料的构成
Table 2 The composition of parallel corpus
语料类型 数据集 语言对 训练集 验证集 测试集 小规模平行语料 IWSLT15 ${\rm{en} }\leftrightarrow {\rm{vi} }$ 133 K 1553 1268 IWSLT15 ${\rm{en}}\leftrightarrow {\rm{zh}} $ 209 K 887 1261 IWSLT15 ${\rm{en}}\leftrightarrow {\rm{de}} $ 172 K 887 1565 大规模平行语料 WMT14 ${\rm{en}}\leftrightarrow {\rm{de}} $ 4.5 M 3003 3000 注: en: 英语, vi: 越南语, zh: 中文, de: 德语.
下载: 导出CSV
表 3 实验使用的单语语料的构成, 其中越南语使用本文构建的单语语料
Table 3 The composition of monolingual corpus, in which Vietnamese was collected by ourselves
翻译任务 语言 数据集 句数 (M) 单语语料 $ {\rm{en} }\leftrightarrow {\rm{vi} } $ en GIGAWORD 22.3 vi None 1 $ {\rm{en} }\leftrightarrow {\rm{zh} } $ en GIGAWORD 22.3 zh GIGAWORD 18.7 ${\rm{en} }\leftrightarrow {\rm{de}}\;{\rm{(IWSLT15)} }$ en WMT14 18 de WMT14 17.3 ${\rm{en} }\leftrightarrow {\rm{de}}\;{\rm{(WMT14)} }$ en WMT14 18 de WMT14 17.3
下载: 导出CSV
表 4 BLEU值评测结果(%)
Table 4 Evaluation results of BLEU (%)
模型 BLEU en→vi vi→en en→zh zh→en en→de
(IWSLT15)de→en
(IWSLT15)en→de
(WMT14)de→en
(WMT14)RNNSearch 26.55 24.47 21.18 19.15 25.03 28.51 26.62 29.20 RNNSearch+CA 27.04 24.95 21.64 19.59 25.39 28.94 27.06 29.58 RNNSearch+VIB 27.35 25.12 21.94 19.84 25.77 29.31 27.27 29.89 RNNSearch+CA+VIB 27.83* 25.61* 22.39 20.27 26.14* 29.66* 27.61* 30.22* $\triangle $ +1.28 +1.14 +1.21 +1.12 +1.11 +1.15 +0.99 +1.02 Transformer 29.20 26.73 23.69 21.61 27.48 30.66 28.74 31.29 Transformer+CA 29.53 27.00 23.95 21.82 27.74 30.98 28.93 31.51 Transformer+VIB 29.96 27.38 24.30 22.13 28.04 31.24 29.16 31.75 Transformer+CA+VIB 30.17* 27.56* 24.43 22.32 28.11* 31.35* 29.25* 31.89* $\triangle $ +0.97 +0.83 +0.74 +0.71 +0.63 +0.69 +0.51 +0.60 注: $\triangle $表示融入CA+VIB后相较基准系统的BLEU值提升, * 表示利用bootstrap resampling[37] 进行了显著性检验 ($ p<0.05 $)
下载: 导出CSV
表 6 RIBES值评测结果(%)
Table 6 Evaluation results of RIBES (%)
翻译方向 基础翻译模型 单语
语料基准
模型跨层注意力 跨层注意力+
变分信息瓶颈en→vi vi→en vi 74.38 75.07 75.83 vi→en en→vi en 74.29 74.70 75.64 en→zh zh→en zh 72.87 73.33 73.83 zh→en en→zh en 71.81 72.25 72.55 en→de
(IWSLT15)de→en de 79.81 80.14 80.96 de→en
(IWSLT15)en→de en 78.48 78.88 79.61 en→de
(WMT14)de→en de 80.15 80.40 81.29 de→en
(WMT14)en→de en 79.33 79.52 80.07
下载: 导出CSV
表 5 与其他半监督方法的比较(en-de)
Table 5 Comparison between our work and different semi-supervised NMT approach (en-de)
模型 翻译方向 基础翻译模型 单语语料 BLEU Zhang et al. (2018) en→de de→en de 23.60 de→en en→de en 27.98 this work en→de de→en de 24.73 de→en en→de en 28.65
下载: 导出CSV
表 7 中−英翻译实例
Table 7 Chinese-English translation examples
源句 参考译文 真实译文 火车被发现
已经开走了It was found that the train had already left [TA] Found that the
the train had gone[CA] It was found that the the train had left away [CA+VIB] It was found that the train had left
下载: 导出CSV
-
[1] Sutskever I, Vinyals O, Le Q V. Sequence to sequence learning with neural networks. In: Proceedings of the 27th International Conference on Neural Information Processing Systems. Montreal, Canada: MIT Press, 2014. 3104−3112 [2] Bahdanau D, Cho K, Bengio Y. Neural machine translation by jointly learning to align and translate. In: Proceedings of the 3rd International Conference on Learning Representations (ICLR). San Diego, USA, 2015. 1−15 [3] 蒋宏飞, 李生, 张民, 赵铁军, 杨沐昀. 基于同步树序列替换文法的统计机器翻译模型. 自动化学报, 2009, 35(10): 1317−1326 doi: 10.3724/SP.J.1004.2009.01317Jiang Hong-Fei, Li Sheng, Zhang Min, Zhao Tie-Jun, Yang Mu-Yun. Synchronous tree sequence substitution grammar for statistical machine translation. Acta Automatica Sinica, 2009, 35(10): 1317−1326 doi: 10.3724/SP.J.1004.2009.01317 [4] 李亚超, 熊德意, 张民. 神经机器翻译综述. 计算机学报, 2018, 41(12): 2734−2755 doi: 10.11897/SP.J.1016.2018.02734Li Ya-Chao, Xiong De-Yi, Zhang Min. A survey of neural machine translation. Chinese Journal of Computers, 2018, 41(12): 2734−2755 doi: 10.11897/SP.J.1016.2018.02734 [5] Kingma D P, Rezende D J, Mohamed S, Welling M. Semi-supervised learning with deep generative models. In: Proceedings of the 27th International Conference on Neural Information Processing Systems. Montreal, Canada: MIT Press, 2014. 3581−3589 [6] Kingma D P, Welling M. Auto-encoding variational bayes. In: Proceedings of the 2nd International Conference on Learning Representations (ICLR). Banff, Canada, 2014. [7] Zhang B, Xiong D Y, Su J S, Duan H, Zhang M. Variational neural machine translation. In: Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing (EMNLP 2016). Austin, USA: Association for Computational Linguistics, 2016. 521−530 [8] Sennrich R, Haddow B, Birch A. Improving neural machine translation models with monolingual data. In: Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics. Berlin, Germany: Association for Computational Linguistics, 2016. 86−96 [9] Socher R, Pennington J, Huang E H, Ng A Y, Manning C D. Semi-supervised recursive autoencoders for predicting sentiment distributions. In: Proceedings of the 2011 Conference on Empirical Methods in Natural Language Processing (EMNLP). Edinburgh, UK: Association for Computational Linguistics, 2011. 151−161 [10] Ammar W, Dyer C, Smith N A. Conditional random field autoencoders for unsupervised structured prediction. In: Proceedings of the 27th International Conference on Neural Information Processing Systems. Montreal, Canada: MIT Press, 2014. 3311−3319 [11] Belinkov Y, Durrani N, Dalvi F, Sajjad H, Glass J. What do neural machine translation models learn about morphology? In: Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics. Vancouver, Canada: Association for Computational Linguistics, 2017. 861−872 [12] Alemi A A, Fischer I, Dillon J V, Murphy K. Deep variational information bottleneck. In: Proceedings of the 5th International Conference on Learning Representations (ICLR). Toulon, France: OpenReview.net, 2017. [13] Nguyen T T, Choi J. Layer-wise learning of stochastic neural networks with information bottleneck. arXiv: 1712.01272, 2017. [14] Yang Z C, Yang D Y, Dyer C, He X D, Smola A, Hovy E. Hierarchical attention networks for document classification. In: Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies. San Diego, USA: Association for Computational Linguistics, 2016. 1480−1489 [15] Pappas N, Popescu-Belis A. Multilingual hierarchical attention networks for document classification. In: Proceedings of the 8th International Joint Conference on Natural Language Processing. Taipei, China: Asian Federation of Natural Language Processing, 2017. 1015−1025 [16] Zhang Y, Wang Y H, Liao J Z, Xiao W D. A hierarchical attention Seq2seq model with CopyNet for text summarization. In: Proceedings of the 2018 International Conference on Robots and Intelligent System (ICRIS). Changsha, China: IEEE, 2018. 316−320 [17] Miculicich L, Ram D, Pappas N, Henderson J. Document-level neural machine translation with hierarchical attention networks. In: Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing. Brussels, Belgium: Association for Computational Linguistics, 2018. 2947−2954 [18] Zhang B, Xiong D Y, Su J S. Neural machine translation with deep attention. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2020, 42(1): 154−163 doi: 10.1109/TPAMI.2018.2876404 [19] Ueffing N, Haffari G, Sarkar A. Semi-supervised model adaptation for statistical machine translation. Machine Translation, 2007, 21(2): 77−94 doi: 10.1007/s10590-008-9036-3 [20] Bertoldi N, Federico M. Domain adaptation for statistical machine translation with monolingual resources. In: Proceedings of the 4th Workshop on Statistical Machine Translation. Athens, Greece: Association for Computational Linguistics, 2009. 182−189 [21] Klementiev A, Irvine A, Callison-Burch C, Yarowsky D. Toward statistical machine translation without parallel corpora. In: Proceedings of the 13th Conference of the European Chapter of the Association for Computational Linguistics. Avignon, France: Association for Computational Linguistics, 2012. 130−140 [22] Zhang J J, Zong C Q. Learning a phrase-based translation model from monolingual data with application to domain adaptation. In: Proceedings of the 51st Annual Meeting of the Association for Computational Linguistics. Sofia, Bulgaria: Association for Computational Linguistics, 2013. 1425−1434 [23] Ravi S, Knight K. Deciphering foreign language. In: Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics: Human Language Technologies. Portland, USA: Association for Computational Linguistics, 2011. 12−21 [24] Dou Q, Vaswani A, Knight K. Beyond parallel data: Joint word alignment and decipherment improves machine translation. In: Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP). Doha, Qatar: Association for Computational Linguistics, 2014. 557−565 [25] Cheng Y, Xu W, He Z J, He W, Wu H, Sun M S, et al. Semi-supervised learning for neural machine translation. In: Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics. Berlin, Germany: Association for Computational Linguistics, 2016. 1965−1974 [26] Skorokhodov I, Rykachevskiy A, Emelyanenko D, Slotin S, Ponkratov A. Semi-supervised neural machine translation with language models. In: Proceedings of the 2018 AMTA Workshop on Technologies for MT of Low Resource Languages (LoResMT 2018). Boston, USA: Association for Machine Translation in the Americas, 2018. 37−44 [27] Artetxe M, Labaka G, Agirre E, Cho K. Unsupervised neural machine translation. In: Proceedings of the 6th International Conference on Learning Representations (ICLR 2018). Vancouver, Canada: OpenReview.net, 2018. [28] Lample G, Ott M, Conneau A, Denoyer L, Ranzato M A. Phrase-based and neural unsupervised machine translation. In: Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing. Brussels, Belgium: Association for Computational Linguistics, 2018. 5039−5049 [29] Burlot F, Yvon F. Using monolingual data in neural machine translation: A systematic study. In: Proceedings of the 3rd Conference on Machine Translation: Research Papers. Brussels, Belgium: Association for Computational Linguistics, 2018. 144−155 [30] Tishby N, Pereira F C, Bialek W. The information bottleneck method. arXiv: physics/0004057, 2000. [31] Eikema B, Aziz W. Auto-encoding variational neural machine translation. In: Proceedings of the 4th Workshop on Representation Learning for NLP (RepL4NLP-2019). Florence, Italy: Association for Computational Linguistics, 2019. 124−141 [32] Su J S, Wu S, Xiong D Y, Lu Y J, Han X P, Zhang B. Variational recurrent neural machine translation. In: Proceedings of the 32nd AAAI Conference on Artificial Intelligence. New Orleans, USA: AAAI, 2018. 5488−5495 [33] Kingma D P, Ba L J. Adam: A method for stochastic optimization. In: Proceedings of the 3rd International Conference on Learning Representations (ICLR 2015). San Diego, USA, 2014. [34] Sennrich R, Zhang B. Revisiting low-resource neural machine translation: A case study. In: Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics (ACL2019). Florence, Italy: Association for Computational Linguistics, 2019. 211−221 [35] Papineni K, Roukos S, Ward T, Zhu W J. BLEU: A method for automatic evaluation of machine translation. In: Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics (ACL). Philadelphia, USA: Association for Computational Linguistics, 2002. 311−318 [36] Isozaki H, Hirao T, Duh K, Sudoh K, Tsukada H. Automatic evaluation of translation quality for distant language pairs. In: Proceedings of the 2010 Conference on Empirical Methods in Natural Language Processing. Cambridge, USA: Association for Computational Linguistics, 2010. 944−952 [37] Koehn P. Statistical significance tests for machine translation evaluation. In: Proceedings of the 2004 Conference on Empirical Methods in Natural Language Processing (EMNLP2004). Barcelona, Spain: Association for Computational Linguistics, 2004. 388−395 [38] Zhang Z R, Liu S J, Li M, Zhou M, Chen E H. Joint training for neural machine translation models with monolingual data. In: Proceedings of the 32nd AAAI Conference on Artificial Intelligence and the 30th Innovative Applications of Artificial Intelligence Conference and the 8th AAAI Symposium on Educational Advances in Artificial Intelligence. New Orleans, USA: AAAI Press, 2018. Article No. 69 期刊类型引用(1)
1. 白宗龙，师黎明，孙金玮. 基于自适应LASSO先验的稀疏贝叶斯学习算法. 自动化学报. 2022(05): 1193-1208 . 
本站查看其他类型引用(1)
-
下载:
计量
- 文章访问数: 1354
- HTML全文浏览量: 629
- PDF下载量: 210
- 被引次数: 2
