A New Video Compression Encoding Algorithm Combining Frame Rate Conversion With HEVC Standard
-
摘要: 相比于之前主流的H.264视频压缩编码标准，HEVC在保证重建视频质量相同的前提下，可以将码率降低近50%，节省了传输所需的带宽.即便如此，由于一些特定的网络带宽限制，为继续改善HEVC视频编码性能，进一步提升对视频的压缩效率仍然是当前研究的热点.本文提出一种HEVC标准编码与帧率变换方法相结合的新型的视频压缩编码算法，首先在编码端，提出一种自适应抽帧方法，降低原视频帧率，减少所需传输数据量，对低帧率视频进行编解码；在解码端，结合从HEVC传输码流中提取的运动信息以及针对HEVC编码特定的视频帧的分块模式信息等，对丢失帧运动信息进行估计；最后，通过本文提出的改进基于块覆盖双向运动补偿插帧方法对视频进行恢复重建.实验结果证实了本文所提算法的有效性.Abstract: Compared to the video coding standard H.264, the bit rate of HEVC can be reduced nearly by 50% with the same quality of reconstructed video. So HEVC can greatly save the bandwidth used for transmission. Even so, the transmission of video is still subject to the bandwidth of some special network. In order to further enhance the performance of HEVC, the work of further enhancing the video compression ratio is a hot issue. This paper proposes a new algorithm for video coding that combines HEVC with the technique of frame rate conversion. First, on the encoding side, the paper puts forward an adaptive frame-skip scheme to reduce the original video frame rate, so that the requirement for transmitting data is reduced. Then, the low frame rate video is encoded. On the decoding side, the algorithm uses the information of motion vector and special pattern of block for encoded video frames, which are extracted from the HEVC transmission stream, to reconstruct the video. Moreover, this algorithm can estimate the motion vector of the missing frames. Finally, the algorithm reconstructs the video using the proposed method based on block cover bidirectional motion compensation interpolation. Experimental results confirm the effectiveness of the proposed algorithm.
-
Key words:
- Frame rate conversion /
- HEVC /
- adaptive frame-skip /
- block coverage /
- motion compensation interpolation
-
基于低秩的模型是近年来处理高维数据的新工具, 它的兴起受到稀疏表示和压缩感知理论[1-2]的推动, 由此系统而快速地发展出很多理论和应用.因此, 结构性的低秩表示也引起了许多视觉领域学者与专家的重视.但在现实环境中, 我们很少能见到绝对的低秩结构, 这是由于拍摄角度, 噪声等因素对获取图像造成的畸变和干扰, 例如仿射变换、旋转变换和投影变换等, 这些变换直接限制了相关视觉任务的性能.因此, 从原始图像的复杂变换中提取出具有鲁棒性的高语义结构特征, 成为许多计算机视觉任务的热门方向.很多对于图像变换纹理不变性的研究开始在一些视觉任务, 例如目标识别[3]、图像拼接[4]、视频分析[5]和3D重建[6]等中大量涌现.为了从受到变换干扰的图像中提取出其内在的低秩结构信息, 并排除这些干扰量, Zhang等提出了具有变noindent换不变特性的低秩纹理映射算法(Transform invariant low-rank textures, TILT)[7].
TILT是一种利用低秩性与噪声的稀疏性进行低秩纹理恢复的算法, 可以从具有一定仿射变换、旋转变换干扰的二维图像中恢复出低秩纹理结构.它的思想是通过几何变换把数据矩阵所代表的图像区域校正过来, 例如具有横平竖直、对称等特性, 这些特性可以通过低秩性来进行刻画.
基于TILT, 在文献[8]中, Zhang等提出在不使用先验知识的前提下通过对称几何理论来缓解影射图像匹配中的变换问题.该方法基于现实世界中物体具有的对称特性, 减小影射图像和原始图像关键点之间的匹配误差, 这种不使用先验知识的方法极大地提升了关键点的匹配精度.更进一步, Zhang等在文献[9]中提出学习一种结构化的低秩表示, 该方法通过引入一个稀疏的低秩目标函数, 有助于识别图像的分类标签, 从而提高低秩图像在图像分类任务上的性能. Zhang等还考虑了基于广义柱体表面的变换不变低秩纹理模型[10], 用于人造建筑物表面的纹理提取.该方法还被进一步拓展应用到了建筑物几何模型[11], 相机自动校准和镜头畸变自动校正[12], 字符校正与识别[13]等.在文献[14]中, Lin等特别研究了TILT基于线性自适应惩罚交替方向法(Linearized alternating direction method, LADM)的快速算法, 把求解奇异值分解的计算速度提高了5倍以上. Zhang等用它来解决影射变换下图像校正的问题[15], 取得了一定的效果.
图 1举例说明了使用TILT模型进行图像校正的效果.其中, 图 1(a)~(d)为4张包含低秩纹理的原始图像, 图 1(e)~(h)为经过TILT算法转换处理得到的低秩纹理图像.现存的大多数方法都是将此问题看作是一个"转换问题", 从图 1(c), (d), (g), (h)的转换结果可以发现, 由于图像拍摄的背景区域相对复杂, 虽然主体物体具有很好的低秩特性, 但是背景区域像素组成的噪声矩阵占据像素比例较高, 不具有明显的低秩特性.例如图 1(d), 当背景区域和主体物体是由不同纹理和结构组成时, 换句话说, 当背景和主体物体不能由一个较低的低秩矩阵进行线性表示时(即图像矩阵是由两种不同特性的矩阵叠加而成), 转换的思想就无法将图像整体转换成较优的低秩图像.为了跳出图像中不具有明显的低秩特性区域的干扰, 本文转换思路, 尝试直接对图像进行低秩整合, 提出了低秩纹理生成对抗网络LR-GAN, 利用生成式思想去产生高质量的低秩纹理图像.本文的主要贡献包括: 1)对之前提出方法的局限性进行详细研究之后, 尝试使用生成式框架来缓解图像中不具明显低秩特性区域的校正结果不理想的问题, 从而实现了使用一种自动生成方法取代转换方法来解决低秩纹理问题; 2)提出了低秩纹理生成对抗网络(Low-rank generative adversarial network, LR-GAN), 使用TILT做引导, 利用传统的机器学习方法来辅助LR-GAN的学习过程, 整体而言该网络是一种非监督式学习方法, 这种端对端(由图像生成图像)的网络减少了整个网络的训练复杂度; 3)为了得到超越传统方法效果的模型, 经过一定次数TILT的引导之后, 设计并加入低秩梯度滤波层, 该层在保证图像质量的前提下, 尽可能地的确保低秩约束, 从而使最终生成的图像既具有高质量又具有更低的秩.
1. 从转换到生成
从视觉任务的结果来看, 压缩感知和深度学习都让我们能够在像素级别上处理图像的全局信息.无论是来自数学理论的压缩感知低维模型, 还是来自海量数据与训练网络的深度神经网络模型, 两者的结果都可以得到同样强大且可扩展的算法, 并且其流程与结构也有很多相似之处, 甚至可以用低维模型来解释深度神经网络理论的有效性.由此可以看出, 压缩感知对于深度学习具有一定的理论指导意义.众所周知, 深度学习对大量标签数据的依赖显而易见, 启发式的有监督学习也成为抑制深度学习纵向发展的一个潜在要素.机器学习领域一直都在探索使用尽量少的标签数据, 希望实现从监督式学习到半监督式学习, 再到无监督式学习的转化.如果能将压缩感知算法与神经网络、深度模型以及当今GPU强大的并行处理能力结合起来去解决相关的视觉问题, 特别是进行深度生成式模型的研究, 对于提高算法的运行效率至关重要, 计算成本也会大幅降低.
1.1 低秩表示
来自于现实世界中的图像作为像素的集合, 其本身就具有对称性与规律性.事实上, 对于未加旋转的图像, 可以将其建模成是一个带噪声的低秩矩阵.当图像由端正发生旋转时, 图像的原始对称性和自相似性就会被破坏, 即各行像素间的线性相关性被这些干扰量破坏, 因此矩阵的秩就会增加.
在TILT算法中, 将一个位于平面空间${\bf{R}}^2$上的二维图像看作是一个矩阵$\chi\left(x, y\right)\in{\bf{R}}^2$, 图像是转变视角后再观察低秩纹理图像所获取的图像, 用数学公式可以表述为
$ \begin{align}\overline{\chi}\left( x, y \right) =\chi\circ \tau ^{-1}\left( x, y \right) =\chi\left( \tau ^{-1}\left( x, y \right) \right) \end{align} $
(1) 其中, $\tau $: $ {\bf{R}}^2\rightarrow {\bf{R}}^2 $是一个希望得到的旋转变换函数.显然, 经过$\tau $转换过的图像已经不再是一个低秩矩阵.由于从现实世界中观察得到的原始图像除去空间转换的干扰外, 还会受到许多未知噪声、遮挡与背景环境的影响, 为了能去除它们的影响, 将模型化的噪声变量$E$引入算法.
$ \begin{align}\overline{\chi} = (\chi + E) \circ {\tau ^{ - 1}}\end{align} $
(2) 此处的噪声矩阵$E$通常是一个稀疏矩阵.在低秩表示模型中, 该方法要解决的主要问题可以描述为:给定一个经过旋转变化和噪声干扰的图像$ \overline{\chi }=$ $( \chi$ $+$ $E) \circ \tau ^{-1} $, 从中恢复出低秩纹理图像, 确定其中的转换变量$\tau$并且最小化噪声变量的干扰.这个过程可以导出如下形式的优化问题:
$ \begin{align} &\mathop {\min }\limits_{\chi, E, \tau }( \text{rank}(\chi) + \gamma \|E\|_0)\nonumber\\ &{\rm s.t.}\quad {\overline{\chi}\circ \tau = \chi + E} \end{align} $
(3) 式中, ${\rm{rank(*)}}$是秩函数, $\| E \|_0$表示噪声矩阵$E$的$L_0$范数, 用来表示噪声矩阵的稀疏度.为了防止过拟合, 引入常量$\gamma>0$作为平衡纹理矩阵的秩与噪声矩阵稀疏度这两者的权重因子.
从本质上说, TILT算法是一种无监督的学习算法.它能够从相关联的高维数据中, 提取到数据间的内在同一性, 从而恢复其低维结构, 具有很高的应用潜力.所以, 我们试图将低秩模型表示问题与深度学习算法相结合, 让低秩模型为神经网络的有效性提供可能的解释, 同时在实际应用中发挥出色的效能.
1.2 生成对抗
Goodfellow等[16]在2014年提出了GAN的模型与思想.其中, 生成模型一般是指随机生成观测数据的模型, 是所有变量的全概率模型, 判别模型则是在给定观测变量值的前提下, 求目标变量的模型.该思想将生成器$G$和判别器$D$分别看做两个参加极大-极小游戏的双方玩家.双方不断相互对抗并且迭代优化的过程使得生成器和判别器的性能均不断提升, 当最终判别器的判别能力提升到一定程度, 并且无法正确判别数据来源时, 可以认为这个生成器已经学到了真实数据的分布[17].
由于生成对抗网络能够学习图像、声音和数据中的丰富分布, 而这些分布通常因为其具有明确的相似性, 所以很难去建模.与传统模型相比, GAN模型生成数据的复杂度与维度线性相关.因此, 生成对抗模型对于高维结构的表示与处理有很大意义.而低秩表示模型不仅具有严格的理论基石, 还在数据恢复、特征提取、图像处理和计算机视觉等方面表现出优良特性.近年来, 基于深度学习和稀疏表示学习的方法相互结合, 各自发挥其相应模块的优势, 形成了各种策略或特性下的深度神经网络模型, 应用于各种视觉任务.本文将低秩转换理论与深度生成对抗网络模型相融合.从转换思想过渡到生成思想, 从转换模型过渡到生成模型, 意在找到一种由原始图像直接生成得到低秩纹理图像的机制.
图 2给出了低秩纹理生成对抗网络的整体结构示意图. LR-GAN网络由两个主要模块组成:生成器网络和加入TILT的判别器网络. 图 2(a)是LR-GAN网络的整体算法流程; 图 2(b)生成器网络负责生成原始图像的低秩纹理图像; 图 2(c)判别器网络将生成器生成的图像和TILT算法转换之后的图像进行对抗学习; 图 2(d)为在训练后期加入的低秩梯度过滤层.
图 2 LR-GAN的网络结构示意图((a) LR-GAN网络的整体算法流程; (b)生成器网络负责生成原始图像的低秩纹理图像; (c)判别器网络将生成器生成的图像和TILT算法转换之后的图像进行对抗学习; (d)为在训练后期加入的低秩梯度过滤层)Fig. 2 The structure chart of LR-GAN ((a) The general framework of LR-GAN; (b) The Generator generates the low-rank texture image from the original image; (c) The Discriminator distinguishes between the generative image and the TILT image; (d) The layer of the low-rank gradient filter for training.)假设$\mathcal{X}=\left\{ \chi ^1, \chi ^2, \cdots, \chi ^N \right\} $, $\chi \in {\bf{R}}^{m\times n\times c}$是$N$个$m\times n$, $c$个通道的原始图像.在训练阶段, 通过TILT方法转换求得的样本被用于生成低秩纹理图像.用$G$和$D$分别作为生成器函数和判别器函数. $G$的输入为原始图像数据$\chi$, $D$的输入为TILT处理后的图像$\chi_{TILT}$和生成器生成的图像$Y$. 是由$G$生成的逼近原始数据分布$\chi_{TILT}$的样本.那么, LR-GAN的目标函数可以描述如下:
$ \begin{align} &\min\limits_G\max\limits_D\Big(\mathbb{E}_{TILT\left( \chi \right) \sim TILT\left( \mathcal{X} \right)}[ \log p( y=1|\nonumber\\ &\qquad TILT\left( \chi \right) , D )]+\nonumber\\ &\qquad \mathbb{E}_{\chi \sim \mathcal{X}}\left( \chi \right) \left[ \log \left( 1-p\left( y=1|G\left( \chi \right) , D \right) \right) \right]\Big) \end{align} $
(4) LR-GAN在TILT的帮助下将会很容易在最优点上收敛.经过迭代训练之, 输入原始图像$\chi$ $\in$ , 将会生成低秩纹理图像$Y=G\left( \mathcal{\chi} \right)$.
2. 低秩纹理生成对抗网络(LR-GAN)
深度卷积生成对抗网络(Deep convolutional generative adversarial networks, DCGAN)[18]是GAN目前一个很大的进步, 它利用深度卷积网络进行生成对抗网络的建模.对于图像处理问题, DCGAN相比于其他简单的全连接神经网络更具优势.并且与其他非监督方法相比较, 其判别网络提取到的图像特征更有效, 更适合用于图像识别与分类任务.它的生成网络不但能够保持生成图像之间的连续性, 还可以学习到有意义的过滤层, 并且在多数情况下的训练比较稳定. DCGAN通过融合全卷积神经网络对之前提到的GAN网络进行改进, 从而由输入图像生成输出图像.受此启发, 本文将TILT算法与加入低秩过滤层的DCGAN网络结合起来, 将低秩约束用于GAN中的端到端的无监督学习框架, 提出了低秩纹理生成对抗网络LR-GAN, 从原始图像中直接生成低秩纹理图像.
2.1 生成器网络架构
LR-GAN中使用$\chi \in {\bf{R}}^{m\times n\times c}$作为原始图像$m$ = $n=64$, $c=3$.生成网络整体上可以被看作是一个由编码到解码的网络, 编码器模块由4个卷积层(G-conv1~G-conv4)组成, 使用线性单元$ReLU$[19]作为每一个卷积层的非线性激活函数.为了防止采样的波动与模型的不稳定, 除G-conv4层之外, 对其余层均使用了批量规范化(Batch-normalization, BN)[20].思想是归一化当前层输入, 使它们的均值为0, 方差为1, 类似于归一化网络输入的方法.好处在于可以加速收敛, 并且加入BN的卷积神经网络模型受权重初始化的影响非常小, 具有非常好的稳定性.同时还有助于梯度传向更深层的网络, 对于提升卷积性能有很好效果.解码器使用3个反卷积层(G-deconv1~G-deconv3), 与编码器类似, $ReLU$被用作非线性激活函数.在训练阶段, 使用[21]激活函数输出生成的图片, 同时也作为关联函数为生成网络与判别网络建立起一个联系.
2.2 判别器网络架构
$Data=\left\{ \mathcal{\chi}_i \right\} _{i=1}^{K}\in \mathcal{X}$是训练集$\mathcal{X}$中的$K$个训练样本, TILT通过求解公式
$ \begin{align} & \min _{\chi_{TILT}, E, \tau}(\text{rank}\left( \chi_{TILT} \right) +\gamma \|E\|_0)\nonumber\\ &\quad\ \text{s.t}.\quad \chi\circ \tau =\chi_{TILT}+E \end{align} $
(5) 得到的低秩图像$\chi_{TILT}$用来在起初的训练过程中起到加速收敛的作用.
整体而言, 本方法是一种非监督式的低秩纹理生成方法, 训练时不使用任何标签数据.判别时将作为一组低秩对抗对, 同时加入到具有3个卷积层(D-conv1~D-conv3)的判别器中, 并且在判别器网络的每一个卷积层中使用修正线性单元$ReLU$的改进版$LeakyReLU$[22]作为非线性激活函数.为了保证判别器网络的鲁棒性与非饱和性, 在判别器中使用更为光滑的非饱和梯度的最小二乘损失函数[23].
$ \begin{align}&\underset{D}{\min}L\left( D \right) =\nonumber\\ &\qquad\frac{1}{2}E_{TILT\left( \chi \right) \thicksim TILT\left( \mathcal{X} \right)}\left[ \left( D\left( \chi_{TILT} \right) -1 \right) ^2 \!\right]+\nonumber\\[2mm] &\qquad\frac{1}{2}E_{\chi \thicksim \mathcal{X}}\left[ D\left( Y \right) ^2 \right] \end{align} $
(6) 同样, 将此损失函数应用到生成器中
$ \begin{align}\underset{G}{\min}L\left( G \right) =\frac{1}{2}E_{\chi \thicksim \mathcal{X}}\left[ \left( D(Y)-1 \right) ^2 \right] \end{align} $
(7) 3. 训练与优化
网络的训练整体可分为两个阶段:第一个阶段是使用TILT的训练阶段; 第二个阶段是同时使用了TILT和低秩梯度过滤层的联合微调阶段.
第一个阶段的学习目标是生成与$\chi_{TILT}$具有高相似度图像的同时, 确保该图像具有较低的低秩性.为了达到这个目标, 生成器应具有低秩约束的损失函数为
$ \begin{align}\underset{G}{\min}L\left( G \right) =\frac{1}{2}E_{\chi \thicksim \mathcal{X}}\left[ \left( D (Y)-1 \right) ^2 \right] +\lambda \left( \|\chi\|_* \right) \end{align} $
(8) 式(8)中, 用核范数$\|*\|_*$来逼近秩函数从而保证低秩约束; $\lambda$是用来平衡损失函数与规则项的超参数, 它使整个网络模型既可以充分学习原始图像的分布, 又具有低秩约束特性, 从而得到更好的生成效果.
在第一个阶段, 由于图像的低秩生成方向不明确, 所以网络训练的前期阶段较难收敛, 而TILT的加入给前期训练指明了一个低秩收敛方向.由于式(8)很难直接求解(NP难问题), 并且经过TILT引导生成的低秩图像也并不完美.为了进一步逼近其最优解, 设计了加入低秩梯度滤波层的生成网络来求解这一问题, 在与原始图像高度相似的同时保证了生成图像的低秩性.由此, 网络的第二个阶段是同时使用了TILT和低秩梯度过滤层的联合微调阶段.
3.1 低秩梯度过滤层的训练
可微的判别器网络在做了判别并得到误差梯度之后, 会将它的梯度回传给生成网络和判别网络.假设$w_t$是网络权重, $g_t$是第$t$次迭代后反向传播的梯度映射, 这里使用一种过滤梯度的策略以确保低秩约束.
$ \begin{align}\|\text{rank}\left( w_t\chi \right) -\text{rank}\left( w_{t+1}\chi \right) \|<\delta\end{align} $
(9) 值得注意的是, 为了平衡高相似度和低秩这两个目标, 在最初对$G$和$D$进行网络的训练时, 并没有加入低秩梯度滤波层.
3.2 权重的更新
经过多次迭代之后, 生成的图像与$\chi_{TILT}$有极高相似度.为了达到更低的秩, 低秩过滤层使用特殊的梯度过滤策略来过滤后向传播的梯度.在随机梯度下降(Stochastic gradient descent, SGD)[24]权值更新策略的基础上, 使用
$ \begin{align} &w_{t+1}=\notag\\ &\ \begin{cases} w_t-\alpha g_t, & \|\text{rank}\left( w_t\chi \right) -\text{rank}\left( w_{t+1}\chi \right) \|<\delta \\ w_t-\beta \alpha g_t, & \|\text{rank}\left( w_t\chi \right) -\text{rank}\left( w_{t+1}\chi \right) \|\ge \delta \end{cases} \end{align} $
(10) 来过滤梯度.式(10)中, $\alpha$为学习率, $\beta$为用来惩罚$g_t$的惩罚因子.在式(9)中, 如果$g_t$的更新具有较大的波动, $\delta$可以确保其在可控的范围内小幅波动.这种策略使生成图像的秩在升高的方向上有明显的衰减, 而在图像秩降低的方向上有更大的梯度秩, 确保了低秩相对于高秩所获得的收益更大, 从而达到低秩约束的效果.
每个原始图像在迭代过程中都具有两个收敛方向. TILT过程为网络前期的训练选择出了一个方向, 并且使整个网络处在一种非监督学习的状态. 图 3所示的手风琴图像中, 最低秩有两种情况, 分别是横放与竖放.在经过更多次迭代之后, 随着低秩梯度滤波层的加入, 使生成图像的秩向着更低的方向进行收敛, 从而能达到更为理想的低秩状态.
4. 实验结果与分析
实验部分将通过定性与定量的结果来验证该模型的性能.定性实验的第一个目标是研究低秩梯度滤波层的有效性, 第二个目标是评估LR-GAN网络从原始图像生成低秩图像的质量.为了定量评价LR-GAN算法的生成质量, 将其应用于有监督的数据集上, 并将生成图像用于分类识别任务, 使用Alex-net网络对算法生成的图像进行分类评估.整个网络框架在NVIDIA GeForce GTX 的Tensorflow上实现.本文使用MNIST, SVHN和FG-NET这三个公开数据集来测试低秩纹理生成对抗网络模型.在参数设置方面, 所有的实验中均设置$\beta = 0.1$, $\delta=4$.为了避免单个样本在训练时导致较大波动, 生成数据的采样和优化都通过小批量随机梯度下降法(Mini-batch stochastic gradient descent)进行.所有权重的初始化都服从均值为0, 方差为0.02的正态分布. LeakyReLU中, 模型的leak斜率设置为0.2.
4.1 MNIST数字校正
为了评估算法的有效性, 首先在较为简单与规则的图像上进行实验. MINST数据集[25]是用于评估机器学习模型的基准数据集, 共包含250个人的7万多张手写数字的图像.这里使用文献[26]中的方法, 将MNIST数据集中的手写数字图像都进行一定程度的扭曲变形.用随机的$-90^\circ$~$+90^\circ$之间的角度对数字图像进行旋转变换.图 4是MNIST数据集上的生成过程. 图 4(a)是形变的手写数字图像; 图 4(b)迭代过程中生成模型生成的手写数字; 图 4(c)最终生成的校正之后的手写数字图像.在迭代过程中观察生成图像的演变过程, 从图 4(b)的生成过程可以看出, 这时数字的角度发生初步变化, 数字结构也已经慢慢形成, 但是还有一些数字仍然存在欠缺. 图 4(c)为完成所有训练之后, 生成模型在最后一轮生成的图像.这时的生成的数字已经具有较好的质量与较强的辨识度, 秩值更低, 且与原始数字图像保持着高度的相似.模型在训练过程中的loss曲线如图 5所示, 上方生成模型和下方判别模型的损失函数都在逐渐收敛.尤其是在加入低秩梯度过滤层之后, 损失值的变化幅度很小.为了验证低秩整合层的作用, 并表现出秩的波动, 将图片调整为的尺寸.从图 6可以看出, 经过500次迭代, 将低秩梯度过滤层加入到网络中之后, 图像的平均秩有了明显下降.表 1统计了MNIST上的平均秩结果. 表 1中, 在扭曲变形之后的手写数字数据集上, 相比于TILT方法, LR-GAN网络可以达到更低的平均秩值.从模型的整个训练过程可以看出, 一开始生成数字的质量并不理想, 但其扭转方向的趋势比较理想.随着迭代次数的增加, 生成的数字质量越来越好, 模型的低秩特性也充分的体现出来, 直观地反映了两个网络之间的对抗学习关系.
图 5 MNIST数据集迭代过程中生成器与判别器的损失值变化Fig. 5 The loss of both the generator and the discriminator on MNIST during the iterations
图 6 MNIST数据集上生成器迭代过程中图像秩的变化Fig. 6 The changes of the rank during the generator iterations on MNIST表 1 MNIST与SVHN上的平均秩结果Table 1 The average rank on MNIST and SVHN datasetsmethod MNIST SVHN TILT 31 46 LR-GAN 29 40 LR-GAN + Filter 27 37 4.2 SVHN数字标牌校正
实验在街景门牌数据集(The street view house numbers dataset, SVHN)[27]上进行. SVHN数据集包含20多万张由谷歌街景车拍摄的房屋门牌号的RGB图像.每幅图像中均包含有1~3位数字.由于门牌的形状与风格各异, 再加上门牌上的数字空间排列变化较大, 因此, SVHN数据集中的图像相比于MNIST数据集中的单个数字图像多了一些具有近似低秩特性的区域.实验中使用$48\times48$大小的图像, 32尺寸的batch, 共进行了5000次迭代训练, 每10次生成一张图片并测试其秩的大小. 图 7是SVHN数据集上的生成过程. 图 7(a)原始的门牌号图像; 图 7(b)迭代过程中生成的初具辨识度的数字标牌图像; 图 7(c)最终迭代生成的数字标牌图像.从图 7(b)所示的生成过程中可以看出, 标牌上数字的大体结构已经形成, 但是能够表征数字标牌细节的特征还没有大量出现.随着迭代次数增长, 图 7(c)中数字标牌的辨识度越来越高, 与原始图像的细节相似度越来越好. SVHN数据集迭代过程中生成器与判别器的损失值如图 8所示.判别器和生成器的损失函数都呈现收敛的趋势, 并且可以看出两个模型的损失函数曲线存在强相关的关系, 在对抗过程中此消彼长.在网络的第3500次迭代中加入了低秩梯度过滤层, 图 9展示出图像秩的变化, 能够很好地反映低秩梯度过滤层对于低秩的约束效果.同时, 从表 1中SVHN上的平均秩结果可以看出, 在SVHN数据集上, 本方法得到的图像更具低秩性.本实验说明LR-GAN在具有近似低秩特性的图像背景下也可以获得较好的生成效果.
图 8 SVHN数据集迭代过程中生成器与判别器的损失值变化Fig. 8 The loss of both the generator and the discriminator on SVHN during the iterations
图 9 SVHN数据集上生成器迭代过程中图像秩的变化Fig. 9 The changes of the rank during the generator iterations on SVHN4.3 人脸校正
人脸校正在人脸检测与识别任务中起到至关重要的作用.为了验证文中的方法在人脸校正问题上的效果, 本部分使用FG-NET数据集[28].该数据集由82个人的1000多幅正面人脸图像组成.其中的人脸图像具有较多不规则细节, 纹理相对复杂, 且主体人脸的纹理结构特性与几何对称特性均不明显.实验结果如图 10所示, 图 10(a)原始人脸图像; 图 10(b)迭代过程中生成的人脸图像, 其视觉质量还有待提高; 图 10(c)最终生成的校正后的人脸图像.虽然人脸图像的低秩特性不太明显, 但其整体纹理结构的方向特征比较明确, 因此LR-GAN对于倾斜人脸的校正结果比较成功.生成的人脸图像可以慢慢从歪斜到摆正, 并且校正后人脸图像也高度相似于原始人脸图像.然而由于生成对抗网络的训练较不稳定, LR-GAN在人脸图像的生成质量上还有较大的提升空间.本部分实验将该数据集里的人脸图像大小调整为$ 64$像素$\times$ $64$像素, 并且使用512尺寸的batch. LR-GAN在该数据集上表现出了快速的收敛, 经过200次迭代后, 网络整体已经达到收敛状态.如图 11所示, 在相对复杂的人脸图像上, 整个网络在TILT的引导下快速的收敛.由于使用了较大的batch块, 并且每次迭代都会生成一张图像然后测量其秩的大小, 在100次迭代之后加入低秩梯度过滤层, 从图 12中可以看出, 在前100次迭代中人脸图像的生成过程, TILT在该数据集上的引导作用已经微乎其微, 图像的秩基本没有较大的变化, 而在加入低秩过滤层之后, 经过约200次迭代, 人脸图像的秩整体下降了约0~3的范围.
图 11 FG-NET数据集迭代过程中生成器与判别器的损失值变化Fig. 11 The loss of both the generator and the discriminator on FG-NET during the iterations
图 12 FG-NET数据集上生成器迭代过程中图像秩的变化Fig. 12 The changes of the rank during the generator iterations on FG-NET4.4 分类评估
为了定量评估生成图片的质量与生成网络的性能, 使用图像分类模型AlexNet网络分别对形变的MNIST数据集和SVHN数据集上生成得到的图像进行分类识别.用不做任何处理的数据集(no)和使用TILT进行低秩转换的图像(TILT)同时和文中所提的方法进行对比实验.识别效果如表 2和表 3所示.从表 2可以看出, 对于做了形变处理的MNIST数据集, 经过低秩整合后的图像在分类任务上的性能得到大幅的提升, 其中TILT提升了6.02%, 本文的方法提升了7.96%.在SVHN数据集上, 虽然背景区域的干扰较强, 但是相对于TILT, 文中所提的方法依然得到了97.56%的效果.
表 2 在形变的MNIST上的分类识别效果Table 2 The classification performance on distorted MNISTdatabase method mAp no 0.5701 MNIST TILT 0.6303 ours 0.6497 表 3 在SVHN上的分类识别效果Table 3 The classification performance on SVHNdatabase method mAp no 0.9609 SVHN TILT 0.9701 ours 0.9756 从以上实验可以看出, 将深度生成式神经网络与稀疏表示相结合得到的LR-GAN算法, 可以使学习到的特征有利于提升网络模型的整体泛化能力, 同时丰富了网络训练的各种技巧与策略.使其能够直接迁移应用于许多其他图像校正的实例中, 并且可以结合问题特性适当地引入低秩约束来增强其低秩性, 从而达到预期的生成效果.
5. 结论与展望
本文提出了一种非监督式的由图像生成图像的低秩纹理图像生成对抗网络(LR-GAN).该算法将低秩表示问题与深度生成式对抗网络相结合, 建立起一种由原始图像直接生成得到低秩纹理图像的机制.在训练早期, TILT的加入使整个模型成为非监督模型, 并且达到加速训练与引导低秩生成方向的效果.经过一定次数的迭代之后, 低秩梯度过滤层的加入提高了生成器的低秩生成能力, 而且在保证生成质量的同时, 增强了低秩约束.实验结果表明, LR-GAN网络在使用公共数据集下的平均秩变化优于现有的TILT方法.该算法能够有效处理不具明显低秩纹理特性图像的校正问题, 校正之后的图像具有较好的识别效果.在未来研究中, 可以结合不同图像问题的特性, 适当地引入低秩约束来增强其低秩性, 从而达到更理想的生成效果.另外, 对于该生成式网络自身的不稳定性以及泛化能力等将做相关的探讨与研究, 进一步完善算法.
同时, LR-GAN作为GAN的衍生模型, 除了是一种有效的生成式模型, 也是一个比较简单的平行系统[29].并且, 其作为一种基于深度学习的底层视觉问题, 我们有理由认为它将能够充分融入到平行视觉[30]的研究体系中, 助力于提升视觉模型的泛化能力.希望本文的工作有助于启发对深度学习与压缩感知螺旋式发展的持续探索.
-
表 1 本文算法与标准HM16.0码率及PSNR对比
Table 1 The comparison of bitrate and PSNR about proposed method and HM16.0
序列名称 QP HM16.0编码方法 本文算法 码率(Kbps) PSNR (dB) 码率(Kbps) PSNR (dB) Mobisode2_416 $\times$ 240 22 153.889 46.1768 116.31 44.284 27 102.877 44.5633 77.76 43.249 32 55.993 42.0227 42.115 41.339 37 32.224 39.5469 23.534 39.143 42 20.647 37.3411 14.99 37 PartyScene_832 $\times$ 480 22 5 498.261 34.1461 3 575.072 31.5 27 3 432.89 32.0024 2 287.624 30.084 32 1 527.853 28.6774 1 060.824 27.703 37 666.784 25.6876 475.32 25.263 42 303.951 23.5107 222.064 23.321 FourPeople_1280 $\times$ 720 22 2 787.105 42.447 2 007.235 41.766 27 1 488.774 41.1869 1 165.056 40.699 32 715.817 38.8563 595.181 38.57 37 387.899 36.0701 329.453 35.924 42 216.284 33.02 183.034 32.927 ParkScene_1920 $\times$ 1 080 22 5 332.273 38.1731 3 736.08 36.742 27 2 266.56 35.4312 1 613.404 34.566 32 700.955 31.8568 512.072 31.449 37 291.668 29.5234 215.176 29.296 42 134.253 27.8972 98.776 27.757 PeopleOnStreet_2 560 $\times$ 1 600 22 9 743.635 34.3938 6 512.658 31.08 27 5 535.946 31.5666 3 768.415 29.343 32 3 166.589 28.7697 2 181.695 27.431 37 1 934.102 26.4274 1 343.4 25.644 42 1 126.626 24.0122 785.935 23.687 
下载: 导出CSV
表 2 本文算法与标准HEVC码率节省对比
Table 2 The comparison of rate saving for proposed method and HEVC
序列名称 Mobisode2 PartyScene FourPeople ParkScene PeopleOnStreet 平均值 BD-rate (%) $-$14.8264 $-$12.3977 $-$11.5055 $-$15.1996 $-$12.0341 $-$13.1927
下载: 导出CSV
表 3 不同算法重建视频平均PSNR (dB)
Table 3 The average PSNR (dB) value of video reconstructed with different methods
序列名称 传统双向运动补偿插帧 文献[9] 本文算法 FourPeople 37.0147 37.3283 37.9772 ParkScene 31.125 31.4167 31.962 Mobile 26.7794 28.3065 28.6146 Tennis 30.1366 30.4844 30.7237
下载: 导出CSV
表 4 编码时间效率对比
Table 4 The comparison of coding time
序列名称 QP (dB) 标准HM16.0编码时间(s) 本文算法时间(s) $\Delta T$ (%) PartyScene_832 $\times$ 480 22 10717.161 5 892.436 $-$45.02 27 7 868.587 4 714.987 $-$40.08 32 5 986.152 3 403.753 $-$43.14 37 4 875.39 2 784.821 $-$42.88 42 4 057.444 2 211.079 $-$45.51 FourPeople_1 280 $\times$ 720 22 9 724.638 5 338.595 $-$45.1 27 7 885.048 4 838.479 $-$38.64 32 7 171.39 3 917.959 $-$45.37 37 6 850.932 3 673.508 $-$46.38 42 6 492.365 3 571.843 $-$44.98 ParkScene_1 920 $\times$ 1 080 22 36 263.066 19 216.03 $-$47.01 27 25 401.101 15 042.524 $-$40.78 32 20 704.785 11 547.355 $-$44.23 37 18 175.229 9 847.318 $-$45.82 42 16 256.87 8 745.239 $-$46.21 PeopleOnStreet_2 560 $\times$ 1 600 22 51 921.735 28 433.679 $-$45.24 27 39 493.22 23 313.14 $-$40.97 32 32 649.236 17 791.625 $-$45.51 37 28 675.298 15 602.986 $-$45.59 42 24 987.769 13 700.208 $-$45.17 平均 $-$44.1815
下载: 导出CSV
-
[1] Lee S H, Shin Y C, Yang S, Moon H H, Park R H. Adaptive motion-compensated interpolation for frame rate up-conversion. IEEE Transactions on Consumer Electronics, 2002, 48 (3):444-450 doi: 10.1109/TCE.2002.1037026 [2] Hilman K, Park H W, Kim Y M. Using motion-compensated frame-rate conversion for the correction of 3:2 pulldown artifacts in video sequences. IEEE Transactions on Circuits and Systems for Video Technology, 2000, 10 (6):869-877 doi: 10.1109/76.867925 [3] Kim D, Park H. An efficient motion-compensated frame interpolation method using temporal information for high-resolution videos. Journal of Display Technology, 2015, 11 (7):580-588 doi: 10.1109/JDT.2015.2417313 [4] Tsai T H, Shi A T, Huang K T. Accurate frame rate up-conversion for advanced visual quality. IEEE Transactions on Broadcasting, 2016, 62 (2):426-435 doi: 10.1109/TBC.2016.2550764 [5] Choi B T, Lee S H, Ko S J. New frame rate up-conversion using bi-directional motion estimation. IEEE Transactions on Consumer Electronics, 2000, 46 (3):603-609 doi: 10.1109/30.883418 [6] Choi B D, Han J W, Kim C S, Ko S J. Motion-compensated frame interpolation using bilateral motion estimation and adaptive overlapped block motion compensation. IEEE Transactions on Circuits and Systems for Video Technology, 2007, 17 (4):407-416 doi: 10.1109/TCSVT.2007.893835 [7] Kang S J, Cho K R, Kim Y H. Motion compensated frame rate up-conversion using extended bilateral motion estimation. IEEE Transactions on Consumer Electronics, 2007, 53 (4):1759-1767 doi: 10.1109/TCE.2007.4429281 [8] Kang S J, Yoo S J, Kim Y H. Dual motion estimation for frame rate up-conversion. IEEE Transactions on Circuits and Systems for Video Technology, 2010, 20 (12):1909-1914 doi: 10.1109/TCSVT.2010.2087832 [9] Hu H P, Liu G Y. A novel method for frame rate up-conversion. In: Proceedings of the 2011 International Conference on Image Analysis and Signal Processing (IASP). Wuhan, China: IEEE, 2011. 6-9 [10] Inseo H, Ho S J, Myung H S. A new motion compensated frame interpolation algorithm using adaptive motion estimation. Journal of the Institute of Electronics and Information Engineers, 2015, 52 (6):62-69 doi: 10.5573/ieie.2015.52.6.062 [11] Xu C, Chen Y Q, Gao Z Y, Ye Y Z, Shan T. Frame rate up-conversion with true motion estimation and adaptive motion vector refinement. In: Proceedings of the 4th International Congress on Image and Signal Processing (CISP). Shanghai, China: IEEE, 2011. 353-356 [12] Cao Y Z H, He X H, Teng Q Z, Wu W. Motion compensated frame rate up-conversion using soft-decision motion estimation and adaptive-weighted motion compensated interpolation. Journal of Computational Information Systems, 2013, 9 (14):5789-5797 [13] Kaviani H R, Shirani S. Frame rate upconversion using optical flow and patch-based reconstruction. IEEE Transactions on Circuits and Systems for Video Technology, 2016, 26 (9):1581-1594 doi: 10.1109/TCSVT.2015.2469120 [14] Lee W H, Choi K, Ra J B. Frame rate up conversion based on variational image fusion. IEEE Transactions on Image Processing, 2014, 23 (1):399-412 doi: 10.1109/TIP.2013.2288139 [15] 孙琰玥, 何小海, 宋海英, 陈为龙.一种用于视频超分辨率重建的块匹配图像配准方法.自动化学报, 2011, 37(1):37-43 http://www.aas.net.cn/CN/abstract/abstract17404.shtmlSun Yan-Yue, He Xiao-Hai, Song Hai-Ying, Chen Wei-Long. A block-matching image registration algorithm for video super-resolution reconstruction. Acta Automatica Sinica, 2011, 37 (1):37-43 http://www.aas.net.cn/CN/abstract/abstract17404.shtml [16] Kim U S, Sunwoo M H. New frame rate up-conversion algorithms with low computational complexity. IEEE Transactions on Circuits and Systems for Video Technology, 2014, 24 (3):384-393 doi: 10.1109/TCSVT.2013.2278142 [17] 鲁志红, 郭丹, 汪萌.基于加权运动估计和矢量分割的运动补偿内插算法.自动化学报, 2015, 41 (5):1034-1041 http://www.aas.net.cn/CN/abstract/abstract18677.shtmlLu Zhi-Hong, Guo Dan, Wang Meng. Motion-compensated frame interpolation based on weighted motion estimation and vector segmentation. Acta Automatica Sinica, 2015, 41 (5):1034-1041 http://www.aas.net.cn/CN/abstract/abstract18677.shtml [18] 马名浪, 何小海, 滕奇志, 陈洪刚, 卿粼波.基于自适应稀疏变换的指纹图像压缩.自动化学报, 2016, 42 (8):1274-1284 http://www.aas.net.cn/CN/abstract/abstract18916.shtmlMa Ming-Lang, He Xiao-Hai, Teng Qi-Zhi, Chen Hong-Gang, Qing Lin-Bo. Fingerprint image compression algorithm via adaptive sparse transformation. Acta Automatica Sinica, 2016, 42 (8):1274-1284 http://www.aas.net.cn/CN/abstract/abstract18916.shtml [19] Hong B, Eom M, Choe Y. Scene change detection using edge direction based on intra prediction mode in H.264/AVC compression domain. In: Proceedings of the 2006 IEEE Region 10 Conference. Hong Kong, China: IEEE, 2006. 1-4 [20] Yan C G, Zhang Y D, Xu J Z, Dai F, Zhang J, Dai Q H, Wu F. Efficient parallel framework for HEVC motion estimation on many-core processors. IEEE Transactions on Circuits and Systems for Video Technology, 2014, 24 (12):2077-2089 doi: 10.1109/TCSVT.2014.2335852 [21] Heithausen C, Vorwerk J H. Motion compensation with higher order motion models for HEVC. In: Proceedings of the 2015 IEEE International Conference on Acoustics, Speech, and Signal Processing (ICASSP). South Brisbane, QLD, Australia: IEEE, 2015. 1438-1442 [22] Lee S H, Kwon O, Park R H. Weighted-adaptive motion-compensated frame rate up-conversion. IEEE Transactions on Consumer Electronics, 2003, 49 (3):485-492 doi: 10.1109/TCE.2003.1233759 [23] Song H B, Men A D, Shi G J. A method for halo artifact reduction in MEMC. In: Proceedings of the 2009 Digest of Technical Papers International Conference on Consumer Electronics. Las Vegas, NV, USA: IEEE, 2009. 1-2 期刊类型引用(22)
1. 冯威，冯浩，肖立江，陈品明，刘东，王用鑫，周小生，孙怀凤，王震. 基于生成对抗网络的半航空瞬变电磁噪声数据扩充方法. 物探与化探. 2024(03): 812-819 . 
百度学术2. 马咏莉，李嘉培. 基于CycleGAN的透射文本图像复原. 智能计算机与应用. 2024(07): 211-215 . 百度学术3. 王子一，李光亚，张志艺，李旭卿，简丽. 基于D2GAN和颜色迁移的侯马盟书虚拟修复. 国外电子测量技术. 2023(09): 186-192 . 百度学术4. 陈善雄，朱世宇，熊海灵，赵富佳，王定旺，刘云. 一种双判别器GAN的古彝文字符修复方法. 自动化学报. 2022(03): 853-864 . 本站查看5. 魏宁，汪龙志，董方敏. 基于生成对抗网络的混合类型数据生成方法. 计算机应用与软件. 2022(06): 29-34 . 百度学术6. 郑凯，李建胜，王俊强，欧阳文，谷友艺，张迅. DCLS-GAN:利用生成对抗网络的天绘一号卫星高原地区影像去云方法. 测绘学报. 2021(02): 248-259 . 百度学术7. 张晋，谢珺，梁凤梅，续欣莹，董俊杰. 一种改进DCGANs网络的磁瓦缺陷图像生成方法研究. 小型微型计算机系统. 2021(03): 589-594 . 百度学术8. 王星凯，邓浩江，盛益强. 基于深度学习的智能推荐系统综述. 网络新媒体技术. 2021(01): 1-11+36 . 百度学术9. 吉训生，滕彬. 基于生成对抗网络的行人异常行为图像去模糊算法研究. 光电工程. 2021(06): 32-42 . 百度学术10. 马永杰，徐小冬，张茹，谢艺蓉，陈宏. 生成式对抗网络及其在图像生成中的研究进展. 计算机科学与探索. 2021(10): 1795-1811 . 百度学术11. 林英，李元培，潘梓文. 基于生成对抗网络的主机入侵风险识别. 计算机应用与软件. 2021(11): 331-337 . 百度学术12. 裴莉莉，孙朝云，孙静，李伟，张赫. 基于DCGAN的路面裂缝图像生成方法. 中南大学学报(自然科学版). 2021(11): 3899-3906 . 百度学术13. 刘尚争，刘斌. 生成对抗网络图像类别标签跨模态识别系统设计. 现代电子技术. 2020(08): 173-175 . 百度学术14. 李思琦，刘扬，杜明义，张敏，辛超，姚毅，马腾跃. 建筑垃圾堆放点样本集构建与优化研究. 环境工程. 2020(03): 39-45+8 . 百度学术15. 胡央. 泥水气压平衡盾构沉降智能预测技术. 山西建筑. 2020(13): 130-132 . 百度学术16. 庄兴旺，丁岳伟. 多维度注意力和语义再生的文本生成图像模型. 计算机技术与发展. 2020(12): 27-33 . 百度学术17. 白海娟，周未，王存睿，王磊. 基于生成式对抗网络的字体风格迁移方法. 大连民族大学学报. 2019(03): 250-256 . 百度学术18. 牛斌，吴鹏，马利，刘景巍. 一种基于生成对抗网络的行为数据集扩展方法. 计算机技术与发展. 2019(07): 43-48 . 百度学术19. 李从利，张思雨，韦哲，薛松. 基于深度卷积生成对抗网络的航拍图像去厚云方法. 兵工学报. 2019(07): 1434-1442 . 百度学术20. 李思琦，刘扬. 基于生成对抗网络的遥感样本生成方法. 测绘通报. 2019(S2): 89-93 . 百度学术21. 孙钰，李林燕，叶子寒，胡伏原，奚雪峰. 多层次结构生成对抗网络的文本生成图像方法. 计算机应用. 2019(11): 3204-3209 . 百度学术22. 马春光，郭瑶瑶，武朋，刘海波. 生成式对抗网络图像增强研究综述. 信息网络安全. 2019(05): 10-21 . 百度学术其他类型引用(33)
-
下载:
计量
- 文章访问数: 2018
- HTML全文浏览量: 453
- PDF下载量: 516
- 被引次数: 55
