-
摘要: 基于深度学习的非均匀运动图像去模糊方法已经获得了较好的效果. 然而, 现有的方法通常存在对边缘恢复不清晰的问题. 因此, 本文提出一种强边缘提取网络(Strong-edge extraction network, SEEN), 用于提取非均匀运动模糊图像的强边缘以提高图像边缘复原质量. 设计的强边缘提取网络由两个子网络SEEN-1和SEEN-2组成, SEEN-1实现双边滤波器的功能, 用于提取滤除了细节信息后的图像边缘. SEEN-2实现L0平滑滤波器的功能, 用于提取模糊图像的强边缘. 本文还将对应网络层提取的强边缘特征图与模糊特征图叠加, 进一步利用强边缘特征. 最后, 本文在GoPro数据集上进行了验证实验, 结果表明: 本文提出的网络可以较好地提取非均匀运动模糊图像的强边缘, 复原图像在客观和主观上都可以达到较好的效果.Abstract: Although non-uniform motion image deblurring based on the deep learning has achieved better recovery effect, the most of the existing methods cannot recover the image edge well. In this paper, a strong edge extraction network (SEEN) is proposed for extracting the strong edges of the non-uniform motion blurry image to improve the quality of image deblurring. The designed SEEN is composed of two sub-networks, that is, SEEN-1 and SEEN-2. SEEN-1 is designed as a bilateral filter for extracting the edges of the image after filtering the image details. SEEN-2 is designed as an L0 smoothing filter for extracting strong edges of the blurry image. Meanwhile, we also combine the strong edge features map and the blurry features map for further using the strong edge features. Finally, some experiments are executed on GoPro dataset and the results demonstrate that the proposed network can better extract the strong edge of the non-uniform motion blurry image, and obtain good results in both quality of visual perception and quantitative measurement.
-
模糊图像盲复原用于弥补由于硬件设备缺陷造成的图像模糊, 被广泛应用于太空探索、人脸识别、视频监控、医学影像识别等诸多领域. 运动模糊是一种典型的图像模糊类型, 主要是由于相机抖动和被拍摄物体间相对运动造成的. 图像模糊模型一般可由式(1)描述.
$$y = x * k + n$$ (1) 其中, x为清晰图像, *为卷积运算, k为模糊核, n为噪声, y为模糊图像.
实际中模糊核k通常是未知的, 模糊图像复原过程是一个严重的病态问题, 即盲复原. 当一幅图像中各个区域被同一个均匀的运动模糊核污染, 为均匀运动模糊图像, 如图1 (a), 1 (b)所示. 当一幅图像的不同区域被不同程度的运动模糊核污染时, 则为非均匀运动模糊图像, 如图1 (c), 1 (d)所示.
图 1 均匀运动模糊图像和非均匀运动模糊图像及其模糊核示意图Fig. 1 Uniform and non-uniform motion blurry image and their blur kernel diagram均匀运动模糊图像复原方法的基本思路是将病态问题转化为良态来解决, 大致分为两类, 一类是先验辨识法, 即通过人工挖掘图像和模糊核的先验知识, 估计出精确的模糊核, 再采用非盲复原方法复原出清晰图像. 另一类是联合辨识法, 即估计模糊核的同时复原出清晰图像. 前期我们开展的研究工作主要针对均匀模糊图像盲复原[1-5], 其中文献[4]采用先验辨识法, 提出根据图像的先验信息在频域估计出模糊核, 并将估计出的模糊核用于均匀运动模糊图像复原, 该方法对模糊核尺寸较小的均匀运动模糊图像复原效果较好. 文献[5]采用联合辨识法, 通过对模糊核正则项的约束, 得到潜在清晰图像. 该方法可以较好地复原均匀运动模糊图像, 也可用于背景单一、细节不丰富的非均匀运动模糊图像. 但该方法正则化参数较多、复原时间较长. 对于非均匀运动模糊图像的复原, 人们也展开了针对性的研究工作, 其基本方法是将图像分块进行模糊核估计, 再通过估计出的不同模糊核对不同图像块进行复原. 不过目前的方法均存在各种局限性, 比如对运动模糊核的运动方向、模糊核的种类等有所限制. Shen等[6]使用一种模糊核映射正则化方法来解决非均匀运动模糊图像复原问题, 该方法考虑了图像块之间具有的一致性, 从而提高了图像块模糊核估计的精度. 但是该方法对于图像细节恢复效果差, 模糊程度的不同也会使算法失效, 因此在非均匀模糊图像复原上仍不能达到较好的效果. 近年来, 深度学习的快速发展, 使基于卷积神经网络的模糊图像复原取得较大的进展. Chakrabarti[7]利用卷积神经网络在频域预测模糊核的傅里叶系数, 由此估计出模糊核. 再采用传统非盲复原方法复原图像. 该方法在均匀运动模糊图像复原上效果较好, 但复原时间非常长. Xu等[8]提出利用卷积神经网络在梯度域提取模糊图像的边缘信息, 通过边缘信息补充图像模糊核的先验信息, 提高模糊核估计的准确性, 进而提高复原效果. 该方法可以较好地复原均匀运动模糊图像, 但由于非均匀模糊图像边缘特征不明显, 在图像黑暗处, 该方法无法提取到图像边缘信息, 估计出的模糊核不准确, 复原效果较差. Xu等[9]提出端到端的卷积神经网络实现模糊图像盲复原, 该方法的优点是不需要估计模糊核, 直接输出潜在清晰图像, 主要用于散焦模糊图像的复原. Tao等[10]设计了一个多尺度卷积神经网络(Scale-recurrent network, SRN)用于模糊图像复原, 它可在同一幅模糊图像的3个尺度上提取模糊特征. 由于卷积神经网络具有强大的自动学习特征的能力, 该网络可以较好地复原非均匀运动模糊图像, 不足的是对模糊图像中的明显边缘复原效果不理想. 2014年, 生成对抗网络(Generative adversarial net, GAN)[11]被提出, 它可以令端到端图像处理网络生成更加细腻的图像. 吴梦婷等[12]基于GAN提出了一种双框架端到端模糊图像复原方法, 该方法可以复原模糊尺度较小的均匀模糊图像, 但该方法只是在模糊图像复原领域基于GAN的尝试, 并没有很好的鲁棒性, 对非均匀运动模糊图像的复原效果较差. Kupyn等[13]基于GAN, 提出一种端对端的模糊图像复原方法-DeblurGAN. 该方法可以较好地复原出模糊尺度较小的均匀和非均匀运动模糊图像. 但由于设计的卷积神经网络结构比较单一, 使网络的感受野较小, 不能较好地复原模糊尺度较大的非均匀模糊图像.
从上述分析可见, 由于非均匀运动模糊图像的模糊核不确定、模糊程度不均匀, 且边缘信息损失严重, 使非均匀运动模糊图像的复原成为目前极具挑战的课题. 在现有研究方法中, 端到端的图像复原方法虽然方便有效, 但是在图像复原过程中始终是在输入图像和输出图像之间建立网络映射, 在有限的训练集下完成对输入和标签的未知转换, 网络的特征提取能力和去模糊学习过程局限在了输入到网络的这些图像对中, 无法得到更多有助于图像复原的信息, 这种映射通常是不确定的, 需要大量经验进行调参才能将网络参数约束到一个较理想的范围内, 难以保证网络有方向性地“学习” 到真正的去模糊功能, 这也导致了现有方法鲁棒性通常较差, 因此不容易在此基础上取得更大突破. 而在传统方法中, 我们可以使用很多数字图像处理工具来得到有关于一幅图像的更多先验信息, 甚至可以在处理图像的过程中不仅仅局限于空间域, 这些处理方法的综合使用使图像处理领域日新月异. 那么在深度学习领域, 我们仍可以利用传统方法的优势来提升图像复原的效果. 图像的强边缘是图像的边缘中能够描述图像轮廓的部分, 边缘包含大量使人们获得清晰图像的重要信息, 经过主观观察, 对模糊图像强边缘的恢复效果实际上直接影响复原图像的主观效果.
基于此, 本文提出一种基于强边缘提取的非均匀运动模糊图像复原网络, 用于非均匀运动模糊图像复原. 其中核心部分是设计的强边缘提取网络, 它用于提取非均匀运动模糊图像的强边缘特征, 利用提取到的强边缘特征图与对应网络层的特征图融合, 这些强边缘特征将作为图像复原网络训练的“先验知识” 和约束条件, 在图像复原网络训练中约束网络特征提取和反向传播优化过程, 使网络参数的解空间缩小到“去模糊” 范围内, 最终得到真正用于去模糊的网络映射参数. 结合卷积神经网络强大的特征自动学习能力, 本文的方法能够加强网络对不同类型、不同模糊程度的非均匀运动模糊图像的自适应复原能力. 最后, 本文在GoPro数据集上进行了相应的实验, 验证了提出方法的有效性.
1. 提出的非均匀运动模糊图像复原网络
本文提出的非均匀运动模糊图像复原网络如图2所示, 该网络以GAN为基础, 由生成网络和判别网络组成.
图 2 提出的非均匀运动模糊图像复原网络结构图Fig. 2 Proposed network structure for the non-uniform motion blurry image deblurring生成网络包括: 模糊特征提取网络(Features extract net, FEN), 用于提高网络的感受野, 使其在较大的感受野下有效提取模糊图像的模糊特征. 强边缘提取网络(Strong-edge extraction network, SEEN)是本文的核心, 包括子网络SEEN-1和SEEN-2, 用于在梯度域滤除模糊图像细节信息, 提取非均匀运动模糊图像的强边缘特征图. 特征融合网络(Features mix net, FMN), 用于融合FEN提取的特征图和SEEN提取的强边缘特征图.
判别网络[13]由4个基本的卷积层组成, 使用LeakyReLU作为激活函数, 通过卷积层不断降维, 最后输出0或1来对输入的图像进行判别, 判定生成网络复原的潜在清晰图像与输入的真实清晰图像的接近程度. 判别网络要尽可能准确识别出输入的图像是否为生成网络所生成, 从而约束生成网络的训练过程, 使生成网络尽可能生成使判别网络判别结果接近于真的图像, 通过不断的对抗训练, 提高生成网络复原图像的效果.
1.1 强边缘提取网络(SEEN)
图像强边缘指图像中主要组成部分的边缘轮廓, 是获取清晰图像的重要信息, 非均匀运动模糊图像中模糊核的多样性, 使图像的强边缘被不同方式和程度退化, 无法像均匀运动模糊图像一样通过构建相同的先验信息, 完成对模糊图像边缘的复原, 这也是造成非均匀运动模糊图像难以复原出高质量清晰图像的原因.
图像梯度是获得图像边缘最有效的方法, 但通常情况下, 模糊图像的边缘细节信息损失严重, 通过计算图像梯度, 无法得到明显的边缘信息, 并且模糊的边缘细节会导致梯度图像产生大量与边缘信息无关的内容. 为此, 本文提出的图像强边缘提取方法, 其基本原理为: 首先使用双边平滑滤波器[14]滤除模糊图像中的细节信息, 保留图像的边缘信息. 然后使用L0范数梯度最小化平滑滤波器[15]增强模糊图像的边缘信息[8]. 图3为提取到的模糊图像的强边缘实例, 图3 (c)和3 (e)分别是模糊图像的双边滤波图像及其梯度图. 可以看到它得到了滤除与边缘无关的细节后模糊图像的梯度特征. 图3 (d)和3 (f)分别是模糊图像的L0滤波图像及其梯度, 可以看到模糊图像的强边缘被较好地提取出来.
根据上述基本原理, 本文设计了强边缘提取网络(SEEN), 用于提取非均匀运动模糊图像强边缘信息, 如图4所示. 该网络中SEEN-1子网络实现双边滤波器的功能, 用于提取滤除了细节信息后的图像边缘. SEEN-2实现L0平滑滤波器的功能, 用于增强边缘信息并得到模糊图像的强边缘. SEEN-1的输出将做为SEEN-2的输入.
SEEN-1使用编码器−解码器网络结构, 主要由下卷积、特征提取和上卷积三部分组成. SEEN-2在SEEN-1的基础上增加了用于叠加SEEN-1中对应特征图的特征融合层, 特征融合层一共有三处, 分别位于下卷积、特征提取和上卷积部分, 如图4中SEEN-1和SEEN-2间使用直线箭头的连接处所示, 它们可以通过权重共享提升SEEN的训练效果.
SEEN-1的卷积层计算如式(2)所示.
$${C_{ou{t_j}}} = \sum\limits_{k = 1}^i {w({C_{ou{t_j}}},k) * {C_{ou{t_k}}} + b({C_{ou{t_j}}})} $$ (2) 其中,
${C_{ou{t_j}}}$ 代表当前层特征图,${C_{ou{t_k}}}$ 为前一层第k个特征图,$w({C_{ou{t_j}}},k)$ 为前一层第k个特征图与当前层特征图的连接权重,$b({C_{ou{t_j}}})$ 为当前层的偏置.网络中间的特征图计算使用LeakyReLU作为激活函数, 如式(3)所示.
$$\begin{split} ou{t_i} =\,& {\rm{LeakyReLU}}(inpu{t_i}) = \\ &\max (0,inpu{t_i}) + 0.2 \times \min (0,inpu{t_i}) \end{split}$$ (3) 其中,
$inpu{t_i}$ 为特征图中的每个像素点,$ou{t_i}$ 为激活函数的输出值, 通过将负数轴斜率设置为0.2, 避免传统ReLU激活函数容易导致神经元梯度为0而无法继续训练的问题.网络的最终输出使用tanh作为激活函数, 如式(4)所示.
$$ou{t_i} = \tanh (inpu{t_i}) = \frac{{{{\rm{e}} ^{inpu{t_i}}} - {{\rm{e}} ^{ - inpu{t_i}}}}}{{{{\rm{e}} ^{inpu{t_i}}} + {{\rm{e}} ^{ - inpu{t_i}}}}}$$ (4) 其中,
$inpu{t_i}$ 为特征图中的每个像素点,$ou{t_i}$ 为激活函数的输出值, 使用tanh作为最后输出层的激活函数可以使网络输出的图像具有较好的可视化效果.SEEN-2中的卷积层计算方法与SEEN-1相同, 但是在下卷积部分、特征提取部分和上卷积部分会使用特征图叠加的方式进行权重共享, 如图4中直线箭头所示, 特征叠加公式如式(5)所示.
$$ou{t_j} = {\rm{concat}}(ou{t_j},ou{t_{SEEN - 1}})$$ (5) 其中,
$ou{t_j}$ 为SEEN-2第j 层的所有特征图,$ou{t_{SEEN - 1}}$ 为SEEN-1中对应层特征图, concat为特征层叠加操作.SEEN-1和SEEN-2中对应叠加的特征层的特征图数量是相同的. SEEN-1与SEEN-2对应叠加的特征层权重共享, 在叠加操作之后会使用式(2)和(3)的卷积过程进行特征提取和降维. 使用叠加的方式进行特征融合可以提高网络对边缘的提取能力[16], 同时增强网络的学习能力. 通过卷积神经网络强大的自动特征提取能力, 本文设计的强边缘提取网络可以对不同模糊程度、不同模糊类型的非均匀模糊图像的强边缘特征进行自动分析, 自适应、有效地提取模糊图像的强边缘.
在模糊图像输入SEEN前, 本文对原始模糊图像进行梯度化预处理, 目的是使网络能够快速有效地提取模糊图像的强边缘, 而不用浪费多余的网络参数来对模糊图像进行梯度化处理. 由于图像的梯度计算具有方向性, 不同方向的梯度图像提取的强边缘仅包含该方向上有用的边缘信息, 如果使用单一方向的梯度提取图像强边缘, 会损失较多其他方向的边缘信息, 如图5 (b)所示. 因此, 本文提出一种可以融合相互垂直方向梯度信息的双方向融合梯度计算方法, 计算公式如式(6)所示.
图 5 本文提出的双方向融合梯度计算方法示意图Fig. 5 Diagram of gradient calculation method of two-directions fusion proposed in this paper$$\partial y = \max (|\partial {y_h}|,|\partial {y_v}|)$$ (6) 其中,
$\partial {y_h}$ 是图像的横向梯度,$\partial {y_v}$ 是图像的纵向梯度, 对每个方向梯度取绝对值, 并在每个像素点取两个方向梯度的最大值得到最终的梯度图像$\partial y$ .图5为模糊图像双方向融合梯度图像实例. 从图5可以看到, 图5(b)中的梯度图只提取到了纵向边缘, 横向边缘全部丢失. 图5(c)中的梯度图则保留了所有有效的边缘信息. 而且通过梯度化预处理可以消除模糊图像一些非边缘细节信息的干扰, 并得到一部分不明显的边缘信息, 有利于提升强边缘提取网络对边缘的提取效果.
1.2 模糊特征提取网络(FEN)和特征融合网络(FMN)
模糊特征提取网络(FEN)主要用于在模糊图像中提取模糊特征从而建立模糊图像到清晰图像的网络映射. 残差模块(Residual block)是目前最常用的特征提取模块, 其结构如图6 (a)所示, 它能够降低网络复杂度, 加速网络训练过程, 经常被用于分类任务中, 但是在图像处理任务中, 由于其感受野较小, 容易导致特征提取不充分. 而另一种常用的特征提取模块Inception block则可以通过增加网络宽度而提高特征提取的多样性[17]. 受此启发, 本文设计了一种新的交叉特征提取残差模块(Cross residual block), 如图6 (b)所示. 该模块的卷积层设计为大小分别为3和5的滤波器, 通过这两个滤波器大小不同的通道分别提取模糊图像的特征图, 并在特征叠加层进行特征图叠加和权重交换, 将新的特征图再使用滤波器大小为3和5的两个卷积层通道进行特征提取, 最终得到模块的输出特征图, 我们设计的交叉特征提取残差模块可以保持输出的特征图与输入的特征图在维度和分辨率上一致.
本文设计的交叉特征提取残差模块的主要作用是增大特征提取网络的感受野, 提高网络的特征提取能力. 图7是滤波器大小分别为3、5、7的卷积层感受野示意图. 残差模块所使用的滤波器大小为3, 如图7 (a)所示, 其感受野较小. 在图像处理任务中, 较小的感受野通常会导致模糊图像特征提取网络在提取非均匀运动模糊图像特征时, 无法获取图像目标像素周围更多的信息. 而图7 (b)所示的大小为5的滤波器的感受野, 可以明显看出它获取到了目标区域的边缘信息, 因此在滤波器大小为5的卷积层中, 它可以提取到与边缘更加相关的特征. 图7 (c)所示的是大小为7的滤波器的感受野, 它同样可以获取到目标区域的边缘信息, 但是通过实验发现, 使用滤波器大小为7的卷积层并不会明显提高复原效果, 反而由于滤波器过大, 导致网络参数过多, 从而使网络的训练和测试时间都非常长. 因此本文使用滤波器大小为3和5的卷积层, 设计了交叉特征提取残差模块.
特征融合网络(FMN)主要用于将模糊特征提取网络和强边缘提取网络所提取到的特征图进行融合, 其主要由下卷积部分、融合特征提取部分、上卷积部分和输出部分组成. 特征叠加层也分别位于这几个部分. 下卷积部分将SEEN-2和FEN的下卷积对应层特征图进行叠加, 进行融合特征提取前的预处理, 使各个子网络的特征图成为FMN的输入. 融合特征提取部分将SEEN-2和FEN特征提取部分的对应层叠加, 这时各网络特征图已经过初步处理, 叠加后便于融合特征提取. 在特征融合提取过程中, 强边缘特征图将会作为图像强边缘位置的权重矩阵对图像复原网络的前向传播过程进行引导, 使图像复原网络加强对图像强边缘位置的特征提取和模糊复原, 进而约束网络在反向传播过程中的参数优化过程, 增强模糊图像中强边缘的复原效果, 从而提升图像复原的主观效果. 为使整个网络能够更全面地利用模糊特征和强边缘特征, 在上卷积部分再将SEEN-2和FEN的对应层特征图进行叠加, 指导上卷积过程, 得到可以用于输出清晰图像的大量特征图, 最终输出复原后的清晰图像.
1.3 损失函数
本文在训练强边缘提取网络中SEEN-1和SEEN-2时, 均使用L1损失和TV正则化损失[8], 如式(7), (8)所示. 由两式对图像中每个像素进行计算并相加作为损失函数值.
$$Los{s_1} = \sum {(\sqrt {{{({O_1}(\partial b) - \partial {L_B}(y))}^2}} + \lambda \sqrt {{{({O_1}(\partial b))}^2}} )} $$ (7) $$Los{s_2} = \sum {(\sqrt {{{({O_2}(\partial b) - \partial {L_0}(y))}^2}} + \lambda \sqrt {{{({O_2}(\partial b))}^2}} )} $$ (8) 其中,
${O_1}(\partial b)$ 是SEEN-1的输出,${O_2}(\partial b)$ 是SEEN-2的输出,$\lambda $ 是TV正则化系数,$\partial {L_B}(y)$ 是清晰标签图像双边滤波后的梯度图像,$\partial {L_0}(y)$ 是清晰标签图像双边滤波后的L0滤波图像的梯度图像.当SEEN训练完成后, 再与FEN和FMN一起, 在生成对抗网络框架下进行训练, 生成对抗网络损失函数采用内容损失
$ {L}_{GAN} $ 和对抗损失$ {L}_{X} $ 的结合[13], 如式(9) ~ (11)所示.$$L = {L_{GAN}} + \lambda \cdot {L_X}$$ (9) $${L_{GAN}} = \sum\limits_{n = 1}^N { - {D_{{\theta _D}}}(} {G_{{\theta _G}}}({I_B}))$$ (10) $$ {L_X} = \frac{1}{{{W_{i,j}}{H_{i,j}}}}\sum\limits_{x = 1}^{{W_{i,j}}} {\sum\limits_{y = 1}^{{H_{i,j}}} {({\phi _{i,j}}{{({I_L})}_{x,y}}} } - {\phi _{i,j}}{({G_{{\theta _G}}}({I_B}))_{x,y}}{)^2} $$ (11) 其中,
$\lambda $ 取值为100,${I_L}$ 是清晰标签图像,${I_B}$ 是模糊图像,${\phi _{i,j}}$ 是在ImageNet[18]上进行预训练得到的VGG-19网络中第i个最大池化层前的第j个卷积层的输出特征图,${W_{i,j}}$ 和${H_{i,j}}$ 是特征层的维度.1.4 网络训练
本文提出的非均匀模糊图像复原网络在训练时分为两部分, 首先对强边缘提取网络进行训练, 再结合模糊特征提取网络和特征融合网络, 在GAN框架下进行训练. 网络训练流程如“网络训练流程1” 所示.
网络训练流程1.
输入: 模糊图像b, 清晰图像y, 双边滤波图像的梯度图像
$ \partial {L}_{B}\left(y\right) $ , L0平滑滤波图像的梯度图像$ \partial {L}_{0}\left(y\right) $ 过程:
(强边缘提取网络训练)
1) for 每一幅模糊图像b do
2) 计算b的梯度
$ \partial b $ ;3) 计算SEEN-1的输出
$ {O}_{1}(\partial b) $ 和中间特征层mid_layer_14) 使用式(7)计算
$ {O}_{1}(\partial b) $ 和$ \partial {L}_{B}\left(y\right) $ 的损失, 更新SEEN-1的权重5) 将
$ {O}_{1}(\partial b) $ 输入SEEN-26) 前向传播SEEN-2并融入特征层mid_layer_1, 得到输出
$ {O}_{2}(\partial b) $ 和中间特征层mid_layer_27) 使用式(8)计算
$ {O}_{2}(\partial b) $ 和$ \partial {L}_{0}\left(y\right) $ 的损失, 更新SEEN-2和SEEN-1的权重8) end for
(生成器网络训练)
9) for 每一幅模糊图像b do
10) 计算b的梯度
$ \partial b $ 11)
$ \partial b $ 输入SEEN得到SEEN-2的中间特征层mid_layer_2, 并分离梯度12) b输入FEN得到中间特征层mid_layer_3;
13) b输入FMN进行前向传播, 过程中在对应层叠加mid_layer_2和mid_layer_3
14) 得到输出图像
${O}_{3}(b)$ 15) 使用式(9) ~ (11)计算生成器网络的损失, 更新FEN和FMN的权重
(判别器网络训练)
16) for y,
${O}_{3}(b)$ do17) 判别器网络前向传播对y,
${O}_{3}(b)$ 进行真假判别18) 使用式(10)计算判别器网络损失
19) 反向传播更新判别器网络和生成器网络权重
20) end for
21) end for
输出: 复原图像
${O}_{3}(b)$ 经过多次实验总结, 为得到最优的实验结果, 本文在训练过程中使用的批大小(BatchSize)为1, 优化器为Adam, 学习率和迭代次数的调整细节如下:
1) 在单独训练SEEN时, 共进行500轮训练, 学习率的初始值设置为0.0002, 并依次递减为0.0001、0.00005、0.00002、0.00001, 对应的训练轮数为150轮、150轮、100轮、50轮、50轮.
2) 在与FMN和FEN共同训练时, 网络学习率和对应训练轮数的设置与单独训练SEEN时相同.
2. 实验结果与分析
2.1 实验数据集
本文采用在非均匀运动模糊图像复原研究领域广泛使用的GoPro数据集[19]进行网络的训练和测试, 该数据集包括2 103对训练图像和1 111对测试图像, 每对训练和测试图像都包含相应的清晰图像和模糊图像. 分辨率均为1 280×720, 其中的模糊图像均为非均匀运动模糊图像. 如图8所示, 其中8 (a)是训练集的模糊图像, 8 (b)是训练集的清晰图像.
为了开展相应的验证实验, 我们制作四个图像子集. 清晰图像和模糊图像来自GoPro数据集中的图像对; 清晰图像双边滤波梯度图像子集使用文献[14]的方法计算得到. 清晰图像的L0滤波梯度图像子集使用文献[15]的方法计算得到.
我们随机裁剪出四个图像子集中相同区域256 × 256像素的图像小块作为训练网络时的输入和标签. 在单独训练强边缘提取网络时, 我们使用清晰图像的双边滤波梯度图像和L0滤波梯度图像, 分别作为SEEN-1和SEEN-2的标签, 即第1.4节训练流程中的标签
$ \partial {L}_{B}\left(y\right) $ 和$ \partial {L}_{0}\left(y\right) $ . 而SEEN的输入是模糊图像小块, 即训练流程中的输入b. 在训练特征融合网络时, 清晰图像小块作为训练时的标签, 即训练流程中的标签y. 模糊图像小块同样作为训练时的输入, 即训练流程中的输入b.实验评价指标为结构相似性(Structural similarity index, SSIM)和峰值信噪比(Peak signal to noise ratio, PSNR), 其计算方法如式(12)和(13).
$$ SSIM(x,y) = \frac{{(2{\mu _x}{\mu _y} + {c_1})(2{\sigma _{xy}} + {c_2})}}{{(\mu _x^2 + \mu _y^2 + {c_1})(\sigma _x^2 + \sigma _y^2 + {c_2})}} $$ (12) 其中, x, y为两幅输入图像,
${\mu _x}$ 是x的平均值,${\mu _y}$ 是y的平均值,$\sigma _x^2$ 是x的方差,$\sigma _y^2$ 是y的方差,${\sigma _{xy}}$ 是x和y的协方差.${c_1} = {({k_1}L)^2}$ ,${c_2} = {({k_2}L)^2}$ 是用来维持稳定的常数. L是像素值的动态范围. 为了避免计算公式的分母为0并保持计算稳定性, 通常取${k_1} = 0.01$ ,${k_2} = 0.03$ .$$PSNR = 10 \times \lg \frac{{{{({2^n} - 1)}^2}}}{{MSE}}$$ (13) 其中, MSE是清晰图像和模糊图像之间的均方误差.
本文在PyTorch[20]深度学习框架下实现网络的训练. 网络训练和测试在一块Nvidia GTX 1080Ti显卡上进行.
2.2 强边缘提取网络有效性验证实验
图9为强边缘提取网络有效性验证实验结果, 图9 (e)组图像为未使用强边缘提取网络的复原图像, 图9 (f)组图像为加入本文设计的强边缘提取网络得到的复原图像. 与 图9 (g)组清晰图像进行对比, 可以看出, 图9 (e)组图像有一定的复原效果, 但边缘并不清晰, 图9 (f)组图像则边缘非常清晰. 可见, 增加了强边缘提取网络, 使模糊图像的强边缘信息被有效利用, 复原出的图像主观效果较好.
图 9 有无强边缘提取网络的非均匀模糊图像复原结果比较实例 ((a) 模糊图像; (b) 模糊图像梯度图;(c) SEEN-1 输出; (d) SEEN-2 输出 (强边缘); (e) 无强边缘提取网络的复原结果;(f) 有强边缘提取网络的复原结果; (g) 清晰图像)Fig. 9 Comparison of restoration results of non-uniform motion blurry image with or without edge extraction network ((a) Blurry image; (b) Gradient of blurry image; (c) Output of SEEN-1; (d) Edge of SEEN-2 (Strong edge); (e) Restoration results of network without strong edge extraction network; (f) Restoration results of network with strong edge extraction network; (g) Clear image)图10为强边缘提取网络在边缘提取各阶段的结果, 图10 (b)组为模糊图像的梯度图像, 可以看到模糊图像的梯度图像边缘并不清楚, 并且明显包含较多与边缘无关的杂点, 图10 (c)组是SEEN-1的输出, 相当于双边滤波后的梯度图像, 可以看到模糊图像梯度图清晰的边缘, 同时与边缘无关的杂点也被滤除, 图10 (d)组是SEEN-2的输出, 相当于L0滤波后的梯度图像, 可以看到模糊图像的强边缘被有效地提取出来. 对比SEEN-1的输出, 图像边缘得到明显增强, 为了证明了这一点, 本文也对SEEN-1和SEEN-2的输出进行了客观指标的分析, 如图11所示.
图 10 强边缘提取网络中间结果分析Fig. 10 The intermediate results analysis of strong edge extraction network
图 11 强边缘提取网络效果分析Fig. 11 Effect analysis of strong edge extraction network((i)模糊图像小块(30×30); (ii)模糊图像小块边缘(30×30); (iii) SEEN-1输出;(iv) SEEN-2输出; (v)灰度分布图; (vi)列灰度值加和曲线图)图11为3幅模糊图像对应的梯度图和网络SEEN-1、SEEN-2输出的边缘图像块实例. 第一组图像中, 左侧为非均匀模糊图像实例, 本文从中提取了一个图像小块, 并得到了梯度图像(ii), 可以看到边缘信息无法辨别; (iii)为强边缘提取网络中SEEN-1的输出, 可见通过SEEN-1后模糊图像小块的边缘已经被基本提取出来; (iv)是SEEN-2的输出, 模糊图像小块的边缘在(iii)的基础上更加清晰. 同样, 我们可以看到第2幅和第3幅模糊图像对应结果可以得出相同的结论: SEEN-1滤除模糊图像中无关的梯度值, 保留了对复原有用的边缘梯度信息. SEEN-2对SEEN-1输出的边缘进行了进一步的提取和增强, 使提取的强边缘更加清晰.
图11 (v)为灰度分布图, 图11 (vi)为列灰度值加和曲线图, 本文同时绘制了模糊图像小块梯度图、SEEN-1输出、SEEN-2输出图像的灰度分布图和列灰度值加和曲线图来客观分析强边缘提取网络的边缘提取效果. 从图11 (v)进行观察和分析, 模糊图像的梯度像素值分布比较平均, 也就是说由于图像的模糊, 边缘信息损失的比较严重, 边缘两侧像素灰度值差距已经不明显, 而通过SEEN-1后, 位于非边缘的像素和位于边缘的像素灰度值被明显分开, 绝大部分非边缘像素被滤除, 占据比重较少的边缘像素点被提取出来, 而通过SEEN-2后, 位于边缘的像素的灰度值得到进一步增强. 从图11 (vi)所示曲线图进行观察和分析, 模糊图像的梯度图由于边缘模糊导致的信息丢失, 对于存在边缘和不存在边缘的列区域, 其灰度值差别很小, 无法明显寻找出边缘存在的区域, 而对于SEEN-1的结果, 我们可以明显地寻找到边缘所在的列区域(曲线的波峰波谷处), 对于SEEN-2的结果, 其存在边缘的列区域灰度值峰值比SEEN-1的结果有明显提升. 这说明本文设计的强边缘提取网络的两个子网络分别完成了第1.1节中强边缘提取方法两个步骤的功能, 提取并得到了模糊图像的强边缘信息.
2.3 交叉特征提取残差模块有效性验证实验
本文在模糊特征提取子网络中使用了交叉特征提取残差模块, 目的是提升模糊特征提取时网络的感受野, 提高模糊特征提取能力. 本文使用对比实验的方法对交叉特征提取残差模块的有效性进行了验证.
为保证对比实验的准确性和有效性, 用于对比实验的网络结构仅将整个网络中的交叉特征提取残差模块替换为普通的残差模块. 网络的其他部分结构、实验的超参数设置及训练流程均不改变.
在GoPro数据集上的实验结果如表1所示.
表 1 交叉特征提取残差模块有效性验证实验结果(GoPro数据集)Table 1 Validation experiment results of cross-resnet block (GoPro dataset)评价指标 残差模块 交叉特征提取残差模块 PSNR 29.9800 30.2227 SSIM 0.8892 0.8944 由表1可以看到, 使用交叉特征提取残差模块的网络复原效果要明显优于使用普通残差模块的网络.
2.4 非均匀运动模糊图像复原对比实验
本节将本文提出的方法与5种非均匀图像复原方法进行了对比实验, 实验结果实例如图12所示.
可以看到, 文献[13]的方法对明显的边缘复原效果较好, 如图12 (iv)所示的窗户边缘. 但是对于细节的复原效果极差, 如图12 (i)所示的文字. 文献[7]的方法和文献[21]的方法对非均匀运动模糊图像的整体复原效果较差, 对强边缘和图像细节均无法有效复原, 而且复原图像容易产生波纹现象, 如图12 (ii)所示, 严重影响复原效果. 文献[4]的方法可以通过参数的调整对部分模糊情况不复杂的非均匀运动模糊图像得到较好的复原效果, 如图12 (iii)所示, 其文字复原效果比较清晰. 但是如果复原参数不合适或者复原模糊情况较复杂, 该方法就会失效, 不仅得不到应有的复原图像, 还会产生严重的波纹现象, 如图12 (ii)和12 (iv)所示, 影响复原效果. 文献[10]的方法在复原非均匀运动模糊图像上的效果相对较好, 但是边缘的复原效果并不锐利, 如图12 (ii)中的车灯边缘和12 (iv)中的窗户边缘, 导致主观效果有所下降. 本文方法则不需要对复原过程进行参数调整, 无论非均匀运动模糊图像的模糊过程复杂与否, 均可以自适应地进行复原, 并得到较好的复原效果. 通过对比实验结果可见本文的方法在主观复原效果上是非常好的, 对于图像中的细节信息(如文字等)可以有效地复原出清晰的结果, 而且使复原出的图像中强边缘更加锐利清晰, 达到了本文研究的目的.
从表2、表3和图13所示的对比实验图像的客观指标中可以看出, 本文方法的客观指标在几组实验中处于领先水平. 表4为7种不同方法在GoPro数据集测试集上复原结果的平均PSNR和SSIM值. 从表4可以看到, 本文方法的平均PSNR值为30.2227, 平均SSIM值为0.8944, 在几组对比实验中也均处于领先水平.
表 2 对比实验图像的PSNR值比较Table 2 PSNR value comparison of comparative experimental images表 3 对比实验图像的SSIM值比较Table 3 SSIM value comparison of comparative experimental images
图 13 对比实验图像的PSNR和SSIM指标值柱状图Fig. 13 Histogram of PSNR and SSIM values of comparative experimental images表 4 复原图像的平均PSNR值和平均SSIM值(GoPro数据集)Table 4 Average value of PSNR and SSIM of restored images (GoPro dataset)3. 总结
本文以非均匀运动模糊图像复原为研究对象. 提出了一种用于非均匀运动模糊图像盲复原的强边缘提取网络, 该网络在梯度域提取模糊图像的强边缘, 并将强边缘特征与模糊图像模糊特征融合, 将强边缘特征作为“先验知识” 约束网络的前向传播及反向传播参数优化过程, 缩小了网络映射参数的解空间, 结合卷积神经网络自动学习特征的能力, 增强了非均匀模糊图像复原过程中对边缘的恢复效果, 解决了其他图像复原方法无法有针对性地对非均匀模糊图像边缘进行有效复原的缺陷, 较好地复原出清晰的图像. 同时也为基于深度学习的非均匀运动模糊图像盲复原研究提供了新颖的研究思路. 大量实验结果表明, 本文设计的强边缘提取网络可以有效地应用在非均匀运动模糊图像的复原中, 获得清晰的复原图像并提升模糊图像边缘恢复效果.
-
图 1 均匀运动模糊图像和非均匀运动模糊图像及其模糊核示意图
Fig. 1 Uniform and non-uniform motion blurry image and their blur kernel diagram
图 2 提出的非均匀运动模糊图像复原网络结构图
Fig. 2 Proposed network structure for the non-uniform motion blurry image deblurring
图 5 本文提出的双方向融合梯度计算方法示意图
Fig. 5 Diagram of gradient calculation method of two-directions fusion proposed in this paper
图 9 有无强边缘提取网络的非均匀模糊图像复原结果比较实例 ((a) 模糊图像; (b) 模糊图像梯度图;(c) SEEN-1 输出; (d) SEEN-2 输出 (强边缘); (e) 无强边缘提取网络的复原结果;(f) 有强边缘提取网络的复原结果; (g) 清晰图像)
Fig. 9 Comparison of restoration results of non-uniform motion blurry image with or without edge extraction network ((a) Blurry image; (b) Gradient of blurry image; (c) Output of SEEN-1; (d) Edge of SEEN-2 (Strong edge); (e) Restoration results of network without strong edge extraction network; (f) Restoration results of network with strong edge extraction network; (g) Clear image)
图 10 强边缘提取网络中间结果分析
Fig. 10 The intermediate results analysis of strong edge extraction network
图 11 强边缘提取网络效果分析
((i)模糊图像小块(30×30); (ii)模糊图像小块边缘(30×30); (iii) SEEN-1输出;(iv) SEEN-2输出; (v)灰度分布图; (vi)列灰度值加和曲线图)
Fig. 11 Effect analysis of strong edge extraction network
((i) Blurry image patch (30×30); (ii) Edge of blurry image patch (30×30); (iii) Output of SEEN-1; (iv) Output of SEEN-2; (v) Gray value distribution; (vi) Column gray value addition)
图 13 对比实验图像的PSNR和SSIM指标值柱状图
Fig. 13 Histogram of PSNR and SSIM values of comparative experimental images
表 1 交叉特征提取残差模块有效性验证实验结果(GoPro数据集)
Table 1 Validation experiment results of cross-resnet block (GoPro dataset)
评价指标 残差模块 交叉特征提取残差模块 PSNR 29.9800 30.2227 SSIM 0.8892 0.8944 
下载: 导出CSV
-
[1] Xu L, Jia J Y. Two-phase kernel estimation for robust motion deblurring. In: Proceedings of the 2010 European Conference on Computer Vision. Crete, Greece: Springer, 2010. 157−170 [2] Mesarovic V Z, Galatsanos N P. MAP and regularized constrained total least-squares image restoration. In: Proceedings of the 1st International Conference on Image Processing. Austin, TX, USA: IEEE, 1994. 177−181 [3] Michael K N, Robert J P, Felipe P. A New Approach to Constrained Total Least Squares Image Restoration. Linear Algebra and its Applications, 2000, 316(1-3): 237-258 doi: 10.1016/S0024-3795(00)00115-4 [4] Li W H, Chen Y Q, Chen R, Gong W G, Zhao B X. Hybrid order l0-regularized blur kernel estimation model for image blind deblurring. In: Proceedings of the 2017 International Symposium on Neural Networks. Sapporo, Japan: Springer, 2017. 239−247 [5] Li W H, Chen R, Xu S W, Gong W G. Blind motion image deblurring using nonconvex higher-order total variation model. Journal of Electronic Imaging, 2016, 25(5): 053033.1-053033.19 [6] Shen Z Y, Xu T F, Pan J S. Non-uniform Motion Deblurring with Kernel Grid Regularization. Signal Processing Image Communication, 2018, 62(0): 1-15 [7] Chakrabarti A. A neural approach to blind motion deblurring. In: Proceedings of the 2016 European Conference on Computer Vision. Amsterdam, Netherlands: Springer, 2016. 221−235 [8] Xu X Y, Pan J S, Zhang Y J, Yang M H. Motion Blur Kernel Estimation via Deep Learning. IEEE Transactions on Image Processing, 2018, 27(1): 194-205 doi: 10.1109/TIP.2017.2753658 [9] Xu L, Ren J S, Liu C, Jia J Y. Deep convolutional neural network for image deconvolution. In: Proceedings of the 2014 International Conference on Neural Information Processing Systems. Montreal, Canada: Springer, 2014. 1790−1798 [10] Tao X, Gao H Y, Shen X Y, Wang J, Jia J Y. Scale-Recurrent network for deep image deblurring. In: Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City, Utah, USA: IEEE, 2018. 8174−8182 [11] Goodfellow I J, Pouget-Abadie J, Mirza M, Xu B, Warde-Farley D. Generative Adversarial Networks. Advances in Neural Information Processing Systems, 2014, (3): 2672-2680 [12] 吴梦婷, 李伟红, 龚卫国. 双框架卷积神经网络用于运动模糊图像盲复原. 计算机辅助设计与图形学学报, 2018, 30(12): 2327-2334Wu M T, Li W H, Gong W G. Two-frame Convolutional Neural Network for Blind Motion Image Deblurring. Journal of Computer-Aided Design & Computer Graphics, 2018, 30(12): 2327-2334 [13] Kupyn O, Budzan V, Mykhailych M, Mishkin D. DeblurGAN: Blind motion deblurring using conditional adversarial networks. In: Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City, Utah, USA: IEEE, 2018. 1−9 [14] Tomasi C, Manduchi R. Bilateral filtering for gray and color images. In: Proceedings of the 1998 International Conference on Computer Vision. Bombay, India: IEEE, 1998. 839−846 [15] Xu L, Lu C W, Xu Y, Jia J Y. Image Smoothing via L0 Gradient Minimization. ACM Transactions on Graphics, 2011, 30(6): 174.1-174.11 [16] Wan R J, Shi B X, Duan L Y, Tan A H. CRRN: Multi-Scale guided concurrent reflection removal network. In: Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City, Utah, USA: IEEE, 2018. 4777−4785 [17] 林景栋, 吴欣怡, 柴毅, 尹宏鹏. 卷积神经网络结构优化综述. 自动化学报, 2020, 46(1): 24-37Lin J D, Wu X Y, Chai Y, Yin H P. Structure Optimization of Convolutional Neural Networks: A Survey. Acta Automatica Sinica, 2020, 46(1): 24-37 [18] Deng J, Dong W, Socher R, Li L J, Li K, Li F F. ImageNet: A large-scale hierarchical image database. In: Proceedings of the 2009 IEEE Computer Society Conference on Computer Vision and Pattern Recogniltion. Florida, USA: IEEE, 2009: 1−8 [19] Mao X D, Li Q, Xie H, Raymond Y K L, Wang Z, Stephen P S. Least squares generative adversarial networks. In: Proceedings of the 2017 International Conference on Computer Vision. Venice, Italy: IEEE, 2017: 2813−2821 [20] PyTorch. PyTorch Documentation [Online], available: https://pytorch.org/docs/stable/index.html, September 1, 2019 [21] Schuler C J, Hirsch M, Harmeling S, Scholkopf B. Learning to Deblur. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2016, 38(7): 1439-1451 [22] 孙季丰, 朱雅婷, 王恺. 基于DeblurGAN和低秩分解的去运动模糊. 华南理工大学学报(自然科学版), 2020, 48(1): 32-41Sun J F, Zhu Y T, Wang K. Motion Deblurring Based on DeblurGAN and Low Rank Decomposition. Journal of South China University of Technology (Natural Science Edition), 2020, 48(1): 32-41 [23] Kupyn O, Martyniuk T, Wu J R, Wang Z Y. DeblurGAN-v2: Deblurring (orders-of-magnitude) faster and better. In: Proceedings of the 2019 International Conference on Computer Vision. Seoul, Korea: IEEE, 2019. 8878−8887 期刊类型引用(8)
1. 葛城轩，朱尊杰，陆鸣，张文豪，路荣丰，王国相，郑博仑. 基于事件及考虑像素级模糊程度的图像去模糊. 信号处理. 2025(02): 312-324 . 
百度学术2. 李晓晗，刘石坚，刘建华，戴宇晨，邹峥. 基于多尺度和双源运动感知的车辆检测方法. 华东交通大学学报. 2024(04): 64-72 . 百度学术3. 杨波. 基于微分方程的非均匀运动模糊图像盲复原算法研究. 江西电力职业技术学院学报. 2023(02): 68-70 . 百度学术4. 姜新军. 基于变分贝叶斯的视觉散焦光图像快速盲复原算法. 吉林大学学报(信息科学版). 2023(03): 552-558 . 百度学术5. 罗锦晖，丁超，朱杰凡. 运动模糊图像的模糊参数快速估计方法研究. 计算机与数字工程. 2023(03): 727-730 . 百度学术6. 陈烽，王浩. 基于多通道视觉注意力的模糊图像质量复原算法设计. 吉林大学学报(工学版). 2023(09): 2626-2631 . 百度学术7. 张乾俊，廉佐政，赵红艳. 一种基于U-Net的图像去模糊方法. 高师理科学刊. 2022(05): 47-51 . 百度学术8. 周延木. 基于视觉传达的模糊舰船图像优化. 舰船科学技术. 2022(22): 154-157 . 百度学术其他类型引用(2)
-
下载:
计量
- 文章访问数: 974
- HTML全文浏览量: 342
- PDF下载量: 206
- 被引次数: 10
