-
摘要: 基于深度学习的方法在去雾领域已经取得了很大进展, 但仍然存在去雾不彻底和颜色失真等问题. 针对这些问题, 本文提出一种基于内容特征和风格特征相融合的单幅图像去雾网络. 所提网络包括特征提取、特征融合和图像复原三个子网络, 其中特征提取网络包括内容特征提取模块和风格特征提取模块, 分别用于学习图像内容和图像风格以实现去雾的同时可较好地保持原始图像的色彩特征. 在特征融合子网络中, 引入注意力机制对内容特征提取模块输出的特征图进行通道加权实现对图像主要特征的学习, 并将加权后的内容特征图与风格特征图通过卷积操作相融合. 最后, 图像复原模块对融合后的特征图进行非线性映射得到去雾图像. 与已有方法相比, 所提网络对合成图像和真实图像均可取得理想的去雾结果, 同时可有效避免去雾后的颜色失真问题.Abstract: Although recent research has shown the potential of using deep learning to accomplish single image dehazing, existing methods still have some problems, such as poor visibility and color distortion. To overcome these shortcomings, we present a content feature and style feature fusion network for single image dehazing. The dehazing network consists of three parts: Feature extraction sub-network, feature fusion sub-network and image restoration sub-network. The feature extraction sub-network consists of a content feature extraction module and a style feature extraction module, which can learn image content and image style respectively to achieve pleasing dehazing results and maintain original color characteristics simultaneously. In the feature fusion sub-network, the channel-wise attention mechanism is adopted to weight the feature maps generated from the content feature extraction module in order to learn the most important features of the image, and then the weighted content feature map and style feature map are fused by convolution operation. Finally, a non-linear mapping is performed to recover the dehazed image. Compared with the existing approaches, the proposed network can obtain superior results on synthetic and real images, and can avoid the color distortion effectively.
-
在雾霾天气条件下采集到的图像降质严重, 存在对比度下降、颜色失真和细节丢失等问题, 严重影响视觉效果. 同时, 也不利于图像特征提取和辨识, 导致户外视觉系统难以发挥效用. 因此, 图像去雾具有重要研究意义[1].
图像去雾方法可以分为基于图像增强的方法、基于物理模型的方法和基于深度学习的方法. 基于图像增强的方法[2-3]不考虑图像降质的原因, 通过增强图像的对比度来改善视觉效果. 基于物理模型的方法以大气散射模型[4]为基础, 基于不同的先验信息估计传输图和大气光对模型求解, 实现图像去雾. 该类方法中, 基于暗通道先验(Dark channel prior, DCP)的去雾方法研究最多应用最广[5], 其通过图像的暗通道先验求解传输图, 取得了较好的去雾效果. Berman等[6]基于非局部先验估计传输图, 并利用正则化方法对传输图进行优化. Zhu等[7]提出基于颜色衰减先验恢复图像的深度信息, 进而估计图像的传输图. 杨燕等[8]针对暗通道先验的不足, 提出一种基于高斯权重衰减的迭代优化去雾算法, 恢复的无雾图像较为清晰自然. 虽然基于物理模型的去雾方法取得了显著的进展, 但简化的物理模型会导致传输图和大气光估计出现误差, 且先验信息不具有普遍适用性, 易出现去雾不彻底和颜色失真等现象.
目前, 基于深度学习的方法成为研究的主流. 该类方法大多基于卷积神经网络(Convolutional neural network, CNN)构建可训练的端到端去雾网络, 其又可以分为间接端到端网络和直接端到端网络. 其中间接端到端去雾网络, 首先估计传输图、大气光或其他中间变量, 然后依据大气散射模型恢复无雾图像. Cai等[9]基于CNN提出一种DehazeNet网络来估计传输图, 该网络根据传统去雾方法中的先验信息进行构建, 其包括特征提取层、多尺度映射层、局部极大化层和非线性回归层. Ren等[10]基于CNN提出一种多尺度策略估计传输图, 用粗尺度网络估计初始传输图, 并用细尺度网络进行细化. 该网络估计的传输图更加真实, 一定程度上避免了细节信息损失. Zhang等[11]基于CNN提出一种密集连接金字塔网络结构(Densely connected pyramid dehazing network, DCPDN), 其通过两个子网络分别估计传输图和大气光值, 然后将得到的无雾图像与清晰图像输入鉴别网络基于生成对抗网络(Generative adversarial networks, GAN)损失函数联合训练得到最终的无雾图像. Li等[12]重新构造大气散射模型, 将传输图和大气光值整合成一个参数K, 并基于CNN设计AOD-Net估计该参数. Ren等[13]基于图像融合思想提出一个端到端的门控融合网络(Gated fusion network, GFN), 该网络首先估计三幅输入图像分别对应的权重图, 然后以权重图为引导将三幅输入图进行加权融合, 得到无雾图像. 上述间接端到端去雾网络虽然取得了相对不错的去雾效果, 但大多依赖于大气散射模型, 估计的传输图往往包含过多的细节信息, 且大多数方法将大气光设置为全局一致常量, 去雾后的图像易出现颜色失真. 直接端到端去雾网络则直接学习有雾图像到无雾图像之间的映射关系来恢复无雾图像. Li等[14]基于条件生成对抗网络(Conditional generative adversarial networks, cGAN)提出一个端到端可训练去雾网络, 并且引入VGG特征和L1正则化梯度先验构建损失函数. Qu等[15]提出了一个增强的pix2pix去雾网络(Enhanced pix2pix dehazing network, EPDN), 直接学习有雾图像和无雾图像之间的映射关系, 恢复的无雾图像较为清晰自然. Qin等[16]提出了一个端到端的特征融合注意力网络(FFA-Net), 该网络可有效提取图像特征, 但由于该网络通过学习有雾图像和清晰图像的差值进行去雾, 而忽略了图像的整体风格特征, 对于真实场景去雾效果不理想. Guo等[17]设计了一个端到端的融合去雾网络 (FS-Net), 首先对原图像进行预处理得到五幅增强图像, 然后将增强图像输入去雾网络得到无雾图像. 但因其有预处理过程, 容易导致颜色失真. Yang等[18]提出一种端到端的多尺度特征聚合去雾网络(Y-Net), 并且设计了小波结构相似性损失函数来训练网络, 但网络中连续的下采样可能会导致图像特征的丢失, 从而恢复的无雾图像细节信息和颜色信息保持度不足. 上述直接端到端方法在一定程度上提高了图像复原质量, 但在学习过程中往往出现过拟合现象, 易忽略图像原有的风格特征, 造成部分区域去雾不彻底或过度去雾, 恢复图像出现颜色失真.
针对以上问题, 本文提出了一个将内容特征和风格特征相融合的单幅图像去雾网络. 以级联的残差块[19]和级联的残差密集块[20]为主体框架设计内容提取模块和风格提取模块提取图像特征. 另外, 采用注意力机制[21]对提取到的内容特征图进行通道加权, 并将风格特征图与加权的内容特征图进行堆叠, 进而经卷积操作得到融合后的特征图. 所提网络去雾较为彻底, 复原图像清晰度高, 且无色彩失真现象.
1. 本文方法
本文基于CNN设计了一个内容特征和风格特征相融合的去雾网络, 该网络不依赖于大气散射模型, 可实现从有雾图像到无雾图像直接端到端去雾. 与现有方法不同的是, 该网络考虑了对图像风格特征的提取, 可以在去雾的同时较好地保持图像原有色彩, 克服现有方法去雾不彻底和去雾后颜色失真问题. 另外, 为充分获取图像的内容特征和风格特征, 本文设计了两个独立的网络模块分别提取图像的内容和风格信息. 具体地, 利用级联的残差块(Residual block, RB)提取图像的内容特征, 利用残差密集块(Residual dense block, RDB)提取图像风格特征; 此外, 为了加强对图像主要内容特征的学习, 同时保证内容特征和风格特征提取的独立性, 本文仅对内容特征进行通道加权, 并将加权后的内容特征和风格特征进行堆叠融合; 最后, 采用1×1的卷积层整合融合后的特征信息, 同时实现特征图到无雾图像之间的非线性映射. 提出的去雾网络整体结构如图1所示.
1.1 特征提取网络
1.1.1 内容特征提取模块
图像的内容特征主要包括轮廓特征和空间结构特征, 轮廓特征描述了图像中物体的边缘信息, 属于图像的全局特征, 空间结构特征描述了图像的主要内容, 属于图像的局部特征. 因此, 有效提取图像的全局特征和局部特征对于图像去雾尤为重要.
为了获取有效的内容特征, 本文引入残差思想设计内容特征提取模块, 该模块的深度为24层卷积, 包括3个卷积层(Conv1 ~ Conv3)和7个级联的残差块(RB1 ~ RB7). 其中, 前3个卷积层的卷积核均为3×3, 3×3的卷积核相较于较大的卷积核, 可以在有效提取图像特征的同时, 降低参数量和计算量; 步长分别为 {1, 1, 2}, 前两个卷积层步长均为1, 可以更全面地提取图像特征, 第3个卷积层步长为2, 可以有效降低特征图的尺寸, 减少计算量, 有益于网络的训练. 此外, 经实验可得, 采用7个级联的残差块时, 该去雾网络性能最佳. 每个残差块的结构相同, 均包含3个卷积层, 卷积核的大小为3×3, 步长均为1, 输出通道数均为64, 该模块中卷积后的激活函数均采用ReLU函数. 如图2所示, 残差块采用跳转连接的方式, 将信息传递到网络的更深层, 该连接方式相当于执行了恒等变换, 不会增加计算复杂度且可有效解决深层网络梯度消失问题, 提高了网络学习能力.
浅层卷积层可以提取图像的纹理和细节特征, 而深层卷积层可以提取图像的轮廓和形状. 因此, 浅层网络得到的特征图包含更多的局部信息, 深层网络得到的特征图包含更多的全局信息. 为了有效提取图像的内容特征, 本文采用了多层特征图连接方式提取图像的内容特征, 采用跳转堆叠的方式将残差块RB1、RB5和RB7输出的特征图进行堆叠得到最终的内容特征图, 从而保证了图像内容特征的完整性, 如图1中内容特征提取模块所示.
1.1.2 风格特征提取模块
图像的风格特征主要包括颜色特征, 颜色特征是基于像素点的特征, 描述了图像所对应景物的表面性质, 其对图像中的方向、大小等变化不敏感, 属于图像的全局特征. 为了实现去雾的同时较好地保持图像的颜色特性, 需要准确有效地提取图像的风格特征.
深层网络感受野大, 其提取的特征图包含较多的全局信息, 为了更加有效地提取图像的风格特征, 同时充分利用各卷积层输出特征图, 本文采用级联的残差密集块设计风格特征提取模块, 其密集连接部分将各层提取的特征连接起来, 不仅充分利用了不同尺度下提取到的特征, 而且可以解决由于网络过深导致的梯度消失等问题. 此外, 为了更准确地提取图像的全局信息, 本文将低分辨率有雾图像作为该模块的输入图像. 该模块包含1个卷积层(Conv4)和3个残差密集块(RDB1 ~ RDB3), 其中卷积层Conv4的卷积核大小为3 × 3, 步长为1, 如图1中风格特征提取模块所示. 每个残差密集块的结构相同, 均包含4个卷积层, 前3个卷积层的卷积核大小均为3 × 3, 步长均为1, 第4个卷积层的卷积核大小为1×1, 输出通道数为16, 用于融合不同卷积层的特征图并可减少通道数量, 该模块卷积层后的激活函数均为ReLU函数. 如图3所示, 残差密集块可以充分利用输入图像的所有分层特征, 其中的残差结构有益于网络收敛.
1.2 特征融合网络
本节设计特征融合网络模块, 将内容特征和风格特征进行融合, 主要包括: 1)通道加权: 对残差块RB1、RB5、RB7的输出进行通道加权堆叠得到加权的内容特征图
${{{V}}_{\rm{c}}}.$ 2)融合: 将残差密集块RDB3的输出记为风格特征图${{{V}}_{\rm{s}}}$ , 对加权的内容特征图${{{V}}_{\rm{c}}}$ 和风格特征图${{{V}}_{\rm{s}}}$ 进行堆叠, 经反卷积层和卷积层运算得到融合的特征图${{{V}}_{\rm{f}}}$ .对内容特征图采用注意力机制进行通道加权, 每个残差块的特征图记为
${{{V}}^l}$ ,${{{V}}^l} \in {{\bf{R}}^{C \times H \times W}}$ , 其中,$l $ 表示残差块的个数,$C $ 为输出特征图的通道数,$H $ 和$W $ 分别为特征图的高度和宽度. 第$l $ 个残差块输出的特征图为${{{V}}^l}$ , 通道注意力权重可记为:${\beta ^l} \in {{\bf{R}}^{C \times 1 \times 1}}$ , 加权后的特征图可表示为:${{{X}}^l} = {\beta ^l} \cdot {{{V}}^l}$ , 其中, “$\cdot$ ”表示元素相乘.为了求得通道注意权重
${\beta ^l}$ , 首先将${{{V}}^l}$ 映射为${U^l}$ , 且${U^l} = \left[ {{{u}}_1^l,u_2^l, \cdot \cdot \cdot ,{{u}}_C^l} \right]$ , 其中,${{u}}_i^l \in {{\bf{R}}^{H \times W}}$ , 表示特征图${{{V}}^l}$ 的第$i $ 个通道. 然后对每个二维特征图通道进行平均池化操作得到通道的特征${{{F}}^l}$ :$${{{F}}^l}=\left[ {f_1^l,f_2^l, \cdot \cdot \cdot ,f_C^l} \right],\;\;{{{F}}^l} \in {{\bf{R}}^C}$$ (1) 其中, 标量
$f_i^l$ 是向量${\boldsymbol{u}}_i^l$ 的均值, 其表示第$i $ 个通道的特征. 因此,${\beta ^l}$ 可以由下式求得:$${\beta ^l} = \sigma {\rm{(}}{{{W}}_1}\delta {\rm{(}}{{{W}}_0}{{{F}}^l}{\rm{))}}$$ (2) 其中,
${{{W}}_0} \in {{\bf{R}}^{{(C / r)} \times C}}$ 和${{{W}}_1} \in {{\bf{R}}^{C \times {C / r}}}$ 为转换矩阵,$r $ 为衰减率,$\sigma ( \cdot )$ 为Sigmoid函数,$\delta ( \cdot )$ 为ReLU激活函数.对残差块RB1、RB5、RB7输出的特征图进行通道注意力加权堆叠, 得到加权的内容特征图, 记为
${{{V}}_{\rm{c}}} = [{{{X}}^1},{{{X}}^5},{{{X}}^7}]$ , 其中,$[ \cdot ]$ 表示堆叠操作.融合部分如图1中特征融合模块所示, 其包含两个卷积层: 反卷积层Deconv1和卷积层Conv5. 卷积核大小均为3×3, 步长分别为 {2, 1}, padding均设置为1, 输出通道数均为64, 后接ReLU激活函数. 因此, 融合后的特征图为
${{{V}}_{\rm{f}}}=f{\rm{([}}{{{V}}_{\rm{c}}}{\rm{,}}{{{V}}_{\rm{s}}}{\rm{])}}$ , 其中$f( \cdot )$ 表示反卷积和卷积操作.1.3 图像复原
最后, 对融合后的特征图进行非线性映射, 如图1中图像复原模块所示. 其包含一个卷积层Conv6, 卷积核的大小为1×1, 步长为1, padding设置为0, 输出通道数为3, 后接ReLU激活函数, 该卷积层的输出即为复原图像.
1.4 损失函数
本文在训练网络时采用的损失函数是
$L_2 $ 损失(最小平方误差)和感知损失, 其中$L_2 $ 损失可以表示为$${L_2} = \frac{1}{{NHW}}{\sum\limits_{i = 1}^N {\left\| {{{\hat J}_i} - {J_i}} \right\|} ^2}$$ (3) 其中,
${\hat J_i}$ 表示网络恢复的图像,${J_i}$ 表示对应的清晰图像,$H $ 和$W $ 分别表示${\hat J_i}$ 的高度和宽度.$N $ 表示恢复图像的个数. 此外, 感知损失可以衡量恢复的无雾图像和其对应的清晰图像之间的语义特征差异, 采用预训练在ImageNet[22]上的VGG-16网络[23]输出的特征图${\phi _j}( \cdot )$ 来计算, 可以表示为$${L_{\rm{P}}} = \sum\limits_{j = 1}^3 {\frac{1}{{{C_j}{H_j}{W_j}}}\left\| {{\phi _j}(\hat J) - {\phi _j}(J)} \right\|} ^2$$ (4) 其中,
$\hat J$ 为网络恢复的图像,$J$ 为对应的清晰图像,${\phi _j}(\hat J)$ 和${\phi _j}(J)$ 分别表示$\hat J$ 和$J$ 对应的特征图,${C_j}$ ,${H_j}$ ,${W_j}$ 分别表示${\phi _j}(\hat J)$ 和${\phi _j}(J)$ 的通道数、高度和宽度. 因此, 总的损失函数可以表示为$$L = {L_2} + \lambda {L_{\rm{P}}}$$ (5) 其中,
$\lambda $ 为权重因子.2. 实验与结果分析
2.1 实验设置及数据集
本文方法基于Pytorch框架实现, 在Ubuntu环境下使用NVIDIA 1080Ti GPU训练去雾网络. 初始学习率设置为0.0001, batchsize设置为16, 权重因子
$\lambda $ 设置为0.4, 采用动量衰减指数${\beta _{\rm{1}}}=0.9$ ,${\beta _{\rm{2}}}=0.999$ 的Adam优化器进行优化, 迭代次数为100次. 采用公共数据集RESIDE[24]中的ITS (Indoor training set)数据集、OTS (Outdoor training set)数据集和SOTS (Synthetic objective testing set)数据集. 其中, 选取ITS为室内训练集, 共包含1399幅清晰图像和13990幅有雾图像; OTS为室外训练集, 共包含8477幅清晰图像和296695幅有雾图像, 选取其中2061幅清晰图像以及对应的72135幅有雾图像作为室外有雾图像的训练集; SOTS为测试集, 包含500幅室内有雾图像和500幅室外有雾图像. 此外, 考虑到测试集SOTS与训练集ITS和OTS来自同一数据分布, 为了丰富测试集并验证本文方法的鲁棒性, 本文利用数据集MSD (Middlebury stereo datasets)[25]通过大气散射模型合成有雾图像, 选取色彩较为丰富的有雾图像作为测试图像来验证去雾网络的色彩保持性能. 本文选择与目前的优势去雾方法进行对比实验, 包括经典去雾方法DCP[5]以及近期基于深度学习的去雾方法: DehazeNet[9]、MSCNN[10]、AOD-Net[12]、DCPDN[11]、EPDN[15]、FFA-Net[16]、FS-Net[17]和Y-Net[18].2.2 在合成数据集上实验
首先, 在合成数据集上进行实验, 采用的测试图像为数据集SOTS, 包含500幅室内有雾图像和500幅室外有雾图像. 采用峰值信噪比(Peak signal-to-noise ratio, PSNR)和结构相似性(Structural similarity, SSIM)对去雾算法所恢复的图像质量进行评价, 各方法实验结果如表1所示. 可以看出, 本文方法得到的去雾图像PSNR和SSIM指标优于大部分去雾方法. 此外, 由于FFA-Net的网络层数较深, 并且有较强的特征提取和特征选择能力, 因此其在训练集ITS和OTS上的拟合能力较强, 且SOTS测试集与训练集的数据来自同一数据分布, 从而导致了该去雾方法在SOTS数据集上取得了较高的指标, 但其对于真实有雾图像和MSD数据集中的图像去雾效果不理想.
表 1 在合成数据集上PSNR和SSIM结果Table 1 Comparison of PSNR and SSIM tested on synthetic hazy images方法 室内图像 室外图像 PSNR (dB) SSIM PSNR (dB) SSIM DCP[5] 16.62 0.8179 19.13 0.8148 DehazeNet[9] 21.14 0.8472 22.46 0.8514 MSCNN[10] 17.57 0.8102 22.06 0.9078 AOD-Net[12] 19.06 0.8504 20.29 0.8765 DCPDN[11] 15.85 0.8175 19.93 0.8449 EPDN[15] 25.06 0.9232 22.57 0.8630 FFA-Net[16] 36.39 0.9886 33.57 0.9840 FS-Net[17] 26.61 0.9561 24.07 0.8741 Y-Net[18] 19.04 0.8465 25.02 0.9012 本文方法 31.10 0.9776 30.74 0.9774 
图 5 合成有雾图的实验结果(MSD) ((a) 有雾图; (b) DCP; (c) DehazeNet; (d) MSCNN; (e) AOD-Net; (f) DCPDN; (g) EPDN; (h) FFA-Net; (i) Y-Net; (j)本文方法; (k) 清晰图像)Fig. 5 Experimental results of the synthetic hazy images (MSD) ((a) Hazy images; (b) DCP; (c) DehazeNet; (d) MSCNN; (e) AOD-Net; (f) DCPDN; (g) EPDN; (h) FFA-Net; (i) Y-Net; (j) Proposed; (k) Clear images)
图 7 真实场景有雾图的实验结果 ((a) 有雾图; (b) DCP; (c) DehazeNet; (d) MSCNN; (e) AOD-Net; (f) DCPDN; (g) EPDN; (h) FFA-Net; (i) Y-Net; (j)本文方法)Fig. 7 Experimental results of real outdoor hazy images ((a) Hazy images; (b) DCP; (c) DehazeNet; (d) MSCNN; (e) AOD-Net; (f) DCPDN; (g) EPDN; (h) FFA-Net; (i) Y-Net; (j) Proposed)另外, 从SOTS数据集中选取3幅室内浓雾图像和室外有雾图像进行主观质量评价, 各方法去雾效果如图4所示. 利用数据集MSD合成3幅有雾图像(Cones、Moebius和Monopoly), 各方法去雾效果如图5所示. 由图4可以看出, DCP方法恢复的图像过暗, 并且存在颜色失真问题(如图4(b)中室内图像的地板和室外图像的天空和墙壁区域). DehazeNet方法得到的去雾图像可较好地保持图像色彩, 但在浓雾区域去雾不彻底(如图4(c)中室内图像的墙壁和桌椅区域). MSCNN和AOD-Net方法恢复的图像去雾不够彻底, 且色彩恢复不足. DCPDN方法去雾较为彻底, 但颜色失真严重且细节恢复不足(如图4(f)中室内图像的桌面和室外图像的天空区域). EPDN方法恢复的图像在薄雾区域存在过度去雾现象导致颜色失真(如图4(g)中室内图像的桌椅以及室外图像的墙壁和建筑物), 且对于浓雾区域则去雾不够彻底. Y-Net方法对于室内有雾图像去雾不够彻底(如图4(i)中的桌椅和地板区域), 且对于室外有雾图像存在颜色失真现象(如图4(i)最后一幅图像中建筑物的墙壁顶端颜色过深). 由图4(h)和4(j)可以看出, 本文方法与FFA-Net去雾效果相当, 均可以有效去除有雾图像中的雾气, 且复原图像在细节和色彩方面均最接近原始清晰图像. 此外, 由图5可以看出, DCP方法和DehazeNet方法恢复的图像Cones背景区域颜色严重失真, MSCNN方法恢复的Moebius整体色调偏离, 色彩失真严重. AOD-Net方法和DCPDN方法仅去除了少量雾气, 恢复的图像整体色调偏白. EPDN方法恢复的3幅图像色调偏暗沉, 与原图像偏差过大. FFA-Net方法恢复的Moebius图像仍存在大量雾气, 且恢复的Monopoly图像背景区域存在不均匀色块. Y-Net方法恢复的Moebius图像细节模糊, 且有雾气残留, 此外, 其恢复的Monopoly图像存在大量不均匀色块, 整体色调偏暗. 由图5(j)可以看出, 本文方法恢复得到的无雾图像色彩保持度好, 且去雾较为彻底.
图 4 合成有雾图的实验结果(SOTS) ((a) 有雾图; (b) DCP; (c) DehazeNet; (d) MSCNN; (e) AOD-Net; (f) DCPDN; (g) EPDN; (h) FFA-Net; (i) Y-Net; (j)本文方法; (k) 清晰图像)Fig. 4 Experimental results of the synthetic hazy images (SOTS) ((a) Hazy images; (b) DCP; (c) DehazeNet; (d) MSCNN; (e) AOD-Net; (f) DCPDN; (g) EPDN; (h) FFA-Net; (i) Y-Net; (j) Proposed; (k) Clear images)同时, 为了验证所提去雾网络中各模块的有效性, 分别选取内容特征提取模块、风格特征提取模块以及特征融合模块输出的特征图进行对比分析, 如图6所示. 由图6(c)和图6(d)可以看出, 内容特征提取模块可有效提取图像的全局特征和局部特征, 该模块输出的特征图在突出局部区域边缘细节的同时, 还可较好地保留图像的整体轮廓(如图6(c)中的墙壁和吊灯的边缘, 图6(d)中桌椅的边缘). 由图6(e)可以看出, 风格特征提取模块输出的特征图有效描述了场景中不同物体的表面性质, 较好地呈现了场景的风格特征. 由图6(f)可以看出, 特征融合网络得到的特征图可较好地增强有雾图像中的模糊纹理, 并可保持清晰的局部边缘和全局轮廓. 由图6(b)可以看出, 本文方法复原图像去雾彻底, 且细节清晰自然.
图 6 去雾结果图及其对应的特征图 ((a) 有雾图; (b) 去雾图像; (c) 内容特征图(RB1_index 59); (d)内容特征图(RB7_index 13); (e) 风格特征图(RDB3_index 10); (f) 融合后的特征图(index 53))Fig. 6 Dehazed results and corresponding feature maps ((a) Hazy image; (b) Dehazed image; (c) Content feature map (RB1_index 59); (d) Content feature map (RB7_index 13); (e) Style feature map (RDB3_index 10); (f) Fused feature map (index 53))2.3 在真实数据集上实验
进一步, 为了验证所提方法的有效性, 本节选取几幅典型的真实图像进行实验, 并与目前的优势算法进行比较, 去雾结果如图7所示. 由图7(b)可以看出, DCP方法由于对雾霾的浓度估计错误, 导致传输图估计不准确, 恢复图像偏暗; 如图7(b)中第1幅图女孩的肤色过深, 第3幅图中山峰区域过暗导致细节模糊. 另外, 该方法恢复的图像天空区域颜色失真严重; 如图7(b)中第3幅图天空颜色过深, 第4幅图中云彩部分过暗, 严重影响视觉效果. 由图7(c)可以看出, DehazeNet方法对远景雾气去除效果不佳; 如图7(c)第2幅图稍远处的草堆以及第3幅和第4幅图中的远山区域仍存在一部分雾气. 由图7(d)和7(e)可以看出, MSCNN和AOD-Net方法虽然可以去除部分雾气, 但复原的无雾图像细节保持度不够; 如第2幅图中草垛部分边缘细节模糊, 第3幅图中山峰和天空交界处存在块效应且去雾不够彻底. 由图7(f)可以看出, DCPDN虽然可以去除大部分雾气, 但恢复的图像整体色调偏白, 如第3幅和第4幅图中天空区域过亮. 由图7(g)可以看出, EPDN方法虽然可以有效去除雾气, 但恢复的图像色调偏暗, 且存在失真和细节模糊, 如第2幅图中草堆的阴影部分颜色过重而导致边缘信息丢失, 第4幅图中云彩颜色偏黄且山峰区域色调过深. 由图7(h)可以看出, FFA-Net仅能去除有雾图像前景部分的雾气, 如第1幅图中女孩身后的树林和第2幅图中远处的草堆部分仍存在较多雾气, 此外, 该方法对于真实有雾图像的色彩保持度不够, 如第3幅图的天空和山峰部分色调偏白. 由图7(i)可以看出, Y-Net对于远景区域的去雾效果不佳, 如第2幅图中远处的草堆和第3幅图中远山部分有雾气残留. 由图7(j)可以看出, 本文方法得到的去雾图像在有效去除雾气的同时很好地保持了图像原有的色彩, 且不依赖于大气散射模型, 可以有效避免传输图和大气光估计不准确导致的去雾不彻底、去雾后颜色失真等问题.
2.4 消融实验
为了验证本文提出的去雾网络中每个模块的有效性, 本节进行了消融实验, 共包括如下4个实验: 1) 仅提取有雾图像的内容特征(Content feature, CF); 2) 提取有雾图像的内容特征并进行通道注意力加权(Channel-wise weighted content feature, WCF); 3) 提取有雾图像的内容特征和风格特征, 对提取的两种特征进行通道注意力加权融合(Fusion of channel-wise weighted content-style feature, WC-SF); 4) 将提取的风格特征与进行了通道注意力加权的内容特征与堆叠融合(Fusion of style feature and channel-wise weighted content feature, SF-WCF). 本文在SOTS室内测试集上对以上4个实验进行质量评价, 其PSNR和SSIM结果如表2所示, 去雾结果对比如图8所示. 从表2中可以看出, 本文采用的SF-WCF去雾网络恢复的无雾图像质量更高. 此外, 从图8中方框部分对比可以看出, CF去雾网络恢复的图像有少量雾气残留, 且墙壁部分色调偏暗; WCF和WC-SF去雾网络得到的去雾结果图虽然去雾较为彻底, 但墙壁部分颜色偏暗; 本文采用的SF-WCF去雾网络得到的无雾图像去雾彻底, 且墙壁颜色与清晰图像最为接近.
表 2 在SOTS室内数据集上PSNR和SSIM结果比较Table 2 Comparison of PSNR and SSIM tested on SOTS (indoor dataset)实验项目 PSNR (dB) SSIM CF 28.57 0.9703 WCF 29.76 0.9730 WC-SF 29.85 0.9774 SF-WCF 31.10 0.9776 
图 8 消融实验结果比较 ((a) 有雾图; (b) CF; (c) WCF; (d) WC-SF; (e) SF-WCF; (f) 清晰图像)Fig. 8 Comparison of ablation experiments ((a) Hazy image; (b) CF; (c) WCF; (d) WC-SF; (e) SF-WCF; (f) Clear image)3. 结束语
本文提出一种基于内容特征和风格特征相融合的单幅图像去雾方法. 网络结构设计充分考虑了对图像内容特征、风格特征的有效提取和融合, 可有效提高网络模型的精度, 并且在实现去雾的同时能够较好地保持图像的原有色彩. 本文方法不依赖于大气散射模型, 可避免使用不准确的传输图和大气光, 有效解决了现有去雾方法去雾不彻底或因过度去雾导致的颜色失真等问题.
-
图 5 合成有雾图的实验结果(MSD) ((a) 有雾图; (b) DCP; (c) DehazeNet; (d) MSCNN; (e) AOD-Net; (f) DCPDN; (g) EPDN; (h) FFA-Net; (i) Y-Net; (j)本文方法; (k) 清晰图像)
Fig. 5 Experimental results of the synthetic hazy images (MSD) ((a) Hazy images; (b) DCP; (c) DehazeNet; (d) MSCNN; (e) AOD-Net; (f) DCPDN; (g) EPDN; (h) FFA-Net; (i) Y-Net; (j) Proposed; (k) Clear images)
图 7 真实场景有雾图的实验结果 ((a) 有雾图; (b) DCP; (c) DehazeNet; (d) MSCNN; (e) AOD-Net; (f) DCPDN; (g) EPDN; (h) FFA-Net; (i) Y-Net; (j)本文方法)
Fig. 7 Experimental results of real outdoor hazy images ((a) Hazy images; (b) DCP; (c) DehazeNet; (d) MSCNN; (e) AOD-Net; (f) DCPDN; (g) EPDN; (h) FFA-Net; (i) Y-Net; (j) Proposed)
图 4 合成有雾图的实验结果(SOTS) ((a) 有雾图; (b) DCP; (c) DehazeNet; (d) MSCNN; (e) AOD-Net; (f) DCPDN; (g) EPDN; (h) FFA-Net; (i) Y-Net; (j)本文方法; (k) 清晰图像)
Fig. 4 Experimental results of the synthetic hazy images (SOTS) ((a) Hazy images; (b) DCP; (c) DehazeNet; (d) MSCNN; (e) AOD-Net; (f) DCPDN; (g) EPDN; (h) FFA-Net; (i) Y-Net; (j) Proposed; (k) Clear images)
图 6 去雾结果图及其对应的特征图 ((a) 有雾图; (b) 去雾图像; (c) 内容特征图(RB1_index 59); (d)内容特征图(RB7_index 13); (e) 风格特征图(RDB3_index 10); (f) 融合后的特征图(index 53))
Fig. 6 Dehazed results and corresponding feature maps ((a) Hazy image; (b) Dehazed image; (c) Content feature map (RB1_index 59); (d) Content feature map (RB7_index 13); (e) Style feature map (RDB3_index 10); (f) Fused feature map (index 53))
图 8 消融实验结果比较 ((a) 有雾图; (b) CF; (c) WCF; (d) WC-SF; (e) SF-WCF; (f) 清晰图像)
Fig. 8 Comparison of ablation experiments ((a) Hazy image; (b) CF; (c) WCF; (d) WC-SF; (e) SF-WCF; (f) Clear image)
表 1 在合成数据集上PSNR和SSIM结果
Table 1 Comparison of PSNR and SSIM tested on synthetic hazy images
方法 室内图像 室外图像 PSNR (dB) SSIM PSNR (dB) SSIM DCP[5] 16.62 0.8179 19.13 0.8148 DehazeNet[9] 21.14 0.8472 22.46 0.8514 MSCNN[10] 17.57 0.8102 22.06 0.9078 AOD-Net[12] 19.06 0.8504 20.29 0.8765 DCPDN[11] 15.85 0.8175 19.93 0.8449 EPDN[15] 25.06 0.9232 22.57 0.8630 FFA-Net[16] 36.39 0.9886 33.57 0.9840 FS-Net[17] 26.61 0.9561 24.07 0.8741 Y-Net[18] 19.04 0.8465 25.02 0.9012 本文方法 31.10 0.9776 30.74 0.9774 
下载: 导出CSV
表 2 在SOTS室内数据集上PSNR和SSIM结果比较
Table 2 Comparison of PSNR and SSIM tested on SOTS (indoor dataset)
实验项目 PSNR (dB) SSIM CF 28.57 0.9703 WCF 29.76 0.9730 WC-SF 29.85 0.9774 SF-WCF 31.10 0.9776
下载: 导出CSV
-
[1] 吴迪, 朱青松. 图像去雾的最新研究进展. 自动化学报, 2015, 41(2): 221-239.Wu Di, Zhu Qing-Song. The latest research progress of image dehazing. Acta Automatica Sinica, 2015, 41(2): 221-239. [2] Xu H T, Zhai G T, Wu X L, Yang X K. Generalized equalization model for image enhancement. IEEE Transactions on Multimedia, 2014, 16(1): 68-82. doi: 10.1109/TMM.2013.2283453 [3] Jiang B, Woodell G A, Jobson D J. Novel multi-scale retinex with color restoration on graphics processing unit. Journal of Real-Time Image Processing, 2015, 10(2): 239-253. doi: 10.1007/s11554-014-0399-9 [4] Narasimhan S G, Nayar S K. Vision and the atmosphere. International Journal of Computer Vision, 2002, 48(3): 233-254. doi: 10.1023/A:1016328200723 [5] He K M, Sun J, Tang X O. Single image haze removal using dark channel prior. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2010, 33(12): 2341-2353. [6] Berman D, Treibitz T, Avidan S. Non-local image dehazing. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas, NV, USA: IEEE, 2016. 1674−1682 [7] Zhu Q S, Mai J M, Shao L. A fast single image haze removal algorithm using color attenuation prior. IEEE Transactions on Image Processing, 2015, 24(11): 3522-3533. doi: 10.1109/TIP.2015.2446191 [8] 杨燕, 陈高科, 周杰. 基于高斯权重衰减的迭代优化去雾算法. 自动化学报, 2019, 45(4): 819-828.Yang Yan, Chen Gao-Ke, Zhou Jie. Iterative optimization defogging algorithm using gaussian weight decay. Acta Automatica Sinica, 2019, 45(4): 819-828. [9] Cai B L, Xu X M, Jia K, Qing C M, Tao D C. DehazeNet: an end-to-end system for single image haze removal. IEEE Transactions on Image Processing, 2016, 25(11): 5187-5198. doi: 10.1109/TIP.2016.2598681 [10] Ren W Q, Liu S, Zhang H, Pan J S, Cao X C, Yang M H. Single image dehazing via multi-scale convolutional neural networks. In: Proceedings of the European Conference on Computer Vision. Amsterdam, Netherlands: Springer, 2016. 154−169 [11] Zhang H, Patel V M. Densely connected pyramid dehazing network. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Salt Lake City, UT, USA: IEEE, 2018. 3194−3203 [12] Li B Y, Peng X L, Wang Z Y, Xu J Z, Feng D. AOD-Net: All-in-one dehazing network. In: Proceedings of the IEEE International Conference on Computer Vision. Venice, Italy: IEEE, 2017. 4780−4788 [13] Ren W Q, Ma L, Zhang J W, Pan J S, Cao X C, Liu W, et al. Gated fusion network for single image dehazing. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Salt Lake City, UT, USA: IEEE, 2018. 3253−3261 [14] Li R D, Pan J S, Li Z C, Tang J H. Single image dehazing via conditional generative adversarial network. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Salt Lake City, UT, USA: IEEE, 2018. 8202−8211 [15] Qu Y Y, Chen Y Z, Huang J Y, Xie Y. Enhanced pix2pix dehazing network. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Long Beach, CA, USA: IEEE, 2019. 8160−8168 [16] Qin X, Wang Z L, Bai Y C, Xie X D, Jia H Z. FFA-Net: Feature fusion attention network for single image dehazing. In: Proceedings of the Association for the Advance of Artificial Intelligence. Hilton Midtown, New York, USA: AAAI Press, 2020. 11908−11915 [17] Guo F, Zhao X, Tang J, Peng H, Liu L J, Zou B J, et al. Single image dehazing based on fusion strategy. Neurocomputing, 2020, 378: 9-23. doi: 10.1016/j.neucom.2019.09.094 [18] Yang H H, Yang C H H, Tsai Y C J. Y-net: Multi-scale feature aggregation network with wavelet structure similarity loss function for single image dehazing. In: Proceedings of the IEEE International Conference on Acoustics, Speech and Signal Processing. Barcelona, Spain: IEEE, 2020. 2628−2632 [19] He K M, Zhang X Y, Ren S Q, Sun J. Deep residual learning for image recognition. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas, NV, USA: IEEE, 2016. 770−778 [20] Zhang Y L, Tian Y P, Kong Y, Zhong B N, Fu Y. Residual dense network for image super-resolution. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Salt Lake City, UT, USA: IEEE, 2018. 2472−2481 [21] Chen L, Zhang H W, Xiao J, Nie L Q, Shao J, Liu W, et al. Sca-cnn: Spatial and channel-wise attention in convolutional networks for image captioning. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Honolulu, HI, USA: IEEE, 2017. 6298−6306 [22] Russakovsky O, Deng J, Su H, Krause J, Satheesh S, Ma S, et al. ImageNet large scale visual recognition challenge. International Journal of Computer Vision, 2015, 115(3): 211-252. doi: 10.1007/s11263-015-0816-y [23] Simonyan K, Zisserman A. Very deep convolutional networks for large-scale image recognition. In: Proceedings of the 3rd International Conference on Learning Representations. San Diego, CA, USA: ICLR, 2015. 1−14 [24] Li B Y, Ren W Q, Fu D P, Tao D C, Feng D, Zeng W J, et al. Benchmarking single image dehazing and beyond. IEEE Transactions on Image Processing, 2019, 28(1): 492-505. doi: 10.1109/TIP.2018.2867951 [25] Scharstein D, Pal C. Learning conditional random fields for stereo. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Minneapolis, MN, USA: IEEE, 2007. 18−23 -
下载:
计量
- 文章访问数: 1539
- HTML全文浏览量: 548
- PDF下载量: 309
- 被引次数: 0
