Underwater Image Color Correction and Enhancement Based on Improved Cycle-consistent Generative Adversarial Networks
-
摘要: 针对水下观测图像的颜色失真和散射模糊问题, 提出一种基于改进循环一致性生成对抗网络(Cycle-consistent generative adversarial networks, CycleGAN)的水下图像颜色校正与增强算法. 为了利用CycleGAN学习水下降质图像到空气中图像的映射关系, 对传统CycleGAN的损失函数进行了改进, 提出了基于图像强边缘结构相似度(Strong edge and structure similarity, SESS)损失函数的SESS-CycleGAN, SESS-CycleGAN可以在保留原水下图像的边缘结构信息的前提下实现水下降质图像的颜色校正和对比度增强. 为了确保增强后图像和真实脱水图像颜色的一致性, 建立了SESS-CycleGAN和正向生成网络G相结合的网络结构; 并提出了两阶段学习策略, 即先利用非成对训练集以弱监督方式进行SESS-CycleGAN学习, 然后再利用少量成对训练集以强监督方式进行正向生成网络G的监督式学习. 实验结果表明: 本文算法在校正水下图像颜色失真的同时还增强了图像对比度, 且较好地实现了增强后图像和真实脱水图像视觉颜色的一致性.
-
关键词:
- 水下图像 /
- 深度学习 /
- 循环一致性生成对抗网络 /
- 颜色校正 /
- 图像增强
Abstract: Aiming at the problem of color distortion and scattering blurry effect of underwater observation images, an color correction and enhancement algorithm of underwater images is proposed based on improved cycle-consistent generative adversarial networks (CycleGAN). Firstly, in order to learn the mapping relationship between underwater degraded images and in-air images using CycleGAN, the CycleGAN is improved by introducing a new loss function based on strong edge and structure similarity (SESS). The new SESS-CycleGAN can realize color correction and contrast enhancement of underwater degraded images while retaining their edge and structure information. Secondly, for ensuring the color consistency between the enhanced images and the their corresponding in-air images, a dual-level network structure combining SESS-CycleGAN with a forward generation network G is constructed, and a two-stage learning strategy is proposed. In the two-stage learning process, the SESS-CycleGAN is first trained in a weakly supervised manner with a unpaired training set composed of underwater images and in-air images, and then the forward generation network G of SESS-CycleGAN is trained again in a strong supervised manner with a small number of paired training set. Experimental results show that the proposed algorithm can enhance image contrast while correcting color distortion of underwater images, and has better visual color consistency with real images in air. -
在雾霾天气条件下采集到的图像降质严重, 存在对比度下降、颜色失真和细节丢失等问题, 严重影响视觉效果. 同时, 也不利于图像特征提取和辨识, 导致户外视觉系统难以发挥效用. 因此, 图像去雾具有重要研究意义[1].
图像去雾方法可以分为基于图像增强的方法、基于物理模型的方法和基于深度学习的方法. 基于图像增强的方法[2-3]不考虑图像降质的原因, 通过增强图像的对比度来改善视觉效果. 基于物理模型的方法以大气散射模型[4]为基础, 基于不同的先验信息估计传输图和大气光对模型求解, 实现图像去雾. 该类方法中, 基于暗通道先验(Dark channel prior, DCP)的去雾方法研究最多应用最广[5], 其通过图像的暗通道先验求解传输图, 取得了较好的去雾效果. Berman等[6]基于非局部先验估计传输图, 并利用正则化方法对传输图进行优化. Zhu等[7]提出基于颜色衰减先验恢复图像的深度信息, 进而估计图像的传输图. 杨燕等[8]针对暗通道先验的不足, 提出一种基于高斯权重衰减的迭代优化去雾算法, 恢复的无雾图像较为清晰自然. 虽然基于物理模型的去雾方法取得了显著的进展, 但简化的物理模型会导致传输图和大气光估计出现误差, 且先验信息不具有普遍适用性, 易出现去雾不彻底和颜色失真等现象.
目前, 基于深度学习的方法成为研究的主流. 该类方法大多基于卷积神经网络(Convolutional neural network, CNN)构建可训练的端到端去雾网络, 其又可以分为间接端到端网络和直接端到端网络. 其中间接端到端去雾网络, 首先估计传输图、大气光或其他中间变量, 然后依据大气散射模型恢复无雾图像. Cai等[9]基于CNN提出一种DehazeNet网络来估计传输图, 该网络根据传统去雾方法中的先验信息进行构建, 其包括特征提取层、多尺度映射层、局部极大化层和非线性回归层. Ren等[10]基于CNN提出一种多尺度策略估计传输图, 用粗尺度网络估计初始传输图, 并用细尺度网络进行细化. 该网络估计的传输图更加真实, 一定程度上避免了细节信息损失. Zhang等[11]基于CNN提出一种密集连接金字塔网络结构(Densely connected pyramid dehazing network, DCPDN), 其通过两个子网络分别估计传输图和大气光值, 然后将得到的无雾图像与清晰图像输入鉴别网络基于生成对抗网络(Generative adversarial networks, GAN)损失函数联合训练得到最终的无雾图像. Li等[12]重新构造大气散射模型, 将传输图和大气光值整合成一个参数K, 并基于CNN设计AOD-Net估计该参数. Ren等[13]基于图像融合思想提出一个端到端的门控融合网络(Gated fusion network, GFN), 该网络首先估计三幅输入图像分别对应的权重图, 然后以权重图为引导将三幅输入图进行加权融合, 得到无雾图像. 上述间接端到端去雾网络虽然取得了相对不错的去雾效果, 但大多依赖于大气散射模型, 估计的传输图往往包含过多的细节信息, 且大多数方法将大气光设置为全局一致常量, 去雾后的图像易出现颜色失真. 直接端到端去雾网络则直接学习有雾图像到无雾图像之间的映射关系来恢复无雾图像. Li等[14]基于条件生成对抗网络(Conditional generative adversarial networks, cGAN)提出一个端到端可训练去雾网络, 并且引入VGG特征和L1正则化梯度先验构建损失函数. Qu等[15]提出了一个增强的pix2pix去雾网络(Enhanced pix2pix dehazing network, EPDN), 直接学习有雾图像和无雾图像之间的映射关系, 恢复的无雾图像较为清晰自然. Qin等[16]提出了一个端到端的特征融合注意力网络(FFA-Net), 该网络可有效提取图像特征, 但由于该网络通过学习有雾图像和清晰图像的差值进行去雾, 而忽略了图像的整体风格特征, 对于真实场景去雾效果不理想. Guo等[17]设计了一个端到端的融合去雾网络 (FS-Net), 首先对原图像进行预处理得到五幅增强图像, 然后将增强图像输入去雾网络得到无雾图像. 但因其有预处理过程, 容易导致颜色失真. Yang等[18]提出一种端到端的多尺度特征聚合去雾网络(Y-Net), 并且设计了小波结构相似性损失函数来训练网络, 但网络中连续的下采样可能会导致图像特征的丢失, 从而恢复的无雾图像细节信息和颜色信息保持度不足. 上述直接端到端方法在一定程度上提高了图像复原质量, 但在学习过程中往往出现过拟合现象, 易忽略图像原有的风格特征, 造成部分区域去雾不彻底或过度去雾, 恢复图像出现颜色失真.
针对以上问题, 本文提出了一个将内容特征和风格特征相融合的单幅图像去雾网络. 以级联的残差块[19]和级联的残差密集块[20]为主体框架设计内容提取模块和风格提取模块提取图像特征. 另外, 采用注意力机制[21]对提取到的内容特征图进行通道加权, 并将风格特征图与加权的内容特征图进行堆叠, 进而经卷积操作得到融合后的特征图. 所提网络去雾较为彻底, 复原图像清晰度高, 且无色彩失真现象.
1. 本文方法
本文基于CNN设计了一个内容特征和风格特征相融合的去雾网络, 该网络不依赖于大气散射模型, 可实现从有雾图像到无雾图像直接端到端去雾. 与现有方法不同的是, 该网络考虑了对图像风格特征的提取, 可以在去雾的同时较好地保持图像原有色彩, 克服现有方法去雾不彻底和去雾后颜色失真问题. 另外, 为充分获取图像的内容特征和风格特征, 本文设计了两个独立的网络模块分别提取图像的内容和风格信息. 具体地, 利用级联的残差块(Residual block, RB)提取图像的内容特征, 利用残差密集块(Residual dense block, RDB)提取图像风格特征; 此外, 为了加强对图像主要内容特征的学习, 同时保证内容特征和风格特征提取的独立性, 本文仅对内容特征进行通道加权, 并将加权后的内容特征和风格特征进行堆叠融合; 最后, 采用1×1的卷积层整合融合后的特征信息, 同时实现特征图到无雾图像之间的非线性映射. 提出的去雾网络整体结构如图1所示.
1.1 特征提取网络
1.1.1 内容特征提取模块
图像的内容特征主要包括轮廓特征和空间结构特征, 轮廓特征描述了图像中物体的边缘信息, 属于图像的全局特征, 空间结构特征描述了图像的主要内容, 属于图像的局部特征. 因此, 有效提取图像的全局特征和局部特征对于图像去雾尤为重要.
为了获取有效的内容特征, 本文引入残差思想设计内容特征提取模块, 该模块的深度为24层卷积, 包括3个卷积层(Conv1 ~ Conv3)和7个级联的残差块(RB1 ~ RB7). 其中, 前3个卷积层的卷积核均为3×3, 3×3的卷积核相较于较大的卷积核, 可以在有效提取图像特征的同时, 降低参数量和计算量; 步长分别为 {1, 1, 2}, 前两个卷积层步长均为1, 可以更全面地提取图像特征, 第3个卷积层步长为2, 可以有效降低特征图的尺寸, 减少计算量, 有益于网络的训练. 此外, 经实验可得, 采用7个级联的残差块时, 该去雾网络性能最佳. 每个残差块的结构相同, 均包含3个卷积层, 卷积核的大小为3×3, 步长均为1, 输出通道数均为64, 该模块中卷积后的激活函数均采用ReLU函数. 如图2所示, 残差块采用跳转连接的方式, 将信息传递到网络的更深层, 该连接方式相当于执行了恒等变换, 不会增加计算复杂度且可有效解决深层网络梯度消失问题, 提高了网络学习能力.
浅层卷积层可以提取图像的纹理和细节特征, 而深层卷积层可以提取图像的轮廓和形状. 因此, 浅层网络得到的特征图包含更多的局部信息, 深层网络得到的特征图包含更多的全局信息. 为了有效提取图像的内容特征, 本文采用了多层特征图连接方式提取图像的内容特征, 采用跳转堆叠的方式将残差块RB1、RB5和RB7输出的特征图进行堆叠得到最终的内容特征图, 从而保证了图像内容特征的完整性, 如图1中内容特征提取模块所示.
1.1.2 风格特征提取模块
图像的风格特征主要包括颜色特征, 颜色特征是基于像素点的特征, 描述了图像所对应景物的表面性质, 其对图像中的方向、大小等变化不敏感, 属于图像的全局特征. 为了实现去雾的同时较好地保持图像的颜色特性, 需要准确有效地提取图像的风格特征.
深层网络感受野大, 其提取的特征图包含较多的全局信息, 为了更加有效地提取图像的风格特征, 同时充分利用各卷积层输出特征图, 本文采用级联的残差密集块设计风格特征提取模块, 其密集连接部分将各层提取的特征连接起来, 不仅充分利用了不同尺度下提取到的特征, 而且可以解决由于网络过深导致的梯度消失等问题. 此外, 为了更准确地提取图像的全局信息, 本文将低分辨率有雾图像作为该模块的输入图像. 该模块包含1个卷积层(Conv4)和3个残差密集块(RDB1 ~ RDB3), 其中卷积层Conv4的卷积核大小为3 × 3, 步长为1, 如图1中风格特征提取模块所示. 每个残差密集块的结构相同, 均包含4个卷积层, 前3个卷积层的卷积核大小均为3 × 3, 步长均为1, 第4个卷积层的卷积核大小为1×1, 输出通道数为16, 用于融合不同卷积层的特征图并可减少通道数量, 该模块卷积层后的激活函数均为ReLU函数. 如图3所示, 残差密集块可以充分利用输入图像的所有分层特征, 其中的残差结构有益于网络收敛.
1.2 特征融合网络
本节设计特征融合网络模块, 将内容特征和风格特征进行融合, 主要包括: 1)通道加权: 对残差块RB1、RB5、RB7的输出进行通道加权堆叠得到加权的内容特征图
${{{V}}_{\rm{c}}}.$ 2)融合: 将残差密集块RDB3的输出记为风格特征图${{{V}}_{\rm{s}}}$ , 对加权的内容特征图${{{V}}_{\rm{c}}}$ 和风格特征图${{{V}}_{\rm{s}}}$ 进行堆叠, 经反卷积层和卷积层运算得到融合的特征图${{{V}}_{\rm{f}}}$ .对内容特征图采用注意力机制进行通道加权, 每个残差块的特征图记为
${{{V}}^l}$ ,${{{V}}^l} \in {{\bf{R}}^{C \times H \times W}}$ , 其中,$l $ 表示残差块的个数,$C $ 为输出特征图的通道数,$H $ 和$W $ 分别为特征图的高度和宽度. 第$l $ 个残差块输出的特征图为${{{V}}^l}$ , 通道注意力权重可记为:${\beta ^l} \in {{\bf{R}}^{C \times 1 \times 1}}$ , 加权后的特征图可表示为:${{{X}}^l} = {\beta ^l} \cdot {{{V}}^l}$ , 其中, “$\cdot$ ”表示元素相乘.为了求得通道注意权重
${\beta ^l}$ , 首先将${{{V}}^l}$ 映射为${U^l}$ , 且${U^l} = \left[ {{{u}}_1^l,u_2^l, \cdot \cdot \cdot ,{{u}}_C^l} \right]$ , 其中,${{u}}_i^l \in {{\bf{R}}^{H \times W}}$ , 表示特征图${{{V}}^l}$ 的第$i $ 个通道. 然后对每个二维特征图通道进行平均池化操作得到通道的特征${{{F}}^l}$ :$${{{F}}^l}=\left[ {f_1^l,f_2^l, \cdot \cdot \cdot ,f_C^l} \right],\;\;{{{F}}^l} \in {{\bf{R}}^C}$$ (1) 其中, 标量
$f_i^l$ 是向量${\boldsymbol{u}}_i^l$ 的均值, 其表示第$i $ 个通道的特征. 因此,${\beta ^l}$ 可以由下式求得:$${\beta ^l} = \sigma {\rm{(}}{{{W}}_1}\delta {\rm{(}}{{{W}}_0}{{{F}}^l}{\rm{))}}$$ (2) 其中,
${{{W}}_0} \in {{\bf{R}}^{{(C / r)} \times C}}$ 和${{{W}}_1} \in {{\bf{R}}^{C \times {C / r}}}$ 为转换矩阵,$r $ 为衰减率,$\sigma ( \cdot )$ 为Sigmoid函数,$\delta ( \cdot )$ 为ReLU激活函数.对残差块RB1、RB5、RB7输出的特征图进行通道注意力加权堆叠, 得到加权的内容特征图, 记为
${{{V}}_{\rm{c}}} = [{{{X}}^1},{{{X}}^5},{{{X}}^7}]$ , 其中,$[ \cdot ]$ 表示堆叠操作.融合部分如图1中特征融合模块所示, 其包含两个卷积层: 反卷积层Deconv1和卷积层Conv5. 卷积核大小均为3×3, 步长分别为 {2, 1}, padding均设置为1, 输出通道数均为64, 后接ReLU激活函数. 因此, 融合后的特征图为
${{{V}}_{\rm{f}}}=f{\rm{([}}{{{V}}_{\rm{c}}}{\rm{,}}{{{V}}_{\rm{s}}}{\rm{])}}$ , 其中$f( \cdot )$ 表示反卷积和卷积操作.1.3 图像复原
最后, 对融合后的特征图进行非线性映射, 如图1中图像复原模块所示. 其包含一个卷积层Conv6, 卷积核的大小为1×1, 步长为1, padding设置为0, 输出通道数为3, 后接ReLU激活函数, 该卷积层的输出即为复原图像.
1.4 损失函数
本文在训练网络时采用的损失函数是
$L_2 $ 损失(最小平方误差)和感知损失, 其中$L_2 $ 损失可以表示为$${L_2} = \frac{1}{{NHW}}{\sum\limits_{i = 1}^N {\left\| {{{\hat J}_i} - {J_i}} \right\|} ^2}$$ (3) 其中,
${\hat J_i}$ 表示网络恢复的图像,${J_i}$ 表示对应的清晰图像,$H $ 和$W $ 分别表示${\hat J_i}$ 的高度和宽度.$N $ 表示恢复图像的个数. 此外, 感知损失可以衡量恢复的无雾图像和其对应的清晰图像之间的语义特征差异, 采用预训练在ImageNet[22]上的VGG-16网络[23]输出的特征图${\phi _j}( \cdot )$ 来计算, 可以表示为$${L_{\rm{P}}} = \sum\limits_{j = 1}^3 {\frac{1}{{{C_j}{H_j}{W_j}}}\left\| {{\phi _j}(\hat J) - {\phi _j}(J)} \right\|} ^2$$ (4) 其中,
$\hat J$ 为网络恢复的图像,$J$ 为对应的清晰图像,${\phi _j}(\hat J)$ 和${\phi _j}(J)$ 分别表示$\hat J$ 和$J$ 对应的特征图,${C_j}$ ,${H_j}$ ,${W_j}$ 分别表示${\phi _j}(\hat J)$ 和${\phi _j}(J)$ 的通道数、高度和宽度. 因此, 总的损失函数可以表示为$$L = {L_2} + \lambda {L_{\rm{P}}}$$ (5) 其中,
$\lambda $ 为权重因子.2. 实验与结果分析
2.1 实验设置及数据集
本文方法基于Pytorch框架实现, 在Ubuntu环境下使用NVIDIA 1080Ti GPU训练去雾网络. 初始学习率设置为0.0001, batchsize设置为16, 权重因子
$\lambda $ 设置为0.4, 采用动量衰减指数${\beta _{\rm{1}}}=0.9$ ,${\beta _{\rm{2}}}=0.999$ 的Adam优化器进行优化, 迭代次数为100次. 采用公共数据集RESIDE[24]中的ITS (Indoor training set)数据集、OTS (Outdoor training set)数据集和SOTS (Synthetic objective testing set)数据集. 其中, 选取ITS为室内训练集, 共包含1399幅清晰图像和13990幅有雾图像; OTS为室外训练集, 共包含8477幅清晰图像和296695幅有雾图像, 选取其中2061幅清晰图像以及对应的72135幅有雾图像作为室外有雾图像的训练集; SOTS为测试集, 包含500幅室内有雾图像和500幅室外有雾图像. 此外, 考虑到测试集SOTS与训练集ITS和OTS来自同一数据分布, 为了丰富测试集并验证本文方法的鲁棒性, 本文利用数据集MSD (Middlebury stereo datasets)[25]通过大气散射模型合成有雾图像, 选取色彩较为丰富的有雾图像作为测试图像来验证去雾网络的色彩保持性能. 本文选择与目前的优势去雾方法进行对比实验, 包括经典去雾方法DCP[5]以及近期基于深度学习的去雾方法: DehazeNet[9]、MSCNN[10]、AOD-Net[12]、DCPDN[11]、EPDN[15]、FFA-Net[16]、FS-Net[17]和Y-Net[18].2.2 在合成数据集上实验
首先, 在合成数据集上进行实验, 采用的测试图像为数据集SOTS, 包含500幅室内有雾图像和500幅室外有雾图像. 采用峰值信噪比(Peak signal-to-noise ratio, PSNR)和结构相似性(Structural similarity, SSIM)对去雾算法所恢复的图像质量进行评价, 各方法实验结果如表1所示. 可以看出, 本文方法得到的去雾图像PSNR和SSIM指标优于大部分去雾方法. 此外, 由于FFA-Net的网络层数较深, 并且有较强的特征提取和特征选择能力, 因此其在训练集ITS和OTS上的拟合能力较强, 且SOTS测试集与训练集的数据来自同一数据分布, 从而导致了该去雾方法在SOTS数据集上取得了较高的指标, 但其对于真实有雾图像和MSD数据集中的图像去雾效果不理想.
表 1 在合成数据集上PSNR和SSIM结果Table 1 Comparison of PSNR and SSIM tested on synthetic hazy images方法 室内图像 室外图像 PSNR (dB) SSIM PSNR (dB) SSIM DCP[5] 16.62 0.8179 19.13 0.8148 DehazeNet[9] 21.14 0.8472 22.46 0.8514 MSCNN[10] 17.57 0.8102 22.06 0.9078 AOD-Net[12] 19.06 0.8504 20.29 0.8765 DCPDN[11] 15.85 0.8175 19.93 0.8449 EPDN[15] 25.06 0.9232 22.57 0.8630 FFA-Net[16] 36.39 0.9886 33.57 0.9840 FS-Net[17] 26.61 0.9561 24.07 0.8741 Y-Net[18] 19.04 0.8465 25.02 0.9012 本文方法 31.10 0.9776 30.74 0.9774 
图 5 合成有雾图的实验结果(MSD) ((a) 有雾图; (b) DCP; (c) DehazeNet; (d) MSCNN; (e) AOD-Net; (f) DCPDN; (g) EPDN; (h) FFA-Net; (i) Y-Net; (j)本文方法; (k) 清晰图像)Fig. 5 Experimental results of the synthetic hazy images (MSD) ((a) Hazy images; (b) DCP; (c) DehazeNet; (d) MSCNN; (e) AOD-Net; (f) DCPDN; (g) EPDN; (h) FFA-Net; (i) Y-Net; (j) Proposed; (k) Clear images)
图 7 真实场景有雾图的实验结果 ((a) 有雾图; (b) DCP; (c) DehazeNet; (d) MSCNN; (e) AOD-Net; (f) DCPDN; (g) EPDN; (h) FFA-Net; (i) Y-Net; (j)本文方法)Fig. 7 Experimental results of real outdoor hazy images ((a) Hazy images; (b) DCP; (c) DehazeNet; (d) MSCNN; (e) AOD-Net; (f) DCPDN; (g) EPDN; (h) FFA-Net; (i) Y-Net; (j) Proposed)另外, 从SOTS数据集中选取3幅室内浓雾图像和室外有雾图像进行主观质量评价, 各方法去雾效果如图4所示. 利用数据集MSD合成3幅有雾图像(Cones、Moebius和Monopoly), 各方法去雾效果如图5所示. 由图4可以看出, DCP方法恢复的图像过暗, 并且存在颜色失真问题(如图4(b)中室内图像的地板和室外图像的天空和墙壁区域). DehazeNet方法得到的去雾图像可较好地保持图像色彩, 但在浓雾区域去雾不彻底(如图4(c)中室内图像的墙壁和桌椅区域). MSCNN和AOD-Net方法恢复的图像去雾不够彻底, 且色彩恢复不足. DCPDN方法去雾较为彻底, 但颜色失真严重且细节恢复不足(如图4(f)中室内图像的桌面和室外图像的天空区域). EPDN方法恢复的图像在薄雾区域存在过度去雾现象导致颜色失真(如图4(g)中室内图像的桌椅以及室外图像的墙壁和建筑物), 且对于浓雾区域则去雾不够彻底. Y-Net方法对于室内有雾图像去雾不够彻底(如图4(i)中的桌椅和地板区域), 且对于室外有雾图像存在颜色失真现象(如图4(i)最后一幅图像中建筑物的墙壁顶端颜色过深). 由图4(h)和4(j)可以看出, 本文方法与FFA-Net去雾效果相当, 均可以有效去除有雾图像中的雾气, 且复原图像在细节和色彩方面均最接近原始清晰图像. 此外, 由图5可以看出, DCP方法和DehazeNet方法恢复的图像Cones背景区域颜色严重失真, MSCNN方法恢复的Moebius整体色调偏离, 色彩失真严重. AOD-Net方法和DCPDN方法仅去除了少量雾气, 恢复的图像整体色调偏白. EPDN方法恢复的3幅图像色调偏暗沉, 与原图像偏差过大. FFA-Net方法恢复的Moebius图像仍存在大量雾气, 且恢复的Monopoly图像背景区域存在不均匀色块. Y-Net方法恢复的Moebius图像细节模糊, 且有雾气残留, 此外, 其恢复的Monopoly图像存在大量不均匀色块, 整体色调偏暗. 由图5(j)可以看出, 本文方法恢复得到的无雾图像色彩保持度好, 且去雾较为彻底.
图 4 合成有雾图的实验结果(SOTS) ((a) 有雾图; (b) DCP; (c) DehazeNet; (d) MSCNN; (e) AOD-Net; (f) DCPDN; (g) EPDN; (h) FFA-Net; (i) Y-Net; (j)本文方法; (k) 清晰图像)Fig. 4 Experimental results of the synthetic hazy images (SOTS) ((a) Hazy images; (b) DCP; (c) DehazeNet; (d) MSCNN; (e) AOD-Net; (f) DCPDN; (g) EPDN; (h) FFA-Net; (i) Y-Net; (j) Proposed; (k) Clear images)同时, 为了验证所提去雾网络中各模块的有效性, 分别选取内容特征提取模块、风格特征提取模块以及特征融合模块输出的特征图进行对比分析, 如图6所示. 由图6(c)和图6(d)可以看出, 内容特征提取模块可有效提取图像的全局特征和局部特征, 该模块输出的特征图在突出局部区域边缘细节的同时, 还可较好地保留图像的整体轮廓(如图6(c)中的墙壁和吊灯的边缘, 图6(d)中桌椅的边缘). 由图6(e)可以看出, 风格特征提取模块输出的特征图有效描述了场景中不同物体的表面性质, 较好地呈现了场景的风格特征. 由图6(f)可以看出, 特征融合网络得到的特征图可较好地增强有雾图像中的模糊纹理, 并可保持清晰的局部边缘和全局轮廓. 由图6(b)可以看出, 本文方法复原图像去雾彻底, 且细节清晰自然.
图 6 去雾结果图及其对应的特征图 ((a) 有雾图; (b) 去雾图像; (c) 内容特征图(RB1_index 59); (d)内容特征图(RB7_index 13); (e) 风格特征图(RDB3_index 10); (f) 融合后的特征图(index 53))Fig. 6 Dehazed results and corresponding feature maps ((a) Hazy image; (b) Dehazed image; (c) Content feature map (RB1_index 59); (d) Content feature map (RB7_index 13); (e) Style feature map (RDB3_index 10); (f) Fused feature map (index 53))2.3 在真实数据集上实验
进一步, 为了验证所提方法的有效性, 本节选取几幅典型的真实图像进行实验, 并与目前的优势算法进行比较, 去雾结果如图7所示. 由图7(b)可以看出, DCP方法由于对雾霾的浓度估计错误, 导致传输图估计不准确, 恢复图像偏暗; 如图7(b)中第1幅图女孩的肤色过深, 第3幅图中山峰区域过暗导致细节模糊. 另外, 该方法恢复的图像天空区域颜色失真严重; 如图7(b)中第3幅图天空颜色过深, 第4幅图中云彩部分过暗, 严重影响视觉效果. 由图7(c)可以看出, DehazeNet方法对远景雾气去除效果不佳; 如图7(c)第2幅图稍远处的草堆以及第3幅和第4幅图中的远山区域仍存在一部分雾气. 由图7(d)和7(e)可以看出, MSCNN和AOD-Net方法虽然可以去除部分雾气, 但复原的无雾图像细节保持度不够; 如第2幅图中草垛部分边缘细节模糊, 第3幅图中山峰和天空交界处存在块效应且去雾不够彻底. 由图7(f)可以看出, DCPDN虽然可以去除大部分雾气, 但恢复的图像整体色调偏白, 如第3幅和第4幅图中天空区域过亮. 由图7(g)可以看出, EPDN方法虽然可以有效去除雾气, 但恢复的图像色调偏暗, 且存在失真和细节模糊, 如第2幅图中草堆的阴影部分颜色过重而导致边缘信息丢失, 第4幅图中云彩颜色偏黄且山峰区域色调过深. 由图7(h)可以看出, FFA-Net仅能去除有雾图像前景部分的雾气, 如第1幅图中女孩身后的树林和第2幅图中远处的草堆部分仍存在较多雾气, 此外, 该方法对于真实有雾图像的色彩保持度不够, 如第3幅图的天空和山峰部分色调偏白. 由图7(i)可以看出, Y-Net对于远景区域的去雾效果不佳, 如第2幅图中远处的草堆和第3幅图中远山部分有雾气残留. 由图7(j)可以看出, 本文方法得到的去雾图像在有效去除雾气的同时很好地保持了图像原有的色彩, 且不依赖于大气散射模型, 可以有效避免传输图和大气光估计不准确导致的去雾不彻底、去雾后颜色失真等问题.
2.4 消融实验
为了验证本文提出的去雾网络中每个模块的有效性, 本节进行了消融实验, 共包括如下4个实验: 1) 仅提取有雾图像的内容特征(Content feature, CF); 2) 提取有雾图像的内容特征并进行通道注意力加权(Channel-wise weighted content feature, WCF); 3) 提取有雾图像的内容特征和风格特征, 对提取的两种特征进行通道注意力加权融合(Fusion of channel-wise weighted content-style feature, WC-SF); 4) 将提取的风格特征与进行了通道注意力加权的内容特征与堆叠融合(Fusion of style feature and channel-wise weighted content feature, SF-WCF). 本文在SOTS室内测试集上对以上4个实验进行质量评价, 其PSNR和SSIM结果如表2所示, 去雾结果对比如图8所示. 从表2中可以看出, 本文采用的SF-WCF去雾网络恢复的无雾图像质量更高. 此外, 从图8中方框部分对比可以看出, CF去雾网络恢复的图像有少量雾气残留, 且墙壁部分色调偏暗; WCF和WC-SF去雾网络得到的去雾结果图虽然去雾较为彻底, 但墙壁部分颜色偏暗; 本文采用的SF-WCF去雾网络得到的无雾图像去雾彻底, 且墙壁颜色与清晰图像最为接近.
表 2 在SOTS室内数据集上PSNR和SSIM结果比较Table 2 Comparison of PSNR and SSIM tested on SOTS (indoor dataset)实验项目 PSNR (dB) SSIM CF 28.57 0.9703 WCF 29.76 0.9730 WC-SF 29.85 0.9774 SF-WCF 31.10 0.9776 
图 8 消融实验结果比较 ((a) 有雾图; (b) CF; (c) WCF; (d) WC-SF; (e) SF-WCF; (f) 清晰图像)Fig. 8 Comparison of ablation experiments ((a) Hazy image; (b) CF; (c) WCF; (d) WC-SF; (e) SF-WCF; (f) Clear image)3. 结束语
本文提出一种基于内容特征和风格特征相融合的单幅图像去雾方法. 网络结构设计充分考虑了对图像内容特征、风格特征的有效提取和融合, 可有效提高网络模型的精度, 并且在实现去雾的同时能够较好地保持图像的原有色彩. 本文方法不依赖于大气散射模型, 可避免使用不准确的传输图和大气光, 有效解决了现有去雾方法去雾不彻底或因过度去雾导致的颜色失真等问题.
-
表 1 增强图像的指标对比
Table 1 Comparison of enhanced images
方法 信息熵 UCIQE PSNR (dB) 原始图像 6.546 0.437 — DCP 6.940 0.540 19.537 GW 6.621 0.493 16.491 CycleGAN 7.592 0.613 19.690 SSIM-CycleGAN 7.598 0.541 20.670 本文方法 7.714 0.631 24.594 
下载: 导出CSV
-
[1] Pinto A M, Matos, Anibal C. M. A hybrid imaging system for underwater robot ic applications. Information Fusion, 2020, 55: 16-29. doi: 10.1016/j.inffus.2019.07.014 [2] Chadebecq F, Vasconcelos F, Lacher R. Refractive Two-View Recon- struction for Underwater 3D Vision. International Journal of Computer Vision, 2020, 128(5): 1101–1117. doi: 10.1007/s11263-019-01218-9 [3] Gallimore E, Terrill E, Pietruszka A, Gee J, Nager A, Hess R. Magnetic survey and autonomous target reacquisition with a scalar magnetometer on a small AUV. Journal of field robotics, 2020, 37(7): 1246-1266. [4] Ahn J, Yasukawa S, Sonoda T. An Optical Image Transmission System for Deep Sea Creature Sampling Missions Using Autonomous Underwater Vehicle. IEEE Journal of oceanic Eengineering. 2020, 45(2): 350-361. doi: 10.1109/JOE.2018.2872500 [5] He K M, Sun J, Tang X O. Single image haze removal using dark channel prior. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2011, 33(12): 2341-2353. doi: 10.1109/TPAMI.2010.168 [6] Wen H C, Tian Y H, Huang T J, Gao W. Single underwater image enhancement with a new optical model. In: Proceedings of the IEEE International Symposium on Circuits and Systems (ISC 2013). Beijing, China: IEEE, 2013. 753−756 [7] 杨爱萍, 曲畅, 王建, 张莉云. 基于水下成像模型的图像清晰化算法. 电子与信息学报, 2018, 40(2): 298-305.Yang A P, Qu C, Wang J, Zhang L Y. Underwater image visibility restoration based on underwater imaging model. Journal of Electronics & Information Technology, 2018, 40(2): 298-305. [8] Li C Y, Guo J C. Underwater image enhancement by dehazing and color correction. Journal of Electronic Imaging, 2015, 24(3): Article No. 033023 [9] Emberton S, Chittka L, Cavallaro A. Underwater image and video dehazing with pure haze region segmentation. Computer Vision and Image Understanding, 2018, 168: 145-156. doi: 10.1016/j.cviu.2017.08.003 [10] Liu Y C, Chan W H, Chen Y Q. Automatic white balance for digital still camera. IEEE Transactions on Consumer Electronics, 1995, 41(3): 460-466. doi: 10.1109/30.468045 [11] Ebner M. Color Constancy. New York: John Wiley & Sons, 2007. [12] Iqbal K, Odetayo M O, James A E, Salam R A, Talib A Z H. Enhancing the low quality images using unsupervised colour correction method. In: Proceedings of the IEEE International Conference on Systems, Man, and Cybernetics. Istanbul, Turkey: IEEE, 2010. 1703−1709 [13] Hitam M S, Awalludin E A, Yussof W N J H W, Bachok Z. Mixture contrast limited adaptive histogram equalization for underwater image enhancement. In: Proceedings of the IEEE International Conference on Computer Applications Technology (ICCAT). Sousse, Tunisia: IEEE, 2013. 1−5 [14] Goodfellow I J, Pouget-Abadie J, Mirza M, Xu B, Warde-Farley D, Ozair S, et al. Generative adversarial nets. In: Proceedings of the 27th International Conference on Neural Information Processing Systems (NIPS). Montreal, Canada: ACM, 2014. 2672−2680 [15] Zhu J Y, Park T, Isola P, Efros A A. Unpaired image-to-image translation using cycle-consistent adversarial networks. In: Proceedings of the IEEE International Conference on Computer Vision (ICCV). Venice, Italy: IEEE, 2017. 2242−2251 [16] Li, J, Skinner K A, Eustice R M, Johnson-Roberson M. WaterGAN: Unsupervised generative network to enable realtime color correction of monocular underwater images. IEEE Robotics and Automation Letters, 2017, 3(1): 387–394. [17] Li C Y, Guo J C, Guo C L. Emerging from Water: Underwater image color correction based on weakly supervised color transfer. IEEE Signal Processing Letters, 2018, 25 (3), 323-327. doi: 10.1109/LSP.2018.2792050 [18] Chen B, Zhang X, Wang R T, Li Z, Deng W. Detect concrete cracks based on OTSU algorithm with differential image. The Journal of Engineering. 2019, 23: 9088-9091. [19] Li C Y, Guo C L, Ren W Q, Cong R M, Hou J H, Kwang S, et al. An underwater image enhancement benchmark dataset and beyond. IEEE Transactions on Image Processing, 2019, 29: 4376−4389 [20] Ahmad S, Abdul G, Nor A M I. Underwater image quality enhancement through integrated color model with Rayleigh distribution. Applied Soft Computing, 2015, 27: 219-230. doi: 10.1016/j.asoc.2014.11.020 [21] Yang M, Sowmya A. An underwater color image quality evaluation metric. IEEE Transactions on Image Processing, 2015, 24(12): 6062-6071. doi: 10.1109/TIP.2015.2491020 期刊类型引用(13)
1. 崔峥，王森，王娴，段浩，杨春曦，那靖. 基于颜色转移和自适应增益控制的混合水下图像增强. 自动化学报. 2025(02): 376-390 . 
本站查看2. 沈楠翔，顾文娟，李志文，王洪成. 基于SSA-CatBoost的颜色校正模型仿真. 计算机仿真. 2024(04): 219-223+228 . 百度学术3. 高剑，何耀祯，陈依民，张元旭，杨旭博，李宇丰，张桢驰. 水下航行器视觉控制技术综述. 水下无人系统学报. 2024(02): 282-294 . 百度学术4. 叶旭辉，倪蔚恒，陈燕，尹芹凯，张道德. 基于生成对抗网络的工业场景低质图像增强算法. 组合机床与自动化加工技术. 2024(09): 41-45 . 百度学术5. 黄宏涛，袁红春. 基于轻量级非线性无激活网络的水下图像增强. 渔业现代化. 2024(05): 63-71 . 百度学术6. 韩晓微，张云泽，谢英红，吴宝举，赵玉莹. 动态异构特征融合的水下图像增强算法. 控制与决策. 2023(06): 1560-1568 . 百度学术7. 任肖恬，左官芳，陶旭，赵方. 基于AMI-CycleGAN的海洋垃圾图像增强算法. 国外电子测量技术. 2023(06): 33-42 . 百度学术8. Xie Xiaoyan，Chai Miaomiao，Deng Junyong，Du Zhuolin，Yang Kun，Yin Shaorun. Hardware-friendly Cycle-GAN and reconfigurable design. The Journal of China Universities of Posts and Telecommunications. 2023(04): 10-20 . 必应学术9. 胡志润，李然. 基于CycleGAN的水下图像增强算法. 现代电子技术. 2023(23): 79-84 . 百度学术10. 徐永兵，周亚琴，叶倩，贾江灿，王菂. 水下结构状态观测中的悬浮杂质遮挡消除方法. 光学学报. 2023(24): 120-134 . 百度学术11. 刘朝，王红茹. 一种改进CycleGAN的水下彩色图像增强方法. 机械科学与技术. 2023(12): 2093-2099 . 百度学术12. 齐晓轩，陶九明，陈鉴，何至诚，袁鹏达. 基于改进YOLOv5s的桥墩缺陷检测ROV设计应用. 沈阳大学学报(自然科学版). 2023(06): 503-510 . 百度学术13. 杨洁，刘珩，郝有斌. 基于多项式回归的背景颜色校正方法研究. 机电产品开发与创新. 2022(04): 133-136 . 百度学术其他类型引用(13)
-
下载:
计量
- 文章访问数: 3585
- HTML全文浏览量: 1834
- PDF下载量: 434
- 被引次数: 26
