-
摘要:
针对现有的单幅图像去雾问题, 提出了一种基于并联卷积神经网络的单幅图像去雾算法, 以端对端的方式实现图像去雾. 首先, 使用雾天RGB图像YUV变换的Y、U和V分量构建并联卷积神经网络, 自适应获得雾霾特征; 网络结构由两个子网络组成, 较深的网络预测清晰图像的亮度通道, 较浅的网络预测色度通道和饱和度通道. 最后, 采用递归双边滤波, 对去雾后的图像进行滤波, 可以得到更加清晰的无雾图像. 实验结果表明, 本文去雾算法无论是在合成雾天图像数据集还是自然雾天图像数据集上, 都具有良好的对比度与清晰度. 在主观评价和客观评价方面, 本文去雾算法都优于其他对比算法.
Abstract:Aiming at the problem that the existing single image dehazing algorithm, a single image dehazing algorithm based on multiple convolutional neural networks is proposed. Firstly, the Y, U and V components transformed by YUV of foggy day RGB images were used to construct a multiple convolutional neural network to obtain haze characteristics adaptively. The network structure is composed of two subnetworks, the deeper one predicts the brightness channel of the clear image, and the lighter one predicts the chromaticity channel and saturation channel. Finally, recursive bilateral filtering is adopted to filter the image after dehazing to obtain a clearer fog-free image. The experimental results show that this algorithm has good contrast and clarity in both synthetic and natural foggy image data sets, and is superior to other comparison algorithms in terms of subjective and objective evaluation.
-
雾霾天气情况下, 悬浮在大气中的微小颗粒对光线的散射和吸收作用, 导致采集到的图像对比度与饱和度降低, 色调偏移, 严重影响了户外视觉系统的效用. 因此, 雾天图像的清晰化处理成为计算机视觉领域中的一个重要问题. 现有的图像去雾方法主要有两种, 其一是基于图像增强的方法, 这种方法不考虑图像退化的原因, 会造成图像信息的损失. 如基于颜色恒常性的Retinex理论[1-2]、基于路径Retinex算法[3-4]和迭代形式的Retinex算法[5], 这些算法都存在参数调整困难且算法复杂度高的问题. 其二是基于图像复原的方法, 此方法利用图像退化的先验知识和假设来恢复图像, 去雾图像信息缺失较基于物理模型的图像复原方法少, 去雾效果自然. 如He等[6]提出了一种基于暗原色先验知识统计(Dark channel prior, DCP)的方法. 但He的暗通道先验方法过高估计雾的浓度,导致去雾后图像整体亮度偏暗,且天空区域常出现失真现象. Zhu等[7]提出了颜色衰减先验(Color attenuation prior, CAP). 尽管上述算法取得了很大的进步, 但它们仍然依赖于各种先验知识, 具有一定的局限性.
近些年来, 随着深度学习理论在语义分割[8]、目标识别[9]、图像超分辨率重建[10]等方面的不断发展, 一些学者将该理论用于图像去雾领域也获得了较好的效果. 如Cai等[11]提出的DehazeNet训练预测的传输图. Ren等[12]设计了多尺度卷积神经网络(Multi-scade convolutional neural network, MSCNN)估计了场景的透射率. Li等[13]提出了Cascaded CNN, 该网络分别估计大气光值和传输图. 由于这几种基于卷积神经网络的方法是分别估计介质传输图和大气光值的, 所以增加了恢复去雾图像的累计误差. 为此, 我们的目标是通过直观地最大化预测图像和无雾图像之间的视觉相似性来训练一个去雾卷积神经网络.
与以往的估计介质传输图方法不同的是, 我们直接利用雾天图像和清晰图像训练卷积神经网络. 为此, 本文提出了一种基于并联卷积神经网络的单幅图像去雾算法. 首先, 使用雾天RGB图像YUV变换的Y、U和V分量构建并联卷积神经网络, 自适应获得雾霾特征; 其次, 利用多尺度卷积提取雾霾特征与重建, 并且跳跃连接减少了网络参数, 提高了网络训练速度; 最后, 采用递归双边滤波, 对去雾后的RGB图像进行滤波, 可以得到更加清晰的无雾图像.
1. 相关理论
1.1 大气散射模型
在计算机视觉领域中, 通常使用大气散射物理模型[14]来描述雾天图像的退化过程, 该模型广泛用于图像去雾技术的研究, 用公式可表示为
$$I(x) = t(x)J(x) + A\left( {1 - t(x)} \right)$$ (1) 其中,
$I(x)$ 为采集到的雾天图像,$J(x)$ 为清晰图像,$t(x)$ 为介质传输图,$A$ 为大气光值. 当大气同质时, 介质传输图可以定义为$$t(x) = {{\rm{e}}^{ - \beta d(x)}},\;\;0 \le t(x) \le 1$$ (2) 其中,
$\beta $ 为散射率, 当大气均匀时, 在一定时刻对于整幅图像来说散射率是一个定值,$d(x)$ 为场景对象到传感器的距离, 即场景深度.1.2 理论分析
由式(1)可知, 传输图可表示为
$$t(x) = \frac{{\left\| {A - I(x)} \right\|}}{{\left\| {A - J(x)} \right\|}}$$ (3) 雾霾天气的大气光照导致RGB色彩空间发生一定的变化, 近似认为RGB色彩空间存在白色雾霾. 在向量空间中, 它表示为
$$\Delta H(x) = I(x) - J(x)$$ (4) 结合式(1)可知
$$\Delta H(x) = \left( {1 - t(x)} \right)(A - J(x))$$ (5) 为了使
$\Delta H(x)$ 主要集中在同一通道上, 将$\Delta H(x)$ 从RGB颜色空间转换为YUV颜色空间. 它们之间的传递函数可以表示为$$\mathop {\Delta H(x)}\limits_{x \in (Y,U,V)} = \delta \times \mathop {\Delta H(x)}\limits_{x \in (r,g,b)} $$ (6) 其中,
$$\delta = \left[ {\begin{array}{*{20}{c}} \begin{gathered} 0.299 \\ 0.5 \\ - 0.169 \\ \end{gathered} &\begin{gathered} 0.587 \\ - 0.439 \\ - 0.331 \\ \end{gathered} &\begin{gathered} 0.114 \\ - 0.081 \\ 0.5 \\ \end{gathered} \end{array}} \right]$$ (7) 由于区域内均匀介质
$\Delta H(x)$ 的存在, 使得RGB颜色空间中容易出现纯白色, 因此$\Delta {H_r}(x)$ ,$\Delta {H_g}(x)$ ,$\Delta {H_b}(x)$ 三个平衡分量近似相等, 接近RGB颜色空间模型的最大值. 因此, 近似得到$$ \Delta {H_r}(x) \approx \Delta {H_g}(x) \approx \Delta {H_b}(x) = \lambda ,\;\; \lambda \to 1 $$ (8) 因此, 由式(7)和式(8)知
$$\mathop {\Delta H(x)}\limits_{x \in \left( {Y,U,V} \right)} \!=\! \left( {\Delta {H_Y}(x),\Delta {H_U}(x),\Delta {H_V}(x)} \right) \!=\! \left( {{\rm{0}}{\rm{.9}}\lambda ,{\rm{0,0}}} \right)$$ (9) 在YUV颜色空间中, 雾天图像与其对应的清晰图像之间的总误差可表示为
$$H = \frac{1}{N}\sum\limits_{x = 0}^{N - 1} {\Delta {H_Y}(x)} $$ (10) 其中,
$x$ 表示每个像素的位置,$N$ 为图像的像素总数. 式(10)证明了$\Delta H(x)$ 主要投射在亮度通道上. 也就是说, 将投影在RGB颜色空间模型灰度轴线上的$H(x)$ 转换为亮度通道进行除雾. 当天气变坏时,$H(x)$ 的三种成分会导致不平衡. 因此, 一小部分偏差可以投射到另外两个色度通道上.2. 图像去雾算法
经过统计实验发现在雾天图像的RGB色彩空间中, 大气光照对各个分量都具有显著的影响, 而在YUV色彩空间中, 有雾区域主要集中在亮度通道, 色度通道和饱和度通道较少, 并且, 随着雾霾浓度的增加, 亮度通道变化越明显. 因此, 本文将主要在亮度通道进行去除雾霾, 提出的去雾网络是一个相对简单的网络结构, 具有较快的收敛速度, 而且恢复的去雾图像具有良好的效果.
2.1 网络结构
并联卷积神经网络的结构设计考虑了雾天图像与清晰图像YUV各个通道之间的关系, 网络主要由两个卷积神经网络组成, 较深网络用来预测亮度通道, 较浅网络用来预测色度通道和饱和度通道, 图1为本文提出的并联卷积神经网络结构图.
第1层采用多尺度卷积进行明亮度通道的特征提取, 多尺度卷积能够获取更多的与雾相关的特征, 捕获更加丰富的统计属性和结构属性, 去除多尺度空间下的雾霾影响, 得到更好的去雾效果, 提高捕获图像内部信息的鲁棒性和有效性. 详细参数如表1所示. 其中, 卷积核尺寸为
${f_i} \times {f_i} \times {n_i},$ ${f_i}$ 为卷积核的大小,${n_i}$ 为卷积核的数量.表 1 多尺度卷积模型Table 1 Multi-scale convolution model卷积核尺寸 补零 步长 1×1×16 0 1 3×3×16 1 1 5×5×16 2 1 7×7×16 3 1 多尺度卷积操作为
$${{{F}}_{si}}\left( {{Y}} \right) = {{{W}}_{si}} * {{Y}}$$ (11) 其中,
${{{W}}_{si}}\;\left( {i = 1,2,3,4} \right)$ 表示第$s$ 层的第$i$ 组卷积核,${{{F}}_{si}}$ 表示第$s$ 层输出的第$i$ 组特征图,${{Y}}$ 表示输入图像, “$ * $ ”表示卷积操作.本文选用参数修正线性单元(PReLU)作为网络结构的激活函数,除了最后一层, 其余每个卷积层与反卷积层的末端都接入此激活函数. PReLU公式为
$$ {P_{\rm{ReLU} }}\left( {{x_i}} \right) = \max \left( {{x_i},0} \right) + {a_i}\min \left( {0,{x_i}} \right) $$ (12) 式中,
${x_i}$ 为第$i$ 层的正区间输入信号,${a_i}$ 为第$i$ 层的负区间的权系数. 所以卷积层的最终输出为$${{{F}}_{si}}\left( {{Y}} \right) = {P_{\rm{ReLU} }}\left( {{{{W}}_{si}} * {{Y + }}{{{B}}_s}} \right)$$ (13) 其中,
${{{B}}_s}$ 为第$S$ 层的偏置.2.2 跳跃连接
中间层部分由两个相同的全卷积结构组成, 单个全卷积结构包括三个卷积层和两个跳跃连接. 首先, 采用3×3×64的卷积核大小, 3×3的卷积核是最小的能够捕获图像的上下左右和中心概念的尺寸, 而且相比于大尺寸, 它的参数更少, 可降低运算复杂度. 接着用1×1×16的卷积核大小, 可以有效降低参数大小和计算复杂度, 达到降维的作用, 提高训练精度. 最后用3×3×32的卷积核大小进行卷积. 将第1层与第2层的特征图进行合并, 这种连接方式大幅提升了卷积输出特征图的数量, 减少了每层所需特征图的数量, 且网络层数较浅, 能够加快网络训练速度, 防止网络陷入局部最优, 同时保证图像细节信息的有效传递.
2.3 多尺度重建
多尺度重建在图像超分辨率重建[10]和目标识别[9]、图像去雾[15]等方面都得到了较好的效果, 因此, 在网络最后一层, 采用多尺度卷积进行重建, 多尺度卷积不仅能够提取与雾相关的特征, 而且能够提高图像的清晰度.
由于雾霾在色度通道和饱和度通道较少, 采用三层的卷积神经网络预测清晰图像的色度通道和饱和度通道, 网络结构主要由三层卷积和跳跃连接组成, 第1层与第2层的卷积核大小均为3×3×16, 将第1层与第2层的特征图进行合并, 得到更多的与雾相关的特征图, 最后一层的卷积核大小为 3×3×1, 卷积核参数较少, 可以提高网络训练速度, 达到较优的去雾结果.
在网络训练过程中, 使用均方误差损失函数(Mean square error, MSE)用来计算输入雾天图像与预测的无雾图像两者差值平方的期望值, 即
$${MSE} = \frac{1}{N}\sum\limits_{i = 1}^N {{{\left( {{O_i} - {P_i}} \right)}^2}} $$ (14) 其中,
${O_i}$ 表示第$i$ 组清晰图像值,${P_i}$ 表示网络结构第$i$ 组的输出值,$N$ 为样本训练数目. 利用随机梯度下降法(Stochastic gradient descent, SGD)和网络反向传播算法来最小化MSE以调整网络参数, 网络权重的更新过程为$$ {\Delta _{k + 1}} = 0.9 \times {\Delta _k} - \eta \times \frac{{\partial L}}{{\partial W_k^s}},\;\;W_{k + 1}^s = W_k^s + {\Delta _{k + 1}} $$ (15) 其中,
${\Delta _k}$ 为第$k$ 层的权重更新值,$s$ 为层数,$k$ 为网络的迭代次数,$\eta $ 为学习率,$W_k^s$ 为第$s$ 层的第$k$ 次迭代时的权重.3. 实验与结果分析
本节描述了实验数据的获取、实验设置与实验步骤, 并且将本文算法的去雾结果与传统的经典去雾算法: DCP算法[6] 和CAP算法[7], 以及基于卷积神经网络的SRCNN (Super-resolution convolutional neural network)算法[16], DehazeNet算法[11]和MSCNN算法[12] 分别在合成雾天图像数据集和真实自然雾天图像数据集上进行主观与客观的对比分析.
3.1 实验数据、实验设置与实验步骤
1)实验数据. 采用数据集Middlebury Stereo Datasets和Make3DLaser+Image data, 选出160幅清晰图像以及所对应的深度图, 将这160幅图像通过大气散射模型[14]建立雾天图像数据集. 其中, 散射率随机设置为0.75, 1.5, 大气光值随机设置为
$(0.7,1.0)$ . 图2展示了清晰图像, 雾天图像与预测的无雾图像的YUV颜色空间的各个分量的图像.2)实验设置. 利用Caffe框架实现网络, 每层的权重均采用Xavier分布进行随机初始化, 网络模型采用固定的学习率, 设置为0.0001, 动量参数设置为0.9, 迭代次数为
${10^6}$ 次, 利用随机梯度下降法(SGD)和反向传播算法进行网络优化, 完成网络模型的训练与收敛.3)实验步骤.
步骤 1. 采用数据集Middlebury Stereo Datasets和Make3D Laser+Image data通过大气散射模型获取雾天图像数据集;
步骤 2. 将雾天RGB图像数据集与清晰RGB图像数据集转换为YUV通道的图像;
步骤 3. 依照本文提出的并联卷积神经网络, 对雾天图像与清晰图像的YUV各个通道分别进行网络模型的训练与测试;
步骤 4. 经过YUV逆变换恢复出预测的清晰RGB图像;
步骤 5. 将卷积神经网络预测的清晰RGB图像采用递归双边滤波进行增强, 得到最终的恢复的去雾图像;
步骤 6. 基于合成雾天图像数据集的去雾结果与分析;
步骤 7. 基于真实雾天图像数据集的去雾结果与分析.
本文算法流程如图3所示.
3.2 基于合成雾天图像数据集的去雾结果与分析
为验证本文算法对合成雾天图像的去雾效果, 将本文算法与其他算法进行比较. 在图4
$\sim $ 6中, 展示了从数据集中选取的3幅合成雾天图像的去雾结果对比.
图 4 不同算法对雾天图像Dolls的去雾结果Fig. 4 Different algorithms to defog results of fog image Dolls
图 6 不同算法对雾天图像Reindeer的去雾结果Fig. 6 Different algorithms to defog results of fog image Reindeer
图 5 不同算法对雾天图像Trees的去雾结果Fig. 5 Different algorithms to defog results of fog image Trees通过主观评价可看出, DCP算法去雾图像易产生过度饱和的现象, 使得场景不真实; CAP算法产生了色彩过度饱和的结果; 基于CNN的几种方法都有明显的去雾能力, 但是, 在某些区域仍然有少量的雾霾. 而本文算法的去雾图像更加平滑, 细节和纹理更加明显, 色彩无偏移, 而且更加接近真实清晰图像.
为了定量地评价这些方法, 从数据集Middlebury Stereo Datasets和Make3D Laser+Image data分别随机抽取15幅合成雾天图像, 使用均方根误差(Root mean square error, RMSE)[15]、信息熵(Information entropy)[15]、色调还原度(Tone reduction)[17]、平均梯度(Average gradient)[15]、结构相似度(Structural similarity index, SSIM)[15]和峰值信噪比(Peak signal to noise ratio, PSNR)[15]重要的图像评价标准来衡量去雾图像的质量, 如表2所示. 图7为以上所展示的三幅图像的评价指标对比结果.
表 2 30幅合成雾天图像的RMSE, 色调还原度, 平均梯度, 信息熵, PSNR, SSIM的平均结果Table 2 The average results of RMSE, tone reduction, average gradient, information entropy, PSNR, SSIM for the 30 synthetic foggy images评价指标 雾天图像 DCP CAP SRCNN DehazeNet MSCNN 本文算法 RMSE $ \downarrow $ 0.1534 0.0289 0.0331 0.0179 0.0176 0.0241 0.0160 色调还原度 $ \uparrow $ 0.5373 0.7523 0.6554 0.8900 0.8925 0.8064 0.9503 平均梯度 $ \uparrow $ 5.1909 6.0140 6.0101 6.2006 6.0335 7.1038 7.2011 信息熵 $ \uparrow $ 12.5004 14.5855 14.5920 16.6002 16.5660 16.4850 16.6522 PSNR $ \uparrow $ 15.3102 19.8640 23.2021 25.2305 25.7017 25.6899 25.9057 SSIM $ \uparrow $ 0.5883 0.8512 0.8666 0.9374 0.9461 0.8657 0.9603 
图 7 不同算法的峰值信噪比和结构相似度的对比结果Fig. 7 Comparison results of PSNR and SSIM of different algorithms各个评价指标的数学公式分别为:
1)均方根误差
$$RMSE = \sqrt {\frac{{\sum\limits_{i = 1}^n {{{(Y - X)}^2}} }}{n}} $$ (16) 其中,
$n$ 是图像像素总数,$Y$ 是清晰无雾图像,$X$ 是去雾图像. 均方误差越小, 表示去雾图像和参考图差异越小, 去雾效果越好.2)信息熵
$$\begin{split} H(X) = \;&{\rm{E}}[{\log _2}P{(X)^{ - 1}}] = \\ &- \sum\limits_i {P({x_i})} \times {\log _2}P({x_i}) \end{split}$$ (17) 其中,
$X$ 表示随机变量,$P(X)$ 表示输出概率函数. 变量的不确定性越大, 熵也就越大. 信息熵反映了图像包含信息量的大小, 是衡量图像信息丰富程度的一个重要指标.3)色调还原程度
$$sim(Q,S) = \frac{1}{L}\sum\limits_{i = 0}^{L - 1} {\left(1 - \frac{{\left| {{q_i} - {s_i}} \right|}}{{\max ({q_i} - {s_i})}}\right)} $$ (18) 其中,
$L$ 为直方图矢量的维数,${q_i}$ 和${s_i}$ 为归一化值.4)平均梯度定义
$$G = \frac{1}{{M \times N}}\sum\limits_{i = 1}^M {\sum\limits_{j = 1}^N {\sqrt {\frac{{{{\left(\frac{{\partial f}}{{\partial x}}\right)}^2} + {{\left(\frac{{\partial f}}{{\partial y}}\right)}^2}}}{2}} } } $$ (19) 其中,
$M \times N$ 为图像的大小,$\frac{{\partial f}}{{\partial x}}$ 和$\frac{{\partial f}}{{\partial y}}$ 分别表示水平方向和垂直方向的梯度. 平均梯度即图像的清晰度, 反映图像对细节对比的表达能力.5) SSIM
$$\begin{split}&SSI{M_{{f_{{\rm{in}},}}{f_{{\rm{out}}}}}} =\\ &\qquad\frac{{(2{\mu _{{f_{{\rm{in}}}}}}{\mu _{{f_{{\rm{out}}}}}} + {\omega _1})(2{\sigma _{{f_{{\rm{in}}}}}}_{{f_{{\rm{out}}}}} + {\omega _2})}}{{({\mu ^2}_{{f_{{\rm{in}}}}} + {\mu ^2}_{{f_{{\rm{out}}}}} + {\omega _1})({\sigma ^2}_{{f_{{\rm{in}}}}} + {\sigma ^2}_{{f_{{\rm{out}}}}} + {\omega _2})}}\end{split}$$ (20) 式中,
${\mu _{{f_{{\rm{in}}}}}}$ 是${f_{{\rm{in}}}}$ 的平均值;${\mu _{{f_{{\rm{out}}}}}}$ 是${f_{{\rm{out}}}}$ 的平均值;${\sigma ^2}_{{f_{{\rm{in}}}}}$ 是${f_{{\rm{in}}}}$ 的方差;${\sigma ^2}_{{f_{{\rm{out}}}}}$ 是${f_{{\rm{out}}}}$ 的方差.${\sigma _{{f_{{\rm{in}}}}}}_{{f_{{\rm{out}}}}}$ 是${f_{{\rm{in}}}}$ 和${f_{{\rm{out}}}}$ 的协方差;${\omega _1}$ 和${\omega _2}$ 是用于避免系统不稳定引起的分母为0的常数. SSIM值的范围为[0,1], 值越大, 图像失真越小.6) PSNR
$$PSNR = 10{\lg}\frac{{255}}{{\sqrt {|{f_{{\rm{in}}}} - {f_{{\rm{out}}}}{|^2}} }}$$ (21) 式中,
${f_{{\rm{in}}}}$ 为清晰无雾图像,${f_{{\rm{out}}}}$ 为去雾图像. 峰值信噪比是最普遍和使用最广泛的一种图像客观评价标准, 如果PSNR值越大, 图像的失真就越小. 这意味着图像质量越高, 去雾性能越好.在客观评价指标中, 从表2以及图7可看出, DCP算法的评价指标值相对较差, CAP算法的评价指标值属于中等, 基于卷积神经网络的算法评价指标值相对较高, 而本文算法的评价指标值相对是最高的, 并且在图像Dolls中, 本文算法的PSNR值达到了25.9057 (dB), 其他对比算法最高仅有25.8972 (dB), SSIM值达到了0.9506, 其他算法最高仅有0.9473, 这说明了基于卷积神经网络的去雾算法的有效性, 也进一步说明了本文去雾算法的优越性.
3.3 基于真实雾天图像数据集的去雾结果与分析
本文讨论了雾天图像的一些去雾算法, 以验证本文所提供算法的有效性. 首选现实世界中经常使用的雾天图像, 将所提出的方法与其他算法进行比较, 如图8和图9所示.
图 8 自然雾天图像House的去雾结果对比Fig. 8 Comparison of defogging results of natural foggy images House
图 9 自然雾天图像Pumpkin的去雾结果对比Fig. 9 Comparison of defogging results of natural foggy images Pumpkin通过对比以上自然雾天图像数据集的去雾结果, DCP算法高估了雾霾的厚度, 出现了色彩过度增强的现象, 因此, 恢复的图像颜色存在失真情况, 如图像Pumpkin的去雾结果; CAP算法、SRCNN算法和DehazeNet算法的结果在雾霾区域都有显著改善, 但去雾图像仍有一些残留的雾霾; DehazeNet算法和MSCNN算法在图House中, 树叶部分有过度增强的现象; 而本文方法的去雾图像更加平滑, 细节和纹理更加明显, 具有良好的清晰度与对比度, 提高了图像的可见性.
为了进一步验证本文算法处理自然雾天图像的有效性, 采用图像均值(Average)[15], 标准差(Standard deviation)[15], 信息熵(Information entropy)[15], 对比度(Contrast)[17]和平均梯度(Average gradient)[15]五个重要的无参考图像评价标准对自然雾天图像去雾结果进行对比. 图像均值反映了图像的平均明暗程度, 标准差反映了灰度均值的离散程度. 如表3、表4和图10所示.
表 3 图像House采用不同算法去雾后评价指标结果Table 3 Evaluation indicators results by different defogging algorithms for image House评价指标 雾天图像 DCP CAP SRCNN DehazeNet MSCNN 本文算法 均值 $ \uparrow $ 85.2630 85.5620 86.1508 90.4007 89.4709 83.4437 93.6325 标准差 $ \uparrow $ 32.5943 23.0221 28.5681 33.9261 37.9512 56.1652 59.3654 信息熵 $ \uparrow $ 15.2220 16.4238 15.9294 16.8104 15.8738 14.1624 16.8542 表 4 图像Pumpkin采用不同算法去雾后评价指标结果Table 4 Evaluation indicators results by different defogging algorithms for image Pumpkin评价指标 雾天图像 DCP CAP SRCNN DehazeNet MSCNN 本文算法 均值 $ \uparrow $ 79.0321 79.2335 88.8262 77.8436 97.1924 94.2468 97.9533 标准差 $ \uparrow $ 45.9969 47.4479 44.8145 44.8020 50.4282 43.1658 59.6355 信息熵 $ \uparrow $ 14.8954 14.3255 15.4778 15.9992 15.9761 15.9783 16.7523 
图 10 不同算法的对比度和平均梯度的对比结果Fig. 10 Comparison results of Contrast and average gradient of different algorithms各个评价指标的数学表达式分别为:
1)均值
$${{u = }}\frac{1}{{{M\times N}}}\sum\limits_{i = 1}^M {\sum\limits_{j = 1}^N {I(i,j)} } $$ (22) 其中,
$M\times N$ 为像素总个数.2)标准差
$${{S}} = \sqrt{\frac{1}{{{M\times N}}}\sum\limits_{i = 1}^M {\sum\limits_{j = 1}^N {I^2{{(i,j{{ - u}})}}} }} $$ (23) 其中,
$M\times N $ 表示图像的大小,$I(i,j) $ 表示第$i $ 行第$j $ 列的像素值,$u$ 表示均值.3)对比度
$$C = {\sum\limits_{i,j} {\delta^2 (i,j)} }{P_\delta }(i,j)$$ (24) 其中,
$\delta (i,j) = |i-j|$ , 即相邻像素间灰度差,${P_\delta }(i,j)$ 为相邻像素间的灰度差为$\delta $ 的像素分布概率.由以上可知, 无论哪一个评价指标, 本文算法都具有较高的值, 表明本文算法对于真实自然雾天图像的去雾处理较好, 图像质量高. 因此, 综合主观评价和客观评价指标值可知, 本文提出的去雾算法在视觉方面有一定的提高, 清晰度与对比度均优于其他对比算法, 并且由表5不同算法的运行时间对比结果知, 本文算法运行时间快, 可应用于实际.
表 5 不同算法的运行时间对比结果 (s)Table 5 The run time comparison results of different algorithms (s)图像 像素尺寸 DCP CAP SRCNN DehazeNet MSCNN 本文算法 House 345×450 1.026985 1.083050 1.420000 0.712700 2.300000 0.386680 Pumpkin 600×450 1.040880 4.097866 2.413527 0.643354 2.632809 0.401389 4. 结论
本文提出的基于并联卷积神经网络的图像去雾算法, 其网络结构的设计充分考虑了雾天图像与清晰图像YUV各个通道之间的关系, 两个子网络的分别预测有效地提高了网络模型的预测精度, 而且无论是在去雾图像色彩自然, 具有良好的清晰度与对比度, 且运行时间快, 能应用于实际. 但算法在浓雾区域去雾效果较一般, 随后的研究内容将放在浓雾区域的去雾上, 以获得更优的去雾效果.
-
图 4 不同算法对雾天图像Dolls的去雾结果
Fig. 4 Different algorithms to defog results of fog image Dolls
图 6 不同算法对雾天图像Reindeer的去雾结果
Fig. 6 Different algorithms to defog results of fog image Reindeer
图 5 不同算法对雾天图像Trees的去雾结果
Fig. 5 Different algorithms to defog results of fog image Trees
图 7 不同算法的峰值信噪比和结构相似度的对比结果
Fig. 7 Comparison results of PSNR and SSIM of different algorithms
图 8 自然雾天图像House的去雾结果对比
Fig. 8 Comparison of defogging results of natural foggy images House
图 9 自然雾天图像Pumpkin的去雾结果对比
Fig. 9 Comparison of defogging results of natural foggy images Pumpkin
图 10 不同算法的对比度和平均梯度的对比结果
Fig. 10 Comparison results of Contrast and average gradient of different algorithms
表 1 多尺度卷积模型
Table 1 Multi-scale convolution model
卷积核尺寸 补零 步长 1×1×16 0 1 3×3×16 1 1 5×5×16 2 1 7×7×16 3 1 
下载: 导出CSV
表 2 30幅合成雾天图像的RMSE, 色调还原度, 平均梯度, 信息熵, PSNR, SSIM的平均结果
Table 2 The average results of RMSE, tone reduction, average gradient, information entropy, PSNR, SSIM for the 30 synthetic foggy images
评价指标 雾天图像 DCP CAP SRCNN DehazeNet MSCNN 本文算法 RMSE $ \downarrow $ 0.1534 0.0289 0.0331 0.0179 0.0176 0.0241 0.0160 色调还原度 $ \uparrow $ 0.5373 0.7523 0.6554 0.8900 0.8925 0.8064 0.9503 平均梯度 $ \uparrow $ 5.1909 6.0140 6.0101 6.2006 6.0335 7.1038 7.2011 信息熵 $ \uparrow $ 12.5004 14.5855 14.5920 16.6002 16.5660 16.4850 16.6522 PSNR $ \uparrow $ 15.3102 19.8640 23.2021 25.2305 25.7017 25.6899 25.9057 SSIM $ \uparrow $ 0.5883 0.8512 0.8666 0.9374 0.9461 0.8657 0.9603
下载: 导出CSV
表 3 图像House采用不同算法去雾后评价指标结果
Table 3 Evaluation indicators results by different defogging algorithms for image House
评价指标 雾天图像 DCP CAP SRCNN DehazeNet MSCNN 本文算法 均值 $ \uparrow $ 85.2630 85.5620 86.1508 90.4007 89.4709 83.4437 93.6325 标准差 $ \uparrow $ 32.5943 23.0221 28.5681 33.9261 37.9512 56.1652 59.3654 信息熵 $ \uparrow $ 15.2220 16.4238 15.9294 16.8104 15.8738 14.1624 16.8542
下载: 导出CSV
表 4 图像Pumpkin采用不同算法去雾后评价指标结果
Table 4 Evaluation indicators results by different defogging algorithms for image Pumpkin
评价指标 雾天图像 DCP CAP SRCNN DehazeNet MSCNN 本文算法 均值 $ \uparrow $ 79.0321 79.2335 88.8262 77.8436 97.1924 94.2468 97.9533 标准差 $ \uparrow $ 45.9969 47.4479 44.8145 44.8020 50.4282 43.1658 59.6355 信息熵 $ \uparrow $ 14.8954 14.3255 15.4778 15.9992 15.9761 15.9783 16.7523
下载: 导出CSV
表 5 不同算法的运行时间对比结果 (s)
Table 5 The run time comparison results of different algorithms (s)
图像 像素尺寸 DCP CAP SRCNN DehazeNet MSCNN 本文算法 House 345×450 1.026985 1.083050 1.420000 0.712700 2.300000 0.386680 Pumpkin 600×450 1.040880 4.097866 2.413527 0.643354 2.632809 0.401389
下载: 导出CSV
-
[1] McCann J J. Retinex at 40. Journal Electronic Imaging, 2004, 13(1): 6−7 doi: 10.1117/1.1645250 [2] Cooper T J, Baqai F A. Analysis and extensions of the Frankle-McCann retinex algorithm. Journal of Electronic Imaging, 2004, 13(1): 85−92 doi: 10.1117/1.1636182 [3] Land E H, McCann J J. Lightness and retinex theory. Journal of the Optical Society of America, 1971, 61(1): 1−11 doi: 10.1364/JOSA.61.000001 [4] Land E H. An alternative technique for the computation of the designator in the retinex theory of color vision. Proceedings of the National Academy of Sciences of the United States of America, 1986, 83(10): 3078−3080 doi: 10.1073/pnas.83.10.3078 [5] Frankle J A, McCann J J. Method and Apparatus for Lightness Imaging: USA. Patent 4384336, May 1983. [6] He K M, Sun J, Tang X O. Single image haze removal using dark channel prior. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2011, 33(12): 2341−2353 [7] Zhu Q S, Mai J M, Shao L. A fast single image haze removal algorithm using color attenuation prior. IEEE Transactions on Image Processing, 2015, 24(11): 3522−3533 doi: 10.1109/TIP.2015.2446191 [8] 周全, 王磊, 周亮, 郑宝玉. 多尺度上下文的图像标注算法. 自动化学报, 2014, 40(12): 2944−2949Zhou Quan, Wang Lei, Zhou Liang, Zheng Bao-Yu. Multi-scale contextual image labeling. Acta Automatica Sinica, 2014, 40(12): 2944−2949 [9] 李新德, 杨伟东, Dezert Jean. 一种飞机图像目标多特征信息融合识别方法. 自动化学报, 2012, 38(8): 1298−1307Li Xin-De, Yang Wei-Dong, Dezert Jean. An airplane image target′s multi-feature fusion recognition method. Acta Automatica Sinica, 2012, 38(8): 1298−1307 [10] 胡长胜, 詹曙, 吴从中. 基于深度特征学习的图像超分辨率重建. 自动化学报, 2017, 43(5): 814−821Hu Chang-Sheng, Zhan Shu, Wu Cong-Zhong. Image super-resolution based on deep learning features. Acta Automatica Sinica, 2017, 43(5): 814−821 [11] Cai B L, Xu X M, Jia K, Qing C M, Tao D C. DehazeNet: An end-to-end system for single image haze removal. IEEE Transactions on Image Processing, 2016, 25(15): 5187−5198 [12] Ren W Q, Liu S, Zhang H, Pan J S, Cao X C, Yang M H. Single image dehazing via multi-scale convolutional neural networks. In: Proceedings of the 2016 Conference on Computer Vision–ECCV2016, 2016. 154−169 [13] Li C Y, Guo J C, Porikli F, Fu H Z, Pan Y W. A cascaded convolutional neural network for single image dehazing. IEEE Access, 2018, 6: 24877−24887 [14] Narasimhan S G, Nayar S K. Contrast restoration of weather degraded images. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2003, 25(6): 713−724 [15] 徐岩, 孙美双. 基于多特征融合的卷积神经网络图像去雾算法. 激光与光电子学进展, 2018, 55(3): 260−269Xu Yan, Sun Mei-Shuang. Convolution neural network image defogging based on multi-feature fusion. Laser and Optoelectronics Progress, 2018, 55(3): 260−269 [16] Dong C, Chen C L, He K M, Tang X O. Image super-resolution using deep convolutional networks. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2016, 38(2): 295−307 doi: 10.1109/TPAMI.2015.2439281 [17] 李大鹏, 禹晶, 肖创柏. 图像去雾的无参考客观质量评测方法. 中国图象图形学报, 2011, 16(9): 1753−1757 doi: 10.11834/jig.110024Li Da-Peng, Yu Jing, Xiao Chuang-Bai. No-reference quality assessment method for defogged images. Journal of Image and Graphics, 2011, 16(9): 1753−1757 doi: 10.11834/jig.110024 期刊类型引用(8)
1. 杨浩，周冬明，赵倩. 结合梯度指导和局部增强Transformer的图像去模糊网络. 小型微型计算机系统. 2024(01): 216-223 . 
百度学术2. 王斌，万雯，吴静进. 基于人脸识别技术的学生身份信息匹配技术. 长江信息通信. 2023(03): 15-17 . 百度学术3. 李文静，李治港，乔俊飞. 基于突触巩固机制的前馈小世界神经网络设计. 自动化学报. 2023(10): 2145-2158 . 本站查看4. 徐祯东，张天宇，张世恒，姚从荣，王道累. 基于YUV颜色空间GAN网络的图像去雾算法研究. 图学学报. 2023(05): 928-936 . 百度学术5. 杨秀璋，武帅，李娜，杨雯雯，廖文婧，周继松. 复杂环境下自适应去雾的YOLOv3汽车识别算法. 计算机科学. 2023(S2): 220-227 . 百度学术6. 税洁. 基于卷积神经网络的营业厅刷脸终端人脸识别可靠性评价. 自动化技术与应用. 2023(12): 67-70+149 . 百度学术7. 麻文刚，张亚东，郭进. 基于景深先验引导与环境光优化的图像去雾. 电子学报. 2022(07): 1708-1721 . 百度学术8. 冯晓峰，徐圣奇，刘杰. 基于偏振成像的快速去雾算法. 现代信息科技. 2022(17): 94-97 . 百度学术其他类型引用(17)
-
下载:
计量
- 文章访问数: 1556
- HTML全文浏览量: 680
- PDF下载量: 362
- 被引次数: 25
