2.845

2023影响因子

(CJCR)

  • 中文核心
  • EI
  • 中国科技核心
  • Scopus
  • CSCD
  • 英国科学文摘

留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

基于显著图的可变模板形态学去雾方法

董辉 张斌

南栋, 毕笃彦, 马时平, 凡遵林, 何林远. 基于分类学习的去雾后图像质量评价算法. 自动化学报, 2016, 42(2): 270-278. doi: 10.16383/j.aas.2016.c140854
引用本文: 董辉, 张斌. 基于显著图的可变模板形态学去雾方法. 自动化学报, 2019, 45(5): 877-887. doi: 10.16383/j.aas.2018.c170607
NAN Dong, BI Du-Yan, MA Shi-Ping, FAN Zun-Lin, HE Lin-Yuan. A Quality Assessment Method with Classified-learning for Dehazed Images. ACTA AUTOMATICA SINICA, 2016, 42(2): 270-278. doi: 10.16383/j.aas.2016.c140854
Citation: DONG Hui, ZHANG Bin. Image Haze Removal with Salience Map and Morphological Adaptive Filtering. ACTA AUTOMATICA SINICA, 2019, 45(5): 877-887. doi: 10.16383/j.aas.2018.c170607

基于显著图的可变模板形态学去雾方法

doi: 10.16383/j.aas.2018.c170607
基金项目: 

国家自然科学基金 61603291

详细信息
    作者简介:

    董辉   西安交通大学软件学院硕士研究生.主要研究方向为计算机视觉.E-mail:donghuid@stu.xjtu.edu.cn

    通讯作者:

    张斌   西安交通大学软件学院副教授.主要研究方向为图像处理和计算机视觉.本文通信作者.E-mail:bzhang82@mail.xjtu.edu.cn

Image Haze Removal with Salience Map and Morphological Adaptive Filtering

Funds: 

National Natural Science Foundation of China 61603291

More Information
    Author Bio:

    Master student at the School of Software, Xi0an Jiaotong University. His main research interest is computer vision

    Corresponding author: ZHANG Bin Associate professor at the School of Software, Xi0an Jiaotong University. His research interest covers computer vision and image processing. Corresponding author of this paper
  • 摘要: 针对暗通道先验去雾中存在的光晕现象和天空区域颜色失真现象,提出了一种基于自适应可变形结构元(Adaptive deformable structuring element,ADSE)中值滤波结合灰度形态学重构精细化透射率的方法.该方法利用透射率与图像细纹理结构的无关性,由有雾图像的灰度图计算显著图(Salience map,SM),将SM作为导向图计算ADSE,用生成的ADSE对最小颜色通道图像进行自适应中值滤波运算;其次,以粗估计暗通道图像为标记图像,以自适应中值滤波后的图像作为模板图像进行灰度形态学重构运算,获得精细化暗通道图像,继而得到精细化透射率;最后,针对天空区域,引入最优化透射率方法,对天空和非天空区域做统一的运算得到最终透射率,完成图像去雾.本文算法对真实场景具有很好的去雾效果,同时,基于形态学的运算易于并行化和硬件实现.
  • 由于受雾天退化现象的影响, 可见光成像系统成像质量严重下降, 而改善雾天图像质量的去雾算法已成为当前研究的一个热点[1-3]; 作为去雾算法效能评估的关键环节, 去雾后图像的质量评价有着极高的物理意义和现实价值.

    目前, 国内外学者已经在图像质量评价方面进行了大量研究, 但几乎都是针对传统的失真图像进行的, 如压缩失真、噪声污染、高斯模糊和码流丢失等[4]; 而去雾后图像质量评价研究仅仅处于起步阶段, 有许多问题尚未被发现和解决.图像质量评价方法可分为主观评价和客观评价:主观评价容易受个体的环境以及心理因素的影响而带来评价结果的波动; 而客观评价具有较高的可靠性, 并且更加高效、自动、易于系统实现.在早期的一些去雾算法效能评估中用到的主要是主观评价方法[5-7]; 随着对去雾算法的深入研究, 结合去雾后图像无原始真实图像作为参考这一特点, 一些无参考型图像质量指标被直接应用到去雾后的图像质量评价中. 2009年, Tarel等[8]将法国学者Hautiére等[9]提出的基于可见边缘的盲对比度增强评价算法直接应用于去雾后图像的质量评价中, 其对图像的结构信息敏感, 但无法评价细节过度恢复的图像.在Hautiére等基础上, 郭璠等[10]于2012年将去雾图像的色彩质量评价引入其中, 建立了CNC (Contrast-naturalness-colorfulness) 综合评价体系, 较为全面的度量了去雾后图像质量, 但其与Hautiére等的评价指标相似, 同样受3种指标的制约, 难以进行综合评定. 2011年, 李大鹏等[11]采用综合隶属度法则将图像有效细节强度、色调还原程度和结构信息进行组合; 忽视了各分量权重, 虽取得了一定效果, 但对失真图像质量评价无效. 2014年, Wang等[12]直接将DIIVINE[13]指标用于去雾后的质量评价当中, 其忽视了雾对人眼视觉愉悦性的影响, 容易造成客观评价结果与人眼主观感知不一致现象.

    综上所述, 现有去雾后图像的质量评价算法只是将通用的图像质量评价算法直接应用[14-15], 而未进行有针对性的调整, 导致现有算法无法有效地评价去雾后图像的质量, 难以达到主客观一致的质量评价要求.因此, 本文在借鉴前人研究基础上, 针对去雾后图像缺乏可参考标准、需满足人眼视觉认知以及容易过度复原等问题; 提出一种基于分类学习的去雾后图像质量评价算法:将去雾后图像基于图像增强、图像复原、统计先验以及人类视觉系统 (Human visual system, HVS) 的特征进行分析和抽取, 在此基础上, 根据研究去雾算法的经验, 建立了本文图像数据库, 通过对数据库的学习和测试验证了本文算法效能, 并且确保了评价结果与人类主观认知相一致.

    为学习算法的第一步, 本文首先对去雾后图像可能的质量特征进行估计, 从以下4个角度出发进行估计.

    基于增强的去雾后图像特征信息在被强化的同时.其含有的噪声水平也将被同步放大 (如图 1所示, 图中 $\sigma$ 表示噪声水平[16]).而梯度虽然是描述图像的结构特征的一项重要技术指标, 但其容易受噪声的影响, 所以本文将局部梯度结构信息和可见边缘强度用于基于图像增强的特征估计.

    图 1  噪声对去雾前后图像的影响
    Fig. 1  The influences of noise to hazy image and dehazed image

    图像的局部梯度结构信息能够在描述图像结构信息的同时尽可能地减小噪声的影响[17], 定义为

    $ \begin{align} T_1 = \frac{{(\lambda_1- \lambda_2)}^4}{{(\lambda_1+ \lambda_2)}^2} \end{align} $

    (1)

    其中, $\lambda_1$ 和 $\lambda_2$ 可由式 (2) 的奇异值分解得到; 全局 ${T}_1$ 的计算是将彩色图像是转换到HSV色彩空间, 然后对亮度图像 ({V}分量) 取7 $\times$ 7的子块, 求取每一子块的 ${T}_1$ , 最后进行全局平均, 数值越大说明图像增强后的纹理信息越丰富.

    $ \begin{align} C_1 = {\boldsymbol G}_L^{\rm T}(w){\boldsymbol G}_L(w)={\boldsymbol U} \begin{pmatrix} \lambda_1 & \\ &\lambda_2 \end{pmatrix} \begin{pmatrix} {\boldsymbol v}_1 &{\boldsymbol v}_2 \end{pmatrix} \end{align} $

    (2)

    其中, ${\boldsymbol G}_L(w)=[{\boldsymbol g}_x, {\boldsymbol g}_y]$ 表示在邻域 $w$ 内的局部梯度向量, ${\boldsymbol g}_x$ 和 ${\boldsymbol g}_y$ 表示邻域 ${w}$ 内的水平和垂直梯度分别沿图像的横轴和纵轴方向进行映射得到的水平和垂直列向量.

    可见边缘强度用于表征增强后图像的边缘水平, 本文将其定义为

    $ \begin{align} T_2 = \frac{{I_s}}{{M}} \end{align} $

    (3)

    其中, $M$ 为图像中像素点总数; $I_s$ 为可见边缘像素点数目总和, 是图像经sobel算子检测后的边缘像素点的集合; $T_2$ 反映一幅图像的整体边缘强度水平, 数值越大说明边缘越丰富, 增强的结果也就越理想.

    基于复原的去雾图像特征表现为雾的去除程度和色彩复原程度.本文借鉴基于图像复原算法的暗通道先验 (Dark channel prior, DCP)[1]思想, 认为图像中DCP所占比例能够直接反映雾的去除程度[15], 如果DCP所占比例越大, 则雾去除得越彻底 (如图 2 (b) 所示), 该比例定义为

    $ \begin{align} T_3 = \frac{{I_D}}{{M}} \end{align} $

    (4)
    图 2  基于复原的图像特征描述
    Fig. 2  The image feature descriptor based on restoration

    其中, $I_D$ 为获取的DCP图像中亮度值小于25的素点数目总和.

    文献[11]认为好的图像复原结果, 应该使原图像和复原图像直方图的形状大体上应保持一致 (图 2 (c) 所示), 因此, 本文利用去雾前后图像直方图的相关系数, 作为色彩复原程度的度量:

    $ \begin{align} T_4 = \frac{{\sum\limits_{k}(h_k'-\overline{h'})(h_k-\overline{h})}} {{\sqrt{\sum\limits_{k }(h_k'-\overline{h'})^2\sum\limits_{k }(h_k-\overline{h})^2}}} \end{align} $

    (5)

    其中, $h$ 和 $h'$ 分别为去雾前后图像的直方图分布; $T_4$ 反映图像的色彩复原程度, 数值越大, 说明其色彩复原效果越好.

    受大气退化现象影响而形成的有雾图像, 由于其求解的非适定性, 伴随各种求解算法研究, 产生了诸多的先验信息.本文基于大量去雾前后图像的统计分析, 抽取了能够反映图像质量的两种统计先验特征:图像色度梯度直方图分布特性和色度信息熵特性.

    通过对100幅有雾图像进行去雾前后的统计分析发现:图像在去雾前后的色度梯度直方图分布是恒定性的.以图 3 (a) 为例, 得到图像去雾前后色度梯度直方图分布, 可以发现其分布服从指数分布, 区别只存在于归一化系数 $s$ 会随着雾的去除而变大 (图 3 (b) 是以垂直方向梯度的绿色通道为例进行说明, 其他通道也具有相似的特性). 图 3 (c) 是100幅图像去雾前后的色度梯度函数与拟合的指数分布函数的均方根误差 (Mean square error, MSE) 结果, 可以发现其MSE的数值均处于很低的数量级, 说明其具备良好的拟合一致性, 满足文中假设.因此, 本文利用 $T_5=s$ 进行图像色度梯度直方图特征估计, 数值越大说明雾去除得越彻底.

    图 3  噪色度梯度直方图分布示意图[15]
    Fig. 3  Distribution of chromaticity gradient histogram[15]

    在HSV色彩空间, 通过观察一幅图像在去雾前后的色调 (Hue, $H$ )、饱和度 (Saturation, $S$ ) 和亮度 (Value, $V$ ) 分量的变化可得: $H$ 和 $V$ 分量在去雾前后基本保持一致; 而 $S$ 分量会有较明显变化, 它的信息量会随着雾的去除而显著增加 (如图 4 (c)所示).进而, 对100幅有雾图像进行去雾前后 $S$ 分量信息量统计分析, 可以发现去雾后图像 $S$ 分量信息熵要比去雾前的高 (如图 4 (e)所示).

    图 4  HSV空间统计结果[4]
    Fig. 4  The statistical results of HSV space[4]

    因此, 本文定义出的色度信息熵特征为

    $ \begin{align} T_6 = \frac{{-\sum\limits_{i=0 }^{255}p(i){\rm lg}(p(i))}}{{m}} \end{align} $

    (6)

    其中, $p(i)$ 表示亮度为 $i$ 的像素点概率密度; $m$ 为归一化因子, 文中取22.

    基于HVS的对比敏感度函数 (Contrast sensitivity function, CSF), 表示HVS对视觉激励信号的敏感程度.根据不同的实验能够得到不同的CSF, 但基本上都是由方位和空间频率的函数来表示, 并且具有一定的带通特性.本文采用文献[18]在实验中提出的CSF模型定义出基于HVS的特征, 数值越大说明人类视觉系统对其越敏感, 如下式所示:

    $ \begin{align} T_7 =2.6\times(0.192+0.114f^*)^{[-(0.114f^*)^{11}]} \end{align} $

    (7)

    其中, $f^*$ 为空间频率, 在0到0.5之间取值 (周期/度), 可由式 (8) 定义:

    $ \begin{align} f^* = \frac{{(f-f_{\rm min})}}{{2\times(f_{\rm max}-f_{\rm min})}} \end{align} $

    (8)

    其中, $f=(f_x^2+f_y^2)^{1/2}$ , $f_x$ 和 $f_y$ 分别为水平和垂直方向空间频率; $f_{\rm max}$ 和 $f_{\rm min}$ 为 $f$ 的最大和最小值.

    针对去雾后图像质量评价的应用需求, 本文在对成熟的去雾算法Fattal[6]、He等[1]和Tang等[19]的研究基础上, 首先, 建立了分类去雾图像质量评价数据库, 并抽取了对应图像的特征, 形成了样本序列; 之后, 利用支持向量机 (Support vector machine, SVM) 对去雾后图像的质量特征进行分类质量评价, 算法的难点在于质量评价数据库的建立.

    通过对现有图像去雾及其质量评价算法的研究发现, 由于去雾后图像的对比度、色彩复原度、雾的残存程度以及色调一致性等多个影响去雾后图像质量的因素难以统一衡量, 导致无法建立标准的数据库.因此, 本文结合通用的去雾算法性能分析, 基于如下的假设建立了分类数据库: ① Tang的去雾效果 $ > $ ② He的去雾效果 $ > $ ③ Fattal的去雾效果 (如图 5所示, “ $ > $ ”表示优于).

    图 5  图像去雾效果示例
    Fig. 5  The results of image dehazing

    本文选取了11幅有雾图像, 分别利用①、②和③处理得到相应的去雾后图像, 将①、②和③生成的图像进行两两组合, 最终得到33对去雾后图像的集合 $Q$ ( $Q={Q_1, Q_2, Q_3}$ , 其中 $Q_1$ =① ③、 $Q_2$ =① ②和 $Q_3$ =② ③.为了进一步扩展数据库, 对每一对图像对应随机选取不重叠的100幅 $n\times n$ 的图像子块 ( $n$ 在文中取图像长和高中最小值的1/10), 这样就能够得到3 300对图像的集合 $Q'$ , 并且每对图像中都有一幅图像去雾效果优于另一幅.对每一对图像均求取如下的特征矩阵:

    $ \begin{align} t(j) = T(x_j)-T(y_j) \end{align} $

    (9)

    其中, $j$ 表示第 $j$ 对图像, $j$ =0, 1, 2, $\cdots$ , 3 300; $x_j$ 和 $y_j$ 代表第 $j$ 对图像的两幅图像; $T(x)=[T_1(x) \ \ T_2(x) \ \ T_3(x) \ \ T_4(x) \ \ T_5(x) \ \ T_6(x) \ \ T_7(x)]$ .最后, 就可以求得每对图像的标签矩阵 $L(j)$ ∈ ${(-1, +1)}$ , +1表示去雾后图像 $x_j$ 优于 $y_j, -1$ 表示去雾后图像 $y_j$ 优于 $x_j$ (其映射关系如表 1所示, 表中的取值为 $L(j)$ 的对应结果).对图像集合 $Q'$ 进行标签映射, 得到 $1 650$ 个正样本和相同数量的负样本, 其标签矩阵记为 $L^+$ 和 $L^-$ , 对应的特征矩阵记为 $t^+$ 和 $t^-$ .

    表 1  标签矩阵 $L(j)$ 与 $x_j$ 、 $y_j$ 的映射关系
    Table 1  The mapping relationships between $L(j)$ and $x_j$ , $y_j$
    $x_j:y_j$
    -- +1 +1
    -1 -- +1
    -1 -1 --
    下载: 导出CSV 
    | 显示表格

    通过前文的特征提取以及数据库的建立, 本文将去雾后图像的质量评价问题转换为分类学习问题. SVM作为分类领域中最好的算法之一, 它基于结构风险最小化和VC(Vapnik-Chervonemkis) 维理论, 根据有限的原始样本信息在模型的学习能力和复杂性之间寻求最佳解决方案, 在高维空间中寻求一个超平面作为进行分类, 以保证最小的分类错误率 (如图 6所示).对于训练样本 ${t(N), L(N)}$ , 如果超平面能够将正负样本分为两类, 则最佳超平面应使两类样本到超平面最小距离之和最大, 等效为求解下式[20]:

    图 6  SVM原理
    Fig. 6  The principle of SVM

    $ \begin{align} &{\rm min}\frac{{\|\tilde{w}\|^2}}{{2}}+C\sum\limits_{j=1 }^{N}\xi_j\notag\\ &{\rm s. t.}\quad L(j)=[(\tilde{w}t(j)+b)]-1\geq0, \notag\\ &\qquad\ \ \xi_j\geq0, \ j=1, 2, \cdots, N \end{align} $

    (10)

    式 (10) 中, $\xi_j$ 为误差项, $C$ 为惩罚函数, $N$ 为选取的样本数目.求解上式, 得到决策函数:

    $ \begin{align} f(t)={\rm sgn}\left[\sum\limits_{j=1 }^{N}a_jL(j)k(t(j), t)+b\right] \end{align} $

    (11)

    其中, $a_j$ 为 $t(j)$ 的Lagrange乘子; $k(x, y)$ 为核函数, 文中选用Gauss径向基核函数:

    $ \begin{align} k(x, y)={\rm exp}(-\gamma\parallel{x-y}\parallel^2) \end{align} $

    (12)

    在利用SVM进行分类训练之后, 可直接对任意两类算法在同一幅图像下去雾的效果分类, 从而得到其优劣指标, 进而达到去雾后效果的评价及去雾算法效能评估的目标.此外, 在进行多个去雾后图像的质量评价时, 可以结合本文算法, 采用“冒泡法”进行质量等级排序.

    本文实验随机选取165个正样本和165个负样本形成训练样本集 (占总样本数目的10 %); 剩下的3 000个样本作为测试样本集 (占总样本数目的90 %).由于测试样本数目远大于训练样本数目, 测试的精度可以看作是学习算法真实泛化能力的体现.本文为了使所建立的数据库更具普适性, 选用的图像都是处理效果较好的算法结果, 这就使得到的质量特征虽有差别, 但数值较为接近, 因此, 在进行分类学习之前, 对所得到的图像特征矩阵进行非线性的指数拉伸, 使其更加具有可分性.

    为了验证所提出的方法, 本文设计了基于LIBSVM软件包[21]的Matlab程序进行实验验证.实验环境为Windows 7系统下, 配置Pentium E5300双核2.6 GHz的CPU, 内存为2 GB, 利用Matlab2010a运行程序.实验中, 分别进行了纵向和横向2组比较:纵向比较是将本文分类的正确概率与前文提出的7种质量特征进行效果分类的正确率 (正确率指的是训练样本被正确分类的比例, 下同) 进行比较 (表 2所示); 由于去雾后图像质量评价算法的稀缺 (文献[8, 10]为专用的去雾后图像质量评价算法, 但其结果受多个性能评价指标的影响, 难以综合评定), 因此本文在进行横向比较时, 是将本文结果与三种通用的无参考型质量评价算法在本文数据下进行比较 (表 3所示).实验中, SVM的参数 $C = 10$ , $\gamma = 0.1$ .

    表 2  纵向实验结果
    Table 2  The results of vertical experiment
    类别 正确率 (%)
    $T_1$ 70.7333
    $T_2$ 65.5667
    $T_3$ 73.8000
    $T_4$ 67.7667
    $T_5$ 62.9333
    $T_6$ 68.9667
    $T_7$ 72.2000
    本文 97.3030
    下载: 导出CSV 
    | 显示表格
    表 3  横向实验结果
    Table 3  The results of horizontal experiment
    类别 正确率 (%) 时间 (s)
    文献[13] 87.0333 71.0256
    文献[4] 89.3000 1.9436
    文献[22] 92.4333 46.2982
    本文 97.3030 3.5429
    下载: 导出CSV 
    | 显示表格

    表 2的实验结果可以看出, 本文算法性能要远远优于各个特征单独评价时的结构, 这就进一步验证了本文算法对去雾后图像质量特征衡量的全面性.

    表 3的实验结果可以看出 (表中文献[4]及本文算法运算时间为不包含样本特征生成和训练时间的3 000个测试样本运算总时间), 选用的三种通用无参考型图像质量评价算法虽然取得了较好的结果, 并且在一定程度上能够区分去雾后图像质量的好坏; 但还不能达到本文分类算法的效率.这正是由于通用的无参考型图像质量评价算法仅仅是从图像的结构失真、色彩失真以及视觉认知上出发进行算法构建, 而未考虑雾的去除程度对图像质量的影响导致的.

    为了进一步验证本文算法效能, 本文在已知原始有雾图像 $I(x)$ , 并利用文献[1]求得大气传递图 $d(x)$ (代表雾天图像的衰减程度) 基础上, 通过引入参数 $\alpha$ 来模拟雾天退化过程.原始雾天退化模型如下所示:

    $ \begin{align} I(x)=J(x)d(x)+A(1-t(x)) \end{align} $

    (13)

    其中, $A$ 为大气光强度, 一般被认为是图像中最亮点的亮度值.对上式进行变换, 可得本文模拟去雾模型:

    $ \begin{align} J(x)=A+\frac{{I(x)-A}}{{d'(x)}} \end{align} $

    (14)

    其中, $d'(x)=\alpha{d(x)}$ .当 $\alpha$ =1时, 上式表示正常的去雾过程; 当 $\alpha>1$ 时, 模拟大气传递图 $d'(x)$ 会被放大, 导致去雾不足; 当 $\alpha < 1$ 时, 模拟大气传递图 $d'(x)$ 会被缩小, 导致去雾过度.去雾不足和过度都会导致去雾后图像质量下降.因此, 本文通过变化 $\alpha$ 的值, 来模拟不同质量的去雾后图像 (如图 7图 8所示).

    图 7  “麦田”在不同 $\alpha$ 取值下的去雾效果
    Fig. 7  The results of image dehazing with different $\alpha$ of "cornfield"
    图 8  “城市”在不同 $\alpha$ 取值下的去雾效果
    Fig. 8  The results of image dehazing with different $\alpha$ of "city"

    图 7图 8的区别在于, 图 7的平均亮度值要比图 8的高; 而经由式 (14) 去雾后图像的一个显著特点就是其平均亮度会降低[15].因此, 在 $\alpha$ 取值相同情况下会导致不同的降质现象:去雾过度比去雾不足会给图 8带来更为明显的质量下降; 而去雾不足比去雾过度则会给图 7带来更为明显的质量下降.本文结合主观感知和去雾算法特点, 可以得到参考的图像质量排序, 并用本文算法和横向实验的三种无参考型质量评价算法对图 7图 8的去雾后图像质量水平进行排序, 结果如表 4表 5所示.

    表 4  图 7去雾后图像质量排序
    Table 4  The quality ranking of dehazed images in Fig. 7
    类别 排序
    参考排序 (e) > (d) > (f) > (c) > (g)
    文献[13] (d) > (e) > (f) > (c) > (g)
    文献[4] (d) > (e) > (c) > (f) > (g)
    文献[22] (e) > (d) > (c) > (f) > (g)
    本文 (e) > (d) > (f) > (c) > (g)
    下载: 导出CSV 
    | 显示表格
    表 5  图 8去雾后图像质量排序
    Table 5  The quality ranking of dehazed images in Fig. 8
    类别 排序
    参考排序 (e) > (f) > (g) > (d) > (c)
    文献[13] (e) > (d) > (f) > (g) > (c)
    文献[4] (e) > (d) > (f) > (g) > (c)
    文献[22] (e) > (f) > (d) > (g) > (c)
    本文 (e) > (f) > (g) > (d) > (c)
    下载: 导出CSV 
    | 显示表格

    表 4表 5的实验结果表明, 本文算法的排序优于其他几种算法, 究其原因, 主要是已有算法的局限性所致 (忽略了图像的雾天特性); 此外, 已有算法抽取的主要是图像的一些底层特征, 而本文算法是将去雾后图像的高级特征 (效果明显的专用特征) 与成熟度高的SVM进行结合得到的产物.

    本文从现有无参考型图像质量评价算法对去雾后图像质量评价的先天性缺陷出发, 提出一种基于分类学习的去雾后图像质量评价算法, 在建立去雾后图像质量评价数据库的基础上, 将去雾后图像质量特征分析与分类学习思想融合, 从而将图像质量评价问题转换为图像分类问题, 进而利用成熟的SVM分类算法对去雾后图像质量进行评价分级.通过纵向和横向的对比实验, 表明了本文算法的优越性, 但由于数据库的有限性, 对于多幅去雾后图像的质量评价问题, 还只能利用“冒泡法”解决.因此, 建立标准的、拥有人眼主观打分评价指标的去雾后图像质量评价数据库, 将是本文下一步研究的重点.


  • 本文责任编委 桑农
  • 图  1  有雾图像模型

    Fig.  1  Haze imaging model

    图  2  暗通道计算

    Fig.  2  Calculation of dark channel

    图  3  不同邻域大小对去雾的影响

    Fig.  3  Haze removal results by different patch sizes

    图  4  DCP + GIF方法使用不同大小邻域的去雾效果

    Fig.  4  Haze removal results by DCP+GIF with different patch sizes

    图  5  使用DCP去雾后天空区域的颜色失真现象

    Fig.  5  Haze removal results with large sky region

    图  6  本文去雾算法流程

    Fig.  6  Flowchart of our proposed algorithm

    图  7  本文去雾算法中间过程

    Fig.  7  Flowchart of proposed haze removal procedure

    图  8  去雾效果对比

    Fig.  8  Haze removal results

    图  9  自适应滤波结果

    Fig.  9  Adaptive filtering results

    图  10  使用自适应中值滤波和形态学重构实现的去雾结果

    Fig.  10  ADSE filter and morphological reconstruction results

    图  11  各透射率结果

    Fig.  11  Transmissions

    图  12  真实图像不同去雾算法效果对比

    Fig.  12  Comparison with other methods

    图  13  合成图像不同去雾算法效果对比

    Fig.  13  Results on synthetic images based on stereo images

    表  1  不同算法去雾结果定量评价指标值

    Table  1  Results of MSE and SSIM on the synthetic images

    指标图像 [11] [23] [20]本文
    MSEdolls0.08760.09870.05980.0562
    moebius0.10330.09680.0795 0.0817
    cones0.08800.07490.0563 0.0770
    books0.10430.15170.0485 0.0906
    trees0.11830.17260.12440.0848
    buildings0.22130.15580.10540.1030
    mountain0.06290.14480.08220.0596
    woods0.22030.15560.16790.1498
    SSIMdolls0.90910.90420.92930.9366
    moebius0.87640.90170.9168 0.8908
    cones0.90510.9518 0.94940.9116
    books0.86590.83380.9436 0.8793
    trees0.83320.85850.87310.8998
    buildings0.66150.85360.78470.8541
    mountain0.92250.84490.90190.9240
    woods0.84690.91560.86550.9384
    下载: 导出CSV

    表  2  不同算法去雾运算时间(s)

    Table  2  Computing times on the haze images (s)

    图像文献[11]文献[23]文献[20]本文
    dolls1.4143.2631.30913.971
    moebius1.4412.7691.18414.014
    cones1.3793.0431.25713.976
    books1.4033.1031.25913.894
    trees1.3563.0421.19813.819
    buildings2.9942.8991.20114.173
    mountain1.0092.5410.8739.705
    woods2.9703.6791.43421.412
    下载: 导出CSV
  • [1] Narasimhan S G, Nayar S K. Vision and the atmosphere. International Journal of Computer Vision, 2002, 48 (3): 233-254 http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=b619651bb1a84a4d7a31d397fb0f9386
    [2] He K M, Sun J, Tang X O. Single image haze removal using dark channel prior. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2011, 33 (12): 2341-2353 doi: 10.1109/TPAMI.2010.168
    [3] 吴迪, 朱青松.图像去雾的最新研究进展.自动化学报, 2015, 41 (2): 221-239 http://www.aas.net.cn/CN/abstract/abstract18603.shtml

    Wu Di, Zhu Qing-Song. The latest research progress of image dehazing. Acta Automatica Sinica, 2015, 41 (2): 221-239 http://www.aas.net.cn/CN/abstract/abstract18603.shtml
    [4] Stark J A. Adaptive image contrast enhancement using generalizations of histogram equalization. IEEE Transactions on Image Processing, 2000, 9 (5): 889-896 doi: 10.1109/83.841534
    [5] McCann J. Lessons learned from Mondrians applied to real images and color gamuts. In: Proceedings of the IS & T/SID 7th Color and Imaging Conference. Scottsdale, USA, 1999. 1-8 https://www.researchgate.net/publication/221501975_Lessons_Learned_from_Mondrians_Applied_to_Real_Images_and_Color_Gamuts
    [6] Schechner Y Y, Narasimhan S G, Nayar S K. Instant dehazing of images using polarization. In: Proceedings of the 2001 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Kauai, HI, USA: IEEE, 2001. I-325-I-332 https://www.researchgate.net/publication/3940554_Instant_dehazing_of_images_using_polarization
    [7] Kopf J, Neubert B, Chen B, Cohen M, Cohen-Or D, Deussen O, et al. Deep photo: model-based photograph enhancement and viewing. ACM Transactions on Graphics, 2008, 27 (5): Article No. 116 http://d.old.wanfangdata.com.cn/NSTLQK/NSTL_QKJJ0210187593/
    [8] Narasimhan S G, Nayar S K. Contrast restoration of weather degraded images. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2003, 25 (6): 713-724 doi: 10.1109/TPAMI.2003.1201821
    [9] Narasimhan S G, Nayar S K. Chromatic framework for vision in bad weather. In: Proceedings of the 2000 IEEE Conference on Computer Vision and Pattern Recognition. Hilton Head Island, SC, USA: IEEE, 2000. 598-605 https://www.researchgate.net/publication/3854198_Chromatic_framework_for_vision_in_bad_weather
    [10] Nayar S K, Narasimhan S G. Vision in bad weather. In: Proceedings of the 7th IEEE International Conference on Computer Vision. Kerkyra, Greece: IEEE, 1999. 820-827
    [11] Zhu Q S, Mai J M, Shao L. A fast single image haze removal algorithm using color attenuation prior. IEEE Transactions on Image Processing, 2015, 24 (11): 3522-3533 doi: 10.1109/TIP.2015.2446191
    [12] Li Z G, Zheng J H. Edge-preserving decomposition-based single image haze removal. IEEE Transactions on Image Processing, 2015, 24 (12): 5432-5441 doi: 10.1109/TIP.2015.2482903
    [13] Caraffa L, Tarel J P. Markov random field model for single image defogging. In: Proceedings of the 2013 IEEE Intelligent Vehicles Symposium (Ⅳ). Gold Coast, QLD, Australia: IEEE, 2013. 994-999 https://www.researchgate.net/publication/261225195_Markov_Random_Field_Model_for_Single_Image_Defogging
    [14] 刘海波, 杨杰, 吴正平, 张庆年, 邓勇.基于暗通道先验和Retinex理论的快速单幅图像去雾方法.自动化学报, 2015, 41 (7): 1264-1273 http://www.aas.net.cn/CN/abstract/abstract18700.shtml

    Liu Hai-Bo, Yang Jie, Wu Zheng-Ping, Zhang Qing-Nian, Deng Yong. A fast single image dehazing method based on dark channel prior and Retinex theory. Acta Automatica Sinica, 2015, 41 (7): 1264-1273 http://www.aas.net.cn/CN/abstract/abstract18700.shtml
    [15] Chen J, Chau L P. Heavy haze removal in a learning framework. In: Proceedings of the 2015 IEEE International Symposium on Circuits and Systems. Lisbon, Portugal: IEEE, 2015. 1590-1593
    [16] Tang K T, Yang J C, Wang J. Investigating haze-relevant features in a learning framework for image dehazing. In: Proceedings of the 2014 IEEE Conference on Computer Vision and Pattern Recognition. Columbus, OH, USA: IEEE, 2014. 2995-3002 https://www.researchgate.net/publication/286594615_Investigating_Haze-Relevant_Features_in_a_Learning_Framework_for_Image_Dehazing
    [17] Choi L, You J, Bovik A C. Referenceless prediction of perceptual fog density and perceptual image defogging. IEEE Transactions on Image Processing, 2015, 24 (11): 3888-3901 doi: 10.1109/TIP.2015.2456502
    [18] Cai B L, Xu X M, Jia K, Qing C M, Tao D C. DehazeNet: an end-to-end system for single image haze removal. IEEE Transactions on Image Processing, 2016, 25 (11): 5187-5198 doi: 10.1109/TIP.2016.2598681
    [19] 陈书贞, 任占广, 练秋生.基于改进暗通道和导向滤波的单幅图像去雾算法.自动化学报, 2016, 42 (3): 455-465 http://www.aas.net.cn/CN/abstract/abstract18833.shtml

    Chen Shu-Zhen, Ren Zhan-Guang, Lian Qiu-Sheng. Single image dehazing algorithm based on improved dark channel prior and guided filter. Acta Automatica Sinica, 2016, 42 (3): 455-465 http://www.aas.net.cn/CN/abstract/abstract18833.shtml
    [20] He K M, Sun J, Tang X O. Guided image filtering. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2013, 35 (6): 1397-1409 doi: 10.1109/TPAMI.2012.213
    [21] Tarel J P, Hautiere N. Fast visibility restoration from a single color or gray level image. In: Proceedings of the 2009 IEEE 12th International Conference on Computer Vision. Kyoto, Japan: IEEE, 2009. 2201-2208 https://www.researchgate.net/publication/221110862_Fast_Visibility_Restoration_from_a_Single_Color_or_Gray_Level_Image
    [22] Kim J H, Jang W D, Sim J Y, Kim C S. Optimized contrast enhancement for real-time image and video dehazing. Journal of Visual Communication and Image Representation, 2013, 24 (3): 410-425 doi: 10.1016/j.jvcir.2013.02.004
    [23] Meng G F, Wang Y, Duan J Y, Xiang S M, Pan C H. Efficient image dehazing with boundary constraint and contextual regularization. In: Proceedings of the 2013 IEEE International Conference on Computer Vision. Sydney, NSW, Australia: IEEE, 2013. 617-624 https://www.researchgate.net/publication/262356211_Efficient_Image_Dehazing_with_Boundary_Constraint_and_Contextual_Regularization
    [24] Levin A, Lischinski D, Weiss Y. A closed-form solution to natural image matting. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2008, 30 (2): 228-242 doi: 10.1109/TPAMI.2007.1177
    [25] Xiao C X, Liu M, Xiao D L, Dong Z, Ma K L. Fast closed-form matting using a hierarchical data structure. IEEE Transactions on Circuits and Systems for Video Technology, 2014, 24 (1): 49-62 doi: 10.1109/TCSVT.2013.2276153
    [26] Huang S C, Chen B H, Cheng Y J. An efficient visibility enhancement algorithm for road scenes captured by intelligent transportation systems. IEEE Transactions on Intelligent Transportation Systems, 2014, 15 (5): 2321-2332 doi: 10.1109/TITS.2014.2314696
    [27] Li X Y, Gu Y, Hu S M, Martin R R. Mixed-domain edge-aware image manipulation. IEEE Transactions on Image Processing, 2013, 22 (5): 1915-1925 doi: 10.1109/TIP.2013.2237922
    [28] Huang S C, Chen B H, Wang W J. Visibility restoration of single hazy images captured in real-world weather conditions. IEEE Transactions on Circuits and Systems for Video Technology, 2014, 24 (10): 1814-1824 doi: 10.1109/TCSVT.2014.2317854
    [29] Lai Y H, Chen Y L, Chiou C J, Hsu C T. Single-image dehazing via optimal transmission map under scene priors. IEEE Transactions on Circuits and Systems for Video Technology, 2015, 25 (1): 1-14 doi: 10.1109/TCSVT.2014.2329381
    [30] Li Z G, Zheng J H, Zhu Z J, Yao W, Wu S Q. Weighted guided image filtering. IEEE Transactions on Image Processing, 2015, 24 (1): 120-129 doi: 10.1109/TIP.2014.2371234
    [31] Curic V, Hendriks C L, BorgeforsG. Salience adaptive structuring elements. IEEE Journal of Selected Topics in Signal Processing, 2012, 6 (7): 809-819 doi: 10.1109/JSTSP.2012.2207371
    [32] Wang Z, Bovik A C, Sheikh H R, Simoncelli E P. Image quality assessment: from error visibility to structural similarity. IEEE Transactions on Image Processing, 2004, 13 (4): 600-612 doi: 10.1109/TIP.2003.819861
  • 期刊类型引用(4)

    1. 宋传鸣,唐媛,乔明泽,刘霜,刘丹. 缓解平滑区域光晕和偏色失真的图像去雾算法. 计算机辅助设计与图形学学报. 2022(06): 953-969 . 百度学术
    2. 叶志鹏,贾睿,宁雷,付继伟,崔利军. 基于亮区域检测的图像去雾增强方法. 导弹与航天运载技术. 2021(01): 115-120 . 百度学术
    3. 王诗毅,姚信威,姚远. G-SVD:一种基于高斯卷积和SVD的暗通道去雾算法. 小型微型计算机系统. 2021(04): 810-815 . 百度学术
    4. 吴迪,郭凤姣,黄峰,李婷,屈宗顺. 基于颜色衰减先验和视觉显著性的水下图像增强算法. 光电子·激光. 2020(09): 891-896 . 百度学术

    其他类型引用(5)

  • 加载中
  • 图(13) / 表(2)
    计量
    • 文章访问数:  2227
    • HTML全文浏览量:  350
    • PDF下载量:  444
    • 被引次数: 9
    出版历程
    • 收稿日期:  2017-11-02
    • 录用日期:  2018-03-06
    • 刊出日期:  2019-05-20

    目录

    /

    返回文章
    返回