2.845

2023影响因子

(CJCR)

  • 中文核心
  • EI
  • 中国科技核心
  • Scopus
  • CSCD
  • 英国科学文摘

留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

生成式对抗网络:从生成数据到创造智能

王坤峰 左旺孟 谭营 秦涛 李力 王飞跃

南栋, 毕笃彦, 马时平, 凡遵林, 何林远. 基于分类学习的去雾后图像质量评价算法. 自动化学报, 2016, 42(2): 270-278. doi: 10.16383/j.aas.2016.c140854
引用本文: 王坤峰, 左旺孟, 谭营, 秦涛, 李力, 王飞跃. 生成式对抗网络:从生成数据到创造智能. 自动化学报, 2018, 44(5): 769-774. doi: 10.16383/j.aas.2018.y000001
NAN Dong, BI Du-Yan, MA Shi-Ping, FAN Zun-Lin, HE Lin-Yuan. A Quality Assessment Method with Classified-learning for Dehazed Images. ACTA AUTOMATICA SINICA, 2016, 42(2): 270-278. doi: 10.16383/j.aas.2016.c140854
Citation: Wang Kun-Feng, Zuo Wang-Meng, Tan Ying, Qin Tao, Li Li, Wang Fei-Yue. Generative adversarial networks: from generating data to creating intelligence. ACTA AUTOMATICA SINICA, 2018, 44(5): 769-774. doi: 10.16383/j.aas.2018.y000001

生成式对抗网络:从生成数据到创造智能

doi: 10.16383/j.aas.2018.y000001
基金项目: 

国家自然科学基金 91720000

国家自然科学基金 61533019

详细信息
    作者简介:

    左旺孟  哈尔滨工业大学计算机科学与技术学院教授.主要研究方向为计算机视觉, 机器学习, 生物特征识别.E-mail:wmzuo@hit.edu.cn

    谭营  北京大学信息科学技术学院教授.主要研究方向为计算智能, 群体智能, 机器学习.E-mail:ytan@pku.edu.cn

    秦涛  微软亚洲研究院资深研究员, 主要研究方向为机器学习, 博弈论和多智能体系统, 搜索和在线广告.E-mail:taoqin@microsoft.com

    李力  清华大学自动化系副教授.主要研究方向为人工智能和机器学习, 智能交通系统和智能汽车.E-mail:li-li@tsinghua.edu.cn

    王飞跃  中国科学院自动化研究所复杂系统管理与控制国家重点实验室研究员.国防科技大学军事计算实验与平行系统技术研究中心主任.主要研究方向为智能系统和复杂系统的建模、分析与控制.E-mail:feiyue.wang@ia.ac.cn

    通讯作者:

    王坤峰  中国科学院自动化研究所复杂系统管理与控制国家重点实验室副研究员.主要研究方向为智能交通系统, 智能视觉计算, 机器学习.本文通信作者.E-mail:kunfeng.wang@ia.ac.cn

Generative adversarial networks: from generating data to creating intelligence

Funds: 

National Natural Science Foundation of China 91720000

National Natural Science Foundation of China 61533019

More Information
    Author Bio:

     Professor at the School of Computer Science and Technology, Harbin Institute of Technology. His research interest covers computer vision, machine learning, and biometrics

     Professor at the School of Electronics Engineering and Computer Science, Peking University. His research interest covers computational intelligence, swarm intelligence, and machine learning

     Senior researcher at Microsoft Research Asia. His research interest covers machine learning, game theory and multi-agent system, search and advertising

     Associate professor at Department of Automation, Tsinghua University. His research interest covers artificial intelligence and machine learning, intelligent transportation systems and intelligent vehicles

     Professor at The State Key Laboratory for Management and Control of Complex Systems, Institute of Automation, Chinese Academy of Sciences. Director of the Research Center for Computational Experiments and Parallel Systems Technology, National University of Defense Technology. His research interest covers modeling, analysis, and control of intelligent systems and complex systems

    Corresponding author: WANG Kun-Feng  Associate professor at The State Key Laboratory for Management and Control of Complex Systems, Institute of Automation, Chinese Academy of Sciences. His research interest covers intelligent transportation systems, intelligent visual computing, and machine learning. Corresponding author of this paper
  • 由于受雾天退化现象的影响, 可见光成像系统成像质量严重下降, 而改善雾天图像质量的去雾算法已成为当前研究的一个热点[1-3]; 作为去雾算法效能评估的关键环节, 去雾后图像的质量评价有着极高的物理意义和现实价值.

    目前, 国内外学者已经在图像质量评价方面进行了大量研究, 但几乎都是针对传统的失真图像进行的, 如压缩失真、噪声污染、高斯模糊和码流丢失等[4]; 而去雾后图像质量评价研究仅仅处于起步阶段, 有许多问题尚未被发现和解决.图像质量评价方法可分为主观评价和客观评价:主观评价容易受个体的环境以及心理因素的影响而带来评价结果的波动; 而客观评价具有较高的可靠性, 并且更加高效、自动、易于系统实现.在早期的一些去雾算法效能评估中用到的主要是主观评价方法[5-7]; 随着对去雾算法的深入研究, 结合去雾后图像无原始真实图像作为参考这一特点, 一些无参考型图像质量指标被直接应用到去雾后的图像质量评价中. 2009年, Tarel等[8]将法国学者Hautiére等[9]提出的基于可见边缘的盲对比度增强评价算法直接应用于去雾后图像的质量评价中, 其对图像的结构信息敏感, 但无法评价细节过度恢复的图像.在Hautiére等基础上, 郭璠等[10]于2012年将去雾图像的色彩质量评价引入其中, 建立了CNC (Contrast-naturalness-colorfulness) 综合评价体系, 较为全面的度量了去雾后图像质量, 但其与Hautiére等的评价指标相似, 同样受3种指标的制约, 难以进行综合评定. 2011年, 李大鹏等[11]采用综合隶属度法则将图像有效细节强度、色调还原程度和结构信息进行组合; 忽视了各分量权重, 虽取得了一定效果, 但对失真图像质量评价无效. 2014年, Wang等[12]直接将DIIVINE[13]指标用于去雾后的质量评价当中, 其忽视了雾对人眼视觉愉悦性的影响, 容易造成客观评价结果与人眼主观感知不一致现象.

    综上所述, 现有去雾后图像的质量评价算法只是将通用的图像质量评价算法直接应用[14-15], 而未进行有针对性的调整, 导致现有算法无法有效地评价去雾后图像的质量, 难以达到主客观一致的质量评价要求.因此, 本文在借鉴前人研究基础上, 针对去雾后图像缺乏可参考标准、需满足人眼视觉认知以及容易过度复原等问题; 提出一种基于分类学习的去雾后图像质量评价算法:将去雾后图像基于图像增强、图像复原、统计先验以及人类视觉系统 (Human visual system, HVS) 的特征进行分析和抽取, 在此基础上, 根据研究去雾算法的经验, 建立了本文图像数据库, 通过对数据库的学习和测试验证了本文算法效能, 并且确保了评价结果与人类主观认知相一致.

    为学习算法的第一步, 本文首先对去雾后图像可能的质量特征进行估计, 从以下4个角度出发进行估计.

    基于增强的去雾后图像特征信息在被强化的同时.其含有的噪声水平也将被同步放大 (如图 1所示, 图中 $\sigma$ 表示噪声水平[16]).而梯度虽然是描述图像的结构特征的一项重要技术指标, 但其容易受噪声的影响, 所以本文将局部梯度结构信息和可见边缘强度用于基于图像增强的特征估计.

    图 1  噪声对去雾前后图像的影响
    Fig. 1  The influences of noise to hazy image and dehazed image

    图像的局部梯度结构信息能够在描述图像结构信息的同时尽可能地减小噪声的影响[17], 定义为

    $ \begin{align} T_1 = \frac{{(\lambda_1- \lambda_2)}^4}{{(\lambda_1+ \lambda_2)}^2} \end{align} $

    (1)

    其中, $\lambda_1$ 和 $\lambda_2$ 可由式 (2) 的奇异值分解得到; 全局 ${T}_1$ 的计算是将彩色图像是转换到HSV色彩空间, 然后对亮度图像 ({V}分量) 取7 $\times$ 7的子块, 求取每一子块的 ${T}_1$ , 最后进行全局平均, 数值越大说明图像增强后的纹理信息越丰富.

    $ \begin{align} C_1 = {\boldsymbol G}_L^{\rm T}(w){\boldsymbol G}_L(w)={\boldsymbol U} \begin{pmatrix} \lambda_1 & \\ &\lambda_2 \end{pmatrix} \begin{pmatrix} {\boldsymbol v}_1 &{\boldsymbol v}_2 \end{pmatrix} \end{align} $

    (2)

    其中, ${\boldsymbol G}_L(w)=[{\boldsymbol g}_x, {\boldsymbol g}_y]$ 表示在邻域 $w$ 内的局部梯度向量, ${\boldsymbol g}_x$ 和 ${\boldsymbol g}_y$ 表示邻域 ${w}$ 内的水平和垂直梯度分别沿图像的横轴和纵轴方向进行映射得到的水平和垂直列向量.

    可见边缘强度用于表征增强后图像的边缘水平, 本文将其定义为

    $ \begin{align} T_2 = \frac{{I_s}}{{M}} \end{align} $

    (3)

    其中, $M$ 为图像中像素点总数; $I_s$ 为可见边缘像素点数目总和, 是图像经sobel算子检测后的边缘像素点的集合; $T_2$ 反映一幅图像的整体边缘强度水平, 数值越大说明边缘越丰富, 增强的结果也就越理想.

    基于复原的去雾图像特征表现为雾的去除程度和色彩复原程度.本文借鉴基于图像复原算法的暗通道先验 (Dark channel prior, DCP)[1]思想, 认为图像中DCP所占比例能够直接反映雾的去除程度[15], 如果DCP所占比例越大, 则雾去除得越彻底 (如图 2 (b) 所示), 该比例定义为

    $ \begin{align} T_3 = \frac{{I_D}}{{M}} \end{align} $

    (4)
    图 2  基于复原的图像特征描述
    Fig. 2  The image feature descriptor based on restoration

    其中, $I_D$ 为获取的DCP图像中亮度值小于25的素点数目总和.

    文献[11]认为好的图像复原结果, 应该使原图像和复原图像直方图的形状大体上应保持一致 (图 2 (c) 所示), 因此, 本文利用去雾前后图像直方图的相关系数, 作为色彩复原程度的度量:

    $ \begin{align} T_4 = \frac{{\sum\limits_{k}(h_k'-\overline{h'})(h_k-\overline{h})}} {{\sqrt{\sum\limits_{k }(h_k'-\overline{h'})^2\sum\limits_{k }(h_k-\overline{h})^2}}} \end{align} $

    (5)

    其中, $h$ 和 $h'$ 分别为去雾前后图像的直方图分布; $T_4$ 反映图像的色彩复原程度, 数值越大, 说明其色彩复原效果越好.

    受大气退化现象影响而形成的有雾图像, 由于其求解的非适定性, 伴随各种求解算法研究, 产生了诸多的先验信息.本文基于大量去雾前后图像的统计分析, 抽取了能够反映图像质量的两种统计先验特征:图像色度梯度直方图分布特性和色度信息熵特性.

    通过对100幅有雾图像进行去雾前后的统计分析发现:图像在去雾前后的色度梯度直方图分布是恒定性的.以图 3 (a) 为例, 得到图像去雾前后色度梯度直方图分布, 可以发现其分布服从指数分布, 区别只存在于归一化系数 $s$ 会随着雾的去除而变大 (图 3 (b) 是以垂直方向梯度的绿色通道为例进行说明, 其他通道也具有相似的特性). 图 3 (c) 是100幅图像去雾前后的色度梯度函数与拟合的指数分布函数的均方根误差 (Mean square error, MSE) 结果, 可以发现其MSE的数值均处于很低的数量级, 说明其具备良好的拟合一致性, 满足文中假设.因此, 本文利用 $T_5=s$ 进行图像色度梯度直方图特征估计, 数值越大说明雾去除得越彻底.

    图 3  噪色度梯度直方图分布示意图[15]
    Fig. 3  Distribution of chromaticity gradient histogram[15]

    在HSV色彩空间, 通过观察一幅图像在去雾前后的色调 (Hue, $H$ )、饱和度 (Saturation, $S$ ) 和亮度 (Value, $V$ ) 分量的变化可得: $H$ 和 $V$ 分量在去雾前后基本保持一致; 而 $S$ 分量会有较明显变化, 它的信息量会随着雾的去除而显著增加 (如图 4 (c)所示).进而, 对100幅有雾图像进行去雾前后 $S$ 分量信息量统计分析, 可以发现去雾后图像 $S$ 分量信息熵要比去雾前的高 (如图 4 (e)所示).

    图 4  HSV空间统计结果[4]
    Fig. 4  The statistical results of HSV space[4]

    因此, 本文定义出的色度信息熵特征为

    $ \begin{align} T_6 = \frac{{-\sum\limits_{i=0 }^{255}p(i){\rm lg}(p(i))}}{{m}} \end{align} $

    (6)

    其中, $p(i)$ 表示亮度为 $i$ 的像素点概率密度; $m$ 为归一化因子, 文中取22.

    基于HVS的对比敏感度函数 (Contrast sensitivity function, CSF), 表示HVS对视觉激励信号的敏感程度.根据不同的实验能够得到不同的CSF, 但基本上都是由方位和空间频率的函数来表示, 并且具有一定的带通特性.本文采用文献[18]在实验中提出的CSF模型定义出基于HVS的特征, 数值越大说明人类视觉系统对其越敏感, 如下式所示:

    $ \begin{align} T_7 =2.6\times(0.192+0.114f^*)^{[-(0.114f^*)^{11}]} \end{align} $

    (7)

    其中, $f^*$ 为空间频率, 在0到0.5之间取值 (周期/度), 可由式 (8) 定义:

    $ \begin{align} f^* = \frac{{(f-f_{\rm min})}}{{2\times(f_{\rm max}-f_{\rm min})}} \end{align} $

    (8)

    其中, $f=(f_x^2+f_y^2)^{1/2}$ , $f_x$ 和 $f_y$ 分别为水平和垂直方向空间频率; $f_{\rm max}$ 和 $f_{\rm min}$ 为 $f$ 的最大和最小值.

    针对去雾后图像质量评价的应用需求, 本文在对成熟的去雾算法Fattal[6]、He等[1]和Tang等[19]的研究基础上, 首先, 建立了分类去雾图像质量评价数据库, 并抽取了对应图像的特征, 形成了样本序列; 之后, 利用支持向量机 (Support vector machine, SVM) 对去雾后图像的质量特征进行分类质量评价, 算法的难点在于质量评价数据库的建立.

    通过对现有图像去雾及其质量评价算法的研究发现, 由于去雾后图像的对比度、色彩复原度、雾的残存程度以及色调一致性等多个影响去雾后图像质量的因素难以统一衡量, 导致无法建立标准的数据库.因此, 本文结合通用的去雾算法性能分析, 基于如下的假设建立了分类数据库: ① Tang的去雾效果 $ > $ ② He的去雾效果 $ > $ ③ Fattal的去雾效果 (如图 5所示, “ $ > $ ”表示优于).

    图 5  图像去雾效果示例
    Fig. 5  The results of image dehazing

    本文选取了11幅有雾图像, 分别利用①、②和③处理得到相应的去雾后图像, 将①、②和③生成的图像进行两两组合, 最终得到33对去雾后图像的集合 $Q$ ( $Q={Q_1, Q_2, Q_3}$ , 其中 $Q_1$ =① ③、 $Q_2$ =① ②和 $Q_3$ =② ③.为了进一步扩展数据库, 对每一对图像对应随机选取不重叠的100幅 $n\times n$ 的图像子块 ( $n$ 在文中取图像长和高中最小值的1/10), 这样就能够得到3 300对图像的集合 $Q'$ , 并且每对图像中都有一幅图像去雾效果优于另一幅.对每一对图像均求取如下的特征矩阵:

    $ \begin{align} t(j) = T(x_j)-T(y_j) \end{align} $

    (9)

    其中, $j$ 表示第 $j$ 对图像, $j$ =0, 1, 2, $\cdots$ , 3 300; $x_j$ 和 $y_j$ 代表第 $j$ 对图像的两幅图像; $T(x)=[T_1(x) \ \ T_2(x) \ \ T_3(x) \ \ T_4(x) \ \ T_5(x) \ \ T_6(x) \ \ T_7(x)]$ .最后, 就可以求得每对图像的标签矩阵 $L(j)$ ∈ ${(-1, +1)}$ , +1表示去雾后图像 $x_j$ 优于 $y_j, -1$ 表示去雾后图像 $y_j$ 优于 $x_j$ (其映射关系如表 1所示, 表中的取值为 $L(j)$ 的对应结果).对图像集合 $Q'$ 进行标签映射, 得到 $1 650$ 个正样本和相同数量的负样本, 其标签矩阵记为 $L^+$ 和 $L^-$ , 对应的特征矩阵记为 $t^+$ 和 $t^-$ .

    表 1  标签矩阵 $L(j)$ 与 $x_j$ 、 $y_j$ 的映射关系
    Table 1  The mapping relationships between $L(j)$ and $x_j$ , $y_j$
    $x_j:y_j$
    -- +1 +1
    -1 -- +1
    -1 -1 --
    下载: 导出CSV 
    | 显示表格

    通过前文的特征提取以及数据库的建立, 本文将去雾后图像的质量评价问题转换为分类学习问题. SVM作为分类领域中最好的算法之一, 它基于结构风险最小化和VC(Vapnik-Chervonemkis) 维理论, 根据有限的原始样本信息在模型的学习能力和复杂性之间寻求最佳解决方案, 在高维空间中寻求一个超平面作为进行分类, 以保证最小的分类错误率 (如图 6所示).对于训练样本 ${t(N), L(N)}$ , 如果超平面能够将正负样本分为两类, 则最佳超平面应使两类样本到超平面最小距离之和最大, 等效为求解下式[20]:

    图 6  SVM原理
    Fig. 6  The principle of SVM

    $ \begin{align} &{\rm min}\frac{{\|\tilde{w}\|^2}}{{2}}+C\sum\limits_{j=1 }^{N}\xi_j\notag\\ &{\rm s. t.}\quad L(j)=[(\tilde{w}t(j)+b)]-1\geq0, \notag\\ &\qquad\ \ \xi_j\geq0, \ j=1, 2, \cdots, N \end{align} $

    (10)

    式 (10) 中, $\xi_j$ 为误差项, $C$ 为惩罚函数, $N$ 为选取的样本数目.求解上式, 得到决策函数:

    $ \begin{align} f(t)={\rm sgn}\left[\sum\limits_{j=1 }^{N}a_jL(j)k(t(j), t)+b\right] \end{align} $

    (11)

    其中, $a_j$ 为 $t(j)$ 的Lagrange乘子; $k(x, y)$ 为核函数, 文中选用Gauss径向基核函数:

    $ \begin{align} k(x, y)={\rm exp}(-\gamma\parallel{x-y}\parallel^2) \end{align} $

    (12)

    在利用SVM进行分类训练之后, 可直接对任意两类算法在同一幅图像下去雾的效果分类, 从而得到其优劣指标, 进而达到去雾后效果的评价及去雾算法效能评估的目标.此外, 在进行多个去雾后图像的质量评价时, 可以结合本文算法, 采用“冒泡法”进行质量等级排序.

    本文实验随机选取165个正样本和165个负样本形成训练样本集 (占总样本数目的10 %); 剩下的3 000个样本作为测试样本集 (占总样本数目的90 %).由于测试样本数目远大于训练样本数目, 测试的精度可以看作是学习算法真实泛化能力的体现.本文为了使所建立的数据库更具普适性, 选用的图像都是处理效果较好的算法结果, 这就使得到的质量特征虽有差别, 但数值较为接近, 因此, 在进行分类学习之前, 对所得到的图像特征矩阵进行非线性的指数拉伸, 使其更加具有可分性.

    为了验证所提出的方法, 本文设计了基于LIBSVM软件包[21]的Matlab程序进行实验验证.实验环境为Windows 7系统下, 配置Pentium E5300双核2.6 GHz的CPU, 内存为2 GB, 利用Matlab2010a运行程序.实验中, 分别进行了纵向和横向2组比较:纵向比较是将本文分类的正确概率与前文提出的7种质量特征进行效果分类的正确率 (正确率指的是训练样本被正确分类的比例, 下同) 进行比较 (表 2所示); 由于去雾后图像质量评价算法的稀缺 (文献[8, 10]为专用的去雾后图像质量评价算法, 但其结果受多个性能评价指标的影响, 难以综合评定), 因此本文在进行横向比较时, 是将本文结果与三种通用的无参考型质量评价算法在本文数据下进行比较 (表 3所示).实验中, SVM的参数 $C = 10$ , $\gamma = 0.1$ .

    表 2  纵向实验结果
    Table 2  The results of vertical experiment
    类别 正确率 (%)
    $T_1$ 70.7333
    $T_2$ 65.5667
    $T_3$ 73.8000
    $T_4$ 67.7667
    $T_5$ 62.9333
    $T_6$ 68.9667
    $T_7$ 72.2000
    本文 97.3030
    下载: 导出CSV 
    | 显示表格
    表 3  横向实验结果
    Table 3  The results of horizontal experiment
    类别 正确率 (%) 时间 (s)
    文献[13] 87.0333 71.0256
    文献[4] 89.3000 1.9436
    文献[22] 92.4333 46.2982
    本文 97.3030 3.5429
    下载: 导出CSV 
    | 显示表格

    表 2的实验结果可以看出, 本文算法性能要远远优于各个特征单独评价时的结构, 这就进一步验证了本文算法对去雾后图像质量特征衡量的全面性.

    表 3的实验结果可以看出 (表中文献[4]及本文算法运算时间为不包含样本特征生成和训练时间的3 000个测试样本运算总时间), 选用的三种通用无参考型图像质量评价算法虽然取得了较好的结果, 并且在一定程度上能够区分去雾后图像质量的好坏; 但还不能达到本文分类算法的效率.这正是由于通用的无参考型图像质量评价算法仅仅是从图像的结构失真、色彩失真以及视觉认知上出发进行算法构建, 而未考虑雾的去除程度对图像质量的影响导致的.

    为了进一步验证本文算法效能, 本文在已知原始有雾图像 $I(x)$ , 并利用文献[1]求得大气传递图 $d(x)$ (代表雾天图像的衰减程度) 基础上, 通过引入参数 $\alpha$ 来模拟雾天退化过程.原始雾天退化模型如下所示:

    $ \begin{align} I(x)=J(x)d(x)+A(1-t(x)) \end{align} $

    (13)

    其中, $A$ 为大气光强度, 一般被认为是图像中最亮点的亮度值.对上式进行变换, 可得本文模拟去雾模型:

    $ \begin{align} J(x)=A+\frac{{I(x)-A}}{{d'(x)}} \end{align} $

    (14)

    其中, $d'(x)=\alpha{d(x)}$ .当 $\alpha$ =1时, 上式表示正常的去雾过程; 当 $\alpha>1$ 时, 模拟大气传递图 $d'(x)$ 会被放大, 导致去雾不足; 当 $\alpha < 1$ 时, 模拟大气传递图 $d'(x)$ 会被缩小, 导致去雾过度.去雾不足和过度都会导致去雾后图像质量下降.因此, 本文通过变化 $\alpha$ 的值, 来模拟不同质量的去雾后图像 (如图 7图 8所示).

    图 7  “麦田”在不同 $\alpha$ 取值下的去雾效果
    Fig. 7  The results of image dehazing with different $\alpha$ of "cornfield"
    图 8  “城市”在不同 $\alpha$ 取值下的去雾效果
    Fig. 8  The results of image dehazing with different $\alpha$ of "city"

    图 7图 8的区别在于, 图 7的平均亮度值要比图 8的高; 而经由式 (14) 去雾后图像的一个显著特点就是其平均亮度会降低[15].因此, 在 $\alpha$ 取值相同情况下会导致不同的降质现象:去雾过度比去雾不足会给图 8带来更为明显的质量下降; 而去雾不足比去雾过度则会给图 7带来更为明显的质量下降.本文结合主观感知和去雾算法特点, 可以得到参考的图像质量排序, 并用本文算法和横向实验的三种无参考型质量评价算法对图 7图 8的去雾后图像质量水平进行排序, 结果如表 4表 5所示.

    表 4  图 7去雾后图像质量排序
    Table 4  The quality ranking of dehazed images in Fig. 7
    类别 排序
    参考排序 (e) > (d) > (f) > (c) > (g)
    文献[13] (d) > (e) > (f) > (c) > (g)
    文献[4] (d) > (e) > (c) > (f) > (g)
    文献[22] (e) > (d) > (c) > (f) > (g)
    本文 (e) > (d) > (f) > (c) > (g)
    下载: 导出CSV 
    | 显示表格
    表 5  图 8去雾后图像质量排序
    Table 5  The quality ranking of dehazed images in Fig. 8
    类别 排序
    参考排序 (e) > (f) > (g) > (d) > (c)
    文献[13] (e) > (d) > (f) > (g) > (c)
    文献[4] (e) > (d) > (f) > (g) > (c)
    文献[22] (e) > (f) > (d) > (g) > (c)
    本文 (e) > (f) > (g) > (d) > (c)
    下载: 导出CSV 
    | 显示表格

    表 4表 5的实验结果表明, 本文算法的排序优于其他几种算法, 究其原因, 主要是已有算法的局限性所致 (忽略了图像的雾天特性); 此外, 已有算法抽取的主要是图像的一些底层特征, 而本文算法是将去雾后图像的高级特征 (效果明显的专用特征) 与成熟度高的SVM进行结合得到的产物.

    本文从现有无参考型图像质量评价算法对去雾后图像质量评价的先天性缺陷出发, 提出一种基于分类学习的去雾后图像质量评价算法, 在建立去雾后图像质量评价数据库的基础上, 将去雾后图像质量特征分析与分类学习思想融合, 从而将图像质量评价问题转换为图像分类问题, 进而利用成熟的SVM分类算法对去雾后图像质量进行评价分级.通过纵向和横向的对比实验, 表明了本文算法的优越性, 但由于数据库的有限性, 对于多幅去雾后图像的质量评价问题, 还只能利用“冒泡法”解决.因此, 建立标准的、拥有人眼主观打分评价指标的去雾后图像质量评价数据库, 将是本文下一步研究的重点.

  • 图  1  GAN的基本结构和计算流程

    Fig.  1  Basic structure and computation procedure of GAN

    图  2  arXiv上GAN论文数量的变化趋势

    Fig.  2  Trend of the number of GAN papers published on arXiv

    图  3  arXiv上GAN论文所属的TOP 10学科领域

    Fig.  3  Top 10 subject categories of the GAN papers published on arXiv

  • [1] Goodfellow I J, Pouget-Abadie J, Mirza M, Xu B, Warde-Farley D, Ozair S, et al. Generative adversarial nets. In: Proceedings of the 27th International Conference on Neural Information Processing Systems. Montreal, Canada: Curran Associates, Inc., 2014. 2672-2680
    [2] Creswell A, White T, Dumoulin V, Arulkumaran K, Sengupta B, Bharath A A. Generative adversarial networks:an overview. IEEE Signal Processing Magazine, 2018, 35(1):53-65 doi: 10.1109/MSP.2017.2765202
    [3] 王坤峰, 苟超, 段艳杰, 林懿伦, 郑心湖, 王飞跃.生成式对抗网络GAN的研究进展与展望.自动化学报, 2017, 43(3):321-332 http://www.aas.net.cn/CN/abstract/abstract19012.shtml

    Wang Kun-Feng, Gou Chao, Duan Yan-Jie, Lin Yi-Lun, Zheng Xin-Hu, Wang Fei-Yue. Generative adversarial networks:the state of the art and beyond. Acta Automatica Sinica, 2017, 43(3):321-332 http://www.aas.net.cn/CN/abstract/abstract19012.shtml
    [4] Arjovsky M, Chintala S, Bottou L. Wasserstein GAN. arXiv preprint arXiv: 1701. 07875, 2017.
    [5] Zhu J Y, Park T, Isola P, Efros A A. Unpaired image-to-image translation using cycle-consistent adversarial networks. In: Proceedings of the 2017 IEEE International Conference on Computer Vision (ICCV). Venice, Italy: IEEE, 2017. 2242-2251
    [6] Karras T, Aila T, Laine S, Lehtinen J. Progressive growing of GANs for improved quality, stability, and variation. arXiv preprint arXiv: 1710. 10196, 2017.
    [7] Chen X, Duan Y, Houthooft R, Schulman J, Sutskever I, Abbeel P. InfoGAN: interpretable representation learning by information maximizing generative adversarial nets. In: Proceedings of the 30th Conference on Neural Information Processing Systems. Barcelona, Spain: Curran Associates, Inc., 2016.
    [8] Zhang H, Xu T, Li H S, Zhang S T, Huang X L, Wang X G, et al. StackGAN: text to photo-realistic image synthesis with stacked generative adversarial networks. arXiv preprint arXiv: 1612. 03242, 2016.
    [9] Zhu J Y, Krähenbühl P, Shechtman E, Efros A A. Generative visual manipulation on the natural image manifold. arXiv preprint arXiv: 1609. 03552, 2016.
    [10] Ledig C, Theis L, Huszar F, Caballero J, Cunningham A, Acosta A, et al. Photo-realistic single image super-resolution using a generative adversarial network. arXiv preprint arXiv: 1609. 04802, 2016.
    [11] Santana E, Hotz G. Learning a driving simulator. arXiv preprint arXiv: 1608. 01230, 2016.
    [12] Shrivastava A, Pflster T, Tuzel O, Susskind J, Wang W D, Webb R. Learning from simulated and unsupervised images through adversarial training. In: Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Honolulu, HI, USA: IEEE, 2017. 2242-2251
    [13] Liu M Y, Breuel T, Kautz J. Unsupervised image-to-image translation networks. In: Advances in Neural Information Processing Systems 30. Barcelona, Spain: Curran Associates, Inc., 2017.
    [14] Wu J J, Zhang C K, Xue T F, Freeman B, Tenenbaum J. Learning a probabilistic latent space of object shapes via 3D generative-adversarial modeling. In: Advances in Neural Information Processing Systems 29. Barcelona, Spain: Curran Associates, Inc., 2016.
    [15] Luc P, Couprie C, Chintala S, Verbeek J. Semantic segmentation using adversarial networks. arXiv preprint arXiv: 1611. 08408, 2016.
    [16] Hu W W, Tan Y. Generating adversarial malware examples for black-box attacks based on GAN. arXiv preprint arXiv: 1702. 05983, 2017.
    [17] Wang F Y, Wang X, Li L X, Li L. Steps toward parallel intelligence. IEEE/CAA Journal of Automatica Sinica, 2016, 3(4):345-348 doi: 10.1109/JAS.2016.7510067
    [18] 王飞跃.平行系统方法与复杂系统的管理和控制.控制与决策, 2004, 19(5):485-489, 514 http://mall.cnki.net/magazine/Article/KZYC200405001.htm

    Wang Fei-Yue. Parallel system methods for management and control of complex systems. Control and Decision, 2004, 19(5):485-489, 514 http://mall.cnki.net/magazine/Article/KZYC200405001.htm
    [19] 王坤峰, 苟超, 王飞跃.平行视觉:基于ACP的智能视觉计算方法.自动化学报, 2016, 42(10):1490-1500 http://www.aas.net.cn/CN/abstract/abstract18936.shtml

    Wang Kun-Feng, Gou Chao, Wang Fei-Yue. Parallel vision:an ACP-based approach to intelligent vision computing. Acta Automatica Sinica, 2016, 42(10):1490-1500 http://www.aas.net.cn/CN/abstract/abstract18936.shtml
    [20] Wang K F, Gou C, Zheng N N, Rehg J M, Wang F Y. Parallel vision for perception and understanding of complex scenes:methods, framework, and perspectives. Artificial Intelligence Review, 2017, 48(3):299-329 doi: 10.1007/s10462-017-9569-z
    [21] 李力, 林懿伦, 曹东璞, 郑南宁, 王飞跃.平行学习--机器学习的一个新型理论框架.自动化学报, 2017, 43(1):1-8 http://www.aas.net.cn/CN/abstract/abstract18984.shtml

    Li Li, Lin Yi-Lun, Cao Dong-Pu, Zheng Nan-Ning, Wang Fei-Yue. Parallel learning--a new framework for machine learning. Acta Automatica Sinica, 2017, 43(1):1-8 http://www.aas.net.cn/CN/abstract/abstract18984.shtml
  • 期刊类型引用(15)

    1. 姚军财,申静,黄陈蓉. 基于多层BP神经网络的无参考视频质量客观评价. 自动化学报. 2022(02): 594-607 . 本站查看
    2. 钱宇清,左付山,叶健,王海龙. 基于暗通道先验的雾天车载图像增强算法研究. 农业装备与车辆工程. 2022(09): 83-87 . 百度学术
    3. 张霓,曾乐襄,何熊熊,李胜. 基于滚动时域粒子群优化的视频去雾算法. 控制与决策. 2021(09): 2218-2224 . 百度学术
    4. 阮顺领,刘丹洋,白宝军,顾清华. 基于自适应MSRCP算法的煤矿井下图像增强方法. 矿业研究与开发. 2021(11): 186-192 . 百度学术
    5. 陈勇,吴明明,房昊,刘焕淋. 基于差异激励的无参考图像质量评价. 自动化学报. 2020(08): 1727-1737 . 本站查看
    6. 常荣,陈松,徐德保,陈蕴. 基于多特征团雾图像分类算法. 滁州学院学报. 2020(05): 25-29 . 百度学术
    7. 陈雪睿,赵中玮,孙跃文,李光超,丛鹏. 基于仿真数据的辐射成像分类学习方法研究. 核技术. 2019(03): 17-24 . 百度学术
    8. 高敏娟,党宏社,魏立力,张选德. 视觉显著性引导的局部图像质量度量. 中国科学:技术科学. 2019(11): 1350-1360 . 百度学术
    9. 李可,陈洪亮,张生伟,万锦锦. 基于SVM的雾天图像分类技术研究. 电光与控制. 2018(03): 37-41+47 . 百度学术
    10. 马时平,李权合,马红强,毕笃彦. 基于视觉物理模型的去雾算法. 图学学报. 2018(02): 269-277 . 百度学术
    11. 马啸,邵利民,徐冠雷. 基于暗原色先验的雾霾天气图像清晰化算法. 计算机工程与科学. 2018(12): 2211-2218 . 百度学术
    12. 刘心奥. 基于暗原色先验图像除雾算法的优化. 中国设备工程. 2018(22): 85-87 . 百度学术
    13. 代书博,徐伟,朴永杰,陈彦彤. 基于暗原色先验的遥感图像去雾方法. 光学学报. 2017(03): 348-354 . 百度学术
    14. 邱东芳,黄光辉,刘星,杨兵. 透射率和大气光自适应估计的暗通道去雾. 计算机应用. 2017(S1): 176-179+186 . 百度学术
    15. 宋东辉,刘纹岩,陈虹丽. 基于一种图像去雾改进算法的客观评价与识别. 实验室研究与探索. 2017(12): 108-112 . 百度学术

    其他类型引用(17)

  • 加载中
图(3)
计量
  • 文章访问数:  3072
  • HTML全文浏览量:  658
  • PDF下载量:  3339
  • 被引次数: 32
出版历程
  • 收稿日期:  2018-05-01
  • 刊出日期:  2018-05-20

目录

/

返回文章
返回