2.793

2018影响因子

(CJCR)

  • 中文核心
  • EI
  • 中国科技核心
  • Scopus
  • CSCD
  • 英国科学文摘

留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

基于内容特征和风格特征融合的单幅图像去雾网络

杨爱萍 刘瑾 邢金娜 李晓晓 何宇清

杨爱萍, 刘瑾, 邢金娜, 李晓晓, 何宇清. 基于内容特征和风格特征融合的单幅图像去雾网络. 自动化学报, 2020, 46(x): 1−9. doi: 10.16383/j.aas.c200217
引用本文: 杨爱萍, 刘瑾, 邢金娜, 李晓晓, 何宇清. 基于内容特征和风格特征融合的单幅图像去雾网络. 自动化学报, 2020, 46(x): 1−9. doi: 10.16383/j.aas.c200217
Yang Ai-Ping, Liu Jin, Xing Jin-Na, Li Xiao-Xiao, He Yu-Qing. Content feature and style feature fusion network for single image dehazing. Acta Automatica Sinica, 2020, 46(x): 1−9. doi: 10.16383/j.aas.c200217
Citation: Yang Ai-Ping, Liu Jin, Xing Jin-Na, Li Xiao-Xiao, He Yu-Qing. Content feature and style feature fusion network for single image dehazing. Acta Automatica Sinica, 2020, 46(x): 1−9. doi: 10.16383/j.aas.c200217

基于内容特征和风格特征融合的单幅图像去雾网络


DOI: 10.16383/j.aas.c200217
详细信息
    作者简介:

    天津大学电气自动化与信息工程学院副教授. 主要研究方向为深度学习、图像处理以及计算机视觉. 本文通信作者. E-mail: yangaiping@tju.edu.cn

    天津大学电气自动化与信息工程学院硕士. 主要研究方向为图像去雾和深度学习. E-mail: liujin23@tju.edu.cn

    天津大学电气自动化与信息工程学院硕士. 主要研究方向为图像去雾和深度学习. E-mail: xingjinna15@sina.com

    天津大学电气自动化与信息工程学院硕士. 主要研究方向为图像去雾和深度学习. E-mail: 17862715985@163.com

    天津大学自动化与信息工程学院讲师, 主要研究方向为信号处理、图像处理和图像超分辨率重建. E-mail: heyuqing@tju.edu.cn

    通讯作者: 天津大学电气自动化与信息工程学院副教授. 主要研究方向为深度学习、图像处理以及计算机视觉. 本文通信作者. E-mail: yangaiping@tju.edu.cn
  • 基金项目:  国家自然科学基金(61632018)资助

Content Feature and Style Feature Fusion Network for Single Image Dehazing

More Information
    Corresponding author: YANG Ai-Ping Associate Professor at the College of Electrical and Information Engineering, Tianjin University. Her research interest mainly focuses on deep learning, image processing, computer vision. Corresponding author of this paper
  • Fund Project:  Supported by National Natural Science Foundation of China (61632018)
  • 摘要: 基于深度学习的方法在去雾领域已经取得了很大进展, 但仍然存在去雾不彻底和颜色失真等问题. 针对这些问题, 本文提出一种基于内容特征和风格特征相融合的单幅图像去雾网络. 所提网络包括特征提取、特征融合和图像复原三个子网络, 其中特征提取网络包括内容特征提取模块和风格特征提取模块, 分别用于学习图像内容和图像风格以实现去雾的同时可较好地保持原始图像的色彩特征. 在特征融合子网络中, 引入注意力机制对内容特征提取模块输出的特征图进行通道加权实现对图像主要特征的学习, 并将加权后的内容特征图与风格特征图通过卷积操作相融合. 最后, 图像复原模块对融合后的特征图进行非线性映射得到去雾图像. 与已有方法相比, 所提网络对合成图像和真实图像均可取得理想的去雾结果, 同时可有效避免去雾后的颜色失真问题.
  • 图  1  整体网络结构

    Fig.  1  Architecture of the Network

    图  2  残差块结构

    Fig.  2  Architecture of the Residual Block

    图  3  残差密集块结构

    Fig.  3  Architecture of the Residual Dense Block

    图  5  合成有雾图的实验结果(MSD). (a) 有雾图; (b) DCP; (c) DehazeNet; (d) MSCNN; (e) AOD-Net; (f) DCPDN; (g) EPDN; (h) FFA-Net; (i)Y-Net; (j)本文方法; (k) 清晰图像.

    Fig.  5  Experimental results of the synthetic hazy images (MSD). (a) hazy image; (b) DCP; (c) DehazeNet; (d) MSCNN; (e) AOD-Net; (f) DCPDN; (g) EPDN; (h) FFA-Net; (i) Y-Net; (j) Proposed; (k) clear image.

    图  7  真实场景有雾图的实验结果. (a) 有雾图; (b) DCP; (c) DehazeNet; (d) MSCNN; (e) AOD-Net; (f) DCPDN; (g) EPDN; (h) FFA-Net; (i) Y-Net; (j)本文方法.

    Fig.  7  Experimental results of real outdoor hazy images. (a) hazy image; (b) DCP; (c) DehazeNet; (d) MSCNN; (e) AOD-Net; (f) DCPDN; (g) EPDN; (h) FFA-Net; (i) Y-Net; (j) Proposed.

    图  4  合成有雾图的实验结果(SOTS). (a) 有雾图; (b) DCP; (c) DehazeNet; (d) MSCNN; (e) AOD-Net; (f) DCPDN; (g) EPDN; (h) FFA-Net; (i) Y-Net; (j)本文方法; (k) 清晰图像.

    Fig.  4  Experimental results of the synthetic hazy images (SOTS). (a) hazy image; (b) DCP; (c) DehazeNet; (d) MSCNN; (e) AOD-Net; (f) DCPDN; (g) EPDN; (h) FFA-Net; (i) Y-Net; (j) Proposed; (k) clear image.

    图  6  去雾结果图及其对应的特征图. (a) 有雾图; (b) 去雾图像; (c) 内容特征图(RB1_index 59); (d)内容特征图(RB7_index 13); (e) 风格特征图(RDB3_index 10); (f) 融合后的特征图(index 53).

    Fig.  6  Dehazed results and corresponding feature maps. (a) hazy image;(b) dehazed image;(c) content feature map(RB1_index59);(d) content feature map(RB7_index 13); (e) style feature map(RDB3_index 10);(f) fused feature map(index 53).

    图  8  消融实验结果比较. (a) 有雾图; (b) CF; (c) WCF; (d) WC-SF; (e) SF-WCF; (f) 清晰图像.

    Fig.  8  Comparison of ablation experiments. (a) hazy image; (b) CF; (c) WCF; (d) WC-SF; (e) SF-WCF; (f) clear image.

    表  1  在合成数据集上PSNR和SSIM结果

    Table  1  Comparison of PSNR and SSIM tested on synthetic hazy images

    MethodIndoorOutdoor
    PSNR/dBSSIMPSNR/dBSSIM
    DCP [5]16.620.817919.130.8148
    DehazeNet [9]21.140.847222.460.8514
    MSCNN [10]17.570.810222.060.9078
    AOD-Net [12]19.060.850420.290.8765
    DCPDN [11]15.850.817519.930.8449
    EPDN [15]25.060.923222.570.8630
    FFA-Net[16]36.390.988633.570.9840
    FS-Net[17]26.610.956124.070.8741
    Y-Net[18]19.040.846525.020.9012
    Proposed31.100.977630.740.9774
    下载: 导出CSV

    表  2  在SOTS室内数据集上PSNR和SSIM结果比较

    Table  2  Comparison of PSNR and SSIM tested on SOTS(indoor)

    CFWCFWC-SFSF-WCF
    PSNR/dB28.5729.7629.8531.10
    SSIM0.97030.97300.97740.9776
    下载: 导出CSV
  • [1] 吴迪, 朱青松. 图像去雾的最新研究进展. 自动化学报, 2015, 41(2): 221−239

    Wu Di, Zhu Qing-Song. The latest research progress of image dehazing. Acta Automatica Sinica, 2015, 41(2): 221−239
    [2] Xu H T, Zhai G T, Wu X L, Yang X K. Generalized equalization model for image enhancement. IEEE Transactions on Multimedia, 2014, 16(1): 68−82 doi:  10.1109/TMM.2013.2283453
    [3] Jiang B, Woodell G A, Jobson D J. Novel multi-scale retinex with color restoration on graphics processing unit. Journal of Real-Time Image Processing, 2015, 10(2): 239−253 doi:  10.1007/s11554-014-0399-9
    [4] Narasimhan S G, Nayar S K. Vision and the atmosphere. International Journal of Computer Vision, 2002, 48(3): 233−254 doi:  10.1023/A:1016328200723
    [5] He K M, Sun J, Tang X O. Single image haze removal using dark channel prior. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2010, 33(12): 2341−2353
    [6] Berman D, Treibitz T, Avidan S. Non-local image dehazing. In: Proceedings of IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas, NV, USA: IEEE, 2016. 1674−1682
    [7] Zhu Q S, Mai J M, Shao L. A fast single image haze removal algorithm using color attenuation prior. IEEE Transactions on Image Processing, 2015, 24(11): 3522−3533 doi:  10.1109/TIP.2015.2446191
    [8] 杨燕, 陈高科, 周杰. 基于高斯权重衰减的迭代优化去雾算法. 自动化学报, 2019, 45(4): 819−828

    Yang Yan, Chen Gao-Ke, Zhou Jie. Iterative optimization defogging algorithm using gaussian weight decay. Acta Automatica Sinica, 2019, 45(4): 819−828
    [9] Cai B L, Xu X M, Jia K, Qing C M, Tao D C. DehazeNet: an end-to-end system for single image haze removal. IEEE Transactions on Image Processing, 2016, 25(11): 5187−5198 doi:  10.1109/TIP.2016.2598681
    [10] Ren W Q, Liu S, Zhang H, Pan J S, Cao X C, Yang M H. Single image dehazing via multi-scale convolutional neural networks. In: Proceedings of 2016 European Conference on Computer Vision. Amsterdam, NETHERLANDS: Springer, 2016. 154−169
    [11] Zhang H, Patel V M. Densely connected pyramid dehazing network. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Salt Lake City, UT, USA: IEEE, 2018. 3194−3203
    [12] Li B Y, Peng X L, Wang Z Y, Xu J Z, Feng D. AOD-Net: all-in-one dehazing network. In: Proceedings of 2017 IEEE International Conference on Computer Vision. Venice, Italy: IEEE, 2017. 4780−4788
    [13] Ren W Q, Ma L, Zhang J W, Pan J S, Cao X C, Liu W, et al. Gated fusion network for single image dehazing. In: Proceedings of 2018 IEEE Conference on Computer Vision and Pattern Recognition. Salt Lake City, UT, USA: IEEE, 2018. 3253−3261
    [14] Li R D, Pan J S, Li Z C, Tang J H. Single image dehazing via conditional generative adversarial network. In: Proceedings of 2018 IEEE Conference on Computer Vision and Pattern Recognition. Salt Lake City, UT, USA: IEEE, 2018. 8202−8211
    [15] Qu Y Y, Chen Y Z, Huang J Y, Xie Y. Enhanced pix2pix dehazing network. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Long Beach, CA, USA: IEEE, 2019. 8160−8168
    [16] Qin X, Wang Z L, Bai Y C, Xie X D, Jia H Z. FFA-Net: Feature fusion attention network for single image dehazing. In: Proceedings of the Association for the Advance of Artificial Intelligence. Hilton Midtown, New York: AAAI Press, 2020. 11908−11915
    [17] Guo F, Zhao X, Tang J, Peng H, Liu L J, Zou B J, et al. Single image dehazing based on fusion strategy. Neurocomputing, 2020, 378: 9−23 doi:  10.1016/j.neucom.2019.09.094
    [18] Yang H H, Yang C H H, Tsai Y C J. Y-net: Multi-scale feature aggregation network with wavelet structure similarity loss function for single image dehazing. In: Proceedings of the IEEE International Conference on Acoustics, Speech and Signal Processing, Barcelona, Spain: IEEE, 2020. 2628−2632
    [19] He K M, Zhang X Y, Ren S Q, Sun J. Deep residual learning for image recognition. In: Proceedings of 2016 IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas, NV, USA: IEEE, 2016. 770−778
    [20] Zhang Y L, Tian Y P, Kong Y, Zhong B N, Fu Y. Residual dense network for image super-resolution. In: Proceedings of 2018 IEEE Conference on Computer Vision and Pattern Recognition. Salt Lake City, UT, USA: IEEE, 2018. 2472−2481
    [21] Chen L, Zhang H W, Xiao J, Nie L Q, Shao J, Liu W, et al. Sca-cnn: Spatial and channel-wise attention in convolutional networks for image captioning. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Honolulu, HI, USA: IEEE, 2017. 6298−6306
    [22] Russakovsky O, Deng J, Su H, Krause J, Satheesh S, Ma S, et al. ImageNet large scale visual recognition challenge. International Journal of Computer Vision, 2015, 115(3): 211−252 doi:  10.1007/s11263-015-0816-y
    [23] Simonyan K, Zisserman A. Very deep convolutional networks for large-scale image recognition. In: Proceedings of 2015 3rd International Conference on Learning Representations. San Diego, CA, USA: ICLR, 2015. 1−14
    [24] Li B Y, Ren W Q, Fu D P, Tao D C, Feng D, Zeng W J, et al. Benchmarking single image dehazing and beyond. IEEE Transactions on Image Processing, 2019, 28(1): 492−505 doi:  10.1109/TIP.2018.2867951
    [25] Scharstein D, Pal C. Learning conditional random fields for Stereo. In: Proceedings of IEEE Conference on Computer Vision and Pattern Recognition. Minneapolis, MN, USA: IEEE, 2007. 18−23
  • [1] 顾广华, 曹宇尧, 崔冬, 赵耀. 基于形式概念分析和语义关联规则的目标图像标注[J]. 自动化学报, doi: 10.16383/j.aas.c180523
    [2] 雷涛, 李云彤, 周文政, 袁启斌, 王成兵, 张小红. 数据与模型联合驱动的陶瓷材料晶粒分割[J]. 自动化学报, doi: 10.16383/j.aas.c200277
    [3] 周登文, 赵丽娟, 段然, 柴晓亮. 基于递归残差网络的图像超分辨率重建[J]. 自动化学报, doi: 10.16383/j.aas.c180334
    [4] 冯永, 陈以刚, 强保华. 融合社交因素和评论文本卷积网络模型的汽车推荐研究[J]. 自动化学报, doi: 10.16383/j.aas.2018.c170245
    [5] 汤鹏杰, 王瀚漓, 许恺晟. LSTM逐层多目标优化及多层概率融合的图像描述[J]. 自动化学报, doi: 10.16383/j.aas.2017.c160733
    [6] 唐贤伦, 杜一铭, 刘雨微, 李佳歆, 马艺玮. 基于条件深度卷积生成对抗网络的图像识别方法[J]. 自动化学报, doi: 10.16383/j.aas.2018.c170470
    [7] 汪云飞, 冯国强, 刘华伟, 赵搏欣. 基于超像素的均值-均方差暗通道单幅图像去雾方法[J]. 自动化学报, doi: 10.16383/j.aas.2018.c160594
    [8] 胡长胜, 詹曙, 吴从中. 基于深度特征学习的图像超分辨率重建[J]. 自动化学报, doi: 10.16383/j.aas.2017.c150634
    [9] 罗建豪, 吴建鑫. 基于深度卷积特征的细粒度图像分类研究综述[J]. 自动化学报, doi: 10.16383/j.aas.2017.c160425
    [10] 刘明, 李国军, 郝华青, 侯增广, 刘秀玲. 基于卷积神经网络的T波形态分类[J]. 自动化学报, doi: 10.16383/j.aas.2016.c150817
    [11] 南栋, 毕笃彦, 马时平, 凡遵林, 何林远. 基于分类学习的去雾后图像质量评价算法[J]. 自动化学报, doi: 10.16383/j.aas.2016.c140854
    [12] 鞠铭烨, 张登银, 纪应天. 基于雾气浓度估计的图像去雾算法[J]. 自动化学报, doi: 10.16383/j.aas.2016.c150525
    [13] 常亮, 邓小明, 周明全, 武仲科, 袁野, 杨硕, 王宏安. 图像理解中的卷积神经网络[J]. 自动化学报, doi: 10.16383/j.aas.2016.c150800
    [14] 陈书贞, 任占广, 练秋生. 基于改进暗通道和导向滤波的单幅图像去雾算法[J]. 自动化学报, doi: 10.16383/j.aas.2016.c150212
    [15] 吴迪, 朱青松. 图像去雾的最新研究进展[J]. 自动化学报, doi: 10.16383/j.aas.2015.c131137
    [16] 刘海波, 杨杰, 张庆年, 邓勇, . 基于暗通道先验和Retinex理论的快速单幅图像去雾方法[J]. 自动化学报, doi: 10.16383/j.aas.2015.c140748
    [17] 侯书东, 孙权森. 稀疏保持典型相关分析及在特征融合中的应用[J]. 自动化学报, doi: 10.3724/SP.J.1004.2012.00659
    [18] 焦慧敏, 王党校, 张玉茹, 方磊. 基于书写摩擦力的签名识别方法[J]. 自动化学报, doi: 10.3724/SP.J.1004.2011.00883
    [19] 禹晶, 李大鹏, 廖庆敏. 基于物理模型的快速单幅图像去雾方法[J]. 自动化学报, doi: 10.3724/SP.J.1004.2011.00143
    [20] 郎方年, 周激流, 钟钒, 宋恩彬, 闫斌. 基于四元数的图像信息并行融合[J]. 自动化学报, doi: 10.1360/aas-007-1136
  • 加载中
计量
  • 文章访问数:  6
  • HTML全文浏览量:  3
  • 被引次数: 0
出版历程
  • 收稿日期:  2020-04-14
  • 录用日期:  2020-06-28

基于内容特征和风格特征融合的单幅图像去雾网络

doi: 10.16383/j.aas.c200217
    基金项目:  国家自然科学基金(61632018)资助
    作者简介:

    天津大学电气自动化与信息工程学院副教授. 主要研究方向为深度学习、图像处理以及计算机视觉. 本文通信作者. E-mail: yangaiping@tju.edu.cn

    天津大学电气自动化与信息工程学院硕士. 主要研究方向为图像去雾和深度学习. E-mail: liujin23@tju.edu.cn

    天津大学电气自动化与信息工程学院硕士. 主要研究方向为图像去雾和深度学习. E-mail: xingjinna15@sina.com

    天津大学电气自动化与信息工程学院硕士. 主要研究方向为图像去雾和深度学习. E-mail: 17862715985@163.com

    天津大学自动化与信息工程学院讲师, 主要研究方向为信号处理、图像处理和图像超分辨率重建. E-mail: heyuqing@tju.edu.cn

    通讯作者: 天津大学电气自动化与信息工程学院副教授. 主要研究方向为深度学习、图像处理以及计算机视觉. 本文通信作者. E-mail: yangaiping@tju.edu.cn

摘要: 基于深度学习的方法在去雾领域已经取得了很大进展, 但仍然存在去雾不彻底和颜色失真等问题. 针对这些问题, 本文提出一种基于内容特征和风格特征相融合的单幅图像去雾网络. 所提网络包括特征提取、特征融合和图像复原三个子网络, 其中特征提取网络包括内容特征提取模块和风格特征提取模块, 分别用于学习图像内容和图像风格以实现去雾的同时可较好地保持原始图像的色彩特征. 在特征融合子网络中, 引入注意力机制对内容特征提取模块输出的特征图进行通道加权实现对图像主要特征的学习, 并将加权后的内容特征图与风格特征图通过卷积操作相融合. 最后, 图像复原模块对融合后的特征图进行非线性映射得到去雾图像. 与已有方法相比, 所提网络对合成图像和真实图像均可取得理想的去雾结果, 同时可有效避免去雾后的颜色失真问题.

English Abstract

杨爱萍, 刘瑾, 邢金娜, 李晓晓, 何宇清. 基于内容特征和风格特征融合的单幅图像去雾网络. 自动化学报, 2020, 46(x): 1−9. doi: 10.16383/j.aas.c200217
引用本文: 杨爱萍, 刘瑾, 邢金娜, 李晓晓, 何宇清. 基于内容特征和风格特征融合的单幅图像去雾网络. 自动化学报, 2020, 46(x): 1−9. doi: 10.16383/j.aas.c200217
Yang Ai-Ping, Liu Jin, Xing Jin-Na, Li Xiao-Xiao, He Yu-Qing. Content feature and style feature fusion network for single image dehazing. Acta Automatica Sinica, 2020, 46(x): 1−9. doi: 10.16383/j.aas.c200217
Citation: Yang Ai-Ping, Liu Jin, Xing Jin-Na, Li Xiao-Xiao, He Yu-Qing. Content feature and style feature fusion network for single image dehazing. Acta Automatica Sinica, 2020, 46(x): 1−9. doi: 10.16383/j.aas.c200217
  • 在雾霾天气条件下采集到的图像降质严重, 存在对比度下降、颜色失真和细节丢失等问题, 严重影响视觉效果. 同时, 也不利于图像特征提取和辨识, 导致户外视觉系统难以发挥效用. 因此, 图像去雾具有重要研究意义[1].

    图像去雾方法可以分为基于图像增强的方法、基于物理模型的方法和基于深度学习的方法. 基于图像增强的方法[2-3]不考虑图像降质的原因, 通过增强图像的对比度来改善视觉效果. 基于物理模型的方法以大气散射模型[4]为基础, 基于不同的先验信息估

    计传输图和大气光对模型求解, 实现图像去雾. 该类方法中, 基于暗通道先验的去雾方法研究最多应用最广[5], 其通过图像的暗通道先验求解传输图, 取得了较好的去雾效果. Berman等[6]基于非局部先验估计传输图, 并利用正则化方法对传输图进行优化. Zhu等[7]提出基于颜色衰减先验恢复图像的深度信息, 进而估计图像的传输图. 杨燕等[8]针对暗通道先验的不足, 提出一种基于高斯权重衰减的迭代优化去雾算法, 恢复的无雾图像较为清晰自然. 虽然基于物理模型的去雾方法取得了显著的进展, 但简化的物理模型会导致传输图和大气光估计出现误差, 且先验信息不具有普遍适用性, 易出现去雾不彻底和颜色失真等现象.

    目前, 基于深度学习的方法成为研究的主流. 该类方法大多基于卷积神经网络(Convolutional Neural Network, CNN)构建可训练的端到端去雾网络, 其又可以分为间接端到端网络和直接端到端网络. 其中间接端到端去雾网络, 首先估计传输图、大气光或其他中间变量, 然后依据大气散射模型恢复无雾图像. Cai等[9]基于CNN提出一种DehazeNet网络来估计传输图, 该网络根据传统去雾方法中的先验信息进行构建, 其包括特征提取层、多尺度映射层、局部极大化层和非线性回归层. Ren等[10]基于CNN提出一种多尺度策略估计传输图, 用粗尺度网络估计初始传输图, 并用细尺度网络进行细化. 该网络估计的传输图更加真实, 一定程度上避免了细节信息损失. Zhang等[11]基于CNN提出一种密集连接金字塔网络结构(Densely Connected Pyramid Dehazing Network, DCPDN), 其通过两个子网络分别估计传输图和大气光值, 然后将得到的无雾图像与清晰图像输入鉴别网络基于生成对抗网络(Generative Adversarial Networks, GAN)损失函数联合训练得到最终的无雾图像. Li等[12]重新构造大气散射模型, 将传输图和大气光值整合成一个参数K, 并基于CNN设计AOD-Net估计该参数. Ren等[13]基于图像融合思想提出一个端到端的门控融合网络(Gated Fusion Network, GFN), 该网络首先估计三幅输入图像分别对应的权重图, 然后以权重图为引导将三幅输入图进行加权融合, 得到无雾图像. 上述间接端到端去雾网络虽然取得了相对不错的去雾效果, 但大多依赖于大气散射模型, 估计的传输图往往包含过多的细节信息, 且大多数方法将大气光设置为全局一致常量, 去雾后的图像易出现颜色失真. 直接端到端去雾网络则直接学习有雾图像到无雾图像之间的映射关系来恢复无雾图像. Li等[14]基于条件生成对抗网络(Conditional Generative Adversarial Networks, cGAN)提出一个端到端可训练去雾网络, 并且引入VGG特征和L1正则化梯度先验构建损失函数. Qu等[15]提出了一个增强的pix2pix去雾网络(Enhanced Pix2pix Dehazing Network, EPDN), 直接学习有雾图像和无雾图像之间的映射关系, 恢复的无雾图像较为清晰自然. Qin[16]等提出了一个端到端的特征融合注意力网络(FFA-Net), 该网络可有效提取图像特征, 但由于该网络通过学习有雾图像和清晰图像的差值进行去雾, 而忽略了图像的整体风格特征, 对于真实场景去雾效果不理想. Guo[17]等设计了一个端到端的融合去雾网络 (FS-Net), 首先对原图像进行预处理得到五幅增强图像, 然后将增强图像输入去雾网络得到无雾图像. 但因其有预处理过程, 容易导致颜色失真. Yang[18]等提出一种端到端的多尺度特征聚合去雾网络(Y-Net), 并且设计了小波结构相似性损失函数来训练网络, 但网络中连续的下采样可能会导致图像特征的丢失, 从而恢复的无雾图像细节信息和颜色信息保持度不足. 上述直接端到端方法在一定程度上提高了图像复原质量, 但在学习过程中往往出现过拟合现象, 易忽略图像原有的风格特征, 造成部分区域去雾不彻底或过度去雾, 恢复图像出现颜色失真.

    针对以上问题, 本文提出了一个将内容特征和风格特征相融合的单幅图像去雾网络. 以级联的残差块[19]和级联的残差密集块[20]为主体框架设计内容提取模块和风格提取模块提取图像特征. 另外, 采用注意力机制[21]对提取到的内容特征图进行通道加权, 并将风格特征图与加权的内容特征图进行堆叠, 进而经卷积操作得到融合后的特征图. 所提网络去雾较为彻底, 复原图像清晰度高, 且无色彩失真现象.

    • 本文基于CNN设计了一个内容特征和风格特征相融合的去雾网络, 该网络不依赖于大气散射模型, 可实现从有雾图像到无雾图像直接端到端去雾. 与现有方法不同的是, 该网络考虑了对图像风格特征的提取, 可以在去雾的同时较好地保持图像原有色彩, 克服现有方法去雾不彻底和去雾后颜色失真问题. 另外, 为充分获取图像的内容特征和风格特征, 本文设计了两个独立的网络模块分别提取图像的内容和风格信息. 具体地, 利用级联的残差块(Residual Block, RB)提取图像的内容特征, 利用残差密集块(Residual Dense Block, RDB)提取图像风格特征; 此外, 为了加强对图像主要内容特征的学习, 同时保证内容特征和风格特征提取的独立性, 本文仅对内容特征进行通道加权, 并将加权后的内容特征和风格特征进行堆叠融合; 最后, 采用1×1的卷积层整合融合后的特征信息, 同时实现特征图到无雾图像之间的非线性映射. 提出的去雾网络整体结构如图1所示.

      图  1  整体网络结构

      Figure 1.  Architecture of the Network

    • 图像的内容特征主要包括轮廓特征和空间结构特征, 轮廓特征描述了图像中物体的边缘信息, 属于图像的全局特征, 空间结构特征描述了图像的主要内容, 属于图像的局部特征. 因此, 有效提取图像的全局特征和局部特征对于图像去雾尤为重要.

      为了获取有效的内容特征, 本文引入残差思想设计内容特征提取模块, 该模块的深度为24层卷积, 包括三个卷积层(Conv1-Conv3)和七个级联的残差块(RB1-RB7). 其中, 前三个卷积层的卷积核均为3×3, 3×3的卷积核相较于较大的卷积核, 可以在有效提取图像特征的同时, 降低参数量和计算量; 步长分别为{1, 1, 2}, 前两个卷积层步长均为1, 可以更全面地提取图像特征, 第三个卷积层步长为2, 可以有效降低特征图的尺寸, 减少计算量, 有益于网络的训练. 此外, 经实验可得, 采用七个级联的残差块时, 该去雾网络性能最佳. 每个残差块的结构相同, 均包含三个卷积层, 卷积核的大小为3×3, 步长均为1, 输出通道数均为64, 该模块中卷积后的激活函数均采用ReLU函数. 如图2所示, 残差块采用跳转连接的方式, 将信息传递到网络的更深层, 该连接方式相当于执行了恒等变换, 不会增加计算复杂度且可有效解决深层网络梯度消失问题, 提高了网络学习能力.

      图  2  残差块结构

      Figure 2.  Architecture of the Residual Block

      浅层卷积层可以提取图像的纹理和细节特征, 而深层卷积层可以提取图像的轮廓和形状. 因此, 浅层网络得到的特征图包含更多的局部信息, 深层网络得到的特征图包含更多的全局信息. 为了有效提取图像的内容特征, 论文采用了多层特征图连接方式提取图像的内容特征, 采用跳转堆叠的方式将残差块RB1、RB5和RB7输出的特征图进行堆叠得到最终的内容特征图, 从而保证了图像内容特征的完整性, 如图1中内容特征提取模块所示.

    • 图像的风格特征主要包括颜色特征, 颜色特征是基于像素点的特征, 描述了图像所对应景物的表面性质, 其对图像中的方向、大小等变化不敏感, 属于图像的全局特征. 为了实现去雾的同时较好地保持图像的颜色特性, 需要准确有效地提取图像的风格特征.

      深层网络感受野大, 其提取的特征图包含较多的全局信息, 为了更加有效地提取图像的风格特征, 同时充分利用各卷积层输出特征图, 本文采用级联的残差密集块设计风格特征提取模块, 其密集连接部分将各层提取的特征连接起来, 不仅充分利用了不同尺度下提取到的特征, 而且可以解决由于网络过深导致的梯度消失等问题. 此外, 为了更准确地提取图像的全局信息, 本文将低分辨率有雾图像作为该模块的输入图像. 该模块包含一个卷积层(Conv4)和三个残差密集块(RDB1-RDB3), 其中卷积层Conv4的卷积核大小为3×3, 步长为1, 如图1中风格特征提取模块所示. 每个残差密集块的结构相同, 均包含四个卷积层, 前三个卷积层的卷积核大小均为3×3, 步长均为1, 最后一个卷积层的卷积核为大小1×1, 输出通道数为16, 用于融合不同卷积层的特征图并可减少通道数量, 该模块卷积层后的激活函数均为ReLU函数. 如图3所示, 残差密集块可以充分利用输入图像的所有分层特征, 其中的残差结构有益于网络收敛.

      图  3  残差密集块结构

      Figure 3.  Architecture of the Residual Dense Block

    • 本节设计特征融合网络模块, 将内容特征和风格特征进行融合, 主要包括: (a)通道加权: 对残差块RB1、RB5、RB7的输出进行通道加权堆叠得到加权的内容特征图${{\rm{V}}_{\rm{c}}}$. (b)融合: 将残差密集块RDB3的输出记为风格特征图${{\rm{V}}_{\rm{s}}}$, 对加权的内容特征图${{\rm{V}}_{\rm{c}}}$和风格特征图${{\rm{V}}_{\rm{s}}}$进行堆叠, 经反卷积层和卷积层运算得到融合的特征图${{\rm{V}}_f}$.

      对内容特征图采用注意力机制进行通道加权, 每个残差块的特征图记为${{\rm{V}}^l}$, ${{\rm{V}}^l} \in {{\rm{R}}^{C \times H \times W}}$, 其中, l表示残差块的个数, C为输出特征图的通道数, HW分别为特征图的高度和宽度. 第l个残差块输出的特征图为${{\rm{V}}^l}$, 通道注意力权重可记为: ${\beta ^l} \in {{\rm{R}}^{C \times 1 \times 1}}$, 加权后的特征图可表示为: ${{\rm{X}}^l} = {\beta ^l} \bullet {{\rm{V}}^l}$, 其中, $ \bullet $表示元素相乘.

      为了求得通道注意权重${\beta ^l}$, 首先将${{\rm{V}}^l}$映射为${U^l}$, 且${U^l} = \left[ {{\rm{u}}_1^l,u_2^l, \cdot \cdot \cdot ,{\rm{u}}_C^l} \right]$, 其中${\rm{u}}_i^l \in {{\rm{R}}^{H \times W}}$, 表示特征图${{\rm{V}}^l}$的第i个通道. 然后对每个二维特征图通道进行平均池化操作得到通道的特征${{\rm{F}}^l}$:

      $${{\rm{F}}^l}{\rm{ = }}\left[ {f_1^l,f_2^l, \cdot \cdot \cdot ,f_C^l} \right],{{\rm{F}}^l} \in {{\rm{R}}^C},$$ (1)

      其中, 标量$f_i^l$是向量${\rm{u}}_i^l$的均值, 其表示第i个通道的特征. 因此, ${\beta ^l}$可以由下式求得:

      $${\beta ^l} = \sigma {\rm{(}}{{\rm{W}}_1}\delta {\rm{(}}{{\rm{W}}_0}{{\rm{F}}^l}{\rm{))}},$$ (2)

      其中, ${{\rm{W}}_0} \in {{\rm{R}}^{{C / r} \times C}}$${{\rm{W}}_1} \in {{\rm{R}}^{C \times {C / r}}}$为转换矩阵, r为衰减率, $\sigma ( \cdot )$为Sigmoid函数, $\delta ( \cdot )$为ReLU激活函数.

      对残差块RB1、RB5、RB7输出的特征图进行通道注意力加权堆叠, 得到加权的内容特征图, 记为${{\rm{V}}_{\rm{c}}} = [{{\rm{X}}^1},{{\rm{X}}^5},{{\rm{X}}^7}]$, 其中, $[ \cdot ]$表示堆叠操作.

      融合部分如图1中特征融合模块所示, 其包含两个卷积层: 反卷积层Deconv1和卷积层Conv5. 卷积核大小均为3×3, 步长分别为{2, 1}, padding均设置为1, 输出通道数均为64, 后接ReLU激活函数. 因此, 融合后的特征图为${{\rm{V}}_f}{\rm{ = }}f{\rm{([}}{{\rm{V}}_{\rm{c}}}{\rm{,}}{{\rm{V}}_{\rm{s}}}{\rm{])}}$, 其中$f( \cdot )$表示反卷积和卷积操作.

    • 最后, 对融合后的特征图进行非线性映射, 如图1中图像复原模块所示. 其包含一个卷积层Conv6, 卷积核的大小为1×1, 步长为1, padding设置为0, 输出通道数为3, 后接ReLU激活函数, 该卷积层的输出即为复原图像.

    • 本文在训练网络时采用的损失函数是L2损失(最小平方误差)和感知损失, 其中L2损失可以表示为:

      $${L_2} = \frac{1}{{NHW}}{\sum\limits_{i = 1}^N {\left\| {{{\hat J}_i} - {J_i}} \right\|} ^2},$$ (3)

      其中, ${\hat J_i}$表示网络恢复的图像, ${J_i}$表示对应的清晰图像, HW分别表示${\hat J_i}$的高度和宽度. N表示恢复图像的个数. 此外, 感知损失可以衡量恢复的无雾图像和其对应的清晰图像之间的语义特征差异, 采用预训练在ImageNet[22]上的VGG-16网络[23]输出的特征图${\phi _j}( \cdot )$来计算, 可以表示为:

      $${L_{\rm{P}}} = \sum\limits_{j = 1}^3 {\frac{1}{{{C_j}{H_j}{W_j}}}\left\| {{\phi _j}(\hat J) - {\phi _j}(J)} \right\|} _2^2,$$ (4)

      其中, $\hat J$为网络恢复的图像, $J$为对应的清晰图像, ${\phi _j}(\hat J)$${\phi _j}(J)$分别表示$\hat J$$J$对应的特征图, ${C_j}$${H_j}$${W_j}$分别表示${\phi _j}(\hat J)$${\phi _j}(J)$的通道数、高度和宽度. 因此, 总的损失函数可以表示为:

      $$L = {L_2} + \lambda {L_{\rm{P}}},$$ (5)

      其中, $\lambda $为权重因子.

    • 本文方法基于Pytorch框架实现, 在Ubuntu环境下使用NVIDIA 1080Ti GPU训练去雾网络. 初始学习率设置为0.0001, batchsize设置为16, 权重因子$\lambda $设置为0.4, 采用动量衰减指数${\beta _{\rm{1}}}{\rm{ = 0}}{\rm{.9}}$, ${\beta _{\rm{2}}}{\rm{ = 0}}{\rm{.999}}$的Adam优化器进行优化, 迭代次数为100次. 采用公共数据集RESIDE[24]中的ITS (indoor training set)数据集、OTS (outdoor training set)数据集和SOTS (Synthetic Objective Testing Set)数据集. 其中, 选取ITS为室内训练集, 共包含1399张清晰图像和13990张有雾图像; OTS为室外训练集, 共包含8477张清晰图像和296695张有雾图像, 选取其中2061张清晰图像以及对应的72135张有雾图像作为室外有雾图像的训练集; SOTS为测试集, 包含500张室内有雾图像和500张室外有雾图像. 此外, 考虑到测试集SOTS与训练集ITS和OTS来自同一数据分布, 为了丰富测试集并验证本文方法的鲁棒性, 本文利用数据集Middlebury Stereo Datasets[25](MSD)通过大气散射模型合成有雾图像, 选取色彩较为丰富的有雾图像作为测试图像来验证去雾网络的色彩保持性能. 本文选择与目前的优势去雾方法进行对比实验, 包括经典去雾方法DCP[5]以及近期基于深度学习的去雾方法: DehazeNet[9]、MSCNN[10]、AOD-Net[12]、DCPDN[11]、EPDN[15]、FFA-Net[16]、FS-Net[17]和Y-Net[18].

    • 首先, 在合成数据集上进行实验, 采用的测试图像为数据集SOTS, 包含500张室内有雾图像和500张室外有雾图像. 采用峰值信噪比(Peak Signal-to-Noise Ratio, PSNR)和结构相似性(Structural Similarity, SSIM)对去雾算法所恢复的图像质量进行评价, 各方法实验结果如表1所示. 可以看出, 本文方法得到的去雾图像PSNR和SSIM指标优于大部分去雾方法. 此外, 由于FFA-Net的网络层数较深, 并且有较强的特征提取和特征选择能力, 因此其在训练集ITS和OTS上的拟合能力较强, 且SOTS测试集与训练集的数据来自同一数据分布, 从而导致了该去雾方法在SOTS数据集上取得了较高的指标. 但其对于真实有雾图像和MSD数据集中的图像去雾效果不理想, 如图5(h)图7(h)所示.

      表 1  在合成数据集上PSNR和SSIM结果

      Table 1.  Comparison of PSNR and SSIM tested on synthetic hazy images

      MethodIndoorOutdoor
      PSNR/dBSSIMPSNR/dBSSIM
      DCP [5]16.620.817919.130.8148
      DehazeNet [9]21.140.847222.460.8514
      MSCNN [10]17.570.810222.060.9078
      AOD-Net [12]19.060.850420.290.8765
      DCPDN [11]15.850.817519.930.8449
      EPDN [15]25.060.923222.570.8630
      FFA-Net[16]36.390.988633.570.9840
      FS-Net[17]26.610.956124.070.8741
      Y-Net[18]19.040.846525.020.9012
      Proposed31.100.977630.740.9774

      图  5  合成有雾图的实验结果(MSD). (a) 有雾图; (b) DCP; (c) DehazeNet; (d) MSCNN; (e) AOD-Net; (f) DCPDN; (g) EPDN; (h) FFA-Net; (i)Y-Net; (j)本文方法; (k) 清晰图像.

      Figure 5.  Experimental results of the synthetic hazy images (MSD). (a) hazy image; (b) DCP; (c) DehazeNet; (d) MSCNN; (e) AOD-Net; (f) DCPDN; (g) EPDN; (h) FFA-Net; (i) Y-Net; (j) Proposed; (k) clear image.

      图  7  真实场景有雾图的实验结果. (a) 有雾图; (b) DCP; (c) DehazeNet; (d) MSCNN; (e) AOD-Net; (f) DCPDN; (g) EPDN; (h) FFA-Net; (i) Y-Net; (j)本文方法.

      Figure 7.  Experimental results of real outdoor hazy images. (a) hazy image; (b) DCP; (c) DehazeNet; (d) MSCNN; (e) AOD-Net; (f) DCPDN; (g) EPDN; (h) FFA-Net; (i) Y-Net; (j) Proposed.

      另外, 从SOTS数据集中选取三张室内浓雾图像和室外有雾图像进行主观质量评价, 各方法去雾效果如图4所示. 利用数据集MSD合成三幅有雾图像(Cones、Moebius和Monopoly), 各方法去雾效果如图5所示. 由图4可以看出, DCP方法恢复的图像过暗, 并且存在颜色失真问题(如图4(b)中室内图像的地板和室外图像的天空和墙壁区域). DehazeNet方法得到的去雾图像可较好的保持图像色彩, 但在浓雾区域去雾不彻底(如图4(c)中室内图像的墙壁和桌椅区域). MSCNN和AOD-Net方法恢复的图像去雾不够彻底, 且色彩恢复不足. DCPDN方法去雾较为彻底, 但颜色失真严重且细节恢复不足(如图4(f)中室内图像的桌面和室外图像的天空区域). EPDN方法恢复的图像在薄雾区域存在过度去雾现象导致颜色失真(如图4(g)中室内图像的桌椅以及室外图像的墙壁和建筑物), 且对于浓雾区域则去雾不够彻底. Y-Net方法对于室内有雾图像去雾不够彻底(如图4(i)中的桌椅和地板区域), 且对于室外有雾图像存在颜色失真现象(如图4(i)最后一幅图像中建筑物的墙壁顶端颜色过深). 由图4(h)4(j)可以看出, 本文方法与FFA-Net去雾效果相当, 均可以有效去除有雾图像中的雾气, 且复原图像在细节和色彩方面均最接近原始清晰图像. 此外, 由图5可以看出, DCP方法和DehazeNet方法恢复的图像Cones背景区域颜色严重失真, MSCNN方法恢复的Moebius整体色调偏离, 色彩失真严重. AOD-Net方法和DCPDN方法仅去除了少量雾气, 恢复的图像整体色调偏白. EPDN方法恢复的三幅图像色调偏暗沉, 与原图像偏差过大. FFA-Net方法恢复的Moebius图像仍存在大量雾气, 且恢复的Monopoly图像背景区域存在不均匀色块. Y-Net方法恢复的Moebius图像细节模糊, 且有雾气残留, 此外, 其恢复的Monopoly图像存在大量不均匀色块, 整体色调偏暗. 由图5(j)可以看出, 本文方法恢复得到的无雾图像色彩保持度好, 且去雾较为彻底.

      图  4  合成有雾图的实验结果(SOTS). (a) 有雾图; (b) DCP; (c) DehazeNet; (d) MSCNN; (e) AOD-Net; (f) DCPDN; (g) EPDN; (h) FFA-Net; (i) Y-Net; (j)本文方法; (k) 清晰图像.

      Figure 4.  Experimental results of the synthetic hazy images (SOTS). (a) hazy image; (b) DCP; (c) DehazeNet; (d) MSCNN; (e) AOD-Net; (f) DCPDN; (g) EPDN; (h) FFA-Net; (i) Y-Net; (j) Proposed; (k) clear image.

      同时, 为了验证所提去雾网络中各模块的有效性, 分别选取内容特征提取模块、风格特征提取模块以及特征融合模块输出的特征图进行对比分析, 如图6所示. 由图6(c)(d)可以看出, 内容特征提取模块可有效提取图像的全局特征和局部特征, 该模块输出的特征图在突出局部区域边缘细节的同时, 还可较好保留图像的整体轮廓(如图6(c)中的墙壁和吊灯的边缘, 和图6(d)中桌椅的边缘). 由图6(e)可以看出, 风格特征提取模块输出的特征图有效描述了场景中不同物体的表面性质, 较好得呈现了场景的风格特征. 由图6(f)可以看出, 特征融合网络得到的特征图可较好地增强有雾图像中的模糊纹理, 并可保持清晰的局部边缘和全局轮廓. 由图6(b)可以看出, 本文方法复原图像去雾彻底, 且细节清晰自然.

      图  6  去雾结果图及其对应的特征图. (a) 有雾图; (b) 去雾图像; (c) 内容特征图(RB1_index 59); (d)内容特征图(RB7_index 13); (e) 风格特征图(RDB3_index 10); (f) 融合后的特征图(index 53).

      Figure 6.  Dehazed results and corresponding feature maps. (a) hazy image;(b) dehazed image;(c) content feature map(RB1_index59);(d) content feature map(RB7_index 13); (e) style feature map(RDB3_index 10);(f) fused feature map(index 53).

    • 进一步, 为了验证所提方法的有效性, 本节选取几幅典型的真实图像进行实验, 并与目前的优势算法进行比较, 去雾结果如图7所示. 由图7(b)可以看出, DCP方法由于对雾霾的浓度估计错误, 导致传输图估计不准确, 恢复图像偏暗; 如图(b)中第一幅图女孩的肤色过深, 第三幅图中山峰区域过暗导致细节模糊. 另外, 该方法恢复的图像天空区域颜色失真严重; 如图(b)中第三幅图天空颜色过深, 第四幅图中云彩部分过暗, 严重影响视觉效果. 由图7(c)可以看出, DehazeNet方法对远景雾气去除效果不佳; 如图(c)第二幅图稍远处的草堆和第三、四幅图中的远山区域仍存在一部分雾气. 由图7(d)(e)可以看出, MSCNN和AOD-Net方法虽然可以去除部分雾气, 但复原的无雾图像细节保持度不够; 如第二幅图中草垛部分边缘细节模糊, 第三幅图中山峰和天空交界处存在块效应且去雾不够彻底. 由图7(f)可以看出, DCPCN虽然可以去除大部分雾气, 但恢复的图像整体色调偏白, 如第三、四幅图中天空区域过亮. 由图7(g)可以看出, EPDN方法虽然可以有效去除雾气, 但恢复的图像色调偏暗, 且存在失真和细节模糊, 如第二幅图中草堆的阴影部分颜色过重而导致边缘信息丢失, 第四幅图中云彩颜色偏黄且山峰区域色调过深. 由图7(h)可以看出, FFA-Net仅能去除有雾图像前景部分的雾气, 如第一幅中女孩身后的树林和第二幅图中远处的草堆部分仍存在较多雾气, 此外, 该方法对于真实有雾图像的色彩保持度不够, 如第三幅图的天空和山峰部分色调偏白. 由图7(i)可以看出, Y-Net对于远景区域的去雾效果不佳, 如第二幅图中远处的草堆和第三幅图中远山部分有雾气残留. 由图7(j)可以看出, 本文方法得到的去雾图像在有效去除雾气的同时很好地保持了图像原有的色彩, 且不依赖于大气散射模型, 可以有效避免传输图和大气光估计不准确导致的去雾不彻底、去雾后颜色失真等问题.

    • 为了验证本文提出的去雾网络中每个模块的有效性, 本文进行了消融实验, 共包括如下四个实验: (1) 仅提取有雾图像的内容特征(Content feature, CF); (2) 提取有雾图像的内容特征并进行通道注意力加权(Channel-wise weighted content feature, WCF); (3) 提取有雾图像的内容特征和风格特征, 对提取的两种特征进行通道注意力加权融合(Fusion of channel-wise weighted content-style feature, WC-SF); (4) 将提取的风格特征与进行了通道注意力加权的内容特征与堆叠融合(Fusion of style feature and channel-wise weighted content feature, SF-WCF). 本文在SOTS室内测试集上对以上四个实验进行质量评价, 其PSNR和SSIM结果如表2所示, 去雾结果对比如图8所示. 从表2中可以看出, 本文采用的SF-WCF去雾网络恢复的无雾图像质量更高. 此外, 从图8中红框部分对比可以看出, CF去雾网络恢复的图像有少量雾气残留, 且墙壁部分色调偏暗; WCF和WC-SF去雾网络得到的去雾结果图虽然去雾较为彻底, 但墙壁部分颜色偏暗; 本文采用的SF-WCF去雾网络得到的无雾图像去雾彻底, 且墙壁颜色与清晰图像最为接近.

      表 2  在SOTS室内数据集上PSNR和SSIM结果比较

      Table 2.  Comparison of PSNR and SSIM tested on SOTS(indoor)

      CFWCFWC-SFSF-WCF
      PSNR/dB28.5729.7629.8531.10
      SSIM0.97030.97300.97740.9776

      图  8  消融实验结果比较. (a) 有雾图; (b) CF; (c) WCF; (d) WC-SF; (e) SF-WCF; (f) 清晰图像.

      Figure 8.  Comparison of ablation experiments. (a) hazy image; (b) CF; (c) WCF; (d) WC-SF; (e) SF-WCF; (f) clear image.

    • 本文提出了一种基于内容特征和风格特征相融合的单幅图像去雾方法, 网络结构设计充分考虑了对图像内容特征、风格特征的有效提取和融合, 可有效提高网络模型的精度, 并且在实现去雾的同时能够较好地保持图像的原有色彩. 本文方法不依赖于大气散射模型, 可避免使用不准确的传输图和大气光, 有效解决了现有去雾方法去雾不彻底或因过度去雾导致的颜色失真等问题.

WeChat 关注分享

返回顶部

目录

    /

    返回文章
    返回