2.793

2018影响因子

(CJCR)

  • 中文核心
  • EI
  • 中国科技核心
  • Scopus
  • CSCD
  • 英国科学文摘

留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

基于跨尺度低秩约束的图像盲解卷积算法

彭天奇 禹晶 肖创柏

彭天奇, 禹晶, 肖创柏. 基于跨尺度低秩约束的图像盲解卷积算法. 自动化学报, 2020, 46(x): 1−18. doi: 10.16383/j.aas.c190845
引用本文: 彭天奇, 禹晶, 肖创柏. 基于跨尺度低秩约束的图像盲解卷积算法. 自动化学报, 2020, 46(x): 1−18. doi: 10.16383/j.aas.c190845
Peng Tian-Qi, Yu Jing, Xiao Chuang-Bai. Blind image deconvolution via cross-scale low rank prior. Acta Automatica Sinica, 2020, 46(x): 1−18. doi: 10.16383/j.aas.c190845
Citation: Peng Tian-Qi, Yu Jing, Xiao Chuang-Bai. Blind image deconvolution via cross-scale low rank prior. Acta Automatica Sinica, 2020, 46(x): 1−18. doi: 10.16383/j.aas.c190845

基于跨尺度低秩约束的图像盲解卷积算法


DOI: 10.16383/j.aas.c190845
详细信息
    作者简介:

    北京工业大学信息学部计算机学院硕士研究生. 主要研究方向为图像处理、模式识别.E-mail: ptq17812103095@163.com

    北京工业大学信息学部计算机学院讲师、硕士生导师. 2011 年获清华大学电子工程系博士学位. 主要研究方向为图像处理与模式识别.E-mail: jing.yu@bjut.edu.cn

    北京工业大学信息学部计算机学院教授、博士生导师. 主要研究方向为数字信号处理, 音视频信号处理与网络通信. 本文通信作者.E-mail: cbxiao@bjut.edu.cn

  • 基金项目:  北京市教育委员会科技发展计划(KM201910005029), 北京市自然科学基金资助项目(4172002)资助

Blind Image Deconvolution Via Cross-scale Low Rank Prior

More Information
  • Fund Project:  Supported by Scientific Research Common Program of Beijing Municipal Commission of Education(KM201910005029), Beijing Natural Science Foundation(4172002)
  • 摘要: 在模糊核未知的情况下对模糊图像进行复原称为盲解卷积问题, 这是一个欠定逆问题, 现有的大部分盲解卷积算法利用图像的各种先验知识约束问题的解空间. 由于清晰图像的跨尺度自相似性强于模糊图像的跨尺度自相似性, 且降采样模糊图像与清晰图像具有更强的相似性, 本文提出了一种基于跨尺度低秩约束的单幅图像盲解卷积算法, 利用图像跨尺度自相似性, 在降采样图像中搜索相似图像块构成相似图像块组, 从整体上对相似图像块组进行低秩约束, 作为正则项加入到图像盲解卷积的目标函数中, 迫使重建图像的边缘接近清晰图像的边缘. 本文算法没有对噪声进行特殊处理, 由于低秩约束更好地表示了数据的全局结构特性, 因此避免了盲解卷积过程受噪声的干扰. 在模糊图像和模糊有噪图像上的实验验证了本文的算法能够解决大尺寸模糊核的盲复原并对噪声具有良好的鲁棒性.
  • 图  1  清晰图像的多尺度自相似性

    Fig.  1  Multi-scale self-similarity of the sharp image

    图  2  模糊图像的多尺度自相似性

    Fig.  2  Multi-scale self-similarity of the blurry image

    图  3  模糊图像和降采样模糊图像分别与清晰图像的相似性比较

    Fig.  3  Comparison of similarities between the blurry image and the down-sampled blurry image related the sharp image

    图  4  跨尺度自相似性用于图像盲复原的解释

    Fig.  4  Interpretation of cross-scale self-similarity for blind image restoration

    图  5  本文算法流程

    Fig.  5  The pipeline of our method

    图  6  Kohler数据集PSNR的平均值与标准差

    Fig.  6  Mean and standard deviation of PSNR on Kohler et al.'s dataset

    图  7  各个算法对Kohler数据集中一幅小模糊图像复原结果的比较

    Fig.  7  Comparison of the results deblurred by some state-of-the-art methods on a weakly blurred image from Kohler et al.'s dataset

    图  8  各个算法对Kohler数据集中一幅大模糊图像复原结果的比较

    Fig.  8  Comparison of the results deblurred by some state-of-the-art methods on a severely blurred image from Kohler et al.'s dataset

    图  9  加噪Kohler数据集PSNR的平均值与标准差

    Fig.  9  Mean and standard deviation of PSNR on noisy Kohler et al.'s dataset

    图  10  各个算法对加噪Kohler数据集中一幅图像复原结果的比较

    Fig.  10  Comparison of the results deblurred by some state-of-the-art methods on a blurred-noisy image from noisy Kohler et al.'s dataset

    图  11  各个算法对加噪Kohler数据集中另一幅图像复原结果的比较

    Fig.  11  Comparison of the results deblurred by some state-of-the-art methods on another blurred-noisy image from noisy Kohler et al.'s dataset

    图  12  各个算法对一幅真实模糊图像复原结果的比较

    Fig.  12  Visual comparisons with some state-of-the-art methods on one real-world photo

    图  13  各个算法对另一幅真实模糊图像复原结果的比较

    Fig.  13  Visual comparisons with some state-of-the-art methods on another real-world photo

    图  14  各个算法在一幅真实模糊有噪图像上的实验结果

    Fig.  14  Visual comparisons with state-of-the-art some methods on a real blurred-noisy image

    图  15  各个算法在另一幅真实模糊有噪图像上的实验结果

    Fig.  15  Visual comparisons with some state-of-the-art methods on another real blurred-noisy image

    图  16  图像跨尺度自相似性的分析

    Fig.  16  Analysis of cross-scale self-similarity of images

    图  17  本文算法对Sun数据集中三幅自相似性较弱图像的复原结果

    Fig.  17  Visual display of proposed method on three weak self-similarity blurred images from Sun et al.'s dataset

  • [1] Jia J. Single Image motion deblurring using transparency. In: Proceedings of 2007 IEEE Conference on Computer Vision and Pattern Recognition. Minneapolis, MN, USA: IEEE, 2007. 1−8
    [2] Joshi N, Szeliski R, Kriegman D J. PSF estimation using sharp edge prediction. In: Proceedings of 2008 IEEE Conference on Computer Vision and Pattern Recognition. Anchorage, AK, USA: IEEE, 2008. 1−8
    [3] Cho S, Lee S. Fast motion deblurring. ACM Transactions on Graphics, 2009, 28(5): 89−97
    [4] Xu L, Jia J. Two-phase kernel estimation for robust motion deblurring. In: Proceedings of the 11th European Conference on Computer Vision. Heraklion, Crete, Greece: Springer Berlin Heidelberg, 2010. 157−170
    [5] Chan T, Wong C. Total variation blind deconvolution. IEEE Transactions on Image Processing, 1998, 7(3): 370−375 doi:  10.1109/83.661187
    [6] Levin A, Weiss Y, Durand F, Freeman W T. Efficient marginal likelihood optimization in blind deconvolution. In: Proceedings of 2011 IEEE Conference on Computer Vision and Pattern Recognition. Providence, RI, USA: IEEE, 2011. 2657−2664
    [7] Fergus R, Singh B, Hertzmann A, Rowels S T, Freeman W T. Removing camera shake from a single photograph. ACM Transactions on Graphics, 2006, 25(3): 787−794 doi:  10.1145/1141911.1141956
    [8] Levin A, Weiss Y, Durand F, Freeman W T. Understanding and evaluating blind deconvolution algorithms. In: Proceedings of 2009 IEEE Conference on Computer Vision and Pattern Recognition. Miami, FL, USA: IEEE, 2009. 1964−1971
    [9] Perrone D, Favaro P. Total variation blind deconvolution: The devil is in the details. In: Proceedings of 2014 IEEE Conference on Computer Vision and Pattern Recognition. Columbus, OH, USA: IEEE, 2014. 2909−2916
    [10] Michaeli T, Irani M. Blind deblurring using internal patch recurrence. In: Proceedings of the 13th European Conference on Computer Vision. Zurich, Switzerland: Springer Cham, 2014. 783−798
    [11] Zhang H, Yang J, Zhang Y, Nasrabadi N, Huang T S. Close the loop: Joint blind image restoration and recognition with sparse representation prior. In: Proceedings of 2011 IEEE International Conference on Computer Vision. Barcelona, Spain: IEEE, 2011. 770−777
    [12] Aharon M, Elad M, Bruckstein A. K-SVD : An algorithm for designing overcomplete dictionaries for sparse representation. IEEE Transactions on Signal Processing, 2006, 54(11): 4311−4322 doi:  10.1109/TSP.2006.881199
    [13] Ren W, Cao X, Pan J, Guo X, Zuo W, Yang M. Image deblurring via enhanced low-rank prior. IEEE Transactions on Image Processing, 2016, 25(7): 3426−3437 doi:  10.1109/TIP.2016.2571062
    [14] Pan J, Sun D, Pfister H, Yan M. Deblurring images via dark channel prior. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2018, 40(10): 2315−2328 doi:  10.1109/TPAMI.2017.2753804
    [15] Yan Y, Ren W, Guo Y, Wang R, Cao X. Image deblurring via extreme channels prior. In: Proceedings of 2017 IEEE Conference on Computer Vision and Pattern Recognition.Honolulu, HI, USA: IEEE, 2017. 6978−6986
    [16] 常振春, 禹晶, 肖创柏, 孙卫东. 基于稀疏表示和结构自相似性的单幅图像盲解卷积算法. 自动化学报, 2017, 43(11): 1908−1919

    Chang Zhen-Chun, Yu Jing, Xiao Chuang-Bai, Sun Wei-Dong. Single image blind deconvolution using sparse representation and structural self-similarity. Acta Automatica Sinica, 2017, 43(11): 1908−1919
    [17] Chen L, Fang F, Wang T, Zhang G. Blind image deblurring with local maximum gradient prior. In: Proceedings of 2019 IEEE Conference on Computer Vision and Pattern Recognition. Long Beach, CA, USA: IEEE, 2019. 1742−1750
    [18] Pan L, Hartley R, Liu M, Dai Y. Phase-only image based kernel estimation for single image blind deblurring. In: Proceedings of 2019 IEEE Conference on Computer Vision and Pattern Recognition. Long Beach, CA, USA: IEEE, 2019. 6027−6036
    [19] Kotera J, Sroubek F. Motion estimation and deblurring of fast moving objects. In: Proceedings of 2018 IEEE International Conference on Image Processing. Athens, Greece: IEEE, 2018. 2860−2864
    [20] Su S, Delbracio M, Wang J, Sapiro G, Heidrich W, Wang O. Deep video deblurring for hand-held cameras. In: Proceedings of 2017 IEEE Conference on Computer Vision and Pattern Recognition. Honolulu, HI, USA: IEEE, 2017. 237−246
    [21] Yan R, Shao L. Blind image blur estimation via deep learning. IEEE Transactions on Image Processing, 2016, 25(4): 1910−1921
    [22] Sun J, Cao W, Xu Z, Ponce J. Learning a convolutional neural network for non-uniform motion blur removal. In: Proceedings of 2015 IEEE Conference on Computer Vision and Pattern Recognition. Boston, MA, USA: IEEE, 2015. 769−777
    [23] Kupyn O, Budzan V, Mykhailych M, Matas J. DeblurGAN: Blind motion deblurring using conditional adversarial networks. In: Proceedings of 2018 IEEE Conference on Computer Vision and Pattern Recognition. Salt Lake City, UT, USA: IEEE, 2018. 8183−8192
    [24] 林懿伦, 戴星原, 李力, 王晓, 王飞跃. 人工智能研究的新前线: 生成式对抗网络. 自动化学报, 2018, 44(5): 775−792

    Lin Yi-Lun, Dai Xing-Yuan, Li Li, Wang Xiao, Wang Fei-Yue. The new frontier of AI research: Generative adversarial networks. Acta Automatica Sinica, 2018, 44(5): 775−792
    [25] 潘宗序, 禹晶, 胡少兴, 孙卫东. 基于多尺度结构自相似性的单幅图像超分辨率算法. 自动化学报, 2014, 40(4): 594−603

    Pan Zong-Xu, Yu Jing, Hu Shao-Xing, Sun Wei-Dong. Single image super resolution based on multi-scale structural self-similarity. Acta Automatica Sinica, 2014, 40(4): 594−603
    [26] Glasner D, Bagon S, Irani M. Super-resolution from a single image. In: Proceedings of 2009 IEEE International Conference on Computer Vision. Kyoto, Japan: IEEE, 2009. 349−356
    [27] Sun L, Cho S, Wang J, Hays J. Edge-based blur kernel estimation using patch priors. In: Proceedings of 2013 IEEE International Conference on Computational Photography. Cambridge, MA, USA: IEEE, 2013. 1−8
    [28] Cai J, Candes E, Shen Z. A singular value thresholding algorithm for matrix completion. SIAM Journal on Optimization, 2010, 20(4): 1956−1982 doi:  10.1137/080738970
    [29] Lucy L. An iterative technique for the rectification of observed distributions. Astronomical Journal, 1974, 79(6): 745−754
    [30] Hu Z, Cho S, Wang J, Yang M H. Deblurring low-light images with light streaks. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2018, 40(10): 2329−2341 doi:  10.1109/TPAMI.2017.2768365
    [31] Yuan L, Sun J, Quan L, Shum H Y. Progressive inter-scale and intra-scale non-blind image deconvolution. ACM Transactions on Graphics, 2008, 27(3): 74:1−74:10
    [32] Liu D, Chen X, Liu X. An improved Richardson-Lucy algorithm for star image deblurring. In: Proceedings of 2019 IEEE International Instrumentation and Measurement Technology Conference. Auckland, New Zealand: IEEE, 2019. 1−5
    [33] Zoran D, Weiss Y. From learning models of natural image patches to whole image restoration. In: Proceedings of 2011 IEEE International Conference on Computer Vision. Barcelona, Spain: IEEE, 2011. 479-486
    [34] Ortega G, Garzon E M, Vazquez F. The biconjugate gradient method on GPUs. Journal of Supercomputing, 2013, 64(1): 49−58 doi:  10.1007/s11227-012-0761-2
    [35] Dabov K, Foi A, Katkovnik V, Egiazarian K. Image denoising by sparse 3-D transform-domain collaborative filtering. IEEE Transactions on Image Processing, 2007, 16(8): 2080−2095 doi:  10.1109/TIP.2007.901238
    [36] Kohler R, Hirsch M, Mohler B. Recording and playback of camera shake: Benchmarking blind deconvolution with a real-world database. In: Proceedings of the 12th European Conference on Computer Vision. Florence, Italy: Springer Berlin Heidelberg 2012. 27−40
    [37] Mosleh A, Elmi Sola Y, Zargari F, Onzon E, Langlois J M P. Explicit ringing removal in image deblurring. IEEE Transactions on Image Processing, 2018, 27(2): 580−593 doi:  10.1109/TIP.2017.2764625
  • [1] 马新科, 杨扬, 杨昆, 罗毅. 基于模糊形状上下文与局部向量相似性约束的配准算法[J]. 自动化学报, doi: 10.16383/j.aas.c180118
    [2] 陈叶飞, 赵广社, 李国齐, 王鼎衡. 无监督多重非局部融合的图像去噪方法[J]. 自动化学报, doi: 10.16383/j.aas.c200138
    [3] 张芳, 王萌, 肖志涛, 吴骏, 耿磊, 童军, 王雯. 基于全卷积神经网络与低秩稀疏分解的显著性检测[J]. 自动化学报, doi: 10.16383/j.aas.2018.c170535
    [4] 赵树阳, 李建武. 基于生成对抗网络的低秩图像生成方法[J]. 自动化学报, doi: 10.16383/j.aas.2018.c170473
    [5] 常振春, 禹晶, 肖创柏, 孙卫东. 基于稀疏表示和结构自相似性的单幅图像盲解卷积算法[J]. 自动化学报, doi: 10.16383/j.aas.2017.c160357
    [6] 张婷, 李玉鑑, 胡海鹤, 张亚红. 基于跨连卷积神经网络的性别分类模型[J]. 自动化学报, doi: 10.16383/j.aas.2016.c150658
    [7] 李波, 卢春园, 冷成财, 金连宝. 基于局部图拉普拉斯约束的鲁棒低秩表示聚类方法[J]. 自动化学报, doi: 10.16383/j.aas.2015.c150031
    [8] 任福全, 邱天爽. 基于二阶广义全变差正则项的模糊图像恢复算法[J]. 自动化学报, doi: 10.16383/j.aas.2015.c130616
    [9] 郭观七, 尹呈, 曾文静, 李武, 严太山. 基于等价分量交叉相似性的Pareto支配性预测[J]. 自动化学报, doi: 10.3724/SP.J.1004.2014.00033
    [10] 潘宗序, 禹晶, 胡少兴, 孙卫东. 基于多尺度结构自相似性的单幅图像超分辨率算法[J]. 自动化学报, doi: 10.3724/SP.J.1004.2014.00594
    [11] 彭义刚, 索津莉, 戴琼海, 徐文立. 从压缩传感到低秩矩阵恢复: 理论与应用[J]. 自动化学报, doi: 10.3724/SP.J.1004.2013.00981
    [12] 朱雄泳, 周杰, 谭洪舟. 一种消除 LCD 运动图像去模糊模型极点的方法[J]. 自动化学报, doi: 10.3724/SP.J.1004.2012.00759
    [13] 柯文德, 崔刚, 洪炳, 蔡则苏, 朴松昊, 钟秋波. 参数化优化的仿人机器人相似性前向倒地研究[J]. 自动化学报, doi: 10.3724/SP.J.1004.2011.01006
    [14] 黄丽丽, 肖亮, 韦志辉, 张军. 空间移不变系统图像超分辨复原的快速解耦算法[J]. 自动化学报, doi: 10.3724/SP.J.1004.2010.00229
    [15] 冯祖仁, 吕娜, 李良福. 基于最大后验概率的图像匹配相似性指标研究[J]. 自动化学报, doi: 10.1360/aas-007-0001
    [16] 张利格, 黄强, 杨洁, 时有, 王志杰, JAFRI Ali Raza. 仿人机器人复杂动态动作设计及相似性研究[J]. 自动化学报, doi: 10.1360/aas-007-0522
    [17] 郎方年, 袁晓, 周激流, 何坤. 小波变换系数冗余性分析[J]. 自动化学报
    [18] 杨波, 徐光祐. 纹理相似性度量研究及基于纹理特征的图像检索[J]. 自动化学报
    [19] 裘聿皇. 成组技术与相似性系数[J]. 自动化学报
    [20] 高立群, 张嗣瀛. 关于系统相似性的研究[J]. 自动化学报
  • 加载中
计量
  • 文章访问数:  3
  • HTML全文浏览量:  1
  • 被引次数: 0
出版历程
  • 收稿日期:  2019-12-12
  • 录用日期:  2020-05-26

基于跨尺度低秩约束的图像盲解卷积算法

doi: 10.16383/j.aas.c190845
    基金项目:  北京市教育委员会科技发展计划(KM201910005029), 北京市自然科学基金资助项目(4172002)资助
    作者简介:

    北京工业大学信息学部计算机学院硕士研究生. 主要研究方向为图像处理、模式识别.E-mail: ptq17812103095@163.com

    北京工业大学信息学部计算机学院讲师、硕士生导师. 2011 年获清华大学电子工程系博士学位. 主要研究方向为图像处理与模式识别.E-mail: jing.yu@bjut.edu.cn

    北京工业大学信息学部计算机学院教授、博士生导师. 主要研究方向为数字信号处理, 音视频信号处理与网络通信. 本文通信作者.E-mail: cbxiao@bjut.edu.cn

摘要: 在模糊核未知的情况下对模糊图像进行复原称为盲解卷积问题, 这是一个欠定逆问题, 现有的大部分盲解卷积算法利用图像的各种先验知识约束问题的解空间. 由于清晰图像的跨尺度自相似性强于模糊图像的跨尺度自相似性, 且降采样模糊图像与清晰图像具有更强的相似性, 本文提出了一种基于跨尺度低秩约束的单幅图像盲解卷积算法, 利用图像跨尺度自相似性, 在降采样图像中搜索相似图像块构成相似图像块组, 从整体上对相似图像块组进行低秩约束, 作为正则项加入到图像盲解卷积的目标函数中, 迫使重建图像的边缘接近清晰图像的边缘. 本文算法没有对噪声进行特殊处理, 由于低秩约束更好地表示了数据的全局结构特性, 因此避免了盲解卷积过程受噪声的干扰. 在模糊图像和模糊有噪图像上的实验验证了本文的算法能够解决大尺寸模糊核的盲复原并对噪声具有良好的鲁棒性.

English Abstract

彭天奇, 禹晶, 肖创柏. 基于跨尺度低秩约束的图像盲解卷积算法. 自动化学报, 2020, 46(x): 1−18. doi: 10.16383/j.aas.c190845
引用本文: 彭天奇, 禹晶, 肖创柏. 基于跨尺度低秩约束的图像盲解卷积算法. 自动化学报, 2020, 46(x): 1−18. doi: 10.16383/j.aas.c190845
Peng Tian-Qi, Yu Jing, Xiao Chuang-Bai. Blind image deconvolution via cross-scale low rank prior. Acta Automatica Sinica, 2020, 46(x): 1−18. doi: 10.16383/j.aas.c190845
Citation: Peng Tian-Qi, Yu Jing, Xiao Chuang-Bai. Blind image deconvolution via cross-scale low rank prior. Acta Automatica Sinica, 2020, 46(x): 1−18. doi: 10.16383/j.aas.c190845
  • 图像复原旨在对图像降质过程进行建模, 求解降质模型的逆过程, 从降质图像中恢复出原始的清晰图像. 模糊是一种常见的图像降质现象, 通常由于相机的抖动、散焦以及物体的运动造成. 单幅图像去模糊问题研究如何从一幅模糊图像中恢复出原始的清晰图像. 根据模糊核是否已知, 去模糊方法可分为两类: 若模糊核已知, 则称为非盲复原方法; 若模糊核未知, 则称为盲复原方法.

    对于均匀模糊图像的形成过程可以表示为如下卷积模型:

    $${{y}} = {{h}}\ast{{x}}+{{n}}$$ (1)

    其中, ${{y}}$ 表示模糊图像, ${{x}}$ 表示清晰图像, $\ast$ 表示卷积运算, ${{h}}$ 为模糊核, ${{n}}$ 为噪声. 在卷积模型下, 图像盲复原即研究如何从模糊图像 中同时估计出模糊核 ${{h}}$ 和清晰图像 ${{x}}$ . 由于将模糊过程建模为卷积的形式, 因此盲复原问题也称为盲解卷积问题.

    图像盲解卷积是一个严重的欠定逆问题, 待求解的未知变量数目大于已知方程的数目, 解不惟一. 现有的大部分方法通过引入模糊核和图像的先验知识来约束问题的解空间.

    一类为基于显著边缘的方法, 此类方法充分利用图像中的显著边缘结构对模糊核进行估计. Jia等[1]首先利用图像边缘进行运动模糊核的估计, 其边缘的选取是通过手工抠图完成的, 这一方法非常依赖抠图的准确性. Joshi等[2]直接从模糊图像中提取出显著边缘, 并根据提取的边缘估计模糊核, 然而, 由于很难直接从大模糊图像中提取显著性边缘, 此方法仅对于小模糊图像较为有效. Cho等[3]利用冲击滤波器(Shock filter)对图像进行边缘的选择并用于模糊核估计; Xu等[4]在该方法的基础上验证了不同宽度的边缘对于模糊核估计的影响. 这种方法由于增强模糊图像的边缘, 在迭代求解的过程中, 为了避免出现边缘过增强等现象, 一般需要根据迭代次数不断调节边缘增强算法的参数, 因而对参数设置较为敏感.

    另一类为基于最大后验概率(Maximum a posteriori estimation, MAP)估计或变分模型的方法[511, 1319]. 基于MAP估计的方法在条件概率服从某一种噪声模型, 结合清晰图像和模糊核的先验概率模型的假设条件下, 通过最大化后验概率来估计清晰图像和模糊核, 而变分模型则是在噪声概率模型服从高斯分布的条件下, 通过负对数函数将最大化后验概率问题转换为最小化变分问题. 早期, Chan等[5]利用全变分的方法来约束清晰图像的梯度. Levin等[6]提出了一种超拉普拉斯先验建模图像的梯度来估计模糊核. Fergus等[7]假设清晰图像的梯度服从拖尾分布(Heavy-tailed distribution), 结合高斯分布模型利用变分贝叶斯方法和期望最大化求解最大后验概率问题. Levin等[8]证明直接求解最大后验概率问题偏向获得平凡解, 即模糊图像本身和二维狄拉克函数, 这是因为图像梯度先验在很多情况下偏向于模糊图像, 而不是清晰图像. Perrone等[9]利用全变分正则化进行模糊核的估计, 并且证明了投影交替最小化(Projected alternating minimization, PAM)方法可以有效避免平凡解. 图像梯度表示邻域内像素之间的关系, 由于自然图像包含复杂的结构, 仅利用相邻像素之间的关系很难清楚地描述这种复杂的结构, 基于图像块的先验可以表示更大更复杂的图像结构. Michaeli等[10]利用不同尺度图像之间图像块的相似性作为先验来估计模糊核. Zhang等[11]将图像块的稀疏表示作为先验进行模糊估计, 并利用K-SVD算法[12]通过其他自然图像或模糊图像本身训练字典. Ren等[13]构造了图像亮度和梯度的低秩约束先验用于模糊核的估计. Pan等[14]在模糊核的估计中引入了暗通道先验, 即图像块中不同通道的最小像素值, 但是这种方法不适用于缺乏暗像素以及有噪的图像, 这是因为在这种情况下, 无法保证暗通道的稀疏性. 在Pan等[14]方法的基础上, Yan等[15]结合亮通道先验与暗通道先验作为约束项以提高算法的鲁棒性. Chang等[16]将图像块的稀疏表示和非局部(Non-local)自相似模型作为先验进行模糊核的估计. Chen等[17]利用 $\ell_1$ 范数约束局部最大梯度值作为正则化项来估计模糊核.

    本文将上述方法统称为基于模型的方法. 近些年, 基于深度学习的方法[2023]逐渐广泛应用于图像去模糊领域. 最初, 此类方法主要是采用深度卷积神经网络(Convolution neural network, CNN)模型实现对清晰图像的估计或者对模糊核的估计. Su等[20]首先提出了一种基于深度卷积神经网络的视频去模糊算法, 该方法通过卷积神经网络模型端到端地学习多帧模糊图像与清晰图像之间的关系并用于清晰图像的复原. Yan等[21]利用深度卷积神经网络进行模糊核分类并利用广义回归神经网络(General regression neural network, GRNN)进行模糊核参数的估计. Sun等[22]设计了一种基于马尔科夫随机场(Markov random field, MRF)的卷积神经网络用于非均匀模糊核的估计. 从卷积神经网络到近期提出的生成式对抗网络(Generative adversarial network, GAN)[24], 基于深度学习的方法取得了更好的去模糊效果. Kupyn等[23]利用条件生成式对抗网络(Conditional generative adversarial network, cGAN)进行去模糊, 使网络直接输出重建后的清晰图像. 然而, 基于深度学习的方法主要有三个方面的问题: 1) 网络很难训练, 需要大量的训练数据, 而且对参数的设置非常敏感; 2)网络无法保证输出的结果符合数据保真项, 虽然在训练过程中可以产生较好的效果, 但是在不同于训练数据特征的图像上可能会失效; 3) 对于估计不同类型的模糊核, 需要用不同的模糊图像训练网络, 且很难获取真实模糊训练数据集. 综上所述, 基于深度学习的方法受到了一定程度的限制.

    目前大部分的盲解卷积算法对噪声较为敏感, 尤其对于大模糊有噪图像, 无法准确估计模糊核. 本文的算法旨在构造基于图像块的先验模型, 解决大模糊有噪图像的模糊核估计问题. 本文提出了一种基于跨尺度低秩约束的单幅图像盲解卷积算法, 利用跨尺度自相似性, 在降采样图像中搜索相似的图像块, 构成相似块图像组矩阵, 通过对相似图像块组矩阵进行低秩约束, 迫使当前图像在迭代中更加清晰, 使重建图像接近清晰图像. 一方面, 模糊降低了图像的跨尺度自相似性, 清晰图像的跨尺度自相似性强于模糊图像的跨尺度自相似性, 因此图像跨尺度低秩先验使解偏向清晰图像而不是模糊图像, 另一方面, 降采样减弱了图像的模糊程度, 与模糊图像相比, 其降采样图像与清晰图像具有更强的相似性, 迫使模糊图像更加接近清晰图像. 文献[10]在上述两点结论的基础上, 通过约束相似图像块与清晰图像块之间的相似性来估计模糊核, 该算法与本文的算法均利用跨尺度自相似性提供的附加信息进行模糊核估计, 不同之处在于该算法将图像中的各个图像块与其每一个相似图像块进行单独比较, 相似图像块之间是相互独立的, 通过最小化清晰图像块与相似图像块之间的均方误差来约束清晰图像块. 为了更好地利用相似图像块之间的相关性, 本文的算法将降采样图像中的相似图像块构造为一个相似图像块组, 并对该组进行整体的低秩约束, 一是非局部相似图像块引入了附加的空间结构信息, 更有利于图像块空间结构的重建, 二是噪声数据在相似图像块组数据中更加稀疏, 更有利于从稀疏噪声中恢复潜在的图像数据, 因此, 本文的算法能够解决大尺寸模糊核的盲解卷积问题, 并且避免盲解卷积过程受噪声的干扰.

    本文后续结构组织如下: 第1节描述本文提出的图像跨尺度低秩先验模型; 第2节阐述本文提出的基于跨尺度低秩先验的图像盲解卷积模型以及求解过程; 第3节通过定量和定性实验验证本文算法的有效性; 第4节分析跨尺度低秩先验的有效性与局限性; 第5节为全文的总结.

    • 跨尺度自相似性普遍存在于自然图像中, 本文从模糊图像的降采样图像中搜索相似图像块组成相似块组矩阵, 对跨尺度相似图像块组矩阵进行低秩约束.

    • 多尺度自相似性是指在同一场景中存在着相同尺度以及不同尺度的相似结构. 这种多尺度自相似性具体表现为图像中所具有的相同尺度以及不同尺度的相似图像块[25], 即从图像中提取一个图像块, 可在原尺度图像及其他尺度的图像中找到相似的图像块. 相机的透视投影是图像的多尺度自相似性普遍存在的主要原因. Glasner等[26]通过大量图像的实验证明了相似图像块普遍存在于同一场景的相同尺度以及不同尺度图像中, 由于小尺寸的图像块只含有少量信息, 通常只包含一个边缘、角点等, 因此, 即使人类视觉不易察觉小尺寸的相似图像块, 但这些图像块普遍存在于自然图像的多尺度图像中. 不同尺度的图像自相似性简称为跨尺度自相似性.

      图1展示了自然图像的多尺度自相似性. 图1(a)为一幅清晰的自然图像, 对于深色方框标记的一个7×7的图像块, 在该图像中搜索同尺度相似图像块, 用浅色方框标记, 图1(b)为清晰图像中给定图像块及其同尺度相似图像块的细节放大图. 对图1(a)进行2倍降采样, 如图1(c)所示, 图中浅色方框标记的图像块为在该图像中搜索的跨尺度相似图像块, 图1(d)为清晰图像中给定图像块及其跨尺度相似图像块的细节放大图, 其中, 深色方框为原尺度图像中给定的图像块. 跨尺度自相似性存在于不同尺度的图像中, 而模糊图像的模糊核会随着图像尺度的变化而发生尺度变换, 即同一幅模糊图像的不同尺度图像的模糊程度不同, 从而导致模糊图像的跨尺度自相似性减弱, 如图2所示. 图2(a)图1(a)对应的模糊图像, 深色方框标记了模糊图像中对应的7×7图像块, 浅色方框标记了该图像中的同尺度相似图像块, 图2(b)为模糊图像中给定图像块及其同尺度相似图像块的细节放大图. 同样地, 对图2(a)进行2倍降采样, 如图2(c)所示, 图中浅色方框标记了在降采样模糊图像中搜索的跨尺度相似图像块, 图2(d)为模糊图像中给定图像块及其跨尺度相似图像块的细节放大图. 通过观察图2(b)图2(d)可以发现, 对于模糊图像, 同尺度相似图像块有着较强的相似性, 而跨尺度相似图像块的相似性明显减弱. 通过观察图1图2说明了清晰图像的跨尺度自相似性强于模糊图像的跨尺度自相似性.

      图  1  清晰图像的多尺度自相似性

      Figure 1.  Multi-scale self-similarity of the sharp image

      图  2  模糊图像的多尺度自相似性

      Figure 2.  Multi-scale self-similarity of the blurry image

      图3说明了降采样模糊图像比模糊图像本身与清晰图像的相似性更强. 对于图1(b)中深色方框标记的清晰图像块, 在图3(a)所示的模糊图像和图3(c)所示降采样模糊图像中搜索其相似图像块并用浅色方框标记, 图3(b)图3(d)分别为搜索的相似图像块的细节放大图. 通过比较图3(b)图3(d)可以看出, 由于降采样模糊图像的模糊程度减弱, 从降采样模糊图像中搜索的相似块相比从模糊图像本身搜索的相似块, 与清晰图像块具有更强的相似性.

      图  3  模糊图像和降采样模糊图像分别与清晰图像的相似性比较

      Figure 3.  Comparison of similarities between the blurry image and the down-sampled blurry image related the sharp image

      跨尺度自相似性可以为图像盲复原提供必要的附加信息. 图4给出了跨尺度自相似性在图像复原应用中的解释, 图中左边为清晰图像及其降采样图像, 右边为模糊图像及其降采样图像. 参照Michaeli等[10]通过一维信号对模糊信号的降采样信号与清晰信号相似性的证明, 本文利用二维信号进行简要证明, 记二维坐标为 $\xi$ $\eta$ . 由于跨尺度自相似性普遍存在于自然场景中, 在图中左边, 假设 ${p}_1(\xi,\eta)$ ${p}_2(\xi,\eta)$ 为同一场景中不同尺寸的相似结构, 忽略采样问题的影响, ${p}_2(\xi,\eta)$ 的尺寸为 ${p}_1(\xi,\eta)$ $a$ 倍, 可表示为 ${p}_2(\xi,\eta) = {p}_1({\xi}/{a},{\eta}/{a})$ , ${p}_2^a(\xi,\eta)$ ${p}_2(\xi,\eta)$ 的降采样版本, 即:

      图  4  跨尺度自相似性用于图像盲复原的解释

      Figure 4.  Interpretation of cross-scale self-similarity for blind image restoration

      $${p}_2^a(\xi,\eta) = {p}_2(a\xi,a\eta) = {p}_1(\xi,\eta)$$ (2)

      因此, ${p}_2^a(\xi,\eta)$ ${p}_1(\xi,\eta)$ 具有相同的尺寸; 在图中右边, ${p}_3(\xi,\eta)$ ${p}_4(\xi,\eta)$ 分别为 ${p}_1(\xi,\eta)$ ${p}_2(\xi,\eta)$ 的模糊版本, 即:

      $${p}_3(\xi,\eta) = {p}_1(\xi,\eta)\ast {h}(\xi,\eta)$$ (3)
      $${p}_4(\xi,\eta) = {p}_2(\xi,\eta)\ast{h}(\xi,\eta) = {p}_1({\xi}/{a},{\eta}/{a})\ast{h}(\xi,\eta)$$ (4)

      其中, ${h}(\xi,\eta)$ 为模糊核. ${p}_4^a(\xi,\eta)$ ${p}_4(\xi,\eta)$ 的降采样版本, 由式(4)可得:

      $${p}_4^a(\xi,\eta) = {p}_4(a\xi,a\eta) = {p}_1(\xi,\eta)\ast {h}(a\xi,a\eta)$$ (5)

      ${p}_4^a(\xi,\eta)$ ${p}_3(\xi,\eta)$ 具有相同的尺寸. 根据式(5), ${p}_4^a(\xi,\eta)$ 可认为是由清晰结构 ${p}_1(\xi,\eta)$ 与模糊核 ${h}(a\xi,a\eta)$ 卷积的结果, 由于 ${h}(a\xi,a\eta)$ 的尺寸是 ${h}(\xi,\eta)$ $1/a$ 倍, 因此, 相比于 ${h}(\xi,\eta)$ , ${h}(a\xi,a\eta)$ 对图像造成的模糊程度更小.

      为了描述简便, 将二维信号表示为向量形式. 比较式(3)和式(5)可知, ${{p}}_4^a$ ${{p}}_3$ 的边缘更加清晰, 相比于 ${{p}}_3$ , ${{p}}_4^a$ 的边缘更接近清晰结构 ${{p}}_1$ 的边缘, 可得① ${\bf{SIM}}({{p}}_1,{{p}}_4^a)>{\bf{SIM}}({{p}}_1,{{p}}_3)$ ; 同时, 结合式(2)可以看出, 相比于 ${{p}}_1$ ${{p}}_2^a$ , ${{p}}_3$ ${{p}}_4^a$ 的相似性较弱, 可得② ${\bf{SIM}}({{p}}_1,{{p}}_2^a)>{\bf{SIM}}({{p}}_3,{{p}}_4^a)$ , 其中, ${\bf{SIM}}(\cdot)$ 表示相似性度量. 第①点表明降采样模糊图像相比于模糊图像本身与清晰图像具有更强的相似性, 即 ${{p}}_4^a$ ${{p}}_1$ ${{p}}_3$ ${{p}}_1$ 更加相似, 在复原过程中, ${{p}}_4^a$ 能够为 ${{p}}_1$ 的重建提供更多更准确的结构信息. 第②点表明清晰图像比模糊图像具有更强的跨尺度自相似性, 即 ${{p}}_1$ ${{p}}_2^a$ ${{p}}_3$ ${{p}}_4^a$ 的相似性更强, 在复原过程中, 基于此性质的先验模型求解偏向于获得清晰图像.

    • 设清晰图像 ${{x}}\in{\mathbb{R}}^{N}$ 的降采样图像表示为 ${{x}}^{a}\in $ ${\mathbb{R}}^{N/a^2}$ , 其中 $N$ 为清晰图像的像素数, $a$ 为降采样因子. 从清晰图像 ${{x}}$ 及其降采样图像 ${{x}}^{a}$ 中抽取的图像块分别表示为 ${\bf{Q}}_j {{x}}$ ${\bf{R}}_i{{x}}^{a},$ 其中 ${\bf{Q}}_j\in{\mathbb{R}}^{n\times N}$ ${\bf{R}}_i\in{\mathbb{R}}^{n\times N/a^2}$ 为抽取矩阵, 分别用于从清晰图像及其降采样图像中抽取第 $j$ 个和第 $i$ 个图像块, 抽取的图像块尺寸为 $n$ . 对于图像中的任意图像块 ${\bf{Q}}_j {{x}}$ , 在降采样图像 ${{x}}^{a}$ 中搜索其相似图像块 ${\bf{R}}_i{{x}}^{a}$ . 由于图像的不同尺度间广泛存在着跨尺度相似图像块, 即对于 ${\bf{Q}}_j{{x}}$ , 可以在降采样图像 ${{x}}^{a}$ 中寻找多个与其相似的图像块. 设在 ${{x}}^{a}$ 中搜索 $m-1$ 个与 ${\bf{Q}}_j{{x}}$ 最相似的图像块, 并按列表示为 ${\bf{R}}_{j_i}{{x}}^{a} \in{{\mathbb{R}}}^{n},i = 1,\cdots, $ ${m-1},{\bf{Q}}_j{{x}}$ 与这些在降采样图像中的相似图像块聚合构成一个跨尺度相似图像块组 ${\bf{P}}_{j}$ , 可表示为:

      $${\bf{P}}_{j} = [{\bf{Q}}_j{{x}}, {\bf{R}}_{j_1}{{x}}^{a},\cdots,{\bf{R}}_{j_{m-1}}{{x}}^{a} ]\in{\mathbb{R}}^{n\times m}$$ (6)

      其中, $n$ 为图像块的尺寸, $m$ 为图像块的个数.

      本文提出了一种基于跨尺度自相似性的低秩先验模型, 利用低秩矩阵估计(Low rank matrix approximation, LRMA)对跨尺度相似图像块组矩阵进行低秩约束, 该先验模型如下所示:

      $$ \min\limits_{{\bf{L}}_{j}} \Vert {\bf{P}}_{j}-{\bf{L}}_{j} \Vert^{2}_{ {\rm{F}}} \quad {\rm{s.t.}} {\rm{rank}} ({\bf{L}}_{j})\le t $$ (7)

      式中, ${\bf{P}}_{j}$ 表示图像块 ${\bf{Q}}_j{{x}}$ 与其在降采样图像中搜索的相似图像块构成的组矩阵, ${\bf{L}}_{j}$ 表示观测矩阵 ${\bf{P}}_{j}$ 中潜在的低秩结构, ${\left\| \cdot \right\|}_ {{\rm{F}}}$ 表示矩阵Frobenius范数, ${\rm{rank}} (\cdot)$ 为秩函数, $t$ 为限制矩阵秩的常数. 跨尺度低秩先验模型的有效性体现在如下两点: 其一, 由于模糊的作用, 清晰图像的跨尺度自相似性强于模糊图像的跨尺度自相似性, 此先验使目标函数的解偏向于清晰图像而不是模糊图像; 其二, 由于降采样降低了图像的模糊程度, 从降采样模糊图像中找到的相似块比模糊图像中找到的相似块, 与清晰图像具有更强的相似性, 所以利用从降采样模糊图像中搜索的相似块构成相似图像块组, 通过对相似图像块组的低秩约束迫使重建图像更加接近清晰图像. 此外, 低秩结构更好地表示了数据的全局结构, 提高了对噪声的鲁棒性.

      尽管图像跨尺度自相似性广泛存在, 然而, 并不是所有的图像块都能为图像复原提供有效的附加信息. 纹理或细节丰富的图像块对模糊核的估计起着关键的作用, 而灰度平坦的图像块对模糊核估计几乎不起作用, 例如若某一图像区域的像素值为常数, 则该区域经过模糊后的像素值仍为同一常数, 在该区域清晰图像与模糊图像完全相同, 因此这一区域并不能为模糊核的估计提供有效的信息. 本文将灰度值变化较小的图像块称为平坦块, 灰度值变化较大的图像块称为细节块, 在跨尺度低秩先验模型中, 仅将细节块用于模糊核的估计. 本文考虑了两种筛选图像中细节块的方案: 其一, 计算图像块的方差, 方差较大的图像块说明图像块中灰度变化较为剧烈; 其二, 计算像素的梯度, 较大的梯度表明邻域内像素灰度变化明显, 即对应纹理或细节丰富的区域. 前者需要对图像中的每一个图像块计算方差, 计算量大; 后者可以利用模板卷积的边缘检测实现, 速度快, 且通常图像块的尺寸很小, 图像块的灰度变化基本上等效于邻域内的灰度变化. 因此, 本文利用图像边缘检测确定细节块.

      由于相似图像块经常出现在邻近区域, 因而在降采样图像中一定尺寸的搜索窗口内通过图像块匹配搜索相似图像块. 图像块相似性的判据有多种度量准则, 如欧氏距离、相关系数等, 本文采用欧氏距离作为图像块相似性的度量依据. 对于不同程度的细节块, 所搜索相似图像块的个数不同, 即对于不同细节块, 其相似图像块组矩阵的列数不同. 本文采用一种自适应方法[26]确定图像块相似性判断的阈值, 对原始图像 ${{x}}$ 进行插值移位, 生成具有 $1/2$ 亚像素位移的图像 $\tilde{ {{x}} }$ , 对于每一个输入图像块 ${\bf{Q}}_j{{x}}$ , 在 $\tilde{ {{x}} }$ 中找到对应位置的图像块 ${\bf{Q}}_j \tilde{{{x}} }$ , 阈值 $\delta_d$ 的计算式为:

      $$\delta_d = \gamma \Vert {\bf{Q}}_j{{x}} - {\bf{Q}}_j \tilde{{{x}} } \Vert _2$$ (8)

      其中, $\gamma$ 为控制系数. 选取欧氏距离小于 $\delta_d$ 的图像块作为原图像块的相似块. 由式(8)可知, 图像块灰度变化越剧烈, 阈值 $\delta_d$ 越大; 反之, 图像块灰度变化越平缓, 阈值 $\delta_d$ 则越小. 与此同时, 设置相似块搜索个数的下限 $\Delta_l$ 和上限 $\Delta_h$ , 即相似块个数满足 $\Delta_l \le m \le \Delta_h$ . 如果搜索到的相似块个数小于 $\Delta_l$ , 则不采用此图像块; 如果搜索到的相似块个数大于 $\Delta_h$ , 那么仅选取前 $\Delta_h$ 个相似图像块.

    • 在上一节提出的跨尺度低秩先验模型的基础上, 本节给出了本文图像盲解卷积算法的数学模型及求解过程.

    • 本文结合跨尺度自相似性与低秩矩阵估计, 将式(7)中的图像跨尺度低秩先验作为正则化约束, 提出的单幅图像盲解卷积算法可表示为如下约束最优化问题:

      $$ \begin{split} &\min\limits_{{{x}},{{h}}}\,\{ \Vert \nabla {{y}}-{{h}}\ast \nabla {{x}}\Vert^{2}_{2}+ \lambda_{s} \frac{N}{|{\bf{M}}|} \sum_{j \in {\bf{M}} } \Vert {\bf{P}}_{j}-{\bf{L}}_{j} \Vert^{2}_{ {\rm{F}}} +\\ &\qquad\lambda_{g} \Vert \nabla {{x}} \Vert ^{2}_{2}+\lambda_{h} \Vert {{h}} \Vert ^{2}_{2}\} \quad {\rm{s.t.}}\,{\rm{rank}} ({\bf{L}}_{j})\le t \\[-10pt]\end{split}$$ (9)

      其中, ${{y}}$ 为模糊图像, ${{x}}$ 为清晰图像, ${{h}}$ 为模糊核, $\nabla = \{ {\partial _x},{\partial _y}\}$ 为图像的梯度算子, $\ast$ 表示卷积操作, ${\left\| \cdot \right\|}_2$ 表示 $\ell_2$ 范数, ${\bf{M}}$ 为二值标记矩阵, 用于标记细节块的位置, $|{\bf{M}}|$ ${\bf{M}}$ 中非零元素的个数, $\lambda_{g}$ $\lambda_{s}$ $\lambda_{h}$ 为正则化参数. 式(9)中第一项为数据保真项, 保证复原结果符合图像的降质模型; 第二项为跨尺度低秩约束正则项, 迫使重建图像的边缘接近清晰图像的边缘, ${j \in {\bf{M}} }$ 表示将跨尺度低秩先验仅限制在标记矩阵 ${\bf{M}}$ 中值为1的细节块; 第三项为梯度约束项, 采用 $\ell_2$ 范数对图像梯度进行约束, 能够减小基于图像块先验引入的边缘“棱角”效应, 保持图像边缘的平滑性; 第四项为模糊核的正则化约束项, 保证了模糊核的平滑性.

    • 由于式(9)是非凸的, 没有闭合解, 本文采取交替迭代求解的方法对式(9)所示的最优化问题进行求解, 即先固定对清晰图像的估计 $\hat{{{x}}}_{k},$ 求解模糊核 $\hat{{{h}}}_{k+1},$ 再固定模糊核 $\hat{{{h}}}_{k+1}$ 更新对清晰图像的估计 $\hat{{{x}}}_{k+1}.$ 每一次迭代, 更新标记矩阵 ${\bf{M}},$ 通过对图像块进行筛选, 从而排除平坦块对模糊核估计的干扰.

      1)筛选图像块

      对清晰图像的当前估计结果 $\hat{{{x}}}_{k}$ 进行边缘估计, 边缘像素对应的图像块即为细节块, 参与模糊核的估计. 引入二值标记矩阵 ${\bf{M}}$ , 若 ${\bf{M}}$ 中对应的图像块为细节块, 则该位置的元素值为1, 否则该位置的元素值为0. 本文利用Sun等[27]的边缘检测算法确定当前图像估计中的边缘像素, 该算法对于每一个像素, 利用方向算子选取8个方向模板中的最大响应幅度作为该像素的边缘强度.

      由于本文仅将跨尺度低秩正则化约束限制在图像的细节块, 导致当前估计的图像 $\hat{{{x}}}_{k}$ 中平坦块受到的约束较少, 从而可能导致复原图像的平滑区域含有较多的噪声, 为了减小噪声对边缘估计造成的干扰, 本文首先对当前估计的图像 $\hat{{{x}}}_{k}$ 进行高斯滤波, 然后对滤波后的图像进行边缘估计.

      2)估计模糊核

      对模糊核进行更新, 即固定 $\hat{{{x}}}_{k}$ , 更新 $\hat{{{h}}}_{k+1}$ , 此时目标函数简化为:

      $$\hat{{{h}}}_{k+1} = \arg\min\limits_{{{h}}}\{ \Vert \nabla {{y}} - {{h}} \ast (\nabla \hat{{{x}}}_{k} \odot {\bf{M}} ) \Vert_{2}^{2} + \lambda_{h} \Vert {{h}} \Vert^{2}_{2}\}$$ (10)

      式中, $\odot$ 表示逐元素相乘. 在估计模糊核时, 仅利用图像中的细节块, 避免了平坦块对模糊核估计的影响, 有利于准确地估计模糊核. 式(10) 为关于 ${{h}}$ 的二次函数, 因此存在闭合解, 令式(10)对 ${{h}}$ 的导数为零, 可得:

      $$ \begin{split} &\Bigl[(\partial_x\hat{{{x}}}_k\odot {\bf{M}})\circ(\partial_x\hat{{{x}}}_k\odot {\bf{M}})+(\partial_y\hat{{{x}}}_k\odot {\bf{M}}) \circ\\ &\quad(\partial_x\hat{{{x}}}_k\odot {\bf{M}}) + \lambda_{h}\Bigl]\ast\hat{{{h}}}_{k+1} \ = (\partial_x\hat{{{x}}}_k\odot {\bf{M}})\circ\\ &\quad\partial_x {{y}}+(\partial_y\hat{{{x}}}_k\odot {\bf{M}}) \circ\partial_y {{y}} \end{split}$$ (11)

      其中, $\circ$ 表示相关运算. 根据卷积定理可知, 空域中图像的卷积等效于频域中傅里叶变换的乘积, 本文将式(11)转换到频域求解:

      $$ \begin{split} &\Bigl[\overline{{\cal{F}}(\partial_x\hat{{{x}}}_k\odot {\bf{M}})} {\cal{F}} (\partial_x\hat{{{x}}}_k\odot {\bf{M}}) +\\ &\qquad\overline{{\cal{F}}(\partial_y\hat{{{x}}}_k\odot {\bf{M}})}{\cal{F}} (\partial_x\hat{{{x}}}_k \odot {\bf{M}}) + \lambda_{h}\Bigl]\\ &\qquad{\cal{F}}(\hat{{{h}}}_{k+1}) = \overline{{\cal{F}}(\partial_x\hat{{{x}}}_k\odot {\bf{M}})} {\cal{F}}( \partial_x {{y}})+\\ &\qquad\overline{{\cal{F}}(\partial_y\hat{{{x}}}_k\odot {\bf{M}})}{\cal{F}}( \partial_y {{y}}) \end{split}$$ (12)

      由式(12)可得 ${{h}}$ 的闭合解:

      $$\hat{{{h}}}_{k+1} = {\cal{F}}^{-1}\left(\frac{\overline{{\cal{F}}(\partial_x\hat{{{x}}}_k\odot {\bf{M}})}{\cal{F}}(\partial_x{{y}}) + \overline{{\cal{F}}(\partial_y\hat{{{x}}}_k\odot {\bf{M}})} {\cal{F}}(\partial_y{{y}})}{ \overline{{\cal{F}}( \partial_x\hat{{{x}}}_k \odot {\bf{M}})} {\cal{F}}( \partial_x\hat{{{x}}}_k \odot {\bf{M}}) + \overline{{\cal{F}}(\partial_y\hat{{{x}}}_k\odot {\bf{M}})} {\cal{F}}(\partial_y\hat{{{x}}}_k\odot {\bf{M}}) + \lambda_h}\right)$$ (13)

      式中, ${\cal{F}}(\cdot)$ 表示傅里叶变换, ${\cal{F}}^{-1}(\cdot)$ 表示傅里叶逆变换, $\overline{{\cal{F}}(\cdot)}$ 表示傅里叶变化的复共轭.

      3)估计清晰图像

      在上一次迭代估计的基础上, 对清晰图像进行更新, 即固定 $\hat{{{h}}}_{k+1},$ 给定 $\hat{{{x}}}_{k},$ 更新 $\hat{{{x}}}_{k+1},$ 式(9)所示的目标函数简化为:

      $$ \begin{split} \hat{{{x}}}_{k+1} =& \arg\min\limits_{{{x}}} \Vert \nabla {{y}} - \hat{{{h}}}_{k+1} \ast \nabla {{x}} \Vert ^{2}_{2}+ \\ &\lambda_{s} \frac{N}{|{\bf{M}}|} \sum_{j \in {\bf{M}} } \Vert {\bf{P}}_{j}-{\bf{L}}_{j} \Vert^{2}_{ {\rm{F}}}+\lambda_{g}\Vert \nabla {{x}} \Vert ^{2}_{2} \end{split}$$ (14)

      由于 ${\bf{P}}_{j}$ 的低秩结构 ${\bf{L}}_{j}$ 的估计依赖于方程的解 $\hat{{{x}}}_{k+1},$ 因而无法得到闭合解. 本文利用上一次对清晰图像的估计 $\hat{{{x}}}_{k}$ 近似 $\hat{{{x}}}_{k+1}$ 进行求解, 并用核范数对秩函数进行松弛来约束 ${\bf{L}}_{j}$ 的低秩性, 将式(7)写为拉格朗日的形式为:

      $$ \hat{{\bf{L}}}_{j} = \arg\min\limits_{{\bf{L}}_{j}} \Vert {\bf{P}}_{j}-{\bf{L}}_{j} \Vert^{2}_{ {\rm{F}}} +\beta \Vert {\bf{L}}_{j} \Vert ^{}_{*} $$ (15)

      式中, ${\left\| \cdot \right\|}_*$ 为核范数, $\beta$ 为平衡数据保真项与低秩项的参数. 本文利用奇异值软阈值算法(Singular value thresholding, SVT)[28]对式(15)求解, 首先对组矩阵 ${\bf{P}}_{j}$ 进行奇异值分解:

      $${\bf{P}}_{j} = {\bf{U}}_{j}{{\Sigma}}_{j}{\bf{V}}_{j}^{\rm{T}}$$ (16)

      其中, ${\bf{U}}_{j}$ ${\bf{V}}_{j}$ 为标准正交矩阵, ${{\Sigma}}_{j} = {{\rm{diag}}} (\sigma_{j,1},\cdots,$ $\sigma_{j,r})$ 为奇异值对角矩阵, $\sigma_{j,i},i = 1,\cdots,r$ 为矩阵 ${\bf{P}}_{j}$ 的奇异值, $r = \min(m,n),m$ $n$ 表示组矩阵 ${\bf{P}}_{j}$ 的列数和行数. 利用奇异值软阈值算法求解组矩阵 ${\bf{P}}_{j}$ 的低秩结构 ${\bf{L}}_{j}$ , 其闭合解为:

      $$ \hat{{\bf{L}}}_{j} = {\bf{U}}_{j} {\cal{S}}_{ \beta }({{\Sigma}}_{j}) {\bf{V}}^{\rm{T}}_{j} $$ (17)

      其中, ${\cal{S}}_{ \beta }({{\Sigma}}_{j})$ 是以 $\beta \ge 0$ 为参数的软阈值算子, 定义为:

      $${{\cal{S}}_{ \beta }( {{{\Sigma}}} _j) = {{\rm{soft}}}( {{{\Sigma}}} _{j} , \beta ) = \max({{{\Sigma}}} _{j} - \beta , 0) }$$ (18)

      $\hat{{\bf{L}}}_{j}$ 中的第一列为图像块 ${\bf{Q}}_j {{x}}$ 的重建结果 ${\bf{Q}}_j \hat {{{x}}}_k.$ 通过对所有细节块的重建图像块 ${\bf{Q}}_j \hat {{{x}}}_k$ 进行求和处理可得低秩约束的重建图像, 即:

      $${{z}}_k = \sum\limits_{ j \in {\bf{M}} }{\bf{Q}}_{j}^{ {\rm{T}}}{\bf{Q}}_j \hat {{{x}}}_k$$ (19)

      式中, ${\bf{Q}}_{j}^{ {\rm{T}}}$ 表示将重建图像块 ${\bf{Q}}_j \hat {{{x}}}_k$ 根据抽取的位置放回图像中对应位置, 从而获得重建图像 ${{z}}_k.$ 一方面, 清晰图像的跨尺度自相似性强于模糊图像的跨尺度自相似性, 通过跨尺度自相似性组成相似图像块组, 使得目标函数的解偏向清晰图像; 另一方面, 由于降采样模糊图像中图像块的边缘更加清晰, 与清晰图像具有更强的相似性, 通过约束相似图像块组的矩阵秩, 迫使当前图像估计的边缘更接近清晰图像的边缘.

      将式(14)转换为矩阵向量乘积的形式, ${\bf{P}}_{j}$ 为相似图像块组, 其中第一列为图像块 ${\bf{Q}}_j {{x}},$ 为了在表达式中建立与图像 ${{x}}$ 之间的关系, 将式(14)中 $\Vert{\bf{P}}_{j} - {\bf{L}}_{j}\Vert_{ {\rm{F}}}^{2}$ 写为 $\Vert {\bf{Q}}_{j} {{x}} - {\bf{Q}}_{j}\hat{{{x}}}_{k} \Vert_{2}^{2}$ 的形式, 可表示为:

      $$ \begin{split} \hat{{{x}}}_{k+1} =& \arg\min\limits_{{{x}}} \Vert {{\nabla}}_{x}{{y}} - {\bf{H}}_{k+1}{{\nabla}}_{x}{{x}}\Vert_{2}^{2} + \\ &\Vert{{\nabla}}_{y}{{y}} - {\bf{H}}_{k+1}{{\nabla}}_{y}{{x}} \Vert_{2}^{2}+ \\ &\lambda_{s} \frac{N}{|{\bf{M}}|} \sum_{j \in {\bf{M}} } \Vert {\bf{Q}}_{j} {{x}} - {\bf{Q}}_{j}\hat{{{x}}}_{k} \Vert_{2}^{2} + \\ &\lambda_{g}\left( \Vert{{\nabla}}_{x} {{x}} \Vert_{2}^{2} + \Vert {{\nabla}}_{y}{{x}} \Vert_{2}^{2}\right) \end{split}$$ (20)

      式中, ${{\nabla}}_{x},{{\nabla}}_{y} \in {\mathbb{R}}^{N\times N}$ 分别为梯度算子 $\partial_x$ $\partial_y$ 的矩阵表示形式, 令上式对 ${{x}}$ 的导数为0, 可得如下方程:

      $$ \begin{split} &\left[({\bf{H}}_{k+1}^{ {\rm{T}}}{\bf{H}}_{k+1}+\lambda_{g}){\bf{G}} + \lambda_{s}\frac{N}{|{\bf{M}}|} \sum_{j\in{\bf{M}}}{\bf{Q}}_{j}^{ {\rm{T}}}{\bf{Q}}_{j}\right ]\hat{{{x}}}_{k+1} =\\ &\qquad {\bf{H}}_{k+1}^{ {\rm{T}}}{\bf{G}}{{y}} + \lambda_{s} \frac{N}{|{\bf{M}}|} {{z}}_k \\[-15pt] \end{split} $$ (21)

      其中, ${\bf{G}} = {{\nabla}}_{x}^{\rm{T}}{{\nabla}}_{x}+{{\nabla}}_{y}^{\rm{T}}{{\nabla}}_{y},{{z}}_k = \sum_{ j \in {\bf{M}} }{\bf{Q}}_{j}^{ {\rm{T}}}{\bf{Q}}_j \hat {{{x}}}_k.$ 由于 ${\bf{M}}$ 的作用, 无法直接在频域中计算闭合解, 而大规模矩阵向量的乘积在频域中计算, 将式(21)写为如下形式:

      $$ \begin{split} &\biggl\{{\cal{F}}^{-1}\Bigl[\left(\overline{{\cal{F}}({{h}}_{k+1})} {\cal{F}} ({{h}}_{k+1}) +\lambda_{g}\right){\bf{F}}_g\Bigl]+ \\ &\quad\lambda_{s}\frac{N}{|{\bf{M}}|} \sum\limits_{j\in{\bf{M}}}{\bf{Q}}_{j}^{\rm{T}}{\bf{Q}}_{j}\}\hat{{{x}}}_{k+1}= {\cal{F}}^{-1}\Bigl[\overline{{\cal{F}}({{h}}_{k+1})}{\bf{F}}_{g}{\cal{F}}({{y}})\Bigl] +\\ &\quad\lambda_{s}\frac{N}{|{\bf{M}}|} {{z}}_k \\[-15pt] \end{split}$$ (22)

      其中, ${\bf{F}}_{g} = \overline{{\cal{F}}(\partial_{x})}{\cal{F}}(\partial_{x})+\overline{{\cal{F}}(\partial_{y})}{\cal{F}}(\partial_{y}).$ 由于式(22)中线性方程组的系数矩阵是非对称的, 本文采取双共轭梯度法(Bi-conjugate gradient, BICG)来求解式(22), 获得 $\hat{{{x}}}_{k+1}$ .

    • 本文算法的整体流程包括模糊核估计和清晰图像估计两个阶段, 如图5所示. 第一阶段中通过对式(9)的交替求解来对模糊核进行估计. 首先初始化清晰图像和模糊核, 对当前估计的清晰图像进行细节块筛选构造标记矩阵, 在标记矩阵的指导下更新模糊核, 然后通过跨尺度低秩约束正则项重建图像, 重建图像可视为下一次迭代更新估计清晰图像 $\hat{{{x}}}_{k+1}$ 的参考图像. 通过对相似图像块组进行整体的低秩约束, 迫使重建图像的边缘更加清晰, 用模糊程度更小的重建图像作为参考图像, 可使下一次迭代得到更清晰的图像. 通过式(9)交替求解出的清晰图像仅是清晰图像的中间结果, 进一步利用非盲解卷积方法最终可得对清晰图像的估计. 第二阶段在第一阶段估计的模糊核 $\hat{{{h}}}$ 的基础上, 选择合适的非盲卷积方法从模糊图像中恢复出清晰图像, 例如Richardson-Lucy算法及其变形[2932]、全变分正则化方法[4, 37]、稀疏非盲解卷积方法[8]、EPLL(Expected patch log likelihood)算法[33]和双边滤波残差消除法[14]等.

      图  5  本文算法流程

      Figure 5.  The pipeline of our method

      为了加速算法的收敛和处理大尺寸模糊, 与目前大部分算法相同, 本文通过构建图像金字塔模型由粗到细地估计模糊核. 在金字塔的每一层求解式(9)所示的目标函数, 在跨尺度相似图像块搜索的实际实现时, 直接在上一层估计的清晰图像中搜索相似图像块构造相似图像块组. 本文将当前层对清晰图像估计的插值图像作为下一层金字塔估计的初始清晰图像, 则下一层金字塔中对清晰图像的初始估计更接近真实的清晰图像, 从而加快了模糊核的估计过程并且提高了估计结果的准确性.

      算法1总结了基于跨尺度低秩约束的图像盲解卷积算法的伪代码, 根据输入的模糊图像 ${{y}},$ 构建 $K$ 层的图像金字塔, 若当前层为金字塔的第一层 $(l = 1),$ 则将模糊图像 ${{y}}$ 作为清晰图像初始估计 $\hat{{{x}}}_0,$ 设置 $\hat{{{x}}}_0 = {{y}},$ 否则将上一层 $(l - 1)$ 金字塔估计的清晰图像的插值结果作为当前层 $(l)$ 清晰图像的初始估计 $\hat{{{x}}}_0.$ 在每一层 $(l)$ 中, 利用交替迭代求解式(9)估计出模糊核 $\hat{{{h}}}_{k}^{(l)}$ 和清晰图像 $\hat{{{x}}}_{k}^{(l)},$ 这里上标表示图像金字塔的层数, 下标表示在每一层金字塔上迭代的次数, 直到迭代收敛或者达到预设的最大迭代次数.

      算法1的时间复杂度主要由内循环的4个步骤决定. 步骤1中采用边缘检测筛选细节块, 这种方法通过空域卷积实现, 空域卷积的时间复杂度为 $O(Ns),$ 其中, $N$ 为图像的尺寸, $s$ 为卷积核的尺寸. 空域滤波的卷积核通常很小, 因此, 卷积操作的时间复杂度可近似记为 $O(N).$ 步骤2直接在频域中计算模糊核的闭合解, 其中, 傅里叶变换的时间复杂度为 $O(N \log N),$ 逐元素操作的时间复杂度为 $O(N),$ 因此, 步骤2的时间复杂度可以记为 $O(N \log N).$ 步骤3中, 对于所有细节块在搜索窗口内计算图像中块匹配误差的时间复杂度为 $O(N_t w n);$ 查找搜索窗口内 $m$ 个最相似图像块的时间复杂度为 $O(N_t w \log w);$ 完全奇异值分解的时间复杂度为 $O(N_t \cdot {{\rm{min}}}(m n^2,$ $m^2 n)), $ 其中, $N_t$ 为标记矩阵 ${\bf{M}}$ 中对应的细节块数目, $w$ 为搜索窗口的尺寸, $n$ 为图像块的尺寸, $m$ 为选取的相似图像块数目. 由于奇异值分解的运行时间远小于块匹配误差计算和排序两部分的运行时间之和, 因此, 步骤3的时间复杂度可以记为 $O(N_tw\cdot( n + \log w) ).$ 步骤4中BICG算法的时间复杂度为 $O(\zeta+ N)$ [34], 加上傅里叶变换的运行时间, 总的时间复杂度可记为 $O(\zeta+ N\log N),$ 其中, $\zeta$ 为系数矩阵的非零项个数.

      算法1: 基于跨尺度低秩约束的图像盲解卷积算法

      输入: 模糊图像 ${{y}}$

      输出: 模糊核估计 $\hat{{{h}}}$ 、清晰图像估计 $\hat{{{x}}} $

      初始化: 设置降采样因子 $a $ ; 清晰图像的初始估计 $\hat{{{x}}}_{0}$ ;

      正则化参数 $\lambda_{g} $ $\lambda_{s} $ $\lambda_{h} $ ; 模糊核的尺寸 $s$ ;

      图像块大小 ${n} ;$ 搜索窗口的尺寸 $w;$ 最大循环迭代次数.

      构建 $K $ 层图像金字塔

      for $ l = 1$ to $K$ do

       初始化 $k=0 $

       repeat

        1. 估计图像的标记矩阵 ${\bf{M}}_k^{(l)}$

        2. 根据式(13)估计模糊核 $\hat{{{h}}}_{k+1}^{(l)}$

        3. 根据式(19)估计低秩约束的重建图像 ${{z}}_k^{(l)} $

        4. 利用BICG算法求解式(22), 得到 $\hat{{{x}}}_{k+1}^{(l)} $

         $k=k+1$

       until迭代收敛或者达到预设的最大迭代次数

      将清晰图像估计的中间结果 $\hat{{{x}}}_{k}^{(l)}$ 上采样, 作为下一层金  字塔的初始估计 $\hat{{{x}}}_{0}^{(l+1)}$ .

      end for

      从上述时间复杂度的分析可以看出, 步骤1和2的时间复杂度均不超过 $O(N \log N)$ , 步骤4中系数矩阵是稀疏的, 时间复杂度可近似为线性对数阶, 而步骤3为立方阶时间复杂度. 于是, 本文的算法如同一般使用相似图像块搜索的算法, 例如经典的BM3D算法[35], 主要耗时在相似图像块的遍历搜索上. 目前快速相似图像块搜索算法的研究不多, 未来快速算法的普遍研究将会为以相似图像块搜索为基础的算法提供速度上升的空间.

    • 本文设置图像块尺寸为 $n = 5\times 5,$ 奇异值阈值 $\beta$ 为0.2, 相似图像块个数的上限 $\Delta_h$ 为19, 下限 $\Delta_l$ 为5, 搜索窗口的尺寸为 $w = 25 \times 25.$ 由于大多数真实图像的模糊核尺寸小于 $51\times 51,$ 参照Sun等[27]和Michaeli等[10]的方式, 若无特殊说明, 本文设置模糊核的尺寸为 $s = 51\times 51.$ 降采样因子 $a$ 越大, 降采样模糊图像中的图像块越清晰, 但同时不同尺度图像之间的相似图像块的个数越少[26], 因此需要综合考虑设置降采样因子的取值, 本文参照Michaeli等[10]将金字塔之间的缩放因子设置为 $4/3,$ 图像金字塔不同层对应的模糊核尺寸不同, 在构建金字塔模型时, 若当前层对应的模糊核尺寸小于 $3\times 3,$ 则停止降采样的过程.

    • 本文在Kohler等[36]公开的数据集上验证算法的有效性, 此数据集包括4幅图像, 有12种模糊核(后5个为大尺寸模糊核), 共产生48幅模糊图像. 该数据集是由相机记录的六维自由度运动轨迹合成的非均匀模糊数据集. 在Kohler数据集实验中, 将本文的算法与Pan等[14]、Yan等[15]、Chang等[16]、Chen等[17]提出的算法进行比较, 本文算法的正则化参数设置为 $\lambda_s \!=\! 0.0008$ $\lambda_g \!=\! 0.002$ $\lambda_h \!=\! 0.0003N.$ 该数据集中的模糊图像是由真实记录的三维空间运动轨迹而合成的, 属于非均匀模糊, 上述算法均利用线性卷积模型对非均匀模糊进行近似建模. 为了公平比较, 本文的算法也根据模糊程度的不同, 将初始模糊核尺寸设置为 $21\times21$ $151\times151$ 不等. Pan等[14]、Yan等[15]、Chang等[16]和Chen等[17]的结果均是由作者本人提供. 通过比较每一幅图像的去模糊结果与沿着相机运动轨迹捕获的199 个未模糊图像的峰值信噪比(Peak signal-to-noise ratio, PSNR), 将最大的PSNR作为定量评估的指标. 复原图像与真值图像之间的PSNR越大, 表明复原图像与真值图像越接近.

      图6比较了各个算法在Kohler数据集上PSNR的均值及标准差. 从图中可以看出, 本文的算法在四幅图像上的平均PSNR均高于Chang等[16]的去模糊结果; 在后两幅图像上的平均PSNR高于Pan等[14]的结果, 在第四幅图像上的平均PSNR高于Yan等[15]和Chen等[17]的结果. 该数据集中的前3幅图像含有足够多的暗像素, 符合Pan等[14]所提出的暗通道先验, 本文的算法在Kohler数据集上达到了与Pan等[14]方法相当的结果. 该方法对于缺乏暗像素的情况会失效, Yan等[15]提出了亮通道先验, 并结合暗通道先验共同建模图像先验, 提高了PSNR. 尽管Yan等[15]和Chen等[17]方法在Kohler数据集上获得了更高的PSNR, 然而他们的方法恢复细节的能力仍有限. 由于该数据集是对印刷照片进行成像, 图像较为平滑, 并不能很好地用于评价算法对细节的恢复能力. 此外, 从图中的垂直误差条可见, 本文算法在各幅图像上均取得最小的标准差, 说明本文算法具有更好的鲁棒性.

      图  6  Kohler数据集PSNR的平均值与标准差

      Figure 6.  Mean and standard deviation of PSNR on Kohler et al.'s dataset

      图7图8给出各个算法在Kohler数据集中两幅图像上的复原结果, 图像中左上角为各算法估计出的模糊核. 对于图7(a)所示的小模糊图像, 图7(b)-(f)分别为Pan等[14]、Yan等[15]、Chang等[16]、Chen等[17]以及本文算法的去模糊结果, 图像的下方为局部区域的细节放大图. 图7(b)-(f)与真值图像之间的PSNR依次为 $29.31$ $29.74$ $28.95$ $29.54$ $31.53$ . 从细节放大图中可以看出, Chang等[16]的复原结果中产生了一定程度的噪声, Pan等[14]、Yan等[15]和Chen等[17]的方法在某些区域缺乏对细节的恢复, 本文的算法能够更好地恢复图像的细节. 大尺寸模糊核更难估计, 对于图8(a)所示的大模糊图像, 图8(b)-(f)分别为Pan等[14]、Yan等[15]、Chang等[16]、Chen等[17]以及本文算法的去模糊结果, 它们与真值图像的PSNR依次为22.30、22.32、22.94、22.37和27.51. 根据去模糊图像和真值图像之间的PSNR, 本文算法在这两幅图像上估计出更准确的模糊核, 复原图像更接近真值图像; 根据视觉效果, 本文算法能够恢复出更多的细节且失真更小.

      图  7  各个算法对Kohler数据集中一幅小模糊图像复原结果的比较

      Figure 7.  Comparison of the results deblurred by some state-of-the-art methods on a weakly blurred image from Kohler et al.'s dataset

      图  8  各个算法对Kohler数据集中一幅大模糊图像复原结果的比较

      Figure 8.  Comparison of the results deblurred by some state-of-the-art methods on a severely blurred image from Kohler et al.'s dataset

    • 本文的算法没有对噪声进行特殊处理, 利用低秩模型对跨尺度相似图像块组进行整体约束, 使得算法具有一定的抗噪能力. 本文在Kohler数据集中加入了标准差为0.01的高斯噪声模拟模糊有噪图像. 在加噪Kohler数据集实验中, 将本文的算法与Pan等[14]、Yan等[15]、Chang等[16]和Chen等[17]的算法进行比较, 本文的算法将正则化参数设置为 $\lambda_s = 0.0008$ $\lambda_g = 0.002$ $\lambda_h = 0.0003N.$ Pan等[14]、Yan等[15]、Chen等[17]和Chang等[16]的结果均由作者提供的程序运行得到. 图9给出了各算法在加噪Kohler数据集上PSNR的均值及标准差, 由图中可见, 与Pan等[14]、Yan等[15]、Chang等[16]和Chen等[17]算法相比, 本文算法在各幅图像中均取得了最高的平均PSNR及最小的标准差, 充分说明本文算法对噪声具有很好的鲁棒性.

      图  9  加噪Kohler数据集PSNR的平均值与标准差

      Figure 9.  Mean and standard deviation of PSNR on noisy Kohler et al.'s dataset

      图10图11比较了各个算法在加噪Kohler数据集中两幅图像上的复原结果. 对于图(a)所示的模糊有噪图像, 图(b)-(f)分别为各个算法的去模糊结果. 计算去模糊图像与真值图像之间的PSNR, 在图10中Pan等[14]、Yan等[15]、Chang等[16]、Chen等[17]以及本文算法PSNR依次为 $19.95$ $17.11$ $21.60$ 、16.38和 $26.85$ , 在图11中PSNR依次为 $24.72$ 、24.80、27.51、 $24.79$ $28.23$ . 由图10可见, 由于噪声的干扰, Pan等[14]、Yan等[15]、Chang等[16]和Chen等[17]算法都无法准确地估计出模糊核进而无法复原出清晰的结果, 本文算法能够准确地复原出图像的边缘和细节, 获得清晰的复原图像. 本文算法在这两幅图像上均取得了最高的PSNR均值, 表明更接近真值图像, 并且展现了更好的视觉效果.

      图  10  各个算法对加噪Kohler数据集中一幅图像复原结果的比较

      Figure 10.  Comparison of the results deblurred by some state-of-the-art methods on a blurred-noisy image from noisy Kohler et al.'s dataset

      图  11  各个算法对加噪Kohler数据集中另一幅图像复原结果的比较

      Figure 11.  Comparison of the results deblurred by some state-of-the-art methods on another blurred-noisy image from noisy Kohler et al.'s dataset

    • 在真实模糊图像实验中, 将本文的算法与Michaeli等[10]、Perrone等[9]、Chang等[16]、Pan等[14]、Yan等[15]和Chen等[17]的算法进行比较, 本文算法的正则化参数设置为 $\lambda_s = 0.004$ $\lambda_g = 0.006$ $\lambda_h = $ $ 0.003N.$ Michaeli等[10]、Pan等[14]、Yan等[15]、Chen等[17]的结果均是由作者提供的程序运行得到, Perrone等[9]、Chang等[16]的复原结果由作者直接提供. 真实模糊图像一般为非均匀模糊, 上述算法均利用线性卷积模型对非均匀模糊进行近似建模.

      图12图13比较了各个算法在两幅真实模糊图像上的复原结果, 对于图(a)所示真实模糊图像, 图(b)-(h)为各个算法的复原结果, 图像左上角为估计的模糊核, 图像下方为图像中局部区域的细节图. 从这些细节区域以及整体复原结果可以看出本文的算法在有效减少振铃效应的同时, 能够很好地恢复出图像的细节, 使边缘更加清晰.

      图  12  各个算法对一幅真实模糊图像复原结果的比较

      Figure 12.  Visual comparisons with some state-of-the-art methods on one real-world photo

      图  13  各个算法对另一幅真实模糊图像复原结果的比较

      Figure 13.  Visual comparisons with some state-of-the-art methods on another real-world photo

    • 在真实模糊有噪图像实验中, 将本文的算法与Michaeli等[10]、Perrone等[9]、Pan等[14]、Yan等[15]、Chang等[16]、Chen等[17]的算法进行比较, 本文算法的正则化参数设置为 $\lambda_s = 0.004$ $\lambda_g = 0.006$ $\lambda_h = $ $ 0.003N.$ Michaeli等[10]、Perrone等[9]、Pan等[14]、Yan等[15]、Chang等[16]、Chen等[17]的结果均是由作者提供的程序运行得到.

      图14图15比较了各个算法在两幅真实模糊有噪图像上的复原结果. 图(a)为在低光照环境中获取的真实图像, 当光线不充足时图像容易产生噪声, 图14(b)-(h)分别为Michaeli等[10]、Perrone等[9]、Pan等[14]、Yan等[15]、Chang等[16]、Chen等[17]以及本文算法的去模糊结果, 图15(b)-(f)分别为Perrone等[9]、Pan等[14]、Yan等[15]、Chen等[17]以及本文算法的去模糊结果, 在图像的左上角为各个算法估计的模糊核, 在每幅图像的下方是局部区域的细节图. 由图中可见, 本文算法很大程度上减小了振铃效应和噪声的影响, 恢复出更加清晰的结果. 特别地, 从图14的细节放大图可以看出, Perrone等[9]、Pan等[14]、Yan等[15]、Chang等[16]的复原结果均放大了噪声并且存在明显的振铃效应, Michaeli等[10]、Chen等[17]减小了振铃效应, 但复原结果仍存在噪声放大的情况. 可见, 本文算法对于噪声具有良好的鲁棒性.

      图  14  各个算法在一幅真实模糊有噪图像上的实验结果

      Figure 14.  Visual comparisons with state-of-the-art some methods on a real blurred-noisy image

      图  15  各个算法在另一幅真实模糊有噪图像上的实验结果

      Figure 15.  Visual comparisons with some state-of-the-art methods on another real blurred-noisy image

    • 本节对跨尺度低秩先验的有效性和局限性进行分析和讨论.

    • 本文通过在大量图像上对图像跨尺度自相似性的统计分析来验证跨尺度低秩先验的有效性. 在本实验中, 从Sun等数据集[27]提供的80幅清晰图像中抽取尺寸为 $5\times5$ 的细节块, 对于每一个细节块, 在降采样图像中搜索 $m$ 个相似图像块, 降采样因子 $a$ 分别设置为 $4/3$ $5/3$ $2$ , 降采样图像的尺度分别为原来的0.75、0.6和0.5倍. 采用均方误差(Mean squared difference, MSD)度量图像块之间的相似性, ${\rm{MSD}}$ 的数值越小, 表明图像块之间的相似性越强. 设清晰图像 ${{x}}$ 中抽取的图像块为 ${\bf{Q}}_j {{x}}$ , 在其降采样图像 ${{x}}^a$ 中搜索相似图像块 ${\bf{R}}_i {{x}}^a,i = 1,\cdots,m$ , 则清晰图像的跨尺度自相似性用均方误差度量可表示为:

      $${\rm{MSD}}({{x}},{{x}}^a) = \frac{1}{N_t}\sum\limits_j\Vert{\bf{Q}}_j{{x}}-\frac{1}{m}\sum\limits_i{\bf{R}}_i{{x}}^{a}\Vert_2^2$$ (23)

      其中, $N_t$ 为图像中细节块的个数, $m$ 为相似图像块的个数. 对于每一个细节块自适应地搜索 $m$ 个相似图像块, 然后计算 $m$ 个相似图像块的均值. 根据式(8)计算自适应阈值, 其中, 控制系数 $\gamma$ 值越大, 阈值 $\delta_d$ 越大, 选取该细节块的相似图像块个数越多, 这里设置相似块搜索个数的下限 $\Delta_l = 1,$ 上限 $\Delta_h = 5,$ $m$ 满足 $1\le m\le 5.$ 由于各幅图像中通过边缘检测确定的细节块个数不同, 因此, 对于每幅图像利用均方误差来度量相似性. 同理, ${\rm{MSD}}({{x}},{{y}})$ 度量清晰图像与模糊图像的相似性, ${\rm{MSD}}({{x}},{{y}}^a)$ 度量清晰图像与降采样模糊图像的相似性, ${\rm{MSD}}({{y}},{{y}}^a)$ 度量模糊图像的跨尺度自相似性. 对于Sun数据集中的每幅图像各自计算均方误差, 然后统计所有图像(80 幅图像)的均方误差之和.

      图16展示了降采样因子 $a$ $4/3$ $5/3$ $2$ , 控制系数 $\gamma$ 为1、1.5、2和2.5时80幅图像的均方误差之和, 图中, 横坐标为控制系数 $\gamma$ , 纵坐标为均方误差之和. 图(a)比较了模糊图像 ${{y}}$ 及其降采样图像 ${{y}}^a$ 与清晰图像 ${{x}}$ 的相似性, 图中实线表示清晰图像与降采样模糊图像之间的相似性, 虚线表示清晰图像与模糊图像之间的相似性, 由图中可见, 选取适合的参数可以保证 ${\rm{MSD}}({{x}},{{y}}^a)<{\rm{MSD}}({{x}},{{y}})$ , 说明降采样模糊图像相比于模糊图像本身与清晰图像具有更强的相似性. 图(b)比较了清晰图像 ${{x}}$ 和模糊图像 ${{y}}$ 的跨尺度自相似性, 图中实线表示清晰图像的跨尺度自相似性, 虚线表示模糊图像的跨尺度自相似性, 由图中可见 ${\rm{MSD}}({{x}},{{x}}^a)<{\rm{MSD}}({{y}},{{y}}^a)$ , 说明清晰图像比模糊图像具有更强的跨尺度自相似性. 根据上述的统计实验可得出结论, 本文提出的基于图像跨尺度自相似性的低秩先验模型能够使目标函数的解偏向于清晰图像而不是模糊图像, 同时, 降采样图像能够为图像复原提供附加的结构信息, 通过对跨尺度相似图像块组的低秩约束能够迫使重建图像更加接近清晰图像. 此外, 从图16中还可以看出跨尺度自相似性与图像尺度的关系, 随着降采样因子的增大, 图像的跨尺度自相似性减弱, 因此, 本文的算法参照Michaeli[10]等将降采样因子 $a$ 设置为 $4/3$ .

      图  16  图像跨尺度自相似性的分析

      Figure 16.  Analysis of cross-scale self-similarity of images

    • 本文提出的跨尺度低秩先验依赖于跨尺度相似图像块的冗余性. 自然图像中跨尺度相似图像块越多, 它们之间的相关性能够提供更充分的附加信息, 则该先验的鲁棒性越强. 对于自相似性较弱的图像, 由于仅能搜索少量的相似图像块, 其复原能力受到了一定的限制.

      图17展示了本文的算法在Sun数据集[27]中三幅自相似性较弱图像上的复原结果, 图(a)为模糊图像, 图(b)为真值图像, 图(c)为Cho等[3]、Xu等[4]和Levin等[6]算法的复原结果, 图(d)为本文算法的复原结果, 图像左上角为估计的模糊核. 通过观察模糊核以及复原结果可以看出, 本文的算法并没有准确地估计出模糊核, 导致无法完全去除图像中的模糊或产生halo效应. 但是, 跨尺度低秩先验是一种鲁棒的先验模型, 对于不同的模糊核或图像内容, 本文的算法能够获得较为稳定的复原结果. 当模糊核或图像内容不符合先验假设时, 部分算法的复原结果会产生较大的波动, 如图(c)所示的失效图例产生明显的振铃效应, 而本文的算法即使对于自相似性较弱的图像, 依然能够达到一定的去模糊效果, 不会产生明显的振铃效应.

      图  17  本文算法对Sun数据集中三幅自相似性较弱图像的复原结果

      Figure 17.  Visual display of proposed method on three weak self-similarity blurred images from Sun et al.'s dataset

    • 由于跨尺度自相似性普遍存在于自然图像中, 本文提出了一种跨尺度低秩先验模型, 在当前估计的降采样图像中搜索相似图像块构成相似图像块组, 对相似图像块组构造低秩约束正则项, 加入到目标函数中, 使目标函数的解偏向于清晰图像. 在金字塔的逐层迭代中, 通过对跨尺度相似图像块组进行低秩约束, 迫使当前估计的清晰图像边缘越来越清晰, 细节越来越丰富. 在大量模糊图像以及模糊有噪图像上的实验验证了本文算法的有效性. 本文的算法没有对噪声进行特殊处理, 由于低秩约束很好地表示了数据的全局结构特性, 因此对噪声具有良好的鲁棒性, 能够从大模糊有噪图像中有效地估计出模糊核.

WeChat 关注分享

返回顶部

目录

    /

    返回文章
    返回