2.793

2018影响因子

(CJCR)

  • 中文核心
  • EI
  • 中国科技核心
  • Scopus
  • CSCD
  • 英国科学文摘

留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

结合全局与局部变化的图像质量评价

高敏娟 党宏社 魏立力 王海龙 张选德

高敏娟, 党宏社, 魏立力, 王海龙, 张选德. 结合全局与局部变化的图像质量评价. 自动化学报, 2020, 46(x): 1−10. doi: 10.16383/j.aas.c190697
引用本文: 高敏娟, 党宏社, 魏立力, 王海龙, 张选德. 结合全局与局部变化的图像质量评价. 自动化学报, 2020, 46(x): 1−10. doi: 10.16383/j.aas.c190697
Gao Min-Juan, Dang Hong-She, Wei Li-Li, Wang Hai-Long, Zhang Xuan-De. Combining Global and Local Variation for Image Quality Assessment. Acta Automatica Sinica, 2020, 46(x): 1−10. doi: 10.16383/j.aas.c190697
Citation: Gao Min-Juan, Dang Hong-She, Wei Li-Li, Wang Hai-Long, Zhang Xuan-De. Combining Global and Local Variation for Image Quality Assessment. Acta Automatica Sinica, 2020, 46(x): 1−10. doi: 10.16383/j.aas.c190697

结合全局与局部变化的图像质量评价


DOI: 10.16383/j.aas.c190697
详细信息
    作者简介:

    陕西科技大学电气与控制工程学院博士研究生. 2010年获得山西大学工学硕士学位. 主要研究方向为图像处理, 图像质量评价.E-mail: gaominjuan1984@163.com

    陕西科技大学电气与控制工程学院教授. 主要研究方向为工业过程与优化, 计算机控制, 图像处理.E-mail: danghs@sust.edu.cn

    宁夏大学数学统计学院教授. 主要研究方向为应用统计与数据分析. E-mail: liliwei@nxu.edu.cn

    宁夏师范学院数学与计算机科学学院讲师. 2011年获得香港公开大学教育硕士学位. 主要研究方向为代数.E-mail: wanghailong7903@163.com

    陕西科技大学电子信息与人工智能学院教授. 2013年获得西安电子科技大学理学博士学位. 主要研究方向为图像恢复, 图像质量评价, 稀疏表示和低秩逼近理论. 本文通信作者.E-mail: zhangxuande@sust.edu.cn

  • 基金项目:  国家自然科学基金(61871260, 61871259), 陕西科技大学人工智能交叉学科PI团队培育专项资助

Combining Global and Local Variation for Image Quality Assessment

More Information
  • Fund Project:  Supported by National Natural Science Foundation of China (61871260, 61871259), Shaanxi University of Science and Technology Artificial Intelligence Interdisciplinary PI Team Cultivation Special Project
  • 摘要: 图像所包含的信息是通过灰度值在空域的变化呈现的. 梯度是度量变化的基本工具, 这使得梯度成为了目前大多数图像质量评价算法的重要组成部分(Ingredient). 但是梯度只能度量局部变化, 而当人类视觉系统(Human Visual System, HVS)感知一幅图像时, 既能感知到局部变化, 也能感知到全局变化. 基于HVS的这一特性, 本文提出了一种结合全局与局部变化的图像质量评价算法(Global and Local Variation SIMilarity, GLV-SIM). 该算法利用Grünwald-Letnikov分数阶导数来度量图像的全局变化, 利用梯度模来度量图像的局部变化. 然后结合二者计算参考图像和退化图像之间的相似度谱(Similarity Map), 进而得到图像的客观评分. 在TID2013、TID2008、CSIQ与LIVE四个数据库上的仿真实验表明, 较之单一度量局部变化的方法, 本文算法能更准确地模拟HVS对图像质量的感知过程, 给出的客观评分与主观评分具有较好的一致性.
    and Technology, Xi’an 710021
     收稿日期 2019-10-08    录用日期 2019-12-15 Manuscript received October 8, 2019; accepted December 15, 2019 国家自然科学基金 (61871260, 61871259), 陕西科技大学人工智能交叉学科 PI 团队培育专项资助 Supported by National Natural Science Foundation of China (61871260, 61871259), Shaanxi University of Science and Technology Artificial Intelligence Interdisciplinary PI Team Cultivation Special Project 本文责任编委 Recommended by Associate Editor 1. 陕西科技大学电气与控制工程学院 西安 710021    2. 宁夏大学数学统计学院 银川 750021    3. 宁夏师范学院数学与计算机科学学院 固原 756000    4. 陕西科技大学电子信息与人工智能学院 西安 710021 1. School of Electrical and Control Engineering, Shaanxi University of Science and Technology, Xi’an 710021    2. School of Mathematics and Statistics, Ningxia University, Yinchuan 750021    3. School of Mathmatics and Computer Science, Ningxia Normal University, Guyuan 756000    4. School of Electronic Information and Artificial Intelligence, Shaanxi University of Science
  • 图  1  child-swimming图像

    Fig.  1  The image of child-swimming

    图  2  GLV-SIM算法框架

    Fig.  2  The framework of GLV-SIM algorithm

    图  3  参考图像(a)及其不同类型退化图像(b)-(f)(右下角为矩形区域局部放大图)

    Fig.  3  Fig. 3 Reference image (a) and different types of distorted images (b)-(f)

    (The lower right corner is a enlarged view of the rectangular region)

    图  4  针对图3中各矩形区域对应的$DM$

    Fig.  4  The corresponding $DM$ image for each rectangular region in fig. 3

    表  1  图3(b)-(f)主观评分和不同算法客观评分

    Table  1  Subjective scores and objective scores of different algorithms for Fig. 3(b)-(f)

    评价方法图3(b)图3(c)图3(d)图3(e)图3(f)
    MOS5.00003.83874.18754.76676.2903
    PSNR30.530430.578426.130327.480827.3498
    VSNR29.730121.148020.534230.707220.2681
    IFC4.73893.43514.93192.995611.3746
    SSIM 0.92500.84610.94590.94750.9568
    MS-SSIM 0.96060.91590.97380.97270.9821
    IW-SSIM0.96840.90750.96450.97040.9661
    GSIM0.99580.98880.99530.99660.9979
    FSIM0.98310.94620.95380.96990.9707
    GLV-SIM0.99590.98450.99270.99570.9961
    下载: 导出CSV

    表  2  针对表1评分排名

    Table  2  The rank of scores on table 1

    评价方法图3(b)图3(c)图3(d)图3(e)图3(f)
    MOS25431
    PSNR21534
    VSNR23415
    IFC34251
    SSIM45321
    MS-SSIM45231
    IW-SSIM24513
    GSIM35421
    FSIM15432
    GLV-SIM25431
    下载: 导出CSV

    表  3  不同IQA算法在TID2013和TID2008数据库的实验结果比较

    Table  3  Comparison the performance results of different IQA algorithms on TID2013 and TID2008

    数据库性能指标PSNRVSNRIFCSSIMMS-SSIMIW-SSIMGSIMFSIMGLV-SIM
    TID 2013SROCC0.63960.68120.53890.74170.78590.77790.79460.80150.8068
    KROCC0.46980.50840.39390.55880.60470.59770.62550.62890.6381
    PLCC0.70170.74020.55380.78950.83290.83190.84640.85890.8580
    RMSE0.88320.83921.03220.76080.68610.68800.66030.63490.6368
    TID 2008SROCC0.55310.70460.56750.77490.85420.85590.85040.88050.8814
    KROCC0.40270.53400.42360.57680.65680.66360.65960.69460.6956
    PLCC0.57340.68200.73400.77320.84510.85790.84220.87380.8648
    RMSE1.09940.98150.91130.85110.71730.68950.72350.65250.6739
    下载: 导出CSV

    表  4  不同IQA算法在CSIQ和LIVE数据库的实验结果比较

    Table  4  Comparison the performance results of different IQA algorithms on CSIQ

    数据库性能指标PSNRVSNRIFCSSIMMS-SSIMIW-SSIMGSIMFSIMGLV-SIM
    CSIQSROCC0.80580.81060.76710.87560.91330.92130.91080.92420.9264
    KROCC0.60840.62470.58970.69070.73930.75290.73740.75670.7605
    PLCC0.80000.80020.83840.86130.89910.91440.89640.91200.9082
    RMSE0.15750.15750.14310.13340.11490.10630.11640.10070.1099
    LIVESROCC0.87560.92740.92590.94790.95130.95670.95610.96340.9521
    KROCC0.68650.76160.75790.79630.80450.81750.81500.83370.8179
    PLCC0.87230.92310.92680.94490.94890.95220.95120.95970.9368
    RMSE13.35910.50510.2648.94458.61888.34738.43277.67808.0864
    下载: 导出CSV

    表  5  不同IQA算法在TID2008数据库单一失真评价性能(SROCC)比较

    Table  5  Comparison SROCC for individual distortion of different IQA algorithms on TID2008 database

    数据库失真类型PSNRVSNRIFCSSIMMS-SSIMIW-SSIMGSIMFSIMGLV-SIM
    TID 2008AWN0.90730.77280.58060.81070.80940.78690.85730.85660.9125
    ANMC0.89940.77930.54600.80290.80640.79200.80950.85270.8979
    SCN0.91750.76650.59580.81440.81950.77140.89020.84830.9167
    MN0.85200.72950.67320.77950.81560.80870.74030.80210.8087
    HFN0.92730.88110.73180.87290.86850.86620.89320.90930.9175
    IMN0.87250.64700.53450.67320.68680.64650.77210.74520.7864
    QN0.87020.82710.58570.85310.85370.81770.87500.85640.8865
    GB0.87040.93300.85590.95440.96070.96360.95850.94720.9587
    DEN0.94220.92860.79730.95300.95710.94730.97230.96030.9666
    JPEG0.87230.91740.81800.92520.93480.91840.93910.92790.9534
    JP2K0.81310.95150.94370.96250.97360.97380.97550.97730.9751
    JGTE0.75250.80560.79090.86780.87360.85880.88320.87080.8793
    J2TE0.83120.79090.73010.85770.85220.82030.89250.85440.9021
    NEPN0.58120.57160.84180.71070.73360.77240.73720.74910.7271
    BLOCK0.61940.19260.67700.84620.76170.76230.88650.84920.8960
    MS0.69660.37150.42500.72310.73740.70670.71740.66980.6994
    CTC0.58670.42390.27130.52460.63980.63010.67360.64810.6689
    下载: 导出CSV
  • [1] 1 Mohammadi P, Ebrahimi-Moghadam A, Shirani S. Subjective and objective quality assessment of image: A survey. Majlesi Journal of Electrical Engineering, 2015, 9(1): 419−423
    [2] 2 Yang Xi-Chen, Sun Quan-Sen, Wang Tian-Shu. Image quality assessment improvement via local gray-scale fluctuation measurement. Multimedia Tools and Applications, 2018, 77(18): 24185−24202 doi:  10.1007/s11042-018-5740-z
    [3] 高敏娟, 党宏社, 魏立力, 张选德. 基于非局部梯度的图像质量评价算法. 电子与信息学报, 2019, 41(5): 1122−1129 doi:  10.11999/JEIT180597

    3 Gao Min-Juan, Dang Hong-She, Wei Li-Li, Zhang Xuan-De. Image quality assessment algorithm based on non-local gradient. Journal of Electronics and Information Technology, 2019, 41(5): 1122−1129 doi:  10.11999/JEIT180597
    [4] 许丽娜, 肖奇, 何鲁晓. 考虑人类视觉特征的融合图像评价方法. 武汉大学学报(信息科学版), 2019, 44(4): 546−554

    4 Xu Li-Na, Xiao Qi, He Lu-Xiao. Fused image quality asssessment based on human visual characterisyics. Geomatics and Information Science of Wuhan University, 2019, 44(4): 546−554
    [5] 曹清洁, 史再峰, 张嘉平, 李杭原, 高静, 姚素英. 分区域多标准的全参考图像质量评价算法. 天津大学学报(自然科学与工程技术版), 2019, 52(6): 625−630

    5 Cao Qing-Jie, Shi Zai-Feng, Zhang Jia-Ping, Li Hang-Yuan, Gao Jing, Yao Su-Ying. Sub-regional and multiple criteria full-reference image quality assessment. Journal of Tianjin University(Science and Technology), 2019, 52(6): 625−630
    [6] 6 Wang Zhou, Bovik A C. Mean squared error: love it or leave it? A new look at signal fidelity measures. IEEE Signal Processing Magazine, 2009, 26(1): 98−117 doi:  10.1109/MSP.2008.930649
    [7] 7 Huynh-thu Q, Ghanbari M. Scope of validity of PSNR in image/video quality assessment. Electronics Letters, 2008, 44(13): 800−801 doi:  10.1049/el:20080522
    [8] 8 Wang Zhou, Bovik A C, Sheikh H R, Simoncelli E P. Image quality assessment: from error visibility to structural similarity. IEEE Transactions on image processing, 2004, 13(4): 600−612 doi:  10.1109/TIP.2003.819861
    [9] Wang Zhou, Simoncelli E P, Bovik A C. Multiscale structural similarity for image quality assessment. In: Proceedings of 37th IEEE Asilomar Conference on Signals, Systems and Computers, Pacific Grove, USA, 2003: 1398−1402
    [10] 10 Wang Zhou, Li Qiang. Information content weighting for perceptual image quality assessment. IEEE Transactions on Image Processing, 2011, 20(5): 1185−1198 doi:  10.1109/TIP.2010.2092435
    [11] Li Chao-Feng, Bovik A C. Three-component weighted structural similarity index. In: SPIE Conference on Image Quality and System Performance, San Jose, California, 2009, 7242: 72420Q−72420Q-9
    [12] 刘大瑾, 叶建兵, 刘家骏. SSIM框架下基于SVD的灰度图像质量评价算法研究. 南京师大学报(自然科学版), 2017, 40(1): 73−78

    12 Liu Da-Jin, Ye Jian-Bing, Liu Jia-Jun. SVD-based gray-scale image quality assessmentalgorithms in the SSIM perspective. Journal of Nanjing Normal University(Natural Science Edition), 2017, 40(1): 73−78
    [13] 闫乐乐, 李辉, 邱聚能, 梁平. 基于区域对比度和SSIM的图像质量评价方法. 应用光学, 2015, 36(1): 58−63 doi:  10.5768/JAO201536.0102002

    13 Yan Le-Le, Li Hui, Qiu Ju-Neng, Liang Ping. Image qualty assessment method based on regional contrast and structural similarity. Journal of Applied Optics, 2015, 36(1): 58−63 doi:  10.5768/JAO201536.0102002
    [14] 14 Jin Xin, Jiang Gang-Yi, Chen Fen, Yu Mei, Shao Feng, Peng Zong-Ju, et al. Adaptive image quality assessment method based on structural similarity. Journal of Optoelectronics. Laser, 2014, 25(2): 378−385
    [15] 田浩南, 李素梅. 基于边缘的SSIM图像质量客观评价方法. 光子学报, 2013, 42(1): 110−114 doi:  10.3788/gzxb20134201.0110

    15 Tian Hao-Nan, Li Su-Mei. Objective evaluation method for image quality based on edge structural similarity. Acta Photonica Sinca, 2013, 42(1): 110−114 doi:  10.3788/gzxb20134201.0110
    [16] 16 Zhang Lin, Zhang Lei, Mou Xuan-Qin, Zhang David. FSIM: A feature similarity index for image quality assessment. IEEE Transactions on Image Processing, 2011, 20(8): 2378−2386 doi:  10.1109/TIP.2011.2109730
    [17] 17 Liu An-Min, Lin Wei-Si, Narwaria M. Image quality assessment based on gradient similarity. IEEE Transactions on Image Processing, 2012, 21(4): 1500−1512 doi:  10.1109/TIP.2011.2175935
    [18] 18 Zhang Xuan-De, Feng Xiang-Chu, Wang Wei-Wei, Xue Wu-Feng. Edge strength similarity for image quality assessment. IEEE Signal Processing Letters, 2013, 20(4): 319−322 doi:  10.1109/LSP.2013.2244081
    [19] 19 Sun Wen, Liao Qing-Min, Xue Jing-Hao, Zhou Fei. SPSIM: A superpixel-based similarity index for full-reference image quality assessment. IEEE Transactions on Image Processing, 2018, 27(9): 4232−4244 doi:  10.1109/TIP.2018.2837341
    [20] 20 Ding Li, Huang Hua, Zang Yu. Image quality assessment using directional anisotropy structure measurement. IEEE Transactions on Image Processing, 2017, 26(4): 1799−1809 doi:  10.1109/TIP.2017.2665972
    [21] 21 Xue Wu-Feng, Zhang Lei, Mou Xuan-Qin, Bovik A C. Gradient Magnitude Similarity Deviation: A Highly Efficient Perceptual Image Quality Index. IEEE Transactions on Image Processing, 2014, 23(2): 684−695 doi:  10.1109/TIP.2013.2293423
    [22] 22 Pei S C, Chen L H. Image quality assessment using human visual DOG model fused with random forest. IEEE Transactions on Image Processing, 2015, 24(11): 3282−3292 doi:  10.1109/TIP.2015.2440172
    [23] 23 Reisenhofer R, Bosse S, Kutyniok G, Wiegand T. A haar wavelet-based perceptual similarity index for image quality assessment. Signal Processing: Image Communication, 2018, 61: 33−43 doi:  10.1016/j.image.2017.11.001
    [24] 薛定宇. 分数阶微积分学与分数阶控制. 北京: 科学出版社, 2018. 31−72

    Xue Ding-Yu. Fractional calculus and fractional-order control. Beijing: Publishing House of Science, 2018. 31−72(in Chinese)
    [25] 张桂梅, 孙晓旭, 刘建新, 储珺. 基于分数阶微分的TV-L1光流模型的图像配准方法研究. 自动化学报, 2017, 43(12): 2213−2224

    25 Zhang Gui-Mei, Sun Xiao-Xu, Liu Jian-Xin. Research on TV-L1 Optical Flow Model for Image Registration Based on Fractional-order Differentiation. Acta Automatica Sinica, 2017, 43(12): 2213−2224
    [26] 陈云, 郭宝裕, 马祥园. 基于分数阶微积分正则化的图像处理. 计算数学, 2017(39): 393−406

    26 Chen Yun, Guo Bao-Yu, Ma Xiang-Yuan. Image processing based on regularization with fractional clculus. Mathematica Numerica Sinica, 2017(39): 393−406
    [27] 27 Ponomarenko N, Jin Lina, Ieremeiev O, Lukin V, Egiazarian K, Astola J, et al. Image database TID2013: Peculiarities, results and perspectives. Image Communication, 2015, 30(C): 57−77
    [28] Ponomarenko N, Lukin V, Zelensky A, Egiazarian K, Astola J, Carli M, et al. TID2008: A database for evaluation of full-reference visual quality assessment metrics[Online], available: http://www.ponomarenko.info/papers/mre, November 1, 2016
    [29] Larson EC, Chandler D. Categorical subjective image quality (CSIQ) database[Online], available: http://vision.okstate.edu/csiq, November 1, 2016
    [30] Sheikh H R, Wang Zhou, Bovik A C. Image and video quality assessment research at LIVE. [Online], available: http://live.ece.utexas.edu/rese-arch/quality/, November 1, 2016
    [31] 31 Chandler D M, Hemami S S. VSNR: A wavelet-based visual signal-to-noise ratio for natural images. IEEE Transactions on Image Processing, 2007, 16(9): 2284−2298 doi:  10.1109/TIP.2007.901820
    [32] 32 Sheikh H R, Bovik A C, Veciana G D. An information fidelity criterion for image quality assessment using natural scene statistics. IEEE Transactions on Image Processing, 2005, 14(12): 2117−2128 doi:  10.1109/TIP.2005.859389
  • [1] 唐祎玲, 江顺亮, 徐少平, 刘婷云, 李崇禧. 基于眼优势的非对称失真立体图像质量评价[J]. 自动化学报, doi: 10.16383/j.aas.c190124
    [2] 陆志芳, 钟宝江. 基于预测梯度的图像插值算法[J]. 自动化学报, doi: 10.16383/j.aas.2017.c160793
    [3] 赵孝礼, 赵荣珍. 全局与局部判别信息融合的转子故障数据集降维方法研究[J]. 自动化学报, doi: 10.16383/j.aas.2017.c160317
    [4] 南栋, 毕笃彦, 马时平, 凡遵林, 何林远. 基于分类学习的去雾后图像质量评价算法[J]. 自动化学报, doi: 10.16383/j.aas.2016.c140854
    [5] 王朝云, 蒋刚毅, 郁梅, 陈芬. 基于流形特征相似度的感知图像质量评价[J]. 自动化学报, doi: 10.16383/j.aas.2016.c150559
    [6] 李俊峰. 基于色彩空间自然场景统计的无参考图像质量评价[J]. 自动化学报, doi: 10.16383/j.aas.2015.c140616
    [7] 张瑞, 冯象初, 王斯琪, 常莉红. 基于稀疏梯度场的非局部图像去噪算法[J]. 自动化学报, doi: 10.16383/j.aas.2015.c140903
    [8] 王志明. 无参考图像质量评价综述[J]. 自动化学报, doi: 10.16383/j.aas.2015.c140404
    [9] 黄慧娟, 禹晶, 肖创柏, 孙卫东. 基于局部连续性与全局相似性的光谱保持型亚像元映射[J]. 自动化学报, doi: 10.3724/SP.J.1004.2014.01612
    [10] 邓立为, 宋申民. 基于输出反馈滑模控制的分数阶超混沌系统同步[J]. 自动化学报, doi: 10.3724/SP.J.1004.2014.02420
    [11] 王楠, 艾海舟. 融合局部与全局信息的头发形状模型[J]. 自动化学报, doi: 10.3724/SP.J.1004.2014.00615
    [12] 张小利, 李雄飞, 李军. 融合图像质量评价指标的相关性分析及性能评估[J]. 自动化学报, doi: 10.3724/SP.J.1004.2014.00306
    [13] 卢亚楠, 谢凤英, 周世新, 姜志国, 孟如松. 皮肤镜图像散焦模糊与光照不均混叠时的无参考质量评价[J]. 自动化学报, doi: 10.3724/SP.J.1004.2014.00480
    [14] 丁建睿, 黄剑华, 刘家锋, 张英涛. 局部特征与多示例学习结合的超声图像分类方法[J]. 自动化学报, doi: 10.3724/SP.J.1004.2013.00861
    [15] 成孝刚, 安明伟, 阮雅端, 陈启美. 基于变分的盲图像复原质量评价指标[J]. 自动化学报, doi: 10.3724/SP.J.1004.2013.00418
    [16] 潘榕, 刘昱, 侯正信, 汪少初. 基于局部DCT系数的图像压缩感知编码与重构[J]. 自动化学报, doi: 10.3724/SP.J.1004.2011.00674
    [17] 程光权, 张继东, 成礼智, 黄金才, 刘忠. 基于几何结构失真模型的图像质量评价研究[J]. 自动化学报, doi: 10.3724/SP.J.1004.2011.00811
    [18] 刘博, 黄剑华, 唐降龙, 刘家锋, 张英涛. 结合全局概率密度差异与局部灰度拟合的超声图像分割[J]. 自动化学报, doi: 10.3724/SP.J.1004.2010.00951
    [19] 陈瑞, 林喜荣, 丁天怀. 基于WBCT的虹膜图像质量评价方法[J]. 自动化学报, doi: 10.3724/SP.J.1004.2009.00618
    [20] 汤毅坚, S.G.Zaky. 计算机环形局部网络的性能评价方法[J]. 自动化学报
  • 加载中
图(4) / 表(5)
计量
  • 文章访问数:  165
  • HTML全文浏览量:  86
  • PDF下载量:  7
  • 被引次数: 0
出版历程
  • 收稿日期:  2019-10-08
  • 录用日期:  2019-12-15
  • 网络出版日期:  2020-01-04

结合全局与局部变化的图像质量评价

doi: 10.16383/j.aas.c190697
    作者简介:

    陕西科技大学电气与控制工程学院博士研究生. 2010年获得山西大学工学硕士学位. 主要研究方向为图像处理, 图像质量评价.E-mail: gaominjuan1984@163.com

    陕西科技大学电气与控制工程学院教授. 主要研究方向为工业过程与优化, 计算机控制, 图像处理.E-mail: danghs@sust.edu.cn

    宁夏大学数学统计学院教授. 主要研究方向为应用统计与数据分析. E-mail: liliwei@nxu.edu.cn

    宁夏师范学院数学与计算机科学学院讲师. 2011年获得香港公开大学教育硕士学位. 主要研究方向为代数.E-mail: wanghailong7903@163.com

    陕西科技大学电子信息与人工智能学院教授. 2013年获得西安电子科技大学理学博士学位. 主要研究方向为图像恢复, 图像质量评价, 稀疏表示和低秩逼近理论. 本文通信作者.E-mail: zhangxuande@sust.edu.cn

基金项目:  国家自然科学基金(61871260, 61871259), 陕西科技大学人工智能交叉学科PI团队培育专项资助

摘要: 图像所包含的信息是通过灰度值在空域的变化呈现的. 梯度是度量变化的基本工具, 这使得梯度成为了目前大多数图像质量评价算法的重要组成部分(Ingredient). 但是梯度只能度量局部变化, 而当人类视觉系统(Human Visual System, HVS)感知一幅图像时, 既能感知到局部变化, 也能感知到全局变化. 基于HVS的这一特性, 本文提出了一种结合全局与局部变化的图像质量评价算法(Global and Local Variation SIMilarity, GLV-SIM). 该算法利用Grünwald-Letnikov分数阶导数来度量图像的全局变化, 利用梯度模来度量图像的局部变化. 然后结合二者计算参考图像和退化图像之间的相似度谱(Similarity Map), 进而得到图像的客观评分. 在TID2013、TID2008、CSIQ与LIVE四个数据库上的仿真实验表明, 较之单一度量局部变化的方法, 本文算法能更准确地模拟HVS对图像质量的感知过程, 给出的客观评分与主观评分具有较好的一致性.

and Technology, Xi’an 710021
 收稿日期 2019-10-08    录用日期 2019-12-15 Manuscript received October 8, 2019; accepted December 15, 2019 国家自然科学基金 (61871260, 61871259), 陕西科技大学人工智能交叉学科 PI 团队培育专项资助 Supported by National Natural Science Foundation of China (61871260, 61871259), Shaanxi University of Science and Technology Artificial Intelligence Interdisciplinary PI Team Cultivation Special Project 本文责任编委 Recommended by Associate Editor 1. 陕西科技大学电气与控制工程学院 西安 710021    2. 宁夏大学数学统计学院 银川 750021    3. 宁夏师范学院数学与计算机科学学院 固原 756000    4. 陕西科技大学电子信息与人工智能学院 西安 710021 1. School of Electrical and Control Engineering, Shaanxi University of Science and Technology, Xi’an 710021    2. School of Mathematics and Statistics, Ningxia University, Yinchuan 750021    3. School of Mathmatics and Computer Science, Ningxia Normal University, Guyuan 756000    4. School of Electronic Information and Artificial Intelligence, Shaanxi University of Science

English Abstract

  • 图像是人类视觉感知和计算机处理系统的重要信息载体, 图像质量的好坏直接影响着人们的视觉体验和图像的后续处理. 然而由于成像系统和环境等因素的限制, 图像在采集、存储和传输过程中, 会不可避免的引入噪声、模糊等现象, 造成图像质量的退化[1-3]. 为了有效地对图像质量进行控制或增强, 必先明确如何度量图像质量, 这催生了对图像质量评价(Image Quality Assessment, IQA)问题的研究.

    图像质量评价根据人的参与情况, 可分为主观评价和客观评价[4]. 主观评价方法邀请志愿者对图像质量进行打分, 容易受到观测者个体因素的影响, 通常需进行多次重复试验并取平均意见分值(Mean Opinion Score, MOS) 作为最终的质量评分. 该方法费用高, 耗时长, 不能嵌入实时系统中, 因而使用范围受到限制. 客观评价方法模拟人对图像质量的感知过程, 构建与主观评价结果相一致的评价算法.

    根据评价过程有无真实图像(Ground Truth) 作为参考, IQA分为全参考、部分参考和无参考评价[5], 本文研究全参考IQA问题.

    广泛应用的全参考IQA算法有均方误差(Mean Squared Error, MSE)[6]和峰值信噪比(Peak Signal Noise Ratio, PSNR)[7], 二者通过计算参考图像与退化图像之间对应像素点的差异来度量图像质量损失, 计算简单且容易被嵌入图像处理模型中, 但未考虑图像在空域的结构和HVS感知机理, 评价结果与主观MOS值的一致性较差. 2004年, 结构相似性(Structure Similarity, SSIM)[8]的提出受到研究者的广泛关注. 该算法假设HVS能够自适应地提取场景中结构信息, 并融合亮度、对比度、结构三方面特征来计算参考图像与退化图像之间的相似性. SSIM的评价性能与MSE、PSNR相比有明显提高, 被认为是IQA领域具有里程牌意义的算法. 随后, 基于SSIM框架, 研究者提出一系列改进算法, 如MS-SSIM[9]、IW-SSIM[10]、3-SSIM[11], 以及文献[12]-[15]中的算法等. 2011年, Zhang等提出特征相似性(Feature Similarity, FSIM)算法[16], 该算法假定HVS依据底层视觉特征的相似程度来判定图像质量, 并以相位一致性为第一特征, 梯度模为第二特征, 计算参考图像和退化图像的相似度谱, 然后以相位一致性作为视觉显著性度量来对相似度谱进行加权平均. FSIM算法获得了较好的评价效果, 目前已成为全参考IQA的基准(Benchmark)算法.

    图像中所包含的信息是通过灰度值或者色彩在空域的变化来呈现的, 这使得度量变化的特征(Feature) 被广泛应用于图像质量评价中. 梯度是度量变化的基本工具, 这使得梯度成为了目前很多IQA算法的基本组成部分. 例如, 文献[17]直接将梯度模作为局部特征, 构造了GSIM(Gradient Similarity)算法; 文献[18]利用方向导数度量每个像素点周围四个方向上变化, 估计该点为边界的可能性, 提出ESSIM(Edge Strength Similarity) 算法; 文献[19]通过度量参考图像和退化图像之间超像素亮度相似性(superpixel luminance similarity)、超像素色度相似性(superpixel chrominance similarity)以及像素点梯度模相似性(pixel gradient similarity), 构造了SPSIM(Superpixel-based Simiarity) 算法; 文献[20]综合梯度模、各向异性和局部方向性构建DASM(Directional Anisotropic Struture Measurement) 特征, 提出基于DASM的评价算法; 文献[21]以梯度模为特征, 标准差为池化方式, 提出了GMSD(Gradient Magnitude Similarity Deviation)算法; 可以看出, 这些算法的构造都用到了梯度特征, 且梯度特征对算法的评价性能起到了重要的作用. 此外, DOG(Difference of Gaussian) 滤波和小波变换也是工程中经常使用的度量变化的工具, 自然地可被用作图像质量评价的特征. 例如, 文献[22]提出了基于DOG的图像质量评价算法, 以及文献[23]提出了基于哈尔小波的HaarPSI(Haar wavelet-based perceptual similarity) 算法.

    梯度、DOG以及小波均度量局部变化, 但HVS对图像进行观测时, 既能感知到局部信息, 也能感知到全局信息. 如当人在观测一幅图像时, 一方面, 能够感知到图像中的前景和背景, 并能够对整幅图像的语义信息有所理解, 这依赖于HVS对图像全局信息的感知; 另一方面, HVS具有多尺度聚焦功能, 能够自适应地感知到图像中感兴趣的局部细节. 如我们在观测图1时, 会自然的把小孩的部分看作是图像前景, 草地的部分看作是图像背景; 同时, 人眼会易于关注到感兴趣的区域, 如小孩所在的区域, 尤其是脸部区域. 为模拟HVS的这一感知特点, 在本文中, 我们通过分别度量图像在空域上全局与局部的变化来刻画图像的全局信息与局部信息, 提出了一种结合全局与局部变化的图像质量评价算法(GLV-SIM), 算法利用Grünwald-Letnikov分数阶导数来度量图像的全局变化, 利用梯度模来度量图像的局部变化. 在公开数据库的实验结果表明, 本文算法给出的客观评分能够获得与主观评分较好的一致性.

    图  1  child-swimming图像

    Figure 1.  The image of child-swimming

    下文安排如下: 第1节介绍如何度量图像在空域的全局变化和局部变化; 第2节结合全局与局部变化定义IQA算法GLV-SIM; 第3节通过数值实验讨论全局与局部变化特征相结合对图像对比变化的刻画能力, 以及分析本文算法的评价效果; 第4节为本文工作的总结和展望.

    • 分数阶微积分是整数阶微积分在形式上的推广, 研究阶次为分数的问题, 由法国数学家Hopital在1695年写给Leibniz的信中所提出[24].分数阶导数具有记忆性的特点, 能够较好的刻画历史依赖性和全局相关性, 可用来描述图像的全局变化. 基于从不同形式上的推广, 常见的分数阶导数定义有Riemann-Liouville, Grünwald-Letnikov和Caputo等[25-26], 其中Grünwald-Letnikov常被应用于信号处理方面.

      本文采用Grünwald-Letnikov(GL), 其定义由整数阶微积分推演而来. 对于一维信号$f(x)$, 一阶导数的计算公式为

      $$ \frac{{\rm{d}}^{1}}{{\rm{d}} x^{1}}f(x) = \mathop {\lim }\limits_{h \to 0} \frac{1}{h}[f(x)-f(x-h)] $$ (1)

      其中, $ h $为自变量增量. 容易地, 由一阶导数推导出二阶导数公式

      $$ \frac{{\rm{d}}^{2}}{{\rm{d}} x^{2}}f(x) = \mathop {\lim }\limits_{h \to 0} \frac{1}{h^2}[f(x)-2f(x-h)+f(x-2h)] $$ (2)

      循环使用上述方法, 最终得出$ f(x) $$ n $阶导数为

      $$ \frac{{\rm{d}}^{n}}{{\rm{d}} x^{n}}f(x) = \mathop {\lim }\limits_{h \to 0} \frac{1}{h^n} \sum\limits_{j = 0}^{n} (-1)^j \bigg(\begin{array}{c} n \\ j \end{array}\bigg) f(x-jh) $$ (3)

      将式(3)中导数阶次由整数$ n $拓展到非整数$ \alpha $的情形, $ f(x) $$ \alpha $阶GL导数定义为

      $$ ^{GL} _{x_0,x}D^\alpha f(x) = \mathop {\lim }\limits_{h \to 0} \frac{1}{h^\alpha} \sum\limits_{j = 0}^{[(x-x_0)/h]} (-1)^j \bigg(\begin{array}{c} \alpha \\ j \end{array}\bigg) f(x-jh) $$ (4)

      其中, $ ^{GL}_{x_0,x}D^\alpha $左上标含义为Grünwald-Letnikov, 右上标含义为$ \alpha $阶导数, 而左下标$ x $$ x_0 $分别代表上、下界. 另外, $ [\cdot] $表示取整运算.

      将式(4)中的系数部分$ (-1)^j\bigg(\begin{array}{c}\alpha \\j\end{array}\bigg) $改写为$ \dfrac{(-1)^j \Gamma(\alpha+1)} {\Gamma(j+1) \Gamma(\alpha-j+1)} $, 其中$ \Gamma(\cdot) $为Gamma函数, Gamma函数为阶乘在非整数上的推广, 则GL定义可重新写为

      $$ \begin{split} ^{GL} _{x_0,x}D^\alpha f(x) =& \mathop {\lim }\limits_{h \to 0} \frac{1}{h^\alpha} \displaystyle\sum\limits_{j = 0}^{[(x-x_0)/h]} \frac{(-1)^j \Gamma(\alpha+1)} {\Gamma(j+1) \Gamma(\alpha-j+1)}\cdot \\[-3pt] &f(x-jh)\\[-10pt] \end{split} $$ (5)

      从式中可以看出, 函数$ f(x) $$ x $处的GL导数涉及从$ x_0 $$ x $的所有函数值, 由此可认为分数阶导数是有记忆的.

      图像信号可看成是二维矩阵. 此处在一维信号GL定义的基础上, 计算二维图像信号的GL导数. 记图像信号为$ f({{x}}) $,

      $$ f({{x}}) = \left( \begin{array}{cccc} x_{11} & x_{12} & \cdots& x_{1N} \\[-2pt] x_{21} & x_{22} & \cdots & x_{2N} \\[-2pt] \vdots & \vdots & \ddots & \vdots \\[-2pt] x_{M1} & x_{M2} & \cdots & x_{MN} \\ \end{array} \right) $$ (6)

      其中$ M $$ N $分别为图像行、列像素总数. 对图像信号$ f({{x}}) $计算GL导数可看成是分别沿水平方向和垂直方向进行一维信号GL导数的计算.

      沿水平方向计算GL导数, 对图像$ f({{x}}) $进行逐行处理. 对于第$ i $行, 即$ {{x}}_i=(x_{i1}, x_{i2}, \cdots, x_{iN}) $, 大小为$ 1\times N $. $ {{x}}_i $对应的GL导数记为$ D^\alpha _H {{x}}_i $(下标$ H $代表沿水平方向), 基于式(5), $ D^\alpha _H {{x}}_i $计算如下

      $$\begin{split} D^\alpha _H {{x}}_i =& ( \frac{1}{h^\alpha}\cdot x_{i1},\frac{(-1)^j \Gamma(\alpha+1)} {h^\alpha\cdot\Gamma(2) \Gamma(\alpha)} \cdot x_{i1}+\frac{1}{h^\alpha}\cdot x_{i2}, \cdots , \\[-2pt] &\frac{(-1)^{N-1} \Gamma(\alpha+1)} {h^\alpha\cdot\Gamma((N\!-\!1)\!+\!1) \Gamma(\alpha\!-\!(N\!-\!1)\!+\!1)} \cdot x_{i1}+\\[-2pt] &\frac{(-1)^{N-2} \Gamma(\alpha+1)} {h^\alpha\cdot\Gamma((N-2)+1) \Gamma(\alpha-(N-2)+1)} \cdot \\[-2pt] &x_{i2}+\cdots+\frac{1}{h^\alpha}\cdot x_{iN} )\\[-15pt] \end{split} $$ (7)

      $ D^\alpha _H {{x}}_i $计算结果为$ 1\times N $的向量, 从式 (7)中可以看出, $ D^\alpha _H {{x}}_i $第一项涉及像素值$ x_{i1} $; 第二项涉及像素值$ x_{i1} $$ x_{i2} $; 依次可知, 第$ N $项涉及像素值$ x_{i1} $$ x_{i2} $、···、$ x_{iN} $; 表明了GL导数具有全局性的特点. 根据式(7)分别计算得到$ f({{x}}) $每一行对应的$ D^\alpha _H {{x}}_i $值, $ i=1, 2, \cdots, M $, 即得到图像沿行方向的GL导数,记为$ D^\alpha _H $, 结果为$ M\times N $的矩阵.

      类似地, 沿垂直方向计算GL导数, 对图像$ f({{x}}) $进行逐列处理, 列向量大小为$ M\times 1 $, 每列所对应的GL导数结果为$ M\times 1 $的向量. $ f({{x}}) $可看成是$ N $$ M\times 1 $的列向量, 记图像沿列方向的GL导数为$ D^\alpha _V $, (下标$ V $代表沿垂直方向), 则$ D^\alpha _V $结果同样为$ M\times N $的矩阵.

      分别得到图像沿水平方向和垂直方向的GL导数$ D^\alpha _H $$ D^\alpha _V $, 图像对应GL导数模定义为

      $$ DM = \sqrt{(D^\alpha _H )^2+(D^\alpha _V )^2} $$ (8)

      $ DM $$ M\times N $的矩阵.

    • 图像梯度可用来度量图像局部的变化, 其计算方法为图像与梯度算子进行卷积运算. 常用的梯度算子有3种, 分别为Sobel算子、Prewitt算子和Scharr算子. 自然地, 采用不同的梯度算子对IQA算法的评价性能也将不同. 由文献[16][18]的讨论可得Scharr算子能够对IQA模型产生较好的效果. 由此本文梯度算子选取Scharr, 模板大小为$ 3 \times 3 $, 式(9)给出了水平方向和垂直方向模板

      $$ \frac{1}{{16}}\left[ {\begin{array}{*{20}{c}} 3&0&{ - 3}\\ {10}&0&{ - 10}\\ 3&0&{ - 3} \end{array}} \right],\frac{1}{{16}}\left[ {\begin{array}{*{20}{c}} 3&{10}&3\\ 0&0&0\\ { - 3}&{ - 10}&{ - 3} \end{array}} \right] $$ (9)

      由图像$ f({{x}}) $与式(9)中模板卷积运算分别得到水平方向和垂直方向的梯度值$ G_H $$ G_V $. 图像对应的梯度模定义为

      $$ GM = \sqrt{(G_H )^2+(G _V )^2} $$ (10)

      $ GM $$ M\times N $的矩阵.

    • 人在对图像的感知过程中, 不仅能够感知到图像中的语义对象等全局信息, 并且能够感知到图像中感兴趣的局部细节. 基于模拟HVS这一感知特点, 本文提出一种结合全局与局部的IQA算法GLV-SIM, 该算法利用GL导数度量图像的全局变化, 利用梯度模度量图像的局部变化.

      GLV-SIM算法的总体框架如图2所示. 记参考图像为$ {{r}}=\{r(x)|x\in { \Omega}\}$, 退化图像为${{d}}= \{d(x)|$$x\in { \Omega}\}$, $ \Omega $表示整个图像域. 首先利用1.1节中式(8)GL导数模的定义分别计算$ {{d}} $全局变化特征$ DM_r $$ DM_d $, 计算二者的相似性得到$ DM $相似度谱; 利用1.2节中式(10)梯度模的定义分别计算$ {{r}} $$ {{d}} $局部变化特征$ GM_r $$ GM_d $, 计算二者的相似性得到$ GM $相似度谱.然后融合$ DM $相似度谱与$ GM $相似度谱得到$ {{r}} $$ {{d}} $总的相似性谱.最后对总的相似性谱作池化处理得到图像的整体客观评分.

      图  2  GLV-SIM算法框架

      Figure 2.  The framework of GLV-SIM algorithm

      图像$ {{r}} $$ {{d}} $$ x $处GL导数模的相似性度量定义为

      $$ S_{DM}(x) = \frac{2DM_r(x)\cdot2DM_d(x)+C_1}{DM^2_r(x)+DM^2_d(x)+C_1} $$ (11)

      $ S_{DM} $反映了参考图像与退化图像在全局变化特征上的相似程度.

      类似地, 图像$ {{r}} $$ {{d}} $$ x $处梯度模的相似性度量定义为

      $$ S_{GM}(x) = \frac{2GM_r(x)\cdot2GM_d(x)+C_2}{GM^2_r(x)+GM^2_d(x)+C_2} $$ (12)

      $ S_{GM} $则反映了参考图像与退化图像在局部变化特征上的相似程度. 式(11)、(12) 中$ C_1 $$ C_2 $均为大于零的常数, 以避免分母为零和保持计算结果的稳定性.

      综合式(11)、(12), 参考图像与退化图像总的相似性度量定义为

      $$ S(x) = [S_{DM}(x)]^\lambda\cdot[S_{GM}(x)]^{1-\lambda} $$ (13)

      其中, 参数$ \lambda $用来调节全局与局部特征的相对重要性.

      最后, 对$ S $作均值池化处理, 图像整体客观评分为

      $$ Score = \frac{1}{T}\sum\limits_{x = 1}^{T}S(x) $$ (14)

      式中, $ T $表示图像域$ \Omega $中像素总数.

    • 为全面分析本文GLV-SIM算法的评价性能, 选取4大公开IQA数据库TID2013[27]、TID2008[28]、C SIQ[29]和LIVE[30]作为实验数据集. 其中, TID2013包含有3 000幅退化图像, 24种失真类型, 5种失真等级; TID2008包含有1 700幅退化图像, 17种失真类型, 每种失真类型有4个失真等级; CSIQ数据库包含有866幅退化图像, 5种失真类型, $4\sim 5$种失真等级; 以及LIVE数据库包含有779幅退化图像, 5种失真类型, $4\sim 5 $种失真等级. 同时, 数据库中均给出了每幅退化图像相应的主观评分. 值得注意的是, TID2013和TID2008主观评分为MOS值, 其分值越大表示图像质量越好; 而CSIQ和LIVE主观评分为DMOS(Differential Mean Opinion Score)值, 其分值越小表示图像质量退化程度越低.

      客观IQA算法的性能通常以主客观评分之间的一致性来衡量. 常用的评价指标有4中: 斯皮尔曼等级相关系数(Spearman Rank Order Correlation Coefficient, SROCC)和肯德尔等级相关系数(Kendall Rank Order Correlation Coefficient, KROCC) 评价主客观评分之间的单调性, 其值越接近于1则相关性越好; 皮尔逊线性相关系数(Pearson Linear Correlation Coefficient, PLCC) 和均方根误差(Root Mean Square Error, RMSE) 评价算法预测准确性, 由于主客观评分取值范围不同(如TID2013中主观评分范围为[0−9], 而SSIM客观评分范围为[0−1]), 计算时需要先进行回归分析, 建立主客观评分之间的非线性映射. 这里采用式(15)中的Logistic回归函数, 其中$ {{\beta_i|i=1, 2, \cdots, 5}} $为回归模型参数. PLCC值越接近于1, 表示算法精度越高. 而RMSE值越小, 则算法预测准确性越好.

      $$ Q_P \!=\! \beta_1\left[\frac{1}{2}\!-\!\frac{1}{1\!+\!exp(\beta_2(Q\!-\!\beta_3))}\right]\!+\!\beta_4 Q\!+\!\beta_5 $$ (15)
    • GLV-SIM算法在计算参考图像与退化图像全局与局部特征相似性度量时, 分别引入了可调参数$ C_1 $$ C_2 $. 通常, 设置方法为取$ C_1=(K_1\cdot L)^2 $$C_2= $$ (K_2\cdot L)^2 $, 其中$ K_1 $$ K_2 $为很小的常数(对于8-bit灰度图像$ L=255 $). 另外, GLV-SIM算法中分数阶次$ \alpha $以及体现全局与局部的相对重要程度的$ \gamma $, 也均为需设置的参数.

      选取TID2008数据库中前8幅参考图像及对应的544幅退化图像作为测试子集, 在该子集上取不同参数进行数值实验, 通过最高的SROCC值确定算法最佳参数值. 采用控制变量法, 先令$ \alpha=0.5 $, $ \gamma=0.5 $, 在二维网格$ (K_1, K_2)=(0.05k_1, 0.05k_2) $上进行搜索, $ k_1=1, 2, \cdots, 10 $; $ k_2=1, 2, \cdots, 10 $, 实验得到$ K_1=0.2 $, $ K_2=0.1 $为最佳值. 其次,以$ K_1 $$ K_2 $最佳值与$ \gamma=0.5 $, 对不同$ \alpha $取值进行实验, $ \alpha $最佳值取0.6. 最后以$ K_1 $$ K_2 $$ \alpha $最佳值, 确定$ \gamma $最优值,结果取$ \gamma=0.7 $.

    • 选取TID2008数据库中参考图像I21, 及相应的退化图像I21-1-2、I21-3-2、I21-8-2、I21-11-2和I21-12-2, 各退化图像对应的退化类型分别为加性高斯噪声、空间位置相关噪声、高斯模糊、JPG2K压缩和JPG传输错误. 如图3所示, (a)为参考图像, (b)-(f)为退化图像, 图中右下角分别显示矩形区域局部放大图, 该区域包含有边界、纹理及平滑的部分(如屋顶边界、云朵纹理及天空平滑部分). 从图中可以看出, 5幅退化图像分别具有不同视觉感知质量, 其对应的主观评分MOS值如表1中所示. 分值越大代表图像质量越好, 则视觉质量由好到差依次为(f)、(b)、(e)、(d)和(c).

      图  3  参考图像(a)及其不同类型退化图像(b)-(f)(右下角为矩形区域局部放大图)

      Figure 3.  Fig. 3 Reference image (a) and different types of distorted images (b)-(f)

      表 1  图3(b)-(f)主观评分和不同算法客观评分

      Table 1.  Subjective scores and objective scores of different algorithms for Fig. 3(b)-(f)

      评价方法图3(b)图3(c)图3(d)图3(e)图3(f)
      MOS5.00003.83874.18754.76676.2903
      PSNR30.530430.578426.130327.480827.3498
      VSNR29.730121.148020.534230.707220.2681
      IFC4.73893.43514.93192.995611.3746
      SSIM 0.92500.84610.94590.94750.9568
      MS-SSIM 0.96060.91590.97380.97270.9821
      IW-SSIM0.96840.90750.96450.97040.9661
      GSIM0.99580.98880.99530.99660.9979
      FSIM0.98310.94620.95380.96990.9707
      GLV-SIM0.99590.98450.99270.99570.9961

      表1同时列出了GLV-SIM及几种不同IQA算法对图3(b)-(f)的客观评分, 评分排名如表2所示. 结果表明, 本文GLV-SIM算法可获得与主观评价相一致的评价结果, 算法FSIM、GSIM同样考虑了利用梯度度量图像局部变化, 但排名结果与主观MOS不完全一致, 这也体现了本文综合考虑图像全局与局部变化的有效性.

      表 2  针对表1评分排名

      Table 2.  The rank of scores on table 1

      评价方法图3(b)图3(c)图3(d)图3(e)图3(f)
      MOS25431
      PSNR21534
      VSNR23415
      IFC34251
      SSIM45321
      MS-SSIM45231
      IW-SSIM24513
      GSIM35421
      FSIM15432
      GLV-SIM25431

      考查图像全局变化特征对图像质量评价的有效性. 图4展示了与图3相对应矩形区域的$ DM $图, 由图中可以看出, 图4(a)$ DM $图能够很好的呈现参考图像的变化特征. (b)-(f)与(a)相比, 明显(f)具有与(a)更相似的$ DM $图, 与其他相比(f)视觉质量最好; (b)与(e)相比, (b)虽存在噪声但在边界处保留有更好的细节, 整体上(b)好于(e); 而(d)在边界处出现模糊, 影响视觉效果; (c)则与(a)相似程度最低, (c)视觉质量最差. 由分析可看出, 描述图像全局变化特征的$ DM$图能够获得与主观评价较好的一致性, 与人类视觉感知相符.

      图  4  针对图3中各矩形区域对应的$DM$

      Figure 4.  The corresponding $DM$ image for each rectangular region in fig. 3

    • 在4个数据库上测试GLV-SIM的整体评价性能, 参与对比的算法有传统方法PSNR、VSNR[31]、IFC[32], 经典算法SSIM及其改进算法MS-SSIM、IW-SSIM, 以及梯度相似性GSIM和特征相似性FSIM算法. 实验中对比算法采用作者公布的代码和文献中报道的最优参数. 实验环境为DELL optiplex7040, Intel Core i7-6700, CPU@3.4GHz,8G RAM, 实验平台为MATLAB R2016b. 表3表4列出了9种算法在4个数据库上SROCC、KROCC、PLCC和RMSE的结果. 从表中可看出, GLV-SIM整体评价效果较好.在TID2013、TID2008和CSIQ数据库上, GLV-SIM与FSIM评价性能相当, 好于基于梯度的GSIM算法, 且优于传统算法和基于SSIM的算法. 在LIVE数据库上, FSIM取得了最好的评价效果, GLV-SIM与GSIM相当. 该实验结果表明, 图像变化特征能够更好地描述图像结构信息, 本文GLV-SIM算法中全局与局部结合的方法与单一度量局部变化相比, 能提高对图像对比变化的刻画能力.

      表 3  不同IQA算法在TID2013和TID2008数据库的实验结果比较

      Table 3.  Comparison the performance results of different IQA algorithms on TID2013 and TID2008

      数据库性能指标PSNRVSNRIFCSSIMMS-SSIMIW-SSIMGSIMFSIMGLV-SIM
      TID 2013SROCC0.63960.68120.53890.74170.78590.77790.79460.80150.8068
      KROCC0.46980.50840.39390.55880.60470.59770.62550.62890.6381
      PLCC0.70170.74020.55380.78950.83290.83190.84640.85890.8580
      RMSE0.88320.83921.03220.76080.68610.68800.66030.63490.6368
      TID 2008SROCC0.55310.70460.56750.77490.85420.85590.85040.88050.8814
      KROCC0.40270.53400.42360.57680.65680.66360.65960.69460.6956
      PLCC0.57340.68200.73400.77320.84510.85790.84220.87380.8648
      RMSE1.09940.98150.91130.85110.71730.68950.72350.65250.6739

      表 4  不同IQA算法在CSIQ和LIVE数据库的实验结果比较

      Table 4.  Comparison the performance results of different IQA algorithms on CSIQ

      数据库性能指标PSNRVSNRIFCSSIMMS-SSIMIW-SSIMGSIMFSIMGLV-SIM
      CSIQSROCC0.80580.81060.76710.87560.91330.92130.91080.92420.9264
      KROCC0.60840.62470.58970.69070.73930.75290.73740.75670.7605
      PLCC0.80000.80020.83840.86130.89910.91440.89640.91200.9082
      RMSE0.15750.15750.14310.13340.11490.10630.11640.10070.1099
      LIVESROCC0.87560.92740.92590.94790.95130.95670.95610.96340.9521
      KROCC0.68650.76160.75790.79630.80450.81750.81500.83370.8179
      PLCC0.87230.92310.92680.94490.94890.95220.95120.95970.9368
      RMSE13.35910.50510.2648.94458.61888.34738.43277.67808.0864
    • 在TID2008数据库上测试GLV-SIM对单一失真类型的评价性能. 表5中列出了不同算法的SROCC值, 值越大表明评价效果越好, 图中每种失真类型排名首位的结果已加粗显示. 从表中可看出, GLV-SIM和PSNR均出现5次, GSIM出现3次, FSIM出现1次. PSNR对噪声类型的失真评价较好, GLV-SIM在AWN、QN上效果明显, 并能在AWNC、SCN和HFN上取得与PSNR相当的效果. 其次, GLV-SIM还可在JPEG、J2TE、BLOCK失真类型上取得较好的评价效果, 并在JP2K能与FSIM效果相当.

      表 5  不同IQA算法在TID2008数据库单一失真评价性能(SROCC)比较

      Table 5.  Comparison SROCC for individual distortion of different IQA algorithms on TID2008 database

      数据库失真类型PSNRVSNRIFCSSIMMS-SSIMIW-SSIMGSIMFSIMGLV-SIM
      TID 2008AWN0.90730.77280.58060.81070.80940.78690.85730.85660.9125
      ANMC0.89940.77930.54600.80290.80640.79200.80950.85270.8979
      SCN0.91750.76650.59580.81440.81950.77140.89020.84830.9167
      MN0.85200.72950.67320.77950.81560.80870.74030.80210.8087
      HFN0.92730.88110.73180.87290.86850.86620.89320.90930.9175
      IMN0.87250.64700.53450.67320.68680.64650.77210.74520.7864
      QN0.87020.82710.58570.85310.85370.81770.87500.85640.8865
      GB0.87040.93300.85590.95440.96070.96360.95850.94720.9587
      DEN0.94220.92860.79730.95300.95710.94730.97230.96030.9666
      JPEG0.87230.91740.81800.92520.93480.91840.93910.92790.9534
      JP2K0.81310.95150.94370.96250.97360.97380.97550.97730.9751
      JGTE0.75250.80560.79090.86780.87360.85880.88320.87080.8793
      J2TE0.83120.79090.73010.85770.85220.82030.89250.85440.9021
      NEPN0.58120.57160.84180.71070.73360.77240.73720.74910.7271
      BLOCK0.61940.19260.67700.84620.76170.76230.88650.84920.8960
      MS0.69660.37150.42500.72310.73740.70670.71740.66980.6994
      CTC0.58670.42390.27130.52460.63980.63010.67360.64810.6689
    • 本文的贡献在于针对现有IQA算法仅考虑图像局部变化所存在的不足, 以模拟HVS既能感知到图像局部信息也能感知到全局信息的特点, 提出一种结合全局与局部变化的GLV-SIM算法. 该算法利用了分数阶导数具有全局性的特点来度量图像全局变化, 同时利用梯度来度量图像局部变化, 结合二者来预测图像质量评分. 在公开数据库上的实验结果表明, 本文算法能够取得与主观评分较好的一致性. 结合全局与局部的方法与单一考虑局部的方法相比能够更好的模拟HVS的主观评价过程. 在今后的研究中, 我们将进一步尝试将该方法应用于部分参考和无参考图像质量评价问题中.

参考文献 (32)

目录

    /

    返回文章
    返回