2.845

2023影响因子

(CJCR)

  • 中文核心
  • EI
  • 中国科技核心
  • Scopus
  • CSCD
  • 英国科学文摘

留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

基于自适应级联的注意力网络的超分辨率重建

陈一鸣,  周登文

文章导航 > 自动化学报  > 2022 >  48(8): 1950-1960
陈一鸣, 周登文. 基于自适应级联的注意力网络的超分辨率重建. 自动化学报, 2022, 48(8): 1950−1960 doi: 10.16383/j.aas.c200035
引用本文: 陈一鸣, 周登文. 基于自适应级联的注意力网络的超分辨率重建. 自动化学报, 2022, 48(8): 1950−1960 doi: 10.16383/j.aas.c200035
shu
Chen Yi-Ming, Zhou Deng-Wen. Adaptive attention network for image super-resolution. Acta Automatica Sinica, 2022, 48(8): 1950−1960 doi: 10.16383/j.aas.c200035
Citation: Chen Yi-Ming, Zhou Deng-Wen. Adaptive attention network for image super-resolution. Acta Automatica Sinica, 2022, 48(8): 1950−1960 doi: 10.16383/j.aas.c200035
shu

基于自适应级联的注意力网络的超分辨率重建

doi: 10.16383/j.aas.c200035
  • 1.

    华北电力大学控制与计算机工程学院 北京 102206

详细信息
    作者简介:

    陈一鸣：现为北京大学计算机学院硕士研究生. 主要研究方向为计算机视觉, 深度学习和生物计算. E-mail: 88143221@163.com

    周登文：华北电力大学控制与计算机工程学院教授. 主要研究方向为图像处理, 神经网络和深度学习在图像处理和计算机视觉中的应用和图像超分辨率技术. 本文通信作者. E-mail: zdw@ncepu.edu.cn

Adaptive Attention Network for Image Super-resolution

  • 1.

    School of Control and Computer Engineering, North China Electric Power University, Beijing 102206

More Information
    Author Bio:

    CHEN Yi-Ming　Master student at the School of Computer Science, Peking University currently. His research interest covers computer vision, deep learning and biocomputing

    ZHOU Deng-Wen　Professor at the School of Control and Computer Engineering, North China Electric Power University. His research interest covers image processing the applications, neural networks and deep learning in image processing and computer vision and image super-resolution technology. Corresponding author of this paper

HTML全文

    摘要
  • 摘要: 深度卷积神经网络显著提升了单图像超分辨率的性能. 通常, 网络越深, 性能越好. 然而加深网络往往会急剧增加参数量和计算负荷, 限制了在资源受限的移动设备上的应用. 提出一个基于轻量级自适应级联的注意力网络的单图像超分辨率方法. 特别地提出了局部像素级注意力模块, 给输入特征的每一个特征通道上的像素点都赋以不同的权值, 从而为重建高质量图像选取更精确的高频信息. 此外, 设计了自适应的级联残差连接, 可以自适应地结合网络产生的层次特征, 能够更好地进行特征重用. 最后, 为了充分利用网络产生的信息, 提出了多尺度全局自适应重建模块. 多尺度全局自适应重建模块使用不同大小的卷积核处理网络在不同深度处产生的信息, 提高了重建质量. 与当前最好的类似方法相比, 该方法的参数量更小, 客观和主观度量显著更好.
    Abstract: Deep convolutional neural networks have significantly improved the performance of single image super-resolution. Generally, the deeper the network, the better the performance. However, deepening network often increases the number of parameters and computational cost, which limits its application on resource constrained mobile devices. In this paper, we propose a single image super-resolution method based on a lightweight adaptive cascading attention network. In particular, we propose a local pixel-wise attention block, which assigns different weights to pixels on each channel, so as to select high-frequency information for reconstructing high quality image more accurately. In addition, we design an adaptive cascading residual connection, which can adaptively combine hierarchical features and is propitious to reuse feature. Finally, in order to make full use of all hierarchical features, we propose a multi-scale global adaptive reconstruction block. Multi-scale global adaptive reconstruction block uses convolution kernels of different sizes to process different hierarchical features, hence can reconstruct high-resolution image more effectively. Compared with other state-of-the-art methods, our method has fewer parameters and achieves superior performance.
    • HTML全文

  • 单图像超分辨率(Single image super-resolution, SISR)[1]技术是一个经典的计算机视觉任务, 旨在从一个低分辨率(Low-resolution, LR)图像生成对应的高分辨率(High-resolution, HR)图像, 在医学成像、监控和遥感等领域有十分广泛的应用. SISR是一个病态的逆问题, 要重建逼真的HR图像非常困难, 因为一个LR图像可与多个HR图像对应, 需要假定的先验知识, 正则化原HR图像解[2].

    近年来, 深度学习[3]技术显著改进了SISR性能, 并主导了当前SISR技术的研究. Dong等[4]提出了第1个基于卷积神经网络的SISR算法称为超分辨率卷积神经网络(Super-resolution convolutional neural network, SRCNN). SRCNN只有3个卷积层, 感受野较小. 之后的SISR方法的一个趋势是: 逐步加深网络, 从而获得更强的LR-HR映射能力, 同时拥有更大的感受野, 能够融入更多的背景信息, 改进了SISR性能[5]. 然而加深网络也会带来一些问题: 更大的网络(更深或更宽), 会有更多的参数, 需要更大的内存和更强的计算力, 这阻碍了在资源受限的设备, 如移动设备上的实际应用. 当前已有一些引人注意的基于轻量级网络的SISR方法被提出. Kim等[6]提出的深度递归卷积网络(Deeply-recursive convolutional network, DRCN)方法, 使用深度递归的方法, 在卷积层之间共享参数, 在加深网络的同时, 尽可能不增加网络参数量. Tai等[7]提出的深度递归残差网络 (Deep recursive residual network, DRRN), 也使用了深度递归的方法. 与DRCN的区别在于DRRN在残差块之间共享参数, 不仅显著地减少了参数量, 而且性能也显著更好. Tai等[8]也提出了深度持续记忆网络(Deep persistent memory network, MemNet)方法, 使用记忆模块, 并多次递归, 既能控制参数量, 也能更好地利用多层特征信息. Ahn等[9]提出的级联残差网络(Cascading residual network, CARN)方法, 使用级联残差的形式, 重用不同层次的信息. Li等[5]提出的轻量级超分辨率反馈网络 (Lightweight super-resolution feedback network, SRFBN-S)方法, 使用循环神经网络结构, 共享隐藏层的参数, 并多次利用各个隐藏层的输出, 从而改进了网络性能.

    本文提出了一个新的轻量级SISR模型, 称为自适应级联的注意力网络(Adaptive cascading attention network, ACAN). 与当前类似的尖端SISR方法相比, ACAN有更好的性能和参数量平衡. 的主要贡献包括: 1)提出了自适应级联的残差(Adaptive cascading residual, ACR) 连接. 残差块之间的连接权重, 是在训练中学习的, 能够自适应结合不同层次的特征信息, 以利于特征重用. 2)提出了局部像素级注意力(Local pixel-wise attention, LPA)模块. 其对输入特征的每一个特征通道的空间位置赋予不同的权重, 以关注更重要的特征信息, 更好地重建高频信息. 3)提出了多尺度全局自适应重建(Multi-scale global adaptive reconstruction, MGAR)模块, 不同尺寸的卷积核处理不同层次的特征信息, 并自适应地组合处理结果, 以产生更好的重建图像.

    1.   相关工作

    1.1   注意力机制

    注意力机制在计算机视觉领域中已经引起了越来越多的关注[10-12]. 在图像分类问题中, Wang等[11]设计了软掩模支路, 同时探索特征在空间维度和通道维度上的关系. Hu等[12]提出了轻量级的挤压和激励(Squeeze-and-excitation, SE)模块, 在网络训练过程中探索特征通道之间的内在联系. 在图像理解问题中, Li等[13]提出了引导的注意推理网络, 网络预测结果能够聚焦于感兴趣的区域. Liu等[14]首次将注意力机制引入到SISR中, 提出了全局的注意力产生网络, 能够定位输出特征的高频信息, 以改进SISR性能. Zhang等[15]提出的残差通道注意力网络 方法, 使用通道注意力机制, 能够选择携带信息丰富的特征通道. 本文主要受Wang等[11]和Liu等[14]的启发, 提出了局部像素级注意力模块. 在像素级别上定位高频信息丰富的区域, 以更好地利用特征.

    1.2   上采样层

    上采样层是SISR重建中很重要的一个组成部分. 早期基于深度学习的SISR方法[4, 8, 16], 一般先将LR图像, 用双三次插值到目标HR图像的尺寸, 再输入到网络模型. 这有助于减轻学习难度, 但大大增加了网络的计算量与参数量[17]. 目前常用的重建方法是直接输入原始的LR图像[18-19], 再将网络模型的输出上采样得到重建的HR图像. 文献[18]和文献[20]使用转置的卷积作为上采样层, 文献[15]和文献[19]使用亚像素卷积进行上采样. 这些单尺度上采样能缓解预上采样的弊端, 但是, 其同样存在难以充分利用网络模型产生的丰富的特征信息的问题. 本文提出了一种多尺度全局自适应的上采样方式: 针对不同的层次特征使用不同尺寸的卷积核, 多尺度地利用网络模型产生的特征信息, 并能够根据自适应参数, 自适应选择不同层次特征的结合方式, 以改进超分辨率的重建效果.

    2.   方法

    本文ACAN网络模型主要包括: 浅层特征提取模块(Shallow features extract block, SFEB)、非线性映射模块(Non-linear mapping block, NLMB)、多尺度全局自适应重建模块和全局残差连接, 如图1所示. SFEB是一个3 × 3卷积层, 提取输入LR图像的浅层特征, 并将提取的特征输入到NLMB模块. 本文使用的所有大小的卷积层的尾部都伴随着激活层, 并且使用PReLU作为所有激活层的激活函数, 后文不再详细说明. 受SRFBN[5]的启发, 本文在NLMB中采用类似结构, 并在层次特征提取模块(Hierarchical features extract block, HFEB)之间参数共享, 以减少参数量. NLMB是HFEB的多次递归, 在SFEB的基础上进一步进行深层特征的提取. HFEB由2个3 × 3的卷积层和一个提取及掩模(Extract-and-mask, EM)模块组成. 由于本文设计的ACR连接, 第1个HFEB的输入仅为SFEB的输出, 之后递归的每一次, HFEB的输入都包含两个部分: 1)上一层HFEB的输出; 2)前面所有HFEB的输出与对应的自适应参数相乘后的和, 并直接输入到当前HFEB的EM模块中. MGAR模块则接收NLMB所有输出重建残差图像; 最后, 全局残差连接产生双三次插值的LR图像, 与残差图像相加之后即为重建的HR图像. 由于文献[21]已经指出L2函数作为损失函数所谓缺点, 所以本文使用L1损失函数, 如下式所示:

    图 1  自适应级联的注意力网络架构(ACAN)
    Fig. 1  Adaptive cascading attention network architecture (ACAN)
    下载: 全尺寸图片 幻灯片
    $$ Loss(\hat{I}, I) = {\begin{Vmatrix} \hat{I} - I \end{Vmatrix}}_1 $$ (1)

    式中, $ \hat{I} $和$ I $分别代表模型产生的HR图像和真实的HR图像.

    第2.1 ~ 2.3节详细介绍HFEB、EM模块和MGAR模块.

    2.1   层次特征提取模块(HFEB)

    HFEB的重要特征是: 每个HFEB的输入来源不同. 由于信息在流动过程中会不断损耗, 因此希望使用跳跃连接解决这个问题. 为了有效地进行特征重用, 同时考虑参数量的问题, 最终搭建了自适应级联残差(ACR)连接, 如图1所示. ACR连接结构上类似于级联连接, 但本质上仍为残差连接, 并通过自适应参数控制信息流动. 由图1可知, 由于ACR连接, 除第1个HFEB的输入只接收SFEB的输出外, 之后的每个HFEB的输入都包括两个部分: 1) 上一层HFEB的输出; 2) 前面所有HFEB的输出与对应的自适应参数相乘后的和.

    在第$ t $个HFEB中, 第1部分输入(即第$ t-1 $个HFEB的输出), 先经过两个3 × 3的卷积层, 然后将输出乘上对应的自适应参数, 并与第2部分输入相加, 再输入到其中的EM模块进行高频信息的定位与提取. 第$ t $个HFEB的表达式如下:

    $$ I_{SR}^{t} = f_{HFEB}(I_{inter\_in}^{t},I_{SR}^{t-1}) $$ (2)

    式中, $ f_{HFEB} $表示HFEB, $ I_{SR}^{t-1} $和$ I_{inter\_in}^{t} $分别为第$ t $个HFEB的第1部分输入和第2部分输入, $ I_{SR}^{t} $为第$ t $个HFEB的输出.

    2.2   提取及掩模(EM)模块

    在每个HFEB中, 使用EM模块选择和提取高频特征信息. EM模块主要由特征预处理单元、特征提取模块和局部像素级注意力模块3个部分组成, 如图2所示.

    图 2  提取及掩膜模块
    Fig. 2  The extract and mask block
    下载: 全尺寸图片 幻灯片

    如前所述, 第$ t $个EM模块的输入来自两部分: 1)当前HFEB中, 经过两个3 × 3卷积层的输出$ I_{in}^{t} $, 乘上对应的自适应参数$ \alpha_{t} $后的积; 2)前面所有HFEB的输出与对应的自适应参数相乘后的和$ I_{inter\_in}^{t} $. 二者之和为当前EM模块的输入. EM模块的输入可表示如下:

    $$ I_{inter\_in}^{t} = \sum\limits_{i = 1}^{t-1}\Phi_{i}^{t-i} \times I_{SR}^{i} $$ (3)
    $$ I_{sum\_in}^t = I_{inter\_in}^{t} + \alpha_{t} \times I_{in}^{t} $$ (4)

    式中, $ I_{sum\_in}^{t} $是第$ t $个EM模块最终的输入, $ I_{SR}^{i} $是第$ i $个EM模块输出, 同时也是第$ i $个HFEB的输出, $ \Phi_{i}^{t-i} $是第$ i $个HFEB输出输入到第$ t $个EM模块时, 对应的自适应参数.

    为了缓解梯度消失的问题, 在EM模块外增加了局部残差连接. 第$ t $个HFEB中EM模块的输出可表示如下:

    $$ I_{SR}^t = f_{EM}(I_{sum\_in}^t) + I_{sum\_in}^t $$ (5)

    下面详细介绍EM模块的各个组成部分.

    2.2.1   特征预处理单元

    为了初步选择信息更丰富的特征, 先在EM模块中, 使用类似于Hu等[12]提出的SE模块, 进行通道级的特征选择. 为了加权各个特征通道, 将SE模块中的Sigmoid门函数替换成Softmax门函数. 同时为了减少因Softmax门函数引起的信息损失, 增加了局部残差连接. 修改的SE模块, 可表示如下:

    $$ I_{SE*} = f_{SE*}(I_{sum\_in}) + I_{sum\_in} $$ (6)

    式中, $ f_{SE*} $表示修改后的SE模块, $ I_{sum\_in} $和$ I_{SE*} $是EM模块的输入和输出.

    2.2.2   特征提取模块

    修改后的SE模块的输出$ I_{SE*} $, 输入至特征提取模块, 进行高频信息的提取, 如图3所示.

    图 3  特征提取模块
    Fig. 3  Feature extracting block
    下载: 全尺寸图片 幻灯片

    Haris等[22]已经证明了使用递归的上下采样进行特征提取的有效性. 因此, 也使用这种采样方式进行特征提取. 输入特征$ I_{SE*} $, 先通过4 × 4的转置卷积层上采样得到$ I_{up}^0 $, 然后, 经过6 × 6的卷积层下采样得到$ I_{down}^0 $, 如下所示:

    $$ I_{up}^0 = f_\uparrow(I_{SE*}) $$ (7)
    $$ I_{down}^0 = f_\downarrow(I_{up}^0) $$ (8)

    然后使用局部残差连接将$ I_{down}^0 $与输入$ I_{SE*} $相减, 再使用转置卷积层上采样得到$ I_{up}^1 $. 最后, 再次通过局部残差连接, 将$ I_{up}^0 $与$ I_{up}^1 $相加, 经卷积层下采样, 得到输出$ I_{out} $:

    $$ I_{up}^1 = f_\uparrow(I_{down}^0 - I_{SE*}) $$ (9)
    $$ I_{out} = f_\downarrow(I_{up}^1 + I_{up}^0) $$ (10)

    特征提取模块中, 使用的两次转置卷积和两次卷积, 都使用了参数共享. 特征提取模块$ f_{up\_down} $可表示如下:

    $$ I_{out} = f_{up\_down}(I_{SE*}) $$ (11)
    2.2.3   局部像素级注意(LPA)模块

    由于通道注意力机制只按通道携带的信息量多少进行选择, 对于高频信息的定位可能不够准确. 受Wang等[11]和Liu等[14]的启发, 提出局部像素级注意(LPA)模块, 进行像素级的高频信息定位. LPA模块如图4所示, 为了减小参数量, 各卷积层的参数都是共享的.

    图 4  局部像素级注意力模块
    Fig. 4  Local pixel-wise attention block
    下载: 全尺寸图片 幻灯片

    在压缩阶段, 使用了2个连续的3 × 3卷积层−最大池化操作. 最大池化下采样有助于扩大感受野和定位高频特征信息区域. 压缩阶段可表示如下:

    $$ I_{exp} = f_\downarrow(W_0\times f_\downarrow(W_0\times I_{SE*})) $$ (12)

    $ I_{SE*} $和$ I_{exp} $分别是LPA模块的输入特征和压缩阶段的输出特征. $ W_0 $是卷积层的参数(省略偏差以简化符号), $ f_{\downarrow} $表示最大池化的下采样.

    在扩张阶段, 设置与压缩阶段对称的2个连续的上采样−3 × 3卷积层, 并使用双三次插值作为上采样方式. 考虑到下采样会造成部分信息丢失, 在扩张阶段和压缩阶段的对应位置处建立了跳跃连接, 并且引入了可学习的自适应参数$ \alpha $, 调节从压缩阶段连接到扩张阶段的特征信息. 扩张阶段如下所示:

    $$ I_{mask} = W_0 \times f_\uparrow(W_0\times f_\uparrow(I_{ext}+\alpha_2 \times I_2)+\alpha_1 \times I_1) $$ (13)

    式中, $ I_{ext} $和$ I_{mask} $分别是扩张阶段的输入(即压缩阶段的输出$ I_{exp} $再经过3 × 3的卷积层之后的输出)和扩张阶段的输出, $ I_{mask} $同时也是LPA模块的输出. $ I_1 $和$ I_2 $分别是压缩阶段第1次和第2次卷积层的输出, $ \alpha_1 $和$ \alpha_2 $是自适应参数. $ f_{\uparrow} $是双三次插值上采样.

    2.3   多尺度全局自适应重建(MGAR)模块

    文献[4−9]大多是单尺度的重建, 受MSRN[21]的启发, 提出了多尺度重建的MGAR模块, 可以利用NLMB中提取的层次特征, 进一步改进SISR重建性能. MGAR模块与MSRN中MSRB的区别在于: MGAR模块是一个SISR重建模块, 多尺度利用之前的层次特征, 重建残差图像; MSRB是一个特征提取模块, 仅处理前一个MSRB输出的特征.

    MGAR模块如图5所示. 由于NLMB中低层HFEB的感受野较小, 故在MGAR模块中使用较大的卷积核与之对应, 然后, 逐渐减少卷积核的大小. 考虑到参数量的约束, 选取最大的卷积核尺寸为9, 最小的卷积核尺寸为3. 假定NLMB中有$ T $个HFEB, 第$ t $($ 1\le T\le 8 $)个HFEB的输出$ I_{SR}^{t} $在MGAR模块中对应的卷积核的尺寸计算为:

    图 5  多尺度全局自适应重建模块
    Fig. 5  Multi-scale global adaptive reconstruction block
    下载: 全尺寸图片 幻灯片
    $$ S_t = \left\lfloor\dfrac{(T-t) \bmod 8}{2}\right\rfloor\times 2+3 $$ (14)

    当$ T>8 $时, 由于此时网络已经有足够的深度, 所以设置MGAR模块中前8层的卷积核大小与$ T = 8 $时相同, 之后的卷积核大小均设置为3.

    MGAR模块的每一个输入, 与对应卷积核卷积后, 再与一个可学习的自适应参数相乘, 作为当前支路的输出. 各个分支的和, 经过亚像素卷积[19]上采样之后, 作为MGAR模块的最终输出. 对输入的LR图像进行双三次上采样后, 与MGAR模块的输出求和, 得到重构的HR图像, 用公式表示如下:

    $$ I_{SR} = f_{MGAR}(I_{SR}^1, I_{SR}^2, \cdots, I_{SR}^t) + f_{up}(I_{LR}) $$ (15)

    式中, $ I_{SR} $是输出的HR图像, $ I_{LR} $是输入的LR图像, $ f_{MGAR} $和$ f_{up} $分别表示MGAR模块和双三次插值的上采样.

    3.   实验细节

    3.1   设置

    本文实验保持与之前的研究文献设置相同. 训练图像: DIV2k数据集[23]中800张高质量图像; 测试图像: 共同使用的Set5[24], Set14[25]、Urban100[26]、B100[27]和Manga109[28]测试集; 验证图像: DIV2k数据集中第801 ~ 810张高质量图像; 训练图像增扩: 进行90、180、270度旋转、水平翻转和随机裁剪. 训练阶段: 在RGB颜色空间上进行训练, 并且使用梯度裁剪策略稳定训练过程. 测试阶段: 所有彩色图像均转换到YCrCb颜色空间, 在亮度通道Y上进行测试. 每一个最小批训练输入: 16个48 × 48的图像. 使用Adam优化器[29]训练网络, 其中设置$ \beta_1 = 0.9 $, $ \beta_2 = 0.999 $, $ \epsilon = {10}^{-8} $. 初始学习率$ e = {10}^{-4} $, 每经过200个回合, 学习率$ e $衰减一半. 使用NVIDIA GeForce RTX 2080Ti GPU (11GB内存) 和PyTorch框架构建网络.

    在NLMB中, 每个HFEB的第1个卷积层, 输出通道数为128, 其余卷积层的输出通道数均为64. ACR连接中, 所有自适应参数的初始值为0.2. 在MGAR模块中, 所有的自适应参数初始化为${1}/{n}$, $ n $是NLMB中HFEB的个数, 并且每个卷积层的输入通道数为64, 输出通道数为$3\times r\times r$, 此处的$ r $代表放大因子. 除网络模型深度对图像重建的影响的对比实验外, 在其他所有实验中均设置$ n = 8 $个HFEB. 使用测试图像进行客观定量比较, 使用验证图像选择模型参数及相关结构.

    3.2   模型分析

    3.2.1   MGAR模块中卷积核尺寸的选择

    在MGAR模块中, 选择卷积核尺寸为9、7、5、3的排列顺序, 具体参见第2.3节. 下面分析不同排列顺序对重建结果的影响, MGAR模块结构见图5. MGAR模块的输入来自NLMB的HFEB, 浅层HFEB的感受野较小, 使用较大的卷积核, 以提取更加全局的背景信息; 深层HFEB的感受野较大, 使用较小的卷积核, 防止提取不相关的背景信. 在MGAR模块中, 每个卷积层的输出特征如图6所示. 浅层HFEB输出的特征包含更多连续的高频信息, 深层HFEB输出的特征包含更多分散的高频信息. 不同层次特征信息互补, 可以增强HR图像的重建效果.

    图 6  非线性映射模块中每个HFEB输出特征的可视化结果
    Fig. 6  Visual results of each HFEB＇s output feature in non-linear mapping
    下载: 全尺寸图片 幻灯片

    下面设置4组对比实验, 进一步量化卷积核的排列顺序对重建结果的影响. 4组实验使用的卷积核尺寸分别是: 第1组为9、7、5、3; 第2组为3、5、7、9; 第3组均为3; 第4组均为9. 实验结果如表1所示, 由于第1组实验合理设置了卷积核的尺寸, 因此获得最好的重建效果.

    表 1  不同卷积核的排列顺序对重建效果的影响
    Table 1  Effect of convolution kernels with different order on reconstruction performance
    卷积组排列顺序9753357933339999
    PSNR (dB)35.56935.51435.53035.523
    下载: 导出CSV 
    | 显示表格
    3.2.2   不同层次特征对重建结果的影响

    为分析NLMB中不同层次特征对重建结果的影响, 依次移除MGAR模块中不同大小的卷积层, 计算重建HR图像的峰值信噪比(Peak signal-to-noise ratio, PSNR). 计算结果如表2所示, 与越小卷积核对应的HFEB产生的层次特征对重建结果影响更大, 即更深层的HFEB产生的层次特征, 对重建结果的影响更大.

    表 2  不同层次特征对重建效果的影响
    Table 2  Impact of different hierarchical features on reconstruction performance
    移除的卷积组大小3579
    PSNR (dB)35.49635.51735.54135.556
    下载: 导出CSV 
    | 显示表格
    3.2.3   MGAR模块的优势

    下面分析MGAR模块相比于普通单尺度重建模块的优势. 由于使用了类似深度反向投影网络 (Deep back-projection networks, DBPN)[22]方法的采样方式, 所以在DBPN上进行实验, 并且用MGAR模块替换原有的单尺度重建模块. 在DBPN中设置$ T = 6 $, 假定原始DBPN方法称为O-DBPN; 用MGAR模块替换后的DBPN方法称为M-DBPN. 重建结果如表3所示, 使用了MGAR模块的DBPN方法, 比原始DBPN方法的重建性能更好.

    表 3  原始DBPN (O-DBPN)和使用MGAR模块的DBPN (M-DBPN)的客观效果比较
    Table 3  Objective comparison between original DBPN (O-DBPN) and DBPN (M-DBPN) using MGAR module
    使用不同重建模块的DBPNPSNR (dB)
    O-DBPN35.343
    M-DBPN35.399
    下载: 导出CSV 
    | 显示表格
    3.2.4   LPA模块的设计考虑

    LPA模块中未包含Sigmoid门函数. 为了解Sigmoid门函数的作用, 进行了LPA模块末尾包含和不包含Sigmoid门函数2种情形实验. 实验结果如表4所示, 带有Sigmoid门函数的LPA模块性能要低一些.

    表 4  Sigmoid门函数的有无对LPA模块性能的影响
    Table 4  Influence of Sigmoid gate function to LPA block
    Sigmoid门函数PSNR (dB)
    $有$35.569
    $无$35.497
    下载: 导出CSV 
    | 显示表格

    LPA模块另一个考虑的因素是: 压缩阶段和扩张阶段对应位置的跳跃连接方式, 具体参见第2.2.3节. 本文设计了3个对比实验: 实验1是直接使用残差连接; 实验2是去掉残差连接; 实验3是带有自适应参数的残差连接. 实验结果如表5所示, 实验2比实验1效果好一些, 实验3 效果最好. 说明直接引入压缩阶段的特征确实会影响LPA模块对高频信息的定位, 并且加入自适应参数能够很好地缓解这个问题.

    表 5  不同残差的连接方式对重建效果的影响
    Table 5  Effect of different residual connection methods on reconstruction performance
    不同种类的残差连接PSNR (dB)
    残差连接35.515
    无残差连接35.521
    带自适应参数的残差连接35.569
    下载: 导出CSV 
    | 显示表格
    3.2.5   LPA模块对重建结果的影响

    为验证LPA模块对重建效果的影响, 进行以下两种情形的对比试验: 在HFEB的EM模块中, 包含和不包含LPA模块. 实验结果如表6所示, 可以看出有LPA模块效果更好. 说明LPA模块确实对重建效果有帮助.

    表 6  使用和未使用LPA模块的客观效果比较
    Table 6  Comparison of objective effects of ACAN with and without LPA module
    LPA模块PSNR (dB)
    $使用$35.569
    $未使用$35.489
    下载: 导出CSV 
    | 显示表格
    3.2.6   ACR连接对重建结果的影响

    ACR连接参见图1(a). 为了观察ACR连接的有效性, 分别在NLMB中使用ACR连接、残差连接和级联连接进行对比实验, 实验结果如表7所示.

    表 7  NLMB使用3种不同连接方式对重建效果的影响
    Table 7  Impact of using three different connection methods on NLMB on reconstruction performance
    使用的跳跃连接PSNR (dB)
    残差连接35.542
    级联连接35.502
    自适应级联残差连接35.569
    下载: 导出CSV 
    | 显示表格

    从表7可以看出, 残差连接优于级联连接, ACR连接效果最好. 由此可见, 使用自适应的级联残差能更有利地进行特征重用, 改进了SISR的重建性能.

    3.3   网络模型深度选择

    为了探索NLMB中HFEB的个数(表示为$ T $), 对于重建性能的影响. 设置了4组对比实验: 在放大因子为2的情况下, $ T = 1, 3, 6, 8 $, 对应的训练曲线及测试曲线如图7和图8所示. 可以看出, HFEB的多次级联有利于提高重建效果.

    图 7  包含不同个数的HFEB的ACAN在验证集上的性能比较
    Fig. 7  Performance comparison of ACAN on validation set with different numbers of HFEB
    下载: 全尺寸图片 幻灯片
    图 8  包含不同个数的HFEB的ACAN在Set5测试集上的性能比较
    Fig. 8  Performance comparison of ACAN on Set5 testing set with different number of HFEB
    下载: 全尺寸图片 幻灯片

    为了进一步精确$ T $的选择, 在放大因子为2的情况下设置$ T = 6, 7, 8, 9 $进行对比实验. 由表8可以看出, $ T = 8 $是合理的选择.

    表 8  不同网络模型深度对重建性能的影响
    Table 8  Impact of different network depths on reconstruction performance
    T6789
    PSNR (dB)35.53035.53835.56935.551
    下载: 导出CSV 
    | 显示表格

    3.4   与当前先进的方法比较

    本文ACAN方法与高分辨率图像 (High resolution, HR)、双三次插值 (Bicubic interpolation, Bicubic)、SRCNN、LapSRN、SRFBN-S、CARN、FSRCNN、VDSR和SRMDNF 9个方法进行主观效果比较.

    1)客观定量结果. 本文ACAN方法与SRCNN[4]、快速超分辨率卷积神经网络(Fast super-resolution convolutional neural networks, FSRCNN)[18]、极深卷积神经网络(Very deep convolutional networks, VDSR)[16]、DRCN[6]、拉普拉斯金字塔超分辨率网络(Laplacian pyramid super-resolution network, LapSRN)[30]、DRRN[7]、MemNet[8]、用于多重无噪衰减的超分辨率网络(Super-resolution network for multiple noise-free degradations, SRMDNF)[31]、CARN[9]和SRFBN-S[5]10个当前类似的先进方法进行比较, 同时采用自组方法[32], 进一步提高ACAN的性能(称为ACAN+). 采用共同的客观度量标准: 平均峰值信噪比(PSNR) 和结构相似性(Structural similarity index, SSIM)[33], 计算结果如表9所示. 最好结果与次好结果分别用加粗和下划线标出. ACAN+的平均PSNR和SSIM度量显著优于其他方法, 包括之前最好的方法CARN, 而在 × 2情况下参数量大约只有其一半. 即使未使用自组方法, 本文ACAN方法也优于其他所有的方法. 本文方法性能提升的原因主要有: ACR连接、LPA模块和MGAR模块发挥了作用. LPA模块能够更加精准地选择高频特征信息, MGAR模块能够充分利用多尺度的特征信息, ACR连接更有效地进行特征重用, 这些因素导致了本文ACAN方法性能的显著提高.

    表 9  各种SISR方法的平均PSNR值与SSIM值
    Table 9  Average PSNR/SSIM of various SISR methods
    放大倍数模型参数量Set5
    PSNR / SSIM    		Set14
    PSNR / SSIM    		B100
    PSNR / SSIM    		Urban100
    PSNR / SSIM    		Manga109
    PSNR / SSIM
    $\times$2SRCNN57 K36.66 / 0.952432.42 / 0.906331.36 / 0.887929.50 / 0.894635.74 / 0.9661
    FSRCNN12 K37.00 / 0.955832.63 / 0.908831.53 / 0.892029.88 / 0.902036.67 / 0.9694
    VDSR665 K37.53 / 0.958733.03 / 0.912431.90 / 0.896030.76 / 0.914037.22 / 0.9729
    DRCN1774 K37.63 / 0.958833.04 / 0.911831.85 / 0.894230.75 / 0.913337.63 / 0.9723
    LapSRN813 K37.52 / 0.959033.08 / 0.913031.80 / 0.895030.41 / 0.910037.27 / 0.9740
    DRRN297 K37.74 / 0.959133.23 / 0.913632.05 / 0.897331.23 / 0.918837.92 / 0.9760
    MemNet677 K37.78 / 0.959733.28 / 0.914232.08 / 0.897831.31 / 0.919537.72 / 0.9740
    SRMDNF1513 K37.79 / 0.960033.32 / 0.915032.05 / 0.898031.33 / 0.920038.07 / 0.9761
    CARN1592 K37.76 / 0.959033.52 / 0.916632.09 / 0.897831.92 / 0.925638.36 / 0.9765
    SRFBN-S282K37.78 / 0.959733.35 / 0.915632.00 / 0.897031.41 / 0.920738.06 / 0.9757
    本文 ACAN800 K38.10 / 0.960833.60 / 0.917732.21 / 0.900132.29 / 0.929738.81 / 0.9773
    本文 ACAN+800 K38.17 / 0.961133.69 / 0.9182 32.26 / 0.900632.47 / 0.931539.02 / 0.9778
    $\times$3SRCNN57 K32.75 / 0.909029.28 / 0.820928.41 / 0.786326.24 / 0.798930.59 / 0.9107
    FSRCNN12 K33.16 / 0.914029.43 / 0.824228.53 / 0.791026.43 / 0.808030.98 / 0.9212
    VDSR665 K33.66 / 0.921329.77 / 0.831428.82 / 0.797627.14 / 0.827932.01 / 0.9310
    DRCN1774 K33.82 / 0.922629.76 / 0.831128.80 / 0.796327.15 / 0.827632.31 / 0.9328
    DRRN297 K34.03 / 0.924429.96 / 0.834928.95 / 0.800427.53 / 0.837832.74 / 0.9390
    MemNet677 K34.09 / 0.924830.00 / 0.835028.96 / 0.800127.56 / 0.837632.51 / 0.9369
    SRMDNF1530 K34.12 / 0.925030.04 / 0.837028.97 / 0.803027.57 / 0.840033.00 / 0.9403
    CARN1592 K34.29 / 0.925530.29 / 0.840729.06 / 0.803427.38 / 0.840433.50 / 0.9440
    SRFBN-S376 K34.20 / 0.925530.10 / 0.837228.96 / 0.801027.66 / 0.841533.02 / 0.9404
    本文ACAN1115 K34.46 / 0.927730.39 / 0.843529.11 / 0.805528.28 / 0.855033.61 / 0.9447
    本文 ACAN+1115 K34.55 / 0.928330.46 / 0.844429.16 / 0.806528.45 / 0.857733.91 / 0.9464
    $\times$4SRCNN57 K30.48/0.862827.49 / 0.750326.90 / 0.710124.52 / 0.722127.66 / 0.8505
    FSRCNN12 K30.71 / 0.865727.59 / 0.753526.98 / 0.715024.62 / 0.728027.90 / 0.8517
    VDSR665 K31.35 / 0.883828.01 / 0.767427.29 / 0.725125.18 / 0.752428.83 / 0.8809
    DRCN1774 K31.53 / 0.885428.02 / 0.767027.23 / 0.723325.14 / 0.751028.98 / 0.8816
    LapSRN813 K31.54 / 0.885028.19 / 0.772027.32 / 0.728025.21 / 0.756029.09 / 0.8845
    DRRN297 K31.68 / 0.888828.21 / 0.772027.38 / 0.728425.44 / 0.763829.46 / 0.8960
    MemNet677 K31.74 / 0.889328.26 / 0.772327.40 / 0.728125.50 / 0.763029.42 / 0.8942
    SRMDNF1555 K31.96 / 0.893028.35 / 0.777027.49 / 0.734025.68 / 0.773030.09 / 0.9024
    CARN1592 K32.13 / 0.893728.60 / 0.780627.58 / 0.734926.07 / 0.783730.47 / 0.9084
    SRFBN-S483 K31.98 / 0.892328.45 / 0.777927.44 / 0.731325.71 / 0.771929.91 / 0.9008
    本文ACAN1556 K32.24 / 0.895528.62 / 0.782427.59 / 0.736626.17 / 0.789130.53 / 0.9086
    本文 ACAN+1556 K32.35 / 0.896928.68 / 0.783827.65 / 0.737926.31 / 0.792230.82 / 0.9117
    下载: 导出CSV 
    | 显示表格

    2)主观效果比较: 如图9所示: 第1组图是Urban 100数据集中的image 024在 ×4下的比较结果; 第2组图是Urban 100数据集中的image 061在 ×4下的比较结果; 第3组图是Urban 100数据集中的img 092在 ×4下的比较结果. ACAN方法显著优于其他方法. 以Urban 100中的img 061图像为例, 在放大因子为4的情况下, 对于图中玻璃上难以恢复的网格细节, SRFBN-S、CARN和SRMDNF方法都遭遇了严重的失真, SRCNN方法的重建图像遭遇到严重模糊. 而ACANCAN几乎完美地恢复了原HR图像中纹理和网格信息. 在放大因子为4的情况下, 另外两个图像的结果也与img 061图像的结果类似. 本文方法之所以能够更好地重建纹理和网格信息, 主要得益于ACR连接、LPA模块和MGAR模块. ACR连接能够有效地重用特征; LPA模块能够准确定位特征中的高频信息; MGAR模块能够利用多尺度层次特征. 因此, 能够更好地恢复规则的形状和结构[34]. 由于Urban 100数据集中, 包含较多建筑物的规则结构[22], 本文方法性能提升显著. 如何进一步提升不规则的形状和结构重建效果, 仍是有待研究和解决的问题.

    图 9  视觉比较结果
    Fig. 9  Visual comparison of images
    下载: 全尺寸图片 幻灯片

    4.   结束语

    本文提出了一个新的轻量级单图像超分辨率方法, 使用自适应级联的注意力网络(ACAN) 能够高质量重建超分辨率图像. 本文的局部像素级注意力(LPA)模块, 通过对输入特征进行像素级的高频信息定位, 加强了特征流动过程中对高频特征信息的选择能力; 本文的多尺度全局自适应重建(MGAR)模块, 使用不同尺寸的卷积核, 能够自适应地选择和组合多尺度的特征信息; 本文的自适应级联残差(ACR)连接, 能够自适应地组合不同层次特征. 充分的实验结果也验证了ACAN方法的良好性能.

  • 图  1  自适应级联的注意力网络架构(ACAN)

    Fig.  1  Adaptive cascading attention network architecture (ACAN)

    下载: 全尺寸图片 幻灯片

    图  2  提取及掩膜模块

    Fig.  2  The extract and mask block

    下载: 全尺寸图片 幻灯片

    图  3  特征提取模块

    Fig.  3  Feature extracting block

    下载: 全尺寸图片 幻灯片

    图  4  局部像素级注意力模块

    Fig.  4  Local pixel-wise attention block

    下载: 全尺寸图片 幻灯片

    图  5  多尺度全局自适应重建模块

    Fig.  5  Multi-scale global adaptive reconstruction block

    下载: 全尺寸图片 幻灯片

    图  6  非线性映射模块中每个HFEB输出特征的可视化结果

    Fig.  6  Visual results of each HFEB＇s output feature in non-linear mapping

    下载: 全尺寸图片 幻灯片

    图  7  包含不同个数的HFEB的ACAN在验证集上的性能比较

    Fig.  7  Performance comparison of ACAN on validation set with different numbers of HFEB

    下载: 全尺寸图片 幻灯片

    图  8  包含不同个数的HFEB的ACAN在Set5测试集上的性能比较

    Fig.  8  Performance comparison of ACAN on Set5 testing set with different number of HFEB

    下载: 全尺寸图片 幻灯片

    图  9  视觉比较结果

    Fig.  9  Visual comparison of images

    下载: 全尺寸图片 幻灯片

    表  1  不同卷积核的排列顺序对重建效果的影响

    Table  1  Effect of convolution kernels with different order on reconstruction performance

    卷积组排列顺序9753357933339999
    PSNR (dB)35.56935.51435.53035.523
    下载: 导出CSV

    表  2  不同层次特征对重建效果的影响

    Table  2  Impact of different hierarchical features on reconstruction performance

    移除的卷积组大小3579
    PSNR (dB)35.49635.51735.54135.556
    下载: 导出CSV

    表  3  原始DBPN (O-DBPN)和使用MGAR模块的DBPN (M-DBPN)的客观效果比较

    Table  3  Objective comparison between original DBPN (O-DBPN) and DBPN (M-DBPN) using MGAR module

    使用不同重建模块的DBPNPSNR (dB)
    O-DBPN35.343
    M-DBPN35.399
    下载: 导出CSV

    表  4  Sigmoid门函数的有无对LPA模块性能的影响

    Table  4  Influence of Sigmoid gate function to LPA block

    Sigmoid门函数PSNR (dB)
    $有$35.569
    $无$35.497
    下载: 导出CSV

    表  5  不同残差的连接方式对重建效果的影响

    Table  5  Effect of different residual connection methods on reconstruction performance

    不同种类的残差连接PSNR (dB)
    残差连接35.515
    无残差连接35.521
    带自适应参数的残差连接35.569
    下载: 导出CSV

    表  6  使用和未使用LPA模块的客观效果比较

    Table  6  Comparison of objective effects of ACAN with and without LPA module

    LPA模块PSNR (dB)
    $使用$35.569
    $未使用$35.489
    下载: 导出CSV

    表  7  NLMB使用3种不同连接方式对重建效果的影响

    Table  7  Impact of using three different connection methods on NLMB on reconstruction performance

    使用的跳跃连接PSNR (dB)
    残差连接35.542
    级联连接35.502
    自适应级联残差连接35.569
    下载: 导出CSV

    表  8  不同网络模型深度对重建性能的影响

    Table  8  Impact of different network depths on reconstruction performance

    T6789
    PSNR (dB)35.53035.53835.56935.551
    下载: 导出CSV

    表  9  各种SISR方法的平均PSNR值与SSIM值

    Table  9  Average PSNR/SSIM of various SISR methods

    放大倍数模型参数量Set5
    PSNR / SSIM    		Set14
    PSNR / SSIM    		B100
    PSNR / SSIM    		Urban100
    PSNR / SSIM    		Manga109
    PSNR / SSIM
    $\times$2SRCNN57 K36.66 / 0.952432.42 / 0.906331.36 / 0.887929.50 / 0.894635.74 / 0.9661
    FSRCNN12 K37.00 / 0.955832.63 / 0.908831.53 / 0.892029.88 / 0.902036.67 / 0.9694
    VDSR665 K37.53 / 0.958733.03 / 0.912431.90 / 0.896030.76 / 0.914037.22 / 0.9729
    DRCN1774 K37.63 / 0.958833.04 / 0.911831.85 / 0.894230.75 / 0.913337.63 / 0.9723
    LapSRN813 K37.52 / 0.959033.08 / 0.913031.80 / 0.895030.41 / 0.910037.27 / 0.9740
    DRRN297 K37.74 / 0.959133.23 / 0.913632.05 / 0.897331.23 / 0.918837.92 / 0.9760
    MemNet677 K37.78 / 0.959733.28 / 0.914232.08 / 0.897831.31 / 0.919537.72 / 0.9740
    SRMDNF1513 K37.79 / 0.960033.32 / 0.915032.05 / 0.898031.33 / 0.920038.07 / 0.9761
    CARN1592 K37.76 / 0.959033.52 / 0.916632.09 / 0.897831.92 / 0.925638.36 / 0.9765
    SRFBN-S282K37.78 / 0.959733.35 / 0.915632.00 / 0.897031.41 / 0.920738.06 / 0.9757
    本文 ACAN800 K38.10 / 0.960833.60 / 0.917732.21 / 0.900132.29 / 0.929738.81 / 0.9773
    本文 ACAN+800 K38.17 / 0.961133.69 / 0.9182 32.26 / 0.900632.47 / 0.931539.02 / 0.9778
    $\times$3SRCNN57 K32.75 / 0.909029.28 / 0.820928.41 / 0.786326.24 / 0.798930.59 / 0.9107
    FSRCNN12 K33.16 / 0.914029.43 / 0.824228.53 / 0.791026.43 / 0.808030.98 / 0.9212
    VDSR665 K33.66 / 0.921329.77 / 0.831428.82 / 0.797627.14 / 0.827932.01 / 0.9310
    DRCN1774 K33.82 / 0.922629.76 / 0.831128.80 / 0.796327.15 / 0.827632.31 / 0.9328
    DRRN297 K34.03 / 0.924429.96 / 0.834928.95 / 0.800427.53 / 0.837832.74 / 0.9390
    MemNet677 K34.09 / 0.924830.00 / 0.835028.96 / 0.800127.56 / 0.837632.51 / 0.9369
    SRMDNF1530 K34.12 / 0.925030.04 / 0.837028.97 / 0.803027.57 / 0.840033.00 / 0.9403
    CARN1592 K34.29 / 0.925530.29 / 0.840729.06 / 0.803427.38 / 0.840433.50 / 0.9440
    SRFBN-S376 K34.20 / 0.925530.10 / 0.837228.96 / 0.801027.66 / 0.841533.02 / 0.9404
    本文ACAN1115 K34.46 / 0.927730.39 / 0.843529.11 / 0.805528.28 / 0.855033.61 / 0.9447
    本文 ACAN+1115 K34.55 / 0.928330.46 / 0.844429.16 / 0.806528.45 / 0.857733.91 / 0.9464
    $\times$4SRCNN57 K30.48/0.862827.49 / 0.750326.90 / 0.710124.52 / 0.722127.66 / 0.8505
    FSRCNN12 K30.71 / 0.865727.59 / 0.753526.98 / 0.715024.62 / 0.728027.90 / 0.8517
    VDSR665 K31.35 / 0.883828.01 / 0.767427.29 / 0.725125.18 / 0.752428.83 / 0.8809
    DRCN1774 K31.53 / 0.885428.02 / 0.767027.23 / 0.723325.14 / 0.751028.98 / 0.8816
    LapSRN813 K31.54 / 0.885028.19 / 0.772027.32 / 0.728025.21 / 0.756029.09 / 0.8845
    DRRN297 K31.68 / 0.888828.21 / 0.772027.38 / 0.728425.44 / 0.763829.46 / 0.8960
    MemNet677 K31.74 / 0.889328.26 / 0.772327.40 / 0.728125.50 / 0.763029.42 / 0.8942
    SRMDNF1555 K31.96 / 0.893028.35 / 0.777027.49 / 0.734025.68 / 0.773030.09 / 0.9024
    CARN1592 K32.13 / 0.893728.60 / 0.780627.58 / 0.734926.07 / 0.783730.47 / 0.9084
    SRFBN-S483 K31.98 / 0.892328.45 / 0.777927.44 / 0.731325.71 / 0.771929.91 / 0.9008
    本文ACAN1556 K32.24 / 0.895528.62 / 0.782427.59 / 0.736626.17 / 0.789130.53 / 0.9086
    本文 ACAN+1556 K32.35 / 0.896928.68 / 0.783827.65 / 0.737926.31 / 0.792230.82 / 0.9117
    下载: 导出CSV
    • 参考文献(34)
  • [1] Freeman W T, Pasztor E C, Carmichael O T. Learning lowlevel vision. International Journal of Computer Vision, 2000, 40(1): 25-47 doi: 10.1023/A:1026501619075
    [2] PeyréG, Bougleux S, Cohen L. Non-local regularization of inverse problems. In: Proceedings of the European Conference on Computer Vision. Berlin, Germany: Springer, Heidelberg, 2008. 57−68
    [3] LeCun Y, Bengio Y, Hinton G. Deep learning. nature, 2015, 521(7553): 436-444 doi: 10.1038/nature14539
    [4] Dong C, Loy C C, He K, Tang X. Learning a deep convolutional network for image super-resolution. In: Proceedings of the European Conference on Computer Vision. Zurich, Switzerland: Springer, Cham, 2014. 184−199
    [5] Li Z, Yang J, LiuLi Z, Yang J, Liu Z, Yang X, et al. Feedback network for image superresolution. In: Proceedings of the 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Long Beach, USA: IEEE, 2019. 3867−3876
    [6] Kim J, Kwon Lee J, Mu Lee K. Deeply-recursive convolutional network for image super-resolution. In: Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas, USA: IEEE, 2016. 1637−1645
    [7] Tai Y, Yang J, Liu X. Image super-resolution via deep recursive residual network. In: Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Honolulu, USA: IEEE, 2017. 3147−3155
    [8] Tai Y, Yang J, Liu X, Xu C. Memnet: A persistent memory network for image restoration. In: Proceedings of the 2017 IEEE International Conference on Computer Vision. Venice, Italy: IEEE, 2017. 4539−4547
    [9] Ahn N, Kang B, Sohn K A. Fast, accurate, and lightweight super-resolution with cascading residual network. In: Proceedings of the European Conference on Computer Vision. Zurich, Switzerland: Springer, Cham, 2018. 252−268
    [10] Cao C, Liu X, Yang Y, Yu Y, Wang J, Wang Z, et al. Look and think twice: Capturing top-down visual attention with feedback convolutional neural networks. In: Proceedings of the 2015 IEEE International Conference on Computer Vision. Santiago, Chile: IEEE, 2015. 2956−2964
    [11] Wang F, Jiang M, Qian C, Yang S, Li C, Zhang H, et al. Residual attention network for image classification. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Honolulu, USA: IEEE, 2017. 3156−3164
    [12] Hu J, Shen L, Sun G. Squeeze-and-excitation networks. In: Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City, USA: IEEE, 2018. 7132−7141
    [13] Li K, Wu Z, Peng K C, Ernst J, Fu Y. Tell me where to look: Guided attention inference network. In: Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City, USA: IEEE, 2018. 9215−9223
    [14] Liu Y, Wang Y, Li N, Cheng X, Zhang Y, Huang Y, et al. An attention-based approach for single image super resolution. In: Proceedings of the 2018 24th International Conference on Pattern Recognition. Beijing, China: IEEE, 2018. 2777−2784
    [15] Zhang Y, Li K, Li K, Wang L, Zhong B, Fu Y. Image super-resolution using very deep residual channel attention networks. In: Proceedings of the European Conference on Computer Vision. Zurich, Switzerland: Springer, Cham, 2018. 286−301
    [16] Kim J, Kwon Lee J, Mu Lee K. Accurate image superresolution using very deep convolutional networks. In: Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas, USA: IEEE, 2016. 1646−1654
    [17] Wang Z, Chen J, Hoi S C H. Deep learning for image superresolution: A survey. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2020
    [18] Dong C, Loy C C, Tang X. Accelerating the super-resolution convolutional neural network. In: Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Zurich, Switzerland: Springer, Cham, 2016. 391−407
    [19] Shi W, Caballero J, Huszár F, Totz J, Aitken A P, Bishop R, et al. Real-time single image and video super-resolution using an efficient sub-pixel convolutional neural network. In: Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas, USA: IEEE, 2016. 1874−1883
    [20] Tong T, Li G, Liu X, Gao Q. Image super-resolution using dense skip connections. In: Proceedings of the 2017 IEEE International Conference on Computer Vision. Venice, Italy: IEEE, 2017. 4799−4807
    [21] Li J, Fang F, Mei K, Zhang G. Multi-scale residual network for image super-resolution. In: Proceedings of the European Conference on Computer Vision. Zurich, Switzerland: Springer, Cham, 2018. 517−532
    [22] Haris M, Shakhnarovich G, Ukita N. Deep back-projection networks for super-resolution. In: Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City, USA, 2018. 1664−1673
    [23] Agustsson E, Timofte R. Ntire 2017 challenge on single image super-resolution: Dataset and study. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition Workshops. Honolulu, USA: IEEE, 2017. 126−135
    [24] Bevilacqua M, Roumy A, Guillemot C, Alberi-Morel M L. Lowcomplexity single-image super-resolution based on nonnegative neighbor embedding. In: Proceedings of the 23rd British Machine Vision Conference. Guildford, UK: BMVA Press, 2012. (135): 1−10
    [25] Zeyde R, Elad M, Protter M. On single image scale-up using sparse-representations. In: Proceedings of International Conference on Curves and Surfaces. Berlin, Germany: Springer, Heidelberg, 2010. 711−730
    [26] Huang J B, Singh A, Ahuja N. Single image super-resolution from transformed self-exemplars. In: Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition. Boston, USA: IEEE, 2015. 5197−5206
    [27] Martin D, Fowlkes C, Tal D, Malik J. A database of human segmented natural images and its application to evaluating segmentation algorithms and measuring ecological statistics. In: Proceedings of the 2001 International Conference on Computer Vision. Vancouver, Canada: IEEE, 2015. 416−423
    [28] Matsui Y, Ito K, Aramaki Y, et al. Sketch-based manga retrieval using manga109 dataset. Multimedia Tools and Applications, 2017, 76(20): 21811-21838 doi: 10.1007/s11042-016-4020-z
    [29] Kingma D P, Ba J. Adam: A method for stochastic optimization. arXiv preprint, 2014, arXiv: 1412.6980
    [30] Lai W S, Huang J B, Ahuja N, Yang M H. Deep laplacian pyramid networks for fast and accurate super-resolution. In: Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Honolulu, USA: IEEE, 2017. 5835−5843
    [31] Zhang K, Zuo W, Zhang L. Learning a single convolutional super-resolution network for multiple degradations. In: Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City, USA: IEEE, 2018. 3262−3271
    [32] Timofte R, Rothe R, Van Gool L. Seven ways to improve example-based single image super resolution. In: Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas, USA: IEEE, 2016. 1865−1873
    [33] Wang Z, Bovik A C, Sheikh H R, et al. Image quality assessment: from error visibility to structural similarity. IEEE transactions on image processing, 2004, 13(4): 600-612 doi: 10.1109/TIP.2003.819861
    [34] Wu H, Zou Z, Gui J, et al. Multi-grained Attention Networks for Single Image Super-Resolution. IEEE Transactions on Circuits and Systems for Video Technology, 2020
    • 相关文章
    • 施引文献

  • 期刊类型引用(10)

    1. 鹿宸铭. 低秩矩阵恢复下的自适应图像超分辨率重建. 现代电子技术. 2024(03): 34-38 . 百度学术
    2. 许光宇，陈浩宇，张杰. 多路径生成对抗网络的红外与可见光图像融合. 国外电子测量技术. 2024(03): 18-27 . 百度学术
    3. 赵小强，程伟. 基于空间特征交叉融合的轻量级图像超分辨率重建. 兵工学报. 2024(04): 1273-1284 . 百度学术
    4. 袁芝妹，张华，王丽. 基于多语音增强与分离的对话机器人系统设计. 自动化与仪器仪表. 2024(10): 282-286 . 百度学术
    5. 吴清平. 基于分类激活图增强的立体视觉图像分类方法. 重庆科技学院学报(自然科学版). 2023(04): 53-59 . 百度学术
    6. 高丹丹，周登文，王婉君，马钰，李珊珊. 特征频率分组融合的轻量级图像超分辨率重建. 计算机辅助设计与图形学学报. 2023(07): 1020-1031 . 百度学术
    7. 陈婷，王松涛，高涛，刘梦尼，陈友静. 用于全色锐化的相对平均生成对抗网络. 西安交通大学学报. 2022(03): 54-64 . 百度学术
    8. 李晨，侯进，李金彪，陈子锐. 基于注意力与残差级联的红外与可见光图像融合方法. 计算机工程. 2022(07): 234-240 . 百度学术
    9. 陈彤，周登文. 基于多级Transformer的超大倍率重建网络：参考图像超分辨率. 计算机与现代化. 2022(08): 121-126 . 百度学术
    10. 卿粼波，吴梦凡，刘刚，刘晓，何小海，任超. 基于小波域ADMM深度网络的图像复原算法. 工程科学与技术. 2022(05): 257-267 . 百度学术

    其他类型引用(10)

    • 资源附件(0)
  • 加载中
图(9) / 表(9)
计量
  • 文章访问数:  1434
  • HTML全文浏览量:  474
  • PDF下载量:  309
  • 被引次数: 20
出版历程
  • 收稿日期:  2020-01-16
  • 录用日期:  2020-06-28
  • 网络出版日期:  2022-07-13
  • 刊出日期:  2022-06-01

目录

摘要
HTML全文

  • 1.   相关工作

  • 1.1   注意力机制

  • 1.2   上采样层

  • 2.   方法

  • 2.1   层次特征提取模块(HFEB)

  • 2.2   提取及掩模(EM)模块

  • 2.3   多尺度全局自适应重建(MGAR)模块

  • 3.   实验细节

  • 3.1   设置

  • 3.2   模型分析

  • 3.3   网络模型深度选择

  • 3.4   与当前先进的方法比较

  • 4.   结束语

参考文献(34)
相关文章
施引文献
资源附件(0)

/

返回文章
返回

版权所有 © 《自动化学报》编辑部  京ICP备14019135号-6

地址：北京中关村东路95号邮政编码：100190E-mail：aas_editor@ia.ac.cn

电话：010-82544677 (日常咨询和稿件处理)，010-82544653(费用管理、寄刊)

本系统由 北京仁和汇智信息技术有限公司 开发 技术支持： info@rhhz.net   百度统计