-
摘要: 图像超分辨率复原（Super resolution restoration，SR）技术是图像处理领域的研究热点，在视频监控、图像处理、刑侦分析等领域具有广泛的应用需求.近年来，深度学习在多媒体处理领域迅猛发展，基于深度学习的图像超分辨率复原技术已逐渐成为主流技术.本文主要对现有基于深度学习的图像超分辨率复原工作进行综述.从网络类型、网络结构、训练方法等方面分析现有技术的优势与不足，对其发展脉络进行梳理.在此基础上，本文进一步指出了基于深度学习的图像超分辨率复原技术的未来发展方向.Abstract: Super resolution image restoration technology is a hot field of image processing in the field of video surveillance, image processing, forensic analysis, with a wide range of application requirements. In recent years, the rapid development of deep learning in the field of multimedia processing, deep learning based super-resolution images restoration has gradually become a mainstream technology. This paper reviews the existing deep learning based image super-resolution restoration work. In terms of network type, network structure, and training methods, the advantages and disadvantages of the prior art are analyzed and the development contexts are sorted out. On this basis, the paper further points out the future direction of the restoration technique based on deep learning of the super-resolution image.
-
在图像获取过程中, 由于成像距离、成像设备分辨率等因素的限制, 成像系统难以无失真地获取原始场景中的信息.
成像系统通常会受到变形、模糊、降采样和噪声等诸多因素的影响, 从而导致获取图像质量的下降.因此, 如何提高图像的空间分辨率, 改善图像质量, 一直以来都是成像技术领域亟待解决的问题[1].
按照傅里叶光学的观点, 光学成像系统相当于一个低通滤波器, 由于受到光学衍射的影响, 系统响应在由衍射极限分辨率所决定的某个截止频率之上的值均为零.成像系统所能达到的最高分辨率首先由成像光学器件本身确定的.传统的图像复原技术能够从一定程度上缓解成像过程中各种干扰因素的影响, 改善图像的质量.但是, 这些方法难以复原系统截止频率以外的信息[2].为此, 人们提出了超分辨率复原(Super resolution restoration, SR)的概念.超分辨率复原技术的基本思想是采用信号处理方法, 重建成像系统截止频率之外的信息, 即恢复成像过程中所丢失的高频信息, 获取高于成像系统分辨率的图像[3-4].
图像超分辨率复原技术主要分为两大类, 即基于重建(Reconstruction-based)的方法和基于学习(Learning-based)的方法[5].随着深度学习技术的迅猛发展, 基于学习的方法分为基于浅层学习的方法和基于深度学习的方法.本文结构安排如下:第1节简要回顾传统的图像超分辨率复原技术; 第2节具体介绍基于深度学习的图像超分辨率复原技术, 着重对目前基于深度学习的超分辨率复原技术及典型方法进行梳理; 第3节对深度学习方法的关键问题进行分析与讨论; 最后, 给出结论与展望.
1. 传统的图像超分辨率复原技术
超分辨率复原技术最早由Harris和Goodman分别于1964和1968年提出, 被称为Harris-Goodman频谱外推法[6-7].研究初期, 它并未得到广泛的认可, 直到20世纪80年代, 特别是1984年Tsai等[8]提出由低分辨率(Low resolution, LR)图像序列复原单帧高分辨率(High resolution, HR)图像的方法之后, 超分辨率复原技术开始得到日益广泛的研究, 已经发展成为图像处理领域的一个重要的研究方向.
1.1 基于重建的方法
基于重建的超分辨率复原方法[9-10]是对图像的获取过程建立观测模型, 然后通过求解观测模型的逆问题来实现超分辨率重建.观测模型描述了成像系统从高分辨率场景(图像)获取低分辨率观测图像的过程.
从本质上讲, 利用单幅或多幅LR观测图像重建HR图像是求解观测模型的逆问题, 它是一个病态反问题.
基于重建的图像序列或视频超分辨率复原方法通常需要同一场景的多幅图像作为信息源, 且图像之间存在亚像素精度的空间位移.完整的重建过程包括配准和重建两个步骤, 其中配准是将多幅同一场景的LR图像在空间上进行亚像素精度对齐, 得到高低分辨率图像彼此之间的运动偏移量, 构建观测模型中的空间运动参数; 重建是采用不同的先验约束条件(平滑性、非负性和能量有限性等)和最优化求解方法进行HR图像的求解[11-12].
从重建HR图像时所利用的信息来源上看, 最后的重建质量主要取决于以下3个关键因素:
1) 配准效果.配准效果关系到多幅LR图像中空间互补信息的利用, 对重建结果具有重要影响.然而, 精确的亚像素配准很困难.针对此问题, 一些方法假设多幅LR图像已经精确配准, 还有一些方法将配准问题纳入到MAP (Maximum aposteriori)框架进行联合优化[13-14].
2) 模糊参数的估计.建立观测模型时, 通常采用高斯函数对像素传感器的点扩展函数进行建模.高斯模型参数的选择是否与实际情况相符, 将直接决定观测模型的精确性, 进而影响模型在重建中的作用.现有的文献大都假设模糊参数已知, 并在此基础上进行模拟实验, 而一些盲复原算法[15]则将模糊参数与HR图像作为最优化参数进行联合优化, 在估计HR图像的同时对模糊参数也进行估计.
3) 先验知识的定义.随着放大因子的增大, 人为定义的先验知识和观测模型所能提供的用于高分辨重建的信息越来越少.这时, 即使增加LR图像的数量, 亦难以达到重建高频信息的目的[16-17].如果想从本质上突破基于重建的超分辨率复原方法的局限性, 需要寻求新的思路与方法.
1.2 基于浅层学习的方法
针对基于重建的超分辨率复原方法存在的问题, 许多研究学者提出了基于学习的超分辨率复原方法[18-22].基于学习的超分辨率复原的基本思想是通过学习获得高分辨率图像与低分辨率图像之间的映射关系, 用于指导高分辨率图像的重建.先验知识不是人为定义的, 而是通过学习获得的.
自然场景成像后, 数字图像的纹理结构千变万化, 因此一个很自然的问题是能否通过学习的方式对种类繁多的纹理建立高频信息和低频信息之间的映射关系模型.如果把问题集中到一个小的图像邻域(图像块), 纹理结构的模式并不是很多.因此, 基于学习的超分辨率复原方法需要解决的核心问题是如何对LR信息与HR信息之间的映射关系进行建模.
基于学习的超分辨率复原算法主要包括训练样本库的建立和组织(特征提取)、学习(搜索)模型以及高频信息重建过程3个部分, 不同的研究者分别在这3方面进行了深入研究.从现有的研究结果看, 基于学习的超分辨率复原算法在对人脸、文本等特定对象进行超分辨率复原时表现出了较为明显的优势.目前, 常用的学习方法有基于示例的方法、基于流形学习的方法, 基于稀疏表示的方法.
大部分基于学习的超分辨率复原算法都需要首先建立一个训练样本集合.在基于示例的方法[18-19]中, 样本集合是由大量的成对的图像块组成, 即HR图像块和相应的LR图像块.也有一些算法通过多分辨率分析方法建立训练样本, 如利用高斯金字塔[15]、拉普拉斯金字塔[20]、Sreerable金字塔[21]和Contourlet金字塔[22]等方法建立图像不同分辨率之间的信息对应样本库.在重建阶段, 以待复原LR图像中的低频信息块作为索引, 到样本库中搜索相似样本, 再利用匹配样本中对应的高频信息来指导SR.这些方法对特征提取过程进行了探讨, 而学习模型主要以大规模搜索为基础.
文献[18-19]的工作奠定了基于示例学习的超分辨率复原框架的基础, 后续的很多研究工作都是沿着这一框架进行的.但是这类算法需要建立庞大的样本库, 每个LR块都要在样本库中搜索, 这样会导致计算复杂度非常高.另外, 由于搜索的样本块存在误匹配问题, 重建图像块边缘处会产生赝像, 从而严重影响重建质量.为了消除赝像, 采用重叠块的方式进行重建, 将重叠区域的高频信息进行平均.这又会导致重建图像的边缘过于平滑.
针对基于示例学习的方法存在的问题, 文献[20]提出了一种基于多类预测器学习的超分辨率复原算法.其基本思想将训练样本按照内容聚类.用每类样本训练一个预测器.在图像重建过程中, 通过"预测"的方式代替"搜索--粘贴"的模式.离线的预测器训练代替在线搜索, 有效提高了算法的运行速度和重建质量.
Chang等[23-24]引入了流形学习中的局部线性嵌入法(Locally linear embedding, LLE)来计算重建图像加权平均的权值.假设HR信息和对应的LR信息在几何结构上具有相似性, 通过LLE算法计算出一组最优的线性组合系数, 使得样本库中$K$个最近邻样本LR块经过这组系数加权平均得到的图像块与输入LR图像块之间的误差最小; 再将这组系数直接应用于$K$个样本中的HR图像块, 从而得到高频信息.
Yang等[25-26]对LR和HR样本图像块构成的样本库进行稀疏表示, 并通过联合训练的方式找到LR和HR图像块相对应的过完备字典.这种联合训练的方式使对应的LR块和HR块通过各自的字典所获得的稀疏系数较为相似, 并由此建立起LR与HR之间的桥梁.基于稀疏字典的图像超分辨率复原方法[26]建立稀疏先验约束, 由稀疏编码过程自动选择参与超分辨率重建的字典原子数量, 而非类似LLE中人为设定.这类方法取得了较好的图像重建质量.但是, 稀疏编码和重建过程需要多次迭代, 算法复杂度较大.
以上基于学习的SR方法都可称为基于浅层学习的方法.该类算法主要分为特征提取、学习和重建三个阶段.各阶段分别独立设计优化, 且学习模型的特征提取与表达能力有限.文献[27]对深度学习出现前的单幅图像超分辨率重建方法进行了较为全面的总结和分析.
2. 基于深度学习的SR方法
近年来, 深度学习引起了广泛关注.它的出现弥补了传统浅层学习方法的不足.国内外学者借鉴深度学习在图像分类及图像分割等任务中的成功经验, 提出了基于深度学习的图像超分辨率复原方法.在目标检测、跟踪、分类等领域的应用中, 深度网络被训练为分类器, 输出结果只需要离散的标号即可.不同于这些应用, 在图像超分辨率复原问题中, 深度网络作为一种预测器, 需要输出较为准确的预测值.另外, 在基于深度学习的超分辨率复原方法中, 深度网络结构的设计需要参照传统SR方法的思想和方案.在已有方案的启发下, 结合深度网络的优势, 基于深度学习的SR方法在网络结构与类型设计、先验信息结合方式及训练策略等方面做出贡献, 并且提升了图像超分辨率复原的主客观质量.
按深度学习的网络类型可以分为以下几类:前馈深度网络、反馈深度网络和双向深度网络[28].前馈网络是对输入信号进行编码的过程; 反馈网络是对输入信号解码的过程; 而双向深度网络则由多个编码器和解码器组合而成.本节按照网络类型对现有基于深度神经网络的图像超分辨率复原典型算法进行阐述.
2.1 基于前馈深度网络的方法
前馈深度网络是典型的深度学习模型之一.网络中各个神经元从输入层开始, 接收前一级输入, 并输入到下一级, 直至输出层.整个网络中无反馈, 可用一个有向无环图表示.
在深度学习的SR问题中, 前馈深度网络能够较好地学习低分辨率图像到高分辨率图像之间的对应关系.在输入层中, 它采用卷积的方法提取输入图像的局部特征模式, 单向传递给隐含层, 随着隐含层网络层数的加深而学习得到更深层级的特征[29]; 最后, 由输出层得到重建图像.典型的前馈深度网络包括多层感知器和卷积神经网络(Convolution neural network, CNN).
按前馈深度网络的网络类型可以分为以下几类:基于卷积神经网络的方法(Super resolution using convolution neural network, SRCNN); 基于极深网络的方法(Very deep networks for SR, VDSR); 基于整合先验的卷积神经网络的方法(SRCNN with Prior, SRCNN-Pr); 基于稀疏编码网络的方法(Sparse coding based network, SCN)和基于卷积稀疏编码的方法(Convolutional sparse coding super resolution, CSCSR).
2.1.1 基于卷积神经网络的SR方法
香港中文大学Dong等[30]率先将卷积神经网络引入到图像超分辨率复原的问题中, 设计了基于深度卷积神经网络的图像超分辨率复原方法.
该方法的主要思想:以深度学习与传统稀疏编码之间的关系作为依据, 将网络分为图像块提取、非线性映射和图像重建三个阶段, 再将这三个阶段统一到一个深度卷积神经网络框架中, 实现由低分辨率图像到高分辨率图像之间的端到端学习.该方法的重建结果比SCSR (Sparse coding based super resolution)方法的结果有较大提高.
在网络结构方面, 该方法的网络结构设计简单, 文献[30]分析了该方法与基于稀疏编码超分辨率重建技术[25-26]的等价性, 将稀疏编码过程看作卷积运算, 利用三个卷积层完成图像块提取、非线性映射和图像重建等操作.
在优化方式上, 以SCSR为代表的传统浅层学习SR方法对三个阶段进行分别设计并独立优化处理, 偏重于字典学习优化, 而忽略了整体框架的优化.文献[30]则采用联合优化方式, 图像重建性能得到了较大的提高.
在训练阶段, 为避免重叠图像块后处理所造成的计算量增大的问题, Dong等将高分辨率样本随机裁剪为若干个子图像, 再经过高斯核滤波、下采样和上采样子图像, 得到低分辨率样本.在训练策略上, 该方法采用均方误差作为损失函数, 由随机梯度下降法(Stochastic gradient descent, SGD)最小化损失函数, 训练速度进一步提升.
该方法的特点是将传统的稀疏编码与深度学习的SR方法联系在一起.虽然该方法展现出更好的重建效果, 但是, SRCNN在加深网络层数的同时并未获得更好的效果, 其不足之处还包括不适用多尺度放大, 训练收敛速度慢, 图像块上下文依赖等.
该方法表明深度神经网络端到端的联合优化优于浅层学习方法将特征提取、特征映射和图像重建独立优化.
2.1.2 基于极深网络的SR方法
在SRCNN的基础上, 极深网络的图像超分辨率复原方法[31]借鉴用于图像分类的VGG [32]网络结构, 设计了含有20个权值层的深度网络.与图像分类的极深网络不同, 极深网络的SR方法可以用更深层网络对LR到HR之间映射关系建模.
该方法的主要思想:将阶数较少的滤波器多次级联, 充分利用LR和HR较大图像区域的上下文信息, 获得了LR和HR之间的相关性.由于极深网络的训练效果直接影响重建图像的质量, 该方法采用残差训练的方法训练极深网络, 对HR和LR图像之间的残差进行训练, 并采用较高学习率以加快收敛速度.该方法克服了SRCNN上下文信息缺乏关联、单一尺度放大和收敛速度慢等问题, 并通过权值共享实现了网络参数更少、重建性能更佳的图像多尺度放大.
在网络结构方面, VDSR方法与SRCNN方法的网络不同: SRCNN仅有三个卷积层, 每层卷积滤波器的数量较多, 且尺度较大, 呈现出窄宽型结构; 而VDSR有二十个卷积层, 每层卷积滤波器的数量较多, 尺寸较小, 然后保持一致性, 呈现出细长型结构, 能够增加图像局部感受野.
在卷积神经网络中, 利用局部感受野, 可构成相邻层神经元的上下文信息关联. VDSR采用多个3×3尺度滤波器, 可实现更大感受野的效果.在卷积层中, 含多个3×3的滤波器比一个大尺寸的滤波器具有更少的参数.此外, 空间表达及上下文信息的联系能力进一步加强.
在训练阶段, VDSR先采用较高学习率提高训练速度, 但随之带来梯度消失、梯度膨胀的问题; 再采用可调梯度裁剪策略[33]调整梯度信息, 有效避免训练过程中梯度消失和梯度爆炸的问题.
在同一幅图像中, 不同尺度相似图像块能提供不同分辨率图像块间的对应关系[34], 且受空间金字塔池化(Spatial pyramid-pooling, SPP) [35]方法的启发. VDSR采用多尺度权值共享的策略, 通过同一个网络处理不同尺度的图像放大问题.其中, VDSR通过调整滤波器的尺寸来接受不同尺度的图像特征, 产生固定的特征输出.虽然VDSR可实现特定尺度的放大, 却不能实现多尺度的自由放大, 且其参数存储及检索也存在较明显的不足.
在图像重建阶段, 多级放大对于物体形变具有鲁棒性.与SRCNN相比, VDSR重建图像的PSNR值(Peak signal-to-noise ratio)提升了0.6~ 0.9 dB.该方法表明极深的网络结构有望进一步提升图像重建质量; 采用残差学习和可调梯度裁剪的策略可解决训练过程中梯度消失、梯度膨胀等问题.
2.1.3 基于整合先验知识的卷积神经网络SR方法
为了整合图像的梯度先验信息, 西安交通大学的Liang [36]提出了整合先验信息的超分辨率复原方法.在超分辨率复原任务中, 图像先验信息作为重要的组成部分, 如何整合图像先验信息成为关键.
该方法的主要思想:首先, 通过不同尺度的SRCNN网络进行图像的结构相似性学习; 然后, 在SRCNN末端连接一个特征提取层, 得到图像的梯度信息; 最后, 采用信息融合的策略得到重建图像.训练过程中, 该方法在代价函数中添加了重建图像的梯度信息与目标HR图像的梯度信息一致的约束条件, 充分利用图像的边缘信息.该方法的重建结果比SRCNN略有提高.
在网络结构方面, 该方法的前三层与SRCNN无异, 并在此基础上加入特征提取层, 利用Sobel滤波器提取边缘信息.
训练过程, 该算法先输入LR训练样本, 同时通过放大因子为2、3、4的网络, 实现多尺度放大; 再与第二个卷积层实现权值共享.其中, 该算法改变训练过程中的代价函数, 将先验信息添加到了训练过程中; 多任务学习可充分考虑多个放大倍数任务之间的联系与差异, 并采用权值共享缓解了多尺度放大的参数数量过多的问题.
相比于单任务, 多任务学习可有效提高PSNR值.但随着放大倍数的增加, 多任务学习与单任务的PSNR值相差不大, 甚至会随着放大倍数的增加而重建失效.在SRCNN-Pr方法的基础上, 如何在更高的放大倍数下提高PSNR值成为值得探索的问题.
相比于SRCNN的方法, SRCNN-Pr方法的PSNR值提高优势较弱.该方法表明浅层的卷积神经网络与图像先验信息相结合的方法提升能力有限, 但是, 该方法为领域先验与数据驱动的深度学习训练方法的结合提供了思路.
2.1.4 基于稀疏编码网络的SR方法
Wang等[37]提出了基于稀疏编码网络的SR方法.
该方法的主要思想:借鉴基于稀疏表示超分辨率重建的思想, 将原方法中稀疏表示、映射、稀疏重建三个独立优化的模块纳入到一个稀疏网络中.网络的训练, 相当于对三个模块协同优化, 可得到全局最优解.稀疏编码网络更充分地利用了图像的先验信息.这种方法首先通过特征提取层得到图像的稀疏先验信息; 然后, 通过基于学习的迭代收缩和阈值算法(Learned iterative shrinkage and thresholding algorithm, LISTA) [38]建立了一个前馈神经网络SCN, 该网络可实现图像的稀疏编码和解码; 最后, 采用级联网络完成图像放大, 该方法能够在更高放大倍数下提高PSNR, 且算法运行速度进一步提升. SCN实际上可看作通过神经网络实现了基于稀疏编码SR方法.
在网络结构方面, SCN保留了SRCNN的图像块提取、表示层和重建层部分, 并在中间层加入LISTA网络.级联SCN可实现任意尺度的图像放大.其中, 级联网络的每个SCN单元可采用相同的网络参数, 极大地降低算法复杂度.
实验结果表明, 在4倍放大时, SCN采用级联方式比非级联方式PSNR值提高0.3~0.5 dB; 相较于SRCNN方法, SCN的PSNR值提升0.2~0.5 dB, 且重建图像视觉质量较好.该方法表明传统稀疏编码模型所蕴含的领域知识对深度学习的网络设计具有重要的指导意义.
2.1.5 基于卷积稀疏编码的SR方法
现阶段, 大多数基于深度学习的SR方法主要关注高低分辨率映射函数的学习.香港理工大学提出了基于卷积稀疏编码[39]的SR方法.该方法的主要思想:首先进行LR滤波器、特征映射和HR滤波器的独立学习; 然后, 在特征表示部分, 考虑到相邻图像块重叠区域的像素相同, 将图像分解为不重叠的图像块; 最后, 将特征映射和HR滤波器联合学习.在重建过程中, 考虑到LR结构简单而HR复杂并含局部区域更大的空间信息, 故使用少数的LR滤波器和大量的HR滤波器完成HR图像的重建过程.
该算法保持了SRCNN的网络结构, 图像块提取、非线性特征映射与重建层不变.训练阶段分为两部分, LR滤波器学习, 特征映射和HR滤波器联合学习.在LR滤波器学习阶段, 将LR图分解为模糊成分和残差成分, 分别提取其低频信息及高频信息, 以获得稀疏特征映射.模糊成分采用双三次插值放大, 残差成分分解到多个特征映射.在傅里叶域, 通过SA-ADMM (Stuhastic altornating direction method of multipliers)算法[40]求解得到LR滤波器.在最优化部分, 使用交替方向乘子算法, 将大的全局问题分解为多个较容易解决的局部问题.通过协调子问题的解而得到最大的全局问题的解, 可有效解决LR滤波器组学习的问题.特征映射和HR滤波器联合学习阶段:与LR滤波器学习过程相似, 每个HR图像块分解为模糊成分和残差成分.根据上阶段所得LR特征映射和HR图像, 可学习得到HR滤波器及相对应的映射函数.
在重建阶段, 首先, 输入低分辨率图像, 通过训练得到LR滤波器组, 再经过卷积分解得到LR特征映射图; 最后, 由HR特征映射估计得到HR特征映射图, 通过HR滤波器组卷积得到重建后的HR图像.
在Set5数据集[25-26]下进行对比实验, 相比于SRCNN方法, 2倍放大时, CSCSR的平均PSNR值提升0.23 dB; 3倍放大时, CSCSR的平均PSNR值提升1.24 dB, 图像视觉质量较好.
该方法表明LR和HR滤波器学习对深度学习网络的滤波器组的设计具有重要的指导意义, 有助于保持图像的空间信息并提升重建效果.
表 1总结比较了5种前馈深度网络的图像超分辨率算法的不同特点. SRCNN方法将传统的稀疏编码与深度学习相结合, 完成了用于图像复原的深度神经网络建设, 但也存在一些不足.在SRCNN的基础上, 一些方法(VDSR、SRCNN-pr、SCN和CSCSR)分别从网络结构、先验信息嵌入、滤波器组学习等方法作出改进. VDSR的结果表明"更深的网络, 更好的性能"; SRCNN-pr表明多任务学习可提高算法运算速度; SCN为网络学习稀疏先验提供指导; CSCSR的结果证明ADMM算法[40]可应用于滤波器组学习, 并为深度网络的滤波器组学习提供指导.
表 1 各类基于前馈深度网络的超分辨率算法比较表Table 1 Comparison of different feed-forward deep network-based super-resolution algorithms2.2 基于反馈深度网络的方法
反馈深度网络又称递归网络.与前馈网络不同, 在反馈网络中, 信息在前向传递的同时还要进行反向传递.其中, 输入信号决定初始状态, 所有神经元均具有信息处理功能, 且每个神经元既可以从外界接收输入, 同时又可以向外界输出, 直到满足稳定条件, 网络才可以达到稳定状态.
在深度学习的SR问题中, 反馈网络的SR方法与前馈网络的SR方法不同.前馈网络的方法自底向上开始学习, 每层输入信号经过卷积、非线性变换2个阶段处理, 进而得到多层信息.相比之下, 反馈网络的每层信息是自顶向下的, 通过滤波器组学习得到卷积特征, 最后组合得到重建的图像.
反馈深度网络由多个解码器叠加而成, 可分为反卷积神经网络(Deconvolutional networks, DN)和层次稀疏编码网络(Hierarchical sparse coding, HSC)等.其特点是通过解反卷积或学习数据集的基, 对输入信号进行反解.层次稀疏编码网络和反卷积网络相似, 仅是在反卷积网络中对图像的分解而在稀疏编码中采用矩阵乘积的方式.
2.2.1 基于快速反卷积网络的SR方法
传统的SR方法存在网络迭代次数不可控, 计算量较大, 及不能适用于整体框架等问题[41].基于快速反卷积(Fast deconvolution, FD)的SR方法[42]由初始上采样、梯度先验计算和快速反卷积三个阶段组成.首先, 采用双三次插值的方法初始化低分辨率图像到合适的分辨率; 然后, 由快速反卷积估计恢复到高分辨率图像.其中, 为了反卷积更好地表达和加快速度, 需要在反卷积前加入梯度先验计算.在梯度先验计算过程中, 直接计算水平和垂直方向的梯度值计算量较大, 故先进行快速傅里叶变换, 在傅里叶变换域进行卷积更加有效; 最后, 经傅里叶逆变换得到重建图像, 重建图像主观质量较好, 且算法速度进一步提升.
该方法表明, 快速反卷积的方法可以达到整合先验信息目的, 且反卷积对网络建设提供参考.
2.2.2 基于深度递归网络的SR方法
VDSR的方法具有20层深层网络, 其缺乏层间信息反馈及上下文信息关联.为了解决此问题, Kim等提出了深度递归卷积网络的SR方法(Deeply-recursive convolutional network, DRCN) [43].该方法的主要思想:首先, 在极深网络的各层建立预测信息的监督层; 然后, 将各层的预测信息通过跳跃连接到重建层; 最后, 在重建层完成图像重建.
在网络结构上, 该方法包括嵌入网络, 推理网络和重建网络三部分.推理网络有多个递归层, 展开推理网络后, 相同的滤波器递归地应用于特征映射, 展开模型能在没有增加新的权值参数的前提下利用更多的上下文信息.在连接方式上, 深度递归网络可实现所有递归层共享一个重建层, 可通过跳跃连接来构建递归层与重建层的联系.
在训练策略上, 为减轻梯度消失和梯度爆炸所带来的影响, 该方法采用递归监督和跳跃连接的方式.由推理层得到各层递归, 再由跳跃连接与重建层直接连接, 加深网络层间联系并加快收敛速度.与SRCNN相比, 该方法重建图像的PSNR值可提升0.6~0.9 dB, 重建图像质量较好.
该方法表明递归网络与跳跃连接结合的方法可实现图像层间信息反馈及上下文信息关联, 对网络层间连接的建设提供指导.
2.2.3 基于深度边缘指导反馈残差网络的SR方法
SRCNN通过端到端学习得到LR与HR的映射关系, 但它未充分开发图像先验信息, 且存在细节信息丢失的现象.为了解决此问题, 北京大学和新加坡国立大学等联合提出深度边缘指导反馈残差网络(Deep edge guided recurrentr esidual, DEGREE)的方法[44].
DEGREE方法的主要思想:首先, 将低分辨率图像的边缘作为先验信息, 并为特征映射学习提供指导; 然后, 为避免忽略不同频带间的固有性质(高频边缘和纹理细节信息), 通过递归残差网络将图像信号分解为边缘、纹理等多个成分, 分别作为不同的频率子带, 各部分独立重建; 最后, 不同频带信息组合得到最终的重建图像.
在网络结构方面, DEGREE方法主要包括以下成分. LR边缘提取层; 递归残差网络; HR边缘预测层; 残差子带融合层.训练策略上, 该方法采用分流连接克服了SRCNN等方法收敛速度慢的缺点.在损失函数建立方面, 与现有的其他方法不同, DEGREE的方法建立了3个损失, 即边缘损失, 重建损失和总损失.优化设计合理, 均衡了边缘重建与最终重建图像间的损失, 进一步利用了图像的边缘信息.与SRCNN相比, 该方法的PSNR值提升了0.4~0.8 dB, 视觉质量较好.
该方法表明嵌入先验信息到深度网络可以指导边缘特征重建.此外, 将图像信号分解到不同的频带分别重建再进行组合的方式可保留图像重要的细节信息.
表 2总结比较了三种反馈深度网络的超分辨率算法的优缺点. FD方法的特点是算法运算速度较快, 但生成图像质量一般; 针对极深网络层间信息缺乏连接的问题, DRCN方法采用递归监督的策略实现层间信息连接; DEGREE的方法的特点是建立多个损失函数, 完成网络结构优化.
表 2 各类基于反馈深度网络的超分辨率算法比较表Table 2 Comparison of different feed-back deep network-based super-resolution algorithms2.3 基于双向深度网络的方法
双向深度网络的方法将前馈网络和反馈网络相结合.既含前馈网络反向传播的特点, 又与反馈网络预训练方法类似.
双向深度网络包括深度玻尔兹曼机(Deep Boltzmann machines, DBM)、深度置信网络(Deep belief networks, DBNs)和栈自编码器(Stacked auto-encoders, SAE)等.
2.3.1 基于受限玻尔兹曼机的SR方法
基于受限玻尔兹曼机的方法(Restricted Boltzmann machine, RBM) [45]采用稀疏编码的方法, 在字典中预先学习稀疏先验, 再进行字典学习.其中, 在RBM编码中, 图像块作为字典的成分.训练过程中, 采用对比散度算法来加快训练.随着RBM隐含层的层数增加, 可以得到深度玻尔兹曼机(DBM).该方法采用对比散度算法, 训练速度较快.相比于SCSR, SCSR与RBM相结合的性能得到进一步提升.
2.3.2 基于深度置信网络的SR方法
基于深度置信网络的方法[46]将SR问题看成是一个丢失数据的完备化问题.该方法有两个阶段, 训练阶段, 将HR图像分成图像块, 变换到DCT (Discrete cosine transform)域, 得到DCT系数, 通过SGD训练得到DBNs.重建阶段, 将插值放大后的LR图像分解成图像块, 变换到DCT域, 利用训练得到的DBNs来恢复丢失的高频细节信息.最后, 通过DCT逆变换获得重建图像.
2.3.3 基于堆协同局部自编码的SR方法
中科院自动化所Cui等[47]提出了深度级联网络SR方法(Deep network cascade, DNC), 该方法通过将多个相同网络结构级联, 实现图像的逐级放大.网络结构单元采用多尺度非局部相似检索和协同自编码器构成, 用于解决误差传递和相邻块之间的兼容性问题.
在网络结构方面, 该方法由一个CLA单元(Collaborative local auto-encoder)与一个NLSS单元(Non-local self-similarity)组成一个级联层.在每个级联层中, 先从多尺度图像块中进行非局部自相似搜索NLSS, 用于增强输入图像块的高频纹理细节; 再将增强后的图像块放入CLA中, 抑制噪声并整合重叠图像块的兼容性, 若干个CLA与NLSS组合而成的模型更具有鲁棒性; 最后, 平均图像块间重叠部分的信息, 得到最后的HR图像.该方法表明, NLSS与CLA的组合方式可实现图像高频纹理增强及抑制噪声等功能.
表 3总结比较了三种双向深度网络SR算法的优缺点.其中, RBM的算法运算速度较快, 但重建图像质量一般; DBNS能较好地恢复图像细节信息, 但算法运行速度一般; DNC有效抑制噪声, 并得到纹理信息增强的重建图像.
表 3 各类基于双向深度网络的超分辨率算法比较表Table 3 Comparison of different bi-directional deep network-based super-resolution algorithms2.4 实验结果与分析
表 4总结比较了9种典型SR方法的PSNR值.其中, 这些方法在Set5、Set14和BSD100数据集下完成测试; 主要对比VDSR [31]、DRCN [43]、ANR [48]、A+ [49]、IA [50]、JOR [51]等方法; 由作者所公布的实验结果整理得到表 4中的实验数据.通过观察实验数据, VDSR与DRCN都取得了较好的平均PSNR值, 其中, DRCN为VDSR加入了层间信息融合, 并提升了VDSR的PSNR值.在Set5数据集上比较, DRCN高于VDSR 0.2 dB左右的PSNR值, 但是, 在Set14和BSD100数据集上, VDSR却表现出微弱的优势.可见, DRCN在极深网络层间信息联系和信息融合策略选择等方面还存在改进空间.此外, IA的方法也取得较好的平均PSNR值, 该方法表明将ANR和A+的SR方法与深度学习的邻域知识相结合会取得了更好的效果.
表 4 Set5、Set14和BSD100数据集, 不同SR算法重建效果比较(PSNR)Table 4 Comparison of reconstructed images with various SR methods (PSNR), on Set5, Set14, BSD100 benchmark data数据集 放大倍数 ANR[48] A+[49] SRCNN[30] VDSR[31] DRCN[43] SCN[37] IA[50] JOR[51] DEGREE[44] Set5 ×3 31.92 32.59 32.75 33.66 33.82 33.10 33.46 32.55 33.39 Set5 ×4 29.69 30.28 30.48 31.35 31.53 30.86 31.10 30.19 31.03 Set14 ×3 28.65 29.13 29.28 29.77 29.76 29.41 29.69 29.09 29.61 Set14 ×4 26.85 27.32 27.49 28.01 28.02 27.64 27.88 27.26 27.73 BSD100 ×3 27.89 28.29 28.29 28.82 28.80 28.50 28.76 28.17 28.63 BSD100 ×4 26.51 26.82 26.84 27.29 27.23 27.03 27.25 26.74 27.07 图 1得到9种典型SR方法3×3倍后的重建效果图.其中, 3类测试图像有"Butterfly"、"Zebra"、"Comic".实验选择了近几年典型的SR方法进行比较.实验结果图均由作者所公开的源码测试所得.通过观察, VDSR较好地保留了图像的边缘信息, 重建图像的主观质量较好.
图 1 “Butterfly”、“Zebra”、“Comic”图像, 不同SR算法重建效果比较Fig. 1 Comparison of reconstructed images with various SR methods under the "Butterfly", "Zebra", "Comic" images3. 分析与讨论
基于学习的SR方法通过获取高、低分辨率图像样例的相关性来指导高分辨率信息的重建, 其核心任务是对LR与HR信息之间的对应关系进行建模.基于深度学习的SR方法尤其擅长LR和HR之间的端到端映射学习, 其中, 网络模型的构建、先验信息及训练策略的合理选择发挥着重要作用.因此, 基于深度学习的图像超分辨率复原技术具有较大的发展潜力.
本文对目前典型的基于深度学习的超分辨率复原方法进行了梳理.从中, 我们可以得到以下启示.
3.1 深度网络类型与结构分析
相比于浅层学习的SR网络, 深度神经网络具有更强大的特征表示和学习能力, 对LR与HR之间的上下文信息构建对应关系.以上分析可见, 前馈网络、反馈网络以及双向网络都已在图像超分辨率复原问题中得到了应用, 且重建图像的质量取得了不同程度的提高.根据不同网络结构的SR方法, 可以得到以下启示:
1) 极深的网络结构能够加强图像的上下文信息.如VDSR逐层提取图像的更高层特征, 并深入挖掘图像的有用信息, 但随之而来的训练收敛问题需要妥善处理;
2) 递归网络与残差网络结合可以整合图像的先验信息.如DRCN [43]采用跳跃连接的方式构建各层预测图像的关联, 各层预测信息层层反馈, 不断调优;
3) 双流网络可完成LR与HR的相似度学习.如双通道卷积神经网络的方法[52], 首先利用CNN学习得到有效的LR与HR图像块之间的相似性度量, 然后根据输入LR图像块与HR图像块字典基元的相似度重构出对应的HR图像块.
实验结果表明, 尽管深度学习的多种网络类型都可以有效提高SR重建图像的质量.但是, 在网络结构的选择上需要专家经验.目前通用的方法是建立已有浅层学习SR方法与深度学习SR方法的联系, 这种网络结构的设计有望进一步提升图像重建质量.如何发挥深度网络结构的最大作用仍需领域先验知识的指导.
3.2 领域先验知识发挥作用
尽管深度神经网络强调以大数据为驱动进行端到端学习, 但是, 领域先验知识的合理运用仍然起着重大作用, 它可以使基于深度学习的SR方法在训练过程和重建性能上取得事半功倍的效果.
依据领域先验知识发挥作用的方式, 可分为以下几种:
1) 浅层学习SR方法的重建流程能够指导深度网络类型与结构的选择.如SRCNN将SCSR的特征提取、特征映射和图像重建阶段纳入到深度神经网络中.此外, SCN也是稀疏表示SR方法更为直接的深度神经网络的实现.
2) 先验信息通过具体代价函数能够指导网络训练过程.在网络训练过程中, 除了建立重建损失函数以外, SRCNN-Pr对图像边缘信息给予更多的关注, 并建立了关于图像梯度信息的代价函数; DEGREE通过边缘损失、纹理损失和总损失三个损失函数体现图像重建过程中边缘信息和纹理信息的重要性.
3) 变换域的处理方法指导特征提取网络设计基于卷积神经网络的方法通过逐层特征变换, 将图像在原空间的特征表示变换到一个新的特征空间[53], 较好地保持空间位置信息, 并建立高低分辨率图像映射关系;
反馈残差网络的方法(DEGREE) [44]通过频域变换可以将图像中的不同对象按高频和低频分量分别进行处理, 整合处理后的各频带信息得到输出结果;
深度置信网络的方法[46]先将图像变换到DCT域, 再通过SGD训练得到的DBNS模型, 最后恢复图像丢失的高频细节信息;
小波域的字典学习方法[54]在小波分解的LR子带中, 采用稀疏表示的映射关系得到三个HR的小波子带, 并对6个子带的字典学习, 小波重建后得到较好的输出结果.
3.3 深度网络训练及最优化问题
在训练过程中, 随着训练模型的扩大, 会带来模型参数存储问题; 此外, 极深网络需要大数据驱动, 以解决训练过拟合的问题; 不同最优化策略的选择对上述问题有很大的影响.
1) 随着深度神经网络层数的增加, 优化函数越来越容易陷入局部最优解.预训练的方法有助于缓解CNN陷入局部最优的问题.
2) 随着深度神经网络层数的增加, 梯度消失、梯度爆炸等问题越来越严重. ReLU、maxout等激活函数的出现有效缓解了该类问题; 此外, 高速公路网络和深度残差学习[25]也可以避免梯度消失.在深度残差网络中, ReLU与残差学习的结合使得152层的网络能够正常训练及收敛.
3) 联合最优化[51]与自相似搜索的方式相结合.首先, 通过$K$均值建立若干个簇, 并学习一套局部回归量; 然后, 采用两个迭代过程(类似于$K$均值), 通过更新和分配簇, 为训练样本产生最小的重建误差.最后, 通过最近邻投票得到重建误差最小的回归量, 由重建图像块组合得到重建图像.
4. 结论与展望
深度学习在图像超分辨率复原技术中具有广泛的应用前景, 并已经成为目前的研究热点.很多工作为这类SR方法在深度网络类型和结构的建立、领域先验知识的应用以及训练方式上都做出了有益的贡献.展望今后的发展方向, 在以下问题中尚存在着挑战与机遇.
1) 网络结构的学习.在基于深度学习SR方法中, 领域先验知识在网络类型选择与结构设计上发挥了较大的作用, 但是尚无明确的理论指导.因此, 期待深度学习在网络结构设计上有所进展, 图像超分辨率复原技术必将从中受益.
2) 面向特定对象的深度SR方法.针对低质量人脸、车牌、场景文本等特定应用领域, 设计专用的深度学习网络进行高质量重建.如何将特定领域的先验信息与深度网络结构、代价函数以及训练方式结合是有潜力的研究方向.
3) 多因素降质图像的质量增强技术.真实多媒体应用中获得的低质量图像往往是多种降质因素并存的复杂降质图像.如监控视频中获取的人脸图像同时存在低分辨率、失焦模糊、运动模糊、压缩失真和噪声等降质问题.传统方法针对不同问题分别处理, 在解决实际应用问题时, 往往效果欠佳.因此, 借助深度神经网络强大的学习能力, 开展多种降质因素协同处理方法的研究, 具有重要的理论意义和应用价值.
总之, 深度神经网络在图像超分辨率复原中已初步展现了巨大的潜力.但是, 仍有很多尚未完善的工作, 需要更多的研究者开展富有创新性的工作.
-
图 1 “Butterfly”、“Zebra”、“Comic”图像, 不同SR算法重建效果比较
Fig. 1 Comparison of reconstructed images with various SR methods under the "Butterfly", "Zebra", "Comic" images
表 1 各类基于前馈深度网络的超分辨率算法比较表
Table 1 Comparison of different feed-forward deep network-based super-resolution algorithms
下载: 导出CSV
表 2 各类基于反馈深度网络的超分辨率算法比较表
Table 2 Comparison of different feed-back deep network-based super-resolution algorithms
下载: 导出CSV
表 3 各类基于双向深度网络的超分辨率算法比较表
Table 3 Comparison of different bi-directional deep network-based super-resolution algorithms
下载: 导出CSV
表 4 Set5、Set14和BSD100数据集, 不同SR算法重建效果比较(PSNR)
Table 4 Comparison of reconstructed images with various SR methods (PSNR), on Set5, Set14, BSD100 benchmark data
数据集 放大倍数 ANR[48] A+[49] SRCNN[30] VDSR[31] DRCN[43] SCN[37] IA[50] JOR[51] DEGREE[44] Set5 ×3 31.92 32.59 32.75 33.66 33.82 33.10 33.46 32.55 33.39 Set5 ×4 29.69 30.28 30.48 31.35 31.53 30.86 31.10 30.19 31.03 Set14 ×3 28.65 29.13 29.28 29.77 29.76 29.41 29.69 29.09 29.61 Set14 ×4 26.85 27.32 27.49 28.01 28.02 27.64 27.88 27.26 27.73 BSD100 ×3 27.89 28.29 28.29 28.82 28.80 28.50 28.76 28.17 28.63 BSD100 ×4 26.51 26.82 26.84 27.29 27.23 27.03 27.25 26.74 27.07
下载: 导出CSV
-
[1] 卓力, 王素玉, 李晓光.图像/视频的超分辨率复原.北京:人民邮电出版社, 2011. 349Zhuo Li, Wang Su-Yu, Li Xiao-Guang. Image/Video Super Resolution. Beijing: The People's Posts and Telecommunications Press, 2011. 349 [2] 张晓玲. 遥感图像的压缩和超分辨率复原技术研究[博士学位论文], 北京工业大学, 中国, 2006.Zhang Xiao-Ling. Research on compression and super resolution of remote sensing imagery [Ph.D. dissertation], Beijing University of Technology, China, 2006. [3] Baker S, Kanade T. Limits on super-resolution and how to break them. In: Proceedings of the 2000 IEEE Conference on Computer Vision and Pattern Recognition. Hilton Head Island, SC, USA: IEEE, 2000, 2: 372-379 [4] Van Ouwerkerk J D. Image super-resolution survey. Image and Vision Computing, 2006, 24(10): 1039-1052 doi: 10.1016/j.imavis.2006.02.026 [5] 苏衡, 周杰, 张志浩.超分辨率图像重建方法综述.自动化学报, 2013, 39(8): 1202-1213 http://www.aas.net.cn/CN/abstract/abstract18151.shtmlSu Heng, Zhou Jie, Zhang Zhi-Hao. Survey of super-resolution image reconstruction methods. Acta Automatica Sinica, 2013, 39(8): 1202-1213 http://www.aas.net.cn/CN/abstract/abstract18151.shtml [6] Harris J L. Diffraction and resolving power. Journal of the Optical Society of America, 1964, 54(7): 931-936 doi: 10.1364/JOSA.54.000931 [7] Goodman J W. Introduction to Fourier Optics. San Francisco: McGraw-Hill, 1968. [8] Tsai R Y, Huang T S. Multiple frame image restoration and registration. In: Advances in Computer Vision and Image Processing. Greenwich, CT, England: JAI Press, 1984. 317-339 [9] Aly H, Dubois E. Regularized image up-sampling using a new observation model and the level set method. In: Proceedings of the 2003 International Conference on Image Processing. Barcelona, Spain: IEEE, 2003, 2: Article No.Ⅲ-665-8 [10] Aly H A, Dubois E. Image up-sampling using total-variation regularization with a new observation model. IEEE Transactions on Image Processing, 2005, 14(10): 1647-1659 doi: 10.1109/TIP.2005.851684 [11] Zhang X L, Lam K M, Shen L S. Image magnification based on a blockwise adaptive Markov random field model. Image and Vision Computing, 2008, 26(9): 1277-1284 doi: 10.1016/j.imavis.2008.03.003 [12] Chantas G K, Galatsanos N P, Woods N A. Super-resolution based on fast registration and maximum a posteriori reconstruction. IEEE Transactions on Image Processing, 2007, 16(7): 1821-1830 doi: 10.1109/TIP.2007.896664 [13] Hardie R C, Barnard K J, Armstrong E E. Joint MAP registration and high-resolution image estimation using a sequence of undersampled images. IEEE Transactions on Image Processing, 1997, 6(12): 1621-1633 doi: 10.1109/83.650116 [14] Protter M, Elad M. Super resolution with probabilistic motion estimation. IEEE Transactions on Image Processing, 2009, 18(8): 1899-1904 doi: 10.1109/TIP.2009.2022440 [15] Hu H, Kondi L P. A regularization framework for joint blur estimation and super-resolution of video sequences. In: Proceedings of the 2005 IEEE International Conference on Image Processing. Genoa, Italy: IEEE, 2005. Article No.Ⅲ-329-32 [16] 李晓光, 李风慧, 卓力.高分辨率与高动态范围图像联合重建研究进展.测控技术, 2012, 31(5): 8-12 http://www.cnki.com.cn/Article/CJFDTOTAL-IKJS201205004.htmLi Xiao-Guang, Li Feng-Hui, Zhuo Li. Research on High Resolution and High Dynamic Range Image Reconstruction. Measurement & Control Technology, 2012, 31(5): 8-12 http://www.cnki.com.cn/Article/CJFDTOTAL-IKJS201205004.htm [17] Baker S, Kanade T. Limits on super-resolution and how to break them. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2002, 24(9): 1167-1183 doi: 10.1109/TPAMI.2002.1033210 [18] Freeman W T, Pasztor E C, Carmichael O T. Learning low-level vision. International Journal of Computer Vision, 2000, 40(1): 25-47 doi: 10.1023/A:1026501619075 [19] Freeman W T, Jones T R, Pasztor E C. Example-based super-resolution. IEEE Computer Graphics and Applications, 2002, 22(2): 56-65 doi: 10.1109/38.988747 [20] Li X G, Lam K M, Qiu G P, Shen L S, Wang S Y. Example-based image super-resolution with class-specific predictors. Journal of Visual Communication and Image Representation, 2009, 20(5): 312-322 doi: 10.1016/j.jvcir.2009.03.008 [21] Su C Y, Zhuang Y T, Li H, Wu F. Steerable pyramid-based face hallucination. Pattern Recognition, 2005, 38(6): 813-824 doi: 10.1016/j.patcog.2004.11.007 [22] Jiji C V, Chaudhuri S. Single-frame image super-resolution through contourlet learning. EURASIP Journal on Advances in Signal Processing, 2006, 2006: Article No.073767 https://www.researchgate.net/publication/27356019_Single-Frame_Image_Super-resolution_through_Contourlet_Learning/fulltext/0e605abaf0c46d4f0ab4581d/27356019_Single-Frame_Image_Super-resolution_through_Contourlet_Learning.pdf [23] Chang H, Yeung D Y, Xiong Y M. Super-resolution through neighbor embedding. In: Proceedings of the 2004 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Washington D.C., USA: IEEE, 2004. 275-282 [24] Chan T M, Zhang J P, Pu J, Huang H. Neighbor embedding based super-resolution algorithm through edge detection and feature selection. Pattern Recognition Letters, 2009, 30(5): 494-502 doi: 10.1016/j.patrec.2008.11.008 [25] Yang J C, Wright J, Huang T, Ma Y. Image super-resolution as sparse representation of raw image patches. In: Proceedings of the 2008 IEEE Conference on Computer Vision and Pattern Recognition. Anchorage, Alaska, USA: IEEE, 2008. 1-8 [26] Yang J C, Wright J, Huang T S, Ma Y. Image super-resolution via sparse representation. IEEE Transactions on Image Processing, 2010, 19(11): 2861-2873 doi: 10.1109/TIP.2010.2050625 [27] Yang C Y, Ma C, Yang M H. Single-image super-resolution: a benchmark. In: Proceedings of ECCV 2014 Conference on Computer Vision. Cham, Switzerland: Springer, 2014. 372-386 [28] Schmidhuber J. Deep learning in neural networks: an overview. Neural Networks, 2015, 61: 85-117 doi: 10.1016/j.neunet.2014.09.003 [29] 胡传平, 钟雪霞, 梅林, 邵杰, 王建, 何莹.基于深度学习的图像超分辨率算法研究.铁道警察学院学报, 2016, 26(1): 5-10 http://www.cnki.com.cn/Article/CJFDTOTAL-TDBG201601001.htmHu Chuan-Ping, Zhong Xue-Xia, Mei Lin, Shao Jie, Wang Jian, He Ying. The research on super-resolution method using deep learning. Journal of Railway Police College, 2016, 26(1): 5-10 http://www.cnki.com.cn/Article/CJFDTOTAL-TDBG201601001.htm [30] Dong C, Loy C C, He K M, Tang X O. Image super-resolution using deep convolutional networks. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2016, 38(2): 295-307 doi: 10.1109/TPAMI.2015.2439281 [31] Kim J, Lee J K, Lee K M. Accurate image super-resolution using very deep convolutional networks. In: Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas, NV, USA: IEEE, 2016. 1646-1654 [32] Simonyan K, Zisserman A. Very deep convolutional networks for large-scale image recognition. arXiv: 1409.1556, 2015. [33] Pascanu R, Mikolov T, Bengio Y. On the difficulty of training recurrent neural networks. In: Proceedings of the 30th International Conference on Machine Learning. Atlanta, GA, USA: International Machine Learning Society, 2013. 2347-2355 [34] 潘宗序, 禹晶, 肖创柏, 孙卫东.基于多尺度非局部约束的单幅图像超分辨率算法.自动化学报, 2014, 40(10): 2233-2244 http://www.aas.net.cn/CN/abstract/abstract18498.shtmlPan Zong-Xu, Yu Jing, Xiao Chuang-Bai, Sun Wei-Dong. Single-image super-resolution algorithm based on multi-scale nonlocal regularization. Acta Automatica Sinica, 2014, 40(10): 2233-2244 http://www.aas.net.cn/CN/abstract/abstract18498.shtml [35] He K M, Zhang X Y, Ren S Q, Sun J. Spatial pyramid pooling in deep convolutional networks for visual recognition. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2015, 37(9): 1904-1916 doi: 10.1109/TPAMI.2015.2389824 [36] Liang Y, Wang J J, Zhou S P, Gong Y H, Zheng N N. Incorporating image priors with deep convolutional neural networks for image super-resolution. Neurocomputing, 2016, 194: 340-347 doi: 10.1016/j.neucom.2016.02.046 [37] Wang Z W, Liu D, Yang J C, Han W, Huang T. Deep networks for image super-resolution with sparse prior. In: Proceedings of the 2015 IEEE International Conference on Computer Vision (ICCV). Santiago, Chile: IEEE, 2015. 370-378 [38] Gregor K, Lecun Y. Learning fast approximations of sparse coding. In: Proceedings of the 27th International Conference on Machine Learning. Haifa, Israel: International Machine Learning Society, 2010. 399-406 [39] Gu S H, Zuo W M, Xie Q, Meng D Y, Feng X C, Zhang L. Convolutional sparse coding for image super-resolution. In: Proceedings of the 2015 IEEE International Conference on Computer Vision (ICCV). Santiago, Chile: IEEE, 2015. 1823-1831 [40] Zhong L W, Kwok J T. Fast stochastic alternating direction method of multipliers. In: Proceedings of the 31st International Conference on Machine Learning. Beijing, China: International Machine Learning Society, 2014. 78-86 [41] Tian J, Ma K K. A survey on super-resolution imaging. Signal, Image and Video Processing, 2011, 5(3): 329-342 doi: 10.1007/s11760-010-0204-6 [42] Krishnan D, Fergus R. Fast image deconvolution using hyper-laplacian priors. In: Proceedings of the 23rd Annual Conference on Neural Information Processing Systems. Vancouver, BC, Canada: NIPS, 2009. 1033-1041 [43] Kim J, Lee J K, Lee K M. Deeply-recursive convolutional network for image super-resolution. In: Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas, NV, USA: IEEE, 2016. 1637-1645 [44] Yang W H, Feng J S, Yang J C, Zhao F, Liu J Y, Guo Z M, Yan S C. Deep edge guided recurrent residual learning for image super-resolution. ArXiv: 1604.08671, 2016. [45] Gao J B, Guo Y, Yin M. Restricted Boltzmann machine approach to couple dictionary training for image super-resolution. In: Proceedings of the 20th IEEE International Conference on Image Processing (ICIP). Melbourne, VIC, Australia: IEEE, 2013. 499-503 [46] Nakashika T, Takiguchi T, Ariki Y. High-frequency restoration using deep belief nets for super-resolution. In: Proceedings of the 9th International Conference on Signal-Image Technology & Internet-Based Systems. Kyoto, Japan: IEEE, 2013. 38-42 [47] Cui Z, Chang H, Shan S G, Zhong B N, Chen X L. Deep network cascade for image super-resolution. In: Proceedings of the 13th European Conference on Computer Vision-ECCV 2014. Cham, Switzerland: Springer, 2014. 49-64 [48] Timofte R, De V, Van Gool L. Anchored neighborhood regression for fast example-based super-resolution. In: Proceedings of the 14th IEEE International Conference on Computer Vision (ICCV). Sydney, NSW, Australia: IEEE, 2013. 1920-1927 [49] Timofte R, De Smet V, Van Gool L. A+: adjusted anchored neighborhood regression for fast super-resolution. In: Proceedings of the 12th Asian Conference on Computer Vision. Cham, Switzerland: Springer, 2015. 111-126 [50] Timofte R, Rothe R, Van Gool L. Seven ways to improve example-based single image super resolution. In: Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas, NV, USA: IEEE, 2016. 1865-1873 [51] Dai D, Timofte R, Van Gool L. Jointly optimized regressors for image super-resolution. Computer Graphics Forum, 2015, 34(2): 95-104 doi: 10.1111/cgf.2015.34.issue-2 [52] 徐冉, 张俊格, 黄凯奇.利用双通道卷积神经网络的图像超分辨率算法.中国图象图形学报, 2016, 21(5): 556-564 doi: 10.11834/jig.20160503Xu Ran, Zhang Jun-Ge, Huang Kai-Qi. Image super-resolution using two-channel convolutional neural networks. Journal of Image and Graphics, 2016, 21(5): 556-564 doi: 10.11834/jig.20160503 [53] 刘娜, 李翠华.基于多层卷积神经网络学习的单帧图像超分辨率重建方法.中国科技论文, 2015, 10(2): 201-206 http://www.cnki.com.cn/Article/CJFDTOTAL-ZKZX201502017.htmLiu Na, Li Cui-Hua. Single image super-resolution reconstruction via deep convolutional neural network. China Sciencepaper, 2015, 10(2): 201-206 http://www.cnki.com.cn/Article/CJFDTOTAL-ZKZX201502017.htm [54] Nazzal M, Ozkaramanli H. Wavelet domain dictionary learning-based single image superresolution. Signal, Image and Video Processing, 2015, 9(7): 1491-1501 doi: 10.1007/s11760-013-0602-7 期刊类型引用(70)
1. 赵小强，王泽，宋昭漾，蒋红梅. 基于类金字塔图残差网络的图像超分辨率重建. 控制与决策. 2024(03): 786-794 . 
百度学术2. 李邦源，杨家全，薛若漪，张晓宇，汪航，孙宏滨. 基于卷积神经网络和Transformer的高效图像超分辨率重建. 云南电力技术. 2024(02): 41-48 . 百度学术3. 朱新峰，宋健. 轻量级图像超分辨率研究综述. 计算机工程与应用. 2024(16): 49-60 . 百度学术4. 张文安，林安迪，杨旭升，俞立，杨小牛. 融合深度学习的贝叶斯滤波综述. 自动化学报. 2024(08): 1502-1516 . 本站查看5. 周圆，王明非，杜晓婷，陈艳芳. 基于层次特征复用的视频超分辨率重建. 自动化学报. 2024(09): 1736-1746 . 本站查看6. 孙田，邹斌，龙潜，孟然，谢启伟. 基于端到端的图像清晰化处理的深度学习算法. 数学的实践与认识. 2024(08): 154-167 . 百度学术7. 孙超，王强，杨大为. 基于邻域注意力的混合注意力图像超分辨率网络. 计算机应用. 2024(S2): 217-222 . 百度学术8. 李金新，黄志勇，李文斌，周登文. 基于多层次特征融合的图像超分辨率重建. 自动化学报. 2023(01): 161-171 . 本站查看9. 朱华，胡晓禹. 基于噪声鲁棒对比损失的图像去噪. 电脑编程技巧与维护. 2023(03): 149-151 . 百度学术10. 鲍文霞，吴育桉，胡根生，杨先军，汪振宇. 基于改进RDN网络的无人机茶叶图像超分辨率重建. 农业机械学报. 2023(04): 241-249 . 百度学术11. 赵小强，李希尧，宋昭漾. 轻量化逆可分离残差信息蒸馏网络的图像超分辨率重建. 模式识别与人工智能. 2023(05): 419-432 . 百度学术12. 聂善煜，何桂春，石岩，赵红宇，吴为波. 基于数据驱动的浮选指标预测建模研究进展. 中国有色金属学报. 2023(07): 2330-2338 . 百度学术13. 赵露苗，陈立平. 超分辨率方法在复杂棉花叶片图像的比较研究. 农业与技术. 2023(23): 48-50 . 百度学术14. 李昊，赵光哲. DRUSR：面向效果的图像超级分辨率重建. 计算机工程与应用. 2023(24): 165-175 . 百度学术15. 朱煜君，迟杏，任志强，张欣. 改进的生成对抗网络的超分辨率方法研究. 智能计算机与应用. 2022(01): 155-159+163 . 百度学术16. 鲍宇，程硕，王靖涛. 基于深度学习的化工过程故障检测与诊断研究综述. 化学工业与工程. 2022(02): 9-22 . 百度学术17. 陈平. 基于特征融合的单幅图像超分辨率重构方法. 河北北方学院学报(自然科学版). 2022(03): 37-42 . 百度学术18. 吴梦凡，何小海，卿粼波，翟森，任超. 基于降质信息估计的盲图像复原算法. 通信技术. 2022(04): 420-427 . 百度学术19. 凌里杨，徐天吉，冯博，许宏涛，魏水建. 基于深度学习的多波地震信号智能匹配方法与应用. 石油地球物理勘探. 2022(04): 768-776+735-736 . 百度学术20. 张锐，蒋慧莹. 基于图像处理技术的建筑物沉降研究. 计算机仿真. 2022(09): 247-251 . 百度学术21. 吴靖，叶晓晶，黄峰，陈丽琼，王志锋，刘文犀. 基于深度学习的单帧图像超分辨率重建综述. 电子学报. 2022(09): 2265-2294 . 百度学术22. 张芳，赵东旭，肖志涛，耿磊，吴骏，刘彦北. 单幅图像超分辨率重建技术研究进展. 自动化学报. 2022(11): 2634-2654 . 本站查看23. 段友祥，张含笑，孙歧峰，孙友凯. 基于拉普拉斯金字塔生成对抗网络的图像超分辨率重建算法. 计算机应用. 2021(04): 1020-1026 . 百度学术24. 曲延云，陈蓉，李翠华，王菡子. 深度学习单帧图像超分辨率重建研究综述. 厦门大学学报(自然科学版). 2021(03): 555-570+641-642 . 百度学术25. 梁涛，李毅成，段玉莹. 基于线性特征集的非授权代码敏感路径检测. 计算机仿真. 2021(06): 373-377 . 百度学术26. 孙超文，陈晓. 基于多尺度特征融合反投影网络的图像超分辨率重建. 自动化学报. 2021(07): 1689-1700 . 本站查看27. 马力，邹亚莉. 嵌入自注意力机制的美学特征图像生成方法. 计算机科学与探索. 2021(09): 1728-1739 . 百度学术28. 刘金桥，李光平. 基于多分支卷积重参数化的超分辨算法设计与实现. 现代计算机. 2021(25): 63-68 . 百度学术29. 欧建荣，熊孝天，钱朗，张金区. BP神经网络在重建多光谱遥感影像波段中的应用. 计算机与数字工程. 2021(10): 2107-2112 . 百度学术30. 李耀兵，李赟，李俊. 基于GAN的视频流超分辨率方法设计与实现. 无线电工程. 2021(11): 1208-1213 . 百度学术31. 朱克亮，张天忠，石雪梅，张树涛，陈良锋. 基于CycleGAN的低照度人脸图像增强. 计算机技术与发展. 2021(11): 95-100 . 百度学术32. 余萍，曹洁. 深度学习在故障诊断与预测中的应用. 计算机工程与应用. 2020(03): 1-18 . 百度学术33. 王延年，李文婷，任劼. 基于生成对抗网络的单帧图像超分辨算法. 国外电子测量技术. 2020(01): 26-32 . 百度学术34. 刘颖，朱丽，林庆帆，李莹华，王富平，卢津. 图像超分辨率技术的回顾与展望. 计算机科学与探索. 2020(02): 181-199 . 百度学术35. 张毅锋，刘袁，蒋程，程旭. 用于超分辨率重建的深度网络递进学习方法. 自动化学报. 2020(02): 274-282 . 本站查看36. 杨森林，孙静，闫曌，李喜龙. 基于深度卷积神经网络的图像帧间补偿研究. 计算机仿真. 2020(01): 452-455 . 百度学术37. 胡晓辉，张建国. 基于改进卷积神经网络的图像超分辨率算法研究. 计算机应用研究. 2020(03): 947-950+956 . 百度学术38. 代强，乔焰，程曦，朱诚. 基于深度学习的农作物病害叶片的图像超分辨率重建. 黑龙江八一农垦大学学报. 2020(02): 82-90 . 百度学术39. 李滔，董秀成，张晓华. 深度图像超分辨率重建技术综述. 西华大学学报(自然科学版). 2020(04): 45-53 . 百度学术40. 唐艳秋，潘泓，朱亚平，李新德. 图像超分辨率重建研究综述. 电子学报. 2020(07): 1407-1420 . 百度学术41. 邵金鑫，张宝昌，曹继鹏. 基于图像处理与深度学习方法的棉纤维梳理过程纤维检测识别技术. 纺织学报. 2020(07): 40-46 . 百度学术42. 魏子康，刘云清. 改进的RDN灰度图像超分辨率重建方法. 红外与激光工程. 2020(S1): 160-167 . 百度学术43. 张永梅，滑瑞敏，马健喆，胡蕾. 基于深度学习与超分辨率重建的遥感高时空融合方法. 计算机工程与科学. 2020(09): 1578-1586 . 百度学术44. 谢海平，谢凯利，杨海涛. 图像超分辨率方法研究进展. 计算机工程与应用. 2020(19): 34-41 . 百度学术45. 马赫，张涛，卢涵宇. 基于CycleGAN的图像风格迁移. 电脑知识与技术. 2020(27): 18-20 . 百度学术46. 杨宇辉，刘昌华. 基于快速卷积神经网络的大田油菜花图像超分辨率重建. 荆楚理工学院学报. 2020(03): 12-18 . 百度学术47. 常颖，常大俊. 改进型卷积神经网络焊点缺陷识别算法研究. 激光技术. 2020(06): 779-783 . 百度学术48. 裴锦博. B超图像最优化重建技术研究. 信息与电脑(理论版). 2020(20): 17-19 . 百度学术49. 张宁，王永成，张欣，徐东东. 基于深度学习的单幅图片超分辨率重构研究进展. 自动化学报. 2020(12): 2479-2499 . 本站查看50. 段立娟，武春丽，恩擎，乔元华，张韵东，陈军成. 基于小波域的深度残差网络图像超分辨率算法. 软件学报. 2019(04): 941-953 . 百度学术51. 刘鹏飞，赵怀慈，刘明第. 基于卷积神经网络的图像超分辨率重建. 计算机工程与应用. 2019(09): 197-202 . 百度学术52. 田润，魏志刚，刘明铮. 基于深度学习的交通标志识别方法研究. 数字技术与应用. 2019(02): 81-82 . 百度学术53. 刘月峰，杨涵晰，蔡爽，张晨荣. 基于改进卷积神经网络的单幅图像超分辨率重建方法. 计算机应用. 2019(05): 1440-1447 . 百度学术54. 苏健民，杨岚心. 基于生成对抗网络的单帧遥感图像超分辨率. 计算机工程与应用. 2019(12): 202-207+214 . 百度学术55. 段然，周登文，赵丽娟，柴晓亮. 基于多尺度特征映射网络的图像超分辨率重建. 浙江大学学报(工学版). 2019(07): 1331-1339 . 百度学术56. 包晓安，高春波，张娜，徐璐，吴彪. 基于生成对抗网络的图像超分辨率方法. 浙江理工大学学报(自然科学版). 2019(04): 499-508 . 百度学术57. 欧阳宁，梁婷，林乐平. 基于自注意力网络的图像超分辨率重建. 计算机应用. 2019(08): 2391-2395 . 百度学术58. 吴高昌，刘强，柴天佑，秦泗钊. 基于时序图像深度学习的电熔镁炉异常工况诊断. 自动化学报. 2019(08): 1475-1485 . 本站查看59. 张杨忆，林泓，管钰华，刘春. 改进残差块和对抗损失的GAN图像超分辨率重建. 哈尔滨工业大学学报. 2019(11): 128-137 . 百度学术60. 马子骥，卢浩，董艳茹. 双通道单图像超分辨率卷积神经网络. 吉林大学学报(工学版). 2019(06): 2089-2097 . 百度学术61. 林金花，姚禹，王莹. 基于深度图及分离池化技术的场景复原及语义分类网络. 自动化学报. 2019(11): 2178-2186 . 本站查看62. 邓力维. 遥感图像融合发展现状与展望. 西部皮革. 2019(24): 89-90 . 百度学术63. 渠慎明，王青博，刘珊，张东生. 基于二分K均值聚类和最近特征线的视频超分辨率重建方法. 河南大学学报(自然科学版). 2018(03): 292-298 . 百度学术64. 陈勤，伍传敏. 基于主成分分析的彩色图转灰度图方法的研究. 佳木斯大学学报(自然科学版). 2018(03): 380-383 . 百度学术65. 卢倩雯，陶青川，赵娅琳，刘蔓霄. 基于生成对抗网络的漫画草稿图简化. 自动化学报. 2018(05): 840-854 . 本站查看66. 张号逵，李映，姜晔楠. 深度学习在高光谱图像分类领域的研究现状与展望. 自动化学报. 2018(06): 961-977 . 本站查看67. 李现国，孙叶美，杨彦利，苗长云. 基于中间层监督卷积神经网络的图像超分辨率重建. 中国图象图形学报. 2018(07): 984-993 . 百度学术68. 贾凯，段新涛，李宝霞，郭玳豆. 基于双通道卷积神经网络的图像超分辨率增强算法. 计算机应用. 2018(12): 3563-3569 . 百度学术69. 顾席光，胡家彬，钱彬，王军华，黄金. 汽车电子标识在智能交通中的应用与研究. 公路交通科技. 2017(S2): 110-117 . 百度学术70. 陈伟宏，安吉尧，李仁发，李万里. 深度学习认知计算综述. 自动化学报. 2017(11): 1886-1897 . 本站查看其他类型引用(144)
-
下载:
计量
- 文章访问数: 4070
- HTML全文浏览量: 2467
- PDF下载量: 5195
- 被引次数: 214
