A Compressed Sensing Algorithm Based on Multi-scale Residual Reconstruction Network
-
摘要: 目前压缩感知系统利用少量测量值使用迭代优化算法重构图像.在重构过程中，迭代重构算法需要进行复杂的迭代运算和较长的重构时间.本文提出了多尺度残差网络结构，利用测量值通过网络重构出图像.网络中引入多尺度扩张卷积层用来提取图像中不同尺度的特征，利用这些特征信息重构高质量图像.最后，将网络的输出与测量值进行优化，使得重构图像在测量矩阵上的投影与测量值更加接近.实验结果表明，本文算法在重构质量和重构时间上均有明显优势.Abstract: In recent years, a small number of measurements and iterative optimization algorithms were exploited in compressed sensing to reconstruct images. In the process of reconstruction, most algorithms based on iteration for compressed sensing image reconstruction suffer from the complicatedly iterative computation and time-consuming. In this paper, we propose a novel multi-scale residual reconstruction network (MSRNet), and exploit the measurements to reconstruct images through the network. The multi-scale dilate convolution layer is introduced in the network to extract the feature of different scales in the image, and the feature information could improve the quality of reconstructed image. Finally, we exploit the output of the network and measurements to optimize our algorithm, so as to make the projection of the reconstructed image closer to the measurements. The experimental results show that the MSRNet requires less running time and has better performance in reconstruction quality than other compressed sensing algorithms.
-
Key words:
- Compressive sensing /
- convolution neural network /
- multi-scale convolution /
- dilate convolution
-
传统的奈奎斯特采样速率必须达到信号带宽的两倍以上才能精确重构出原始信号.然而随着科技的不断进步, 所处理信号的带宽也在不断地增加, 这对传统的采样系统提出了挑战.近年来, 由Donoho和Candes等提出的压缩感知理论[1-4], 突破了这一限制, 其主要思想是利用随机测量矩阵${\Phi} \in {\bf R}^{m \times n}$对信号${\pmb x} \in {\bf R}^{n \times 1}$进行采样, 将${\pmb x}$投影到$m$维的低维空间, 并证明这样随机投影的测量值${\pmb y} \in {\bf R}^{m \times 1}~({\pmb{y}} = {\Phi {\pmb x}})$中包含了重构信号的足够信息, 通过求解一个稀疏优化问题, 利用投影在低维空间的测量信号可重构出原始信号.
在图像压缩感知问题中, 测量值${\pmb y}$的维度$m$远小于原始信号${\pmb x}$的维度$n$, 图像压缩感知重构本质上是求解一个欠定方程, 如何从这个欠定方程中寻找出最优解是重构的关键.近年来众多学者提出了基于图像在某种变换域具有稀疏性的图像重构算法, 该类算法利用${l_p}~(0 \le p \le 1)$范数衡量稀疏系数的稀疏性, 通常使用正交匹配追踪(Orthogonal matching pursuit, OMP)算法[5], 迭代硬阈值(Iterative hard-thresholding)算法[6]等求解对应的稀疏编码问题.还有学者提出利用梯度稀疏性[7]、非局部稀疏性[8]和块稀疏性[9]作为先验知识对原始信号进行重构, 基于混合基稀疏图像表示[10], 基于非局部相似性[11]的压缩感知图像重构算法也被提出.然而这些重构算法都需要进行复杂的迭代运算, 重构时间较长, 并且在较低的采样率下, 重构图像质量较差.
深度学习自提出以来, 在计算机视觉和图像处理方面, 受到广泛关注, 如, 图像超分辨率重建[12]、图像语义分割[13]、图像去噪[14]等, 并且在这些方面都呈现出较好的效果.最近, 有学者将深度学习应用在压缩感知上, 利用堆降噪自编码模型[15] (Stacked denoiseing auto-encoders, SDA)和卷积神经网络(Convolutional neural network, CNN)[16]学习一个端到端的映射, 利用测量值, 通过网络直接重构图像.在文献[15]中, Mousavi等利用SDA训练得到测量值与重构图像的映射, 使用该映射利用测量值进行图像重构. Kulkarni等在文献[16]中提出的ReconNet网络将两个SRCNN (11-1-7)模型[12]堆叠, 在卷积网络前级联一个全连接层, 实现了非迭代图像压缩感知重构, 但重构质量相对较差. Yao等将ReconNet网络与残差网络[17]结构相结合提出了DR$^2$-Net[18], 网络由全连接层和四个残差块(12层卷积层)组成. DR$^2$-Net相对于ReconNet网络提高了重构质量, 但是由于含有较多的卷积层需要花费较长的重构时间.
本文在ReconNet和DR$^2$-Net的基础上提出多尺度残差重构网络, 使用不同尺寸的卷积核组合成多种感受野, 捕捉图像中不同尺度的特征, 进而重构出高质量的图像.在重构网络中, 引入扩张卷积(Dilate convolution)[19], 仅使用7层卷积层, 重构图像的质量优于DR$^2$-Net, 且重构时间比其短.
1. 图像压缩感知重构
图像压缩感知重构主要是对图像进行随机投影采样, 并利用图像在某种变换域的稀疏性作为先验知识, 从少量测量数据中重构出原始图像.对于$ n = W \times H $的图像, 将其向量化为$ {\pmb x} \in {\bf R}^{n \times 1} $, 取$ m \times n $维的测量矩阵$ \Phi $对原始图像$ {\pmb x} $进行采样得:
$ \begin{align} {\pmb y} = {\Phi {\pmb x}} \end{align} $
(1) 当$ m \ll n $时, 式(1)是一个病态问题, 存在无穷多个解.利用图像在变换域具有稀疏性的先验知识:
$ \begin{align} {{\pmb y} = \Phi \Psi {\pmb s}} \end{align} $
(2) 其中, $ {\Psi} $中的每一列是变换域的一个基向量, $ \pmb s $是$ \pmb x $在变换域$ {\Psi} $的稀疏系数组成的向量.对于式(2)可以通过求解下式的非凸优化问题:
$ \begin{align} \mathop {\min }\limits_{\pmb{x}} {\left\| {{{\Psi}^{{\rm T}}}{\pmb{x}}} \right\|_0}, \ {\rm{s}}{\rm{.t}}{\rm{.}}\ {\pmb{y} = \Phi \pmb{x}} \end{align} $
(3) 式(3)是一个典型的NP-Hard问题, 一般常用$ {l_1} $范数代替$ {l_0} $范数转化为凸优化问题即式(4):
$ \begin{align} \mathop {\min }\limits_{\pmb{x}} {\left\| {{{\Psi}^{\rm T}}{\pmb{x}}} \right\|_1}, \ {\rm{s}}{\rm{.t}}{\rm{.}}\ {\pmb{y}} = {\Phi \pmb{x}} \end{align} $
(4) 求解该问题时需要多次迭代运算, 因此重构速度较慢.
传统的优化方法基本不能实现实时重构, 如果用$ m \times n $的测量矩阵$ {\Phi} $对图像$ n = H \times W $进行采样时计算量和存储量比较大, 影响重构速度.为了减少存储量, 提高采样速度, 对图像进行分块采样[20]重构.将图像分成$ B \times B $的小块, 用相同的采样矩阵$ {{\Phi}_B} $对图像块进行采样.则每个小块$ {{\pmb{x}}_i}\in {\bf R}^{B^2 \times 1} $对应的测量信号表示为$ {{\pmb{y}}_i} = {{\Phi }_B}{{\pmb{x}}_i} $, 其中$ {{\Phi}_B} $是一个$ {n_B} \times {B^2} $的行正交高斯矩阵.
2. 重构网络
2.1 网络结构
如图 1所示, 受文献[18]的启发, 本文首先使用线性重构网络即一个全连接层对图像进行重构, 得到原始图像$ {{{\pmb x}}_i}\in {\bf R}^{n \times 1} $的近似解$ {{{\hat {\pmb x}}}_i} $, 再通过多尺度残差网络学习$ {{{\hat {\pmb x}}}_i} $与原始图像$ {{{{\pmb x}}}_i} $的残差$ {{{{\pmb d}}}_i} $, 最终得到高质量的重构图像.
图 1 多尺度残差重构网络(MSRNet), s-Dconv表示扩张卷积, $s$ = 1, 2, 4Fig. 1 Mult-scale residuce recontruction network, s-Dconv denotes s-dilate convolution, here $s$ = 1, 2 and 4$ \begin{align} {{{\pmb d}}_i} = {{{\pmb x}}_i} - {{\hat {\pmb x}}_i} \end{align} $
(5) 2.2 线性生成网络
在文献[18]中, 使用一层全连接层对图像进行初等的重构.本文在图像重构过程中也引入这一结构.训练集包含$ N $个训练样本即$ \{({{\pmb{y}}_1}, {{\pmb x}_1}), $ $ ({{\pmb{y}}_2}, {{\pmb x}_2}), \cdots, ({{\pmb{y}}_N}, {{\pmb x}_N})\} $, $ {{\pmb{y}}_i} \in {\bf R}^{m \times 1} $为测量值, $ {{\pmb{y}}_i} = {A}{{\pmb{x}}_i} $, $ A\in {\bf R}^{m \times n} $为随机行正交的高斯矩阵, $ {{\pmb{x}}_i}\in {\bf R}^{n \times 1} $为对应的图像块, 损失函数使用均方误差函数如式(6)所示:
$ \begin{align} L(\{ {{W}^f}\} ) = \frac{1}{N}\sum\limits_{i = 1}^N {\left\| {{{\pmb x}_i} - {F^f}({{\pmb{y}}_i}, {{W}^f})} \right\|_2^2} \end{align} $
(6) 使用Adam (Adaptive moment estimation)[21]方法进行训练, 优化得到$ {{W}^f} \in {\bf R}^{1089 \times m} $, 使得式(6)最小. $ {F^f}( \cdot ) $表示由一个全连接层组成的线性映射, 网络$ {F^f}( \cdot ) $包含1 089个神经元, 训练完成后利用测量值$ {{\pmb{y}}_i} $通过式(7)重构得到$ {{\pmb x}_i} $的近似解$ {{\hat {\pmb x}}_i} $.
$ \begin{align} {{\hat {\pmb x}}_i} = {F^f}({{\pmb{y}}_i}, {{W}^f}) \end{align} $
(7) 2.3 多尺度残差网络
线性映射网络$ {F^f}( \cdot ) $重构出的图像, 图像质量较差, 为了提高重构图像的质量, 引入多尺度残差网络$ {F^{msr}}(\cdot) $.
如图 1所示, 线性网络的输出作为多尺度残差网络$ {F^{msr}}( \cdot ) $的输入, 通过网络输出大小为$ 33 \times 33 $的图像块.多尺度残差网络有7层卷积核大小为$ 3 \times 3 $的卷积层, 除最后一层其他所有卷积层的激活函数为ReLU (Rectified linear units)[22], 第1层到第6层输出64个特征图, 第7层输出一个特征图.网络中有3层多尺度层, 分别是第1层、第3层和第5层, 每一个多尺度层由两种不同扩张因子的扩张卷积组成, 第1层扩张因子$ s $为1和2, 第3、5层的扩张因子$ s $为1和4, 每一种扩张卷积输出32个特征图, 然后将每一层输出的特征图级联, 输出64个特征图.为了增大网络的感受野, 剩下的卷积层也使用扩张卷积, 第2, 4, 6, 7层的扩张因子$ s $分别为2, 4, 2, 1.
测量值$ {{\pmb{y}}_i} $作为网络的输入, 首先由线性映射层$ {F^f}( \cdot ) $重构出一幅中间图像$ {{\hat {\pmb x}}_i} $, 再通过多尺度残差网络$ {F^{msr}}( \cdot ) $估计出残差$ {{\pmb d}_i} $, 最后由式(8)得到重构图像$ {\pmb x}_i^ * $.
$ \begin{align} {\pmb x}_i^ * = {{\hat {\pmb x}}_i} + {{\pmb d}}_i \end{align} $
(8) 将式(8)中的$ {{\hat {\pmb x}}_i} $和$ {{\pmb d}_i} $用$ {F^f}( \cdot) $和$ {F^{msr}}( \cdot ) $代替, $ {\pmb x}_i^ * $可由式(9)表示.
$ \begin{align} {\pmb x}_i^* = {F^f}({{\pmb{y}}_i}, {{W}^f}) + {F^{msr}}({F^f}({{\pmb{y}}_i}, {{W}^f}), {{W}^{msr}}) \end{align} $
(9) 将式(6)求解所得的$ {{W}^f} $作为式(9)中$ {{W}^f} $的初始值, 使用Adam算法更新MSRNet中的参数$ {{W}^f} $和$ {{W}^{msr}} $.所使用的损失函数为均方误差(Mean squared error, MSE)损失函数, 即式(10):
$ \begin{align} L(\{ {{W}^f}, {{W}^{msr}}\} ) = \mathop {\frac{1}{N} {\sum\limits_{i = 1}^N} {\left\| {{{\pmb x}_i} - {\pmb x}_i^ * } \right\|_2^2} } \end{align} $
(10) 其中, $ N $表示训练集中样本的数目, $ {{\pmb{y}}_i} $为压缩感知测量值, $ {{\pmb x}_i} $为$ {{{\pmb y}}_i} $对应的图像块标签, $ {\pmb x}_i^ * $为网络的输出即重构图像块.
2.4 多尺度卷积层
卷积神经网络中的卷积核常常用来提取图像中的特征, 但是相同尺寸的卷积核只能提取同一尺度特征, MSRNet在同一层使用两种不同尺寸的卷积核提取图像中不同尺度的特征, 通过级联操作(Concat)将多尺度层的特征信息融合作为下一层的输入.本算法分别在网络的第1层、第3层和第5层使用多尺度层, 组合成多种感受野, 捕获图像中不同尺度的特征, 提高图像的重构质量.多尺度层如图 2所示, 由一个卷积层和一个级联层组成. $ {s_1} $和$ {s_2} $为不同值的扩张因子, 将$ 3 \times 3 $的卷积核扩张为不同尺寸大小的卷积核, 组成多尺度卷积层.每一个卷积核输出32个特征图, 再通过级联层将不同尺度的特征融合为64个特征图, 作为下一层的输入.
2.5 使用扩张卷积增大网络感受野
图像重构过程中, 感受野是非常重要的, 大的感受野可以捕捉更多的图像信息, 提高图像重构质量.在卷积神经网络中, 一般使用大尺寸的卷积核、增加卷积层的层数和引入池化层(Pooling layer), 来增加网络的感受野.但是随着卷积核的增大和网络层数的增加, 网络的计算复杂度也会增加, 使得图像重构时间变长.池化虽然没有增加网络的计算复杂度, 但是丢失了许多的信息, 导致重构图像质量较差.本文引入文献[19]中的扩张卷积来增大网络的感受野.扩张卷积增大了网络的感受野, 但不增加网络的参数, 使得图像重构速度较快.例如, 使用扩张因子$ s = 2 $对$ 3 \times 3 $的卷积核进行扩张, 得到$ (2s + 1) \times (2s + 1) $即$ 5 \times 5 $的卷积核, 该卷积核有9个位置不为零, 其余位置都为零, 感受野从原来的$ 3 \times 3 $变为$ 5 \times 5 $, 如图 3所示, 左边为普通的卷积, 右边为$ s = 2 $的扩张卷积.
在MSRNet网络中引入多尺度卷积核用来提取图像中不同尺度的特征, 提高重构图像的质量.本文在第1层、第3层和第5层分别加入多尺度卷积核, 使得MSRNet有多种感受野, 其尺寸分别为$ 25 \times 25 $、$ 27 \times 27 $、$ 31 \times 31 $、$ 33 \times 33 $、$ 37 \times 37 $和$ 39 \times 39 $.网络中不同大小的感受野可以捕获图像中不同尺度的特征, 从而提高重构图像的质量.
2.6 重构过程
在图像重构过程中, 给出一幅图像, 对图像进行非重叠取块, 块大小为$ 33 \times 33 $.用随机行正交高斯矩阵对每一个图像块进行采样, 得到的测量值$ {\pmb{y}} $作为MSRNet网络的输入, 重构出高质量的图像块.由于MSRNet所重构出的图像块在测量矩阵上的投影与测量值具有一些误差, 所以本文对重构图像进行修正, 进一步提高图像的重构质量.利用式(11)对重构图像进行修正:
$ \begin{align} {{\pmb z}}_i^* = \mathop {\arg \min }\limits_{{{\pmb{z}}_i}} \{\left\| {{A}{{\pmb{z}}_i} - {{\pmb{y}}_i}} \right\|_2^2 + \lambda \left\| {{{{\pmb z}}_i} - {{\pmb x}}_i^ * } \right\|_2^2 \} \end{align} $
(11) 其中, $ {{\pmb z}}_i^ * $为修正后的重构图像块, $ {{\pmb x}}_i^ * $为网络重构的图像块, $ {A} $为随机行正交的高斯采样矩阵.在式(11)中, $ \left\| {{A}{{\pmb {z}}_i} - {{\pmb{y}}_i}} \right\|_2^2 $这一项衡量重构图像块在测量矩阵上投影与测量值的误差, $ \left\| {{{{\pmb z}}_i} - {{\pmb x}}_i^ * } \right\|_2^2 $使得修正后的图像块与网络重构图像块更加接近, 实验中令参数$ \lambda = 1 $.对式(11)求导, 令导数为零, 得
$ \begin{align} {{\pmb z}}_i^* = {({{A}^{\rm T}}{A} + \lambda {I})^{ - 1}}({{A}^{\rm T}}{\pmb{y}} + {{\pmb x}}_i^ * ) \end{align} $
(12) 其中, $ {I} $为$ 1\, 089 \times 1\, 089 $的单位阵.然后使用BM3D[23]去除块效应, 再通过式(12)进行一次修正, 最终获得一幅高质量的重构图像.利用式(12)进行修正时, $ {({{A}^{\rm T}}{A} + \lambda {I})^{ - 1}} $计算一次即可, 因此在修正过程中只需计算$ ({{A}^{\rm T}}{\pmb{y}} + {{\pmb x}}_i^*) $这一项, 修正过程时间复杂度较低.
图 4显示了Barbara重构图像块修正前后在测量矩阵上投影与测量值误差的比较, 明显可以看出修正后的图像块在测量矩阵的投影与测量值更加接近.误差Error为重构图像在测量矩阵的投影与测量值的差的$ {l_2} $范数, $ N $为重构图像块的序号.
图 4 重构图像块修正前后误差的比较(Barbara图像)Fig. 4 The comparison of the error of the reconstructed image block before and after refined (Barbara)3. 网络的训练
3.1 训练多尺度残差网络
本文使用和文献[16]一样的训练集, 共91幅图像.将图像分别放缩到0.75、1、1.25三个不同的尺度得到273幅图像.不同的颜色空间对图像分类、图像分割有一定的影响[24], 但对图像重构方面影响较小.为了公平起见, 本文采用与ReconNet和DR$ ^2 $-Net相同的颜色空间, 将RGB图像空间变换到YCrCb图像空间, 选取亮度通道, 对图像进行取块操作, 块大小为$ 33 \times 33 $, 取块步长为14.为了增加训练集中图像数量, 分块前对图像做翻转, 旋转等操作, 最终得到$ 128 \times 5\, 414 $块图像块.再对图像块进行随机投影, 将$ 33\times33 $的图像块向量化为$ 1\, 089\times1 $维的向量.本文采用4种不同的采样率对图像块进行采样, 分别是0.25、0.1、0.04、0.01, 每一个图像块有1 089个像素, 所以测量值$ {{\pmb{y}}_i} $的长度分别是272、109、43、10.训练过程中使用图 5中的图像作为测试集.使用Tensorflow[25]深度学习开源工具训练网络, 所有实验均在Inter Core i5-7500 CPU, 主频3.4 GHz, 内存16 GB, 显卡GTX 1080ti平台下完成.
3.2 网络参数初始化
训练线性生成网络$ {F^f}(\cdot) $时, 使用均值为0, 方差为0.01的高斯矩阵初始化权重, 偏置初始化为0.训练多尺度残差网络$ {F^{msr}}(\cdot) $时, 所有卷积层的权重, 使用Xavier[26]初始化方法进行初始化, 偏置初始化为0.
3.3 网络训练参数设置
网络分两步进行训练, 首先使用比较大的学习率训练子网络$ {F^f}(\cdot) $, 学习率为0.001, 最大迭代次数为1 000 000, 每训练200 000次学习率衰减为原来的0.5倍.子网络$ {F^f}(\cdot) $训练完成后, 使用较小的学习率对整个网络进行训练, 迭代120轮、学习率为0.0001, 每训练40轮学习率衰减为原来的0.5倍.使用Adam[21]方法训练网络, 动量因子分别为0.9和0.999. 图 6为训练期间采样率为0.10、0.25时, 损失函数随迭代次数的衰减曲线.图中损失函数的值随迭代次数的增加逐渐降低, 当迭代到40轮时, 学习率衰减为原来的0.5倍, 损失函数的值会骤降, 迭代到80轮时, 学习率继续衰减0.5倍, 损失函数的值变化较小, 随着迭代次数的增加, 曲线趋于平稳, 网络收敛.
4. 实验结果
4.1 重构结果
本文与已有的五种算法进行比较, 这五种算法分别是TVAL3[27]、NLR-CS[28]、D-AMP[29]、ReconNet、DR$ ^2 $-Net.前三种是基于迭代优化的算法, 后两种是基于深度学习的算法.实验结果如表 1所示, 在测量值没有噪声的情况下, 本文算法具有较好的重构效果. 图 7显示, 本文提出的算法能够有效地重构出图像的细节, 在采样率较大时重构图像中含有的伪迹较少.
表 1 6幅测试图像在不同算法不同采样率下的PSNRTable 1 PSNR values in dB for six testing images by different algorithms at different measurement rates图像 算法 MR = 0.25 MR = 0.10 MR = 0.04 MR = 0.01 w/o BM3D w/BM3D w/o BM3D w/BM3D w/o BM3D w/BM3D w/o BM3D w/BM3D Barbara TVAL3 24.19 24.20 21.88 22.21 18.98 18.98 11.94 11.96 NLR-CS 28.01 28.00 14.80 14.84 11.08 11.56 5.50 5.86 D-AMP 25.08 25.96 21.23 21.23 16.37 16.37 5.48 5.48 ReconNet 23.25 23.52 21.89 22.50 20.38 21.02 18.61 19.08 DR$ ^2 $-Net 25.77 25.99 22.69 22.82 20.70 21.30 18.65 19.10 MSRNet 26.69 26.91 23.04 23.06 21.01 21.28 18.60 18.90 Boats TVAL3 28.81 28.81 23.86 23.86 19.20 19.20 11.86 11.88 NLR-CS 29.11 29.27 14.82 14.86 10.76 11.21 5.38 5.72 D-AMP 29.26 29.26 21.95 21.95 16.01 16.01 5.34 5.34 ReconNet 27.30 27.35 24.15 24.10 21.36 21.62 18.49 18.83 DR$ ^2 $-Net 30.09 30.30 25.58 25.90 22.11 22.50 18.67 18.95 MSRNet 30.74 30.93 26.32 26.50 22.58 22.79 18.65 18.88 Flinstones TVAL3 24.05 24.07 18.88 18.92 14.88 14.91 9.75 9.77 NLR-CS 22.43 22.56 12.18 12.21 8.96 9.29 4.45 4.77 D-AMP 25.02 24.45 16.94 16.82 12.93 13.09 4.33 4.34 ReconNet 22.45 22.59 18.92 19.18 16.30 16.56 13.96 14.08 DR$ ^2 $-Net 26.19 26.77 21.09 21.46 16.93 17.05 14.01 14.18 MSRNet 26.67 26.89 21.72 21.81 17.28 17.40 13.83 14.10 Lena TVAL3 28.67 28.71 24.16 24.18 19.46 19.47 11.87 11.89 NLR-CS 29.39 29.67 15.30 15.33 11.61 11.99 5.95 6.27 D-AMP 28.00 27.41 22.51 22.47 16.52 16.86 5.73 5.96 ReconNet 26.54 26.53 23.83 24.47 21.28 21.82 17.87 18.05 DR$ ^2 $-Net 29.42 29.63 25.39 25.77 22.13 22.73 17.97 18.40 MSRNet 30.21 30.37 26.28 26.41 22.76 23.06 18.06 18.35 Monarch TVAL3 27.77 27.77 21.16 21.16 16.73 16.73 11.09 11.11 NLR-CS 25.91 26.06 14.59 14.67 11.62 11.97 6.38 6.71 D-AMP 26.39 26.55 19.00 19.00 14.57 14.57 6.20 6.20 ReconNet 24.31 25.06 21.10 21.51 18.19 18.32 15.39 15.49 DR$ ^2 $-Net 27.95 28.31 23.10 23.56 18.93 19.23 15.33 15.50 MSRNet 28.90 29.04 23.98 24.17 19.26 19.48 15.41 15.61 Peppers TVAL3 29.62 29.65 22.64 22.65 18.21 18.22 11.35 11.36 NLR-CS 28.89 29.25 14.93 14.99 11.39 11.80 5.77 6.10 D-AMP 29.84 28.58 21.39 21.37 16.13 16.46 5.79 5.85 ReconNet 24.77 25.16 22.15 22.67 19.56 20.00 16.82 16.96 DR$ ^2 $-Net 28.49 29.10 23.73 24.28 20.32 20.78 16.90 17.11 MSRNet 29.51 29.86 24.91 25.18 20.90 21.16 17.10 17.33 平均PSNR TVAL3 27.84 27.87 22.84 22.86 18.39 18.40 11.31 11.34 NLR-CS 28.05 28.19 14.19 14.22 10.58 10.98 5.30 5.62 D-AMP 28.17 27.67 21.14 21.09 15.49 15.67 5.19 5.23 ReconNet 25.54 25.92 22.68 23.23 19.99 20.44 17.27 17.55 DR$ ^2 $-Net 28.66 29.06 24.32 24.71 20.80 21.29 17.44 17.80 MSRNet 29.48 29.67 25.16 25.38 21.41 21.68 17.54 17.82 
图 7 比较几种算法的重构性能(第1行到第3行采样率MR = 0.25, 0.10, 0.04)Fig. 7 Comparison of reconstruction performance of various algotithms (MR = 0.25, 0.10, 0.04)表 1显示了6幅测试图像在不同算法不同测量率下的PSNR和图 5中11幅测试图像的平均PSNR. TVAL3、NLR-CS和D-AMP使用文献[16]提供的结果, 表中"w/o BM3D"表示未使用BM3D去除块效应, "w/BM3D"表示使用BM3D去除块效应, "平均PSNR"表示图 5中11幅图像的平均PSNR.从表 1中看出, 多尺度残差网络(MSRNet)的重构图像平均PSNR最高.在较高的采样率下, 基于深度学习的算法ReconNet重构性能低于传统的优化迭代算法TVAL3、NLR-CS、D-AMP.但是本文算法和DR$ ^2 $-Net的重构性能优于上述三种算法, 相比于上述五种算法, 本文算法重构图像质量较好.例如, 在MR = 0.25的情况下, 平均PSNR比DR$ ^2 $-Net高0.82 dB, 高于NLR-CS算法1.43 dB.在较低采样率下, 传统的优化迭代算法TVAL3、NLR-CS、D-AMP基本不能够重构出有意义的图像, 但是基于深度学习的算法ReconNet、DR$ ^2 $-Net、MSRNet都能重构出图像的大致信息, 且本文算法性能优于ReconNet和DR$ ^2 $-Net.
图像重构质量的评价也应该包含人的视觉效果.结构相似指数(Structural similarity index, SSIM)是衡量两幅图像的相似度. SSIM越接近于1, 表示两幅图像越相似.比较结果如表 2所示, 本文算法的平均SSIM明显高于其他算法, 重构图像质量不仅PSNR值比较高, 且有较好的视觉效果.
表 2 不同算法下11幅测试图像平均SSIMTable 2 Mean SSIM values for 11 testing images by different algorithms算法 MR = 0.01 MR = 0.04 MR = 0.10 MR = 0.25 ReconNet 0.4083 0.5266 0.6416 0.7579 DR$ ^2 $-Net 0.4291 0.5804 0.7174 0.8431 MSRNet 0.4535 0.6167 0.7598 0.8698 图 8显示了修正前后的Barbara图像, 从图中可以看出修正后的图像块效应明显减少, 与修正前图像相比细节更加清晰.如表 3所示, 修正后的重构图像PSNR和SSIM均有不同程度的提高, 有更好的视觉效果.
图 8 修正前后的重构图像对比(MR = 0.25)Fig. 8 The comparison of reconstructed images before and after refined (MR = 0.25)表 3 MSRNet重构图像修正后11幅测试图像的PSNR (dB)和SSIMTable 3 The PSNR (dB) and SSIM of 11 test images of refined MSRNet reconstruction图像 MR = 0.25 MR = 0.10 MR = 0.04 PSNR SSIM PSNR SSIM PSNR SSIM Monarch 29.74 0.9189 24.40 0.8078 19.62 0.6400 Parrots 30.13 0.9054 25.15 0.8240 22.06 0.7311 Barbara 27.53 0.8553 23.28 0.6630 21.39 0.5524 Boats 31.63 0.8999 26.73 0.7753 22.86 0.6355 C-man 27.17 0.8433 23.33 0.7400 20.51 0.6378 Fingerprint 28.75 0.9280 23.18 0.7777 18.81 0.5212 Flinstones 27.77 0.8529 22.14 0.7114 17.46 0.4824 Foreman 35.85 0.9297 31.71 0.8740 26.97 0.7939 House 34.15 0.8891 29.55 0.8196 25.60 0.7443 Lena 30.95 0.9019 26.68 0.7965 23.16 0.6882 Peppers 30.67 0.8898 25.43 0.7811 21.28 0.6382 平均值 30.39 0.8922 25.59 0.7791 21.79 0.6423 4.2 扩张卷积对图像重构性能的影响
扩张卷积能够增大网络的感受野, 本文算法中所有的卷积层都使用扩张卷积.为了比较使用扩张卷积的网络与普通卷积网络的重构性能, 本文设计了一组对比实验, 训练两个网络, 即采用普通卷积的网络和采用扩张卷积的网络, 分别对BSD500数据集和图 5中的11幅图像进行测试.测试结果如表 4、5所示, 在图 5中测试集上, 当采样率为0.25、0.10、0.04和0.01时, 使用扩张卷积网络的重构图像平均PSNR分别高于普通卷积网络0.43 dB、0.37 dB、0.18 dB和0.04 dB.在BSD500测试集上, 使用扩张卷积网络的重构图像平均PSNR也都高于普通卷积网络.结果表明, 使用扩张卷积的网络重构性能优于普通卷积网络.
表 5 不同卷积方式在BSD500测试集中重构图像平均PSNR (dB)Table 5 Mean PSNR in dB for BSD500 testing set by different convolution算法 MR = 0.01 MR = 0.04 MR = 0.10 MR = 0.25 普通卷积 19.34 22.14 24.48 27.78 扩张卷积 19.35 22.25 24.73 27.93 4.3 时间复杂度
重构时间也是比较的重要标准之一.基于深度学习的重构算法比传统的迭代算法快100多倍[16], 所以只比较MSRNet和其他基于深度学习算法的重构时间.为了公平起见, 表 6只比较网络重构图像所消耗的时间.如表 6所示, 与DR$ ^2 $-Net相比, 本文算法重构时间较短.与ReconNet相比, 重构时间基本相同, 但本文算法重构性能较好.
表 6 重构一幅$ 256 \times 256 $图像的运行时间(s)Table 6 Time (in seconds) for reconstruction a single $ 256 \times 256 $ image算法 MR = 0.01 (CPU/GPU) MR = 0.04 (CPU/GPU) MR = 0.10 (CPU/GPU) MR = 0.25 (CPU/GPU) ReconNet 0.5363/0.0107 0.5369/0.0100 0.5366/0.0101 0.5361/0.0105 DR$ ^2 $-Net 1.2039/0.0317 1.2064/0.0317 1.2096/0.0314 1.2176/0.0326 MSRNet 0.4884/0.0121 0.5172/0.0124 0.5152/0.0117 0.5206/0.0126 4.4 大数据集下的评估
为了验证本文算法在大测试集上的泛化能力, 比较MSRNet、DR$ ^2 $-Net和ReconNet在BSD500 (该数据集包含500张图像)上的重构性能.MSRNet、DR$ ^2 $-Net和ReconNet的模型参数都是基于相同训练集训练得到的.如表 7所示(重构图像未经修正), 本文算法在BSD500测试集下也表现出较好的重构性能.在采样率为0.25、0.10、0.04和0.01时, MSRNet的重构图像平均PSNR和SSIM都高于DR$ ^2 $-Net.实验表明, 本文算法在大的测试集中也能表现出较好的重构性能.
表 7 不同算法在BSD500测试集的平均PSNR (dB)和平均SSIMTable 7 Mean PSNR in dB and SSIM values for BSD500 testing images by different algorithms模型 MR = 0.01 MR = 0.04 MR = 0.10 MR = 0.25 PSNR SSIM PSNR SSIM PSNR SSIM PSNR SSIM ReconNet 19.17 0.4247 21.40 0.5149 23.28 0.6121 25.48 0.7241 DR$ ^2 $-Net 19.34 0.4514 21.86 0.5501 24.26 0.6603 27.56 0.7961 MSRNet 19.35 0.4541 22.25 0.5696 24.73 0.6837 27.93 0.8121 4.5 网络的抗噪性能
对图像测量值添加四种不同水平的高斯噪声, 噪声强度0.01、0.05、0.10、0.25.使用的MSRNet模型是在无噪测量值下训练得到的.如表 8、9所示(重构图像未经修正), 在采样率MR = 0.25、0.10时四种不同噪声强度下, 本文算法重构图像的平均PSNR均高于ReconNet和DR$ ^2 $-Net, 尤其在MR = 0.25, 噪声强度$ \sigma $ = 0.25, 图 5中的测试集上重构图像的平均PSNR比ReconNet和DR$ ^2 $-Net分别高4.31 dB和4.14 dB.在测试集BSD500上, 本文算法在不同噪声的强度下, 对图像的重构性能也优于ReconNet和DR$ ^2 $-Net.因此, 本文算法相比ReconNet、DR$ ^2 $-Net对噪声具有更好的鲁棒性.
表 8 比较ReconNet、DR$ ^2 $-Net和MSRNet三种算法对高斯噪声的鲁棒性(图 5中11幅测试图像)Table 8 Comparison of robustness to Gaussian noise among of ReconNet, DR$ ^2 $-Net, MSRNet (11 testing images in Fig. 5)模型 MR = 0.25 MR = 0.10 $ \sigma $ = 0.01 $ \sigma $ = 0.05 $ \sigma $ = 0.10 $ \sigma $ = 0.25 $ \sigma $ = 0.01 $ \sigma $ = 0.05 $ \sigma $ = 0.10 $ \sigma $ = 0.25 ReconNet 25.44 23.81 20.81 14.15 22.63 21.64 19.54 14.17 DR$ ^2 $-Net 28.49 25.63 21.45 14.32 24.17 22.70 20.04 14.54 MSRNet 29.28 26.50 22.63 18.46 25.06 23.56 21.11 15.46 表 9 比较ReconNet、DR$ ^2 $-Net和MSRNet三种算法对高斯噪声的鲁棒性(BSD500数据集)Table 9 Comparison of robustness to Gaussian noise among of ReconNet, DR$ ^2 $-Net, MSRNet (BSD500 dataset)模型 MR = 0.25 MR = 0.10 $ \sigma $ = 0.01 $ \sigma $ = 0.05 $ \sigma $ = 0.10 $ \sigma $ = 0.25 $ \sigma $ = 0.01 $ \sigma $ = 0.05 $ \sigma $ = 0.10 $ \sigma $ = 0.25 ReconNet 25.38 22.03 20.72 14.03 23.22 22.06 19.85 14.51 DR$ ^2 $-Net 27.40 24.99 21.32 14.47 24.17 22.74 20.26 14.85 MSRNet 27.78 25.53 22.37 18.38 24.67 23.34 21.22 16.37 5. 结论
本文提出了一种基于深度学习的多尺度残差网络结构, 利用测量值通过网络重构图像.网络引入多尺度卷积层用来学习图像中的多尺度信息, 重构网络中使用扩张卷积增大网络中的感受野从而重构出高质量的图像.最后, 本文算法对网络重构图像进行了修正, 使得重构图像在测量矩阵上的投影更加接近测量值.在常用的11幅测试图像和BSD500测试集的实验结果进一步表明了本文的算法相比于其他几种算法在图像重构质量和重构时间拥有更好的表现, 并且对噪声具有鲁棒性.
-
图 1 多尺度残差重构网络(MSRNet), s-Dconv表示扩张卷积, $s$ = 1, 2, 4
Fig. 1 Mult-scale residuce recontruction network, s-Dconv denotes s-dilate convolution, here $s$ = 1, 2 and 4
图 4 重构图像块修正前后误差的比较(Barbara图像)
Fig. 4 The comparison of the error of the reconstructed image block before and after refined (Barbara)
图 7 比较几种算法的重构性能(第1行到第3行采样率MR = 0.25, 0.10, 0.04)
Fig. 7 Comparison of reconstruction performance of various algotithms (MR = 0.25, 0.10, 0.04)
图 8 修正前后的重构图像对比(MR = 0.25)
Fig. 8 The comparison of reconstructed images before and after refined (MR = 0.25)
表 1 6幅测试图像在不同算法不同采样率下的PSNR
Table 1 PSNR values in dB for six testing images by different algorithms at different measurement rates
图像 算法 MR = 0.25 MR = 0.10 MR = 0.04 MR = 0.01 w/o BM3D w/BM3D w/o BM3D w/BM3D w/o BM3D w/BM3D w/o BM3D w/BM3D Barbara TVAL3 24.19 24.20 21.88 22.21 18.98 18.98 11.94 11.96 NLR-CS 28.01 28.00 14.80 14.84 11.08 11.56 5.50 5.86 D-AMP 25.08 25.96 21.23 21.23 16.37 16.37 5.48 5.48 ReconNet 23.25 23.52 21.89 22.50 20.38 21.02 18.61 19.08 DR$ ^2 $-Net 25.77 25.99 22.69 22.82 20.70 21.30 18.65 19.10 MSRNet 26.69 26.91 23.04 23.06 21.01 21.28 18.60 18.90 Boats TVAL3 28.81 28.81 23.86 23.86 19.20 19.20 11.86 11.88 NLR-CS 29.11 29.27 14.82 14.86 10.76 11.21 5.38 5.72 D-AMP 29.26 29.26 21.95 21.95 16.01 16.01 5.34 5.34 ReconNet 27.30 27.35 24.15 24.10 21.36 21.62 18.49 18.83 DR$ ^2 $-Net 30.09 30.30 25.58 25.90 22.11 22.50 18.67 18.95 MSRNet 30.74 30.93 26.32 26.50 22.58 22.79 18.65 18.88 Flinstones TVAL3 24.05 24.07 18.88 18.92 14.88 14.91 9.75 9.77 NLR-CS 22.43 22.56 12.18 12.21 8.96 9.29 4.45 4.77 D-AMP 25.02 24.45 16.94 16.82 12.93 13.09 4.33 4.34 ReconNet 22.45 22.59 18.92 19.18 16.30 16.56 13.96 14.08 DR$ ^2 $-Net 26.19 26.77 21.09 21.46 16.93 17.05 14.01 14.18 MSRNet 26.67 26.89 21.72 21.81 17.28 17.40 13.83 14.10 Lena TVAL3 28.67 28.71 24.16 24.18 19.46 19.47 11.87 11.89 NLR-CS 29.39 29.67 15.30 15.33 11.61 11.99 5.95 6.27 D-AMP 28.00 27.41 22.51 22.47 16.52 16.86 5.73 5.96 ReconNet 26.54 26.53 23.83 24.47 21.28 21.82 17.87 18.05 DR$ ^2 $-Net 29.42 29.63 25.39 25.77 22.13 22.73 17.97 18.40 MSRNet 30.21 30.37 26.28 26.41 22.76 23.06 18.06 18.35 Monarch TVAL3 27.77 27.77 21.16 21.16 16.73 16.73 11.09 11.11 NLR-CS 25.91 26.06 14.59 14.67 11.62 11.97 6.38 6.71 D-AMP 26.39 26.55 19.00 19.00 14.57 14.57 6.20 6.20 ReconNet 24.31 25.06 21.10 21.51 18.19 18.32 15.39 15.49 DR$ ^2 $-Net 27.95 28.31 23.10 23.56 18.93 19.23 15.33 15.50 MSRNet 28.90 29.04 23.98 24.17 19.26 19.48 15.41 15.61 Peppers TVAL3 29.62 29.65 22.64 22.65 18.21 18.22 11.35 11.36 NLR-CS 28.89 29.25 14.93 14.99 11.39 11.80 5.77 6.10 D-AMP 29.84 28.58 21.39 21.37 16.13 16.46 5.79 5.85 ReconNet 24.77 25.16 22.15 22.67 19.56 20.00 16.82 16.96 DR$ ^2 $-Net 28.49 29.10 23.73 24.28 20.32 20.78 16.90 17.11 MSRNet 29.51 29.86 24.91 25.18 20.90 21.16 17.10 17.33 平均PSNR TVAL3 27.84 27.87 22.84 22.86 18.39 18.40 11.31 11.34 NLR-CS 28.05 28.19 14.19 14.22 10.58 10.98 5.30 5.62 D-AMP 28.17 27.67 21.14 21.09 15.49 15.67 5.19 5.23 ReconNet 25.54 25.92 22.68 23.23 19.99 20.44 17.27 17.55 DR$ ^2 $-Net 28.66 29.06 24.32 24.71 20.80 21.29 17.44 17.80 MSRNet 29.48 29.67 25.16 25.38 21.41 21.68 17.54 17.82 
下载: 导出CSV
表 2 不同算法下11幅测试图像平均SSIM
Table 2 Mean SSIM values for 11 testing images by different algorithms
算法 MR = 0.01 MR = 0.04 MR = 0.10 MR = 0.25 ReconNet 0.4083 0.5266 0.6416 0.7579 DR$ ^2 $-Net 0.4291 0.5804 0.7174 0.8431 MSRNet 0.4535 0.6167 0.7598 0.8698
下载: 导出CSV
表 3 MSRNet重构图像修正后11幅测试图像的PSNR (dB)和SSIM
Table 3 The PSNR (dB) and SSIM of 11 test images of refined MSRNet reconstruction
图像 MR = 0.25 MR = 0.10 MR = 0.04 PSNR SSIM PSNR SSIM PSNR SSIM Monarch 29.74 0.9189 24.40 0.8078 19.62 0.6400 Parrots 30.13 0.9054 25.15 0.8240 22.06 0.7311 Barbara 27.53 0.8553 23.28 0.6630 21.39 0.5524 Boats 31.63 0.8999 26.73 0.7753 22.86 0.6355 C-man 27.17 0.8433 23.33 0.7400 20.51 0.6378 Fingerprint 28.75 0.9280 23.18 0.7777 18.81 0.5212 Flinstones 27.77 0.8529 22.14 0.7114 17.46 0.4824 Foreman 35.85 0.9297 31.71 0.8740 26.97 0.7939 House 34.15 0.8891 29.55 0.8196 25.60 0.7443 Lena 30.95 0.9019 26.68 0.7965 23.16 0.6882 Peppers 30.67 0.8898 25.43 0.7811 21.28 0.6382 平均值 30.39 0.8922 25.59 0.7791 21.79 0.6423
下载: 导出CSV
表 4 不同卷积方式在图 5的测试集中重构图像的平均PSNR (dB)
Table 4 Mean PSNR in dB for testing set in Fig. 5 by different convolution
卷积形式 MR = 0.01 MR = 0.04 MR = 0.10 MR = 0.25 普通卷积 17.50 21.23 24.79 29.05 扩张卷积 17.54 21.41 25.16 29.48
下载: 导出CSV
表 5 不同卷积方式在BSD500测试集中重构图像平均PSNR (dB)
Table 5 Mean PSNR in dB for BSD500 testing set by different convolution
算法 MR = 0.01 MR = 0.04 MR = 0.10 MR = 0.25 普通卷积 19.34 22.14 24.48 27.78 扩张卷积 19.35 22.25 24.73 27.93
下载: 导出CSV
表 6 重构一幅$ 256 \times 256 $图像的运行时间(s)
Table 6 Time (in seconds) for reconstruction a single $ 256 \times 256 $ image
算法 MR = 0.01 (CPU/GPU) MR = 0.04 (CPU/GPU) MR = 0.10 (CPU/GPU) MR = 0.25 (CPU/GPU) ReconNet 0.5363/0.0107 0.5369/0.0100 0.5366/0.0101 0.5361/0.0105 DR$ ^2 $-Net 1.2039/0.0317 1.2064/0.0317 1.2096/0.0314 1.2176/0.0326 MSRNet 0.4884/0.0121 0.5172/0.0124 0.5152/0.0117 0.5206/0.0126
下载: 导出CSV
表 7 不同算法在BSD500测试集的平均PSNR (dB)和平均SSIM
Table 7 Mean PSNR in dB and SSIM values for BSD500 testing images by different algorithms
模型 MR = 0.01 MR = 0.04 MR = 0.10 MR = 0.25 PSNR SSIM PSNR SSIM PSNR SSIM PSNR SSIM ReconNet 19.17 0.4247 21.40 0.5149 23.28 0.6121 25.48 0.7241 DR$ ^2 $-Net 19.34 0.4514 21.86 0.5501 24.26 0.6603 27.56 0.7961 MSRNet 19.35 0.4541 22.25 0.5696 24.73 0.6837 27.93 0.8121
下载: 导出CSV
表 8 比较ReconNet、DR$ ^2 $-Net和MSRNet三种算法对高斯噪声的鲁棒性(图 5中11幅测试图像)
Table 8 Comparison of robustness to Gaussian noise among of ReconNet, DR$ ^2 $-Net, MSRNet (11 testing images in Fig. 5)
模型 MR = 0.25 MR = 0.10 $ \sigma $ = 0.01 $ \sigma $ = 0.05 $ \sigma $ = 0.10 $ \sigma $ = 0.25 $ \sigma $ = 0.01 $ \sigma $ = 0.05 $ \sigma $ = 0.10 $ \sigma $ = 0.25 ReconNet 25.44 23.81 20.81 14.15 22.63 21.64 19.54 14.17 DR$ ^2 $-Net 28.49 25.63 21.45 14.32 24.17 22.70 20.04 14.54 MSRNet 29.28 26.50 22.63 18.46 25.06 23.56 21.11 15.46
下载: 导出CSV
表 9 比较ReconNet、DR$ ^2 $-Net和MSRNet三种算法对高斯噪声的鲁棒性(BSD500数据集)
Table 9 Comparison of robustness to Gaussian noise among of ReconNet, DR$ ^2 $-Net, MSRNet (BSD500 dataset)
模型 MR = 0.25 MR = 0.10 $ \sigma $ = 0.01 $ \sigma $ = 0.05 $ \sigma $ = 0.10 $ \sigma $ = 0.25 $ \sigma $ = 0.01 $ \sigma $ = 0.05 $ \sigma $ = 0.10 $ \sigma $ = 0.25 ReconNet 25.38 22.03 20.72 14.03 23.22 22.06 19.85 14.51 DR$ ^2 $-Net 27.40 24.99 21.32 14.47 24.17 22.74 20.26 14.85 MSRNet 27.78 25.53 22.37 18.38 24.67 23.34 21.22 16.37
下载: 导出CSV
-
[1] Donoho D L. Compressed sensing. IEEE Transactions on Information Theory, 2006, 52(4):1289-1306 doi: 10.1109/TIT.2006.871582 [2] Candes E J, Justin R J, Tao T. Robust uncertainty principles:exact signal reconstruction from highly incomplete frequency information. IEEE Transactions on Information Theory, 2006, 52(2):489-509 doi: 10.1109/TIT.2005.862083 [3] Candes E J, Wakin M B. An introduction to compressive sampling. IEEE Signal Processing Magazine, 2008, 25(2):21-30 http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=f038caf0ee508db10a5b5fd193679bc2 [4] 任越美, 张艳宁, 李映.压缩感知及其图像处理应用研究进展与展望.自动化学报, 2014, 40(8):1563-1575 http://www.aas.net.cn/CN/abstract/abstract18426.shtmlRen Yue-Mei, Zhang Yan-Ning, Li Ying. Advances and perspective on compressed sensing and application on image processing. Acta Automatica Sinica, 2014, 40(8):1563-1575 http://www.aas.net.cn/CN/abstract/abstract18426.shtml [5] Tropp J A, Gilbert A C. Signal recovery from random measurements via orthogonal matching pursuit. IEEE Transactions on Information Theory, 2007, 53(12):4655-4666 doi: 10.1109/TIT.2007.909108 [6] Blumensath T, Davies M E. Iterative hard thresholding for compressed sensing. Applied and Computational Harmonic Analysis, 2009, 27(3):265-274 http://d.old.wanfangdata.com.cn/OAPaper/oai_arXiv.org_0805.0510 [7] Xiao Y H, Yang J F, Yuan X M. Alternating algorithms for total variation image reconstruction from random projections. Inverse Problems and Imaging, 2012, 6(3):547-563 doi: 10.3934/ipi.2012.6.547 [8] Dong W S, Shi G M, Li X, Zhang L, Wu X L. Image reconstruction with locally adaptive sparsity and nonlocal robust regularization. Signal Processing:Image Communication, 2012, 27(10):1109-1122 doi: 10.1016/j.image.2012.09.003 [9] Eldar Y C, Kuppinger P, Bolcskei H. Block-sparse signals:uncertainty relations and efficient recovery. IEEE Transactions on Signal Processing, 2010, 58(6):3042-3054 doi: 10.1109/TSP.2010.2044837 [10] 练秋生, 陈书贞.基于混合基稀疏图像表示的压缩传感图像重构.自动化学报, 2010, 36(3):385-391 http://www.aas.net.cn/CN/abstract/abstract13678.shtmlLian Qiu-Sheng, Chen Shu-Zhen. Image reconstruction for compressed sensing based on the combined sparse image representation. Acta Automatica Sinica, 2010, 36(3):385-391 http://www.aas.net.cn/CN/abstract/abstract13678.shtml [11] 沈燕飞, 李锦涛, 朱珍民, 张勇东, 代锋.基于非局部相似模型的压缩感知图像恢复算法.自动化学报, 2015, 41(2):261-272 http://www.aas.net.cn/CN/abstract/abstract18605.shtmlShen Yan-Fei, Li Jin-Tao, Zhu Zhen-Min, Zhang Yong-Dong, Dai Feng. Image reconstruction algorithm of compressed sensing based on nonlocal similarity model. Acta Automatica Sinica, 2015, 41(2):261-272 http://www.aas.net.cn/CN/abstract/abstract18605.shtml [12] Dong C, Loy C C, He K M, Tang X O. Image super-resolution using deep convolutional networks. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2016, 38(2):295-307 http://d.old.wanfangdata.com.cn/Periodical/jsjfzsjytxxxb201709007 [13] Long J, Shelhamer E, Darrell T. Fully convolutional networks for semantic segmentation. In:Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition. Boston, MA, USA:IEEE, 2015. 3431-3440 [14] Zhang K, Zuo W M, Chen Y J, Meng D Y, Zhang L. Beyond a gaussian denoiser:residual learning of deep CNN for image denoising. IEEE Transactions on Image Processing, 2017, 26(7):3142-3155 doi: 10.1109/TIP.2017.2662206 [15] Mousavi A, Patel A B, Baraniuk R G. A deep learning approach to structured signal recovery. In:Proceedings of the 53rd Annual Allerton Conference on Communication, Control, and Computing. Monticello, IL, USA:IEEE, 2015. 1336-1343 [16] Kulkarni K, Lohit S, Turaga P, Kerviche R, Ashok A. ReconNet:non-iterative reconstruction of images from compressively sensed measurements. In:Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas, NV, USA:IEEE, 2016. 449-458 https://ieeexplore.ieee.org/document/7780424/ [17] He K M, Zhang X Y, Ren S Q, Sun J. Deep residual learning for image recognition. In:Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas, NV, USA:IEEE, 2016. 770-778 http://www.oalib.com/paper/4016438 [18] Yao H T, Dai F, Zhang D M, Ma Y K, Zhang S L, Zhang Y D, et al. DR2-Net:deep residual reconstruction network for image compressive sensing[Online], available:https://arxiv.org/pdf/1702.05743.pdf, July 6, 2017. [19] Yu F, Koltun V. Multi-scale context aggregation by dilated convolutions[Online], available:https://arxiv.org/abs/1511.07122, April 30, 2016. [20] Gan L. Block compressed sensing of natural images. In:Proceedings of the 15th International Conference on Digital Signal Processing. Cardiff, UK:IEEE, 2007. 403-406 [21] Kingma D P, Ba J L. Adam:a method for stochastic optimization. In:Proceedings of the 3rd International Conference for Learning Representations. San Diego, USA:Computer Science, 2014. [22] Krizhevsky A, Sutskever I, Hinton G E. ImageNet classification with deep convolutional neural networks. Communications of the ACM, 2017, 60(6):84-90 doi: 10.1145/3065386 [23] Dabov K, Foi A, Katkovnik V, Egiazarian K. Image denoising by sparse 3-D transform-domain collaborative filtering. IEEE Transactions on Image Processing, 2007, 16(8):2080-2095 doi: 10.1109/TIP.2007.901238 [24] Wu J S, Jiang L Y, Han X, Senhadji L, Shu H Z. Performance evaluation of wavelet scattering network in image texture classification in various color spaces. Journal of Southeast University, 2015, 31(1):46-50 http://cn.bing.com/academic/profile?id=c73d072061e32a8b8d31062f4abad153&encoded=0&v=paper_preview&mkt=zh-cn [25] Abadi M, Agarwal A, Barham P, Brevdo E, Chen Z F, Citro C, et al. TensorFlow:large-scale machine learning on heterogeneous distributed systems[Online], available:http://tensorflow.org, September 19, 2017. [26] Glorot X, Bengio Y. Understanding the difficulty of training deep feedforward neural networks. In:Proceedings of the 13th International Conference on Artificial Intelligence and Statistics. Sardinia, Italy:JMLR, 2010. 249-256 [27] Li C B, Yin W T, Jiang H, Zhang Y. An efficient augmented lagrangian method with applications to total variation minimization. Computational Optimization & Applications, 2013, 56(3):507-530 http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=252968b97ae188abfb677b3e976d5e15 [28] Dong W S, Shi G M, Li X, Ma Y, Huang F. Compressive sensing via nonlocal low-rank regularization. IEEE Transactions on Image Processing, 2014, 23(8):3618-3632 doi: 10.1109/TIP.2014.2329449 [29] Metzler C A, Maleki A, Baraniuk R G. From denoising to compressed sensing. IEEE Transactions on Information Theory, 2016, 62(9):5117-5144 doi: 10.1109/TIT.2016.2556683 期刊类型引用(23)
1. 何卓豪，宋甫元，陆越. 基于多尺度特征融合的图像压缩感知重构. 软件导刊. 2024(01): 156-160 . 
百度学术2. 郭媛，姜津霖. 基于深度学习与压缩感知理论的通用图像重构算法. 黑龙江大学工程学报(中英俄文). 2024(02): 34-41+2 . 百度学术3. 刘玉红，姜启，谈丽娟，杨恒. 基于滤波器剪枝的多尺度压缩感知图像重构. 湖南大学学报(自然科学版). 2024(08): 34-46 . 百度学术4. 林文瑞，丛爽. 基于深度学习LDAMP网络的量子状态估计. 自动化学报. 2023(01): 79-90 . 本站查看5. 李纬，吴聪. 基于多级残差多尺度的医学图像分割网络. 湖北工业大学学报. 2023(01): 38-42 . 百度学术6. 王振彪，覃亚丽，王荣芳，郑欢浙. 基于残差特征聚合的图像压缩感知注意力神经网络. 计算机科学. 2023(04): 117-124 . 百度学术7. 李奕洁，杨馨雨，杨晓梅. 融合注意力机制的多尺度残差Unet的磁共振图像重建. 波谱学杂志. 2023(03): 307-319 . 百度学术8. 曾春艳，严康，王志锋，王正辉. 多尺度生成对抗网络下图像压缩感知重建算法. 吉林大学学报(工学版). 2023(10): 2923-2931 . 百度学术9. 林乐平，周宏敏，欧阳宁. 融合空间位置与结构信息的压缩感知图像重建方法. 计算机应用. 2022(03): 930-937 . 百度学术10. 郭媛，姜津霖，陈炜，王学文，王充. 深度学习压缩重构的通用图像快速加密算法. 计算机辅助设计与图形学学报. 2022(06): 913-922 . 百度学术11. 白桦，孔王莺，邱益林，严泽鑫，李江涛，徐凯宏. 基于压缩感知的嵌入式弧光传感系统研究. 电力大数据. 2022(02): 1-8 . 百度学术12. 郑雯，张标标，吴俊宏，马仕强，任佳. 适于多尺度宫颈癌细胞检测的改进算法. 光电子·激光. 2022(09): 948-958 . 百度学术13. 薛盼盼，刘云，李辉，陶冶，田嘉意. 基于时域扩张残差网络和双分支结构的人体行为识别. 控制与决策. 2022(11): 2993-3002 . 百度学术14. 刘玉红，陈满银，刘晓燕. 基于通道注意力的多尺度全卷积压缩感知重构. 计算机工程. 2022(12): 189-195 . 百度学术15. 禤韵怡，杨春玲. 基于帧间组稀疏的两阶段递归增强视频压缩感知重构网络. 电子学报. 2021(03): 435-442 . 百度学术16. 裴翰奇，杨春玲，魏志超，曹燕. 基于SPL迭代思想的图像压缩感知重构神经网络. 电子学报. 2021(06): 1195-1203 . 百度学术17. 夏德虎. 一种基于多通道联合采样的彩图重建方法. 电子技术与软件工程. 2021(19): 125-128 . 百度学术18. 郭媛，姜津霖，陈炜. 基于自适应非线性网络的压缩感知重构算法. 太赫兹科学与电子信息学报. 2021(06): 1081-1085 . 百度学术19. 陈蕾，邵楷，林腾涛，陈兴国. 一种噪声容错弱监督矩阵补全的生存分析方法. 自动化学报. 2021(12): 2801-2814 . 本站查看20. 马云飞，白华军，温亮，郭驰名，贾希胜. 基于Laplace先验和稀疏块相关性的旋转机械振动信号贝叶斯压缩重构. 兵工学报. 2021(12): 2762-2770 . 百度学术21. 杨春玲，裴翰奇. 基于残差学习的多阶段图像压缩感知神经网络. 华南理工大学学报(自然科学版). 2020(05): 82-91 . 百度学术22. 郭媛，陈炜，敬世伟. An image compressed sensing algorithm based on adaptive nonlinear network. Chinese Physics B. 2020(05): 290-300 . 百度学术23. 陈炜，郭媛，敬世伟. 基于深度学习压缩感知与复合混沌系统的通用图像加密算法. 物理学报. 2020(24): 99-111 . 百度学术其他类型引用(21)
-
下载:
计量
- 文章访问数: 2979
- HTML全文浏览量: 923
- PDF下载量: 249
- 被引次数: 44
