2.845

2023影响因子

(CJCR)

  • 中文核心
  • EI
  • 中国科技核心
  • Scopus
  • CSCD
  • 英国科学文摘

留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

采用多通道浅层CNN构建的多降噪器最优组合模型

徐少平,  林珍玉,  陈孝国,  李芬,  杨晓辉

文章导航 > 自动化学报  > 2022 >  48(11): 2797-2811
徐少平, 林珍玉, 陈孝国, 李芬, 杨晓辉. 采用多通道浅层CNN构建的多降噪器最优组合模型. 自动化学报, 2022, 48(11): 2797−2811 doi: 10.16383/j.aas.c190736
引用本文: 徐少平, 林珍玉, 陈孝国, 李芬, 杨晓辉. 采用多通道浅层CNN构建的多降噪器最优组合模型. 自动化学报, 2022, 48(11): 2797−2811 doi: 10.16383/j.aas.c190736
shu
Xu Shao-Ping, Lin Zhen-Yu, Chen Xiao-Guo, Li Fen, Yang Xiao-Hui. Optimal combination of image denoisers using multi-channel shallow convolutional neural network. Acta Automatica Sinica, 2022, 48(11): 2797−2811 doi: 10.16383/j.aas.c190736
Citation: Xu Shao-Ping, Lin Zhen-Yu, Chen Xiao-Guo, Li Fen, Yang Xiao-Hui. Optimal combination of image denoisers using multi-channel shallow convolutional neural network. Acta Automatica Sinica, 2022, 48(11): 2797−2811 doi: 10.16383/j.aas.c190736
shu

采用多通道浅层CNN构建的多降噪器最优组合模型

doi: 10.16383/j.aas.c190736
  • 1.

    南昌大学数学与计算机学院 南昌 330031

  • 2.

    南昌大学信息工程学院 南昌 330031

基金项目: 国家自然科学基金(62162043, 62162042, 61662044), 江西省自然科学基金(20171BAB202017)资助
详细信息
    作者简介:

    徐少平：南昌大学数学与计算机学院计算机系教授. 主要研究方向为数字图像处理与分析, 计算机图形学, 虚拟现实和手术仿真. 本文通信作者. E-mail: xushaoping@ncu.edu.cn

    林珍玉：南昌大学数学与计算机学院硕士研究生. 主要研究方向为图像处理, 机器学习.E-mail: 401030918076@email.ncu.edu.cn

    陈孝国：南昌大学数学与计算机学院硕士研究生. 主要研究方向为图像处理, 机器学习. E-mail: 411014519013@email.ncu.edu.cn

    李芬：南昌大学数学与计算机学院硕士研究生. 主要研究方向为图像处理, 机器学习. E-mail: 411014519034@email.ncu.edu.cn

    杨晓辉：南昌大学信息工程学院能源与电气工程系教授. 主要研究方向为故障诊断, 图像处理. E-mail: yangxiaohui@ncu.edu.cn

Optimal Combination of Image Denoisers Using Multi-channel Shallow Convolutional Neural Network

  • 1.

    School of Mathematics and Computer Sciences, Nanchang University, Nanchang 330031

  • 2.

    School of Information Engineering, Nanchang University, Nanchang 330031

Funds: Supported by National Natural Science Foundation of China (62162043, 62162042, 61662044) and the Natural Science Foundation of Jiangxi Province (20171BAB202017)
More Information
    Author Bio:

    XU Shao-Ping　Professor in Computer Science and Technology Department, School of Mathematics and Computer Sciences, Nanchang University. His research interest covers digital image processing and analysis, computer graphics, virtual reality, and surgery simulation. Corresponding author of this paper

    LIN Zhen-Yu　Master student at the School of Mathematics and Computer Sciences, Nanchang University. Her research interest covers image processing and machine learning

    CHEN Xiao-Guo　Master student at the School of Mathematics and Computer Sciences, Nanchang University. His research interest covers image processing and machine learning

    LI Fen　Master student at the School of Mathematics and Computer Sciences, Nanchang University. Her research interest covers image processing and machine learning

    YANG Xiao-Hui　Professor in Department of Energy and Electrical Engineering, School of Information Engineering, Nanchang University. His research interest covers fault diagnosis and image processing

HTML全文

    摘要
  • 摘要: 现有的一致性神经网络(Consensus neural network, CsNet)利用凸优化和神经网络技术将多个降噪算法(降噪器)输出的图像进行加权组合(融合), 以获得更好的降噪效果, 但该优化模型在降噪效果和执行效率方面仍有较大改进空间. 为此, 提出一种基于轻量型多通道浅层卷积神经网络(Multi-channel shallow convolutional neural network, MSCNN)构建的多降噪器最优组合(Optimal combination of image denoisers, OCID)模型. 该模型采用多通道输入结构直接接收由多个降噪器输出的降噪图像, 并利用残差学习技术合并完成图像融合和图像质量提升两项任务. 具体使用时, 对于给定的一张噪声图像, 先用多个降噪器对其降噪, 并将降噪后图像输入OCID模型获得残差图像, 然后将多个降噪图像的均值图像与残差图像相减, 所得到图像作为优化组合后的降噪图像. 实验结果表明, 与CsNet组合模型相比, 网络结构更为简单的OCID模型以更小的计算代价获得了图像质量更高的降噪图像.
    Abstract: The existing consensus neural network (CsNet) model using the convex optimization and the neural network techniques achieves an optimal combination of the outputs of multiple denoisers for better denoising effect. However, the optimization model still has much room for improvement in noise denoising effect and execution efficiency. To this end, a lightweight multi-channel shallow convolutional neural network (MSCNN)-based model for optimal combination of image denoisers (OCID) was proposed. The OCID model used a multi-channel input structure to receive the outputs of multiple denoisers, and adopted the residual training learning technique to accomplish the task of image combination and quality improvement. For a given noisy image, multiple denoisers were first used to preprocess the given noisy image, and the denoised images were simultaneously fed into the OCID model to obtain a residual image. Then the mean image of the denoised images was subtracted from the residual image to obtain the final optimal denoised image. The experimental results show that, compared with the CsNet model, the images obtained by the OCID model with simpler network structure achieve the better image quality at lower computational cost.
    • HTML全文

  • 图像在获取、存储和传输过程中, 外界干扰或设备固有缺陷会使图像受到不同程度的噪声干扰[1-3].这些噪声(常被假设为高斯白噪声)会导致图像中纹理边缘细节被破坏, 使得图像质量下降[4-5]. 早期, 研究者通常采用高/低通滤波器处理噪声图像, 利用相邻像素点亮度值的线性、非线性组合, 实现对中心像素点的最佳估计, 以达到去除噪声的目的. 这种方法实现简单、执行效率高, 然而由于在降噪过程中未充分考虑图像局部结构特点, 会导致降噪后的图像边缘细节被模糊甚至丢失. 2005年, Buades等[6]提出了具有里程碑意义的非局部均值(Non local means, NLM)降噪算法. NLM降噪算法基于自然图像中具有大量重复的局部结构性质, 即所谓的非局部自相似性(Nonlocal self-similarity, NSS), 获得了比滤波类降噪算法更好的降噪效果. 但是由于需要在图像内大量搜索与待复原图块相似的图块以提高降噪效果, 因此导致NLM降噪算法的执行时间较长. 2007年, Dabov等[7]提出一种BM3D (Block matching and 3D-filtering)降噪算法. 该算法充分利用图像的NSS和稀疏特性, 采用图块堆叠和协同滤波技术实现了降噪效果和执行效率之间的较好平衡. 因其良好的综合性能, BM3D 降噪算法常被研究者们列为基准对比算法. 近十年来, 研究者们为进一步提高降噪效果, 多利用关于自然的某种先验知识构建目标函数, 通过求解目标函数的最优解来达到降噪目的. 依据所使用的自然图像先验知识的不同, 基于稀疏表示[8-10]和基于低秩最小化[11-14]的图像降噪算法被相继提出, 比较经典的工作有2013年提出的NCSR (Non-local centralized sparse representation)[8], 2014年提出的WNNM (Weighted nuclear norm minimization)[11] 等. 虽然这些降噪算法的降噪效果优于BM3D降噪算法, 但最优目标函数值的求解通常以复杂的迭代优化过程实现, 使得算法的时间复杂度非常高.

    近年来, 深度学习技术因其强大的特征学习和非线性映射能力在图像降噪领域取得巨大成功[15-23], 其中尤以基于深度卷积神经网络(Deep convolutional neural network, DCNN)构建的降噪模型发展迅速[22-25]. 较典型的工作有: 2017年提出的DnCNN(Denoising convolutional neural network)[22], 2018年提出的FFDNet (Fast and flexible denoising convolutional neural network)[23]等. 在大量噪声图像–无失真图像训练数据集上, 基于DCNN构建的降噪模型以网络输出图像与原始无失真图像之间的Loss函数最小值为目标驱动, 学习并调整DCNN模型中的网络参数完成图像降噪任务. 基于DCNN 的降噪模型依赖网络结构隐式地学习图像中先验知识, 展现出强大的图像先验知识建模能力(非线性映射能力), 能够避免基于稀疏和低秩模型等优化降噪模型中构建目标函数困难的问题, 进一步提高了复原图像的质量. 此外, 受高性能图形处理单元(Graphic processing unit, GPU)并行计算技术的支持, 基于DCNN进行图像降噪能够获得极高的执行效率. 然而, 这类本质上基于数据驱动的降噪模型, 其降噪性能也同时受所采用技术路线内在固有特性的制约, 即必须保证待降噪图像与用于训练模型的图像集合在受噪声干扰程度上是近似的, 才能获得最佳的降噪效果, 存在数据依赖缺陷[4].

    图像降噪作为图像处理领域的基础性问题, 追求更好的图像复原效果(更高的图像质量)一直是推动研究者研究新型降噪算法的动力. 迄今为止, 虽然已提出了很多不同类型的图像降噪算法, 并且在降噪效果上不断改进, 但提升幅度越来越小. 而且, 目前很难找到某个单一降噪算法能够对各种不同图像内容、不同程度的噪声图像都能获得较好的降噪效果[2]. 例如, BM3D、NCSR、WNNM等算法对于含有丰富纹理细节的自然图像可以获得比较好的降噪效果, 但对于无太多重复性局部结构内容的自然图像则表现不佳; 而DnCNN、FFDNet等基于深度学习的降噪模型则能在无太多重复性局部结构图像上获得较好的降噪效果, 但也要求待降噪图像与训练降噪模型所用图像集合中的图像存在类似结构. Chatterjee等[26]对主流降噪算法的降噪效果所能达到的极限展开了研究, 其研究结果表明目前各个降噪算法的降噪性能虽然在不断改进, 但是离理论上的极限值尚有一定距离. 换言之, 各个降噪算法的降噪效果仍有较大改进空间. 然而, 目前仅依靠单个降噪算法对降噪效果的提升越来越困难.

    最近, Choi等[2]提出一种被称为一致性神经网络(Consensus neural network, CsNet)的最优组合模型, 该模型采用将多个降噪算法(降噪器)输出的降噪后图像进行优化组合(融合)的方式, 实现了降噪效果较大幅度的提升. 具体而言, CsNet模型首先利用MSE (Mean square error)估计器来估计各个降噪器输出图像关于无失真图像的MSE估计值, 通过求解凸优化问题确定各个降噪器输出图像在组合图像中所占的最优权重值; 然后采用加权组合的方式, 将各个降噪器输出图像加权融合为一张初步优化图像; 在此基础上, CsNet模型再通过图像质量提升(Booster)模块对初步优化图像的图像质量进行多次级联提升. 虽然CsNet模型实现了图像降噪效果的提升, 但是初步融合阶段对多个降噪器输出图像所设置的权重值是针对整张图像(所有像素点的权重值完全相同), 加权处理的粒度非常粗糙(未考虑图像局部细节各种复杂的变化结构模式), 导致其初步优化图像的图像质量并不高. 因此CsNet组合优化模型需要多次使用Booster模块对图像质量进行级联提升, 才能达到令人满意的降噪效果. 这使得CsNet组合优化模型设计、训练的复杂度非常高, 导致执行时间比较长.

    受CsNet模型启发, 本文提出一种新的基于多通道浅层CNN (Multi-channel shallow convolutional neural network, MSCNN)构建的多降噪器最优组合(Optimal combination of image denoisers, OCID)模型. 与CsNet 组合优化模型的实现策略不同, OCID 模型没有显式的权重值设置过程, 也无需后期的图像质量提升过程, 而是将CsNet模型中的优化组合和图像质量提升两个模块有机集成到MSCNN模型中, 利用多通道网络结构直接接收由多个降噪器获得的输出图像. 采用残差学习技术提升图像质量, 经过模型处理后直接获得残差图像, 将多个降噪器输出图像的均值图像减去残差图像即可得到优化组合后的图像.

    1.   相关工作

    1.1   CsNet模型

    图1给出了CsNet多降噪器最优组合模型的架构图. 对于给定的噪声图像$y$, 假定有$k$个降噪算法(降噪器)${D_1},\;{D_2}, \cdots ,\;{D_k}$可用, 利用这些降噪器对噪声图像y进行降噪可获得降噪后图像${\{} {{\textit{z}}_1},\; {{\textit{z}}_2}, \cdots ,\;{{\textit{z}}_k}{\}}$. 利用MSE估计器$M$来估计各个降噪算法输出图像关于无失真图像的最小均方误差(MSE), 然后通过求解凸优化问题来确定各个降噪器输出图像的最优权重${w_1},\;{w_2}, \cdots ,\;{w_k}.$ 这样可以获得初步优化图像${\overset{\frown} {{Z}}}$

    图 1  文献[2]中提出的CsNet模型架构图
    Fig. 1  The architecture of CsNet model proposed in reference [2]
    下载: 全尺寸图片 幻灯片
    $${\overset{\frown} Z} = \sum\limits_{k = 1}^K {{w_k}{ {\textit{z}}_k} = {\overset{\frown} {\textit{z}}} w} $$ (1)

    其中, $w\mathop = \limits^{def} {[{w_1},\;{w_2}, \cdots ,w_k,\cdots,\;{w_K}]^{\rm{T}}} \in {{\bf{R}}^K}$表示权重向量.

    为进一步提高初步优化图像${\overset{\frown} Z} $的图像质量, Choi等[2]还使用了由深度神经网络构成的Booster模块, 改善初步优化图像${\overset{\frown} Z} $的对比度并恢复丢失的细节. 具体过程如下: 基于给定预测的估计值${{\overset{\frown} Z} ^{(t)}}$(当t = 0时, ${{\overset{\frown} Z} ^{(0)}}$为初步优化图像${\overset{\frown} Z} $)和噪声图像$y,$ 构造一个映射函数${B}$: ${{\bf{R}}^N} \to {{\bf{R}}^N},$ 下一迭代次数优化值${{\overset{\frown} Z} ^{(t + 1)}}$被定义为

    $${{\overset{\frown} Z} ^{(t + 1)}} = {B}\;(y - {{\overset{\frown} Z} ^{(t)}}) + {{\overset{\frown} Z} ^{(t)}}$$ (2)

    其中, 若将${B}$理解为降噪器, 则${B}\;(y - {{\overset{\frown} Z} ^{(t)}})$为滤波之后的残差值. Choi等采用多层神经网络来实现映射函数${B}$的功能, 用${B_t}$表示, 则式(2)可改写为

    $${{\overset{\frown} Z} ^{(t + 1)}} = {B_t}\;(y,\;{{\overset{\frown} Z} ^{(t)}}) + {{\overset{\frown} Z} ^{(t)}}$$ (3)

    其中, ${B_t}$是一个实现非线性映射的多层CNN. CsNet模型中的${B_t}$由5个卷积层和5个反卷积层组成, 其卷积核大小均为$3 \times 3$. 网络的输入是由$(y,\;{{\overset{\frown} Z} ^{(t)}})$组成的图像对, 用卷积层对输入的噪声图像$y$进行平滑处理并结合反卷积层来恢复细节部分. 另外, 在${{\overset{\frown} Z} ^{(t)}}$和${{\overset{\frown} Z} ^{(t + 1)}}$之间添加的跳跃连接可以确保信息在通过网络层时不损失. 为获得更好的降噪质量提升效果, CsNet模型使用5个级联网络${B_t}$($t = 1,\;2, \cdots ,\;{T}$), 即${T} = 5$.

    1.2   存在问题

    CsNet模型在降噪过程中, 首先利用MSE估计器对各个降噪器降噪后的图像关于原始无失真图像的MSE值进行估计, 在得到各降噪器的MSE值之后, 通过Solver求解一个凸优化问题来确定各个降噪后图像$\{ { {\textit{z}}_1},\;{ {\textit{z}}_2}, \cdots ,\;{ {\textit{z}}_k}\}$的最优权重${w_1},\; {w_2}, \cdots ,$${w_k}.$ 但是这些权重值是针对整个噪声图像进行设置的(每个像素点的加权系数值均相同, 加权粒度是像素级), 没有考虑图像中不同局部区域内的图像结构对最终融合结果的影响, 导致其降噪效果一般. 所以, CsNet模型需要使用Booster模块对初步优化图像${\overset{\frown} Z} $进行再次优化增强, 而且需要多次执行增强过程才能获得较优的降噪效果. 总体而言, 尽管CsNet模型充分利用了多个降噪器${D_1},\;{D_2}, \cdots ,\;{D_k}$互补性的信息, 所获得的输出图像能得到一定的质量提升, 但是实现过程比较复杂, 导致其算法执行时间长, 图像质量提升幅度也受到一定的限制.

    2.   OCID模型

    2.1   基本思想

    近年来, CNN由于具有强大的非线性映射能力, 被研究者们广泛应用于图像处理领域并取得了巨大的成功. 受CsNet模型通过组合优化多个降噪器输出(降噪后)图像从而提升降噪效果的思想启发, 为获得更好的图像降噪效果, 本文提出一种基于MSCNN的OCID 模型. 所提出的OCID模型试图采用多通道CNN技术同时接收由若干个降噪器${D_1},\;{D_2}, \cdots ,\;{D_k}$对给定噪声图像$y$进行降噪后的图像$\{ { {\textit{z}}_1},\;{ {\textit{z}}_2}, \cdots ,\;{ {\textit{z}}_k}\} ,$ 充分利用CNN所具有的局部连接和共享权重特性, 更为合理地设置融合权重. 改在图块粒度上完成初步降噪图像$\{ { {\textit{z}}_1},{ {\textit{z}}_2}, \cdots ,{ {\textit{z}}_k}\}$的优化融合, 以获得更好的图像降噪效果. 同时, 采用浅层的网络结构, 试图显著提高组合优化模型的执行效率.

    2.2   多通道融合网络模型

    本文提出的OCID 模型如图2所示. OCID 模型的网络核心结构与主流的DCNN类似[22], 主要区别有:

    图 2  多通道神经网络OCID模型架构
    Fig. 2  The architecture of OCID model with multi-channel neural network
    下载: 全尺寸图片 幻灯片

    1)采用浅层结构. 它的深度仅有$d = 3$层. 第1层(Conv + ReLU)使用64个大小为$3\; \times \;3\; \times\; n$的滤波器对输入图像执行局部加权组合, 然后通过ReLU[27]激活函数输出64个特征映射图; 第2层(Conv + BN + ReLU)使用64个大小为 $3\; \times\; 3 \;\times\; 1$的滤波器, 在第1层的基础上增加了BN[28]操作, 以缓解SGD (Stochastic gradient descent)训练算法产生的内部协变量转移现象; 第3层(Conv)只用了一个卷积层重构残差图像. 与主流的DCNN相比, 本文的Conv + BN + ReLU结构仅重复一次. 表1、表2列出了使用不同重复次数的Conv + BN + ReLU网络层的实验数据, 实验数据表明使用多层结构并不能使降噪效果得到显著提升, 反而会增加执行时间, 故本文仅重复一次.

    表 1  不同网络层数下的MSCNN模型在10张常用图像上的PSNR均值(dB)
    Table 1  PSNR performance of different MSCNN models on 10 commonly used images (dB)
    噪声水平值Conv + BN + ReLU 网络层重复的次数
    13579111315
    $\sigma = 20$32.5232.4832.3032.3432.2432.3632.4232.22
    $\sigma = 40$29.1829.1528.9129.0028.9729.1528.9829.09
    $\sigma = 60$27.4427.4827.4227.5627.2527.5827.4627.42
    下载: 导出CSV 
    | 显示表格
    表 2  不同网络层数下的MSCNN模型在10张常用图像上的平均执行时间(s)
    Table 2  Execution time performance of different MSCNN models on 10 commonly used images (s)
    噪声水平值Conv + BN + ReLU 网络层重复的次数
    13579111315
    $\sigma = 20$0.430.931.441.952.432.913.443.97
    $\sigma = 40$0.420.931.451.942.452.803.483.99
    $\sigma = 60$0.420.921.441.942.462.793.523.94
    下载: 导出CSV 
    | 显示表格

    2)多通道的输入结构. 由于OCID模型的主要任务是将多个降噪算法的输出图像融合为一张图像质量更高的图像, 故与一般的DCNN模型不同, 采用了多通道的输入结构. 这样, 就可以利用多个降噪器${D_1},\;{D_2}, \cdots ,\;{D_k}$分别对给定噪声图像$y$进行降噪, 得到多张初步降噪图像$\{ { {\textit{z}}_1},\;{ {\textit{z}}_2}, \cdots ,\;{ {\textit{z}}_k}\},$ 然后将图像集$\{ { {\textit{z}}_1},\;{ {\textit{z}}_2}, \cdots ,\;{ {\textit{z}}_k}\}$连接后同时输入网络.

    3)残差图像的构成方式不同. 为提高网络的映射能力, 许多DCNN的输出并不是无失真图像而是残差图像. 假定噪声图像的定义为

    $$y = x + n$$ (4)

    其中, $y$为噪声图像, $x$为原始无失真图像, $n$为噪声. 为提高预测效果, DCNN利用残差学习[29] 训练网络模型$R(y) \approx n ,$模型的输出为残差图像. 根据式(4)即可得到关于原始无失真图像${x} = y - R(y)$的最佳估计. 在训练模型的过程中, 期望残差图像与预测残差图像之间的均方误差(MSE)为

    $${\rm{MSE}}(\Theta ) = \frac{1}{N}\sum\limits_{i = 1}^N {\parallel R({y_i};\Theta ) - ({y_i} - {x_i})\parallel } _{\rm{F}}^2$$ (5)

    其中, $\Theta $表示待调整的网络模型参数, ${x_i}$和${y_i}$分别表示输入的第$i$张原始无失真图像和与之对应的第$i$张噪声图像, $N$表示用于模型训练的噪声图像的数目. 对于OCID模型, 先由多个降噪器对噪声图像$y$进行初步降噪, 得到 $k$张初步降噪图像 $\{ { {\textit{z}}_1},\;$${ {\textit{z}}_2}, \cdots ,\; {{\textit{z}}_k}\},$初步降噪图像进行连接操作后作为MSCNN的输入. 为应用残差学习技术, 需要先计算出$k$张初步降噪图像 $\{ { {\textit{z}}_1},\;{ {\textit{z}}_2}, \cdots ,\; {{\textit{z}}_k}\}$的均值图像 $\bar {\textit{z}} = (1/k)\sum\nolimits_{i = 1}^{i = k} {{ {\textit{z}}_i}}$(其作用相当于DCNN模型中输入图像$y$), 将$\bar {\textit{z}}$减去MSCNN模型的输出$R(\bar {\textit{z}})$后, 即可得到最终复原图像${\overset{\frown} x} = \bar {\textit{z}} - R(\bar {\textit{z}})$. 通过采用均值图像$\bar {\textit{z}}$, 所提出的OCID模型也可利用MSCNN和残差学习技术完成模型的构建与训练.

    所提出的OCID模型本质上是基于MSCNN的多通道优化组合模型, 即利用浅层CNN对输入的多张图像进行融合. 该模型一旦训练完成, 在使用时无需用户设置任何参数, 所提出的MSCNN中网络参数的作用相当于一步实现了CsNet模型中的加权和Booster两个模块的功能. 由于OCID模型采用MSCNN结构, 使得其在提升降噪效果和执行效率之间达到较好的平衡. 相较于CsNet模型, OCID模型具有显著优势.

    2.3   网络训练

    为训练所提出的OCID模型, 可对原始无失真图像添加各个级别的高斯噪声获得噪声图像集合. 对于噪声图像集合中的每一张噪声图像, 利用多个降噪器获得初步降噪图像$\{ { {\textit{z}}_1},\;{ {\textit{z}}_2}, \cdots ,\;{ {\textit{z}}_k}\}$及其均值图像$\bar {\textit{z}}$, 将均值图像减去该噪声图像所对应的无失真图像获得残差图像$R(y)$, 即可准备好用于训练模型的输入与输出训练数据对. 具体而言, 从BSD数据库[30]中随机选取100张图像, 并对这100张图像依次分别加上噪声水平值$\sigma $范围为[5, 60], 间隔为5的高斯噪声, 将这1200条记录$Y = \{ {y_1},\;{y_2}, \cdots ,\; {y_j}\},$$j = 1\;200$利用多个基准降噪器分别进行降噪, 可得其初步降噪后图像${\{} {\textit{z}}_1^1, \cdots , {\textit{z}}_1^{1\;200}{\}} , \{ {\textit{z}}_2^1, \cdots , {\textit{z}}_2^{1\;200}\} ,\cdots , \{ {\textit{z}}_k^1, \cdots , {\textit{z}}_k^{1\;200}\}.$ 将多个降噪算法得到的降噪后图像的均值图像和相应的残差图像组成的训练数据对$\{ ({\bar {\textit{z}}_i},{R(y_i)})\} _{i = 1}^{1\;200}$输入MSCNN模型中进行训练. 本文采用SGD算法完成模型的训练. 需要说明的是, 网络模型实际训练是在图块级别上进行的. 网络训练所采用的参数为: 输入图块大小为40 × 40像素, 学习率为0.0001, 动量为0.9, 批量训练样本大小为128.

    2.4   多通道模型网络层数分析

    为确定OCID模型的最佳网络深度, 分别构建核心网络层Conv + BN + ReLU重复次数为1次、3次、5次、7次、9次、11次、13次和15次的网络模型. 通过训练$\sigma$为20、40、60时的降噪模型, 以BM3D和DnCNN作为基础降噪器, 并使用图3中的常用图像来测试网络层数对图像质量提升效果以及相应执行效率的影响. 这里仅以BM3D和DnCNN组合模式为例, 其他降噪器组合模式结论与该组合模式相同(限于篇幅, 不再给出其他组合模式下的实验数据). 如表1所示, 通过对比PSNR(Peak signal to noise ratio)指标可以看出, 随着CNN网络层数的增加, OCID模型的降噪效果仅在高水平噪声条件下会有小幅度提升. 总体而言, 核心网络层Conv + BN + ReLU重复1次就可达到比较好的降噪效果. 而由表2可知, 随着网络层数的增加, 模型的执行时间(在CPU环境下测得)显著增加. 故综合考虑图像质量提升效果和执行效率, 本文将Conv + BN + ReLU层重复次数设置为1, 所提出的OCID模型为MSCNN.

    2.5   降噪器组合分析

    所提出的OCID模型允许输入多个不同的初步降噪图像, 而目前已提出的降噪算法非常多, 因此具体使用哪些降噪算法作为降噪器以及它们之间的组合搭配模式是非常值得研究的问题. 为确定各降噪器的最佳组合模式, 选择BM3D[7]、NCSR[8]、WNNM[11]、DnCNN[22]和FFDNet[23] 5种有代表性的降噪算法进行研究, 它们分别主要是基于NLM、稀疏表示、低秩和深度学习技术实现的主流降噪算法, 各自的降噪效果在各类降噪算法中都是比较突出的. 故从它们中能挑出2 ~ 5种降噪算法作为降噪器使用. 实验数据表明, 采用含4种、5种降噪算法的组合模式并不能显著提升降噪效果(限于篇幅, 不再给出实验数据), 本文仅给出含2种、3种降噪算法组合模式的实验数据, 所有可能的组合模式如表3所示. 从BSD纹理图像集中选取50张图像对各种组合模式下的降噪效果分别进行测试, 以在50张图像上所获得的PSNR均值作为评价提升效果好坏的标准, 实验数据列在表4、表5中. 从表4、表5中可知: 在含2种降噪器的组合模式中, 降噪效果最好的是Case 3 (FFDNet + NCSR), 其PSNR均值为29.56 dB; 在含3种降噪器的组合模式中, 降噪效果最好的是Case 11 (BM3D + DnCNN + NCSR), 其PSNR均值为29.86 dB. 理论上, 组合模式中含降噪器的个数越多, 其降噪效果可能越好. 但在实际测试过程中, 对比表4、表5中的PSNR均值可以看出, 3种降噪器组合模式的平均降噪效果仅比2种降噪器组合模式好一点, 提升幅度并不是很大.

    表 3  2种和3种降噪器组合模式列表
    Table 3  List of combination of 2 and 3 denoisers
    组合模式2 种降噪器组合组合模式3 种降噪器组合
    Case 1(BM3D + FFDNet)Case 11(BM3D + DnCNN + NCSR)
    Case 2(BM3D + NCSR)Case 12(BM3D + FFDNet + NCSR)
    Case 3(FFDNet + NCSR)Case 13(BM3D + DnCNN + FFDNet)
    Case 4(DnCNN + FFDNet)Case 14(BM3D + DnCNN + WNNM)
    Case 5(DnCNN + NCSR)Case 15(BM3D + FFDNet + WNNM)
    Case 6(BM3D + DnCNN)Case 16(BM3D + NCSR + WNNM)
    Case 7(BM3D + WNNM)Case 17(DnCNN + FFDNet + NCSR)
    Case 8(DnCNN + WNNM)Case 18(DnCNN + FFDNet + WNNM)
    Case 9(FFDNet + WNNM)Case 19(DnCNN + NCSR + WNNM)
    Case 10(NCSR + WNNM)Case 20(FFDNet + NCSR + WNNM)
    下载: 导出CSV 
    | 显示表格
    表 4  2种降噪器组合模式在50张纹理图像集上所获得的PSNR均值(dB)
    Table 4  Performance comparison of two denoisersin terms of PSNR on 50 texture images (dB)
    组合模式噪声水平值
    $\sigma = 10$$\sigma = 20$$\sigma = 30$$\sigma = 40$$\sigma = 50$$\sigma = 60$均值
    Case 135.0330.7328.5126.9326.2825.4928.83
    Case 235.3631.2329.1227.6726.6725.9229.33
    Case 335.4231.4229.3827.9626.9726.1829.56
    Case 433.6630.0128.1226.8826.0025.2729.32
    Case 535.4531.4429.3627.9326.9626.1229.54
    Case 634.9630.7428.6827.3426.4925.7829.00
    Case 734.9930.8228.7127.3426.4428.7329.01
    Case 833.6930.0628.1626.9126.0325.3028.36
    Case 933.6629.9528.0826.8325.9225.2328.28
    Case 1035.3231.2129.1527.6826.6825.8629.32
    下载: 导出CSV 
    | 显示表格
    表 5  3种降噪器组合模式的50张纹理图像集上所获得的PSNR均值(dB)
    Table 5  Performance comparison of three denoisers on 50 texture images (dB)
    组合模式噪声水平值
    $\sigma = 10$$\sigma = 20$$\sigma = 30$$\sigma = 40$$\sigma = 50$$\sigma = 60$均值
    Case 1136.1231.7629.6728.1627.0826.3529.86
    Case 1236.1131.7529.6728.1426.9926.3329.83
    Case 1334.8730.6628.6627.2226.4025.7128.92
    Case 1434.7230.5128.3827.0226.0925.4428.69
    Case 1534.6830.3828.2426.8325.9225.3128.56
    Case 1636.0631.7129.5728.0926.9526.2129.77
    Case 1735.4831.4729.4227.9826.9926.1729.59
    Case 1833.7430.1028.2126.9725.3725.3728.41
    Case 1935.4831.4729.4027.9626.9826.1529.57
    Case 2035.4731.4729.4227.9927.0126.2029.59
    下载: 导出CSV 
    | 显示表格

    表6、表7分别为2种降噪器融合和3种降噪器融合下的50张纹理图像集上平均执行时间. 从表6、表7中的数据可以看出, 在含2种降噪器的组合模式中, Case 6 (BM3D + DnCNN)的执行时间最短, 其平均执行时间为5.28 s, 与执行时间最长的Case 10 (NCSR + WNNM)相比, 执行时间相差约200倍, 其主因是NCSR算法执行时间过长. 而在含3种降噪器的组合模式中, Case 13 (BM3D + DnCNN + FFDNet)的执行时间最短, 平均执行时间为21.81 s. 结合表4、表5可以得出, 使用3种降噪器组合与2种降噪器组合分别降噪后的PSNR 值相差不大, 但需要花费更长的执行时间.

    表 6  2种降噪器融合下的50张纹理图像集上的平均执行时间(s)
    Table 6  Execution time of two denoisers on 50 texture images (s)
    组合模式噪声水平值
    $\sigma = 10$$\sigma = 20$$\sigma = 30$$\sigma = 40$$\sigma = 50$$\sigma = 60$均值
    Case 116.9317.4117.1017.1417.1617.2117.16
    Case 2470.72818.88541.011049.291109.34822.30801.92
    Case 3486.92835.21557.031065.351125.38838.37818.04
    Case 421.6721.7621.4421.4921.4721.5221.56
    Case 5475.10823.23545.361053.641113.66826.61806.27
    Case 65.475.435.435.445.444.455.28
    Case 7273.29276.56276.99526.30399.78479.47372.07
    Case 8277.68280.91281.34530.65404.10483.78376.41
    Case 9289.49292.89293.01542.36415.82495.54388.19
    Case 10743.921095.36817.921575.511508.101301.631173.74
    下载: 导出CSV 
    | 显示表格
    表 7  3种降噪器融合下的50张纹理图像集上的平均执行时间(s)
    Table 7  Execution time of three denoisers on 50 texture images (s)
    组合模式噪声水平值
    $\sigma = 10$$\sigma = 20$$\sigma = 30$$\sigma = 40$$\sigma = 50$$\sigma = 60$均值
    Case 11475.14823.27545.401053.691113.72826.68806.32
    Case 12486.96835.25557.071065.391125.44838.44818.09
    Case 1321.9222.0021.6821.7321.7421.7921.81
    Case 14277.72280.95281.38530.694404.16483.85376.46
    Case 15289.54292.93293.05542.40415.88495.61388.24
    Case 16743.971095.40817.961575.551509.061301.701173.94
    Case 17491.35839.60561.411069.741129.76842.76822.44
    Case 18293.92297.28297.39546.75420.20499.92392.58
    Case 19748.351099.75822.311579.901513.381306.011178.28
    Case 20760.171111.73833.981591.611525.101317.771190.06
    下载: 导出CSV 
    | 显示表格

    2.6   组合方案选择

    综合考虑降噪效果和执行效率两方面性能, 本文选用BM3D和DnCNN 2个降噪算法作为OCID模型的基础降噪器(即组合模式Case 6). 其原因如下:

    1)降噪算法作为各类后继图像处理任务的预处理模块, 首要考虑的是其执行效率, 以保证整个图像处理系统的整体性能. 在目前所提出的具有代表性的算法中, BM3D和DnCNN的执行效率均排在前列, 降噪效果表现最好的NCSR算法因其过长的执行时间未作为OCID模型的降噪器. 需要说明的是, 表6、表7中的实验数据均是在CPU环境下获得的. 文献[31]提出一种将BM3D算法卷积网络化的实现方法, 即BM3D-Net模型. 如此, BM3D-Net和DnCNN均可以利用GPU实现加速, 其在GPU上执行时间为150 ms左右, 能达到实时的要求.

    2)在保证降噪算法执行效率的同时还要保证算法的降噪效果. BM3D算法对具有较多重复结构的自然图像能得到很好的降噪效果, 对重复细节内容不多的图像其降噪性能会受到一定的影响. 而DnCNN是一种基于深度学习的降噪算法, 即便是图像中无较多重复结构, 只要是训练图像集合中存在的结构模式, DnCNN算法就可获得较好的降噪效果. 因此BM3D与DnCNN组合后可形成最佳的优势互补. 第3节对比实验中, OCID最优组合模型所列出的实验数据均是采用BM3D + DnCNN组合模式获得的.

    3.   实验与分析

    3.1   测试环境

    为验证所提出的基于MSCNN的OCID模型对降噪效果的提升作用, 选取采用不同代表性技术路线实现的BM3D[7]、NCSR[8]、WNNM[11]、DnCNN[22]、FFDNet[23]、RedNet[32]、VDNet[33]、TWSC[34]和CsNet[2] (主要将文献[2]中第三组实验与OCID模型进行比较)共9种降噪算法作为对比算法. 测试图像数据集包含常用图像集、BSD纹理图像集[30]、DIV2K图像集[35]和Waterloo图像集[36]. 其中, 常用图像集包含各种文献中常出现的10张公知图像, 如图3所示; BSD纹理图像集是从BSD数据库中随机抽取50张图像构成(不同于训练时所使用的图像), 其中10张有代表性的图像如图4所示; DIV2K图像集是广泛使用的超分辨率测试图像数据集, 该数据集中图像的空间分辨率较高, 从中随机选取50张图像用于测试; Waterloo图像集是用于图像质量评价算法测试的图像库, 其图像内容主题较为广泛, 从中随机选取50张图像用于测试. 所有的实验都是在统一环境下(硬件平台为Inter (R) Core (TM) i7-3770 CPU @ 3.40GHz 16 GB RAM, GPU NVIDIA Quadro M4000; 软件环境为Win10操作系统, MATLAB R2017b, Python 3.7)完成的.

    图 3  各类文献中常用的图像集合
    Fig. 3  Commonly used images in the literature
    下载: 全尺寸图片 幻灯片
    图 4  BSD测试图像集合中有代表性的10张图像
    Fig. 4  Ten representative images on BSD database
    下载: 全尺寸图片 幻灯片

    3.2   单个图像上的性能比较

    首先, 为验证所提出的OCID模型对降噪效果的提升作用, 对Lena图像添加不同噪声水平值的高斯噪声, 用各种参与对比的降噪算法对噪声图像进行降噪, 并计算降噪后图像的PSNR值和SSIM (Structural similarity)值, 实验数据见表8、表9. 由表8、表9可知, 所提出的OCID模型在各个噪声水平值时两种评价指标均为最高, 比单个BM3D和DnCNN降噪算法提升了很多. 这表明OCID模型能将原本弱于FFDNet、VDNet的BM3D和DnCNN 2个算法的优势进行有效组合, 其降噪效果比当前主流的FFDNet、VDNet降噪算法要好, 组合后的优势明显.

    表 8  各算法在Lena图像上所获得的PSNR值(dB)
    Table 8  Performance comparison of the competing algorithms in terms of PSNR on Lena image (dB)
    降噪方法噪声水平值
    $\sigma = 10$$\sigma = 20$$\sigma = 30$$\sigma = 40$$\sigma = 50$$\sigma = 60$
    BM3D36.5533.4331.4030.0529.1228.27
    NCSR36.4833.2631.2230.0529.1128.01
    WNNM36.6133.2931.6230.2529.3728.51
    DnCNN36.7633.6731.7830.4729.5128.62
    FFDNet36.7633.8132.0530.8029.8229.02
    RedNet33.8230.6329.0327.9527.0928.59
    VDNet36.5933.6931.9430.7129.7529.09
    TWSC34.2430.7728.9527.7526.8526.11
    CsNet34.0530.7429.1428.0427.1928.88
    OCID37.7134.2732.5031.0030.1329.35
    下载: 导出CSV 
    | 显示表格
    表 9  各算法在Lena图像上所获得的SSIM值
    Table 9  Performance comparison of the competing algorithms in terms of SSIM on Lena image
    降噪方法噪声水平值
    $\sigma = 10$$\sigma = 20$$\sigma = 30$$\sigma = 40$$\sigma = 50$$\sigma = 60$
    BM3D0.92510.90010.86660.83690.81930.7945
    NCSR0.93870.90030.86830.84730.82860.8044
    WNNM0.93940.90020.87120.84200.82660.8050
    DnCNN0.92100.90260.87740.85370.83410.8123
    FFDNet0.94230.91020.88510.86430.84590.8296
    RedNet0.90730.83920.78930.75060.71800.8111
    VDNet0.94050.90780.88250.86070.84360.8298
    TWSC0.91760.84380.78620.74290.70830.6795
    CsNet0.91130.84290.79410.75560.72350.8221
    OCID0.94740.91350.88870.86510.84860.8314
    下载: 导出CSV 
    | 显示表格

    然后, 为更加直观地比较所提出的OCID模型的降噪效果, 利用各个对比算法对施加了$\sigma = 30$高斯噪声后的Boat噪声图像进行降噪, 并计算各降噪后图像相应的PSNR值. 图像整体降噪及对应的局部放大区域(右下角矩形框)的视觉效果如图5所示. 由图5可知, 基于图像自相似、稀疏和低秩特性构建的BM3D、NCSR和WNNM算法在处理像Boat这类缺乏重复内容的自然图像时能力较弱, 而基于深度学习构建的DnCNN、FFDNet和VDNet算法则相对更具优势, 这是因为这类算法可以利用在训练图像集上学习的先验知识更好地完成降噪. 通过比较PSNR值可以发现, OCID模型比CsNet模型高出0.6 dB, 图像质量提升明显. 另外, 通过局部放大区域的细节可以发现, 虽然用BM3D算法处理后图像的图像质量比较差, 模糊程度比较严重, 但是一旦它与用DnCNN算法处理的图像组合后, 所获得的图像(即用OCID模型获得的图5(l))便具有了更好的降噪效果. 图5(l)的PSNR值显著优于图5(g)和图5(c), 并且比降噪性能较好的单个VDNet算法还要高0.6 dB. 在视觉感觉上, 图5(l)中船尾部“缆绳”的边缘细节保护得比较好. 这说明OCID模型充分利用了降噪能力相对较弱的BM3D和DnCNN 2个算法各自互补性的优势, 获得了更好的降噪效果.

    图 5  各算法在Boat图像上降噪效果对比
    Fig. 5  Denoising effect comparison of the competing algorithms on Boat image
    下载: 全尺寸图片 幻灯片

    3.3   图像数据集整体性能比较

    为进一步验证所提出的OCID模型对降噪效果提升作用的稳定性和鲁棒性, 在常用图像集、BSD纹理图像集、DIV2K图像集和Waterloo图像集上与当前主流降噪算法进行对比测试, 以各个算法所获得性能指标的平均值作为衡量算法优劣的标准.

    首先, 对图3所示的10幅常用图像分别添加噪声水平值$\sigma$ 为 10、20、30、40、50、60的高斯噪声, 表10、表11列出了各对比算法在PSNR和SSIM两个指标上的实验数据. 由表10可知, FFDNet作为近年提出的一种降噪性能非常不错的基于深度学习构建的降噪算法, 它的降噪性能虽比其他主流算法要好, 但是优势不多(在PSNR指标上, 最多比WNNM高0.24 dB), 某些噪声水平值时的测试结果还要差一些. 而OCID组合模型所获得的PSNR指标值最高且很稳定, 比FFDNet降噪器的性能指标高0.7 dB ~ 1.6 dB. 这说明将多个降噪器的输出图像经OCID模型优化组合后, 比单个降噪器输出的图像在图像质量上确实提升不少. 与CsNet模型相比, OCID组合模型在PSNR指标上提高了0.6 dB ~ 1.8 dB. 此外, OCID组合模型在SSIM指标上的对比数据也是最优的. 需要特别指出的是, 尽管OCID组合模型所使用的BM3D和DnCNN降噪器, 单个的降噪效果并不是最优的, 但是经过优化组合后却可以获得非常大的改进. 这说明OCID组合模型能够有效结合BM3D和DnCNN 2种降噪算法输出图像中互补性的局部结构化信息, 从而能显著提升降噪效果.

    表 10  各算法在10张常用图像上所获得的PSNR均值(dB)
    Table 10  Performance comparison of the competing algorithms in terms of PSNR on 10 commonly used images (dB)
    降噪方法噪声水平值
    $\sigma = 10$$\sigma = 20$$\sigma = 30$$\sigma = 40$$\sigma = 50$$\sigma = 60$
    BM3D34.8231.4429.5928.1327.5426.37
    NCSR34.8131.3829.4328.0627.0226.08
    WNNM34.9431.6129.8028.4827.5126.68
    DnCNN34.9431.6929.8328.5227.5626.65
    FFDNet34.8631.7229.9528.7027.7326.92
    RedNet34.2531.1329.4428.2327.2626.46
    VDNet34.6331.5329.7828.5727.6426.88
    TWSC34.8531.5629.7328.4227.3826.51
    CsNet34.6231.4029.7528.5527.6126.79
    OCID36.4232.5230.6129.1828.2827.44
    下载: 导出CSV 
    | 显示表格
    表 11  各算法在10张常用图像上所获得的SSIM均值
    Table 11  Performance comparison of the competing algorithms in terms of SSIM on 10 commonly used images
    降噪方法噪声水平值
    $\sigma = 10$$\sigma = 20$$\sigma = 30$$\sigma = 40$$\sigma = 50$$\sigma = 60$
    BM3D0.92960.87640.83480.79680.77010.7436
    NCSR0.93070.87420.82890.79600.76940.7428
    WNNM0.93110.87730.83590.80240.78230.7523
    DnCNN0.93270.88290.84320.80930.74370.7169
    FFDNet0.93300.88550.84870.81770.79080.7668
    RedNet0.91970.86940.83150.79860.76980.7443
    VDNet0.92990.88160.84490.81420.78770.7651
    TWSC0.93130.87870.83800.80350.77270.7446
    CsNet0.92510.87560.84050.81000.78310.7581
    OCID0.94200.89430.85770.82500.80120.7766
    下载: 导出CSV 
    | 显示表格

    其次, 为对比各算法在图像细节内容更为复杂图像上的降噪效果, 在BSD纹理图像集上完成测试. 表12给出了各个算法在BSD纹理图像集上的测试结果(限于篇幅, 仅给出PSNR指标数据). 由表12可知, 虽然相较于表10中的数据, 所提出的OCID模型的降噪效果有所下降(因处理的图像内容更加困难导致), 但其性能仍然是所有参与比较的算法中最好的, 比单一FFDNet算法的降噪效果有显著提升, 提升幅度在0.4 dB ~ 1.4 dB之间, 提升量非常可观. OCID模型所获得的PSNR指标较CsNet模型提升了0.5 dB ~ 1.3 dB. OCID模型使用的基本降噪器是BM3D和DnCNN, 单一BM3D和DnCNN降噪算法的降噪效果均不是最优, 但是将两者同时输入到OCID组合模型后, 却能在降噪质量上有显著提升. 这说明OCID组合模型能充分利用两种降噪算法输出图像各自的互补性优势, 从而获得更好的降噪效果.

    表 12  各算法在BSD纹理图像集上所获得的PSNR均值(dB)
    Table 12  Performance comparison of the competing algorithms in terms of PSNR on BSD database (dB)
    降噪方法噪声水平值
    $\sigma = 10$$\sigma = 20$$\sigma = 30$$\sigma = 40$$\sigma = 50$$\sigma = 60$
    BM3D33.4129.5627.6026.2625.4024.73
    NCSR33.4229.5827.6026.2725.3524.59
    DnCNN33.6930.0628.1426.8725.9925.23
    WNNM33.5329.7327.8126.5425.6324.92
    FFDNet33.6130.0228.1626.9326.0425.34
    RedNet33.3729.5127.7526.6025.7525.09
    VDNet33.4329.9328.0826.8725.9925.31
    TWSC33.4829.7027.7426.4625.5224.79
    CsNet33.5929.6727.9026.7525.9125.20
    OCID34.9630.7428.6827.3426.4925.78
    下载: 导出CSV 
    | 显示表格

    再次, 为测试OCID模型能否较好地应用于高分辨率图像的降噪, 使用50张DIV2K超分辨率图像进行测试, 各个对比算法所获得的PSNR均值见表13. 由表13可知, 在所有参与对比的算法中, 所提出的OCID模型的PSNR指标排名仍然是第一, 比CsNet模型的PSNR值提高了0.4 dB ~ 1.3 dB, 表明所提出的OCID模型在处理高分辨率图像时仍然具有显著的降噪提升效果.

    表 13  各算法DIV2K图像集上所获得的PSNR均值(dB)
    Table 13  Performance comparison of the competing algorithms in terms of PSNR on DIV2K database (dB)
    降噪方法噪声水平值
    $\sigma = 10$$\sigma = 20$$\sigma = 30$$\sigma = 40$$\sigma = 50$$\sigma = 60$
    BM3D33.9030.0828.0826.6025.6924.94
    NCSR34.0830.2328.14.26.7125.6924.86
    WNNM34.4230.5328.4727.0726.0525.25
    DnCNN34.4630.6528.5727.1926.2025.34
    FFDNet34.3230.6428.6627.3326.3425.56
    RedNet33.9730.3928.4227.0926.1025.32
    VDNet33.4530.2128.3527.0926.1525.40
    TWSC34.1830.3828.4427.0425.9825.13
    CsNet34.3030.6528.6727.3326.3425.51
    OCID35.6731.2429.1727.5426.6525.89
    下载: 导出CSV 
    | 显示表格

    最后, 为测试各对比算法处理不同图像主题内容时的降噪能力, 在图像主题内容更为丰富的Waterloo图像质量评价测试图像集上完成测试, 测试结果见表14. 由表14可知, 在各个噪声水平值下, 所提出的OCID模型的PSNR指标值均为最佳, 再次展现出所提出的OCID模型在降噪效果提升方面的优势, 其对不同的图像主题内容均具有很好的普适性.

    表 14  各算法在Waterloo图像集上所获得的PSNR均值(dB)
    Table 14  Performance comparison of the competing algorithms in terms of PSNR on Waterloo database (dB)
    降噪方法噪声水平值
    $\sigma = 10$$\sigma = 20$$\sigma = 30$$\sigma = 40$$\sigma = 50$$\sigma = 60$
    BM3D33.0829.1127.0225.5324.5523.80
    NCSR33.1429.1327.0425.5424.5323.69
    WNNM33.3829.3927.2925.8824.8424.09
    DnCNN33.5429.6427.5226.1225.1224.26
    FFDNet33.3929.6327.6026.2525.2424.45
    RedNet32.7929.2627.2925.9724.9824.20
    VDNet32.8629.2927.3226.0125.0224.28
    TWSC33.2629.3527.2625.8524.8123.99
    CsNet33.1829.5727.5926.2525.2524.42
    OCID34.7930.2528.1026.4325.5424.78
    下载: 导出CSV 
    | 显示表格

    3.4   执行效率

    所提出的OCID模型与CsNet模型一样, 均是利用多个降噪算法作为初步降噪器, 将它们输出的图像经优化组合后实现更好的降噪效果, 故与单一降噪算法相比它们的执行时间均会显著增加, 这里不再给出具体实验数据. 相对而言, OCID模型仅使用BM3D和DnCNN 2个算法作为初步降噪器, 而CsNet则使用了BM3D、DnCNN、REDNet和FFDNet 4个算法作为降噪器, 故OCID模型在初步降噪阶段的执行时间比CsNet模型要短. 为比较OCID与CsNet 两个模型在融合阶段的执行效率, 分别利用两个模型处理具有不同噪声水平值, 大小为512 × 512像素的Lena噪声图像, 执行10次, 并记录各自在融合阶段的平均执行时间(在GPU环境下测得)于表15. 由表15可知, 在融合阶段, OCID模型的执行时间具有显著优势. 其原因在于, OCID模型仅采用了结构极为简单的浅层CNN结构(仅含三层卷积层)实现图像融合, 且得到GPU硬件支持, 使得其运行时间可以满足实时应用的要求. 而CsNet模型的融合过程则使用了网络结构非常复杂的MSE估计器和Booster模块, 网络深度更深, 且Booster模块还需要迭代多次执行才能获得最佳的图像质量, 所以即使在GPU硬件执行条件下, 其执行时间仍远远长于OCID模型.

    总之, 结合表10 ~ 表15所列数据, OCID模型在保证获得更好降噪效果的同时最大限度地降低了对计算资源的需求, 综合性能更优.

    表 15  CsNet与OCID模型在融合阶段的执行时间对比(ms)
    Table 15  Execution timein fusion stage of CsNet and OCID model (ms)
    模型噪声水平值
    $\sigma = 10$$\sigma = 20$$\sigma = 30$$\sigma = 40$$\sigma = 50$$\sigma = 60$
    CsNet316831613165316431663149
    OCID151212121212
    下载: 导出CSV 
    | 显示表格

    4.   结论

    受Choi等[2]组合多个降噪器提升单一降噪算法降噪效果思想的启发, 本文提出一种基于MSCNN的OCID模型. 对于给定的噪声图像, 该模型首先利用多个降噪器对其进行降噪以获得多个初步降噪图像, 然后由预训练的MSCNN模型接收这些初步降噪图像并自动完成最优组合(融合), 高质量输出优化后的降噪图像. 与Choi等提出的CsNet组合模型相比, 本文所提出的OCID模型结构更为简单, 图像质量提升更为明显, 且执行效率更高. 需要说明的是, 目前OCID模型使用BM3D与DnCNN 2种降噪算法作为基本降噪器, 而经典BM3D算法并没有使用GPU硬件加速能力, 这在一定程度上降低了OCID模型整体的执行效率. 未来可将BM3D算法用CNN卷积化技术实现[31], 这样OCID模型在初步降噪和图像融合两个阶段均可以利用GPU硬件加速能力, 可实现实时降噪, 这将会使OCID 模型较现有的单一降噪算法在降噪效果和执行效率两个方面均具有显著优势.

  • 图  1  文献[2]中提出的CsNet模型架构图

    Fig.  1  The architecture of CsNet model proposed in reference [2]

    下载: 全尺寸图片 幻灯片

    图  2  多通道神经网络OCID模型架构

    Fig.  2  The architecture of OCID model with multi-channel neural network

    下载: 全尺寸图片 幻灯片

    图  3  各类文献中常用的图像集合

    Fig.  3  Commonly used images in the literature

    下载: 全尺寸图片 幻灯片

    图  4  BSD测试图像集合中有代表性的10张图像

    Fig.  4  Ten representative images on BSD database

    下载: 全尺寸图片 幻灯片

    图  5  各算法在Boat图像上降噪效果对比

    Fig.  5  Denoising effect comparison of the competing algorithms on Boat image

    下载: 全尺寸图片 幻灯片

    表  1  不同网络层数下的MSCNN模型在10张常用图像上的PSNR均值(dB)

    Table  1  PSNR performance of different MSCNN models on 10 commonly used images (dB)

    噪声水平值Conv + BN + ReLU 网络层重复的次数
    13579111315
    $\sigma = 20$32.5232.4832.3032.3432.2432.3632.4232.22
    $\sigma = 40$29.1829.1528.9129.0028.9729.1528.9829.09
    $\sigma = 60$27.4427.4827.4227.5627.2527.5827.4627.42
    下载: 导出CSV

    表  2  不同网络层数下的MSCNN模型在10张常用图像上的平均执行时间(s)

    Table  2  Execution time performance of different MSCNN models on 10 commonly used images (s)

    噪声水平值Conv + BN + ReLU 网络层重复的次数
    13579111315
    $\sigma = 20$0.430.931.441.952.432.913.443.97
    $\sigma = 40$0.420.931.451.942.452.803.483.99
    $\sigma = 60$0.420.921.441.942.462.793.523.94
    下载: 导出CSV

    表  3  2种和3种降噪器组合模式列表

    Table  3  List of combination of 2 and 3 denoisers

    组合模式2 种降噪器组合组合模式3 种降噪器组合
    Case 1(BM3D + FFDNet)Case 11(BM3D + DnCNN + NCSR)
    Case 2(BM3D + NCSR)Case 12(BM3D + FFDNet + NCSR)
    Case 3(FFDNet + NCSR)Case 13(BM3D + DnCNN + FFDNet)
    Case 4(DnCNN + FFDNet)Case 14(BM3D + DnCNN + WNNM)
    Case 5(DnCNN + NCSR)Case 15(BM3D + FFDNet + WNNM)
    Case 6(BM3D + DnCNN)Case 16(BM3D + NCSR + WNNM)
    Case 7(BM3D + WNNM)Case 17(DnCNN + FFDNet + NCSR)
    Case 8(DnCNN + WNNM)Case 18(DnCNN + FFDNet + WNNM)
    Case 9(FFDNet + WNNM)Case 19(DnCNN + NCSR + WNNM)
    Case 10(NCSR + WNNM)Case 20(FFDNet + NCSR + WNNM)
    下载: 导出CSV

    表  4  2种降噪器组合模式在50张纹理图像集上所获得的PSNR均值(dB)

    Table  4  Performance comparison of two denoisersin terms of PSNR on 50 texture images (dB)

    组合模式噪声水平值
    $\sigma = 10$$\sigma = 20$$\sigma = 30$$\sigma = 40$$\sigma = 50$$\sigma = 60$均值
    Case 135.0330.7328.5126.9326.2825.4928.83
    Case 235.3631.2329.1227.6726.6725.9229.33
    Case 335.4231.4229.3827.9626.9726.1829.56
    Case 433.6630.0128.1226.8826.0025.2729.32
    Case 535.4531.4429.3627.9326.9626.1229.54
    Case 634.9630.7428.6827.3426.4925.7829.00
    Case 734.9930.8228.7127.3426.4428.7329.01
    Case 833.6930.0628.1626.9126.0325.3028.36
    Case 933.6629.9528.0826.8325.9225.2328.28
    Case 1035.3231.2129.1527.6826.6825.8629.32
    下载: 导出CSV

    表  5  3种降噪器组合模式的50张纹理图像集上所获得的PSNR均值(dB)

    Table  5  Performance comparison of three denoisers on 50 texture images (dB)

    组合模式噪声水平值
    $\sigma = 10$$\sigma = 20$$\sigma = 30$$\sigma = 40$$\sigma = 50$$\sigma = 60$均值
    Case 1136.1231.7629.6728.1627.0826.3529.86
    Case 1236.1131.7529.6728.1426.9926.3329.83
    Case 1334.8730.6628.6627.2226.4025.7128.92
    Case 1434.7230.5128.3827.0226.0925.4428.69
    Case 1534.6830.3828.2426.8325.9225.3128.56
    Case 1636.0631.7129.5728.0926.9526.2129.77
    Case 1735.4831.4729.4227.9826.9926.1729.59
    Case 1833.7430.1028.2126.9725.3725.3728.41
    Case 1935.4831.4729.4027.9626.9826.1529.57
    Case 2035.4731.4729.4227.9927.0126.2029.59
    下载: 导出CSV

    表  6  2种降噪器融合下的50张纹理图像集上的平均执行时间(s)

    Table  6  Execution time of two denoisers on 50 texture images (s)

    组合模式噪声水平值
    $\sigma = 10$$\sigma = 20$$\sigma = 30$$\sigma = 40$$\sigma = 50$$\sigma = 60$均值
    Case 116.9317.4117.1017.1417.1617.2117.16
    Case 2470.72818.88541.011049.291109.34822.30801.92
    Case 3486.92835.21557.031065.351125.38838.37818.04
    Case 421.6721.7621.4421.4921.4721.5221.56
    Case 5475.10823.23545.361053.641113.66826.61806.27
    Case 65.475.435.435.445.444.455.28
    Case 7273.29276.56276.99526.30399.78479.47372.07
    Case 8277.68280.91281.34530.65404.10483.78376.41
    Case 9289.49292.89293.01542.36415.82495.54388.19
    Case 10743.921095.36817.921575.511508.101301.631173.74
    下载: 导出CSV

    表  7  3种降噪器融合下的50张纹理图像集上的平均执行时间(s)

    Table  7  Execution time of three denoisers on 50 texture images (s)

    组合模式噪声水平值
    $\sigma = 10$$\sigma = 20$$\sigma = 30$$\sigma = 40$$\sigma = 50$$\sigma = 60$均值
    Case 11475.14823.27545.401053.691113.72826.68806.32
    Case 12486.96835.25557.071065.391125.44838.44818.09
    Case 1321.9222.0021.6821.7321.7421.7921.81
    Case 14277.72280.95281.38530.694404.16483.85376.46
    Case 15289.54292.93293.05542.40415.88495.61388.24
    Case 16743.971095.40817.961575.551509.061301.701173.94
    Case 17491.35839.60561.411069.741129.76842.76822.44
    Case 18293.92297.28297.39546.75420.20499.92392.58
    Case 19748.351099.75822.311579.901513.381306.011178.28
    Case 20760.171111.73833.981591.611525.101317.771190.06
    下载: 导出CSV

    表  8  各算法在Lena图像上所获得的PSNR值(dB)

    Table  8  Performance comparison of the competing algorithms in terms of PSNR on Lena image (dB)

    降噪方法噪声水平值
    $\sigma = 10$$\sigma = 20$$\sigma = 30$$\sigma = 40$$\sigma = 50$$\sigma = 60$
    BM3D36.5533.4331.4030.0529.1228.27
    NCSR36.4833.2631.2230.0529.1128.01
    WNNM36.6133.2931.6230.2529.3728.51
    DnCNN36.7633.6731.7830.4729.5128.62
    FFDNet36.7633.8132.0530.8029.8229.02
    RedNet33.8230.6329.0327.9527.0928.59
    VDNet36.5933.6931.9430.7129.7529.09
    TWSC34.2430.7728.9527.7526.8526.11
    CsNet34.0530.7429.1428.0427.1928.88
    OCID37.7134.2732.5031.0030.1329.35
    下载: 导出CSV

    表  9  各算法在Lena图像上所获得的SSIM值

    Table  9  Performance comparison of the competing algorithms in terms of SSIM on Lena image

    降噪方法噪声水平值
    $\sigma = 10$$\sigma = 20$$\sigma = 30$$\sigma = 40$$\sigma = 50$$\sigma = 60$
    BM3D0.92510.90010.86660.83690.81930.7945
    NCSR0.93870.90030.86830.84730.82860.8044
    WNNM0.93940.90020.87120.84200.82660.8050
    DnCNN0.92100.90260.87740.85370.83410.8123
    FFDNet0.94230.91020.88510.86430.84590.8296
    RedNet0.90730.83920.78930.75060.71800.8111
    VDNet0.94050.90780.88250.86070.84360.8298
    TWSC0.91760.84380.78620.74290.70830.6795
    CsNet0.91130.84290.79410.75560.72350.8221
    OCID0.94740.91350.88870.86510.84860.8314
    下载: 导出CSV

    表  10  各算法在10张常用图像上所获得的PSNR均值(dB)

    Table  10  Performance comparison of the competing algorithms in terms of PSNR on 10 commonly used images (dB)

    降噪方法噪声水平值
    $\sigma = 10$$\sigma = 20$$\sigma = 30$$\sigma = 40$$\sigma = 50$$\sigma = 60$
    BM3D34.8231.4429.5928.1327.5426.37
    NCSR34.8131.3829.4328.0627.0226.08
    WNNM34.9431.6129.8028.4827.5126.68
    DnCNN34.9431.6929.8328.5227.5626.65
    FFDNet34.8631.7229.9528.7027.7326.92
    RedNet34.2531.1329.4428.2327.2626.46
    VDNet34.6331.5329.7828.5727.6426.88
    TWSC34.8531.5629.7328.4227.3826.51
    CsNet34.6231.4029.7528.5527.6126.79
    OCID36.4232.5230.6129.1828.2827.44
    下载: 导出CSV

    表  11  各算法在10张常用图像上所获得的SSIM均值

    Table  11  Performance comparison of the competing algorithms in terms of SSIM on 10 commonly used images

    降噪方法噪声水平值
    $\sigma = 10$$\sigma = 20$$\sigma = 30$$\sigma = 40$$\sigma = 50$$\sigma = 60$
    BM3D0.92960.87640.83480.79680.77010.7436
    NCSR0.93070.87420.82890.79600.76940.7428
    WNNM0.93110.87730.83590.80240.78230.7523
    DnCNN0.93270.88290.84320.80930.74370.7169
    FFDNet0.93300.88550.84870.81770.79080.7668
    RedNet0.91970.86940.83150.79860.76980.7443
    VDNet0.92990.88160.84490.81420.78770.7651
    TWSC0.93130.87870.83800.80350.77270.7446
    CsNet0.92510.87560.84050.81000.78310.7581
    OCID0.94200.89430.85770.82500.80120.7766
    下载: 导出CSV

    表  12  各算法在BSD纹理图像集上所获得的PSNR均值(dB)

    Table  12  Performance comparison of the competing algorithms in terms of PSNR on BSD database (dB)

    降噪方法噪声水平值
    $\sigma = 10$$\sigma = 20$$\sigma = 30$$\sigma = 40$$\sigma = 50$$\sigma = 60$
    BM3D33.4129.5627.6026.2625.4024.73
    NCSR33.4229.5827.6026.2725.3524.59
    DnCNN33.6930.0628.1426.8725.9925.23
    WNNM33.5329.7327.8126.5425.6324.92
    FFDNet33.6130.0228.1626.9326.0425.34
    RedNet33.3729.5127.7526.6025.7525.09
    VDNet33.4329.9328.0826.8725.9925.31
    TWSC33.4829.7027.7426.4625.5224.79
    CsNet33.5929.6727.9026.7525.9125.20
    OCID34.9630.7428.6827.3426.4925.78
    下载: 导出CSV

    表  13  各算法DIV2K图像集上所获得的PSNR均值(dB)

    Table  13  Performance comparison of the competing algorithms in terms of PSNR on DIV2K database (dB)

    降噪方法噪声水平值
    $\sigma = 10$$\sigma = 20$$\sigma = 30$$\sigma = 40$$\sigma = 50$$\sigma = 60$
    BM3D33.9030.0828.0826.6025.6924.94
    NCSR34.0830.2328.14.26.7125.6924.86
    WNNM34.4230.5328.4727.0726.0525.25
    DnCNN34.4630.6528.5727.1926.2025.34
    FFDNet34.3230.6428.6627.3326.3425.56
    RedNet33.9730.3928.4227.0926.1025.32
    VDNet33.4530.2128.3527.0926.1525.40
    TWSC34.1830.3828.4427.0425.9825.13
    CsNet34.3030.6528.6727.3326.3425.51
    OCID35.6731.2429.1727.5426.6525.89
    下载: 导出CSV

    表  14  各算法在Waterloo图像集上所获得的PSNR均值(dB)

    Table  14  Performance comparison of the competing algorithms in terms of PSNR on Waterloo database (dB)

    降噪方法噪声水平值
    $\sigma = 10$$\sigma = 20$$\sigma = 30$$\sigma = 40$$\sigma = 50$$\sigma = 60$
    BM3D33.0829.1127.0225.5324.5523.80
    NCSR33.1429.1327.0425.5424.5323.69
    WNNM33.3829.3927.2925.8824.8424.09
    DnCNN33.5429.6427.5226.1225.1224.26
    FFDNet33.3929.6327.6026.2525.2424.45
    RedNet32.7929.2627.2925.9724.9824.20
    VDNet32.8629.2927.3226.0125.0224.28
    TWSC33.2629.3527.2625.8524.8123.99
    CsNet33.1829.5727.5926.2525.2524.42
    OCID34.7930.2528.1026.4325.5424.78
    下载: 导出CSV

    表  15  CsNet与OCID模型在融合阶段的执行时间对比(ms)

    Table  15  Execution timein fusion stage of CsNet and OCID model (ms)

    模型噪声水平值
    $\sigma = 10$$\sigma = 20$$\sigma = 30$$\sigma = 40$$\sigma = 50$$\sigma = 60$
    CsNet316831613165316431663149
    OCID151212121212
    下载: 导出CSV
    • 参考文献(36)
  • [1] 吴志勇, 丁香乾, 许晓伟, 鞠传香. 基于深度学习和模糊C均值的心电信号分类方法. 自动化学报, 2018, 44(10): 1913-1920.

    Wu Zhi-Yong, Ding Xiang-Qian, Xu Xiao-Wei, Ju Chuan-Xiang. A method for ECG classification using deep learning and fuzzy C-means. Acta Automatica Sinica, 2018, 44(10): 1913-1920 (in Chinese).
    [2] Joon H C, Omar A E, Stanley H C. Optimal combination of image denoisers. IEEE Transactions on Image Processing, 2019, 28(8): 4016-4031. doi: 10.1109/TIP.2019.2903321
    [3] 刘慧婷, 冷新杨, 王利利, 赵鹏. 联合嵌入式多标签分类算法. 自动化学报, 2019, 45(10): 1969-1982.

    Liu Hui-Ting, Leng Xin-Yang, Wang Li-Li, Zhao Peng. A joint embedded multi-label classification algorithm. Acta Automatica Sinica, 2019, 45(10): 1969-1982 (in Chinese).
    [4] 徐少平, 刘婷云, 林珍玉, 张贵珍, 李崇禧. 深度卷积神经网络降噪模型的技术瓶颈与研究展望. 中国图象图形学报, 2019, 24(8): 1207-1214. doi: 10.11834/jig.190165

    Xu Shao-Ping, LiuTing-Yun, LinZhen-Yu, Zhang Gui-Zhen, Li Chong-Yi. Main bottlenecks and research prospects of the deep convolutional neural network-based denoising model. Journal of Image and Graphics, 2019, 24(8): 1207-1214 (in Chinese). doi: 10.11834/jig.190165
    [5] 张红英, 朱恩弘, 吴亚东. 一种基于细节层分离的单曝光HDR图像生成算法. 自动化学报, 2019, 45(11): 2159-2170.

    Zhang Hong-Ying, Zhu En-Hong, Wu Ya-Dong. High dynamic range image generating algorithm based on detail layer separation of a single exposure image. Acta Automatica Sinica, 2019, 45(11): 2159-2170 (in Chinese).
    [6] Buades A, Coll B, Morel J M. A non-local algorithm for image denoising. In: Proceedings of the 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. San Diego, CA, USA: IEEE, 2005. 60−65
    [7] Dabov K, Foi A, Katkovnik V, Egiazarian K. Image denoising by sparse 3-D transform-domain collaborative filtering. IEEE Transactions on Image Processing, 2007, 16(8): 2080-2095. doi: 10.1109/TIP.2007.901238
    [8] Dong W S, Zhang L, Shi G M, Li X. Nonlocally centralized sparse representation for image restoration. IEEE Transactions on Image Processing, 2013, 22(4): 1620-1630. doi: 10.1109/TIP.2012.2235847
    [9] Zhang J, Zhao D, Gao W. Group-based sparse representation for image restoration. IEEE Transactions on Image Processing, 2014, 23(8): 3336–3351. doi: 10.1109/TIP.2014.2323127
    [10] Xu S P, Yang X H, Jiang S L. A fast nonlocally centralized sparse representation algorithm for image denoising. Signal Processing, 2017, 131: 99-112. doi: 10.1016/j.sigpro.2016.08.006
    [11] Gu S H, Zhang L, Zuo W M, Feng X C. Weighted nuclear norm minimization with application to image denoising. In: Proceedings of the 27th IEEE Conference on Computer Vision and Pattern Recognition. Columbus, OH, USA: IEEE, 2014. 2862−2869
    [12] Dong W S, Shi G M, Li X. Nonlocal image restoration with bilateral variance estimation: a low-rank approach. IEEE Transactions on Image Processing, 2013, 22(2): 700-711. doi: 10.1109/TIP.2012.2221729
    [13] Liu Z, Yu L, Sun H. Image denoising via nonlocal low rank approximation with local structure preserving. IEEE Access, 2019, 7: 7117-7132. doi: 10.1109/ACCESS.2018.2890417
    [14] Jin K H, Ye J C. Sparse and low rank decomposition of a Hankel structured matrix for impulse noise removal. IEEE Transactions on Image Processing, 2018, 27(3): 1448-1461. doi: 10.1109/TIP.2017.2771471
    [15] Chen J W, Chen J W, Chao H Y, Yang M. Image blind denoising with generative adversarial network based noise modeling. In: Proceedings of the 2018 IEEE Computer Vision and Pattern Recognition. Salt Lake City, UT, USA: IEEE, 2018. 3155−3164
    [16] Bae W, Yoo J, Ye J C. Beyond deep residual learning for image restoration: Persistent homology-guided manifold simplification. In: Proceedings of the 30th IEEE Conference on Computer Vision and Pattern Recognition Workshops. Honolulu, HI, USA: IEEE, 2017. 1141−1149
    [17] Tai Y, Yang J, Liu X M, Xu C Y. MemNet: A persistent memory network for image restoration. In: Proceedings of the 2017 IEEE International Conference on Computer Vision. Venice, Italy: IEEE, 2017. 4549−4557
    [18] Chen Y J, Pock T. Trainable nonlinear reaction diffusion: a flexible framework for fast and effective image restoration. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 39(6): 1256-1272. doi: 10.1109/TPAMI.2016.2596743
    [19] Du B, Xiong W, Wu J, Zhang L F, Zhang L P, Tao D C. Stacked convolutional denoising auto-encoders for feature representation. IEEE Transactions on Cybernetics, 2017, 47(4): 1017-1027. doi: 10.1109/TCYB.2016.2536638
    [20] Jia C C, Shao M, Li S, Zhao H D, Fu Y. Stacked denoising tensor auto-encoder for action recognition with spatiotemporal corruptions. IEEE Transactions on Image Processing, 2018, 27(4): 1878-1887. doi: 10.1109/TIP.2017.2781299
    [21] Uwe S, Stefan R. Shrinkage fields for effective image restoration. In: Proceedings of the 27th IEEE Conference on Computer Vision and Pattern Recognition. Columbus, OH, USA: IEEE, 2014. 2774−2781
    [22] Zhang K, Zuo WM, Chen Y J, Meng D Y, Zhang L. Beyond a Gaussian denoiser: residual learning of deep CNN for image denoising. IEEE Transactions on Image Processing, 2017, 26(7): 3142-3155. doi: 10.1109/TIP.2017.2662206
    [23] Zhang K, Zuo W M, Zhang L. FFDNet: toward a fast and flexible solution for CNN based image denoising. IEEE Transactions on Image Processing, 2018, 27(9): 4608-4622. doi: 10.1109/TIP.2018.2839891
    [24] Zhang K, Zuo W M, Gu S H, Zhang L. Learning deep CNN denoiser prior for image restoration. In: Proceedings of the 30th IEEE Conference on Computer Vision and Pattern Recognition. Honolulu, HI, USA: IEEE, 2017. 2808−2817
    [25] Lefkimmiatis S. Non-local color image denoising with convolutional neural networks. In: Proceedings of the 30th IEEE Conference on Computer Vision and Pattern Recognition. Honolulu, HI, USA: IEEE, 2017. 5882−5891
    [26] Chatterjee P, Milanfar P. Is denoising dead?. IEEE Transactions on Image Processing, 2010, 19(4): 895-911. doi: 10.1109/TIP.2009.2037087
    [27] Rawat W, Wang Z H. Deep convolutional neural networks for image classification: a comprehensive review. Neural Computation, 2017, 29(9): 2352-2449. doi: 10.1162/neco_a_00990
    [28] Sergey I, Christian S. Batch normalization: Accelerating deep network training by reducing internal covariate shift. In: Proceedings of the 32nd International Conference on Machine Learning. Lille, France: ACM, 2015. 448−456
    [29] He K M, Zhang X Y, Ren S Q, Sun J. Deep residual learning for image recognition. In: Proceedings of the 29th IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas, NV, USA: IEEE, 2016. 770−778
    [30] Arbeláez P, Maire M, Fowlkes C, Malik, J. Contour detection and hierarchical image segmentation. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2011, 33(5): 898-916. doi: 10.1109/TPAMI.2010.161
    [31] Dong Y, Jian S. BM3D-Net: a convolutional neural network for transform-domain collaborative filtering. IEEE Signal Processing Letters, 2018, 25(1): 55-59. doi: 10.1109/LSP.2017.2768660
    [32] Mao X J, Shen C H, Yang Y B. Image restoration using very deep convolutional encoder-decoder networks with symmetric skip connections. In: Proceedings of the 2016 Advances in Neural Information Processing Systems. Barcelona, Spain: NIPS, 2016. 2810−2818
    [33] Yue Z S, Yong H W, Zhao Q, Zhang L, Meng D Y. Variational denoising network: Toward blind noise modeling and removal [Online], available: http://arxiv.org/abs/1908.11314v1, June 5, 2020
    [34] Xu J, Zhang L, Zhang D. A trilateral weighted sparse coding scheme for real-world image denoising. In: Proceedings of the 15th European Conference on Computer Vision. Munich, Germany: Springer Verlag, 2018. 21−38
    [35] Eirikur A, Radu T. NTIRE 2017 challenge on single image super-resolution: Dataset and study. In: Proceedings of the 30th IEEE Conference on Computer Vision and Pattern Recognition Workshops. Honolulu, HI, USA: IEEE, 2017. 1122−1131
    [36] Ma K D, Duanmu Z F, Wu Q B, Wang Z, Yong H W, Li HL, et al. Waterloo exploration database: new challenges for image quality assessment models. IEEE Transactions on Image Processing, 2017, 26(2): 1004-1016. doi: 10.1109/TIP.2016.2631888
    • 相关文章
    • 施引文献

  • 期刊类型引用(1)

    1. 李兴海，臧绍飞，马建伟，马晓毓. 基于生成对抗网络的空中红外小目标仿真模型. 火力与指挥控制. 2023(12): 34-40 . 百度学术

    其他类型引用(1)

    • 资源附件(0)
  • 加载中
图(5) / 表(15)
计量
  • 文章访问数:  497
  • HTML全文浏览量:  119
  • PDF下载量:  293
  • 被引次数: 2
出版历程
  • 收稿日期:  2019-10-23
  • 录用日期:  2020-06-01
  • 网络出版日期:  2022-10-17
  • 刊出日期:  2022-11-22

目录

摘要
HTML全文

  • 1.   相关工作

  • 1.1   CsNet模型

  • 1.2   存在问题

  • 2.   OCID模型

  • 2.1   基本思想

  • 2.2   多通道融合网络模型

  • 2.3   网络训练

  • 2.4   多通道模型网络层数分析

  • 2.5   降噪器组合分析

  • 2.6   组合方案选择

  • 3.   实验与分析

  • 3.1   测试环境

  • 3.2   单个图像上的性能比较

  • 3.3   图像数据集整体性能比较

  • 3.4   执行效率

  • 4.   结论

参考文献(36)
相关文章
施引文献
资源附件(0)

/

返回文章
返回

版权所有 © 《自动化学报》编辑部  京ICP备14019135号-6

地址：北京中关村东路95号邮政编码：100190E-mail：aas_editor@ia.ac.cn

电话：010-82544677 (日常咨询和稿件处理)，010-82544653(费用管理、寄刊)

本系统由 北京仁和汇智信息技术有限公司 开发 技术支持： info@rhhz.net   百度统计