-
摘要: 噪声估计在视频去噪领域具有重要的研究意义.实际生活中的噪声都是未知的，然而现存的视频去噪算法通常都假定视频的噪声水平是已知的，本文提出一种基于主成分分析（Principal component analysis，PCA）的分块视频噪声估计算法.首先，基于帧间进行块匹配寻找相似块，得到差分图像以消除视频运动的影响；其次，将正态分布函数作为阈值函数简化噪声估计算法模型；最后，设置明确迭代指标使得估计的结果更加精确，且降低了计算复杂度.主观视觉效果和客观指标对比表明，本文提出的基于主成分分析的分块视频噪声估计算法比其他优秀的噪声估计算法误差小同时鲁棒性高，能准确地估计视频噪声.Abstract: Noise estimation is an important issue in video denoising applications. However, in practice the noise level is unknown in most cases, but most existing denoising algorithms simply assume the noise level is known beforehand. In this paper, we propose a block-based video noise estimation algorithm via the principal component analysis (PCA). Firstly, similar blocks are searched by block matching between frames, and the difference image is obtained to eliminate the influence of video motion. Secondly, a thresholding function of normal distribution is used to simplify the model of noise estimation. Finally, setting clear iterative metrics makes the estimation results more accurate and reduces the computational complexity. Subjective and objective comparisons show that, compared with other state-of-art algorithms, the noise estimation of the proposed video denoising algorithm is robust against small errors and achieves outstanding denoising effect.
-
视频信号在捕捉、记录和传输的过程中都可能引入噪声.引入的噪声严重降低视频画面质量, 影响观众的视觉体验.而视频去噪是将数字视频图像的特点与现有的信号处理技术相结合, 尽可能地降低视频图像中噪声干扰的一种多媒体信息处理技术.目前存在的大多数视频去噪算法的性能都不同程度地依赖于含噪视频中的噪声参数.虽然通过各种各样的算法, 可以达到很理想的去噪效果, 但大多数算法都有个假设前提, 即噪声强度是预先知道的[1-3].人为给定噪声参数或者噪声参数不准确, 都会导致去噪效果不理想.因此对于含噪视频的噪声参数估计是视频去噪研究中一个关键性问题.近年来, 图像去噪算法在空域和变换域等取得了较大发展.其中较为优秀的是Knaus等的基于空域和频域的双域滤波图像去噪算法[4], 去噪后的图像细节信息丰富, 但是需要设置与噪声有关的经验参数. Pierazzo等[5]利用非局部贝叶斯去噪替换了文献[4]中的引导层, 构造图像快速去噪算法, 但图片的适用性不高.为了实现视频噪声去除, 肖进胜等[6]将文献[4]和三维块匹配算法相结合将图像去噪拓展到了视频去噪领域, 主客观效果较好, 但对未知噪声水平时鲁棒性较差.另外Knaus等[7]基于双域滤波引入了鲁棒噪声估计, 部分解决了人为设定噪声值的问题. Dabov等[8]对视频图像进行3D稀疏变换后再滤波(Video block-matching and 3-D filtering, VBM3D), 取得了较优秀的去噪性能.但该算法耗时高, 且去噪视频存在块效应. Matteo等提出了VBM4D[9]算法, 该算法将VBM3D拓展到4维结构, 能更好地保存视频的细节.上述去噪算法均没有对噪声进行有效的估计, 对于未知噪声的视频序列不能获得其最佳的去噪效果.
高斯白噪声是视频图像采集中最常见的一种噪声, 针对该噪声的估计主要分为空域、时域和空时域[10]三种.空域法通常分为基于块[11-12], 基于滤波[13]和变换域三种方法[14]. Amer等[15]采用自适应平均的方法对所有块的方差进行选取和平均, 基于块进行噪声估计, 但该算法对平滑块的数量有严格的要求.基于图像块的算法估计结果受图像内容和噪声强度影响很大, 而Pyatykh等[16]提出的基于主成分分析(Principal component analysis, PCA)的方法则对含噪图像没有严格的要求, 且估计结果较精确.柳薇[17]利用PCA的思想对图像块进行噪声估计, 图像块的协方差矩阵最小特征值作为噪声方差的估计值, 该方法无需图像含有许多同种类区域. Aditya等[18]是一种基于奇异值分解的比较稳定的噪声估计方法, 用奇异值的尾部数据进行噪声强度估计, 降低图像信息对噪声估计的干扰.而时域的方法主要考虑帧与帧之间的关系, 对视频的整体运动较难把握, 因此需要进行运动检测或者运动补偿. Yin等[19]提出基于运动估计的视频噪声估计算法, 考虑到了视频编码, 该算法能对各类型的视频信号进行准确的估计.目前主要有算法[10, 20-21]利用了时空域的信息对视频噪声估计, Zlokolica等[20]主要用小波变换系数对空时域进行分析, 然而该方法计算复杂性较高. Ghazal等[10]利用5个域来探索空时域的信息, 每个域的局部相似性主要利用了高斯拉普拉斯算子, 该算法估计效果较好. Yang等[21]利用Sobel梯度作为同种类块的衡量标准, 利用了3个域进行噪声估计, 计算复杂性降低.总体上说, 噪声估计算法的效果都有待提高.
考虑到PCA对含噪图像和噪声类型的鲁棒性, 本文提出一种基于PCA的分块视频噪声估计.本文所提出的方法有如下创新: 1)首先通过前后帧块匹配寻找相似块, 充分利用了视频序列的相关性, 并进行前后帧的差分运算以消除视频运动的影响. 2)使用正态分布函数作为选择弱纹理块的阈值函数, 使得计算复杂度降低, 同时简化了算法模型. 3)设置了明确的迭代指标, 使得最终结果更加精确.通过理论分析和实验结果表明本文的视频噪声估计算法具有较大的应用范围, 成功的运用于盲视频去噪.
1. 基于PCA的图像噪声估计
文献[14]提出的基于PCA的图像噪声水平估计算法, 对于纹理信息丰富的噪声图, 基于PCA的噪声估计会高估其噪声水平.若先选择噪声图中的弱纹理块, PCA则可以精确地估计出噪声水平, 因此本文算法首先选择含噪图中的弱纹理块, 再基于弱纹理块估计图像的噪声水平.含噪图像块模型为
$ \begin{equation} \label{eq1} {y_i}={z_i}+{n_i} \end{equation} $
(1) 其中, $z_i$是原始图像第$i$个矢量块, $y_i$是观测到的矢量块, $n_i$是零均值高斯噪声.图像块可以认为是欧氏空间的数据, 利用PCA计算最小方差向量.协方差矩阵定义如下:
$ \begin{equation} \label{eq2} \Sigma_y=\frac{1}{M}\sum\limits_{i=1}^{N}(y_i-\mu)(y_i-\mu )^{\rm T} \end{equation} $
(2) 其中, $M$是数据数目, $\mu$是数据集$y_i$的平均数.投影到最小方差方向数据的方差与协方差矩阵最小特征值相等, 可得到下述公式:
$ \begin{equation} \label{eq3} \lambda_{\min}(\Sigma_y)=\lambda_{\min}(\Sigma_z)+\sigma_n^2 \end{equation} $
(3) $\Sigma_y$和$\Sigma_z$分别指噪声块y和不含噪块z的协方差矩阵, $\lambda_{\min}$表示最小特征值.对于一般的图像块, $\lambda_{\min}(\Sigma_z)$是未知的.弱纹理块只适用于低维子空间, 它的协方差矩阵的最小特征值约为零, 对于弱纹理块噪声水平$\hat{\sigma }_{n}^{2}$可以简化为
$ \begin{equation} \label{eq4} \hat{\sigma }_{n}^{2}={{\lambda}_{\min }}({{\Sigma }_{y'}}) \end{equation} $
(4) ${{\sum }_{y'}}$为噪声图中所有弱纹理块的协方差矩阵.因此, 只要从噪声图像中选择出弱纹理块就能估计出噪声水平.梯度协方差矩阵能反应出图像的纹理信息, $N\times N$的含噪图像块$n$表示成列向量形式为${{N}^{2}}\times 1$.若${{D}_{h}}$和${{D}_{v}}$是由3阶滤波算子构造的水平和垂直方向的算子, 均为${{N}^{2}}\times {{N}^{2}}$的常对角矩阵, 从而梯度矩阵为
$ \begin{equation} \label{eq5} {{G}_{n}}=[{{D}_{h}}n\quad {{D}_{v}}n] \end{equation} $
(5) 梯度协方差矩阵$C_n=G_n^{\rm T} G_n$的期望为
$ \begin{align} \label{eq6} {\rm E}({{C}_{n}})=\left[\begin{matrix} {\rm E}({{n}^{\rm T}}D_{h}^{\rm T}{{D}_{h}}n)&0 \\ 0&{\rm E}({{n}^{\rm T}}D_{v}^{\rm T}{{D}_{v}}n) \\ \end{matrix} \right] \end{align} $
(6) 含噪块的梯度矩阵如下(其中${z_f}$是不含噪的平坦块)
$ \begin{align} \label{eq7} {{G}_{y}}=\, &[{{D}_{h}}({{z}_{f}}+n)\ {{D}_{v}}({{z}_{f}}+n)]=\nonumber\\ &[D_h n \ D_v n]=G_n \end{align} $
(7) 对角线的元素有相同的特性, 设
$ \begin{equation} \label{eq8} \varepsilon(n) ={{n}^{\rm T}}D_{h}^{\rm T}{{D}_{h}}n+{{n}^{\rm T}}D_{v}^{\rm T}{{D}_{v}}n \end{equation} $
(8) $\varepsilon (n)$的生成函数决定了其分布[15], 且$\varepsilon(n)$的生成函数与伽马(Gamma)分布的生成函数形式一致, 因此对应的Gamma分布的形状参数$\alpha$和尺度参数$\beta $, 分别为
$ \begin{equation} \label{eq9} \begin{cases} \alpha =\displaystyle\frac{N^2}{2} \\[2mm] \beta =\displaystyle\frac{2}{N^2} \sigma_n^2{\rm tr}(D_h^{\rm T} D_h+D_v^{\rm T} D_v) = 2\sigma_n^2 \\ \end{cases} \end{equation} $
(9) 该算法主要通过Gamma函数来逼近从而求得最终的阈值函数, 但Gamma函数形式较复杂, 不利于广泛的应用.同时原算法文献[14]中设置经验的迭代次数作为迭代停止条件, 虽然效果不错, 但始终存在适应性[22-23]的隐患.
2. 基于正态分布阈值的视频噪声估计
本文视频噪声估计算法首先通过前后帧块匹配寻找相似块, 对匹配效果最佳的块(弱纹理块)进行噪声估计, 并进行前后帧的差分运算以消除视频运动的影响.其次修改了选择弱纹理块的阈值函数, 使得判断标准更加精确, 减少图像纹理信息对估计结果的干扰.
2.1 基于帧间块匹配的视频噪声估计
视频图像序列前后两帧图像在时间上具有很强的相关性.原本拥有很多纹理和细节信息的块, 如果它在前后两帧具有较强的相关性, 那么差分的结果仍然会产生一个平滑块, 降低了图像信息对噪声估计的影响, 同时降低了噪声水平对估计结果的影响.算法首先对当前帧图像进行块划分, 然后对于每一图像块在前一帧图像内进行块匹配寻找相似块, 并根据最小代价得到最佳匹配块, 所有块与最佳匹配块的差值块合并得到帧间差分图像, 接下来将差分图像作为原始含噪图像进行噪声估计.较朱磊等[24]对整幅图像进行差分运算, 本文算法的效率和精确度得到了提高.
假设观察到的视频图像为
$ \begin{equation} \label{eq10} I(i, j, n)=S(i, j, n)+N(i, j, n) \end{equation} $
(10) 其中, $S(i, j, n)$为原始不含噪的视频帧, $N(i, j, n)$为噪声信号, $n$为帧编号, $i$, $j$是像素坐标.经过块匹配, 我们选择的是匹配效果最佳的块(弱纹理块)进行噪声估计.通过选择弱纹理块, 降低了图像纹理对噪声估计的干扰, 对于最佳匹配块有:
$ \begin{equation} \label{eq11} S(i, j, n)=S({{i}^\prime}, {{j}^\prime}, n+1) \end{equation} $
(11) 此时的差分图像可以表示为:
$ \begin{align} \label{eq12} D(i, j, n)=\, &I(i, j, n)-I({{i}^\prime}, {{j}^\prime}, n+1)= \nonumber\\ &N(i, j, n)-N({{i}^\prime}, {{j}^\prime}, n+1) \end{align} $
(12) 假如原始图像的实际噪声方差为$\sigma _N^2$, 根据概率计算式(12)中差分图像的噪声方差$\sigma _D^2$有:
$ \begin{equation} \label{eq13} \sigma _{D}^{2}=2\sigma _{N}^{2} \end{equation} $
(13) 因此, 如果原始图像中前后两帧的最佳匹配块足够接近, 那么差分图像块将会变为平滑块, 该平滑块的方差可以认为是噪声造成的, 可以用式(13)进行噪声方差的估计.
2.2 基于正态分布的阈值函数
对于伽马(Gamma)分布, 通过如下图 1所示可以得到:当形状参数$\alpha $越大其峰值越远离$Y$轴, 同时越逼近正态分布.当$\alpha$为正整数时, 分布可看作$\alpha $个独立的指数分布之和, 当$\alpha $趋向于较大数值时, 分布近似于正态分布.普通参数的Gamma分布可以看作多个独立的Gamma分布之和.按照中心极限定理, 独立同分布的随机变量之和趋于正态分布[25].
由图 1, $\alpha $, $\beta$的变化也可看出当$\alpha$足够大时Gamma分布近似正态分布.通过计算可以得到:
$ \begin{eqnarray*} \label{eq14} \underset{\alpha \to \infty }{\mathop{\lim}}\Gamma(\alpha, \beta ) =N(\mu, {{\sigma }^{2}}), \mu=\alpha \beta, \sigma ^2=\alpha \beta ^2 \end{eqnarray*} $
(14) 由于梯度算子的大小只与块的大小有关, 不受含噪图像的影响, 因此当用3阶滤波算子时, 水平和垂直梯度算子为常矩阵, $D_{h}^{\rm T}{{D}_{h}}+D_{v}^{\rm T}{{D}_{v}}$也为常矩阵.本文中, $\alpha$值为${N}^{2}/{2}$, 块的大小为5, 可以用正态分布近似Gamma分布, 于是由式(9)和(14)可得到正态分布的均值和方差为
$ \begin{equation} \label{eq15} \mu =\sigma_{n}^{2}{{N}^{2}}, {{\sigma }^{2}}=2{{N}^{2}}\sigma _{n}^{4} \end{equation} $
(15) 可得到本文的阈值为
$ \begin{equation} \label{eq16} \tau =\sigma _n^2{{F}^{-1}}(\delta, {{N}^{2}}, \sqrt{2}N) \end{equation} $
(16) 其中, $F^{-1}(\delta, \alpha, \beta)$是正态分布的逆累加分布函数, $\delta$是人为给定的显著性水平(本文为0.99).当显著性水平和噪声水平给定时, 阈值随之确定.这里经过推导简化了Gamma分布的形状参数$\alpha $和尺度参数$\beta$, 同时用正态分布替换了Gamma分布, 对算法的运算函数也进行了简化.而当图像块梯度协方差矩阵的最大特征值小于上述阈值时, 即为选定的弱纹理块, 再对图像中的弱纹理区域利用PCA进行噪声估计.实验结果表明当块大小小于5时, 同样可以达到较好的估计效果.改进的正态分布函数和Gamma分布的噪声估计准确度(单位: dB)对比如下表所示:
表 1 不同分布函数噪声估计对比Table 1 Comparison of noise estimation for different functionNoise level (dB) Lena Akiyo Bus Coastguard ${{\sigma }_{n}}=10$ Liu等[14] 9.68 9.88 9.69 9.79 ${{\sigma }_{n}}=10$ Proposed 9.86 9.79 9.97 9.93 ${{\sigma }_{n}}=20$ Liu等[14] 19.56 19.61 19.64 19.67 ${{\sigma }_{n}}=20$ Proposed 19.72 19.65 19.78 19.74 ${{\sigma }_{n}}=30$ Liu等[14] 29.54 29.54 29.13 29.59 ${{\sigma }_{n}}=30$ Proposed 29.65 29.81 29.50 29.67 ${{\sigma }_{n}}=40$ Liu等[14] 38.43 39.34 38.99 39.37 ${{\sigma }_{n}}=40$ Proposed 39.50 39.38 39.64 39.60 由上表可以看出, 替换后的函数估计效果更好.因此噪声估计采用的分布函数改为正态分布完全可行且取得更好的估计效果.大量实验结果表明迭代次数达到6次时, 噪声水平可基本达到稳定.但是为了进一步提高噪声估计算法的稳定性, 对于迭代次数的设置, 本文采用经验次数和前后两次噪声估计水平的差值比例也可确定来决定迭代停止条件.下面将讨论一下针对不同噪声水平, 改进算法相对于其他算法噪声估计的效果.当噪声强度小于10 dB时, 大部分图像算法的有效性都会降低, 但Shin等[26]算法例外, 它仅在低噪环境下工作稳定可靠.由于Shin等提出的自适应高斯滤波的算法只适用于低噪环境, 因此仅在$\sigma<15$的情况下比较Liu等[14]、Pyatykh等[16]、Shin等[26]和本文算法的实验结果.在低噪声强度下噪声估计对比结果如图 2所示, 噪声估计的误差定义为$\delta (\sigma )=|\hat{\sigma }-\sigma |$ (dB).分别选取了Lena (含有细节较少)和Baboon (含有细节较多)等图片进行测试.由图可以看出本文算法比Pyatykh等[16]、Aditya等[18]和Shin等[26]误差较小.对于Liu等[14], 本文算法在$\sigma <10$时也明显误差较小.当图像含有复杂的纹理结构, 图像块的最小特征值大于0, 估计误差较大.由图 2 (a)和(b)对比看出, 细节较少的图片噪声估计更为精确.本文算法的噪声强度估计结果对细节较少和细节较多的图片均较对比算法精确, 说明本文的噪声估计算法在低噪条件下有较高的准确性.
在较高噪声水平情况下, Pyatykh等[16]是目前广为应用的基于主成分分析的噪声估计方法, 有较高的精确性和较快的速度.由曲线图可以看出, Pyatykh等[16]估计误差随着噪声水平增加, 当误差大于40 dB时逐渐减小, Aditya等[18]估计误差相对较稳定, Liu等[14]算法估计误差较小, 本文算法估计误差比这3种算法小.因此, 本文算法在高噪声水平下对噪声的估计结果较其他算法精确, 受噪声强度的影响较小.通常一段视频噪声的分布是均匀的, 每帧的噪声水平是类似的.考虑到视频噪声的突变情况, 本文在对视频进行噪声估计时, 利用前后帧信息和PCA得到当前帧的噪声水平, 因此当下一帧出现噪声突变时, 对估计结果没有影响.
2.3 算法整体流程
本文视频噪声估计算法首先通过前后帧块匹配寻找相似块, 充分利用了视频序列的相关性, 并进行前后帧的差分运算以消除视频运动的影响.其次修改了选择弱纹理块的阈值函数, 用正态分布函数简化了计算复杂度降低.最后设置了明确的迭代指标, 使得估计结果更加精确.本文的视频噪声水平估计过程如下图 4所示:
图 4 本文算法迭代噪声水平估计流程图Fig. 4 Flowchart of the iterative noise level estimation for proposed algorithm3. 实验结果
为验证本文算法对视频进行噪声估计的效果, 使用两个CIF格式的标准测试视频, 两个测试视频为: Flowergarden和Football.算法运行环境为Windows XP, CPU-Intel Core i5-2500 K, 主频3.30 GHz, 内存3 GB, 32 bit.由于Shin等[26]数据取自原文, 因此本文对这两个测试视频同样加入均值为0, 标准差为20, 30, 40的高斯白噪声与算法Amer等[15]、Pyatykh等[16]、Liu等[14]进行对比. 图 5~图 7是本文算法和其他算法在视频序列前40帧不同噪声水平的估计误差, 对于不同的视频序列和噪声水平, 本文算法的估计误差较低.
图 5 加噪20 dB视频序列(Flower, Football)估计误差Fig. 5 Noise estimation error for 20 dB noisy sequences (Flower, Football)
图 6 加噪30 dB视频序列(Flower, Football)估计误差Fig. 6 Noise estimation error for 30 dB noisy sequences (Flower, Football)
图 7 加噪40 dB视频序列(Flower, Football)估计误差Fig. 7 Noise estimation error for 40 dB noisy sequences (Flower, Football)PSNR和SSIM是两个比较常用的评价去噪效果的客观指标, 本文选用这两个指标来对VBM3D算法、PID算法、VBM4D算法和文献[6]算法加噪声估计进行对比.由于VBM3D和VBM4D未加入噪声估计, 因此测试程序中设定随机取真实值附近的噪声水平进行视频去噪.不同噪声水平下各算法的去噪效果的PSNR和SSIM对比如表 2所示:
表 2 VBM3D、PID、VBM4D和本文算法的PSNR和SSIM对比Table 2 The comparisons of PSNR and SSIM results of VBM3D, PID, VBM4D and proposed algorithmNoise level (dB) Algorithm Akiyo PSNR/SSIM Mobile PSNR/SSIM Flowergarden PSNR/SSIM Foreman PSNR/SSIM Football PSNR/SSIM ${{\sigma }_{n}}=10$ VBM3D 35.488/0.877 32.374/0.954 34.250/0.984 34.313/0.902 33.048/0.951 ${{\sigma }_{n}}=10$ PID 31.396/0.763 29.538/0.917 31.276/0.962 31.094/0.844 30.048/0.921 ${{\sigma }_{n}}=10$ VBM4D 30.290/0.730 29.727/0.915 29.972/0.842 30.078/0.813 29.833/0.923 ${{\sigma }_{n}}=10$ Proposed 37.842/0.944 32.454/0.972 33.675/0.983 36.295/0.938 33.488/0.960 ${{\sigma }_{n}}=20$ VBM3D 30.239 /0.715 27.653/0.897 29.444/0.961 29.587/0.786 28.171/0.868 ${{\sigma }_{n}}=20$ PID 26.011/0.836 24.572/0.833 25.945/0.896 25.937/0.675 24.889/0.793 ${{\sigma }_{n}}=20$ VBM4D 29.594/0.767 27.249/0.898 27.599/0.852 28.904/0.797 27.727/0.885 ${{\sigma }_{n}}=20$ Proposed 34.986/0.925 28.322/0.936 29.386/0.957 33.098/0.878 29.890/0.894 ${{\sigma }_{n}}=30$ VBM3D 27.463/0.609 25.025/0.853 26.611/0.932 26.934/0.698 25.406/0.783 ${{\sigma }_{n}}=30$ PID 23.051/0.815 21.803/0.769 22.895/0.825 23.017/0.565 21.929/0.676 ${{\sigma }_{n}}=30$ VBM4D 29.026/0.780 25.884/0.883 26.185/0.848 28.208/0.782 26.557/0.842 ${{\sigma }_{n}}=30$ Proposed 32.579/0.866 26.045/0.898 27.098/0.932 31.379/0.835 27.995/0.825 从表 2中的对比结果可以看出, 本文算法的PSNR和SSIM比VBM3D算法在大多数情况下高出很多, 主要是因为VBM3D处理过后像素值减小, 图像的亮度降低, 导致PSNR与SSIM均较低.对于Flowergarden视频序列, 本文客观效果在噪声水平较低情况下比VBM3D略低, 主要因为在对视频去噪时, 本文指定的是真实噪声水平利用VBM3D进行测试, 而实际情况中并不可能准确获取图像的真实噪声水平. PID算法中加入了噪声估计, 但综合而言, 本文的客观指标在各种噪声水平均比PID略高.上述表格表明, 本文算法与VBM3D、PID、VBM4D进行对比时, 客观效果优势较明显.因此说明本文算法不仅去除了图像中的噪声, 而且较好地保持了图像本身结构的信息, 去噪效果较为优秀, 同时加入了噪声估计应用范围更广.
4. 结论
本文提出了一种新颖的视频噪声估计算法, 充分利用了视频序列的相关性, 利用帧间进行相似块的搜索, 基于最小代价准则获得帧间的差分图像, 消除了视频运动的影响, 得到初步的弱纹理差分图像:引入基于块的噪声估计, 能自适应地获取噪声水平参数, 并提出正态分布函数作为文中选择弱纹理块的阈值函数, 降低了计算复杂度, 另设置了明确的迭代指标使得估计的噪声水平更加精确.最后考虑像素会受到噪声饱和效应的影响, 避免了在高噪声水平下的低估现象.通过理论分析和实验结果表明本文提出的视频噪声估计算法估计精确, 可运用到盲视频去噪领域, 具有广阔的应用前景.
-
图 4 本文算法迭代噪声水平估计流程图
Fig. 4 Flowchart of the iterative noise level estimation for proposed algorithm
图 5 加噪20 dB视频序列(Flower, Football)估计误差
Fig. 5 Noise estimation error for 20 dB noisy sequences (Flower, Football)
图 6 加噪30 dB视频序列(Flower, Football)估计误差
Fig. 6 Noise estimation error for 30 dB noisy sequences (Flower, Football)
图 7 加噪40 dB视频序列(Flower, Football)估计误差
Fig. 7 Noise estimation error for 40 dB noisy sequences (Flower, Football)
表 1 不同分布函数噪声估计对比
Table 1 Comparison of noise estimation for different function
Noise level (dB) Lena Akiyo Bus Coastguard ${{\sigma }_{n}}=10$ Liu等[14] 9.68 9.88 9.69 9.79 ${{\sigma }_{n}}=10$ Proposed 9.86 9.79 9.97 9.93 ${{\sigma }_{n}}=20$ Liu等[14] 19.56 19.61 19.64 19.67 ${{\sigma }_{n}}=20$ Proposed 19.72 19.65 19.78 19.74 ${{\sigma }_{n}}=30$ Liu等[14] 29.54 29.54 29.13 29.59 ${{\sigma }_{n}}=30$ Proposed 29.65 29.81 29.50 29.67 ${{\sigma }_{n}}=40$ Liu等[14] 38.43 39.34 38.99 39.37 ${{\sigma }_{n}}=40$ Proposed 39.50 39.38 39.64 39.60 
下载: 导出CSV
表 2 VBM3D、PID、VBM4D和本文算法的PSNR和SSIM对比
Table 2 The comparisons of PSNR and SSIM results of VBM3D, PID, VBM4D and proposed algorithm
Noise level (dB) Algorithm Akiyo PSNR/SSIM Mobile PSNR/SSIM Flowergarden PSNR/SSIM Foreman PSNR/SSIM Football PSNR/SSIM ${{\sigma }_{n}}=10$ VBM3D 35.488/0.877 32.374/0.954 34.250/0.984 34.313/0.902 33.048/0.951 ${{\sigma }_{n}}=10$ PID 31.396/0.763 29.538/0.917 31.276/0.962 31.094/0.844 30.048/0.921 ${{\sigma }_{n}}=10$ VBM4D 30.290/0.730 29.727/0.915 29.972/0.842 30.078/0.813 29.833/0.923 ${{\sigma }_{n}}=10$ Proposed 37.842/0.944 32.454/0.972 33.675/0.983 36.295/0.938 33.488/0.960 ${{\sigma }_{n}}=20$ VBM3D 30.239 /0.715 27.653/0.897 29.444/0.961 29.587/0.786 28.171/0.868 ${{\sigma }_{n}}=20$ PID 26.011/0.836 24.572/0.833 25.945/0.896 25.937/0.675 24.889/0.793 ${{\sigma }_{n}}=20$ VBM4D 29.594/0.767 27.249/0.898 27.599/0.852 28.904/0.797 27.727/0.885 ${{\sigma }_{n}}=20$ Proposed 34.986/0.925 28.322/0.936 29.386/0.957 33.098/0.878 29.890/0.894 ${{\sigma }_{n}}=30$ VBM3D 27.463/0.609 25.025/0.853 26.611/0.932 26.934/0.698 25.406/0.783 ${{\sigma }_{n}}=30$ PID 23.051/0.815 21.803/0.769 22.895/0.825 23.017/0.565 21.929/0.676 ${{\sigma }_{n}}=30$ VBM4D 29.026/0.780 25.884/0.883 26.185/0.848 28.208/0.782 26.557/0.842 ${{\sigma }_{n}}=30$ Proposed 32.579/0.866 26.045/0.898 27.098/0.932 31.379/0.835 27.995/0.825
下载: 导出CSV
-
[1] Xiong R Q, Liu H F, Zhang X F, Zhang J, Ma S W, Wu F, Gao W. Image denoising via bandwise adaptive modeling and regularization exploiting nonlocal similarity. IEEE Transactions on Image Processing, 2016, 25 (12):5793-5805 doi: 10.1109/TIP.2016.2614160 [2] Yang C C, Guo S M, Tsai J S H. Evolutionary fuzzy block-matching-based camera raw image denoising. IEEE Transactions on Cybernetics, 2017, 47 (9):2862-2871 doi: 10.1109/TCYB.2016.2611679 [3] Liu W H, Wu S Q. Superpixels-based non-local means image denoising. In: Proceedings of the 11th Conference on Industrial Electronics and Applications (ICIEA). Hefei, China: IEEE, 2016. 673-677 http://ieeexplore.ieee.org/document/7603668/ [4] Knaus C, Zwicker M. Dual-domain image denoising. In: Proceedings of the 20th IEEE International Conference on Image Processing (ICIP). Melbourne, VIC, Australia: IEEE, 2013. 440-444 http://ieeexplore.ieee.org/document/6738091 [5] Pierazzo N, Lebrun M, Rais M E, Morel M, Facciolo G. Non-local dual image denoising. In: Proceedings of the 2014 IEEE International Conference on Image Processing (ICIP). Paris, France: IEEE, 2014. 813-817. http://ieeexplore.ieee.org/document/7025163/ [6] 肖进胜, 李文昊, 姜红, 彭红, 朱神添.基于双域滤波的三维块匹配视频去噪算法.通信学报, 2015, 36 (9):91-97 http://d.old.wanfangdata.com.cn/Periodical/txxb201509010Xiao Jin-Sheng, Li Wen-Hao, Jiang Hong, Peng Hong, Zhu Shen-Tian. Three dimensional block-matching video denoising algorithm based on dual-domain filtering. Journal on Communications, 2015, 36 (9):91-97 http://d.old.wanfangdata.com.cn/Periodical/txxb201509010 [7] Knaus C, Zwicker M. Progressive image denoising. IEEE Transactions on Image Processing, 2014, 23 (7):3114-3125 doi: 10.1109/TIP.2014.2326771 [8] Dabov K, Foi A, Katkovnik V, Egiazarian K. Image denoising by sparse 3-D transform-domain collaborative filtering. IEEE Transactions on Image Processing, 2007, 16 (8):2080-2095 doi: 10.1109/TIP.2007.901238 [9] Maggioni M, Boracchi G, Foi A, Egiazarian K. Video denoising, deblocking, and enhancement through separable 4-D nonlocal spatiotemporal transforms. IEEE Transactions on Image Processing, 2012, 21 (9):3952-3966 doi: 10.1109/TIP.2012.2199324 [10] Ghazal M, Amer A, Ghrayeb A. A real-time technique for spatio-temporal video noise estimation. IEEE Transactions on Circuits and Systems for Video Technology, 2007, 17 (12):1690-1699 doi: 10.1109/TCSVT.2007.903805 [11] Sateesh Kumar K, Sreenivasulu G, Vandar Rajan S. Block based SVD approach for Additive White Gaussian Noise level estimation in satellite images. In: Proceedings of the 3rd International Conference on Computing for Sustainable Global Development (INDIACom). New Delhi, India: IEEE, 2016. 1464-1468 http://ieeexplore.ieee.org/document/7724510/ [12] He M F, Liu M Z, Zhao C Q, Yang J B, Zhou H. An image-noise estimation approach using singular value decomposition. In: Proceedings of the 8th International Conference on Digital Image Processing (ICDIP 2016). Chengu, China: SPIE, 2016. doi: 10.1117/12.2243817 [13] Zhao H, Zhao C H. An automatic denoising method with estimation of noise level and detection of noise variability in continuous glucose monitoring. IFAC-PapersOnLine, 2016, 49 (7):785-790 doi: 10.1016/j.ifacol.2016.07.284 [14] Liu X H, Tanaka M, Okutomi M. Single-image noise level estimation for blind denoising. IEEE Transactions on Image Processing, 2013, 22 (12):5226-5237 doi: 10.1109/TIP.2013.2283400 [15] Amer A, Dubois E. Fast and reliable structure-oriented video noise estimation. IEEE Transactions on Circuits and Systems for Video Technology, 2005, 15 (1):113-118 doi: 10.1109/TCSVT.2004.837017 [16] Pyatykh S, Hesser J, Zheng L. Image noise level estimation by principal component analysis. IEEE Transactions on Image Processing, 2013, 22 (2):687-699 doi: 10.1109/TIP.2012.2221728 [17] 柳薇. SVD域的图像高斯噪声强度估计.中国图象图形学报, 2012, 17(8):923-933 http://d.old.wanfangdata.com.cn/Periodical/zgtxtxxb-a201208005Liu Wei. Gaussian noiselevel estimation in SVD domain for image. Journal of Image and Graphics, 2012, 17 (8):923-933 http://d.old.wanfangdata.com.cn/Periodical/zgtxtxxb-a201208005 [18] Das A K, Chandle J O. Accurate noise level estimation through singular values and linear regression. In: Proceedings of the 2016 IEEE International Conference on Engineering and Technology (ICETECH). Coimbatore, India: IEEE, 2016. 1132-1135 http://ieeexplore.ieee.org/document/7569427/ [19] Yin W J, Zhao H W. A novel method of video noise estimation based on motion estimation. In: Proceedings of the 2012 IEEE International Conference on Signal Processing, Communication and Computing (ICSPCC). Hong Kong, China: IEEE, 2012. 295-299 http://ieeexplore.ieee.org/document/6335636/ [20] Zlokolica V, Pizurica A, Philips W. Noise estimation for video processing based on spatio-temporal gradients. IEEE Signal Processing Letters, 2006, 13 (6):337-340 doi: 10.1109/LSP.2006.870481 [21] Yang S M, Tai S C. A fast and reliable algorithm for video noise estimation based on spatio-temporal sobel gradients. In: Proceedings of the 2011 International Conference on Electrical, Control and Computer Engineering (INECCE). Pahang, Malaysia: IEEE, 2011. 191-195 http://ieeexplore.ieee.org/document/5953874/ [22] 于墨, 赵铁军, 胡鹏龙, 郑德权.结构化学习的噪声可学习性分析及其应用.软件学报, 2013, 24 (10):2340-2353 http://d.old.wanfangdata.com.cn/Periodical/rjxb201310008Yu Mo, Zhao Tie-Jun, Hu Peng-Long, Zheng De-Quan. Theoretical analysis on structured learning with noisy data and its applications. Journal of Software, 2013, 24 (10):2340-2353 http://d.old.wanfangdata.com.cn/Periodical/rjxb201310008 [23] Sutour C, Aujol J F, Deledalle C A. Automatic estimation of the noise level function for adaptive blind denoising. In: Proceedings of the 24th European on Signal Processing Conference (EUSIPCO). Budapest, Hungary: HAL, 2016. 76-80 http://ieeexplore.ieee.org/document/7760213/ [24] 朱磊, 徐佩霞, 何佳.一种高效稳健的差分视频噪声估计算法.数据采集与处理, 2006, 21 (3):354-358 doi: 10.3969/j.issn.1004-9037.2006.03.021Zhu Lei, Xu Pei-Xia, He Jia. Fast and reliable differential video noise estimation algorithm. Journal of Data Acquisition and Processing, 2006, 21 (3):354-358 doi: 10.3969/j.issn.1004-9037.2006.03.021 [25] Leemis L M, McQueston J T. Univariate distribution relationships. The American Statistician, 2008, 62 (1):45-53 doi: 10.1198/000313008X270448 [26] Shin D H, Park R H, Yang S, Jung J H. Block-based noise estimation using adaptive Gaussian filtering. IEEE Transactions on Consumer Electronics, 2005, 51 (1):218-226 doi: 10.1109/TCE.2005.1405723 [27] ITU-R (International Telecommunications Union-Radiocommunications sector) Recommendation BT.601[Online], available: http://www.itu.int/rec/R-REC-BT.601/en 期刊类型引用(5)
1. 肖进胜，申梦瑶，江明俊，雷俊峰，包振宇. 融合包注意力机制的监控视频异常行为检测. 自动化学报. 2022(12): 2951-2959 . 
本站查看2. 张成，戴俊峰，熊闻心. 融合LeNet-5改进的扫描文档手写日期识别. 计算机工程与应用. 2021(09): 207-211 . 百度学术3. 张申华，杨延西，秦峤孟. 针对光栅图像的快速盲去噪方法. 中国光学. 2021(03): 596-604 . 百度学术4. 杜柏阳，孔祥玉，罗家宇. 主成分提取信息准则的加权规则. 自动化学报. 2021(12): 2815-2822 . 本站查看5. 尹进田，谢永芳，陈志文，彭涛，杨超. 基于故障传播与因果关系的故障溯源方法及其在牵引传动控制系统中的应用. 自动化学报. 2020(01): 47-57 . 本站查看其他类型引用(10)
-
下载:
计量
- 文章访问数: 2034
- HTML全文浏览量: 320
- PDF下载量: 693
- 被引次数: 15
