High Dynamic Range Image Generating Algorithm Based on Detail Layer Separation of a Single Exposure Image
-
摘要: 针对利用单幅低动态范围（Low dynamic range，LDR）图像生成高动态范围（High dynamic range，HDR）图像细节信息不足的问题，本文提出了一种基于细节层分离的单曝光HDR图像生成算法.该算法基于人类视觉系统模型，首先分别提取出LDR图像的亮度分量和色度分量，对伽马校正后的亮度分量进行双边滤波，提取出亮度分量的基本层，再对基本层和亮度分量进行遍历运算，得到亮度分量的细节层；然后，构造反色调映射函数，分别对细节层和伽马校正后的亮度图像进行扩展，得到各自的反色调映图像；之后，将反色调映射后亮度分量与压缩后的细节层进行融合，得到新的亮度分量.最后，融合色度分量与新的亮度分量，并对融合后图像进行去噪，得到最终的HDR图像.实验表明该算法能挖掘出部分隐藏的图像细节信息，处理效果较好，运行效率高，具有较好的鲁棒性.Abstract: Aimed at the problem of insufficient information on high dynamic range (HDR) image generating using a single low dynamic range (LDR) image, an HDR image generating algorithm by means of detail layer separation of a single exposure image is proposed. Firstly, according to the human visual system model, the luminance component and chrominance component of the LDR image are extracted, respectively, then the gamma-corrected luminance component is filtered by bilateral filtering so as to extract the basic layer of the luminance component, and the extracted basic layer and the luminance component are traversed to get the detail layer of the luminance component. Secondly, the inverse tone mapping function is constructed to extend the detail image and the gamma-corrected luminance image to obtain the inverse tone mapping images, respectively. Thirdly, fusing the inverse tone mapping luminance component and the compressed detail layer obtains a new luminance component. Finally, the chromaticity component is combined with the new luminance component to get the fused image, which is de-noised to obtain the final HDR image. A comparison experiment shows that the proposed algorithm can excavate some hidden image detail information and has better processing effects, higher operation efficiency, and better robustness.
-
Key words:
- High dynamic range (HDR) /
- inverse tone mapping operator (iTMO) /
- human visual system (HSV) /
- gamma correction /
- detail layer separation
-
视频信号在捕捉、记录和传输的过程中都可能引入噪声.引入的噪声严重降低视频画面质量, 影响观众的视觉体验.而视频去噪是将数字视频图像的特点与现有的信号处理技术相结合, 尽可能地降低视频图像中噪声干扰的一种多媒体信息处理技术.目前存在的大多数视频去噪算法的性能都不同程度地依赖于含噪视频中的噪声参数.虽然通过各种各样的算法, 可以达到很理想的去噪效果, 但大多数算法都有个假设前提, 即噪声强度是预先知道的[1-3].人为给定噪声参数或者噪声参数不准确, 都会导致去噪效果不理想.因此对于含噪视频的噪声参数估计是视频去噪研究中一个关键性问题.近年来, 图像去噪算法在空域和变换域等取得了较大发展.其中较为优秀的是Knaus等的基于空域和频域的双域滤波图像去噪算法[4], 去噪后的图像细节信息丰富, 但是需要设置与噪声有关的经验参数. Pierazzo等[5]利用非局部贝叶斯去噪替换了文献[4]中的引导层, 构造图像快速去噪算法, 但图片的适用性不高.为了实现视频噪声去除, 肖进胜等[6]将文献[4]和三维块匹配算法相结合将图像去噪拓展到了视频去噪领域, 主客观效果较好, 但对未知噪声水平时鲁棒性较差.另外Knaus等[7]基于双域滤波引入了鲁棒噪声估计, 部分解决了人为设定噪声值的问题. Dabov等[8]对视频图像进行3D稀疏变换后再滤波(Video block-matching and 3-D filtering, VBM3D), 取得了较优秀的去噪性能.但该算法耗时高, 且去噪视频存在块效应. Matteo等提出了VBM4D[9]算法, 该算法将VBM3D拓展到4维结构, 能更好地保存视频的细节.上述去噪算法均没有对噪声进行有效的估计, 对于未知噪声的视频序列不能获得其最佳的去噪效果.
高斯白噪声是视频图像采集中最常见的一种噪声, 针对该噪声的估计主要分为空域、时域和空时域[10]三种.空域法通常分为基于块[11-12], 基于滤波[13]和变换域三种方法[14]. Amer等[15]采用自适应平均的方法对所有块的方差进行选取和平均, 基于块进行噪声估计, 但该算法对平滑块的数量有严格的要求.基于图像块的算法估计结果受图像内容和噪声强度影响很大, 而Pyatykh等[16]提出的基于主成分分析(Principal component analysis, PCA)的方法则对含噪图像没有严格的要求, 且估计结果较精确.柳薇[17]利用PCA的思想对图像块进行噪声估计, 图像块的协方差矩阵最小特征值作为噪声方差的估计值, 该方法无需图像含有许多同种类区域. Aditya等[18]是一种基于奇异值分解的比较稳定的噪声估计方法, 用奇异值的尾部数据进行噪声强度估计, 降低图像信息对噪声估计的干扰.而时域的方法主要考虑帧与帧之间的关系, 对视频的整体运动较难把握, 因此需要进行运动检测或者运动补偿. Yin等[19]提出基于运动估计的视频噪声估计算法, 考虑到了视频编码, 该算法能对各类型的视频信号进行准确的估计.目前主要有算法[10, 20-21]利用了时空域的信息对视频噪声估计, Zlokolica等[20]主要用小波变换系数对空时域进行分析, 然而该方法计算复杂性较高. Ghazal等[10]利用5个域来探索空时域的信息, 每个域的局部相似性主要利用了高斯拉普拉斯算子, 该算法估计效果较好. Yang等[21]利用Sobel梯度作为同种类块的衡量标准, 利用了3个域进行噪声估计, 计算复杂性降低.总体上说, 噪声估计算法的效果都有待提高.
考虑到PCA对含噪图像和噪声类型的鲁棒性, 本文提出一种基于PCA的分块视频噪声估计.本文所提出的方法有如下创新: 1)首先通过前后帧块匹配寻找相似块, 充分利用了视频序列的相关性, 并进行前后帧的差分运算以消除视频运动的影响. 2)使用正态分布函数作为选择弱纹理块的阈值函数, 使得计算复杂度降低, 同时简化了算法模型. 3)设置了明确的迭代指标, 使得最终结果更加精确.通过理论分析和实验结果表明本文的视频噪声估计算法具有较大的应用范围, 成功的运用于盲视频去噪.
1. 基于PCA的图像噪声估计
文献[14]提出的基于PCA的图像噪声水平估计算法, 对于纹理信息丰富的噪声图, 基于PCA的噪声估计会高估其噪声水平.若先选择噪声图中的弱纹理块, PCA则可以精确地估计出噪声水平, 因此本文算法首先选择含噪图中的弱纹理块, 再基于弱纹理块估计图像的噪声水平.含噪图像块模型为
$ \begin{equation} \label{eq1} {y_i}={z_i}+{n_i} \end{equation} $
(1) 其中, $z_i$是原始图像第$i$个矢量块, $y_i$是观测到的矢量块, $n_i$是零均值高斯噪声.图像块可以认为是欧氏空间的数据, 利用PCA计算最小方差向量.协方差矩阵定义如下:
$ \begin{equation} \label{eq2} \Sigma_y=\frac{1}{M}\sum\limits_{i=1}^{N}(y_i-\mu)(y_i-\mu )^{\rm T} \end{equation} $
(2) 其中, $M$是数据数目, $\mu$是数据集$y_i$的平均数.投影到最小方差方向数据的方差与协方差矩阵最小特征值相等, 可得到下述公式:
$ \begin{equation} \label{eq3} \lambda_{\min}(\Sigma_y)=\lambda_{\min}(\Sigma_z)+\sigma_n^2 \end{equation} $
(3) $\Sigma_y$和$\Sigma_z$分别指噪声块y和不含噪块z的协方差矩阵, $\lambda_{\min}$表示最小特征值.对于一般的图像块, $\lambda_{\min}(\Sigma_z)$是未知的.弱纹理块只适用于低维子空间, 它的协方差矩阵的最小特征值约为零, 对于弱纹理块噪声水平$\hat{\sigma }_{n}^{2}$可以简化为
$ \begin{equation} \label{eq4} \hat{\sigma }_{n}^{2}={{\lambda}_{\min }}({{\Sigma }_{y'}}) \end{equation} $
(4) ${{\sum }_{y'}}$为噪声图中所有弱纹理块的协方差矩阵.因此, 只要从噪声图像中选择出弱纹理块就能估计出噪声水平.梯度协方差矩阵能反应出图像的纹理信息, $N\times N$的含噪图像块$n$表示成列向量形式为${{N}^{2}}\times 1$.若${{D}_{h}}$和${{D}_{v}}$是由3阶滤波算子构造的水平和垂直方向的算子, 均为${{N}^{2}}\times {{N}^{2}}$的常对角矩阵, 从而梯度矩阵为
$ \begin{equation} \label{eq5} {{G}_{n}}=[{{D}_{h}}n\quad {{D}_{v}}n] \end{equation} $
(5) 梯度协方差矩阵$C_n=G_n^{\rm T} G_n$的期望为
$ \begin{align} \label{eq6} {\rm E}({{C}_{n}})=\left[\begin{matrix} {\rm E}({{n}^{\rm T}}D_{h}^{\rm T}{{D}_{h}}n)&0 \\ 0&{\rm E}({{n}^{\rm T}}D_{v}^{\rm T}{{D}_{v}}n) \\ \end{matrix} \right] \end{align} $
(6) 含噪块的梯度矩阵如下(其中${z_f}$是不含噪的平坦块)
$ \begin{align} \label{eq7} {{G}_{y}}=\, &[{{D}_{h}}({{z}_{f}}+n)\ {{D}_{v}}({{z}_{f}}+n)]=\nonumber\\ &[D_h n \ D_v n]=G_n \end{align} $
(7) 对角线的元素有相同的特性, 设
$ \begin{equation} \label{eq8} \varepsilon(n) ={{n}^{\rm T}}D_{h}^{\rm T}{{D}_{h}}n+{{n}^{\rm T}}D_{v}^{\rm T}{{D}_{v}}n \end{equation} $
(8) $\varepsilon (n)$的生成函数决定了其分布[15], 且$\varepsilon(n)$的生成函数与伽马(Gamma)分布的生成函数形式一致, 因此对应的Gamma分布的形状参数$\alpha$和尺度参数$\beta $, 分别为
$ \begin{equation} \label{eq9} \begin{cases} \alpha =\displaystyle\frac{N^2}{2} \\[2mm] \beta =\displaystyle\frac{2}{N^2} \sigma_n^2{\rm tr}(D_h^{\rm T} D_h+D_v^{\rm T} D_v) = 2\sigma_n^2 \\ \end{cases} \end{equation} $
(9) 该算法主要通过Gamma函数来逼近从而求得最终的阈值函数, 但Gamma函数形式较复杂, 不利于广泛的应用.同时原算法文献[14]中设置经验的迭代次数作为迭代停止条件, 虽然效果不错, 但始终存在适应性[22-23]的隐患.
2. 基于正态分布阈值的视频噪声估计
本文视频噪声估计算法首先通过前后帧块匹配寻找相似块, 对匹配效果最佳的块(弱纹理块)进行噪声估计, 并进行前后帧的差分运算以消除视频运动的影响.其次修改了选择弱纹理块的阈值函数, 使得判断标准更加精确, 减少图像纹理信息对估计结果的干扰.
2.1 基于帧间块匹配的视频噪声估计
视频图像序列前后两帧图像在时间上具有很强的相关性.原本拥有很多纹理和细节信息的块, 如果它在前后两帧具有较强的相关性, 那么差分的结果仍然会产生一个平滑块, 降低了图像信息对噪声估计的影响, 同时降低了噪声水平对估计结果的影响.算法首先对当前帧图像进行块划分, 然后对于每一图像块在前一帧图像内进行块匹配寻找相似块, 并根据最小代价得到最佳匹配块, 所有块与最佳匹配块的差值块合并得到帧间差分图像, 接下来将差分图像作为原始含噪图像进行噪声估计.较朱磊等[24]对整幅图像进行差分运算, 本文算法的效率和精确度得到了提高.
假设观察到的视频图像为
$ \begin{equation} \label{eq10} I(i, j, n)=S(i, j, n)+N(i, j, n) \end{equation} $
(10) 其中, $S(i, j, n)$为原始不含噪的视频帧, $N(i, j, n)$为噪声信号, $n$为帧编号, $i$, $j$是像素坐标.经过块匹配, 我们选择的是匹配效果最佳的块(弱纹理块)进行噪声估计.通过选择弱纹理块, 降低了图像纹理对噪声估计的干扰, 对于最佳匹配块有:
$ \begin{equation} \label{eq11} S(i, j, n)=S({{i}^\prime}, {{j}^\prime}, n+1) \end{equation} $
(11) 此时的差分图像可以表示为:
$ \begin{align} \label{eq12} D(i, j, n)=\, &I(i, j, n)-I({{i}^\prime}, {{j}^\prime}, n+1)= \nonumber\\ &N(i, j, n)-N({{i}^\prime}, {{j}^\prime}, n+1) \end{align} $
(12) 假如原始图像的实际噪声方差为$\sigma _N^2$, 根据概率计算式(12)中差分图像的噪声方差$\sigma _D^2$有:
$ \begin{equation} \label{eq13} \sigma _{D}^{2}=2\sigma _{N}^{2} \end{equation} $
(13) 因此, 如果原始图像中前后两帧的最佳匹配块足够接近, 那么差分图像块将会变为平滑块, 该平滑块的方差可以认为是噪声造成的, 可以用式(13)进行噪声方差的估计.
2.2 基于正态分布的阈值函数
对于伽马(Gamma)分布, 通过如下图 1所示可以得到:当形状参数$\alpha $越大其峰值越远离$Y$轴, 同时越逼近正态分布.当$\alpha$为正整数时, 分布可看作$\alpha $个独立的指数分布之和, 当$\alpha $趋向于较大数值时, 分布近似于正态分布.普通参数的Gamma分布可以看作多个独立的Gamma分布之和.按照中心极限定理, 独立同分布的随机变量之和趋于正态分布[25].
由图 1, $\alpha $, $\beta$的变化也可看出当$\alpha$足够大时Gamma分布近似正态分布.通过计算可以得到:
$ \begin{eqnarray*} \label{eq14} \underset{\alpha \to \infty }{\mathop{\lim}}\Gamma(\alpha, \beta ) =N(\mu, {{\sigma }^{2}}), \mu=\alpha \beta, \sigma ^2=\alpha \beta ^2 \end{eqnarray*} $
(14) 由于梯度算子的大小只与块的大小有关, 不受含噪图像的影响, 因此当用3阶滤波算子时, 水平和垂直梯度算子为常矩阵, $D_{h}^{\rm T}{{D}_{h}}+D_{v}^{\rm T}{{D}_{v}}$也为常矩阵.本文中, $\alpha$值为${N}^{2}/{2}$, 块的大小为5, 可以用正态分布近似Gamma分布, 于是由式(9)和(14)可得到正态分布的均值和方差为
$ \begin{equation} \label{eq15} \mu =\sigma_{n}^{2}{{N}^{2}}, {{\sigma }^{2}}=2{{N}^{2}}\sigma _{n}^{4} \end{equation} $
(15) 可得到本文的阈值为
$ \begin{equation} \label{eq16} \tau =\sigma _n^2{{F}^{-1}}(\delta, {{N}^{2}}, \sqrt{2}N) \end{equation} $
(16) 其中, $F^{-1}(\delta, \alpha, \beta)$是正态分布的逆累加分布函数, $\delta$是人为给定的显著性水平(本文为0.99).当显著性水平和噪声水平给定时, 阈值随之确定.这里经过推导简化了Gamma分布的形状参数$\alpha $和尺度参数$\beta$, 同时用正态分布替换了Gamma分布, 对算法的运算函数也进行了简化.而当图像块梯度协方差矩阵的最大特征值小于上述阈值时, 即为选定的弱纹理块, 再对图像中的弱纹理区域利用PCA进行噪声估计.实验结果表明当块大小小于5时, 同样可以达到较好的估计效果.改进的正态分布函数和Gamma分布的噪声估计准确度(单位: dB)对比如下表所示:
表 1 不同分布函数噪声估计对比Table 1 Comparison of noise estimation for different functionNoise level (dB) Lena Akiyo Bus Coastguard ${{\sigma }_{n}}=10$ Liu等[14] 9.68 9.88 9.69 9.79 ${{\sigma }_{n}}=10$ Proposed 9.86 9.79 9.97 9.93 ${{\sigma }_{n}}=20$ Liu等[14] 19.56 19.61 19.64 19.67 ${{\sigma }_{n}}=20$ Proposed 19.72 19.65 19.78 19.74 ${{\sigma }_{n}}=30$ Liu等[14] 29.54 29.54 29.13 29.59 ${{\sigma }_{n}}=30$ Proposed 29.65 29.81 29.50 29.67 ${{\sigma }_{n}}=40$ Liu等[14] 38.43 39.34 38.99 39.37 ${{\sigma }_{n}}=40$ Proposed 39.50 39.38 39.64 39.60 由上表可以看出, 替换后的函数估计效果更好.因此噪声估计采用的分布函数改为正态分布完全可行且取得更好的估计效果.大量实验结果表明迭代次数达到6次时, 噪声水平可基本达到稳定.但是为了进一步提高噪声估计算法的稳定性, 对于迭代次数的设置, 本文采用经验次数和前后两次噪声估计水平的差值比例也可确定来决定迭代停止条件.下面将讨论一下针对不同噪声水平, 改进算法相对于其他算法噪声估计的效果.当噪声强度小于10 dB时, 大部分图像算法的有效性都会降低, 但Shin等[26]算法例外, 它仅在低噪环境下工作稳定可靠.由于Shin等提出的自适应高斯滤波的算法只适用于低噪环境, 因此仅在$\sigma<15$的情况下比较Liu等[14]、Pyatykh等[16]、Shin等[26]和本文算法的实验结果.在低噪声强度下噪声估计对比结果如图 2所示, 噪声估计的误差定义为$\delta (\sigma )=|\hat{\sigma }-\sigma |$ (dB).分别选取了Lena (含有细节较少)和Baboon (含有细节较多)等图片进行测试.由图可以看出本文算法比Pyatykh等[16]、Aditya等[18]和Shin等[26]误差较小.对于Liu等[14], 本文算法在$\sigma <10$时也明显误差较小.当图像含有复杂的纹理结构, 图像块的最小特征值大于0, 估计误差较大.由图 2 (a)和(b)对比看出, 细节较少的图片噪声估计更为精确.本文算法的噪声强度估计结果对细节较少和细节较多的图片均较对比算法精确, 说明本文的噪声估计算法在低噪条件下有较高的准确性.
在较高噪声水平情况下, Pyatykh等[16]是目前广为应用的基于主成分分析的噪声估计方法, 有较高的精确性和较快的速度.由曲线图可以看出, Pyatykh等[16]估计误差随着噪声水平增加, 当误差大于40 dB时逐渐减小, Aditya等[18]估计误差相对较稳定, Liu等[14]算法估计误差较小, 本文算法估计误差比这3种算法小.因此, 本文算法在高噪声水平下对噪声的估计结果较其他算法精确, 受噪声强度的影响较小.通常一段视频噪声的分布是均匀的, 每帧的噪声水平是类似的.考虑到视频噪声的突变情况, 本文在对视频进行噪声估计时, 利用前后帧信息和PCA得到当前帧的噪声水平, 因此当下一帧出现噪声突变时, 对估计结果没有影响.
2.3 算法整体流程
本文视频噪声估计算法首先通过前后帧块匹配寻找相似块, 充分利用了视频序列的相关性, 并进行前后帧的差分运算以消除视频运动的影响.其次修改了选择弱纹理块的阈值函数, 用正态分布函数简化了计算复杂度降低.最后设置了明确的迭代指标, 使得估计结果更加精确.本文的视频噪声水平估计过程如下图 4所示:
图 4 本文算法迭代噪声水平估计流程图Fig. 4 Flowchart of the iterative noise level estimation for proposed algorithm3. 实验结果
为验证本文算法对视频进行噪声估计的效果, 使用两个CIF格式的标准测试视频, 两个测试视频为: Flowergarden和Football.算法运行环境为Windows XP, CPU-Intel Core i5-2500 K, 主频3.30 GHz, 内存3 GB, 32 bit.由于Shin等[26]数据取自原文, 因此本文对这两个测试视频同样加入均值为0, 标准差为20, 30, 40的高斯白噪声与算法Amer等[15]、Pyatykh等[16]、Liu等[14]进行对比. 图 5~图 7是本文算法和其他算法在视频序列前40帧不同噪声水平的估计误差, 对于不同的视频序列和噪声水平, 本文算法的估计误差较低.
图 5 加噪20 dB视频序列(Flower, Football)估计误差Fig. 5 Noise estimation error for 20 dB noisy sequences (Flower, Football)
图 6 加噪30 dB视频序列(Flower, Football)估计误差Fig. 6 Noise estimation error for 30 dB noisy sequences (Flower, Football)
图 7 加噪40 dB视频序列(Flower, Football)估计误差Fig. 7 Noise estimation error for 40 dB noisy sequences (Flower, Football)PSNR和SSIM是两个比较常用的评价去噪效果的客观指标, 本文选用这两个指标来对VBM3D算法、PID算法、VBM4D算法和文献[6]算法加噪声估计进行对比.由于VBM3D和VBM4D未加入噪声估计, 因此测试程序中设定随机取真实值附近的噪声水平进行视频去噪.不同噪声水平下各算法的去噪效果的PSNR和SSIM对比如表 2所示:
表 2 VBM3D、PID、VBM4D和本文算法的PSNR和SSIM对比Table 2 The comparisons of PSNR and SSIM results of VBM3D, PID, VBM4D and proposed algorithmNoise level (dB) Algorithm Akiyo PSNR/SSIM Mobile PSNR/SSIM Flowergarden PSNR/SSIM Foreman PSNR/SSIM Football PSNR/SSIM ${{\sigma }_{n}}=10$ VBM3D 35.488/0.877 32.374/0.954 34.250/0.984 34.313/0.902 33.048/0.951 ${{\sigma }_{n}}=10$ PID 31.396/0.763 29.538/0.917 31.276/0.962 31.094/0.844 30.048/0.921 ${{\sigma }_{n}}=10$ VBM4D 30.290/0.730 29.727/0.915 29.972/0.842 30.078/0.813 29.833/0.923 ${{\sigma }_{n}}=10$ Proposed 37.842/0.944 32.454/0.972 33.675/0.983 36.295/0.938 33.488/0.960 ${{\sigma }_{n}}=20$ VBM3D 30.239 /0.715 27.653/0.897 29.444/0.961 29.587/0.786 28.171/0.868 ${{\sigma }_{n}}=20$ PID 26.011/0.836 24.572/0.833 25.945/0.896 25.937/0.675 24.889/0.793 ${{\sigma }_{n}}=20$ VBM4D 29.594/0.767 27.249/0.898 27.599/0.852 28.904/0.797 27.727/0.885 ${{\sigma }_{n}}=20$ Proposed 34.986/0.925 28.322/0.936 29.386/0.957 33.098/0.878 29.890/0.894 ${{\sigma }_{n}}=30$ VBM3D 27.463/0.609 25.025/0.853 26.611/0.932 26.934/0.698 25.406/0.783 ${{\sigma }_{n}}=30$ PID 23.051/0.815 21.803/0.769 22.895/0.825 23.017/0.565 21.929/0.676 ${{\sigma }_{n}}=30$ VBM4D 29.026/0.780 25.884/0.883 26.185/0.848 28.208/0.782 26.557/0.842 ${{\sigma }_{n}}=30$ Proposed 32.579/0.866 26.045/0.898 27.098/0.932 31.379/0.835 27.995/0.825 从表 2中的对比结果可以看出, 本文算法的PSNR和SSIM比VBM3D算法在大多数情况下高出很多, 主要是因为VBM3D处理过后像素值减小, 图像的亮度降低, 导致PSNR与SSIM均较低.对于Flowergarden视频序列, 本文客观效果在噪声水平较低情况下比VBM3D略低, 主要因为在对视频去噪时, 本文指定的是真实噪声水平利用VBM3D进行测试, 而实际情况中并不可能准确获取图像的真实噪声水平. PID算法中加入了噪声估计, 但综合而言, 本文的客观指标在各种噪声水平均比PID略高.上述表格表明, 本文算法与VBM3D、PID、VBM4D进行对比时, 客观效果优势较明显.因此说明本文算法不仅去除了图像中的噪声, 而且较好地保持了图像本身结构的信息, 去噪效果较为优秀, 同时加入了噪声估计应用范围更广.
4. 结论
本文提出了一种新颖的视频噪声估计算法, 充分利用了视频序列的相关性, 利用帧间进行相似块的搜索, 基于最小代价准则获得帧间的差分图像, 消除了视频运动的影响, 得到初步的弱纹理差分图像:引入基于块的噪声估计, 能自适应地获取噪声水平参数, 并提出正态分布函数作为文中选择弱纹理块的阈值函数, 降低了计算复杂度, 另设置了明确的迭代指标使得估计的噪声水平更加精确.最后考虑像素会受到噪声饱和效应的影响, 避免了在高噪声水平下的低估现象.通过理论分析和实验结果表明本文提出的视频噪声估计算法估计精确, 可运用到盲视频去噪领域, 具有广阔的应用前景.
-
图 3 空间域滤波和值域滤波对应图示
Fig. 3 Corresponding figure of spatial filtering and range filtering
表 2 DRIM对比图中红、绿、蓝各像素点所占百分比(%)
Table 2 Percentage of red pixel, green pixel and blue pixel in DRIM (%)
DRIM 算法 (Ⅰ) (Ⅱ) (Ⅲ) (Ⅳ) (Ⅴ) (Ⅵ) (Ⅶ) 平均值 Akyuz 6.26 26.84 7.45 25.72 9.5 1.27 2.71 11.39 Banterl 3.58 26.02 5.37 27.41 9.68 1.98 1.55 10.79 Red Huo 1.58 20.38 8.42 10.56 4.49 5.38 1.42 7.46 Zhu 2.23 23.01 4.89 15.36 8.13 1.03 1.58 8.03 本文 2.03 22.76 4.34 17.35 8.11 2.74 1.4 8.39 Akyuz 48.13 22.78 19.1 12.84 13.53 5.27 23.34 20.71 Banterl 34.2 15.98 8.02 13.99 13.25 4.32 21.34 15.87 Green Huo 20.27 4.48 19.39 5.93 7.63 5.45 30.63 13.39 Zhu 17.02 5.72 5.3 17.47 16.38 3.21 10.23 10.76 本文 10.83 5.16 4.34 9.74 14.64 3.47 12.82 8.71 Akyuz 24.19 42.21 16.17 10.37 8.37 9.37 3.95 16.37 Banterl 25.61 37.48 24.18 12.46 9.09 10.36 5.25 17.77 Blue Huo 21.84 36.37 20.71 9.96 4.27 10.32 4.84 15.47 Zhu 26.87 37.29 33.19 13.09 10.63 15.43 5.94 20.34 本文 28.32 38.28 32.48 12.88 10.44 19.73 5.66 21.11 
下载: 导出CSV
表 3 图像处理后动态范围对比
Table 3 Comparisons of dynamic range
图像 Akyuz Banterl Huo Zhu 本文 (Ⅰ) $7.8 \times 10^4$ $3.2 \times 10^5$ $2.4 \times 10^6$ $6.7 \times 10^6$ $2.5 \times 10^6$ (Ⅱ) $3.2 \times 10^4$ $1.2 \times 10^5$ $1.2 \times 10^6$ $4.5 \times 10^6$ $1.1 \times 10^6$ (Ⅲ) $4.3 \times 10^5$ $2.1 \times 10^6$ $9.4 \times 10^6$ $1.6 \times 10^7$ $9.8 \times 10^6$ (Ⅳ) $7.1 \times 10^4$ $2.7 \times 10^5$ $2.1 \times 10^6$ $5.3 \times 10^6$ $2.0 \times 10^6$ (Ⅴ) $3.5 \times 10^4$ $1.5 \times 10^5$ $1.3 \times 10^6$ $4.9 \times 10^6$ $1.2 \times 10^6$ (Ⅵ) $5.0 \times 10^4$ $2.1 \times 10^5$ $1.8 \times 10^6$ $1.9 \times 10^6$ $1.7 \times 10^6$ (Ⅶ) $6.8 \times 10^4$ $2.9 \times 10^5$ $2.1 \times 10^6$ $5.8 \times 10^6$ $1.8 \times 10^6$
下载: 导出CSV
-
[1] 陆许明, 朱雄泳, 李智文, 麦建业, 谭洪舟.一种亮度可控与细节保持的高动态范围图像色调映射方法.自动化学报, 2015, 41(6):1080-1092 http://www.aas.net.cn/CN/abstract/abstract18683.shtmlLu Xu-Ming, Zhu Xiong-Yong, Li Zhi-Wen, Mai Jian-Ye, Tan Hong-Zhou. A brightness-scaling and detail-preserving tone mapping method for high dynamic range images. Acta Automatica Sinica, 2015, 41(6):1080-1092 http://www.aas.net.cn/CN/abstract/abstract18683.shtml [2] 杨克虎, 姬靖, 郭建军, 郁文生.高动态范围图像和色阶映射算子.自动化学报, 2009, 35(2):113-122 http://www.aas.net.cn/CN/abstract/abstract17906.shtmlYang Ke-Hu, Ji Jing, Guo Jian-Jun, Yu Wen-Sheng. High dynamic range images and tone mapping operator. Acta Automatica Sinica, 2009, 35(2):113-122 http://www.aas.net.cn/CN/abstract/abstract17906.shtml [3] Sun M Z, Shi M Y. A HDRI display algorithm based on image color appearance model. In: Proceedings of the 15th International Conference on Computer and Information Science. Okayama, Japan: IEEE, 2016. 1-6 [4] Huo Y Q, Yang F. High-dynamic range image generation from single low-dynamic range image. IET Image Processing, 2016, 10(3):198-205 doi: 10.1049/iet-ipr.2014.0782 [5] Huo Y Q, Zhang X D. Single image-based HDR imaging with CRF estimation. In: Proceedings of the 2016 International Conference On Communication Problem-Solving (ICCP). Taipei, China: IEEE, 2016. 1-3 [6] Oh T H, Lee J Y, Tai Y W, Kweon I S. Robust high dynamic range imaging by rank minimization. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2015, 37(6):1219-1232 doi: 10.1109/TPAMI.2014.2361338 [7] Kuo P H, Tang C S, Chien S Y. Content-adaptive inverse tone mapping. In: Proceedings of the 2012 IEEE Visual Communications and Image Processing. San Diego, CA, USA: IEEE, 2012. 1-6 [8] Le Pendu M, Guillemot C, Thoreau D. Local inverse tone curve learning for high dynamic range image scalable compression. IEEE Transactions on Image Processing, 2015, 24(12):5753-5763 doi: 10.1109/TIP.2015.2483899 [9] 霍永青, 彭启琮.高动态范围图像及反色调映射算子.系统工程与电子技术, 2012, 34(4):821-826 http://d.old.wanfangdata.com.cn/Periodical/xtgcydzjs201204032Huo Yong-Qing, Peng Qi-Cong. High dynamic range images and reverse tone mapping operators. Systems Engineering and Electronics, 2012, 34(4):821-826 http://d.old.wanfangdata.com.cn/Periodical/xtgcydzjs201204032 [10] Daly S J, Feng X F. Bit-depth extension using spatiotemporal microdither based on models of the equivalent input noise of the visual system. In: Proceedings of SPIE Volume 5008, Color Imaging Ⅷ: Processing, Hardcopy, and Applications. Santa Clara, CA, United States: SPIE, 2003. 455-466 [11] Daly S J, Feng X F. Decontouring: prevention and removal of false contour artifacts. In: Proceedings of the SPIE Volume 5292, Human Vision and Electronic Imaging IX. San Jose, California, United States: SPIE, 2004. 130-149 [12] Banterle F, Debattista K, Artusi A, Pattanaik S, Myszkowski K, Ledda P, Chalmers A. High dynamic range imaging and low dynamic range expansion for generating HDR content. Computer Graphics Forum, 2009, 28(8):2343-2367 doi: 10.1111/j.1467-8659.2009.01541.x [13] Akyüz A O, Fleming R, Riecke B E, Reinhard E, Bülthoff H H. Do HDR displays support LDR content?: a psychophysical evaluation. ACM Transactions on Graphics, 2007, 26(3): Article No. 38 [14] Hsia S C, Kuo T T. High-performance high dynamic range image generation by inverted local patterns. IET Image Processing, 2015, 9(12):1083-1091 doi: 10.1049/iet-ipr.2014.0853 [15] Didyk P, Mantiuk R, Hein M, Seidel H P. Enhancement of bright video features for HDR displays. Computer Graphics Forum, 2008, 27(4):1265-1274 doi: 10.1111/j.1467-8659.2008.01265.x [16] Martin M, Fleming R, Sorkine O, Gutierrez D. Understanding exposure for reverse tone mapping. In: Proceedings of the Congreso Español de Informática Gráfica. Aire-la-Ville, Switzerland: Eurographics Association, 2008. 189-198 [17] Banterle F, Ledda P, Debattista K, Chalmers A, Bloj M. A framework for inverse tone mapping. The Visual Computer, 2007, 23(7):467-478 doi: 10.1007/s00371-007-0124-9 [18] Banterle F, Ledda P, Debattista K, Chalmers A. Expanding low dynamic range videos for high dynamic range applications. In: Proceedings of the 24th Spring Conference on Computer Graphics. Budmerice, Slovakia: ACM, 2010. 33-41 [19] Wang L D, Wei L Y, Zhou K, Guo B N, Shum H Y. High dynamic range image hallucination. In: Proceedings of the 2007 Symposium on Interactive 3D Graphics and Games. San Diego, California: ACM, 2007. Article No. 72 [20] Celebi A T, Duvar R, Urhan O. Fuzzy fusion based high dynamic range imaging using adaptive histogram separation. IEEE Transactions on Consumer Electronics, 2015, 61(1):119-127 doi: 10.1109/TCE.2015.7064119 [21] Huo Y Q, Yang F, Dong L, Brost V. Physiological inverse tone mapping based on retina response. The Visual Computer, 2014, 30(5):507-517 doi: 10.1007/s00371-013-0875-4 [22] 朱恩弘, 张红英, 吴亚东, 霍永青.单幅图像的高动态范围图像生成方法.计算机辅助设计与图形学学报, 2016, 28(10):1713-1722 doi: 10.3969/j.issn.1003-9775.2016.10.013Zhu En-Hong, Zhang Hong-Ying, Wu Ya-Dong, Huo Yong-Qing. Method of generating high dynamic range image from a single image. Journal of Computer-Aided Design and Computer Graphics, 2016, 28(10):1713-1722 doi: 10.3969/j.issn.1003-9775.2016.10.013 [23] Wei Z, Wen C Y, Li Z G. Local inverse tone mapping for scalable high dynamic range image coding. IEEE Transactions on Circuits and Systems for Video Technology, 2016, to be published, doi: 10.1109/TCSVT.2016.2611944 [24] Schlick C. Quantization techniques for visualization of high dynamic range pictures. Photorealistic Rendering Techniques. Berlin, Heidelberg: Springer, 1995. 7-20 [25] Aydin T O, Mantiuk R, Myszkowski K, Seidel H P. Dynamic range independent image quality assessment. In: Proceedings of Special Interest Group on Graphics and Interactive Techniques. Los Angeles, California: ACM, 2008. 期刊类型引用(8)
1. 董良振，田建艳，杨胜强，陈海滨. 基于光照校正和图像融合的零件表面图像增强. 计算机工程. 2024(06): 245-254 . 
百度学术2. 王琛，张凌云，刘波，张航. 基于无人机图像的城市道路停车巡检方法. 交通信息与安全. 2024(04): 90-101 . 百度学术3. 徐少平，林珍玉，陈孝国，李芬，杨晓辉. 采用多通道浅层CNN构建的多降噪器最优组合模型. 自动化学报. 2022(11): 2797-2811 . 本站查看4. 苏素平，李虹，孙志毅，孙前来，王银. 无人机图像的输电线断股检测方法研究. 太原科技大学学报. 2021(01): 32-36 . 百度学术5. 索岩，崔智勇. 基于中国剩余定理的高动态图像可逆数据隐藏. 计算机仿真. 2021(01): 167-171 . 百度学术6. 张媛媛，张红英. 结合饱和度调节的单曝光HDR图像生成方法. 吉林大学学报(理学版). 2021(02): 309-318 . 百度学术7. 曹义亲，何恬，刘龙标. 基于改进LSD直线检测算法的钢轨表面边界提取. 华东交通大学学报. 2021(03): 95-101 . 百度学术8. 吴卓钊，范科峰，莫玮. 多尺度权重评估的MSRCR混合曝光成像算法. 计算机工程与应用. 2021(17): 224-229 . 百度学术其他类型引用(14)
-
下载:
计量
- 文章访问数: 1552
- HTML全文浏览量: 533
- PDF下载量: 123
- 被引次数: 22
