High Dynamic Range Image Generating Algorithm Based on Detail Layer Separation of a Single Exposure Image
-
摘要: 针对利用单幅低动态范围（Low dynamic range，LDR）图像生成高动态范围（High dynamic range，HDR）图像细节信息不足的问题，本文提出了一种基于细节层分离的单曝光HDR图像生成算法.该算法基于人类视觉系统模型，首先分别提取出LDR图像的亮度分量和色度分量，对伽马校正后的亮度分量进行双边滤波，提取出亮度分量的基本层，再对基本层和亮度分量进行遍历运算，得到亮度分量的细节层；然后，构造反色调映射函数，分别对细节层和伽马校正后的亮度图像进行扩展，得到各自的反色调映图像；之后，将反色调映射后亮度分量与压缩后的细节层进行融合，得到新的亮度分量.最后，融合色度分量与新的亮度分量，并对融合后图像进行去噪，得到最终的HDR图像.实验表明该算法能挖掘出部分隐藏的图像细节信息，处理效果较好，运行效率高，具有较好的鲁棒性.Abstract: Aimed at the problem of insufficient information on high dynamic range (HDR) image generating using a single low dynamic range (LDR) image, an HDR image generating algorithm by means of detail layer separation of a single exposure image is proposed. Firstly, according to the human visual system model, the luminance component and chrominance component of the LDR image are extracted, respectively, then the gamma-corrected luminance component is filtered by bilateral filtering so as to extract the basic layer of the luminance component, and the extracted basic layer and the luminance component are traversed to get the detail layer of the luminance component. Secondly, the inverse tone mapping function is constructed to extend the detail image and the gamma-corrected luminance image to obtain the inverse tone mapping images, respectively. Thirdly, fusing the inverse tone mapping luminance component and the compressed detail layer obtains a new luminance component. Finally, the chromaticity component is combined with the new luminance component to get the fused image, which is de-noised to obtain the final HDR image. A comparison experiment shows that the proposed algorithm can excavate some hidden image detail information and has better processing effects, higher operation efficiency, and better robustness.
-
Key words:
- High dynamic range (HDR) /
- inverse tone mapping operator (iTMO) /
- human visual system (HSV) /
- gamma correction /
- detail layer separation
-
高动态范围成像(High dynamic range imaging, HDRI)是一项近年来十分流行的技术, 简单地说就是让图像表现出更大的明暗差别, 高光不过曝, 暗调不欠曝, 使所有的层次和细节都很清楚.动态范围是环境中光照亮度级的最大值与最小值之比.现实世界真正存在的亮度差, 即最亮的物体亮度与最小的物体亮度之比为$10^8$, 而人类的眼睛所能看到的范围是$10^5$左右, 一般的显示器、照相机能表示的只有256种不同的亮度.因此, 为了在普通显示器上显示HDR图像, 必须将其动态范围进行压缩, 目前普遍采用色调映射算子(Tone mapping operators, TMOs)进行图像亮度的压缩[1-3].
随着显示器技术的发展, 比传统显示器具有更高动态范围的显示设备已稍具雏形, 同时更多高动态范围的图像和视频也因为相关技术的成熟而逐渐容易获得.然而现有的图像和视频大多还是在低动态范围的数位格式中保存, 因此如何利用反色调映射算子(Inverse tone mapping operator, ITMO)扩展亮度, 使之能够得到接近真实世界的动态范围是近年来图像处理领域热门的研究课题.反色调映射算子是实现由单幅低动态范围(Low dynamic range, LDR)图像生成一幅HDR图像的方法, 该类方法对单幅的LDR图像进行直接的转化, 不仅能实现静态HDR图像的拍摄, 还能进行HDR视频的录制.与此同时, 采用这种方法还可以将现有的大量LDR图像或视频资源生成HDR资源, 能够很好地解决HDR图像或视频资源匮乏的问题, 这些都是基于传统多曝光技术的HDR图像生成方法无法实现的.目前国内外对于单曝光HDR图像生成技术的研究已经取得了一定成果[4-8].但该技术在处理效果和处理效率上仍有相当的研究空间.
目前, 单幅LDR图像到HDR图像扩展的算法分为5类[9]:外形修整函数[10-11]、全局模型[12-14]、分类模型[15-16]、扩展映射模型[17-18]、基于用户的模型[19]以及其他一些比较特别的方法[20-23].文献[10-11]采用外形修整模型, 将LDR图像和视频中8 bit数据扩展到10 bit, 同时在扩展的变换域中将伪轮廓去除.采用这种方法扩展后的图像视频为中动态范围的图像视频.该方法并没有特别关注过曝光和欠曝光区域, 目前该模型由于扩展范围的局限性, 研究进展较缓慢; 文献[12-14]中的全局模型就是对图像或视频中的每个像素都运用相同的全局扩展函数, 该类算法复杂度通常较低, 对高质量LDR图像处理效果较好, 但往往不对压缩或量化产生的伪像作相应处理, 不能保证对压缩过的LDR图像处理的质量.而在实际应用中, 平时拍摄的图像或视频通常都进行过压缩处理, 这种情况下就需要更精确的扩展方法来避免压缩带来的伪像, 该模型的优点在于处理效率较高, 但缺点是处理图像要求高, 否则成像效果不好; 文献[15-16]提出的分类模型是尝试对LDR图像中的内容进行分区, 然后再对不同区域采取不同的策略进行处理.该模型通常是对图像中不同光源曝光程度进行分区; 文献[15]提出一种增强LDR视频亮度的交互系统, 主要思想是将1个场景分成散射区、反射区和光源区3个部分, 只增强反射区和光源区部分, 认为增强散射部分会产生伪像, 该系统是非线性的.目前采用分类模型的算法普遍存在着算法复杂度较高, 需要进行额外训练的问题.为提高算法效率, 往往需要从硬件上着手解决.扩展映射模型首先对输入的图像进行线性化, 然后采用反色调映射算子对图像的范围进行扩展[17-18], 再采用光源采样、滤波后亮度增强等方法对图像的过曝光区域进行重建.该模型是目前研究较为广泛的一种模型, 在扩展映射后还需要采用多种方法来提升图像中的信息量, 主要限制在于对过曝光区域太大的图像效果不理想; 文献[19]是基于用户的模型的代表算法, 该算法基于图像中存在过曝光和欠曝光区域类似结构的高质量块的假, 首先将LDR图像进行线性化, 然后通过查找图像中相似的高质量块对过曝光和欠曝光区域进行增强.对过曝光和欠曝光的修复分为自动和基于用户两种方式, 需要用户对图像进行修复.该模型与其他模型相比, 由于需要用户参与, 导致只能用于单帧图像而不能对视频进行HDR转换, 而且存在无法找到传递图像细节信息的块的情况.
除了以上5类常见的模型外, 还有一些比较特别的方法.文献[20]首先采用自适应直方图分离方法将原图构造出欠曝光和过曝光图像, 然后分别对过曝光和欠曝光图像进行处理, 最后采用多曝光图像融合的方法生成HDR图像; 文献[21]首先利用HVS对光的感应及理解特性, 构建HVS的局部自适应模型并对其求逆, 然后建立图像中每个像素点的局部亮度信息求取模型, 最后将每个像素的局部亮度信息运用于局部自适应模型的反函数中实现图像比特深度扩展, 在保证图像对比度的同时, 实现图像细节信息增强; 文献[22]提出一种基于光源采样的单曝光HDR图像生成算法, 通过对图像中存在的可能的光源信息进行采样, 模拟光线衰减效应, 有效地还原了高光部分的细节信息.值得注意的是, 由于单曝光LDR图像本身图像信息不足, 图像中的一些细节在生成HDR图像的过程中仍然缺失.因此, 本文提出一种基于细节层分离的单曝光HDR图像生成方法, 根据人眼视觉系统模型, 首先对图像的亮度分量进行分离, 并进行伽马校正; 然后对伽马校正后的亮度分量分离细节层, 并在反色调映射后对细节层进行融合得到新的亮度分量; 最后将图像亮度分量与色度、饱和度分量融合得到最终的HDR图像.大量对比实验表明, 本文提出的方法可以有效地提高图像的动态范围, 并挖掘出LDR图像中部分隐藏的细节信息, 一定程度上弥补了单曝光LDR图像细节信息不足的缺点, 处理效果较好, 运行效率高, 具有较好的鲁棒性.
1. 算法框架
单曝光LDR图像本身的信息不足, 主要体现在: 1)正常曝光状态下画面细节不足; 2)过曝光或欠曝光导致的连续像素点的饱和现象.针对正常曝光的画面细节不足, 可以通过构建反色调映射方法及其他常见方法解决; 而针对连续饱和区域的处理, 则是单曝光HDR生成算法的处理难点.目前, 常用的光学数字成像过程是将真实场景的光辐射值通过图像传感器(CCD或CMOS)转化为电信号, 再通过A/D (模/数转换器)转换成数字信号, 并以数字图像的方式保存下来. CCD使用一种高感光度的半导体材料制成, 能把光线转变成电荷, CCD的每个感光单位感应到的光线, 都是外界光线的集合, 最后反映到计算机能够处理的数字图像上的每个像素上.由于图像中每个像素点上像素值是受到映射到该点所有光线的影响, 故可以确定, 在单曝光LDR图像中包含了场景的细节信息, 只是因为压缩编码和CCD表面感光单元数量限制等原因, 部分被其他信息所掩盖，而只要能够分离出这部分的细节信息, 则能够更真实地还原HDR图像.
基于以上分析, 本文提出一种基于细节层分离的单曝光HDR图像生成算法, 总体框图如图 1所示.主要思路是先分离细节层以尽可能多地挖掘出过曝光和欠曝光区域的细节信息, 再对各层分别进行相应操作来扩展图像的动态范围.算法包括3部分: 1)由于人眼视觉系统中视网膜上锥状和杆状细胞对亮度和色度信息敏感度不同, HSV颜色空间更符合人眼的视觉感受, 因此, 对图像进行预处理及细节层的分离, 包括RGB空间到HSV空间的转变, 分离出亮度分量和色度分量; 然后基于某一像素点的值可能被环境光所影响的分析, 对亮度分量进行伽马校正后作保边滤波操作, 提取出亮度分量的基本层来模拟环境光, 再对基本层和伽马校正后的亮度分量进行遍历运算, 得到亮度分量的细节层. 2)构造反色调映射算子, 对伽马校正后的亮度分量和细节层分别进行亮度扩展, 使亮度分量和分离的细节层的动态范围得以扩展. 3)由于需要将从图像中挖掘出来的细节层与其他各层融合到一起才能获得更多细节信息, 所以最后融合扩展后的亮度分量色度分量得到RGB空间的HDR图像, 对之进行去噪处理得到最终的HDR图像.
2. 算法具体实现过程
2.1 细节层分离
基于人眼视觉系统模型, 首先将获得的RGB图像转换到HSV颜色空间上, 采用的转换式如下:
$ \begin{align} & V \leftarrow \max(R, G, B) \notag \\[2mm] & S \leftarrow \begin{cases} \dfrac{V-\min(R, G, B)}{V}, & \mbox{若 } ~V \neq 0\\ 0, & \mbox{其他} \end{cases}\notag\\[3mm] & H \leftarrow \begin{cases} \dfrac{60(G-B)}{(v-\min(R, G, B))}, & \mbox{若}~ V = R \\[4mm] 120 + \dfrac{60(B-R)}{(V-\min(R, G, B))}, &\mbox{若}~ V = G \\[4mm] 240 + \dfrac{60(B-R)}{(V-\min(R, G, B))}, &\mbox{若}~ V = B \end{cases} \end{align} $
(1) 其中, $R$、$G$、$B$分别为RGB空间中3个分量的像素值, H、S、V分别为HSV空间中3个分量的值, max表示取括号中像素值的最大值, min表示取括号中像素值的最小值.因为在HSV空间中H分量用角度表示, 故当$H < 0$时, 需要将H分量加上360.
基于细节层分离的算法, 首先需要对分离出来的亮度分量进行细节层的分离, 然后对不同层进行反色调映射处理, 最后再将各层及图像各个分量相融合, 这使得该算法在算法逻辑上比之前的方法更为复杂.为了保证算法运行的效率, 使算法能够达到实时运行, 在反色调映射函数的构建上选用了更为简单快速的方法, 但这也导致在反色调映射过程中, 对LDR图像的亮度处理更为粗糙, 缺少对低亮度值像素点重新线性化的过程, 影响反色调映射效果, 因此需要在反色调映射之前额外增加伽马(Gamma)校正, 对图像进行预处理.
2.1.1 伽马校正
伽马校正指利用指数运算对图像亮度曲线进行校正的过程, 伽马校正公式为
$ \begin{align} I^\prime(x, y)=cI(x, y)^\gamma+b \end{align} $
(2) 其中, $I^{\prime}(x, y)$表示伽马校正后的图像中像素点的值, $I(x, y)$为输入图像的像素值, $\gamma$为伽马校正的参数, $c$, $b$为常数参数作为调整参数.当$\gamma < 1$时, 曲线形状与对数函数类似, 会扩展低灰度值区域而压缩高灰度值区域; 当$\gamma > 1$时, 曲线形状与指数函数类似, 会扩展高灰度值区域而压缩低灰度值区域.参数对伽马函数的作用如图 2所示.
人眼视觉系统对光的敏感度在不同亮度下是不同的, 根据斯蒂文思幂定律(Stevens' power law)[24], 人眼对低亮度部分更为敏感, 对较亮的亮度值之间的感知力明显减弱, 人眼对亮度的感知曲线类似于伽马值为1/2.2时的曲线.故为了贴合人眼视觉的感知程度, 本文选用1/2.2作为伽马值.
2.1.2 细节层分离
在基于细节层分离的单曝光HDR图像生成算法中, 很重要的一步是通过选用滤波器来得到基本层, 滤波器的选用直接关系到细节层所含细节的效果如何.不同的滤波操作得到的基本层数据也不尽相同.高斯滤波为
$ \begin{align} g(i, j)=\dfrac{\sum\limits_{k, l}f(k, l)w(i, j, k, l)}{\sum\limits_{k, l}w(i, j, k, l)} \end{align} $
(3) 其中, $i$, $j$为对应像素点的行列坐标, $k$, $l$分别为空间域和值域的邻域范围内像素点的坐标, 加权系数$w(i, j, k, l)$取决于空间域核和值域核的乘积, 分母的计算结果为一个归一化常数.
空间域核表示为
$ \begin{align} d(i, j, k, l)=\exp{\left(-\frac{(i-k)^2+(j-l)^2}{2\sigma^2_d}\right)} \end{align} $
(4) 值域核表示为
$ \begin{align} r(i, j, k, l)=\exp{\left(-\frac{ \| f(i, j)-f(k, l) \|^2 }{2\sigma^2_r}\right)} \end{align} $
(5) 空间域滤波和值域滤波的对应图示如图 3所示.
图 3 空间域滤波和值域滤波对应图示Fig. 3 Corresponding figure of spatial filtering and range filtering两者相乘后, 就会产生依赖于数据的双边滤波权重函数, 如下:
$ \begin{align} w(i, j, k, l)=& \exp \left( {-\frac{(i-k)^2+(j-l)^2}{2\sigma^2_d}}- \right. \nonumber\\[2mm] & \left. {\frac{\| f(i, j)-f(k, l) \|^2 }{2\sigma^2_r}} \right) \end{align} $
(6) 由于双边滤波的滤波器系数同时由几何空间距离和像素差值决定, 所以是一种典型的保边滤波方法, 主要对图像的内容进行滤波, 而对图像的边缘滤波效果较弱.图像中的细节部分也往往出现在非边缘区域, 所以采用双边滤波能够达到分离图像细节层的目的.
对伽马校正后的图像进行双边滤波操作可以得到图像的基本层.由于为获得图像的基本层, 主要是对图像包含大量细节信息区域进行了滤波操作, 正好保留了场景中主要光源的辐射范围, 通过伽马校正图像与基本层进行对应像素相减, 可以将原图中的细节层分离出来, 即
$ \begin{align} I_d(x, y)=I^\prime(x, y)-I_b(x, y) \end{align} $
(7) 其中, $I_b(x, y)$表示图像的细节层, $I_d(x, y)$表示图像的基本层.由于直接采用伽马校正图像与基本层之差得到的细节层, 高光区域在融合过程中容易出现块效应, 为避免块效应的出现, 本文采用细节层除以基本层的方法对细节层进行压缩, 因为细节层非细节部分像素值为零, 除以基本层不会对细节层非细节部分产生影响.而块效应通常发生在高光区域, 基本层中不同区域像素值大小不同, 高光区域像素值更大, 暗区域像素值更小, 这样可以对亮暗不同区域细节进行不同比例的压缩, 同时, 也符合人眼视觉系统对暗区域亮度更敏感的特性, 即
$ \begin{align} I_d(x, y)=\frac{I^\prime(x, y)-I_b(x, y)}{I_b(x, y)} \end{align} $
(8) 其中, $I_b(x, y)$表示基本层图像的像素值, $I_d(x, y)$表示得到的细节层的像素值.采用双边滤波处理得到的细节如图 4所示, 可以看出, 用本文方法可以很好地分离出图像的基本层和细节层.
2.2 反色调映射算子的构造
选用基于Schlick的色调映射方法[24]来构造反色调映射算子.色调映射方法如下:
$ \begin{align} L_c(x, y)=\frac{pL_w(x, y)}{(p-1)L_w(x, y)+L_{\max}}, ~~~p\in[1, \infty) \end{align} $
(9) 其中, $L_C$和$L_w$分别表示显示亮度和现实世界的亮度值, $L_{\max}$表示场景中亮度的最大值, 参数$p$是一个常数值作为一个调整参数.由式(9)可知, 该色调映射算法是通过某一像素点与最亮点的比值来进行压缩映射.参数$p$越大, $L_{\max}$在映射过程中影响越小, 压缩比例越小.反之则越大.其值可由被映射的亮度范围确定, 当被映射的亮度范围较小时, 其亮度值的分辨率较小, 需要更大地压缩亮度值, 反之压缩程度较小.因此, 参数$p$可以由下面公式得到:
$ \begin{align} p=\frac{\delta L_0}{N}\times\frac{L_{\max}}{L_{\min}} \end{align} $
(10) 其中, $\theta$为调整参数, 可以取值为1. $L_0$表示背景为纯黑色时刚好可以被人眼察觉到变化的窗口的差值相加, $N$为窗口的个数, 即求取其平均值.换句话说, $p$可以被看作在色调映射之前不是黑色的最小值.而如Schlick所述[24], 可以通过简单的实验来确定$L_0$, 利用显示在黑色背景上的随机位置处具有不同亮度的斑块.可以观察到不同于黑色的最小值为$L_0$.通过试验, 本文采用类似的方法来直接获取$L_0$的值, 这里采用图 5来进行试验.
首先在图 5中找到能区分出来的最低亮度斑块, 之后确认其像素值, 得到需要的结果.经过多次试验, 在未归一化的[0, 255]的像素值域中, 根据显示设备和观察状态的不同, $L_0$的值约为5 $\sim$ 9, 本文取值为5, 归一化后约为0.02.这里的$L_{\max}$和$L_{\min}$分别表示人眼对现实世界场景中能感知到的瞬时最大和最小亮度.虽然这个值随场景而改变.但$L_{\max}/L_{\min}$可以看作一个场景的对比度.考虑到人眼在非极限条件下, 瞬时动态范围为3阶[10, 24], 因此本文选择$L_{\max}/L_{\min}$为$10^3$, 进而可得出$p$的值.
利用式(9)和式(10)可以直接推出反色调映射函数如下:
$ \begin{align} L_w = \frac{L_dL_{\max}}{p(1-L_d)+L_d} \end{align} $
(11) 通过前面的推导可知, 目前唯一没有得到的参数为$L_{\max}$.在式(11)中, $L_{\max}$表示现实中某一场景的最大值, 而在反色调映射函数中, 可以将之设置为HDR显示设备的最大像素值.经过反色调映射后的处理图如图 6所示, 左侧为原图, 右侧为反色调映射结果图, 表 1展示了处理前后图像动态范围对比结果, 动态范围的计算方法为
$ \begin{align} Dynamic~Range=\lg{\left (\frac{Max\_I}{Min\_I}\right)} \end{align} $
(12) 表 1 处理前后动态范围对比Table 1 Comparisons of dynamic range图像对 动态范围 原图像 2 处理后图像 6 其中, $Max\_I$表示图像中最亮点的亮度值, $Min\_I$表示图像中最暗点的亮度值.从表 1可以看出, 经过反色调映射后, 图像的动态范围得到扩展, 由低动态范围图像扩展成为高动态范围图像.
2.3 图像融合
将得到的新的亮度分量图像与色度、饱和度分量图像融合, 得到HSV空间下的HDR图像, 再转化为RGB空间下的HDR图像, 最后进行去噪操作, 得到去噪后的HDR图像.在整个处理过程中, 引入的噪声通常为高斯噪声或椒盐噪声, 这里的去噪操作可以采用高斯去噪等常用去噪方法, 当椒盐噪声占绝大多数时, 则采用中值滤波.
经过前面的处理后, 将得到的两幅反色调映射图像进行融合.由于在LDR图像中, 暗区往往存在较多的噪声, 而在分离细节层的过程中虽然进行了一定的压缩, 但仍不能完全消除.因此在进行图像融合时, 对图像暗区域进行简单处理.
基于算法计算效率的考虑, 本文采用的融合方法与基于光源采样[22]的融合方法类似, 但针对融合图像的不同而进行了参数的调整, 以得到更好的效果.采用式(13)对获得的两幅反色调映射图像进行融合.
$ \begin{align} & L(x, y) =\notag\\ &\ \begin{cases} \sigma I^{\prime}(x, y), & L_H(x, y) < \beta\min{lumate} \\ \gamma I^{\prime}(x, y)+\delta I_d(x, y), & \mbox{其他}\ \end{cases} \end{align} $
(13) 其中, $L(x, y)$为新的亮度分量图像素值, $I^{\prime}(x, y)$和$I_d(x, y)$分别为伽马校正后的亮度图像和细节层的反色调映射图, $\sigma$、$\beta$、$\gamma$、$\delta$为融合参数, 当反色调映射图像中的像素点小于最小亮度值的$\beta$倍时, 图像最终亮度为$\sigma I^{\prime}(x, y)$, 此时不融合细节层信息, 以减少噪声的影响, 否则为$I^{\prime}(x, y)$与$I_d(x, y)$的加权相加.本文取值分别为$\sigma=0.5$, $\beta=1.5$, $\gamma=0.8$, $\delta$ $=$ $0.2$.图像融合结果如图 7所示.
本文算法的具体步骤如下:
步骤1. 将输入的LDR图像从RGB颜色空间转换为HSV颜色空间, 分离出H (色度)、S (饱和度)和V (亮度)分量.
步骤2. 对分离出的亮度分量图像进行伽马校正.
步骤3. 对步骤2中得到的伽马校正图像进行滤波操作得到图像基本层.
步骤4. 通过对伽马校正图像与基本层进行遍历运算操作, 得到细节层.
步骤5. 构造反色调映射函数, 分别对步骤4获得的细节层和步骤2获得的伽马校正图像进行反色调映射操作, 得到各自的反色调映射后的图像.
步骤6. 融合步骤5中得到的两幅反色调映射图像, 得到新的亮度分量图像.
步骤7. 将步骤1分离的饱和度S、色度分量H与步骤6新得到的亮度分量进行融合的到HSV颜色空间中的HDR图像.
步骤8. 将步骤7得到的HSV颜色空间下的HDR图像转换到RGB颜色空间.
步骤9. 将步骤8获得的图像进行去噪处理, 消除噪声, 得到最终的HDR图像.
3. 仿真与分析
在CPU为Pentium(R)D, 3.30 GHz, 内存为8 GB的计算机上, 使用vs2013 + OpenCV2.4.11对基于细节层分层的单曝光HDR图像生成算法进行实验验证, 并将本算法实验结果与经典的Akyuz算法[13]、Banterle算法[12]、Huo算法[4]和Zhu算法[22]进行对比, 对得出的实验结果分别给出了主观和客观评价分析.
3.1 主观评价
图 8是几种算法的运算结果, 为便于展示, 将HDR图像色调映射到普通显示屏显示范围上比较.从左到右图像序列依次为原图像、Akyuz算法、Banterle算法、Huo算法、Zhu算法以及本文算法的处理结果.从几种算法的结果可以看出, Akyuz算法和Banterle算法存在着色彩信息偏移问题, 图像整体偏白, 而Huo算法在扩展过程中, 色彩信息保持较好, 但在图像的细节信息上有一定损失, 图像部分区域涂抹感较严重, 例如图中支架结构及穹顶内图案部分(图 8 (a)). Zhu算法色彩保持较好, 但某些地方细节对比度有减弱的情况.而本文提出的算法, 由于采用了细节层分离, 使图像中的细节信息在图像生成过程中得到了较好的还原, 特别是过曝光和欠曝光区域与其他几种算法相比有了较大的进步.
目前生成HDR图像常见的方法是采用多曝光图像序列(如图 9所示)进行合成.本文采用hdrsoft图像处理工具对多曝光图像序列进行合成得到HDR图像, 并将获得的图像作为真实世界动态范围相近的影像实测数据(Ground truth), 同时采用图像序列中的一幅图片作为原始LDR图像来生成HDR图像.
图 10是本文算法与多曝光融合HDR图像的对比图, 为便于显示, 同样采用了色调映射处理.最左侧图像为本文算法处理的单曝光LDR图像, 中间图像为多曝光图像序列融合而成的HDR图像, 最右侧为本文算法的处理结果图.
从图 10可以看出, 采用多曝光图像融合而成的HDR图像相较于本文提出的基于细节层分离的单曝光图像生成算法而言, 对比度更大, 色彩表现力更强.但与此同时, 由于采用多曝光融合的方法, 在一些原本色调统一的区域, 经过处理后可能出现色彩分布不均匀的现象, 例如白色建筑的天空区域.而两种算法除去对比度的不同以外, 在图像细节信息上表现基本一致.
3.2 客观评价
采用DRIM (Dynamic range independent image quality metric)[25]对算法进行客观评价. DRIM将原LDR图像与处理后的HDR图像进行对比, 来得到3种不同类型的失真, 分别用红、绿、蓝3种颜色表示.红色表示对比度翻转（HDR图像的对比关系在该部分与相应LDR图像相反).绿色表示对比度丢失（LDR图像可见的信息在HDR图像中丢失).蓝色表示对比度增强（LDR图像中不可见或不容易看见的信息在HDR图像中被增强为可见信息). DRIM对比图如图 11所示, 从左到右图像列分别为原图像、Akyuz、Banterl、Huo、Zhu以及本文算法的DRIM结果图.通过图 11可以直观地看出不同算法的各种效果.表 2是3种色彩所占图像像素点的比例. DRIM的结果表明, 本文基于细节层分离的单曝光HDR图像生成算法提升了图像的动态范围, 在增强图像细节信息的同时, 尽可能少地减少了图像细节信息的丢失, 在保留图像细节信息上, 总体表现为几种算法中最好的一种.
表 2 DRIM对比图中红、绿、蓝各像素点所占百分比(%)Table 2 Percentage of red pixel, green pixel and blue pixel in DRIM (%)DRIM 算法 (Ⅰ) (Ⅱ) (Ⅲ) (Ⅳ) (Ⅴ) (Ⅵ) (Ⅶ) 平均值 Akyuz 6.26 26.84 7.45 25.72 9.5 1.27 2.71 11.39 Banterl 3.58 26.02 5.37 27.41 9.68 1.98 1.55 10.79 Red Huo 1.58 20.38 8.42 10.56 4.49 5.38 1.42 7.46 Zhu 2.23 23.01 4.89 15.36 8.13 1.03 1.58 8.03 本文 2.03 22.76 4.34 17.35 8.11 2.74 1.4 8.39 Akyuz 48.13 22.78 19.1 12.84 13.53 5.27 23.34 20.71 Banterl 34.2 15.98 8.02 13.99 13.25 4.32 21.34 15.87 Green Huo 20.27 4.48 19.39 5.93 7.63 5.45 30.63 13.39 Zhu 17.02 5.72 5.3 17.47 16.38 3.21 10.23 10.76 本文 10.83 5.16 4.34 9.74 14.64 3.47 12.82 8.71 Akyuz 24.19 42.21 16.17 10.37 8.37 9.37 3.95 16.37 Banterl 25.61 37.48 24.18 12.46 9.09 10.36 5.25 17.77 Blue Huo 21.84 36.37 20.71 9.96 4.27 10.32 4.84 15.47 Zhu 26.87 37.29 33.19 13.09 10.63 15.43 5.94 20.34 本文 28.32 38.28 32.48 12.88 10.44 19.73 5.66 21.11 图 12是DRIM对随机选取的20幅不同单曝光HDR生成图像的评价结果折线图.从左到右分别为红、绿、蓝3种颜色像素点所占百分比, 每幅图的纵坐标为像素所占百分比, 横坐标表示每一幅生成的HDR图像.从图 12可以看出, 除了在红色像素点, Huo算法比本文提出的两种算法在个别图像中表现更好以外, 在绿色像素点本文提出的两种算法所占百分比总体都低于其他3种对比算法.蓝色像素点部分本文提出的两种算法同样优于对比算法.
表 3是5种算法对图 8中的7幅图像处理后的图像动态范围.由于处理结果中会出现动态范围数量级相同, 但具体数值不同的情况, 因此为了更清晰地反映算法性能差别, 在表达动态范围时不作对数处理, 此处采用的动态范围的计算方法为
$ \begin{align} Dynamic~Range = \frac{Max\_I}{Min\_I} \end{align} $
(14) 表 3 图像处理后动态范围对比Table 3 Comparisons of dynamic range图像 Akyuz Banterl Huo Zhu 本文 (Ⅰ) $7.8 \times 10^4$ $3.2 \times 10^5$ $2.4 \times 10^6$ $6.7 \times 10^6$ $2.5 \times 10^6$ (Ⅱ) $3.2 \times 10^4$ $1.2 \times 10^5$ $1.2 \times 10^6$ $4.5 \times 10^6$ $1.1 \times 10^6$ (Ⅲ) $4.3 \times 10^5$ $2.1 \times 10^6$ $9.4 \times 10^6$ $1.6 \times 10^7$ $9.8 \times 10^6$ (Ⅳ) $7.1 \times 10^4$ $2.7 \times 10^5$ $2.1 \times 10^6$ $5.3 \times 10^6$ $2.0 \times 10^6$ (Ⅴ) $3.5 \times 10^4$ $1.5 \times 10^5$ $1.3 \times 10^6$ $4.9 \times 10^6$ $1.2 \times 10^6$ (Ⅵ) $5.0 \times 10^4$ $2.1 \times 10^5$ $1.8 \times 10^6$ $1.9 \times 10^6$ $1.7 \times 10^6$ (Ⅶ) $6.8 \times 10^4$ $2.9 \times 10^5$ $2.1 \times 10^6$ $5.8 \times 10^6$ $1.8 \times 10^6$ 其中, $Max\_I$表示图像中最亮点的亮度值, $Min\_I$表示图像中最暗点的亮度值.从表 3可以看出, Zhu算法的基于光源采样的单曝光HDR图像生成算法, 由于对光源的采样和模拟, 动态范围表现最好, 其次为基于细节层分离的单曝光HDR图像生成算法与Huo算法.
3.3 运算时间
对于分辨率为600像素$\times$ 400像素的图片, Akyuz算法所用平均时间为0.03 s, Banterl算法为4.13 s, Huo算法为0.15 s, Zhu算法为0.106 s, 而本文算法耗时为0.058 s, 满足了对标清图像进行实时处理的要求.
4. 结论
针对单曝光LDR图像细节信息不足的问题, 本文提出了一种基于细节层分离的单曝光HDR图像生成算法.该算法结合HVS模型, 将LDR图像分离出亮度分量和色度分量.对分离出来的亮度分量进行Gamma校正, 之后再对Gamma校正后的图像采用双边滤波操作, 进行基本层与细节层分离; 然后将分离出来的细节层与Gamma校正后的亮度分量分别进行反色调映射后进行融合得到新的亮度分量; 最后将各图像分量进行融合去噪得到最终的HDR图像.通过与其他3种经典的单曝光HDR图像生成算法比较, 本文算法可以有效地提高图像的动态范围, 并挖掘出LDR图像中部分隐藏的细节信息, 在一定程度上弥补了单曝光LDR图像细节信息不足的缺点, 但对于存在极大面积饱和区域像素点的图像处理效果不佳, 与此同时, 为了算法效率考虑, 在反色调映射过程中, 牺牲了一定的扩展效果, 下一步需要对算法效率进一步提高, 并改善反色调映射算子.
-
图 3 空间域滤波和值域滤波对应图示
Fig. 3 Corresponding figure of spatial filtering and range filtering
表 2 DRIM对比图中红、绿、蓝各像素点所占百分比(%)
Table 2 Percentage of red pixel, green pixel and blue pixel in DRIM (%)
DRIM 算法 (Ⅰ) (Ⅱ) (Ⅲ) (Ⅳ) (Ⅴ) (Ⅵ) (Ⅶ) 平均值 Akyuz 6.26 26.84 7.45 25.72 9.5 1.27 2.71 11.39 Banterl 3.58 26.02 5.37 27.41 9.68 1.98 1.55 10.79 Red Huo 1.58 20.38 8.42 10.56 4.49 5.38 1.42 7.46 Zhu 2.23 23.01 4.89 15.36 8.13 1.03 1.58 8.03 本文 2.03 22.76 4.34 17.35 8.11 2.74 1.4 8.39 Akyuz 48.13 22.78 19.1 12.84 13.53 5.27 23.34 20.71 Banterl 34.2 15.98 8.02 13.99 13.25 4.32 21.34 15.87 Green Huo 20.27 4.48 19.39 5.93 7.63 5.45 30.63 13.39 Zhu 17.02 5.72 5.3 17.47 16.38 3.21 10.23 10.76 本文 10.83 5.16 4.34 9.74 14.64 3.47 12.82 8.71 Akyuz 24.19 42.21 16.17 10.37 8.37 9.37 3.95 16.37 Banterl 25.61 37.48 24.18 12.46 9.09 10.36 5.25 17.77 Blue Huo 21.84 36.37 20.71 9.96 4.27 10.32 4.84 15.47 Zhu 26.87 37.29 33.19 13.09 10.63 15.43 5.94 20.34 本文 28.32 38.28 32.48 12.88 10.44 19.73 5.66 21.11 
下载: 导出CSV
表 3 图像处理后动态范围对比
Table 3 Comparisons of dynamic range
图像 Akyuz Banterl Huo Zhu 本文 (Ⅰ) $7.8 \times 10^4$ $3.2 \times 10^5$ $2.4 \times 10^6$ $6.7 \times 10^6$ $2.5 \times 10^6$ (Ⅱ) $3.2 \times 10^4$ $1.2 \times 10^5$ $1.2 \times 10^6$ $4.5 \times 10^6$ $1.1 \times 10^6$ (Ⅲ) $4.3 \times 10^5$ $2.1 \times 10^6$ $9.4 \times 10^6$ $1.6 \times 10^7$ $9.8 \times 10^6$ (Ⅳ) $7.1 \times 10^4$ $2.7 \times 10^5$ $2.1 \times 10^6$ $5.3 \times 10^6$ $2.0 \times 10^6$ (Ⅴ) $3.5 \times 10^4$ $1.5 \times 10^5$ $1.3 \times 10^6$ $4.9 \times 10^6$ $1.2 \times 10^6$ (Ⅵ) $5.0 \times 10^4$ $2.1 \times 10^5$ $1.8 \times 10^6$ $1.9 \times 10^6$ $1.7 \times 10^6$ (Ⅶ) $6.8 \times 10^4$ $2.9 \times 10^5$ $2.1 \times 10^6$ $5.8 \times 10^6$ $1.8 \times 10^6$
下载: 导出CSV
-
[1] 陆许明, 朱雄泳, 李智文, 麦建业, 谭洪舟.一种亮度可控与细节保持的高动态范围图像色调映射方法.自动化学报, 2015, 41(6):1080-1092 http://www.aas.net.cn/CN/abstract/abstract18683.shtmlLu Xu-Ming, Zhu Xiong-Yong, Li Zhi-Wen, Mai Jian-Ye, Tan Hong-Zhou. A brightness-scaling and detail-preserving tone mapping method for high dynamic range images. Acta Automatica Sinica, 2015, 41(6):1080-1092 http://www.aas.net.cn/CN/abstract/abstract18683.shtml [2] 杨克虎, 姬靖, 郭建军, 郁文生.高动态范围图像和色阶映射算子.自动化学报, 2009, 35(2):113-122 http://www.aas.net.cn/CN/abstract/abstract17906.shtmlYang Ke-Hu, Ji Jing, Guo Jian-Jun, Yu Wen-Sheng. High dynamic range images and tone mapping operator. Acta Automatica Sinica, 2009, 35(2):113-122 http://www.aas.net.cn/CN/abstract/abstract17906.shtml [3] Sun M Z, Shi M Y. A HDRI display algorithm based on image color appearance model. In: Proceedings of the 15th International Conference on Computer and Information Science. Okayama, Japan: IEEE, 2016. 1-6 [4] Huo Y Q, Yang F. High-dynamic range image generation from single low-dynamic range image. IET Image Processing, 2016, 10(3):198-205 doi: 10.1049/iet-ipr.2014.0782 [5] Huo Y Q, Zhang X D. Single image-based HDR imaging with CRF estimation. In: Proceedings of the 2016 International Conference On Communication Problem-Solving (ICCP). Taipei, China: IEEE, 2016. 1-3 [6] Oh T H, Lee J Y, Tai Y W, Kweon I S. Robust high dynamic range imaging by rank minimization. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2015, 37(6):1219-1232 doi: 10.1109/TPAMI.2014.2361338 [7] Kuo P H, Tang C S, Chien S Y. Content-adaptive inverse tone mapping. In: Proceedings of the 2012 IEEE Visual Communications and Image Processing. San Diego, CA, USA: IEEE, 2012. 1-6 [8] Le Pendu M, Guillemot C, Thoreau D. Local inverse tone curve learning for high dynamic range image scalable compression. IEEE Transactions on Image Processing, 2015, 24(12):5753-5763 doi: 10.1109/TIP.2015.2483899 [9] 霍永青, 彭启琮.高动态范围图像及反色调映射算子.系统工程与电子技术, 2012, 34(4):821-826 http://d.old.wanfangdata.com.cn/Periodical/xtgcydzjs201204032Huo Yong-Qing, Peng Qi-Cong. High dynamic range images and reverse tone mapping operators. Systems Engineering and Electronics, 2012, 34(4):821-826 http://d.old.wanfangdata.com.cn/Periodical/xtgcydzjs201204032 [10] Daly S J, Feng X F. Bit-depth extension using spatiotemporal microdither based on models of the equivalent input noise of the visual system. In: Proceedings of SPIE Volume 5008, Color Imaging Ⅷ: Processing, Hardcopy, and Applications. Santa Clara, CA, United States: SPIE, 2003. 455-466 [11] Daly S J, Feng X F. Decontouring: prevention and removal of false contour artifacts. In: Proceedings of the SPIE Volume 5292, Human Vision and Electronic Imaging IX. San Jose, California, United States: SPIE, 2004. 130-149 [12] Banterle F, Debattista K, Artusi A, Pattanaik S, Myszkowski K, Ledda P, Chalmers A. High dynamic range imaging and low dynamic range expansion for generating HDR content. Computer Graphics Forum, 2009, 28(8):2343-2367 doi: 10.1111/j.1467-8659.2009.01541.x [13] Akyüz A O, Fleming R, Riecke B E, Reinhard E, Bülthoff H H. Do HDR displays support LDR content?: a psychophysical evaluation. ACM Transactions on Graphics, 2007, 26(3): Article No. 38 [14] Hsia S C, Kuo T T. High-performance high dynamic range image generation by inverted local patterns. IET Image Processing, 2015, 9(12):1083-1091 doi: 10.1049/iet-ipr.2014.0853 [15] Didyk P, Mantiuk R, Hein M, Seidel H P. Enhancement of bright video features for HDR displays. Computer Graphics Forum, 2008, 27(4):1265-1274 doi: 10.1111/j.1467-8659.2008.01265.x [16] Martin M, Fleming R, Sorkine O, Gutierrez D. Understanding exposure for reverse tone mapping. In: Proceedings of the Congreso Español de Informática Gráfica. Aire-la-Ville, Switzerland: Eurographics Association, 2008. 189-198 [17] Banterle F, Ledda P, Debattista K, Chalmers A, Bloj M. A framework for inverse tone mapping. The Visual Computer, 2007, 23(7):467-478 doi: 10.1007/s00371-007-0124-9 [18] Banterle F, Ledda P, Debattista K, Chalmers A. Expanding low dynamic range videos for high dynamic range applications. In: Proceedings of the 24th Spring Conference on Computer Graphics. Budmerice, Slovakia: ACM, 2010. 33-41 [19] Wang L D, Wei L Y, Zhou K, Guo B N, Shum H Y. High dynamic range image hallucination. In: Proceedings of the 2007 Symposium on Interactive 3D Graphics and Games. San Diego, California: ACM, 2007. Article No. 72 [20] Celebi A T, Duvar R, Urhan O. Fuzzy fusion based high dynamic range imaging using adaptive histogram separation. IEEE Transactions on Consumer Electronics, 2015, 61(1):119-127 doi: 10.1109/TCE.2015.7064119 [21] Huo Y Q, Yang F, Dong L, Brost V. Physiological inverse tone mapping based on retina response. The Visual Computer, 2014, 30(5):507-517 doi: 10.1007/s00371-013-0875-4 [22] 朱恩弘, 张红英, 吴亚东, 霍永青.单幅图像的高动态范围图像生成方法.计算机辅助设计与图形学学报, 2016, 28(10):1713-1722 doi: 10.3969/j.issn.1003-9775.2016.10.013Zhu En-Hong, Zhang Hong-Ying, Wu Ya-Dong, Huo Yong-Qing. Method of generating high dynamic range image from a single image. Journal of Computer-Aided Design and Computer Graphics, 2016, 28(10):1713-1722 doi: 10.3969/j.issn.1003-9775.2016.10.013 [23] Wei Z, Wen C Y, Li Z G. Local inverse tone mapping for scalable high dynamic range image coding. IEEE Transactions on Circuits and Systems for Video Technology, 2016, to be published, doi: 10.1109/TCSVT.2016.2611944 [24] Schlick C. Quantization techniques for visualization of high dynamic range pictures. Photorealistic Rendering Techniques. Berlin, Heidelberg: Springer, 1995. 7-20 [25] Aydin T O, Mantiuk R, Myszkowski K, Seidel H P. Dynamic range independent image quality assessment. In: Proceedings of Special Interest Group on Graphics and Interactive Techniques. Los Angeles, California: ACM, 2008. 期刊类型引用(8)
1. 董良振，田建艳，杨胜强，陈海滨. 基于光照校正和图像融合的零件表面图像增强. 计算机工程. 2024(06): 245-254 . 
百度学术2. 王琛，张凌云，刘波，张航. 基于无人机图像的城市道路停车巡检方法. 交通信息与安全. 2024(04): 90-101 . 百度学术3. 徐少平，林珍玉，陈孝国，李芬，杨晓辉. 采用多通道浅层CNN构建的多降噪器最优组合模型. 自动化学报. 2022(11): 2797-2811 . 本站查看4. 苏素平，李虹，孙志毅，孙前来，王银. 无人机图像的输电线断股检测方法研究. 太原科技大学学报. 2021(01): 32-36 . 百度学术5. 索岩，崔智勇. 基于中国剩余定理的高动态图像可逆数据隐藏. 计算机仿真. 2021(01): 167-171 . 百度学术6. 张媛媛，张红英. 结合饱和度调节的单曝光HDR图像生成方法. 吉林大学学报(理学版). 2021(02): 309-318 . 百度学术7. 曹义亲，何恬，刘龙标. 基于改进LSD直线检测算法的钢轨表面边界提取. 华东交通大学学报. 2021(03): 95-101 . 百度学术8. 吴卓钊，范科峰，莫玮. 多尺度权重评估的MSRCR混合曝光成像算法. 计算机工程与应用. 2021(17): 224-229 . 百度学术其他类型引用(14)
-
下载:
计量
- 文章访问数: 1547
- HTML全文浏览量: 530
- PDF下载量: 123
- 被引次数: 22
