-
摘要: 低光照图像增强旨在提高在低光照环境下所采集图像的视觉质量. 然而, 现有的低光照图像增强方法难以在计算效率与增强性能之间达到很好的平衡, 为此, 提出一种基于Retinex先验引导的低光照图像快速增强方法, 将Retinex模型与Gamma校正相结合, 快速输出具有对比度高、视觉效果好和低噪声的图像. 为获取具有良好光照的图像以引导确定与输入图像尺寸大小一致的Gamma校正图, 提出基于Retinex模型的先验图像生成方法. 针对所提先验图像生成方法在极低光照区域中存在颜色失真的问题, 提出一种基于融合的Gamma校正图估计方法, 采用反正切变换恢复极低光照区域的颜色和对比度, 以提升Gamma校正图在极低光照区域的增强性能. 为抑制输出图像的噪声, 考虑到完全平滑的Gamma校正图不会平滑细节纹理的特点, 提出基于域变换递归滤波的Gamma校正图优化方法, 降低输出图像噪声的同时保持颜色和对比度. 实验结果表明, 所提方法不仅在主客观图像质量评价上优于现有大多数主流算法, 而且在计算效率上具有十分显著的优势.Abstract: Low light image enhancement aims to improve the visual quality of images captured in low light environment. However, existing low light image enhancement methods are difficult to achieve a good balance between computational efficiency and enhancement performance. Therefore, a fast low light image enhancement method guided by Retinex prior is proposed. The Retinex model is combined with Gamma correction to quickly output images with high contrast, good visual effects and low noise. To obtain images with good illumination and guide the determination of Gamma correction map with the same size as the input image, a prior image generation method based on Retinex model is proposed. To solve the problem of color distortion in extremely low illumination areas, a fusion-based Gamma correction map estimation method is proposed, which uses arctangent transform to restore the color and contrast of extremely low illumination areas to improve the enhancement performance of Gamma correction map in extremely low illumination areas. To suppress the noise of the output image, considering that the completely smooth Gamma correction map cannot smooth the detail texture, an optimization method of Gamma correction map based on domain transform recursive filtering is proposed, which can reduce the noise and preserve the color and contrast of the output image. The experimental results show that the proposed method not only outperforms most of the existing mainstream algorithms in subjective and objective image quality evaluation, but also has significant advantages in computational efficiency.
-
Key words:
- Low light image enhancement /
- Gamma correction map /
- Retinex model /
- noise suppression
-
由于环境的限制和影响, 在较差的光照条件下采集的图像往往会出现不良的退化, 这些图像难以提供丰富的视觉信息, 存在可见度差、对比度低以及噪声多等问题[1], 造成后续任务性能下降, 如显著性检测、人脸识别和语义分割等[2]. 因此, 迫切需要对弱光环境下退化图像进行增强, 将低光照图像恢复至正常光照下的高质量图像, 以满足人类视觉感知需要和增强下游高水平任务对弱光场景的适应性.
近年来, 许多国内外学者提出各种各样低光照图像增强技术, 以提高在低光照环境下捕获的退化图像的质量. 目前, 用于低光照图像增强的传统方法主要有直方图均衡化[3-4]和Gamma校正[5-6]. 直方图均衡化能在一定程度上消除图像光照不均并增强对比度, 然而可能无法对局部区域的光照做出针对性调整. 传统Gamma校正的方法可以实时处理低光照图像且不会增大噪声强度, 但传统Gamma校正的方法一般都是经验地为给定的图像设置单一的全局Gamma校正参数, 既不能保证局部区域的合理增强, 也不具备为不同的图像提供自适应增强的能力.
Retinex理论模型[7]考虑了低光照图像退化的物理过程, 通过构建图像成像的数学模型将低光照图像分解为反射图和光照图. 基于Retinex的方法[8-10]以Retinex理论模型为基石, 通过优化光照图和反射图或其他途径实现低光照图像的增强. 尽管这些方法能够获得具有高对比度、色彩鲜艳和显著纹理的图像, 但是会不可避免地增强噪声, 尤其是在极低亮度的区域, 难以在图像质量与处理效率之间达到满意的平衡.
基于深度学习的增强方法因其强大的学习能力而广受研究. 这些方法大致可分为监督式学习方法和非监督式学习方法. 前者通常在成对数据集上执行逐像素的监督[11-13], 以使深度模型产生高质量的正常光照图像结果. 然而现有的成对数据集大多是基于理论物理模型合成的, 训练数据集时可能出现过度拟合问题, 导致深度模型无法鲁棒地处理真实环境下的各种低光图像. 后者则是基于先验知识约束以摆脱成对数据集的限制[14-16], 但可能会产生曝光不足或曝光过度的结果, 严重影响视觉质量. 不仅如此, 基于深度学习的增强方法往往需要强大的硬件平台和较多的模型训练参数来提升低光照图像增强的处理效率和性能, 难以实现轻量化部署.
图1显示了不同方法的低光照增强结果, 其中, 黄色框放大区域的数值为当前区域的绝对梯度平均值. 基于Retinex的方法, 如MF[9]和LIME[8], 可产生色彩丰富、对比度高、纹理明显的图像, 但过度增强了高光区域和噪声区域. 基于深度学习的方法, 如SCI[16], 与LIME类似, 能够输出具有良好光照和纹理丰富的图像, 但难以很好地压制强光和噪声. 从图1可看出, 不同$\gamma $值的Gamma校正方法存在视觉效果差和对比度低的问题, 但从黄色方框放大的区域来看, 相比于Retinex方法和深度学习方法, 不同$\gamma $值的Gamma校正方法都具有良好的噪声抑制性能. 显然, 为给定的图像设置单一的全局Gamma校正参数是导致Gamma校正方法增强性能差的主要原因之一, 如果为输入图像的不同颜色区域设定不同的Gamma校正参数, 则可以显著提升输出图像对比度的同时压制噪声幅值. 然而, 不同区域所设定的Gamma校正参数往往是不确定的, 需要引入额外的先验知识引导.
为此, 本文提出一种基于Retinex先验引导的低光照图像快速增强方法, 该方法首次将Retinex模型与Gamma校正相结合, 通过两者优势互补, 快速输出具有对比度高、视觉效果好和低噪声的图像, 达到良好的低光照图像增强性能, 如图1(h)所示, 本文所提方法在保持色彩对比度和细节信息的同时很好地抑制了噪声. 该方法首先基于Retinex模型生成具有良好光照的图像, 以引导确定低光照图像每个像素的Gamma校正参数, 形成与输入图像尺寸大小一致的Gamma校正图. 然后, 针对Retinex模型难以在极低光照区域(极低信噪比区域)中恢复目标信息的问题, 采用反正切变换增强极低光照区域的颜色和对比度. 为提升Gamma校正图在极低光照区域的增强性能, 提出一种基于光照信息的像素级融合框架以改善极低光照区域的Gamma校正图. 最后, 考虑到完全平滑的Gamma校正图不会平滑细节纹理的特点, 为此, 利用具有边缘感知能力的域变换递归滤波来优化Gamma校正图, 降低噪声的同时保持输出图像的颜色和对比度. 总体而言, 本文的主要贡献归纳为: 1) 本文首次将Gamma校正的噪声抑制特性与Retinex模型的光照增强特性相结合, 在增强低光照图像整体光照和颜色的同时大幅抑制噪声幅值; 2) 本文将Gamma校正值拓展为与输入图像尺寸大小一致的Gamma校正图, 并提出基于Retinex先验引导的低光照图像快速增强方法, 实验结果表明所提方法在主客观图像质量评价上优于现有大多数主流算法; 3) 本文所提方法的大多数计算都是在像素级进行的, 在低光照图像增强任务上具有非常高效的计算效率.
1. 相关工作
低光照图像增强的主要方法可分为4类: 基于直方图的方法、基于Gamma校正的方法、基于Retinex的方法和基于深度学习的方法. 基于直方图的方法旨在生成具有目标形状直方图的输出图像. 直方图均衡化[3-4]因其能简单有效地增强低对比度图像而被广泛使用, 但可能会导致对比度过度增强和噪声放大的问题[17]. 这是因为直方图均衡化假设目标直方图是均匀分布的, 其只是机械地拉伸全局的动态范围, 并不考虑局部亮度的转换. 对比度有限的自适应直方图均衡化[18]自适应地限制了直方图均衡化的对比度增强程度, 然而, 该方法会遭受更严重的色彩功能障碍, 使得深色区域的细节不能充分增强. 传统Gamma校正是通过手动设定固定的Gamma校正参数非线性地改变每个像素的亮度以调整光照. 虽然Gamma校正简单有效, 但对于特定图像或图像特定区域的最佳参数并不是固定的. 为此, Rahman等[19]根据图像的统计属性将其分为几类, 然后根据图像特征确定每一类的Gamma校正参数. Yang等[20]使用图像中明暗区域的像素值中位数制定了Gamma参数确定的优化问题. Jeong和Lee[21]考虑到中位数计算是非线性的, 构建了基于平均值的凸优化问题以快速确定最优的Gamma校正参数. 然而, 以上方法仅以图像像素值作为先验知识, 未考虑低光照图像的退化模型, 难以鲁棒地处理复杂光照条件的场景.
基于Retinex的方法通常从输入图像中估计反射图和光照图, 将反射图或光照图进行后续处理优化得到增强后的图像. 基于Retinex方法的代表性算法有单尺度Retinex[22]和多尺度Retinex[23], 它们使用局部高斯滤波器约束光照图以使其平滑, 并将反射图作为增强结果. Fu等[9]将每个像素颜色通道之间的最大值映射视为初始照明映射. 通过对初始光照图进行不同强度变换得到的不同光照图进行融合, 生成最终的光照图. Guo等[8]提出一种基于光照图估计的低光照图像增强(Low-light image enhancement, LIME)方法, 通过优化对初始光照图进行优化. 然后对优化的光照图进行 Gamma 校正以实现增强. 结果表明, LIME通常会过度增强输入, 放大固有噪声. 在低光照图像增强中, 处理噪声是一个非常关键的因素. 为此, LIME使用基于BM3D[24]作为后处理操作来减少噪声. Fu等[25]提出在对数域中同时估计反射图和光照图的方法, 可在一定程度上抑制噪声, 并通过加权变分模型来获得更高质量的图像输出. Li等[10]提出基于结构揭示的低光图像增强方法, 该方法通过估计噪声图可以很好地输出噪声较少的增强图像, 但通常会损失一定的图像细节. 基于Retinex的方法可以很好地改善一般低光照图像, 但当处理光照极低环境下所拍摄的图像时会过分增大噪声, 降低图像质量.
深度学习方法在弱光图像增强应用中展现了巨大的潜力[26]. LLNet[27]是首次将深度学习技术应用于该任务的方法, 它使用深度自动编码技术增强低光照图像. Lv等[28]构建多分支低光增强网络, 其将不同层次丰富的特征输入至多个子网络进行增强, 通过多分支融合生成输出图像, 提高生成图像的质量. Li等[29]设计基于Retinex的卷积神经网络以实现低光照图像的增强, 名为LightenNet, 其在自然和合成低光图像增强方面具有良好的性能. Jiang等[30]提出一种基于对抗生成网络的图像增强策略, 该策略可以在非成对数据集上进行训练, 但它可能产生低质量的图像增强结果. Fan等[31]采用多尺度多模态深度网络, 在保持细节、减少噪声和色彩失真的同时, 全面提高图像的亮度和对比度. Guo等[14]建立一种无监督深度曲线估计网络, 用于估计低光图像增强的逐像素变换曲线. Zhao等[15]使用深度图像先验构建框架[32], 搭建一种生成策略的深度Retinex模型, 利用搜索得到的网络结构, 结合Retinex理论实现低光照图像的增强. 然而, 一个性能强大的深度网络通常需要大量的数据和强大的算力作为支撑, 难以实现边缘化部署.
2. 本文方法
为开发一种快速有效的低光照条件下图像增强方法, 本文提出基于Retinex先验引导的低光照图像快速增强方法, 以Retinex模型为先验知识来引导逐像素的Gamma校正, 兼顾了处理效率与低光照图像的增强性能, 所提方法的算法流程框架如图2所示, 主要部分包括先验图像生成、基于融合的Gamma校正图估计和基于域变换递归滤波的Gamma校正图优化.
2.1 先验图像生成
对于自然环境下所采集的图像, 根据Retinex理论[7], 采集的图像是反射图和光照图的乘积, 记为
$$ \begin{equation} {S^c}(x,y) = {R^c}(x,y)I(x,y) \end{equation} $$ (1) 其中, S表示输入的低光照图像, R为反射图, I是光照图, c代表 RGB图像的三个颜色通道, $ (x,y) $表示图像中的像素坐标. 在本文中, 假设三个颜色通道具有相同的光照图, 以使颜色信息保留在反射图中. 利用Retinex理论解决低光照图像退化问题的核心步骤是从输入图像中估计出光照图I, 并将反射图R作为输出图像以改善低光照图像的视觉效果.
为估计出光照图I, 将输入图像的像素值归一化至0到1的区间内, 从输入图像的三个颜色通道的最大值中获得图像的光照信息L, 其可写为
$$ \begin{equation} L(x,y) = \mathop {\max }\limits_{c \in \{ r,g,b\} } {S^c}(x,y) \end{equation} $$ (2) 光照图是局部平滑的[8], 目前许多工作是采用全局优化的方法优化光照图, 但这些方法往往计算成本大, 无法保证处理效率. 考虑到高斯滤波器是一种线性滤波器, 能够有效地抑制噪声且具有一定程度的边缘保持能力, 对光照信息进行高斯滤波以得到光照图I
$$ \begin{equation} I(x,y) = L(x,y) * G_\sigma ^k(x,y) \end{equation} $$ (3) 其中, $* $表示卷积, $ G_\sigma ^k(x,y) $表示在像素$ (x,y) $处大小为$ [2k+1,2k+1] $、标准差为$ \sigma $的高斯核.
基于Retinex理论可获得良好视觉效果的先验图像, 表达式如下
$$ \begin{equation} R(x,y) = \frac{{S(x,y)}}{{(I{{(x,y)})^\gamma } + \varsigma }} \end{equation} $$ (4) 其中, $ \varsigma $是一个极小的正数以防止被零除, $ \gamma $是用于控制先验图像整体亮度的参数, 在本文中将其设置为0.7.
图3(a)和图3(b)分别显示了低光照图像和基于式(4)得到的先验图像. 从图3中可发现基于Retinex理论可快速生成具有光照均匀、颜色鲜艳、对比度高的先验图像.
2.2 基于融合的Gamma校正图估计
给定一张低光照图像S, 基于Gamma校正图G增强低光照图像S的表达式为
$$ \begin{equation} E(x,y) = (S{(x,y))^{G(x,y)}} \end{equation} $$ (5) 其中, E表示增强后的图像. 显然, Gamma校正图与输入的低光照图像的尺寸是一致的且Gamma校正图G的取值范围为[0, 1]. 考虑到增强后的图像与Gamma校正图在实际应用中均是未知的, 为此, 借助于所生成的先验图像R来初步估计Gamma校正图$ {G_R}(x,y) $, 即
$$ \begin{equation} {G_R}(x,y) = \min \left(\frac{{\left| {\ln (R(x,y))} \right|}}{{\left| {\ln (S(x,y))} \right| + \varsigma }},1\right) \end{equation} $$ (6) 其中, min表示逐像素取最小值的函数. 为达到提升光照的目的, Gamma校正图的值必定小于或等于1, 采用min函数以去除Gamma校正图中的异常值.
然而, 先验图像的噪声不仅十分显著, 而且在极低光照区域(如夜晚的天空)发生颜色失真, 导致基于Gamma校正图无法准确恢复该区域的光照. 为了准确估计出极低光照区域的Gamma校正图, 本文采用反正切变换增强全局光照以提升暗区域的可见度, 即
$$ \begin{equation} T(x,y) = \frac{2}{\pi }\arctan (\lambda S(x,y)) \end{equation} $$ (7) 其中, T是利用反正切变换得到的增强图像, $ \lambda $是控制可见度的参数. Fu等[9]考虑到不同图像具有不同的亮度, 给出了自适应调节参数的经验表达式
$$ \begin{equation} \lambda = 10 + \frac{{1 - {\mathop{\rm mean}\nolimits} (I)}}{{{\mathop{\rm mean}\nolimits} (I)}} \end{equation} $$ (8) 其中, ${\rm{mean}}(I) $为光照图I的平均值. 明显地, 较小的${\rm{mean}}(I) $表示图像具有较暗的光照, 采用较大$ \lambda $来获得较高的增强幅度. 那么, 基于图像T估计Gamma校正图$ {G_T}(x,y) $可写为
$$ \begin{equation} {G_T}(x,y) = \min (\frac{{\left| {\ln (T(x,y))} \right|}}{{\left| {\ln (S(x,y))} \right| + \varsigma }},1) \end{equation} $$ (9) 在图4(a)中, 被黄色框和绿色框标记的区域分别为极低光照区域和正常低光照区域. 从图4(d)中可发现, 相比于先验图像R, 图像T在正常低光照区域存在过度增强的效果, 而在极低光照区域具有更自然的天空颜色. 因此, 图像T与先验图像R之间在极低光照区域和正常低光照区域的增强效果存在互补的关系, 这也说明Gamma校正图$ G_R $和$ G_T $在低光照图像的增强性能上各有优势.
图 4 先验图像与增强图像之间优势和劣势的可视化Fig. 4 Visualization of advantages and disadvantages between prior image and enhanced image为能快速结合Gamma校正图$ G_R $和$ G_T $的优点以改善极低光照区域的Gamma校正图, 本文提出基于光照信息引导的像素级融合方法, 即
$$ \begin{split} G(x,y) = \;&f( {L(x,y)} ){G_R}(x,y)\; + \\ &\left( {1 - f( {L(x,y)} )} \right){G_T}(x,y) \end{split} $$ (10) $$ \begin{equation} f( {L(x,y)} ) = \min (\exp (\alpha L(x,y)) - 1,1) \end{equation} $$ (11) 其中, $ \alpha $控制权重函数的形状, 其取值范围设定为$ [ {1,{\rm{ }} + \infty } ) $, $ f( {L(x,y)} ) $表示光照信息引导的权重函数. $ L( {x,y} ) \in [ {0,1} ] $, 那么, $ f( {L( {x,y} )} ) \in [ {0,1} ] $. 如图5所示, $ \alpha $越大, 权重函数越陡峭, Gamma校正图$ G_R $在越大的光照区间占主导位置. 考虑到Gamma校正图$ G_T $在极低光照下具有良好的增强性能, 参数$ \alpha $既不能太大也不能太小, 为此, 在本文中将其设置为10.
图 5 不同$ \alpha $取值下的权重函数曲线Fig. 5 Weight function curves with different values of $ \alpha $2.3 基于域变换递归滤波的Gamma校正图优化
一般地, 融合后的Gamma校正图仍存在大量的噪声, 这些噪声将直接作用于输出图像, 降低输出图像的视觉效果. 然而, 常规平滑噪声的滤波方法, 如高斯滤波、均值滤波和中值滤波等, 均是对Gamma校正图的所有区域施以相同的滤波强度, 使得边缘信息变得模糊, 降低了输出图像的对比度.
域变换递归滤波[33]是将图像的多维数据进行变换降维, 并在低维空间中应用具有保持边缘能力的递归滤波器, 以达到实时保持图像边缘的同时滤除噪声的目的. 域变换递归滤波采用可分离横列向滤波的方式优化Gamma校正图, 横向滤波$ (x $方向滤波)和列向滤波$ (y $方向滤波)的表达式可分别写为
$$ \left\{\begin{aligned}& \hat G(x,y) = (1 - {a^{wx}})G(x,y) + {a^{wx}}\hat G(x - 1,y)\\ &\hat G(x,y) = (1 - {a^{wy}})G(x,y) + {a^{wy}}\hat G(x,y - 1) \end{aligned}\right. $$ (12) 其中, $ \hat G $是优化后的Gamma校正图, $ a \in [0,1] $为反馈系数, $ wx $和$ wy $分别表示沿 $ x $方向和沿 $ y $方向相邻像素之间的距离, 表达式为
$$ \begin{equation} wx = 1 + \frac{{{\sigma _s}}}{{{\sigma _r}}}\sum\limits_{c \in \{ r,g,b\} } {\left| {{\partial _x}{H^c}(x,y)} \right|} \end{equation} $$ (13) $$ \begin{equation} wy = 1 + \frac{{{\sigma _s}}}{{{\sigma _r}}}\sum\limits_{c \in \{ r,g,b\} } {\left| {{\partial _y}{H^c}(x,y)} \right|} \end{equation} $$ (14) 其中, $ {\sigma _s} $和$ {\sigma _r} $分别表示空间域标准差和值域标准差; $ {\partial _x} $和$ {\partial _y} $分别表示沿 $ x $方向和沿 $ y $方向的偏导数; $ {H} $表示引导图像, 其应具有明显的结构边缘信息, 以引导滤波器实现高质量的边缘保持滤波. 将$ {\sigma _s} $和 $ {\sigma _r} $分别设置为24和0.4, 以获得适当的滤波强度.
当位于边缘像素位置时, $ wx $和$ wy $的值增大, $ {a^{wx}} $和$ {a^{wy}} $趋于零, 进而使滤波器实现边缘保持的功能. 在本文中, 域变换递归滤波器的反馈系数$ a $可由空间域标准差计算得到
$$ \begin{equation} a = \exp \left(\frac{{ - \sqrt 2 }}{{{\sigma _s}}}\right) \end{equation} $$ (15) 此外, 本文为了保持输出图像的细节, 考虑到基于Retinex模型生成的先验图像具有清晰的边缘信息与丰富的细节信息, 采用先验图像作为引导图像以保护Gamma校正图的边缘梯度, 然后利用下式得到最终输出图像
$$ \begin{equation} E(x,y) = (S{(x,y))^{\hat G(x,y)}} \end{equation} $$ (16) 3. 实验及结果分析
为验证所提方法对低光照图像增强效果的有效性, 本文将所提出的方法与最先进的低光图像增强技术进行比较, 如NPEA[34]、LIME[8]、LECARM[35]、MF[9]、STAR[36]和SCI[16]. 为公平地比较各算法的增强性能, 在标准的公共低照度数据库DCIM[8]、Fusion[9]、LIME[8]、VV
1 、NPE[34]和Darkface[37]上进行定量分析和主观分析. 在定量评价中, 采用无参考图像质量评价指标进行度量, 如CEIQ[38]、LOE[34]和NL[39]. CEIQ通过计算高对比图像与其增强图像的相似度来量化增强图像的质量, 其值越小说明图像的质量越高. LOE反映了图像的自然保持能力, 其值越小说明图像具有更好的亮度顺序. NL度量增强图像中的噪声, 其值越小表明图像中的噪声越小.3.1 视觉比较
本文采用一组标准的低光照图像以直观地比较不同方法在不同场景下的增强结果, 如图6 ~ 9所示. 图6 ~ 9中显示了各种方法的增强结果, 其中裁剪区域的放大图用于详细分析, 放大框中显示的数字为当前区域的噪声水平(绝对梯度平均值).
图 6 室内场景下不同方法的低光照图像增强结果Fig. 6 Low light image enhancement results of different methods in indoor scene
图 7 室外场景下不同方法的低光照图像增强结果Fig. 7 Low light image enhancement results of different methods in outdoor scene
图 8 黑夜环境下不同方法的低光照图像增强结果Fig. 8 Low light image enhancement results of different methods under dark night environment
图 9 针对真实高噪声低光照图像下不同方法的增强结果Fig. 9 Enhancement results of different methods for real high-noise low light image图6(a)为室内场景下采集的低光照图像. 通过本文所提方法生成的增强图像光照分布很自然, 而LIME和SCI在白色杯子区域产生了亮度饱和的效果(参见图6(c)和图6(g)). 从绿色框的放大图可观察到, 所提方法可在低光照区域施以更充分的光照以呈现更多的细节信息和色彩信息, 如红色箭头所指的区域, 而MF、LECARM、STAR和SCI在该区域的增强幅度难以满足视觉观察的需求. 此外, 在所有的对比方法中, 通过对比黄色框放大区域显示的数值可发现, 本文方法的噪声水平是最低的, 这表明本文方法具有良好的噪声抑制能力.
图7(a)为室外场景下采集的图像, 其因采集相机动态范围窄而导致存在光照严重不均的现象, 并在低光照区域隐藏了大量的噪声. 从黄色框放大图可观察到LIME和SCI过度增强了天空的亮度, NPEA、LIME、LECARM和SCI在屋檐边缘产生了显著的伪影, 而本文方法则具有更自然和更少伪影的增强结果. 绿色框放大的区域为极低光照区域, NPEA和STAR虽然能得到更多的细节信息, 但噪声也被大幅增大, 相比之下, 本文方法显著提升低光照区域可见度的同时具有更少的噪声.
图8(a)为黑夜环境下采集的图像, 在该场景下, LECARM、STAR和SCI难以很好地恢复弱光照区域(黄色框放大区域)的细节信息, NPEA和LIME在绿色框放大区域产生了严重的伪影, MF在箭头所指的区域造成了错误的增强结果, 而本文方法既能很好保持弱光照区域的细节信息和色彩信息, 也能避免产生伪影现象.
图9(a)为具有大量噪声的真实低光照图像. 在对比的低光照图像增强方法中, LIME在士兵雕塑位置发生了过度增强的现象, LECARM、STAR和SCI的增强结果整体偏暗, 导致许多细节不明显, 如图9黄色框标记放大的区域所示. 相比之下, NPEA、MF和本文方法能够适当地增强低光照图像的整体亮度. 从图9绿色框标记放大的区域可发现, 其他方法均难以很好地控制噪声的增强幅度, 而本文方法能够抑制噪声幅值, 大大提升了增强图像的视觉质量. 综上, 本文方法在图像增强、细节保护、色彩保真、避免过度曝光和噪声抑制等方面的综合视觉性能是最佳的.
3.2 量化评价
为全面客观地评价不同低光照图像增强方法的性能优劣, 本文在标准的低照度数据库(DCIM[8]、Fusion[9]、NPE[34]、LIME[8]、VV、和Darkface[37])中计算不同方法增强结果的质量评价指标, 并记录在表1、表2和表3中 (排名第一名的用加粗字体突出显示). 从表1和表2可看出, 所提方法在多个低光照数据集中的CEIQ指标和LOE指标达到了最优, 并具有最小的CEIQ指标平均值和LOE指标平均值, 这表明所提方法不仅能有效地提升低光照图像的对比度, 还能保持低光照图像中原始的光照强度顺序, 使得输出图像具备更自然的视觉感受. 此外, 为量化所提方法对噪声的抑制能力, 采用NL指标评估不同方法增强低光照图像后的噪声水平, 具体数值如表3所示. 显然, 在不同数据集中所提方法所产生的噪声水平均是最小的. 综上可知, 所提方法在低光照图像增强方面具有良好的性能.
表 1 不同方法在不同低光照数据集中的CEIQ值Table 1 CEIQ values of different methods in different low light datasetsNPEA[34] LIME[8] MF[9] LECARM[35] STAR[36] SCI[16] 所提方法 DCIM 3.399 3.358 3.145 3.109 3.162 3.185 3.063 Fusion 3.405 3.399 3.428 3.405 3.387 3.340 3.358 NPE 3.784 3.478 3.499 3.497 3.484 3.523 3.429 VV 3.485 3.512 3.342 3.321 3.316 3.345 3.258 LIME 3.426 3.490 3.181 3.184 3.046 3.193 2.990 Darkface 3.198 3.246 2.779 2.716 2.438 2.407 2.496 平均值 3.449 3.413 3.229 3.205 3.139 3.165 3.099 表 2 不同方法在不同低光照数据集中的LOE值Table 2 LOE values of different methods in different low light datasetsNPEA[34] LIME[8] MF[9] LECARM[35] STAR[36] SCI[16] 所提方法 DCIM 753.2 857.5 782.2 770.0 590.9 777.6 581.0 Fusion 564.9 803.6 614.2 681.7 527.4 703.1 523.0 NPE 731.2 847.6 750.1 845.2 549.3 849.7 588.1 VV 563.3 799.3 517.3 596.5 369.3 619.8 347.6 LIME 540.9 608.8 661.0 687.4 537.9 678.1 557.1 Darkface 955.8 942.1 883.9 428.6 621.8 458.9 260.8 平均值 684.9 809.9 701.4 668.2 532.7 681.2 476.2 表 3 不同方法在不同低光照数据集中的NL值Table 3 NL values of different methods in different low light datasetsNPEA[34] LIME[8] MF[9] LECARM[35] STAR[36] SCI[16] 所提方法 DCIM 1.156 1.707 0.578 0.485 0.491 1.099 0.358 Fusion 0.561 0.715 0.509 0.599 0.597 0.510 0.325 NPE 0.778 0.908 0.690 0.685 0.688 0.623 0.526 VV 0.764 0.836 0.549 0.637 0.663 0.539 0.459 LIME 1.036 1.074 0.872 0.733 0.722 0.744 0.619 Darkface 2.019 2.586 1.585 1.157 1.147 1.084 0.789 平均值 1.052 1.304 0.797 0.716 0.718 0.766 0.512 此外, 在监控和消费电子产品等某些实际应用中, 低光照图像增强算法所执行的时间是一个关键的限制因素. 为此, 表4展示了不同方法处理5种不同图像尺寸的计算时间. 这些方法均是在Matlab平台上使用Intel i7-10700 2.90 GHz的CPU实现的, 因此, 在本文中未将基于GPU的深度学习方法SCI[16]纳入统计范围. 从表4所展示的数据可发现, 对于所有的图像尺寸, 所提方法的低光照图像增强效率都优于其他方法. 同样地, 与其他方法相比, 所提方法随着图像大小的增加而增加的消耗时间是适度的, 因此, 随着图像尺寸的增加, 相比于其他方法, 所提方法的计算效率总是最高的.
表 4 不同方法处理不同图像尺寸的运行时间 (s)Table 4 Running time for different image sizes processed by different methods (s)3.3 消融实验
所提方法是由先验图像生成、Gamma校正图融合估计和Gamma校正图优化三个模块构成. 其中, 先验图像生成模块是用于恢复低光照场景下的光照信息和颜色信息; Gamma校正图融合估计模块是通过融合方法解决先验图像颜色失真问题, 生成Gamma校正图; Gamma校正图优化模块是实现细节保持和噪声抑制的关键模块. 为验证每个单独模块的有效性, 本文首先设置权重函数$ f(L(x,y)) $为0, 输出缺失先验图像生成模块的图像增强结果$ (w/o \; G_R) $, 然后设置权重函数$ f(L(x,y)) $为1, 得到缺失Gamma校正图融合估计模块的图像增强结果$ (w/o \; G_T) $, 最后, 由式(11)正确设置权重函数$ f(L(x,y)) $的值, 并得到缺失Gamma校正图优化模块的图像增强结果$ (w/o \; \hat G) $, 具体结果如图10所示. 通过对比本文方法的输出结果(如图10(d)所示)可发现, 缺失先验图像生成模块后过度增强了光照良好的区域(图10(a)中绿色框标记的区域), Gamma校正图融合估计模块的缺失导致极暗区域发生颜色失真(图10(b)中黄色框标记的区域), 而不采用Gamma校正图优化模块使得输出图像存在大量的噪声. 因此, 所提方法的三个模块在输出高质量图像方面起着不可替代的作用.
图 10 所提方法不同模块的消融研究Fig. 10 Ablation studies of different modules of the proposed method4. 结束语
本文提出一种基于Retinex先验引导的低光照图像快速增强方法, 该方法基于Retinex模型生成理论光照下的先验图像, 以引导Gamma校正恢复原始低光照图像的光照信息, 在增强图像对比度和保护细节信息的同时有效地抑制了图像噪声水平, 具有较良好的视觉效果. 所提方法在低光照图像数据集进行了性能评估, 大量的定性和定量实验证明所提方法不仅在增强低光照图像质量方面具有明显优势, 而且在计算效率上优于现有的先进方法.
当然, 所提出的方法也存在一些不足, 如噪声抑制问题: 所提方法能够抑制噪声增强的幅值, 但不能平滑噪声. 因此, 有必要研究基于Gamma校正图的低光照图像噪声平滑方法, 从Gamma校正图感知低光照图像的噪声区域, 进而在低光照图像的不同区域施以不同的滤波强度实现细节保持的噪声平滑结果.
-
图 4 先验图像与增强图像之间优势和劣势的可视化
Fig. 4 Visualization of advantages and disadvantages between prior image and enhanced image
图 5 不同$ \alpha $取值下的权重函数曲线
Fig. 5 Weight function curves with different values of $ \alpha $
图 6 室内场景下不同方法的低光照图像增强结果
Fig. 6 Low light image enhancement results of different methods in indoor scene
图 7 室外场景下不同方法的低光照图像增强结果
Fig. 7 Low light image enhancement results of different methods in outdoor scene
图 8 黑夜环境下不同方法的低光照图像增强结果
Fig. 8 Low light image enhancement results of different methods under dark night environment
图 9 针对真实高噪声低光照图像下不同方法的增强结果
Fig. 9 Enhancement results of different methods for real high-noise low light image
图 10 所提方法不同模块的消融研究
Fig. 10 Ablation studies of different modules of the proposed method
表 1 不同方法在不同低光照数据集中的CEIQ值
Table 1 CEIQ values of different methods in different low light datasets
NPEA[34] LIME[8] MF[9] LECARM[35] STAR[36] SCI[16] 所提方法 DCIM 3.399 3.358 3.145 3.109 3.162 3.185 3.063 Fusion 3.405 3.399 3.428 3.405 3.387 3.340 3.358 NPE 3.784 3.478 3.499 3.497 3.484 3.523 3.429 VV 3.485 3.512 3.342 3.321 3.316 3.345 3.258 LIME 3.426 3.490 3.181 3.184 3.046 3.193 2.990 Darkface 3.198 3.246 2.779 2.716 2.438 2.407 2.496 平均值 3.449 3.413 3.229 3.205 3.139 3.165 3.099 
下载: 导出CSV
表 2 不同方法在不同低光照数据集中的LOE值
Table 2 LOE values of different methods in different low light datasets
NPEA[34] LIME[8] MF[9] LECARM[35] STAR[36] SCI[16] 所提方法 DCIM 753.2 857.5 782.2 770.0 590.9 777.6 581.0 Fusion 564.9 803.6 614.2 681.7 527.4 703.1 523.0 NPE 731.2 847.6 750.1 845.2 549.3 849.7 588.1 VV 563.3 799.3 517.3 596.5 369.3 619.8 347.6 LIME 540.9 608.8 661.0 687.4 537.9 678.1 557.1 Darkface 955.8 942.1 883.9 428.6 621.8 458.9 260.8 平均值 684.9 809.9 701.4 668.2 532.7 681.2 476.2
下载: 导出CSV
表 3 不同方法在不同低光照数据集中的NL值
Table 3 NL values of different methods in different low light datasets
NPEA[34] LIME[8] MF[9] LECARM[35] STAR[36] SCI[16] 所提方法 DCIM 1.156 1.707 0.578 0.485 0.491 1.099 0.358 Fusion 0.561 0.715 0.509 0.599 0.597 0.510 0.325 NPE 0.778 0.908 0.690 0.685 0.688 0.623 0.526 VV 0.764 0.836 0.549 0.637 0.663 0.539 0.459 LIME 1.036 1.074 0.872 0.733 0.722 0.744 0.619 Darkface 2.019 2.586 1.585 1.157 1.147 1.084 0.789 平均值 1.052 1.304 0.797 0.716 0.718 0.766 0.512
下载: 导出CSV
表 4 不同方法处理不同图像尺寸的运行时间 (s)
Table 4 Running time for different image sizes processed by different methods (s)
下载: 导出CSV
-
[1] 徐少平, 张贵珍, 林珍玉, 刘婷云, 李崇禧. 一种多图像局部结构化融合的低照度图像增强算法. 自动化学报, 2022, 48(12): 2981−2995Xu Shao-Ping, Zhang Gui-Zhen, Lin Zhen-Yu, Liu Ting-Yun, Li Chong-Xi. A multi-image local structured fusion-based low-light image enhancement algorithm. Acta Automatica Sinica, 2022, 48(12): 2981−2995 [2] 鞠明, 李成, 高山, 穆举国, 毕笃彦. 基于向心自动波交叉皮质模型的非均匀光照图像增强. 自动化学报, 2011, 37(7): 800−810Ju Ming, Li Cheng, Gao Shan, Mu Ju-Guo, Bi Du-Yan. Non uniform-lighting image enhancement based on centripetal autowave intersecting cortical model. Acta Automatica Sinica, 2011, 37(7): 800−810 [3] Kim T, Paik J. Adaptive contrast enhancement using gain-controllable clipped histogram equalization. IEEE Transactions on Consumer Electronics, 2008, 54(4): 1803−1810 doi: 10.1109/TCE.2008.4711238 [4] Arici T, Dikbas S, Altunbasak Y. A histogram modifcation framework and its application for image contrast enhancement. IEEE Transactions on Image Processing, 2009, 18(9): 1921−1935 doi: 10.1109/TIP.2009.2021548 [5] Farid H. Blind inverse gamma correction. IEEE Transactions on Image Processing, 2001, 10(10): 1428−1433 doi: 10.1109/83.951529 [6] Huang S C, Cheng F C, Chiu Y S. Efficient contrast enhancement using adaptive gamma correction with weighting distribution. IEEE Transactions on Image Processing, 2013, 22(3): 1032−1041 [7] Land E H, McCann J J. Lightness and Retinex theory. Journal of the Optical Society of America, 1971, 61(1): 1−11 doi: 10.1364/JOSA.61.000001 [8] Guo X J, Li Y, Ling H B. LIME: Low-light image enhancement via illumination map estimation. IEEE Transactions on Image Processing, 2017, 26(2): 982−993 doi: 10.1109/TIP.2016.2639450 [9] Fu X Y, Zeng D L, Huang Y, Liao Y H, Ding X H, Paisley J. A fusion-based enhancing method for weakly illuminated images. Signal Processing, 2016, 129: 82−96 doi: 10.1016/j.sigpro.2016.05.031 [10] Li M D, Liu J Y, Yang W H, Sun X Y, Guo Z M. Structure-revealing low-light image enhancement via robust Retinex model. IEEE Transactions on Image Processing, 2018, 27(6): 2828−2841 doi: 10.1109/TIP.2018.2810539 [11] Li J J, Feng X M, Hua Z. Low-light image enhancement via progressive-recursive network. IEEE Transactions on Circuits and Systems for Video Technology, 2021, 31(11): 4227−4240 doi: 10.1109/TCSVT.2021.3049940 [12] Lv F F, Li Y, Lu F. Attention guided low-light image enhancement with a large scale low-light simulation dataset. International Journal of Computer Vision, 2021, 129: 2175−2193 doi: 10.1007/s11263-021-01466-8 [13] Lu K, Zhang L H. TBEFN: A two-branch exposure-fusion network for low-light image enhancement. IEEE Transactions on Multimedia, 2021, 23: 4093−4105 [14] Guo C L, Li C Y, Guo J C, Loy C C, Hou J H, Kwong S, et al. Zero-reference deep curve estimation for low-light image enhancement. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Seattle, USA: IEEE, 2020. 1777−1786 [15] Zhao Z J, Xiong B S, Wang L, Ou Q F, Yu L, Kuang F. RetinexDIP: A unified deep framework for low-light image enhancement. IEEE Transactions on Circuits and Systems for Video Technology, 2022, 32(3): 1076−1088 doi: 10.1109/TCSVT.2021.3073371 [16] Ma L, Ma T Y, Liu R S, Fan X, Luo Z X. Toward fast, flexible, and robust low-light image enhancement. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). New Orleans, USA: IEEE, 2022. 5627−5636 [17] Xu H T, Zhai G T, Wu X L, Yang X K. Generalized equalization model for image enhancement. IEEE Transactions on Multimedia, 2014, 16(1): 68−82 doi: 10.1109/TMM.2013.2283453 [18] Pisano E D, Zong S Q, Hemminger B M, DeLuca M, Johnston R E. Contrast limited adaptive histogram equalization image processing to improve the detection of simulated spiculations in dense mammograms. Journal of Digital Imaging, 1998, 11: Article No. 193 doi: 10.1007/BF03178082 [19] Rahman S, Rahman M M, Abdullah-Al-Wadud M, Al-Quaderi G D, Shoyaib M. An adaptive gamma correction for image enhancement. EURASIP Journal on Image and Video Processing, 2016, 2016(1): Article No. 35 [20] Yang K F, Li H, Kuang H L, Li C Y, Li Y J. An adaptive method for image dynamic range adjustment. IEEE Transactions on Circuits and Systems for Video Technology, 2019, 29(3): 640−652 [21] Jeong I, Lee C. An optimization-based approach to gamma correction parameter estimation for low-light image enhancement. Multimedia Tools and Applications, 2021, 80: 18027−18042 doi: 10.1007/s11042-021-10614-8 [22] Jobson D J, Rahman Z, Woodell G A. Properties and performance of a center/surround Retinex. IEEE Transactions on Image Processing, 1997, 6(3): 451−462 [23] Jobson D J, Rahman Z, Woodell G A. A multi-scale Retinex for bridging the gap between color images and the human observation of scenes. IEEE Transactions on Image Processing, 1997, 6(7): 965−976 doi: 10.1109/83.597272 [24] Dabov K, Foi A, Katkovnik V, Egiazarian K. Image denoising by sparse 3-D transform-domain collaborative filtering. IEEE Transactions on Image Processing, 2007, 16(8): 2080−2095 doi: 10.1109/TIP.2007.901238 [25] Fu X Y, Zeng D L, Huang Y, Zhang X P, Ding X H. A weighted variational model for simultaneous reflectance and illumination estimation. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Las Vegas, USA: IEEE, 2016. 2782−2790 [26] Ren W Q, Liu S F, Ma L, Xu Q Q, Xu X Y, Cao X C, et al. Low-light image enhancement via a deep hybrid network. IEEE Transactions on Image Processing, 2019, 28(9): 4364−4375 doi: 10.1109/TIP.2019.2910412 [27] Lore K G, Akintayo A, Sarkar S. LLNet: A deep autoencoder approach to natural low-light image enhancement. Pattern Recognition, 2017, 61: 650−662 doi: 10.1016/j.patcog.2016.06.008 [28] Lv F F, Lu F, Wu J H, Lim C. MBLLEN: Low-light image/video enhancement using CNNs. In: Proceedings of the 29th British Machine Vision Conference. Newcastle, UK: BMVA, 2018. 1−13 [29] Li C Y, Guo J C, Porikli F, Pang Y W. LightenNet: A convolutional neural network for weakly illuminated image enhancement. Pattern Recognition Letters, 2018, 104: 15−22 doi: 10.1016/j.patrec.2018.01.010 [30] Jiang Y F, Gong X Y, Liu D, Cheng Y, Fang C, Shen X H, et al. EnlightenGAN: Deep light enhancement without paired supervision. IEEE Transactions on Image Processing, 2021, 30: 2340−2349 doi: 10.1109/TIP.2021.3051462 [31] Fan G D, Fan B, Gan M, Chen G Y, Chen C L P. Multiscale low-light image enhancement network with illumination constraint. IEEE Transactions on Circuits and Systems for Video Technology, 2022, 32(11): 7403−7417 doi: 10.1109/TCSVT.2022.3186880 [32] Lempitsky V, Vedaldi A, Ulyanov D. Deep image prior. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City, USA: IEEE, 2018. 9446−9454 [33] Gastal E S L, Oliveira M M. Domain transform for edge-aware image and video processing. In: Proceedings of the Special Interest Group on Computer Graphics and Interactive Techniques Conference. Vancouver, Canada: ACM, 2011. 1–12 [34] Wang S H, Zheng J, Hu H M, Li B. Naturalness preserved enhancement algorithm for non-uniform illumination images. IEEE Transactions on Image Processing, 2013, 22(9): 3538−3548 doi: 10.1109/TIP.2013.2261309 [35] Ren Y R, Ying Z Q, Li T H, Li G. LECARM: Low-light image enhancement using the camera response model. IEEE Transactions on Circuits and Systems for Video Technology, 2019, 29(4): 968−981 doi: 10.1109/TCSVT.2018.2828141 [36] Xu J, Hou Y K, Ren D W, Liu L, Zhu F, Yu M Y, et al. STAR: A structure and texture aware Retinex model. IEEE Transactions on Image Processing, 2020, 29: 5022−5037 doi: 10.1109/TIP.2020.2974060 [37] Yang W H, Yuan Y, Ren W Q, Liu J Y, Scheirer W J, Wang Z Y, et al. Advancing image understanding in poor visibility environments: A collective benchmark study. arXiv preprint arXiv: 1904.04474, 2019. [38] Yan J, Li J, Fu X. No-reference quality assessment of contrast-distorted images using contrast enhancement. arXiv preprint arXiv: 1904.08879, 2019. [39] Dong L, Zhou J T, Tang Y Y. Noise level estimation for natural images based on scale-invariant kurtosis and piecewise stationarity. IEEE Transactions on Image Processing, 2017, 26(2): 1017−1030 doi: 10.1109/TIP.2016.2639447 期刊类型引用(2)
1. 李谦一，张宏宇，房媛. 基于改进RRD-Net的低照度图像增强网络. 照明工程学报. 2024(05): 61-67 . 
百度学术2. 户子睿，丁建伟，田博文. 基于残差和多尺度注意力机制的Retinex低光图像增强算法. 科学技术与工程. 2024(35): 15118-15125 . 百度学术其他类型引用(1)
-
下载:
计量
- 文章访问数: 788
- HTML全文浏览量: 427
- PDF下载量: 207
- 被引次数: 3
