-
摘要: 为将低照度图像及基于它生成的多个不同曝光度图像中的互补性信息进行最佳融合以获得更为鲁棒的视觉增强效果, 提出了一种基于多图像局部结构化融合的两阶段低照度图像增强(Low-light image enhancement, LLIE)算法. 在待融合图像制备阶段, 提出了一种基于图像质量评价的最佳曝光度预测模型, 利用该预测模型给出的关于低照度图像最佳曝光度值, 在伪曝光模型下生成适度增强图像和过曝光图像 (利用比最佳曝光度值更高的曝光度生成)各一幅. 同时, 利用经典Retinex模型生成一幅适度增强图像作为补充图像参与融合. 在融合阶段, 首先将低照度图像、适度增强图像(2幅)和过曝光图像在同一空间位置处的图块矢量化后分解为对比度、结构强度和亮度三个分量. 之后, 以所有待融合对比度分量中的最高值作为融合后的对比度分量值, 而结构强度和亮度分量则分别以相位一致性映射图和视觉显著度映射图作为加权系数完成加权融合. 然后, 将分别融合后的对比度、纹理结构和亮度三个分量重构为图块, 并重新置回融合后图像中的相应位置. 最后, 在噪声水平评估算法导引下自适应调用降噪算法完成后处理. 实验结果表明: 所提出的低照度图像增强算法在主客观图像质量评价上优于现有大多数主流算法.Abstract: To combine the complementary information of the multi-exposure images generated from a given low-light image, a two-stage low-light image enhancement (LLIE) algorithm adopting multi-image local structural fusion approach was proposed to produce a fused image that is more informative and robust than each one. Specifically, in the image preparation stage, an optimal exposure prediction model based on image quality assessment was first built. Then a well-exposed image and an over-exposed image were generated with corresponding exposure ratios estimated with the prediction model for a given low-light image, respectively. Simultaneously, the classical Retinex model was used to obtain another well-exposed image to provide more supplementary information to be fused. In the fusion stage, the patches extracted from the low-light image, two well-exposed images, and the over-exposed image at the same spatial positions were vectorized and decomposed into independent components, i.e., contrast, texture structure, and brightness. The desired contrast of the fused image patch was determined by the highest contrast of all source image patches, while the structural strength and brightness components were weighted with phase congruency map and visual saliency map, respectively. Upon fusing these three components separately, we reconstructed a desired patch and placed it back into the fused image. Finally, a denoising algorithm whose input parameter is estimated by a noise level estimation algorithm was exploited to suppress the accompanying noise due to enhancement process. The experimental results show that, the proposed LLIE algorithm outperforms the existing the state-of-art ones in the terms of both subjective and objective image quality assessment.
-
标准成像设备在背光、微光、夜间等照明条件不佳的环境下采集到的低照度图像必须经过增强处理后才能用于后继的各类图像处理任务[1-3]. 早期, 低照度图像增强(Low-light image enhancement, LLIE)算法主要采用直方图均衡化(Histogram equalization, HE)技术实现[4-5]. HE方法本质上是通过拉伸图像像素点灰度值的范围让它们在系统允许范围内均衡分布, 从而达到增加对比度的目的. 因其实现复杂度低, 得到了广泛的应用, 但这类算法很容易出现过增强、欠增强、细节保护不佳等问题[6-8]. 近十年来, 研究者发现倒置后的低照度图像从直观角度看起来很像雾霾图像[9-10], 因此借用去雾技术实现了一类视觉增强效果不错的LLIE算法[9-10]. 这类算法虽然在大多情况下能产生较为理想的增强效果, 但其结果缺乏令人信服的物理模型解释, 增强后的图像中有时存在明显的颜色失真.
在过去的十多年中, 基于Reinex光照物理模型实现的一类LLIE算法[11-14]获得了研究者的广泛关注. 该类算法通常利用对数函数将光学中照射分量(Illumination)与反射分量(Reflectance) 乘性关系转换为加性关系处理, 然后采用某种先验正则项构建目标函数, 并通过寻优的方法估计照射分量, 将低照度图像中的照射分量分离后得到反映场景对象本身性质的反射分量, 从而实现图像增强. 例如, Guo等[12]提出了一种称为LIME (Low-light image enhancement)低照度图像增强算法. LIME算法首先对低照度图像照射分量进行初步估计, 然后利用结构先验知识对初步估计结果进行优化, 最后根据优化后的照射分量实现图像增强. 此外, 为了抑制增强图像时引入的噪声, LIME算法采用了经典BM3D (Block-matching and 3D filtering)[15]降噪算法完成增强图像的后处理. 上述各类LLIE算法在设计上均是仅利用单一的低照度图像作为算法的输入, 虽然在视觉上可以获得比较理想的增强效果, 但由于要完成照射分量和反射分量的分离, 在执行效率上偏低, 在对执行时间有严格要求的应用中受到一定的限制. 另外, 单幅低照度图像中所蕴含的有效信息毕竟有限, 导致这些算法不能全面有效地展示图像中所有的细节. 因此, 为充分利用自然图像中所蕴含的先验知识达到提高增强效果的目的, 基于机器学习的LLIE算法成为研究者关注的热点[16-17]. 例如, Lore等[16]利用深层自动编码器构建了称为低照度图像增强网络的增强算法. Lore算法能在对比度增强中有效地克服噪声的影响, 在一些常见测试图像中能达到不错的增强效果. Park等[17]基于Retinex模型原理将叠加式和卷积型两种自动编码器相结合, 提出了一种基于训练的LLIE新算法, 实现了低照度图像增强和降噪功能. 该算法首先使用带有少量隐藏单元的堆叠式自动编码器估计输入图像的空间光滑照射分量, 然后使用卷积自动编码器来处理图像, 以减少对比度增强过程中引入的噪声. 一般来说, 基于机器学习实现的LLIE算法, 虽然能够获得比传统方法更具优势的增强效果, 但其性能仍然在一定程度上受到限制, 其主要原因在于采集用于训练模型的图像数据集合比较困难.
近年来, 研究者们受高动态范围技术(将同一场景中拍摄的一组不同曝光度的图像, 通过图像融合方法获得高质量输出图像)启发, 基于给定的低照度图像及基于它生成的多幅不同曝光度的图像, 通过将它们之间互补性的图像信息融合在一起, 获得了更好的图像增强效果[18-24], 是研究LLIE算法的新方向之一. 例如, Fu等[19]首先在Reinex模型下快速地将低照度图像分解为照射分量和反射分量, 对于照射分量使用局部和全局优化技术增强. 然后, 根据图像质量指标设置像素点级的权重值, 将原始、局部和全局优化后的3幅照射图像在多尺度融合框架下融合为一幅最佳照射图. 最后, 通过将优化后的照射图补偿到反射分量上获得最终的增强图像. Fu算法采用多尺度融合的方式提高了增强图像的视觉质量, 在细节增强、局部对比度改善和自然度保持方面获得了最佳平衡. 但是该算法输出的增强图像中某些区域的可见性仍然不够高. Liu等[22]提出了一种基于最优加权多曝光融合机制的LLIE算法. 该算法首先使用多个色调映射函数构造关于低照度图像的多幅不同曝光度版本, 接着根据视觉感知质量度量自适应地从所有的多曝光图像序列中定位出局部最佳曝光区域, 然后将它们无缝地集成到一个曝光良好的图像中. 经过Liu算法增强的图像, 能达到理想的颜色保真效果, 同时也保留了低曝光图像中的一些细节, 但是处理曝光度非常低的图像仍无法取得令人满意的效果. Ying等[18]提出了一种基于互信息最优伪曝光技术的LLIE新算法. 该算法基于给定的低照度图像, 首先基于互信息最大化的原则利用伪曝光技术获得一幅关于低照度图像的适度曝光图像, 然后根据图像像素亮度值设置权重将低照度图像和适度曝光图像两幅图像在像素级上完成融合. 总体上, Ying算法实现效率高且增强效果不错, 然而Ying算法在计算融合图像的权重时仅是考虑图像像素点本身曝光度, 这种图像加权的方式对于自然图像复杂的局部结构过于简单, 且对噪声比较敏感, 导致最终在增强后的图像中仍然有很多图像细节未能很好地得到保护和增强. 此外, Ying算法仅采用一幅曝光适度的伪曝光图像作为低照度图像的互补图像, 所能提供的有用信息仍然不够全面. 在适度曝光的图像中, 仍然存在曝光不充分的区域需要增强.
受Ying等算法启发, 为了获得更好的图像增强效果, 本文提出了一种在多图像局部图像结构化融合框架下的LLIE (Multi-image local structured fusion-based LLIE, MLSF-LLIE)算法, 从待融合图像制备和局部结构化融合两个方面对Ying算法进行改进. 基于给定的低照度图像, MLSF-LLIE算法先利用预先训练的最佳曝光度预测模型(Optimal exposure ratio prediction model, OERPM)预测其最佳曝光度值, 在伪曝光模型下制备用于融合的适度增强图像和过曝光图像(采用比最佳曝光度值更高的曝光度值生成)各一幅. 此外, 还将Fu算法[19]输出的增强图像作为适度增强图像参与融合. 基于Reinex光照物理模型构建的Fu算法所输出的增强图像, 在细节保护、图像保真度、噪声抑制方面可以与Ying伪曝光模型生成图像形成很好的互补作用. 另一方面, 为了更好地保持图像的边缘和纹理细节, 采用了局部结构化分解和重构的融合技术将之前制备的图像融合后作为最终的增强图像. 实验结果表明: 所提出的MLSF-LLIE算法不仅能对低照度图像中的对比度进行合理调整, 展现出更多的图像内容, 而且很好地保护了图像的边缘细节, 在主客观图像质量评价指标上优于现有大多数主流算法, 这主要得益于充分利用了多幅不同曝光度图像中的互补性信息和局部结构化的融合.
1. 相关的工作
1.1 Ying算法简介
Ying算法[18]本质上属于在像素点级上完成融合的低照度图像增强算法, 其核心框架可以形式化地描述为
$$ {R}^c (i,j) = \sum\limits_{k = 1}^K {{ W}_k^c (i,j) \times {I}_k^c } (i,j) $$ (1) 其中,
$ K $ 是待融合图像的数量,$ c = \{ r,g,b\} $ ,$ I_k^c (i,j) $ 表示待融合图像集中第$ k $ 幅图像$ c $ 通道上在空间位置$ (i,j) $ 处对应的像素点的亮度值,$ W_k^c(i,j) $ 表示$ I_k^c (i,j) $ 的权重值,$ R^c (i,j) $ 表示融合后图像$ c $ 通道上在像素点$ (i,j) $ 处的亮度值, Ying算法对图像中不同空间位置处的像素点采用不同的权重进行融合, 其中, 对曝光良好的像素点赋予更大的权重, 反之则赋予较小的权重. 在融合前利用归一化操作保证各个待融合图像同一像素点位置的权重满足$\sum\nolimits_{k = 1}^K {W_k (i,j) = 1}$ . 图1给出了Ying算法的执行流程框图, 其主要步骤为: 首先, 基于给定的低照度图像获得一幅曝光适度的伪曝光图像, Ying算法采用亮度转化函数(Brightness transform function, BTF)$ I_e = g{\rm{(}}I_o {\rm{,}}\delta {\rm{)}} $ 生成一幅伪曝光图像. 函数$ g{\rm{(}} \cdot, \cdot{\rm{)}} $ 中的参数$ I_o $ 是低照度图像,$ \delta $ 是曝光度, 而$ I_e $ 则是依据基于$ I_o $ 和$ \delta $ 生成的伪曝光图像. 具体实现时, Ying算法仅生成一幅伪曝光图像, 而确定伪曝光图像所需要的曝光度的过程则是通过穷举搜索$ \delta \in [3,8] $ 范围内[18]所有可能曝光度的伪曝光图像, 并与输入低照度图像计算互信息, 采用互信息最大值所对应的曝光值作为最佳曝光度, 故执行效率比较低. 待融合图像制备完成后, Ying算法根据低照度和伪曝光图像中对应像素点位置曝光程度的好坏确定各个像素点权重, 并利用式(1)完成像素级的图像融合. 由于Ying算法仅使用两幅图像进行融合, 所以融合过程可以简化描述为$$ R^c = W_1 \times I_1 ^c + W_2 \times I_2 ^c $$ (2) 其中,
$ I_2^c = g(I_1^c,\delta ) $ 是通过BTF函数生成的,$W_2 = $ $ 1-W_1 $ 则是其权重映射图.
图 1 Ying算法中实现低照度图像增强的融合框架Fig. 1 Fusion framework of low-light image enhancement in Ying algorithm1.2 Ying算法优缺点分析
从图1中可以看出, 原始低照度图像经过BTF函数伪曝光后, 图像中曝光不足的区域在伪曝光图像中得到适度曝光. 同时, 在原图像曝光正常的区域, 伪曝光图像中也存在曝光过度的情况. 这样, 原低照度图像和伪曝光图像正好可以形成互补, 因此通过合理融合后可以获得令人满意的增强效果. 然而, 在伪曝光图像中可以观察到人物区域的对比度仍然有待进一步提高, Ying算法所确定的最佳曝光度仅是从图像全局角度出发, 在所有可能的曝光度范围内选择一幅与原低照度图像具有最高互信息的图像参与融合. 因此, 在图像中仍有很多局部细节无法得到充分的曝光, 也存在过增强情况. 故为了获得更好的图像增强效果, 应该使用更多图像参与融合. 此外, Ying算法中像素点融合权值是根据像素点曝光度好坏直接确定, 仅由像素点亮度值来决定, 没有考虑图像局部结构的细节信息, 因此融合后的图像中存在对纹理细节保护不够的问题.
2. MLSF-LLIE算法
2.1 改进思想
本文从获得更多、更好且与低照度图像具有互补性图像和改进图像融合权重设置机制两个方面入手, 试图进一步改进Ying算法的性能. 所提出的MLSF-LLIE算法分为两个阶段来完成:
1)待融合图像制备阶段. 首先, 采用与图像质量评价(Image quality assessment, IQA)算法类似的实现方法, 在样本图像数据库上通过训练的方法构建图像质量感知特征(主要用来刻画对比度等反映低照度图像质量的特征)与最佳曝光度之间映射函数, 得到OERPM最佳曝光度预测模型. 一旦模型训练完成, 利用该模型可以直接基于低照度图像得到它的最佳曝光度值
$\delta_{{\rm{opt}}},$ 从而基于$\delta_{{\rm{opt}}}$ 利用BTF函数即可生成一幅最佳伪曝光图像(作为适度增强图像), 无需像Ying算法那样穷举搜索最佳曝光度值. 同时, 还可以在最佳曝光度值$\delta_{{\rm{opt}}}$ 的基础上提高$ \triangle\delta $ ($ \triangle\delta = 1 $ 为经验值), 生成一幅过曝光图像使得最佳伪曝光图像中仍然有可能未得到充分曝光的区域得到充分曝光. 另外, 本文将Fu算法[19]所输出的图像作为适度增强图像来使用, 让其参与图像融合. Fu算法能够在背光、非均匀光照和夜间拍照等情况下实现较好的增强效果(在局部对比度增强和图像自然保持度方面具有优势, 但图像整体偏暗). 故将其输出图像作为适度增强图像, 与Ying算法生成的适度增强图像可形成互补.2)融合阶段. 改变Ying算法基于像素点级别且仅依赖像素点曝光度设置权重系数的融合策略, 采用在图块级上完成图像融合的方法, 具体分为3个步骤实现: a)提取待融合图块集合并完成结构化分解[25]. 以
$ (i,j) $ 像素点为中心像素点的融合过程为例, 提取$ K $ 个融合图像在$ (i,j) $ 像素点处的图块集合$ \left\{P_k {\rm{(}}i,j{\rm{)|1}} \le k \le K\right\} $ , 并将这些图块分解为对比度(Contrast)值、纹理结构(Structure)矢量和亮度值(Brightness)三个分量. b)分别完成三个分量的融合. 对于对比度分量来说, 由于对比度分量是人眼感觉图像内容最重要的决定性因素, 因此在各个待融合图块中具有最高对比度值的分量值直接作为融合后图块的对比度分量值; 纹理结构分量主要是用来刻画图像的边缘细节信息, 各个待融合图块的纹理结构分量在最终融合图块中所占权重将根据$ (i,j) $ 处相位一致性(Phase congruence, PC)系数值来设置; 对于亮度值分量, 理论上亮度值越高, 人眼的关注度更高, 各个待融合图块的亮度值在最终融合图块中所占的权重将根据$ (i,j) $ 处视觉显著度(Graph-based visual saliency, GBVS)系数值[26]来设置. c)重构图块. 按照分解过程的逆过程将融合后的三个分量重构为图块, 作为融合后图像在$ (i,j) $ 处的图块.2.2 伪曝光图像制备
2.2.1 图像质量感知特征
所提出的OERPM模型是基于训练策略在大量典型图像上构建对比度感知特征值与最佳伪曝光度之间的回归预测模型, 类似于IQA算法的工作框架, 只是目标函数值为最佳伪曝光度值而已. 其中, 提取能够反映给定低照度图像质量的感知特征矢量是基础性的工作. 为了刻画低照度图像的图像特性, 本文采用了3种类型的特征值. 第1类为基于对比度能量定义的特征值[27], 其定义为
$$ {{CE}}^c = \frac{{\alpha \times Y(I^c )}}{{Y(I^c ) + \alpha \times \theta }} - \phi ^c $$ (3) 其中,
$ Y(I^c ) = ((I^c \otimes c_h )^2 + (I^c \otimes c_v )^2 )^{1/2} $ ,$ c = \{ r,g,b\} $ 分别表示彩色图像$ I $ 的3个通道,$ c_h $ 和$ c_v $ 分别代表高斯函数的水平和垂直方向的二阶导数. 参数$ \alpha = \max [Y(I^c )] $ ,$ \theta $ 控制对比度增益,$ \phi^{c} $ 作为阈值来限制噪声的影响. 第2类为在PC相位一致性映射图基础上定义的熵$$ E_{{\rm{PC}}} = - \sum\limits_{i = 0}^{255} {p_i (I_{{\rm{PC}}} )} \lg p_i (I_{{\rm{PC}}} ) $$ (4) 其中,
$ I_{{\rm{PC}}} $ 是图像$ I $ 对应的灰度图像上的PC映射图, 其具体定义可参见式(10). 第3类为反映图像锐度的特征值, 其主要通过计算图像小波子带的对数能量来定义. 为计算该特征值, 首先使用9/7 离散小波变换(Discrete wavelet transform, DWT)滤波器将灰度图像在3个尺度上进行分解, 获得分解后的子带分量为$\{{{LH}}_l,{{ HL}}_l,{{ HH}}_l|l=1, 2,$ $ {{ 3\}}} $ , 然后计算每个子带能量的对数值$$ {{LE}}_{n,l} = {{\rm{lg}}} \left[1 + \frac{1}{{N_l }}\sum\limits {n_l^2 (i,j)} \right] $$ (5) 其中,
$ n $ 分别代表LH (Low-high)、HL (High-low)和HH (High-high)子带, 而$ N_{l} $ 是在$ l $ 尺度的DWT系数值的总数, 基于此, 最后计算每个尺度上的对数能量$$ {{LE}}_l = \frac{{\dfrac{1}{2}({{LE}}_{{\rm{LH}},l}+{{LE}}_{{\rm{HL}},l})+\omega \times {{LE}}_{{\rm{HH}},l} }}{{1 + \omega}} $$ (6) 其中, 参数
$ \omega = 4 $ , 其目的是给予$ {\rm{HH}} $ 子带上更大的权重. 由于尺度1对图像质量描述能力差, 故仅选用在尺度2和尺度3上获得的能量对数特征值作为描述图像质量的感知特征值${\boldsymbol F}_s = \left\{{{LE}}_2,{{LE}}_3 \right\}$ . 这样, 共选6个特征值来刻画图像质量的优劣, 即${\boldsymbol F} = \{{{CE}}^r ,$ ${{CE}}^g ,{{CE}}^b ,E_{{\rm{PC}}} ,{{LE}}_2 ,{{LE}}_3 \}$ .2.2.2 构建OERPM模型
对于任意给定的一幅用于训练的低照度图像, 采用穷尽搜索的方法在
$ \delta \in[3,8] $ 范围[18]内以间隔0.1的步长生成一系列对应的伪曝光图像, 并利用无参考的图像质量评价(No-reference image quality assessment)算法度量每个伪曝光图像的图像质量, 从中选择质量最好的伪曝光图像并记录对应的曝光度值$ \delta $ . 这样, 对于给定的低照度训练图像集合, 依据上述方法可以从每幅低照度图像中提取的特征矢量${\boldsymbol F}_i = \{ {{CE}}^r ,{{CE}}^g ,{{CE}}^b ,E_{{\rm{PC}}} ,{{LE}}_2 , {{LE}}_3 \}$ 及其对应的最佳曝光度值$ \delta_i $ 从而构成训练集$ \left\{({\boldsymbol F}_1 ,\delta _1),\right. $ $\left.({\boldsymbol F}_2 ,\delta _2 ),\cdots,({\boldsymbol F}_N ,\delta _N)\right\} \subset {\boldsymbol F} \times {\bf R}$ . 基于此, 可以通过训练的方法获得预测函数$ \varphi(\cdot) $ , 以实现图像质量感知特征矢量到最佳曝光度值之间的映射. 鉴于深度置信网络(Deep belief network, DBN)[28]强大的预测非线性映射能力, 本文采用DBN网络实现上述的预测模型.2.3 局部结构化融合
2.3.1 信号分解
为了充分利用像素点及其邻域像素点的局部结构关系, 实现在图像增强过程中更好地保护图像中的纹理边缘细节信息, MLSF-LLIE算法采用在图块级上进行图像融合[25]. 首先, 用
$ \left\{P_k {\rm{(}}i,j{\rm{)|1}} \le\right. $ $\left. k \le K\right\} $ 表示一组在$ K $ 幅不同曝光程度图像的同一空间位置$ (i,j) $ 像素点处提取的$ K $ 个图块集合. 对于$ P_k $ 图块将其列矢量化为$ {cN} ^{2} $ 维的列矢量$ {\boldsymbol P}_k $ ,$ c $ 是每幅输入图像的通道数(灰度图像时值取1, 彩色图像时值取3),$ N $ 是图块的长和宽大小. 对于$ {\boldsymbol P}_k $ 所表示的列矢量, 可以将其分解为由对比度值、纹理结构矢量和亮度值3个分量构成$$ \begin{split} {{\boldsymbol P}_k} =\;& \left\| {{{\boldsymbol P}_k} - {m_{{P_k}}}} \right\| \times \frac{{{{\boldsymbol P}_k} -{m_{{P_k}}}}}{{\left\| {{{\boldsymbol P}_k} -{m_{{p_k}}}} \right\|}} + {m_{{P_k}}}=\\ & \left\| {{{\tilde {\boldsymbol P}}_k}} \right\| \times \frac{{{{\tilde {\boldsymbol P}}_k}}}{{\left\| {{{\tilde {\boldsymbol P}}_k}} \right\|}}+ {m_{{P_k}}}= {c_k} \times {{\boldsymbol s}_k} + {l_k} \end{split} $$ (7) 其中, 标量
${c_k} = \|{{{\tilde {\boldsymbol P}}_k}}\|$ 、单位矢量${{\boldsymbol s}_k} = {\tilde {\boldsymbol P}_k}/\| {{{\tilde {\boldsymbol P}}_k}} \|$ 和标量$ l_k = {m_{{P_k}}} $ 分别代表图块$ P_k $ 的对比度值、纹理结构矢量和亮度值.$ {l_k} = {m_{{P_k}}} $ 表示图块中所有像素点亮度的平均值,$ {\tilde {\boldsymbol P}_k} = {{\boldsymbol P}_k}-{m_{{P_k}}} $ 表示减去像素平均值矢量. 式(7)所描述的过程是可逆的, 本文在融合图像过程中采取先将图块分解为3个分量表示, 根据各自所表达的图像局部结构信息特点设置不同的权重完成融合, 然后对融合后的3个分量按照式(7)所示分解的逆过程得到融合后的增强图块, 融合的过程形式化地表示为$$\begin{split} {\hat {\boldsymbol P}} =\;& {\varphi _1}({c_1},{c_2},\cdot \cdot \cdot ,{c_k}) \times {\varphi _2}({{\boldsymbol s}_1},{{\boldsymbol s}_2}, \cdot \cdot \cdot ,{{\boldsymbol s}_k})\;+ \\& {\varphi_3}({l_1},{l_2}, \cdot \cdot \cdot ,{l_k}) \end{split}$$ (8) 其中,
$ \varphi_1 $ ,$ \varphi_2 $ ,$ \varphi_2 $ 分别是各个分量的融合函数.2.3.2 对比度分量融合
融合后图块的对比度分量直接采用所有参与融合的对比度值中最大值
$$ \hat c = {\varphi _1}({c_1},{c_2},\cdot \cdot \cdot,{c_k}) = \mathop {\max }\limits_{1 \le k \le K} {c_k} $$ (9) 2.3.3 纹理结构矢量融合
为了在融合后结构矢量分量中保留更多结构信息, 利用相位一致性PC值来加权各个
$ s_k $ . PC值作为在频率域上定义的度量值, 是一个无量纲的量, 它的值在[0, 1]范围内. 它原本是一种检测图像边缘特征的方法, 可以检测出边缘细节特征且能很好地反映人眼视觉特点, 尤其是PC值的大小不会因为原始图像的亮度和对比度而受到影响. 根据文献[29], PC可以从构建能量模型角度定义为$$ PC(i,j) = \frac{{|E(i,j)|}}{{\displaystyle\sum\limits_n{{A_n}(i,j)}}} $$ (10) 其中,
$ |E(i,j)| $ 表示在空间位置上$ (i,j) $ 像素点的局部能量,${A_n}(i,j) = \sqrt{{e^2_n}{{(i,j)}}+{o^2_n}{{(i,j)}}}$ 是局部振幅.$ e_n $ 和$ o_n $ 分别是偶和奇对称log-Gabor滤波器的响应[30]. 由式(10)可知, PC值即为局部能量与所有局部振幅之和的比值, 它实质上是图像各个频率成分的相位相似度的一种度量. 普通边缘检测算子的原理是基于灰度图像像素值梯度的变化程度实现边缘的检测, 其检测结果严重依赖于图像亮度和对比度, 然而PC值对于图像中的边缘细节检测能力却很强, 即使是在对比度非常弱的区域, 也能够检测到边缘细节的存在, 因为它不受图像亮度或对比度变化的影响. 为了保护好参与融合图块中的$ \left\{P_k {\rm{(}}i,j{\rm{)|1}} \le k \le K\right\} $ 的纹理边缘信息, 本文从待融合图像上获得的PC映射图系数值作为加权系数, 其归一化后为$$ W_k^{\boldsymbol s}(i,j) = \frac{{{{P}}{{{C}}_k}(i,j)}}{{\displaystyle\sum\limits_{k = 1}^K {{{P}}{{{C}}_k}(i,j)} }} $$ (11) 这样, 融合后的纹理结构矢量可以计算为
$$ \hat {\boldsymbol s}(i,j) = {\varphi _2}({{\boldsymbol s}_1},{{\boldsymbol s}_2},\cdot \cdot \cdot,{{\boldsymbol s}_k}) = \sum\limits_{k = 1}^K {W_k^{\boldsymbol s}(i,j)\times {{\boldsymbol s}_k}(i,j)} $$ (12) 为了更加直观地展示PC度量值实际加权效果, 图2列出了一幅低照度图像的原始图像、适度曝光和过曝光图像及其它们对应的PC映射图. 其中, 图2(a)是原图, 图2(b)是利用BTF函数根据模型预测最佳曝光度
$ {\delta_{{\rm{opt}}}} $ 下生成的适度曝光的图像, 图2(c)则是在曝光度$ {\delta _{{\rm{opt}}}} + 1 $ 下生成的过曝光图像. 图2(d) ~ 2(f)则是分别与之对应的PC映射图, 在PC映射图中, 亮度越高表示该像素点处的纹理结构强度更高. 由图2(a) ~ 2(c)可以看出: 随着图像曝光度逐渐增强, 石屋门的上方原本不易观察的区域在亮度和对比度方面逐渐改善, 这在PC映射图上得到相应反映, PC映射图也越来越亮. 这意味着适度曝光图像或者过曝光图像中这些区域中的像素点在未来融合时所占的权重系数将更大一些, 符合设计要求.
图 2 待融合图像纹理结构权重的比较分析Fig. 2 The weight analysis of the texture structure component for images to be fused2.3.4 亮度值分量融合
本文利用GBVS视觉显著性度量[26]作为各个
$ P_k $ 图块中亮度值分量在融合时所占的权重系数, 具体步骤如下: 首先, 获取多尺度的亮度信息. 对输入的图像$ I_k $ 转化成的灰度图, 使用高斯金字塔低通滤波器对其进行滤波. 高斯金字塔的每一层都是一个二维高斯低通滤波器$$ G(i,j,\sigma ) = \frac{1}{{2{\rm{{\text{π}}}}{\sigma ^2}}}\exp\left(-\frac{{{i^2}+{j^2}}}{{2{\sigma^2}}}\right) $$ (13) 其中,
$ (i,j) $ 为图像中点的位置,$ \sigma $ 称为尺度因子. 其次, 获取多尺度的方位信息. 用Gabor金字塔滤波器组对原始灰度图像$ I_k $ 进行滤波, 以得到方向上的信息. 二维Gabor滤波器表示为$$ \begin{split} &{H(i,j,\sigma ,\theta ) = \frac{1}{{{\sigma ^2}}}\exp \left( - {\text{π}} \frac{{{i^2} + {j^2}}}{{{\sigma ^2}}}\right)} \times\\ &\quad{\left[\exp (2{\text{π}} f(i\cos \theta + \sin \theta )) - \exp \left( - \frac{{{{\text{π}} ^2}}}{2}\right)\right]} \end{split}$$ (14) 其中,
$ \sigma $ 为尺度因子,$ f $ 为正弦波频率,$ \theta $ 为方位. 一般情况下可以取$ \theta = [0,{\text{π}} /4,{\text{π}} /2,3{\text{π}} /4] $ . 即在4个方向上滤波, 可以得到4组不同尺度下的滤波结果. 然后, 求不同尺度和不同特征图的马尔科夫平衡. 对上述每个通道内每个尺度的滤波结果, 根据其像素间的差异和欧氏距离建立各自的马尔科夫链, 然后求其马尔科夫平衡分布. 最后在所有组、所有尺度的滤波结果依次计算出平衡分布后, 将结果按照通道叠加起来并归一化得到显著图. 与PC映射图的用法类似, 对于参与融合的图像$ I_k $ , 在计算其各个待融合图像的GBVS映射图后, 以GBVS映射图数值作为加权系数, 其归一化后为$$ W_k^l(i,j) = \frac{{{{GBVS}}_k}(i,j)}{{\displaystyle\sum\limits_{k = 1}^K{{{GBVS}_k}(i,j)}}} $$ (15) 这样, 融合后图块的亮度强度分量可以计算为
$$ \hat l(i,j) = {\varphi _3}({l_1},{l_2},\cdot \cdot \cdot,{l_k}) = \sum\limits_{k = 1}^K {W_k^l(i,j)\times{l_k}(i,j)} $$ (16) 为了展示GBVS视觉显著度对分量的加权的处理效果, 图3(d) ~ 3(f)给出了图3(a) ~ 3(c)对应的GBVS映射图. 在各个GBVS映射图中, 容易观察到的区域用显著的颜色标出, 颜色越红表示关注度越高. 从图3(d) ~ 3(f)中可以看出, 随着曝光度的增高, 人眼对图像的关注点从完全专注于图像的背景部分(远处房屋密集区)开始逐渐向前景部分(近处屋顶周围)扩展, 这与低照度图像经过伪曝光后, 图像前景部分的对比度增强有显著对应关系, 表明在适度曝光和过曝光图像中, 前景房顶区域将在未来融合的时候所占据权重将更大, 这与设计目标相一致, 故采用GVBS映射图作为加权系数可以更好地反映人眼视觉关注图像信息的特点.
图 3 待融合图像亮度值权重的比较分析Fig. 3 The weight analysis of the brightness component for images to be fused2.3.5 重构
一旦由式(9)、式(12)和式(16)分别确定
$ \hat c $ 、$ {\boldsymbol {\hat s}} $ 、$ \hat l $ 分量, 可得到融合后的矢量$ {\boldsymbol {\hat P}} $ . 根据式(7)的逆过程, 可得到融合后的图块$ {{\hat P}} $ . 上述融合过程在图块级上完成的, 在具体实现时, 以光栅扫描过程提取重叠的(Overlapped)图块并进行融合. 融合图像某一空间位置$ (i,j) $ 处的像素点亮度值其实是以$ (i,j) $ 处周围相邻像素点为中心像素点各个重叠重构图块在$ (i,j) $ 处亮度值的均值[31].2.4 噪声抑制
与文献[12, 19, 32]采取的策略相同, 在低照度图像完成增强完成后, 本文利用经典BM3D降噪算法[15]完成噪声抑制. 文献[12, 19, 32]在利用BM3D算法降噪时并没有考虑到不同低照度图像增强后图像中噪声的严重程度是不同的, 而是使用某个固定噪声水平值
$ \sigma $ (或人工设置)作为BM3D入口参数值, 这使得BM3D算法完成降噪任务时并不能在噪声抑制和图像细节保护之间获得最佳的平衡. 为此, 本文基于笔者之前在文献[33]中的工作, 利用所提出的噪声水平估计 (Noise level estimation, NLE)算法估计增强后图像中的噪声水平值大小, 并将该值作为BM3D算法的入口参数值. 这样可以根据增强图像中噪声的严重程度自适应完成降噪, 从而在图像降噪和细节保护两个方面实现最佳的平衡, 相关的实验结果在下一节中给出.3. 实验与分析
3.1 测试环境
为了验证所提出的MLSF-LLIE算法对低照度图像的图像增强效果, 从文献[11, 18, 34]、文献[19-20]、文献[35]、文献[36]和文献[37]中选取了15幅、22幅、41幅、8幅和4幅(共90幅)低照度图像. 这些图像没有无失真图像作为参考图像, 只能用无参考IQA评价指标进行度量. 另外, 从文献[37]中随机选取了90幅低照度图像(有原始对应的无失真图像作为参考图像, 可用无参考和有参考IQA评价指标来进行度量). 测试图像集中8幅有代表性的低照度图像如图4所示. 选取了7个主流LLIE算法参与对比, 即HVS[38]、Fu2016a[20]、Fu2016b[19]、Ying[18]、LIME[12]、Li[11]和FFMD[32]. 其中, 对比算法均采用其默认的最优参数, 而所提出的MLSF-LLIE算法由于采用4幅图像参与融合, 过度曝光值采用在最佳曝光度值的基础上提高1, 故MLSF-LLIE算法关键参数设置为
$ K = 4 $ ,$ \Delta \delta = $ $1 $ . 采用NIQMC (No-reference image quality metric for contrast distortion)[39]、BIQME (Blind image quality measure of enhanced)[40]、BOIEM (BIQME-optimized image enhancement method)[40]和IL-NIQE (Integrated local natural image quality evaluator)[41]四个无参考IQA指标以及IW-PSNR (Information content weighted peak signal to noise ratio)[42]和IW-SSIM (Information content weighted structure similarity index measure)[42]两个有参考IQA指标衡量各个算法的图像增强效果. 其中, NIQMC、BIQME和BOIEM (后两个指标考虑了亮度、色彩等失真情况)三个指标值越高, 表示图像中的对比度越好, 但对图像整体的图像质量描述能力相对较弱, 并不表示整体的图像质量就一定好. ILNIQE是一个通用型的无参考IQA指标, 所评价的失真类型比较全面, 该指标值越小则表示图像整体质量越好. IW-PSNR和IW-SSIM这两个有参考IQA指标值越大, 则表示与原始无失真图像越接近, 图像增强的效果越好. 相对来说, 有参考评价指标比无参考评价指标度量图像质量更为准确一些. 实验的硬件平台为: Inter(R) Core(TM) i7-4770、3.40 GHz CPU、16 GB内存, 软件环境为: Windows 7.0操作系统, MATLAB R2017b编程环境, 全部实验都是在以上的统一环境下完成.3.2 代表性图像增强效果分析
为了更加直观地评价各个对比算法的视觉增强效果, 图5 ~ 7列出了不同光照情况的低照度图像经过各算法增强后的效果图. 其中, 图5给出了在夜晚(极差照明条件下)拍摄的Tree图像的增强效果图. 从视觉上看, 图5(b)和图5(c)依然比较暗, 表明其分别对应的HVS和Fu2016a算法对这类严重的低照度图像增强效果不佳. 图5(d)和图5(f)中树区域部分则增强得过亮并且亮区和暗区的交界处出现了马赛克现象(箭头所指处), 这说明Fu2016a和LIME算法在增强图像的同时不能很好地保持图像局部纹理结构. 图5(e)也出现了马赛克现象, 并且图像整体上有雾化感觉, 其主要原因是Ying算法是通过伽马校正函数来调整图像中像素点的亮度, 难以保证颜色不失真. 另外, 该算法没有考虑图像局部的结构信息, 从而导致增强后图像也有马赛克现象. 图6(g)整体图像不够清晰, 这是由于Li算法在增强的同时做了降噪处理, 但在去除噪声的同时也导致图像的一些纹理和细节信息被模糊了. 图5(h)则雾化效果更为严重, 这是由于FFMD算法只是简单地用相机响应模型调整图像的对比度, 采用BM3D降噪时也模糊了图像的纹理细节. 图5(d)是Fu2016b算法输出的图像, 它作为所提出的MLSF-LLIE算法的待融合图像. 可以发现图5(d)中存在的过亮和马赛克现象并没有最终出现在图5(i)中, 表明MLSF-LLIE算法的局部结构化融合策略充分利用了其他待融合图像中更为合理的信息抑制了图5(d)中视觉效果不好的内容, 所提出的PC和GBVS映射图作为加权系数起了一定的作用. 从表1中所列各子图对应指标值来看, 相比较而言, 所提出的MLSF-LLIE算法在BOIEM、BIQME和NIQMC三个指标上处于中等以上的水平, 表明对低照度图像的对比度进行了适度的增强, 而在对图像质量有着更为全面衡量的IL-NIQE指标上则是排名第一, 显著优于其他对比算法. 这说明MLSF-LLIE算法在主观感觉上比较符合人眼视觉感受, 图像整体增强效果比较协调.
图 5 各个算法在Tree图上增强效果对比Fig. 5 Visual comparison of the results obtained with competing algorithms on Tree image
图 7 各个算法在Class图上增强效果对比Fig. 7 Visual comparison of the results obtained with competing algorithms on Class image
图 6 各个算法在Tower图上增强效果对比Fig. 6 Visual comparison of the results obtained with competing algorithms on Tower image表 1 各个对比算法对Tree图像增强后的无参考指标值比较Table 1 Performance comparison of each algorithm on Tree image算法 HVS Fu2016a Fu2016b Ying LIME Li FFMD MLSF-LLIE BOIEM 1.96 2.07 2.18 1.97 2.11 2.26 2.25 2.37 BIQME 0.28 0.30 0.37 0.35 0.48 0.37 0.43 0.39 NIQMC 3.31 3.66 4.18 3.27 4.69 3.54 3.40 4.17 IL-NIQE 57.66 60.04 57.39 58.69 58.08 49.92 65.06 31.79 图6展示的是傍晚拍摄的一幅低照度(微光照明条件) Tower图像, 图像的前景部分很暗, 而背景天空部分则曝光较好. 与图5中的情况类似, 图6(f)部分区域也出现了明显的马赛克现象(如箭头所指处). 为了更加直观地比较各算法对细节的增强效果, 提取图像局部区域内容进行放大观察. 只有利用MLSF-LLIE算法所得到的图6(i)在塔的墙面纹理保持得最为清晰, 塔上两个窗口状的结构清晰可见, 而亮度也比较高, 达到图6(f)的水平, 却没有显著的马赛克现象. 图6(d) (作为MLSF-LLIE算法的待融合图像)中较为模糊的信息并未带入图6(i)中, 再次说明了局部结构化融合机制能将各个待融合中最有利于视觉观察的信息保留下来, PC和GBVS映射图作为加权系数起了一定的作用. 总之, MLSF-LLIE算法一方面保持了低照度图像中曝光好的区域, 另一方面在增强图像低曝光区域时也能很好地保持图像的纹理细节. 从表2所列指标数据来看, IL-NIQE指标值排名第一, NIQMC、BIQME和BOIEM指标值处于前列, 表明对比度进行了适度增强, 这充分说明了MLSF-LLIE算法在处理低照度图像时的优势.
表 2 各个对比算法对图像Tower增强后的无参考指标值Table 2 Performance comparison of each algorithm on Tower image算法 HVS Fu2016a Fu2016b Ying LIME Li FFMD MLSF-LLIE BOIEM 2.30 3.42 3.04 2.90 3.18 2.77 3.42 3.15 BIQME 0.40 0.54 0.48 0.53 0.54 0.53 0.58 0.56 NIQMC 3.48 4.97 4.58 4.63 4.63 4.22 4.92 4.70 IL-NIQE 42.82 32.34 37.05 34.68 35.04 38.66 36.75 30.10 图7展示的是各算法在室内低照度图(光照条件适度良好, 因拍摄角度的问题导致图像质量比较差)上的增强效果. 从表3列出的指标来看, MLSF-LLIE算法IW-PSNR和IW-SSIM两个有参考指标上均获得第一, 在无参考指标IL-NIQE上排名第二. 从图7可以看出, MLSF-LLIE算法在图像增强、细节保护、色彩保真、避免过度曝光等方面的综合性能是最佳的, 这都得益于选用多个互补性很强的待融合图像和局部结构化的融合机制将各个待融合图像中最佳的纹理细节信息保留在最终的融合图像中.
表 3 各个对比算法对图像Class增强后的无参考指标值Table 3 Performance comparison of each algorithm on Class image算法 HVS Fu2016a Fu2016b Ying LIME Li FFMD MLSF-LLIE BOIEM 2.67 2.68 3.42 2.64 3.38 2.61 2.63 3.17 BIQME 0.48 0.50 0.57 0.53 0.6 0.55 0.53 0.56 NIQMC 4.57 4.57 5.28 4.67 5.00 4.67 4.33 4.95 IL-NIQE 25.89 22.22 20.9 24.26 22.99 38.22 24.47 20.97 IW-PNSR 16.68 17.36 21.36 18.66 15.24 16.46 17.93 22.18 IW-SSIM 0.85 0.87 0.94 0.91 0.87 0.83 0.88 0.95 3.3 噪声抑制效果对比
一般来说, 低照图像中处于暗区域的噪声会在增强后的图像中不同程度地放大, 对噪声不加以抑制会严重影响图像的整体质量. Community图像就是一幅在图像增强后噪声非常突出的实例. 这里采用笔者之前提出的NLE算法[33]对图像中的噪声水平值进行评估, 作为抑制噪声效果的度量. 噪声水平值越低表示图像中噪声严重程度越低, 噪声抑制效果越好. 如图8所示, 图8(b)和图8(c)中仍然存在明显的噪声, 其对应的噪声水平值
$ \sigma $ 分别为4.20和3.47, 表明Fu2016b和LIME在所有算法中的抑制噪声的能力较弱. 图8(d)、图8(e)和图8(f)的局部细节放大图像增强视觉效果比较接近, 噪声水平值$ \sigma $ 分别为2.28, 1.78和1.50. 其中, 所提出MLSF-LLIE算法噪声水平值指标最低, 且是图8(d)、图8(e)和图8(f)中层次感觉最好的, 这说明MLSF-LLIE算法对边缘的保护能力是最好的, 尤其体现在窗户上端突出部分(边缘清晰, 层次分明). 从图像整体的增强效果来看, 图8(f)是图8(d)、图8(e)和图8(f)中整体对比度最好的. 图8(f)的对比度恰到好处, 说明MLSF-LLIE算法对对比度增强是适度的, 没有出现图8(c)那样过度增强的情况.3.4 总体性能比较
图 8 各个算法在Community图像上抑制噪声效果对比Fig. 8 Comparison of denoising effect of each algorithm on Community image为了全面判定各个LLIE算法的性能优劣, 本文 在以上数据集 (含180幅图像)上完成了测试, 并计算了各个算法在各个指标上的平均值. 数据记录在表4和表5中(排名前两名用加粗字体表示). 由表4可知, MLSF-LLIE算法在ILNIQE指标上排第一, 说明本文算法在增强图像的同时能有效地保护图像的纹理结构, 图像质量是最优的. 而在BOIEM、BIQME和NIQMC这三个指标取得中等以上的成绩则说明MLSF-LLIE算法对低照度图像的对比度进行适度增强. 由表5中可知, MLSF-LLIE算法在2个有参考指标IW-PSNR和IW-SSIM上均获得第一, 在无参考的IL-NIQE指标上也是排名第一. 综上所述, MLSF-LLIE算法在大量测试数据集上图像增强能力是最好的. 此外, 执行效率是度量低照度图像增强算法性能好坏的另一项重要指标, 表6中列出了各个参与对比算法在90幅有参考低照度图像上的平均执行时间. 其中, HVS、Fu2016a、Ying和LIME算法的执行时间比较短, 均控制在1 s以内, 但这4个对比算法对低照度图像的增强效果往往不够理想. 所提出的MLSF-LLIE算法的执行时间在所有参与对比算法中处于中等水平, 由于该算法需要利用Fu2016b和Ying算法分别生成两个待融合的适度曝光图像, 以及利用BTF函数生成1幅过曝光图像进行融合, 加上图像融合所需的执行时间, 故总执行时间达到了4 s左右, 但仍然控制在所有参与对比算法中的中等水平. 从表4和表5中所列的各种客观图像质量评价指标数据来看, MLSF-LLIE算法的增强能力是最好的. 因此, 综合考虑执行时间和增强效果两个方面, MLSF-LLIE算法在两者之间达到了一个可接受的平衡点.
表 4 各个算法在90幅无参考低照度图像上的无参考指标的平均值Table 4 Average performance of different competing algorithms on 90 low-light images without reference images算法 HVS Fu2016a Fu2016b Ying LIME Li FFMD MLSF-LLIE BOIEM 3.07 3.17 3.27 3.13 3.38 3.12 3.03 3.21 BIQME 0.54 0.56 0.57 0.57 0.61 0.58 0.58 0.58 NIQMC 4.73 4.88 5.02 4.81 5.33 4.8 4.64 4.89 IL-NIQE 28.69 27.18 27.15 27.61 28.21 30.94 28.62 25.28 表 5 各个算法在90幅有参考低照度图像上的无参考和有参考指标的平均值Table 5 Average performance of different competing algorithms on 90 low-light images with reference images算法 HVS Fu2016a Fu2016b Ying LIME Li FFMD MLSF-LLIE BOIEM 2.67 2.68 3.42 2.64 3.38 2.61 2.63 3.17 BOIEM 3.38 3.41 3.43 3.34 3.43 3.38 3.28 3.40 BIQME 0.58 0.60 0.58 0.58 0.61 0.58 0.59 0.59 NIQMC 5.11 5.15 5.10 4.97 5.34 5.06 4.84 5.02 IL-NIQE 23.14 22.74 22.42 22.29 24.69 25.54 22.62 22.19 IW-PSNR 20.35 19.81 22.10 22.15 15.31 22.04 21.88 22.54 IW-SSIM 0.92 0.91 0.94 0.94 0.84 0.93 0.94 0.95 表 6 各个算法在90幅有参考低照度图像上的平均执行时间比较(s)Table 6 The average execution time of the competing algorithms on 90 low-light images with reference images (s)算法 HVS Fu2016a Fu2016b Ying LIME Li FFMD MLSF-LLIE 时间 0.56 0.29 1.93 0.21 0.10 11.23 4.13 4.21 4. 结束语
本文提出了一种称为MLSF-LLIE的多图像局部结构化融合的低照度图像增强算法, 该算法从待融合图像制备和多图像融合两个方面对现有的Ying算法进行了改进. 改进算法可以充分利用中心像素点周围局部的结构化信息, 在增强图像对比度的同时有效地保持图像的边缘和纹理细节, 图像失真程度低.
当然, 所提出的MLSF-LLIE算法也存在一些不足: 1)噪声抑制问题. 目前, 完成噪声抑制的工作普遍是由经典的BM3D算法来完成[12, 19, 32]. 然而, BM3D等大多数降噪算法在设计的时候均是假设噪声图像中的噪声为加性高斯白噪声, 低照度图像增强过程伴生的噪声属于信号相关噪声(Signal dependent noise, SDN), 并不完全符合高斯分布特性, 故现有的降噪算法对此类噪声处理的效果并不理想, 需要专门研究相应的降噪算法以获得最佳的降噪效果. 2)提高执行效率问题. 所提出的算法包括制备图像和图像融合两个阶段, 目前它的执行效率还有待提高. 未来可以采用多通道卷积神经网络(Multi-channel convolutional neural network)构建具有融合功能的神经网络模型, 直接将上述融合操作功能体现在网络模型的超参数当中. 总之, 将所提出的MLSF-LLIE算法中比较耗时的功能模块用非线性映射能力强大的深度卷积网络模型化以后, 受图形处理单元(Graphics processing unit, GPU)硬件支持的卷积神经网络可显著提高其执行效率.
-
图 1 Ying算法中实现低照度图像增强的融合框架
Fig. 1 Fusion framework of low-light image enhancement in Ying algorithm
图 2 待融合图像纹理结构权重的比较分析
Fig. 2 The weight analysis of the texture structure component for images to be fused
图 3 待融合图像亮度值权重的比较分析
Fig. 3 The weight analysis of the brightness component for images to be fused
图 5 各个算法在Tree图上增强效果对比
Fig. 5 Visual comparison of the results obtained with competing algorithms on Tree image
图 7 各个算法在Class图上增强效果对比
Fig. 7 Visual comparison of the results obtained with competing algorithms on Class image
图 6 各个算法在Tower图上增强效果对比
Fig. 6 Visual comparison of the results obtained with competing algorithms on Tower image
图 8 各个算法在Community图像上抑制噪声效果对比
Fig. 8 Comparison of denoising effect of each algorithm on Community image
表 1 各个对比算法对Tree图像增强后的无参考指标值比较
Table 1 Performance comparison of each algorithm on Tree image
算法 HVS Fu2016a Fu2016b Ying LIME Li FFMD MLSF-LLIE BOIEM 1.96 2.07 2.18 1.97 2.11 2.26 2.25 2.37 BIQME 0.28 0.30 0.37 0.35 0.48 0.37 0.43 0.39 NIQMC 3.31 3.66 4.18 3.27 4.69 3.54 3.40 4.17 IL-NIQE 57.66 60.04 57.39 58.69 58.08 49.92 65.06 31.79 
下载: 导出CSV
表 2 各个对比算法对图像Tower增强后的无参考指标值
Table 2 Performance comparison of each algorithm on Tower image
算法 HVS Fu2016a Fu2016b Ying LIME Li FFMD MLSF-LLIE BOIEM 2.30 3.42 3.04 2.90 3.18 2.77 3.42 3.15 BIQME 0.40 0.54 0.48 0.53 0.54 0.53 0.58 0.56 NIQMC 3.48 4.97 4.58 4.63 4.63 4.22 4.92 4.70 IL-NIQE 42.82 32.34 37.05 34.68 35.04 38.66 36.75 30.10
下载: 导出CSV
表 3 各个对比算法对图像Class增强后的无参考指标值
Table 3 Performance comparison of each algorithm on Class image
算法 HVS Fu2016a Fu2016b Ying LIME Li FFMD MLSF-LLIE BOIEM 2.67 2.68 3.42 2.64 3.38 2.61 2.63 3.17 BIQME 0.48 0.50 0.57 0.53 0.6 0.55 0.53 0.56 NIQMC 4.57 4.57 5.28 4.67 5.00 4.67 4.33 4.95 IL-NIQE 25.89 22.22 20.9 24.26 22.99 38.22 24.47 20.97 IW-PNSR 16.68 17.36 21.36 18.66 15.24 16.46 17.93 22.18 IW-SSIM 0.85 0.87 0.94 0.91 0.87 0.83 0.88 0.95
下载: 导出CSV
表 4 各个算法在90幅无参考低照度图像上的无参考指标的平均值
Table 4 Average performance of different competing algorithms on 90 low-light images without reference images
算法 HVS Fu2016a Fu2016b Ying LIME Li FFMD MLSF-LLIE BOIEM 3.07 3.17 3.27 3.13 3.38 3.12 3.03 3.21 BIQME 0.54 0.56 0.57 0.57 0.61 0.58 0.58 0.58 NIQMC 4.73 4.88 5.02 4.81 5.33 4.8 4.64 4.89 IL-NIQE 28.69 27.18 27.15 27.61 28.21 30.94 28.62 25.28
下载: 导出CSV
表 5 各个算法在90幅有参考低照度图像上的无参考和有参考指标的平均值
Table 5 Average performance of different competing algorithms on 90 low-light images with reference images
算法 HVS Fu2016a Fu2016b Ying LIME Li FFMD MLSF-LLIE BOIEM 2.67 2.68 3.42 2.64 3.38 2.61 2.63 3.17 BOIEM 3.38 3.41 3.43 3.34 3.43 3.38 3.28 3.40 BIQME 0.58 0.60 0.58 0.58 0.61 0.58 0.59 0.59 NIQMC 5.11 5.15 5.10 4.97 5.34 5.06 4.84 5.02 IL-NIQE 23.14 22.74 22.42 22.29 24.69 25.54 22.62 22.19 IW-PSNR 20.35 19.81 22.10 22.15 15.31 22.04 21.88 22.54 IW-SSIM 0.92 0.91 0.94 0.94 0.84 0.93 0.94 0.95
下载: 导出CSV
表 6 各个算法在90幅有参考低照度图像上的平均执行时间比较(s)
Table 6 The average execution time of the competing algorithms on 90 low-light images with reference images (s)
算法 HVS Fu2016a Fu2016b Ying LIME Li FFMD MLSF-LLIE 时间 0.56 0.29 1.93 0.21 0.10 11.23 4.13 4.21
下载: 导出CSV
-
[1] 肖进胜, 单姗姗, 段鹏飞, 涂超平, 易本顺. 基于不同色彩空间融合的快速图像增强算法. 自动化学报, 2014, 42(4): 697-705Xiao Jin-Sheng, Shan Shan-Shan, Duan Peng-Fei, Tu Chao-Ping, Yi Ben-Shun. A fast image enhancement algorithm based on fusion of different color spaces. Acta Automatica Sinica, 2014, 40(4): 697-705 [2] 肖进胜, 庞观林, 唐路敏, 钱超, 邹白昱. 基于轮廓模板和自学习的图像纹理增强超采样算法. 自动化学报, 2016, 42(8): 1248-1258Xiao Jin-Sheng, Pang Guan-Lin, Tang Lu-Min, Qian Chao, Zou Bai-Yu. Design of a novel omnidirectional stereo vision system. Acta Automatica Sinica, 2016, 42(8): 1248-1258 [3] 鞠明, 李成, 高山, 穆举国, 毕笃彦. 基于向心自动波交叉皮质模型的非均匀光照图像增强. 自动化学报, 2011, 37(7): 800-810Ju Ming, Li Cheng, Gao Shan, Mu Ju-Guo, Bi Du-Yan. Non-uniform-lighting image enhancement based on centripetal-autowave intersecting cortical model. Acta Automatica Sinica, 2011, 37(7): 800-810 [4] Xu H T, Zhai G T, Wu X L, Yang X K. Generalized equalization model for image enhancement. IEEE Transactions on Multimedia, 2014, 16(1): 68-82 doi: 10.1109/TMM.2013.2283453 [5] Celik T. Spatial entropy-based global and local image contrast enhancement. IEEE Transactions on Image Processing, 2014, 23(12): 5298-5308 doi: 10.1109/TIP.2014.2364537 [6] Wang C, Ye Z F. Brightness preserving histogram equalization with maximum entropy: a variational perspective. IEEE Transactions on Consumer Electronics, 2005, 51(4): 1326-1334 doi: 10.1109/TCE.2005.1561863 [7] Ibrahim H, Kong N S P. Brightness preserving dynamic histogram equalization for image contrast enhancement. IEEE Transactions on Consumer Electronics, 2007, 53(4): 1752-1758 doi: 10.1109/TCE.2007.4429280 [8] Huang L D, Zhao W, Abidi B R, Abidi M A. A constrained optimization approach for image gradient enhancement. IEEE Transactions on Circuits and Systems for Video Technology, 2018, 28(8): 1707-1718 doi: 10.1109/TCSVT.2017.2696971 [9] Li L, Wang R G, Wang W M, Gao W. A low-light image enhancement method for both denoising and contrast enlarging. In: Proceedings of the 2015 IEEE International Conference on Image Processing. Quebec City, Canada: IEEE, 2015. 3730−3734 [10] Zhang X D, Shen P Y, Luo L L, Zhang L, Song J. Enhancement and noise reduction of very low light level images. In: Proceedings of the 2012 International Conference on Pattern Recognition. Tsukuba, Japan: IEEE, 2012. 2034−2037 [11] Li M D, Liu J Y, Yang W H, Sun X Y, Guo Z M. Structure-revealing low-light image enhancement via robust retinex model. IEEE Transactions on Image Processing, 2018, 27(6): 2828-2841 doi: 10.1109/TIP.2018.2810539 [12] Guo X J, Li Y, Ling H B. LIME: low-light image enhancement via illumination map estimation. IEEE Transactions on Image Processing, 2017, 26(2): 982-993 doi: 10.1109/TIP.2016.2639450 [13] Park S, Yu S, Moon B, Ko S, Paik J. Low-light image enhancement using variational optimization-based retinex model. IEEE Transactions on Consumer Electronics, 2017, 63(2): 178-184 doi: 10.1109/TCE.2017.014847 [14] 张杰, 周浦城, 薛模根. 基于方向性全变分Retinex的低照度图像增强. 计算机辅助设计与图形学学报, 2018, 30(10): 1943-1953Zhang Jie, Zhou Pu-Cheng, Xue Mo-Gen. Low-light image enhancement based on directional total variation Retinex. Journal of Computer-Aided Design & Computer Graphics, 2018, 30(10): 1943-1953 [15] Dabov K, Foi A, Katkovnik V, Karen E. Image denoising by sparse 3D transform-domain collaborative filtering. IEEE Transactions on Image Processing, 2007, 16(8): 2080-2095 doi: 10.1109/TIP.2007.901238 [16] Lore K G, Akintayo A, Sarkar S. LLNet: a deep autoencoder approach to natural low-light image enhancement. Pattern Recognition, 2017, 61(January): 650-662 [17] Park S, Yu S, Kim M, Park K, Paik J. Dual autoencoder network for Retinex-based low-light image enhancement. IEEE Access, 2018, 6(May): 22084-22093 [18] Ying Z Q, Li G, Gao W. A bio-inspired multi-exposure fusion framework for low-light image enhancement [Online], available: https://arxiv.org/pdf/1711.00591.pdf, April, 24, 2019 [19] Fu X Y, Zeng D L, Huang Y, Liao Y H, Ding X H, John P. A fusion-based enhancing method for weakly illuminated images. Signal Processing, 2016, 129(May): 82-96 [20] Fu X Y, Zeng D L, Huang Y, Zhang X P, Ding X H. A weighted variational model for simultaneous reflectance and illumination dstimation. In: Proceedings of the 2016 IEEE Computer Vision and Pattern Recognition. Las Vegas, NV, USA: IEEE, 2016. 2782−2790 [21] Zhang Y, Liu S G. Non-uniform illumination video enhancement based on zone system and fusion. In: Proceedings of the 24th International Conference on Pattern Recognition. Beijing, China: IEEE, 2018. 2711−2716 [22] Liu S G, Zhang Y. Detail-preserving underexposed image enhancement via optimal weighted multi-exposure fusion. IEEE Transactions on Consumer Electronics, 2019, 65(3): 303−311 [23] Zhang Q, Nie Y W, Zhang L, Xiao C X. Underexposed video enhancement via perception-driven progressive fusion. IEEE Transactions on Visualization and Computer Graphics, 2015, 22(6): 1773-1785 [24] 张聿, 刘世光. 基于分区曝光融合的不均匀亮度视频增强. 计算机辅助设计与图形学学报, 2017, 29(12): 2317-2322Zhang Yu, Liu Shi-Guang. Non-uniform illumination video enhancement based on zone system and fusion. Journal of Computer-Aided Design & Computer Graphics, 2017, 29(12): 2317-2322 [25] Ma K, Duanmu Z F, Yeganeh H, Wang Z. Multi-exposure image fusion by optimizing a structural similarity index. IEEE Transactions on Computational Imaging, 2018, 4(1): 60-72 doi: 10.1109/TCI.2017.2786138 [26] Borji A, Cheng M M, Jiang H Z, Li J. Salient object detection: a benchmark. IEEE Transactions on Image Processing, 2015, 24(12): 5706-5722 doi: 10.1109/TIP.2015.2487833 [27] Groen I I A, Ghebreab S, Prins H, Lamme V A F, Scholte H S. From image statistics to scene Gist: evoked neural activity reveals transition from low-level natural image structure to scene category. IEEE Transactions on Image Processing, 2013, 33(48): 18814-18824 [28] Hinton G, Deng L, Yu D, Dahl G E, Mohamed A R, Jaitly N, et al. Deep neural networks for acoustic modeling in speech recognition: the shared views of four research groups. IEEE Signal Processing, 2012, 29(6): 82-97 doi: 10.1109/MSP.2012.2205597 [29] Morrone M C, Owens R A. Feature detection from local energy. Pattern Recognition Letters, 1987, 6(5): 303-313 doi: 10.1016/0167-8655(87)90013-4 [30] Field D J. Relations between the statistics of natural images and the response properties of cortical cells. Journal of the Optical Society of America. A, Optics and Image Science,1987, 4(12): 2379-2394 [31] Zhang J, Zhao D B, Gao W. Group-based sparse representation for image restoration. IEEE Transactions on Image Processing, 2014, 38(8): 3336-3351 [32] Dai Q, Pu Y F, Rahman Z, Aamir M. Fractional-order fusion model for low-light image enhancement. Symmetry,2019, 11(4): 574 doi: 10.3390/sym11040574 [33] Xu S P, Liu T Y, Zhang G Z, Tang Y L. A two-stage noise level estimation using automatic feature extraction and mapping model. IEEE Signal Processing Letters, 2019, 26(1): 179-183 doi: 10.1109/LSP.2018.2881843 [34] Zeng K, Ma K D, Hassen R, Wang Z. Perceptual evaluation of multi-exposure image fusion algorithms. In: Proceedings of the 2014 International Workshop on Quality of Multimedia Experience. Singapore, Singapore: IEEE, 2014. 7−12 [35] Wang S H, Zheng J, Hu H M, Li B. Naturalness preserved enhancement algorithm for non-uniform illumination images. IEEE Transactions on Image Processing, 2013, 22(9): 3538-3548 doi: 10.1109/TIP.2013.2261309 [36] NASA. Retinex image processing [Online], available: http://dragon.larc.nasa.gov/retinex/pao/news, July 20, 2019 [37] Cai J R, Gu S H, Zhang L. Learning a deep single image contrast enhancer from multi-exposure images. IEEE Transactions on Image Processing, 2018, 27(4): 2049-2062 doi: 10.1109/TIP.2018.2794218 [38] Fu X Y, Liao Y H, Zeng D L, Huang Y, Zhang X P, Ding X H. A probabilistic method for image enhancement with simultaneous illumination and reflectance estimation. IEEE Transactions on Image Processing, 2015, 24(12): 4965-4977 doi: 10.1109/TIP.2015.2474701 [39] Gu K, Lin W S, Zhai G T, Yang X K, Zhang W J, Chen C W. No-reference quality metric of contrast-distorted images based on information maximization. IEEE Transactions on Cybernetics, 2017, 47(12): 4559-4565 doi: 10.1109/TCYB.2016.2575544 [40] Gu K, Tao D C, Qiao J F, Lin W S, Learning a no-reference quality assessment model of enhanced images with big data. IEEE Transactions Neural Networks and Learning Systems, 2018, 29(4): 1-13 doi: 10.1109/TNNLS.2018.2814520 [41] Zhang L, Zhang L, Bovik A C. A feature-enriched completely blind image quality evaluator. IEEE Transactions on Image Processing, 2015, 24(8): 2579-2591 doi: 10.1109/TIP.2015.2426416 [42] Wang Z, Li Q. Information content weighting for perceptual image quality assessment. IEEE Transactions on Image Processing, 2011, 20(5): 1185-1198 doi: 10.1109/TIP.2010.2092435 期刊类型引用(9)
1. 孙雅娟，孙汉卿，冯志慧. 多目标跟踪下交通监控失真视频增强算法研究. 计算机仿真. 2025(01): 162-166 . 
百度学术2. 张海民. 基于深度学习模型的疲劳驾驶行为识别算法. 汽车安全与节能学报. 2024(01): 121-128 . 百度学术3. 丁超群. 基于曲波变换的弱光照包装图像对比度设计增强方法. 激光杂志. 2024(04): 223-227 . 百度学术4. 何磊，易遵辉，谢永芳，陈超洋，卢明. 基于Retinex先验引导的低光照图像快速增强方法. 自动化学报. 2024(05): 1035-1046 . 本站查看5. 陈路，王怀瑶，王盛玺，杨静，王克琪. 融合局部-全局关系的多尺度低照度图像增强. 小型微型计算机系统. 2024(10): 2449-2454 . 百度学术6. 赵莉苹，李辉. 基于改进R-L算法的雾霾图像清晰化处理方法. 计算机仿真. 2024(12): 308-311+387 . 百度学术7. 施妮沙. 基于偏微分方程的低对比度视频帧图像增强算法. 长江信息通信. 2023(09): 47-49 . 百度学术8. 刘鹏. 基于LIME算法的低照度图像增强方法研究. 长江信息通信. 2023(09): 72-74 . 百度学术9. 李亮亮，任佳，王鹏，吕志刚，孙梦宇，李晓艳，高武奇. 基于曝光融合的无人机航拍图像增强算法. 西北工业大学学报. 2022(06): 1327-1334 . 百度学术其他类型引用(14)
-
下载:
计量
- 文章访问数: 954
- HTML全文浏览量: 402
- PDF下载量: 626
- 被引次数: 23
