Hybrid Underwater Image Enhancement Based on Color Transfer and Adaptive Gain Control
-
摘要: 针对水下图像的颜色偏差和低对比度等退化问题, 提出一种基于颜色转移和自适应增益控制的混合水下图像增强方法. 首先, 根据颜色转移图像和最大衰减图引导的融合策略校正水下图像的颜色偏差. 其次, 利用一阶原始对偶方法对V通道进行滤波以有效地抑制噪声的干扰, 获得结构图像; 并且提出自适应增益控制, 根据图像的高频信息自适应调整增益, 以获得细节图像. 最后, 通过加权融合结构图像与细节图像, 得到高质量的水下图像. 实验结果表明, 针对不同自然和工业环境下的水下图像: 1) 所提方法可以有效地校正颜色失真现象; 2) 显著提高水下图像的对比度并且抑制噪声干扰; 3) 在定量评价指标和高级视觉任务(目标检测、图像分割、关键点检测和水下双目测距)中优于其他主流水下图像增强方法, 为水下目标抓取等工程应用提供了有益的参考.Abstract: Aiming at handling the degradation problems of color deviation and low contrast in underwater images, a hybrid underwater image enhancement method based on color transfer and adaptive gain control is proposed. Firstly, the color transfer image and the maximum attenuation map-guided fusion strategy are used to correct the color deviation of underwater images. Secondly, the structure image of the V channel is obtained based on the first-order primal-dual algorithm to effectively suppress the noise interference. Furthermore, adaptive gain control based on the high-frequency information of the image is proposed to adaptively adjust the gain to obtain detailed image. Finally, the structure image and the detail image are weighted fused to obtain a high-quality underwater image. The experimental results demonstrate that for underwater images with various natural and industrial environments, 1) The outputs of the proposed method can effectively correct the color distortion; 2) It can improve the contrast of underwater images and suppress the noise interference; 3) The quantitative metrics and high-level visual tasks (object detection, image segmentation, key-point detection, and underwater binocular distance measurement) are superior to other state-of-the-art underwater enhancement methods, which provides a useful reference for engineering applications such as underwater automated grasping.
-
海洋中具有丰富的食物和储量巨大的矿产, 成为人类追求生存的第二空间. 近年来, 越来越多的研究者利用水下机器人携带着水下相机从事对海洋世界的探索[1]. 但由于水介质所独有的特性, 导致获取到的图像出现不同程度的退化, 如可见度低、色彩偏差和对比度低等. 退化的水下图像限制了基于水下视觉的海洋勘探[2]、设施检测[3]和机器人控制[4]等应用, 因此, 研究复杂水下环境中的图像清晰化技术是至关重要的.
水下图像清晰化可大致分为基于物理模型、基于非物理模型和基于学习的方法. 基于物理模型的方法涉及建立退化水下模型, 通过估计模型参数后反解获得恢复的水下图像. 常用的水下先验知识如: 暗通道先验及其变体[5-8]、最大强度先验[9]、模糊度先验[10]和雾线先验[11]等. 例如, He等[5]提出暗通道先验以消除室外有雾图像, 然而由于水介质对光的吸收作用, 导致暗通道不再适用. 针对该问题, Drews等[6]提出水下暗通道先验以估计水下场景的透射率. 为了改进水下暗通道先验的局限性, Peng等[10]提出基于图像模糊度先验和光吸收结合的方式, 以估计水下透射率和场景深度. Berman等[11]引入雾线先验以解决水介质依赖光波长衰减的特性. 此外, Xie等[12]将模糊核稀疏先验和归一化总变差项相结合, 以实现水下图像的去雾和去模糊. 然而, 该模型依赖于预先设计的先验知识. 因此, 当先验知识不适合水下场景的具体特征时, 恢复的图像往往质量较差.
基于非物理模型的方法通过对图像像素值进行直接操作而无需物理模型, 具有简单、快速等优点. 目前, Ancuti等[13]引入伽马校正和锐化操作以获得图像融合策略的输入图像, 通过多尺度金字塔得到最终具有更好清晰度和对比度的图像. Zhang等[14]提出最小颜色损失和局部自适应对比度增强的方法, 分别用于消除水下颜色色偏和对比度下降的问题. Zhuang等[15]提出一种基于贝叶斯Retinex算法, 通过引入多阶梯度先验去估计水下成像模型的透射率和光照, 反解获得清晰的水下图像. Ghani等[16]提出基于瑞利直方图拉伸以提高退化水下图像的对比度和能见度. 杨淼等[17]针对水下图像的非均匀亮度问题, 提出模糊形态筛和四元数的水下增强方法以提高水下图像的对比度.
基于学习的方法受限于水下数据集的匮乏, 并且需构建由退化图像和相应的清晰图像所组成的成对训练数据, 但清晰的水下图像往往难以获取[18-20]. 目前, 基于学习的方法通常使用合成的水下图像进行模型训练, 限制了其在真实水下环境中的应用.
上述方法虽能有效地提高水下图像的能见度和对比度, 但忽略了水介质中不同浑浊程度所引起的图像模糊和色偏等退化因素, 导致其难以适用于复杂的水下场景. 为了解决上述问题, 本文提出一种基于颜色转移和自适应增益控制的混合水下图像增强方法. 具体而言, 将水下图像增强任务分为自适应颜色校正和自适应细节增强两个子任务. 针对第一个子任务, 提出自适应颜色校正以消除水下图像的色偏现象. 该方法首先将退化水下图像转移到LMS色彩空间中, 以更好地反映水介质对于不同波长光的吸收作用并且通过线性拉伸以提高图像的灰度占用率. 其次, 根据工业水下场景的特性提出最小平均先验以估计不同颜色通道的衰减系数并获得最大衰减图, 通过基于最大衰减图的融合策略获得颜色校正图像. 尽管颜色校正图像可以有效去除图像色偏的影响, 但难以抑制图像的噪声和突出场景的细节信息. 针对上述问题, 本文提出第二个子任务以自适应提高图像的细节信息并抑制噪声. 所提方法首先利用一阶原始对偶方法平滑色彩校正图像的V通道, 在获得结构图像的同时抑制噪声的干扰. 随后, 引入自适应增益控制函数提高图像中的高频信息, 以获得细节图像. 最后, 通过加权融合的方式获得具有高质量的水下图像. 实验结果表明, 所提出的方法能够在不同自然和工业水下环境中提升图像对比度和细节信息, 并且具有自然的色彩效果.
综上所述, 该方法的主要贡献体现在两方面: 1) 针对水介质对光的吸收作用所引起的图像色偏问题, 提出基于颜色转移和最大衰减图引导的水下校正方法; 2) 为了有效抑制水下环境中的噪声干扰, 并提高水下图像的对比度和边缘细节信息, 提出基于一阶原始对偶和自适应增益控制函数相结合的细节增强方法.
1. 水下成像模型
在水下成像中, 由于水介质对于光的吸收、散射和折射等影响, 导致光的传播路径发生变化并影响最终的成像结果. 为了解释光的传播过程和图像平面上每个像素的辐照度, McGlamery[21]和Jaffe[22]提出水下成像模型, 该模型由直接入射分量$ E_d $、前向散射分量$ E_f $和后向散射分量$ E_b $三部分组成. 因此, 图像平面中每个像素点的总辐照度可定义为
$$ \begin{array}{*{20}{l}} E_{{\rm{total}}} = E_d + E_f + E_b \end{array} $$ (1) 直接入射分量是指由水下目标直接反射而未被散射到相机上的光分量, 该分量导致水下图像出现色偏. 图像平面上每个像素点的直接入射分量$ E_{d} $可表示为
$$ \begin{array}{*{20}{l}} E_{d} = J(x){\rm{e}}^{- \eta d(x)} = J(x)t(x) \end{array} $$ (2) 其中, $ J(x) $为目标物体的辐照度, 即待恢复图像; $ d(x) $为相机与目标物体之间的距离; $ \eta $为衰减因子; $ t(x) $表示光在水介质中传播时的透射率.
前向散射分量是指光在水介质中传播时发生随机偏转后被相机接受的部分, 该分量导致水下图像出现模糊. 前向散射分量$ E_{f} $可表示为
$$ \begin{array}{*{20}{l}} E_f = (J(x)t(x)) \otimes g(x) \end{array} $$ (3) 其中, $ \otimes $为卷积操作; $ g(x) $为点扩散函数.
后向散射分量指光在水介质中传播时由于水中悬浮物反射回相机的部分, 该分量是导致水下图像出现雾状和对比度低的主要原因. 后向散射分量$ E_{b} $可表示为
$$ \begin{array}{*{20}{l}} E_b = A_\infty (1 - t(x)) \end{array} $$ (4) 其中, $ A_\infty $为水下背景光.
通常, 当目标物体与相机之间的距离足够近时, 可忽略前向散射分量所带来的影响. 因此, 上述水下成像模型可简化为
$$ \begin{array}{*{20}{l}} I(x) = J(x)t(x) + {A_\infty}(1 - t(x)) \end{array} $$ (5) 其中, $ I(x) $为退化水下图像.
2. 基于颜色转移和自适应增益控制的混合水下图像增强方法
本节分别从方法总流程、水下图像颜色校正和细节增强三方面介绍提出的基于颜色转移和自适应增益控制的混合水下图像增强方法.
2.1 方法总流程
本文方法的整体框架如图1所示. 考虑到水介质对不同波长光的吸收和散射效应, 该方法主要由自适应颜色校正和自适应细节增强两部分组成. 具体实现步骤如下:
1) 通过基于颜色转移的颜色校正方法消除原始水下图像的色偏现象.
2) 利用一阶原始对偶方法获得颜色校正图像V通道的结构图像.
3) 引入自适应增益控制函数获得颜色校正图像V通道的细节图像.
4) 加权融合结构和细节图像以获得高对比度和细节清晰的增强图像.
2.2 基于颜色转移的水下颜色校正方法
由于水介质对不同波长光的吸收效应, 水下图像通常具有色偏的特点. 为解决上述问题, 提出一种基于颜色转移的水下颜色校正方法以消除色偏的影响. 与之前颜色校正方法不同的是, 所提的校正方法由两个核心步骤组成: 1) 将RGB色彩空间转到LMS色彩空间中, 其原因在于正交和感知均匀的色彩空间(如: CIE-CAT02 LMS)中长、中和短波长可用于反映水介质中不同波长的光. 通过观察可知, 原始水下图像普遍具有低对比度, 且RGB颜色通道的灰度动态范围普遍集中在低灰度区间, 因此对LMS三个通道使用线性拉伸去提高灰度级的动态范围, 得到颜色转移图像. 2) 考虑到不同波长光衰减速率不同, 提出基于暗通道的最小平均强度先验估计不同通道的衰减系数, 以获得最大衰减图. 最后, 基于最大衰减图的融合策略融合颜色转移图像和衰减图像的特征以获得最终颜色校正图像.
2.2.1 颜色转移图像
考虑水介质对于光的吸收作用, 使得长波长光衰减最快. 因此, 在RGB色彩空间中, 红色通道的像素强度丢失较为严重. 然而, 在实际工业水下场景, 由于水中漂浮物和杂质的浓度的影响, 导致短波长光的散射效应与长波长光的吸收效应同样严重. 综上所述, 本文研究一种适用于工业水下图像的颜色校正方法. 受$ l\alpha\beta $色彩空间的启发[23], 本文提出一种基于色彩空间变换的方法来获得颜色转移图像. 首先将原始水下图像从RGB色彩空间转换到LMS色彩空间中, 其色彩空间转换为
$$ \begin{array}{*{20}{l}} \left[\begin{array}{cc} {I_L}\\ {I_M} \\{I_S} \end{array}\right] = \left[ {\begin{array}{*{20}{c}} {0.381\;1}&{0.578\;3}&{0.040\;2}\\ {0.196\;7}&{0.724\;4}&{0.078\;2}\\ {0.024\;1}&{0.128\;8}&{0.844\;4} \end{array}} \right] \left[\begin{array}{cc} {I_R}\\{I_G}\\{I_B} \end{array}\right] \end{array} $$ (6) 其中, $ I_R $、$ I_G $、$ I_B $分别代表原始水下图像的红、绿和蓝颜色通道; $ I_L $、$ I_M $、$ I_S $分别代表转换后的长、中和短波长通道. 值得注意的是, 原始水下图像的灰度范围被归一化为$ [0,\; 1] $. 然而, 由于转换后图像的灰度等级普遍集中于上半灰度区间中, 导致图像的对比度低. 为了提高图像的对比度, 引入线性变换以提高图像灰度区间的占用率, 其表达式为
$$ I_c^S = I_o^{\min} + ({I_c} - I_c^{\min})\frac{{I_o^{\max} - I_o^{\min}}}{{I_c^{\max} - I_c^{\min}}},\;c \in \{ L,\;M,\;S\}$$ (7) 其中, $ I^S_c $为颜色转移图像; $ I_c^{\min} $和$ I_c^{\max} $分别为LMS色彩空间中每个通道的最小和最大像素强度; $ I_o^{\min} $和$ I_o^{\max} $分别为需要拉伸的灰度范围, 其分别设置为0和1.
2.2.2 基于最大衰减图的融合策略
由于水介质对不同波长光的衰减特性, 水下图像通常具有不同程度的色偏, 如图2所示. 其中图2(a)和图2(b)第一行每个子图分别展示了具有不同衰减程度的原始水下图像和相应每个颜色通道的衰减图; 第二行至第四行每个子图分别展示了基于暗通道先验的白平衡方法[13]、基于最小颜色损失的颜色校正方法[14]和基于颜色转移的水下颜色校正方法所产生的增强图像和相应每个颜色通道的衰减图. 虽然基于暗通道先验的白平衡方法[13]和基于最小颜色损失的颜色校正方法[14]可以有效补偿不同颜色通道损失的像素值, 但引入了额外的颜色色调和局部暗区域. 因此, 本文在暗通道先验的基础上提出最小平均先验以估计不同波长光的衰减系数. 具体来说, 由于水介质独有的特性, 直接应用暗通道先验会导致获得的暗通道普遍集中于红色通道中, 从而使得暗通道先验不再具有意义. 受红色通道先验的启发, 提出一种最小平均先验去估计水下光照. 与红色通道先验不同的是, 本文同时考虑水介质的吸收和散射效应所产生的影响. 综上所述, 为获得最小平均先验, 首先定义了原始水下图像不同颜色通道的平均像素值, 即
$$ {\bar I_c} = \frac{1}{{HW}}\sum\limits_{i = {\mathrm{1}}}^H {\sum\limits_{j = {\mathrm{1}}}^W {{I_c}(i,\;j),\;c \in \{ R,\;G,\;B\} } } $$ (8) 其中, $ H $和$ W $分别代表原始水下图像的高和宽. 衰减最严重的颜色通道可定义为
$$ \begin{array}{*{20}{l}} {c^*} = \arg\mathop {\min }({\bar I_c}) \end{array} $$ (9) 进而, 最小平均先验可表示为
$$ \begin{split} J^{mm}(x) =\;& \min (\mathop {\min }\limits_{y \in \Omega (x)} (1 - {I_{c^*}}(y)),\; \mathop {\min }\limits_{y \in \Omega (x)} ({I_{c'[{\mathrm{0}}]}}(y)),\; \\ &\mathop {\min }\limits_{y \in \Omega (x)} ({I_{c'[{\mathrm{1}}]}}(y))) \approx {0},\; c' \in \{ c - {c^ *} \}\\[-1pt] \end{split} $$ (10) 其中, $ \Omega $代表以$ x $为中心的图像局部区域, 其设置为$ 7 $. 值得注意的是, 若红色通道均值小于其他两个通道时, 该先验退化为红色通道先验. 然而, 由于工业水下环境的特性导致光的散射与吸收效应同样严重. 因此, 为了更好地适用于工业场景, 采用最小平均先验估计不同颜色通道的衰减系数并获得最大衰减图, 其可表示为
$$ \begin{array}{*{20}{l}} I_{\max}^{A} = \max \{A_RI_R,\; A_GI_G,\; A_BI_B\} \end{array} $$ (11) 其中, $ A_R $、$ A_G $、$ A_B $分别代表基于最小平均先验估计中不同颜色通道的衰减系数. 由于传统颜色校正方法依赖于图像全局的统计信息, 因此导致其缺少局部颜色校正的能力. 为了克服这一限制, 本文提出基于融合策略的颜色校正方法以实现图像的局部色彩调整. 具体操作如下
$$ \begin{array}{*{20}{l}} I^{{\mathrm{cc}}} = I_{\max}^{A}I_c + (1 - I_{\max}^{A})I_c^S \end{array} $$ (12) 其中, $ I^{{\mathrm{cc}}} $为颜色校正图像; $ I_{\max}^{A} $为最大衰减图; $ I_c^S $为颜色转移图像.
2.3 基于自适应增益控制的水下细节增强方法
除水下颜色校正方法外, 从抑制图像噪声并提高细节信息两个方面考虑, 提出一种新的基于自适应增益控制的水下细节增强方法. 该方法由两个核心步骤组成: 1) 利用一阶原始对偶方法平滑HSV色彩空间中的V通道, 以获得结构图像; 2) 引入自适应增益函数提高V通道的高频部分以获得细节图像, 并根据结构和细节图像加权融合获得最终的增强结果.
2.3.1 结构图像
考虑到工业场景中获得的水下图像通常含有大量的噪声, 在进行图像增强的过程中可能会放大这些噪声, 从而影响增强图像的质量. 为了抑制噪声的干扰, 引入一阶原始对偶方法对图像进行滤波以获得结构图像. 由于RGB色彩空间中通道之间存在高度相关性, 导致不同通道应用不同的增强策略变得困难. 因此, 将原始RGB色彩空间转换到HSV色彩空间中, 以降低通道之间的相关性. 在HSV色彩空间中, 引入保真项和总变差项(Total variation, TV)[24]以提取V通道的结构图像. 具体能量函数表示为
$$ E(u) = \frac{1}{2}\left\|{v_{ \mathrm{struct}} - v_{ \mathrm{cc}}} \right\|_2^2 + \alpha \int_\Omega {\nabla \left |v_{ \mathrm{struct}} \right|} {\rm{d}}x $$ (13) 其中, $ v_{ \mathrm{struct}} $和$ v_{ \mathrm{cc}} $分别为结构图像和颜色校正图像的V通道; $ \nabla\left |v_ \mathrm{struct} \right| $为一阶导数滤波器, 其包括水平和垂直梯度方向; $ \alpha $为非负参数, 用于平衡正则化项的贡献. 在式(13)中, 第一项保真项$ \left\|{v_ \mathrm{struct} - v_ \mathrm{cc}} \right\|_2^2 $用于平衡结构图像与原始V通道之间的差异性; 第二项总变差正则化项用于平滑并保留边缘信息. 本文引入一阶原始对偶算法对颜色校正图像的V通道进行滤波以获得结构图像, 其对偶、原始和辅助变量的更新策略为
$$\left\{\begin{aligned} p^{n + {\mathrm{1}}}(x,\;y) =\;& \frac{{{p^n}(x,\;y) + {\sigma _n}\partial {{\bar u}^n}(x,\;y)}}{{\max ({\mathrm{1,\; }}\left| {{p^n}(x,\;y) + {\sigma _n}\partial {{\bar u}^n}(x,\;y)} \right|)}}\\ v_{ \mathrm{struct}}^{n + {\mathrm{1}}}(x,\;y) =\;& [{v^{n}_\mathrm{struct} (x,\;y) + \tau_{n}({\rm div}(p^{n+1}(x,\;y))}\;+\\ & { \lambda v_{\rm{cc}}(x,\;y)})]/({{\mathrm{1}} + {\tau _n}\lambda }) \\ \bar{u}^{n + \mathrm{1}}(x,\;y) = \;& v_{ \mathrm{struct}}^{n + {\mathrm{1}}}(x,\;y)+\theta_{n} {v_{ \mathrm{struct}}^{n+1}(x,\;y)} \;-\\ & \theta_{n}{v_{ \mathrm{struct}}^{n}(x,\;y)}\\[-1pt] \end{aligned}\right. $$ (14) 其中, $ p^{n + {\mathrm{1}}} $、$ v_{ \mathrm{struct}}^{n + {\mathrm{1}}} $、$ \bar{u}^{n + \mathrm{1}} $分别为对偶、原始和辅助变量; 模型参数初始化分别为$\theta=1 / \sqrt{1+2 \lambda \tau}$, $\sigma= \sqrt{\lambda \delta} / \delta L$, $\tau=\sqrt{\lambda \delta} / \lambda L$; $ p $、$ v $、$ \bar u $分别为图像尺寸相同的零矩阵; $ \partial {\bar u} $为辅助变量的梯度, 其包括水平和垂直两个方向. $ \delta $用于衡量模型的计算复杂度, 当$ \delta $越小, 结构图像的生成越稳定, 但收敛速度越慢; 反之过大可能会导致算法发散. $ \lambda $是总变差正则化项的权重, 当$ \lambda $越小, 对于图像中结构信息保留越多细节信息和噪声, 导致增强结果中出现阶梯效应; 反之过大可能会丢失图像中的结构信息, 如图3所示. $ L $用于控制对偶更新步长参数. 根据经验上述参数分别设置为$ \delta = 0.05 $, $ \lambda = 16 $, $ L = 12 $. 综合以上分析, 其模型参数的更新策略如下
$$ \left \{\begin{aligned} & \theta_{n + \mathrm{1}} = \frac{\mathrm{1}}{\sqrt{1+2\lambda{\tau_{n+1}}}} \\ & \tau_{n + \mathrm{1}} = {\tau} \theta_{n + \mathrm{1}} \\ & \sigma_{n + \mathrm{1}} = \frac{\sigma}{\theta_{n + \mathrm{1}}} \end{aligned}\right. $$ (15) 图4(c)为基于V通道的结构图像. 与颜色校正图像的V通道相比, 本文方法可有效提取图像中的几何特征和轮廓信息, 且抑制了噪声的干扰.
2.3.2 细节图像
由于颜色校正图像普遍存在对比度低和细节模糊的问题, 从而影响识别和分割等视觉算法的性能. 为了解决上述问题, 提出基于V通道的局部自适应锐度增强方法以提高图像的对比度和细节信息. 传统直方图均衡[25]容易导致增强不足或过度增强. 虽然基于Rayleigh分布的水下增强方法能有效缓解这一问题, 但容易在增强图像中引入色偏. 受广义非锐化掩模(Generalized unsharp masking, GUM)算法的启发[26], 其将原始V通道分解为低频和高频分量两部分, 并单独对每一个分量进行处理. 与上述方法不同的是, 本文引入积分图以计算图像V通道中的低频信息, 并利用原始信息与低频分量的减法运算获得高频分量. 具体而言, 首先引入线性映射, 将原始V通道的动态范围映射到$ [-1,\; 1] $, 可以表示为
$$ \begin{array}{*{20}{l}} v_{ \mathrm{new}} = 2v_{ \mathrm{cc}} - 1 \end{array} $$ (16) 其中, $ v_{ \mathrm{new}} $为扩展动态范围后的V通道. 其次, 引入积分图计算图像局部区域块的均值, 即低频信息. 具体计算方法为
$$ \begin{split} v_{ \mathrm{low}}(x,\;y) = &\frac{{\sum\limits_{x = i - h}^{i + h} {\sum\limits_{y = j - w}^{j + w} {{v_{ \mathrm{new}}}(x,\;y)} } }}{{4hw}},\; \\ &i \in {N}_{h:h + H - 1},\;j \in {N}_{w:w + W - 1} \end{split} $$ (17) 其中, $ H $和$ W $分别代表颜色校正图像的高和宽; $ h $和$ w $分别代表图像局部区域块的高和宽; 分子代表图像局部区域块的像素强度和; ${N}_{h:h + H - 1}$代表一个整数序列. 该策略将原始图像分解成多个重叠的局部区域块, 以提高计算效率. 因此, 局部区域块的均值被近似为图像的低频信息, 则图像的高频信息可表示为
$$ \begin{array}{*{20}{l}} v_{ \mathrm{high}}(x,\;y) = v_ \mathrm{new}(x,\;y) - v_ \mathrm{low}(x,\;y) \end{array} $$ (18) 为适当提高图像V通道中的高频信息, 以提高图像的对比度和细节信息. 目前, 通用的解决方案是引入增强控制因子以突出图像的高频分量[14]. 然而, 上述方法对于增强控制因子的选择尤为重要, 过大将导致增强图像出现过饱和现象; 反之, 过小则引起增强图像的细节丢失. 为解决上述问题, 引入一种自适应增益控制的方法以自适应地调整图像高频分量的增强程度. 该自适应增益控制函数设计如下
$$ \Gamma(v_ {{\mathrm{high}}}) = \alpha + \beta {{\rm{e}}^{- {\left|v_ \mathrm{high} \right| ^ {\rho}}}} $$ (19) 其中, $ \rho $为衰减率, 根据经验设置为$ 0.25 $. 在上述自适应增益控制函数中, 通过分析图像高频信息的局部特征, 利用参数$ \alpha $和$ \beta $自动调节高频信息中每个像素值的增益大小, 以获得细节图像. 为此, 参数$ \alpha $和$ \beta $可通过下式求解
$$ \begin{array}{*{20}{l}} \left \{\begin{aligned} & \beta = \frac{\theta_{\max} - \theta_{\min}}{1-{\mathrm{e}}^{-1}} \\ & \alpha = \theta_{\max} - \beta \end{aligned}\right. \end{array} $$ (20) 其中, $ \theta_{\min} $和$ \theta_{\max} $可根据实际视觉任务的需求自行设置, 通常$ \theta_{\min} $设置为1. $ \theta_{\max} $用于控制锐化的强度, 其越小可能导致纹理细节增强不足, 从而造成细节丢失, 如图5(c)和图5(d). 反之, 其值越大, 图像纹理信息的增强越明显, 虽然获得了最高的定量评价指标值, 但产生不自然的增强结果, 如图5(f). 值得注意的是, 图中增强结果和相应的定量评价指标仅基于细节图像计算得到. 通过全面的统计分析发现, 当局部区域块大小和参数$ \theta_{\max} $分别设置为$ 5\times5 $和$ 7 $时, 本文方法能够实现更有效且鲁棒的增强效果, 如图5(e)所示. 接下来, 将自适应增益控制函数作用于图像的高频分量, 即
$$ \begin{array}{*{20}{l}} E_ {{\mathrm{high}}} = \Gamma \cdot v_ {{\mathrm{high}}} \end{array} $$ (21) 最终, 细节图像由低频和增强的高频分量相加得到, 具体操作如下
$$ v_ {{\mathrm{detail}}} = \frac{{1} + v_ {{\mathrm{low}}} + E_ {{\mathrm{high}}}}{{2}} $$ (22) 其中, $ v_ \mathrm{detail} $为细节图像, 其动态范围为$ [0,\; 1] $; $ v_ \mathrm{low} $为低频分量; $ E_ \mathrm{high} $为通过自适应增益控制函数增强的高频分量. 图4(d)展示了基于V通道的细节图像, 其能够提高图像的高频信息并避免过饱和现象.
2.3.3 结构−细节图像融合
为了充分融合结构图像和细节图像之间的特征信息, 提出以下融合策略
$$ \begin{array}{*{20}{l}} V_ \mathrm{final} = v_ \mathrm{struct} + \mu v_ \mathrm{detail} \end{array} $$ (23) 其中, $ \mu $为控制因子, 用于平衡增强图像的细节信息和整体亮度, 根据经验设置为$ 0.5 $; $ V_ \mathrm{final} $为最终的V通道, 如图4(e)所示. 图4(f)展示了所提方法的最终增强结果, 该图像具有可见度高、细节信息丰富和颜色自然的特点, 有效提高了退化水下图像的质量.
3. 实验结果与分析
为了验证所提方法的有效性和鲁棒性, 将方法应用于不同自然环境和工业场景的水下图像中, 并获得了相应的增强结果. 随后, 在一致性的框架下通过定性和定量指标测试本文方法与目前主流水下增强方法的增强结果. 最后, 对不同方法的增强细节和实际水下应用方面进行分析.
3.1 定性比较
首先分析基于颜色转移方法在不同自然和工业水下图像的颜色校正能力, 如图6所示. 其中图6(a5)和图6(b5)相较于图6(a1)和图6(b1)抑制了不同程度的色偏现象, 其余为颜色校正方法的主要过程图. 随后, 综合分析本文方法在UIEB数据集和工业水下数据集上的颜色校正和细节增强的能力. UIEB数据集由950幅具有不同程度色偏、模糊和能见度的自然水下图像组成. 此外, 本文方法与如下主流的水下图像增强方法进行对比: IBLA[10]、GDCP[27]、UNTV[12]、Sea-thru[28]、MLLE[14]、BRUIE[15]以及WaterNet[19]. 其中, 由于Sea-thru方法需要相应的深度图信息, 本文采用MiDaS[29]及其预训练权重来生成不同类型水下图像的深度图, 随后利用作者提供的公开代码生成相应的增强图像. 对于其他对比方法, 均使用相应作者提供的原始代码和推荐参数进行设置, 以保证对比实验的公平性. 上述主流方法的增强结果如图7和图8所示.
图 6 基于颜色转移的水下颜色校正方法的增强结果Fig. 6 Enhanced results of the underwater color correction method based on color transfer
图 7 不同主流方法在UIEB数据集上的视觉对比Fig. 7 Visual comparisons of different mainstream methods on the UIEB dataset
图 8 不同主流方法在RISU数据集上的视觉对比Fig. 8 Visual comparisons of different mainstream methods on the RISU dataset图7展示了四幅具有典型特征的原始水下图像(模糊、前向散射、蓝绿色外观和非均匀光照), 以验证主流水下增强方法在不同程度退化图像上的增强效果. 具体而言, 对于图7(a)和图7(b)的水下图像, IBLA在提高图像能见度的同时会不可避免地引入过曝光和色偏的现象. GDCP的增强结果整体过亮且引入了黄色色调. UNTV会导致图像整体变暗和伪影的现象. Sea-thru可有效去除模糊现象并校正颜色信息, 但在光照处引入微红色色调. MLLE在局部区域处引入过曝光和欠曝光. BRUIE对于模糊严重的水下图像增强会出现局部细节丢失, 如图7(b7)中的岩石处. WaterNet引入局部黑暗区域. 本文方法在消除模糊现象的同时有效提高图像的整体细节信息和能见度, 并且避免过度曝光现象. 此外, 对于图7(c)具有蓝绿色外观的水下图像而言, IBLA难以去除图像远处的蓝绿色偏. GDCP和BRUIE在去除蓝绿色偏的同时引入额外的黄色色调. UNTV对于颜色校正能力有限, 并且会使图像整体亮度降低, 难以突出图像的细节信息. Sea-thru引入局部暗区域. MLLE容易引入局部黑暗和过度曝光现象. WaterNet锐化能力有限, 难以观察到图像中的小细节部分, 如图7(c8)石头下方的细节部分. 本文方法有效还原场景本身的颜色, 并且突出图像的细节信息和能见度. 最后, 水下环境通常存在非均匀光照的问题, 导致水下图像整体亮度偏低, 如图7(d)所示. IBLA、MLLE和BRUIE在提高图像整体亮度的同时会引入额外的黄色调且存在一定程度的过度增强. Sea-thru引入过度曝光现象, 如图7(d5)潜水员的手部. GDCP会导致图像整体过亮, 从而使图像中目标物体边缘信息丢失. UNTV和WaterNet无法有效提高图像的整体亮度. 相较于上述方法, 本文在提高图像整体亮度的同时兼顾了图像的纹理信息.
除上述典型水下场景的图像外, 本文还构建了实际工业水下数据集(Real-world industrial scene underwater, RISU)以进一步验证主流水下增强方法的鲁棒性. 该数据集在模拟工业环境的水池中, 通过安装在机械臂主臂上的水下视觉采集设备获取水下图像数据, 整体实验设备如图9所示. RISU数据集由119幅具有不同深度、角度和目标物体的工业水下图像组成. 典型的工业水下图像示例如图8所示. IBLA和BRUIE的增强图像在目标物体周围处产生过度曝光, 导致物体纹理信息的丢失, 如图8(a2)和图8(a7)所示. GDCP难以消除图像的绿色色偏且图像中心像素强度远远高于周围像素点, 如图8(b3)所示. UNTV、Sea-thru和WaterNet虽然有效地增强了对比度, 但它引入额外的红色色调和伪影, 如图8(a)的机械臂处. MLLE可纠正色偏和提高局部对比度, 但它往往会过度增强亮度区域从而导致目标处的信息丢失, 如图8(b6)所示. 本文方法可有效校正色偏和抑制噪声的干扰, 在提高图像清晰度和对比度的同时避免欠增强和过度增强.
此外, 图10展示了所提方法与MLLE方法相比的局部细节图像. 由图10可知, MLLE在校正颜色失真现象时可能引入额外的颜色信息, 并一定程度上产生过度增强的问题, 如鱼类和礁石的表面处. 本文方法可有效提高图像的对比度, 并保留自然的色彩信息.
图 10 不同方法在UIEB数据集上的细节对比Fig. 10 Detailed comparison of different methods on the UIEB dataset3.2 定量比较
通过定性分析可知, 本文方法可有效提高自然和工业水下场景图像的清晰度和对比度. 根据常用于水下图像的评价指标以定量衡量不同水下方法的增强性能. 此外, 根据高级视觉任务的需求, 例如目标检测、图像分割和关键点检测来进一步验证所提方法的有效性.
1) 水下质量评价指标(Underwater image quality measure, UIQM)是一种专门用于评估无参考水下图像质量的定量指标[30]. 该指标根据水下图像的退化机理和成像特点, 采用色彩测量指标(Underwater image colorfulness measure, UICM)、清晰度测量指标(Underwater image sharpness measure, UISM)和对比度测量指标(Underwater image contrast measure, UIConM)作为单独的评价依据, 并按照多元线性回归的参数进行加权组合得到整体评价指标. 该指标值越大, 代表增强图像的颜色、清晰度和对比度之间实现越好的平衡. 通过对表1进行数据分析可知, 由于BRUIE通常会使得图像产生过度曝光现象, 从而引起UIQM定量指标中的UICM分量激增, 导致其获得了最高的UIQM值.
表 1 基于UIQM指标的定量结果Table 1 Quantitative results based on UIQM metricsIBLA GDCP UNTV Sea-thru MLLE BRUIE WaterNet 本文方法 Image 1 3.739 3.425 3.868 4.340 4.751 5.183 4.307 4.971 Image 2 4.693 5.174 3.719 4.665 4.149 4.742 3.631 4.848 Image 3 2.451 1.223 3.696 2.876 3.545 3.995 3.057 3.834 Image 4 1.991 2.906 2.992 2.551 2.776 4.002 2.787 2.862 Image 5 2.510 1.762 5.768 4.395 4.841 5.113 4.580 5.313 Image 6 3.300 1.727 4.883 4.460 4.701 5.259 3.971 5.110 Image 7 4.052 1.781 4.862 4.333 4.756 5.248 4.078 4.902 Image 8 3.514 2.771 5.118 5.019 4.745 5.242 4.493 5.396 注: 粗体表示最高的定量指标, 斜体表示次高的定量指标. 2) 目标检测是验证不同水下图像增强方法性能的重要手段之一, 旨在通过提高图像质量, 将高质量图像作为检测网络的输入从而提高算法的准确性和鲁棒性. 为了综合评估不同水下增强方法的性能, 本文使用轻量化YOLOv6-N[31]作为目标检测实验的基线模型, 并且在UODD水下目标检测数据集[32]上进行实验. 具体来说, 将不同水下增强方法应用于原始UODD数据集以获得相应的增强图像, 并根据增强图像作为输入重新训练基线模型. 其中, 在训练阶段将增强图像的大小调整为640$ \times $640, 批次大小设置为32, 并在测试集中使用原始图像大小进行测试. 图11展示了不同训练模型的检测结果. 此外, 表2为8个水下目标检测模型在测试集上的平均准确率(Average precision, AP)和平均召回率(Average recall, AR). 由表中数据可知, 本文方法在AP和AR上取得有竞争力的结果, 这表明所提方法可有效提高水下图像质量和目标检测模型的性能, 为水下自动化抓取等工程应用提供有益的参考.
表 2 定量比较不同主流方法在目标检测上的性能Table 2 Quantitative comparison of the performance of different mainstream methods on object detection$AP$ $AP_{50}$ $AP_{75}$ $AR_{1}$ $AR_{10}$ $AR_{100}$ IBLA 0.502 0.856 0.524 0.168 0.554 0.618 GDCP 0.493 0.854 0.516 0.159 0.531 0.588 UNTV 0.509 0.873 0.513 0.168 0.552 0.606 Sea-thru 0.499 0.862 0.506 0.164 0.548 0.601 MLLE 0.509 0.871 0.530 0.161 0.550 0.599 BRUIE 0.499 0.859 0.529 0.154 0.538 0.597 WaterNet 0.501 0.862 0.515 0.162 0.532 0.591 本文方法 0.514 0.871 0.558 0.167 0.551 0.609 注: 粗体表示最高的检测准确率, 斜体表示次高的检测准确率. 3) 图像分割作为高级视觉中的基本任务, 通过人工设计特征信息将图像划分为若干不相交且同质的区域, 从而使图像中每个局部区域具有相似的特性 (如颜色、纹理和亮度等) 以助于理解和分析图像内容. 本文采用基于超像素的快速模糊聚类[33]以验证不同水下增强方法的有效性. 如图12所示, 验证了将所提方法作为预处理步骤可有效提高分割结果.
4) 关键点检测[34]作为计算机视觉的一项重要任务, 旨在识别图像中具有显著特征的点. 具体而言, 图像中提取的关键点数目越多越有助于描述目标物体的轮廓和结构等特征信息, 从而提高三维重建和人体姿态估计等高级视觉任务的性能. 此外, 越多的关键点数目也可越有效地反映不同方法对于图像对比度和清晰度的增强能力, 如图13所示. 由图中数据可知, 本文方法的增强图像检测出更多的特征点, 这表明所提方法可有效保留图像的细节信息并提高对比度.
上述实验通过UIQM定量指标、目标检测、图像分割和关键点检测, 定量分析不同水下增强方法的增强性能. 综上所述, 本文方法在提高水下图像清晰度的同时能够有效去除色偏, 从而改善水下图像的整体质量.
3.3 消融实验
为了评估本文方法中各组件的有效性, 以整体水下图像增强方法作为基线对颜色校正方法和细节增强方法进行一系列的消融实验. 基于颜色转移的水下颜色校正方法是对原始水下图像的颜色偏差进行校正, 综合还原水下环境真实的色彩. 如图14(b)和图14(c)分别展示了去除颜色校正方法和最大衰减图的增强结果. 由上图观察可知, 去除颜色校正方法的增强结果中色差明显, 而使用颜色校正方法后可有效校正图像的颜色失真现象, 这说明颜色校正方法具备校正水下图像色偏的能力. 此外, 使用最大衰减图引导的融合策略使增强结果具有自然的颜色和亮度外观, 说明了该策略在局部颜色校正方面的能力. 如图14(d)和图14(e)所示, 进一步说明了本文基于自适应增益控制对图像细节增强方面的有效性. 由上图观察可知, 在不使用细节增强方法的情况下, 水下图像的细节纹理信息模糊且无法有效地抑制噪声干扰, 而完整方法能较好地解决上述问题.
图 14 各组件在不同退化水下图像上的视觉消融结果Fig. 14 Visual ablation results of each component on different degraded underwater images此外, 表3为图14的UIQM定量评价指标的测评值, 进一步说明了完整方法在不同退化程度的水下图像上能够取得最好的性能, 从而验证每个组件均为所提方法贡献了良好的性能.
表 3 各组件的定量消融结果Table 3 Quantitative ablation results of each componentImage 1 Image 2 Image 3 Image 4 Image 5 无颜色校正方法 4.539 0.475 4.804 1.573 3.584 无最大衰减图 5.160 3.802 5.013 4.465 4.474 无细节增强方法 4.356 2.465 4.244 3.277 4.152 无细节图像 4.991 3.402 4.517 4.188 4.434 完整方法 5.246 4.131 5.029 4.921 4.517 注: 粗体表示最高的定量指标. 4. 实际水下双目标定和测距应用
为了进一步验证本文方法在实际水下工程应用的可行性, 设计以下双目标定和测距实验. 不同姿态的棋盘格图像由水下机械臂上方的双目相机采集得到. 如图15所示第一行为左相机所获得的水下棋盘格图像, 第二行为右相机获得的水下棋盘格图像. 由于原始水下棋盘格图像具有清晰度低和模糊的特点, 导致难以准确地提取棋盘格角点和对应点的匹配. 为了克服退化水下图像对相机标定的影响, 通过不同水下增强方法对原始棋盘格图像进行处理, 以减少图像的失真和模糊现象, 并且提高棋盘格角点的提取和匹配之间的准确性. 取图15中左右相机的首幅水下棋盘格图像作为示例, 不同水下增强方法的增强结果如图16.
图 16 不同主流方法在双目棋盘格图像上的视觉对比Fig. 16 Visual comparison of different mainstream methods on binocular checkerboard images为了定量衡量不同增强算法的标定结果, 本文从重投影误差(Reprojection error, RE)和实际测距结果两部分验证算法的可行性. 首先通过左右相机获取19幅具有不同深度和姿态的水下棋盘格图像, 随后使用不同水下增强方法得到相应的增强结果, 最终基于光线追踪的水下图像标定方法[35]完成相机内参数和外参数的标定. 根据相机的内外参数, 计算重投影误差来衡量不同水下增强方法的有效性. 此外, 基于相机的内外参数估计棋盘格图像中每格所代表的实际距离, 如图16所示. 不同水下增强算法的实际距离 (Actual distance, AD) 是通过计算图16中双目水下图像两个角点(Harris 角点检测的红点)之间的距离均值得到, 其中棋盘格图像中每格的实际距离为30 mm. 表4为不同水下增强方法所估计的实际距离. 由表4数据可知, 本文方法在提高图像清晰度和色彩还原度的同时保留图像中的细节信息.
表 4 水下视觉测量Table 4 Measurement of underwater visionRaw IBLA GDCP UNTV Sea-thru MLLE BRUIE WaterNet 本文方法 RE (像素) 0.16 0.18 0.17 0.32 0.22 0.16 0.18 0.17 0.13 AD (mm) 28.38 28.57 28.60 26.59 28.65 28.38 28.62 28.56 28.87 注: 粗体表示最高的定量指标. 5. 结束语
针对水下图像存在色彩偏差、低对比度等退化问题, 提出一种基于颜色转移和自适应增益控制的混合水下图像增强方法. 该方法在自适应颜色校正中考虑色彩空间变换和不同波长光的衰减特性, 并且基于最大衰减图引导的融合策略获得颜色校正图像. 随后, 在自适应细节增强中引入总变差项和积分图以计算图像的结构图像和低频图像, 并利用自适应增益控制函数自适应地调整颜色校正图像的纹理细节信息. 在自然和工业水下环境中进行大量实验证明了所提方法的有效性和鲁棒性. 此外, 该方法可以有效提高水下标定任务的准确性, 为后续水下视觉伺服应用奠定基础. 虽然所提方法可以有效地提高不同水下环境图像的质量, 但面对人造光源和弱光等特定条件的水下图像时, 仍然存在挑战. 后续也将进一步研究面向实际水下工程应用的图像增强方法, 以进一步提高下游视觉任务的性能.
-
图 6 基于颜色转移的水下颜色校正方法的增强结果
Fig. 6 Enhanced results of the underwater color correction method based on color transfer
图 7 不同主流方法在UIEB数据集上的视觉对比
Fig. 7 Visual comparisons of different mainstream methods on the UIEB dataset
图 8 不同主流方法在RISU数据集上的视觉对比
Fig. 8 Visual comparisons of different mainstream methods on the RISU dataset
图 10 不同方法在UIEB数据集上的细节对比
Fig. 10 Detailed comparison of different methods on the UIEB dataset
图 14 各组件在不同退化水下图像上的视觉消融结果
Fig. 14 Visual ablation results of each component on different degraded underwater images
图 16 不同主流方法在双目棋盘格图像上的视觉对比
Fig. 16 Visual comparison of different mainstream methods on binocular checkerboard images
表 1 基于UIQM指标的定量结果
Table 1 Quantitative results based on UIQM metrics
IBLA GDCP UNTV Sea-thru MLLE BRUIE WaterNet 本文方法 Image 1 3.739 3.425 3.868 4.340 4.751 5.183 4.307 4.971 Image 2 4.693 5.174 3.719 4.665 4.149 4.742 3.631 4.848 Image 3 2.451 1.223 3.696 2.876 3.545 3.995 3.057 3.834 Image 4 1.991 2.906 2.992 2.551 2.776 4.002 2.787 2.862 Image 5 2.510 1.762 5.768 4.395 4.841 5.113 4.580 5.313 Image 6 3.300 1.727 4.883 4.460 4.701 5.259 3.971 5.110 Image 7 4.052 1.781 4.862 4.333 4.756 5.248 4.078 4.902 Image 8 3.514 2.771 5.118 5.019 4.745 5.242 4.493 5.396 注: 粗体表示最高的定量指标, 斜体表示次高的定量指标. 
下载: 导出CSV
表 2 定量比较不同主流方法在目标检测上的性能
Table 2 Quantitative comparison of the performance of different mainstream methods on object detection
$AP$ $AP_{50}$ $AP_{75}$ $AR_{1}$ $AR_{10}$ $AR_{100}$ IBLA 0.502 0.856 0.524 0.168 0.554 0.618 GDCP 0.493 0.854 0.516 0.159 0.531 0.588 UNTV 0.509 0.873 0.513 0.168 0.552 0.606 Sea-thru 0.499 0.862 0.506 0.164 0.548 0.601 MLLE 0.509 0.871 0.530 0.161 0.550 0.599 BRUIE 0.499 0.859 0.529 0.154 0.538 0.597 WaterNet 0.501 0.862 0.515 0.162 0.532 0.591 本文方法 0.514 0.871 0.558 0.167 0.551 0.609 注: 粗体表示最高的检测准确率, 斜体表示次高的检测准确率.
下载: 导出CSV
表 3 各组件的定量消融结果
Table 3 Quantitative ablation results of each component
Image 1 Image 2 Image 3 Image 4 Image 5 无颜色校正方法 4.539 0.475 4.804 1.573 3.584 无最大衰减图 5.160 3.802 5.013 4.465 4.474 无细节增强方法 4.356 2.465 4.244 3.277 4.152 无细节图像 4.991 3.402 4.517 4.188 4.434 完整方法 5.246 4.131 5.029 4.921 4.517 注: 粗体表示最高的定量指标.
下载: 导出CSV
表 4 水下视觉测量
Table 4 Measurement of underwater vision
Raw IBLA GDCP UNTV Sea-thru MLLE BRUIE WaterNet 本文方法 RE (像素) 0.16 0.18 0.17 0.32 0.22 0.16 0.18 0.17 0.13 AD (mm) 28.38 28.57 28.60 26.59 28.65 28.38 28.62 28.56 28.87 注: 粗体表示最高的定量指标.
下载: 导出CSV
-
[1] Raveendran S, Patil M D, Birajdar G K. Underwater image enhancement: A comprehensive review, recent trends, challenges and applications. Artificial Intelligence Review, 2021, 54: 5413−5467 doi: 10.1007/s10462-021-10025-z [2] 刘妹琴, 韩学艳, 张森林, 郑荣濠, 兰剑. 基于水下传感器网络的目标跟踪技术研究现状与展望. 自动化学报, 2021, 47(2): 235−251Liu Mei-Qin, Han Xue-Yan, Zhang Sen-Lin, Zheng Rong-Hao, Lan Jian. Research status and prospect of target tracking technologies via underwater sensor networks. Acta Automatica Sinica, 2021, 47(2): 235−251 [3] Yang M, Hu J T, Li C Y, Gustavo R, Du Y X, Hu K. An in-depth survey of underwater image enhancement and restoration. IEEE Access, 2019, 7: 123638−123657 doi: 10.1109/ACCESS.2019.2932611 [4] 徐璠, 王贺升. 软体机械臂水下自适应鲁棒视觉伺服. 自动化学报, 2023, 49(4): 744−753Xu Fan, Wang He-Sheng. Adaptive robust visual servoing control of a soft manipulator in underwater environment. Acta Automatica Sinica, 2023, 49(4): 744−753 [5] He K M, Sun J, Tang X O. Single image haze removal using dark channel prior. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2011, 33(12): 2341−2353 [6] Drews P, Nascimento E, Moraes F, Botelho S, Campos M. Transmission estimation in underwater single images. In: Proceedings of the International Conference on Computer Vision Workshops. Sydney, Australia: IEEE, 2013. 825−830 [7] Galdran A, Pardo D, Picón A, Alvarez A. Automatic red-channel underwater image restoration. Journal of Visual Communication and Image Representation, 2015, 26: 132−145 doi: 10.1016/j.jvcir.2014.11.006 [8] 谢昊伶, 彭国华, 王凡, 杨成. 基于背景光估计与暗通道先验的水下图像复原. 光学学报, 2018, 38(1): 18−27Xie Hao-Ling, Peng Guo-Hua, Wang Fan, Yang Cheng. Underwater image restoration based on background light estimation and dark channel prior. Acta Optica Sinica, 2018, 38(1): 18−27 [9] Carlevaris-Bianco N, Mohan A, Eustice R M. Initial results in underwater single image dehazing. In: Proceedings of the 2010 OCEANS. Seattle, USA: IEEE, 2010. 1−8 [10] Peng Y T, Cosman P C. Underwater image restoration based on image blurriness and light absorption. IEEE Transactions on Image Processing, 2017, 26(4): 1579−1594 doi: 10.1109/TIP.2017.2663846 [11] Berman D, Levy D, Avidan S, Treibitz T. Underwater single image color restoration using haze-lines and a new quantitative dataset. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2020, 43(8): 2822−2837 [12] Xie J, Hou G J, Wang G D, Pan Z K. A variational framework for underwater image dehazing and deblurring. IEEE Transactions on Circuits and Systems for Video Technology, 2021, 32(6): 3514−3526 [13] Ancuti C O, Ancuti C, de Vleeschouwer C, Bekaert P. Color balance and fusion for underwater image enhancement. IEEE Transactions on Image Processing, 2018, 27(1): 379−393 doi: 10.1109/TIP.2017.2759252 [14] Zhang W, Zhuang P, Sun H H, Li G H, Kwong S, Li C Y. Underwater image enhancement via minimal color loss and locally adaptive contrast enhancement. IEEE Transactions on Image Processing, 2022, 31: 3997−4010 [15] Zhuang P X, Li C Y, Wu J M. Bayesian retinex underwater image enhancement. Engineering Applications of Artificial Intelligence, 2021, 101: Article No. 104171 doi: 10.1016/j.engappai.2021.104171 [16] Ghani A S A, Isa N A M. Underwater image quality enhancement through Rayleigh-stretching and averaging image planes. International Journal of Naval Architecture and Ocean Engineering, 2014, 6(4): 840−866 doi: 10.2478/IJNAOE-2013-0217 [17] 杨淼, 纪志成. 基于模糊形态筛和四元数的水下彩色图像增强. 仪器仪表学报, 2012, 33(7): 1601−1605Yang Miao, Ji Zhi-Cheng. Underwater color image enhancement based on quaternion and fuzzy morphological sieves. Journal of Scientific Instrument, 2012, 33(7): 1601−1605 [18] 李庆忠, 白文秀, 牛炯. 基于改进CycleGAN的水下图像颜色校正与增强. 自动化学报, 2023, 49(4): 820−829Li Qing-Zhong, Bai Wen-Xiu, Niu Jiong. Underwater image color correction and enhancement based on improved cycle-consistent generative adversarial networks. Acta Automatica Sinica, 2023, 49(4): 820−829 [19] Li C Y, Guo C L, Ren W Q, Cong R M, Hou J H, Kwang S, et al. An underwater image enhancement benchmark dataset and beyond. IEEE Transactions on Image Processing, 2019, 29: 4376−4389 [20] Islam M J, Xia Y, Sattar J. Fast underwater image enhancement for improved visual perception. IEEE Robotics and Automation Letters, 2020, 5(2): 3227−3234 doi: 10.1109/LRA.2020.2974710 [21] McGlamery B L. A computer model for underwater camera systems. In: Proceedings of the Ocean Optics VI. Bellingham: Society of Photo-Optical Instrumentation Engineers, 1980. 221−231 [22] Jaffe J S. Computer modeling and the design of optimal underwater imaging systems. IEEE Journal of Oceanic Engineering, 1990, 15(2): 101−111 [23] Reinhard E, Adhikhmin M, Gooch B, Shirley P. Color transfer between images. IEEE Computer Graphics and Applications, 2001, 21(5): 34−41 [24] Chambolle A, Pock T. A first-order primal-dual algorithm for convex problems with applications to imaging. Journal of Mathematical Imaging and Vision, 2011, 40: 120−145 doi: 10.1007/s10851-010-0251-1 [25] Tarik A, Salih D, Yucel A. A histogram modification framework and its application for image contrast enhancement. IEEE Transactions on Image Processing, 2009, 18(9): 1921−1935 doi: 10.1109/TIP.2009.2021548 [26] Deng G. A generalized unsharp masking algorithm. IEEE transactions on Image Processing, 2010, 20(5): 1249−1261 [27] Peng Y T, Cao K, Cosman P C. Generalization of the dark channel prior for single image restoration. IEEE Transactions on Image Processing, 2018, 27(6): 2856−2868 [28] Akkaynak D, Treibitz T. Sea-thru: A method for removing water from underwater images. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Long Beach, USA: IEEE, 2019. 1682−1691 [29] Ranftl R, Lasinger K, Hafner D, Schindler K, Koltun V. Towards robust monocular depth estimation: Mixing datasets for zero-shot cross-dataset transfer. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2020, 44(3): 1623−1637 [30] Panetta K, Gao C, Agaian S. Human-visual-system-inspired underwater image quality measures. IEEE Journal of Oceanic Engineering, 2015, 41(3): 541−551 [31] Li C Y, Li L L, Jiang H L, Weng K H, Geng Y F, Li L, et al. YOLOv6: A single-stage object detection framework for industrial applications. arxiv preprint arXiv: 2209.02976, 2022. [32] Jiang L H, Wang Y, Jia Q, Xu S W, Liu Y, Fan X, et al. Underwater species detection using channel sharpening attention. In: Proceedings of the 29th ACM International Conference on Multimedia. Chengdu, China: ACM, 2021. 4259−4267 [33] Lei T, Jia X H, Zhang Y N, Liu S G, Meng H Y, Nandi A K. Superpixel-based fast fuzzy C-means clustering for color image segmentation. IEEE Transactions on Fuzzy Systems, 2019, 27(9): 1753−1766 doi: 10.1109/TFUZZ.2018.2889018 [34] Bay H, Tuytelaars T, van Gool L. Surf: Speeded up robust features. In: Proceedings of the European Conference on Computer Vision. Graz, Austria: Springer, 2006. 404−417 [35] Pedersen M, Bengtson S H, Gade R, Madsen N, Mieslund T B. Camera calibration for underwater 3D reconstruction based on ray tracing using snell's Law. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR) Workshops. Salt Lake City, USA: IEEE, 2018. 1410−1417 -
下载:
计量
- 文章访问数: 612
- HTML全文浏览量: 165
- PDF下载量: 224
- 被引次数: 0
