An Improved Video Segmentation Network and Its Global Information Optimization Method
-
摘要: 提出了一种基于注意力机制的视频分割网络及其全局信息优化训练方法. 该方法包含一个改进的视频分割网络, 在对视频中的物体进行分割后, 利用初步分割的结果作为先验信息对网络优化, 再次分割得到最终结果. 该分割网络是一种双流卷积网络, 以视频图像和光流图像作为输入, 分别提取图像的表观信息和运动信息, 最终融合得到分割掩膜(Segmentation mask). 网络中嵌入了一个新的卷积注意力模块, 应用于卷积网络的高层次特征与相邻低层次特征之间, 使得高层语义特征可以定位低层特征中的重要区域, 提高网络的收敛速度和分割准确度. 在初步分割之后, 本方法提出利用初步结果作为监督信息对表观网络的权值进行微调, 使其辨识前景物体的特征, 进一步提高双流网络的分割效果. 在公开数据集DAVIS上的实验结果表明, 该方法可准确地分割出视频中时空显著的物体, 效果优于同类双流分割方法. 对注意力模块的对比分析实验表明, 该注意力模块可以极大地提高分割网络的效果, 较本方法的基准方法(Baseline)有很大的提高.Abstract: This paper presents an attention-based video segmentation network and its global information optimization training method. We propose an improved segmentation network, and use it to compute initial segmentation masks. Then the initial masks are considered as priors to finetune the network. Finally, the network with the learnt weight generates fine masks. Our two-stream segmentation network includes appearance branch and motion branch. Fed with image and optical flow image separately, the network extracts appearance features and motion features to generate segmentation mask. An attention module is embedded in the network, between the adjacent high level feature and low level feature. Thus the high level features locate the semantic region for the low level feature, speeding up the network convergence and improving segmentation quality. We propose to optimize the initial masks to finetune the original appearance network weights, making the network recognize the object and improving the network performance. Experiments on DAVIS show the effectiveness of the segmentation framework. Our method outperforms the traditional two-stream segmentation algorithms, and achieves comparable results with algorithms on the dataset＇s leaderboard. Validation experiment illustrates our attention module greatly improves the network performance than the baseline.
-
雾、雾霾是常见的自然现象, 主要是由于大气中的悬浮固体颗粒和水蒸气等介质对光的散射和吸收现象形成.这种现象的存在, 导致获取的户外图像质量严重下降, 例如对比度下降、细节丢失、颜色发生偏移等, 使得户外视觉系统对图像的分析造成了一定的障碍.因此, 对于雾天图像的清晰化处理具有一定的研究意义和实际应用价值.
目前, 针对单幅图像去雾算法的研究已经取得了一定的成果.按照应用的方法主要分为四类:图像增强、图像复原、图像融合以及机器学习[1].图像增强方法主要是从图像本身出发, 不考虑图像退化的本质原因, 以消弱/增强某些信息来达到去雾的目的, 常见的方法主要是基于Retinex理论的去雾方法[2], 这类方法由于缺少一定的模型支持, 因此不能达到真正意义上的去雾; 图像复原方法是目前经常采用的方法, 这种方法从图像降质的本质出发, 建立雾天图像退化模型, 利用先验知识以及假设逼近模型参数真实值, 从而达到去雾的目的, 这类方法有一定的优越性, 也是目前图像去雾领域的研究热点[3], 经典的方法是暗通道先验去雾算法[4]; 图像融合方法是一种基于融合策略的去雾方法, 这种方法通过对退化图像进行分层研究, 从而选取不同的权重图进行融合, 可以取得相对优越的效果, 但是由于权重值选取上的不足, 存在一定的局限性, 典型的是多尺度融合图像去雾算法[5]; 机器学习方法通过训练数据获得更加优越的去雾模型, 从而获得更好的去雾效果.尽管该方法已经取得了一定成果, 但是考虑到模型复杂以及数据集的约束, 目前在去雾领域发展有限[1].
近年来, 基于单幅雾天图像复原方法的研究取得了巨大的成果. Tan[6]通过大量实验观察, 发现无雾图像比有雾图像的对比度大, 从而提出最大化局部对比度的方法, 可以获取有效的视觉效果, 但是复原图像出现过度饱和现象并且存在光晕现象. Fattal[7]在假设传输率与表面色度局部无关的前提下, 提出了一种估计场景反照率和介质传输率的方法, 这种方法物理有效并且可以取得优越的效果, 但是在假设失效时, 就会出现浓雾图像去雾不成功或失效现象. He等[4]通过对大量的无雾图像进行实验统计, 提出一种暗通道先验去雾方法, 利用先验知识解决了大气散射物理模型的病态问题, 对于满足暗通道先验的图像可以取得很好的去雾效果, 但是在不满足暗通道先验的区域可能失效且Soft Matting算法时间复杂度高.后人在暗通道先验的基础上, 提出了很多改进算法并且取得了一定成果. Meng等[8]考虑到大气散射模型病态问题, 从而增加约束条件, 提出一种基于边界约束的图像去雾方法, 利用牺牲部分细节来复原较好的无雾图像. Sun等[9]提出一种局部大气光估计方法, 可以改善暗通道先验中全局大气光值选取不足现象.
本文通过对大量单幅图像去雾方法的研究, 提出一种基于高斯权重衰减的迭代优化去雾方法, 首先通过构造的高斯函数对有雾图像的最小通道进行衰减来达到暗通道先验的统计效果, 然后利用交叉双边滤波进行纹理效应消除, 从而得到粗略透射率; 假设在最优透射率前提下, 提出无雾图像高斯暗通道和该最优透射率的乘积灰度级趋于0的假设, 从而对粗略透射率进行高阶滤波迭代优化以后向验证; 其次, 对于大气光的选取, 采用局部大气光的策略; 最后, 结合大气散射模型复原无雾图像.实验结果显示, 本文方法可以取得显著的去雾效果.
1. 背景
根据Mie的散射理论, McCartney首次提出了大气散射模型, 后由Narasimhan推导演化而来[4, 8-9].
$ I(x) =J(x)t(x)+A(1-t(x)) $
(1) $ \begin{align} t(x)={\rm e}^{-\beta d(x)} \end{align} $
(2) 其中, $I$是视觉系统获取的有雾图像, $J$是最终需要复原的无雾图像, $t$是透射率, $d$是场景深度, 表示场景点到系统的距离, $A$是大气光值.
He等通过对无雾图像观察提出暗通道操作, 即
$ \begin{align} J^{\rm dark}(x)=\min\limits_{y\in\Omega (x)} \left(\min\limits_{c\in\{r, g, b\}}J^{{\rm c}}(y)\right) \end{align} $
(3) 利用式(3)对5 000多幅清晰图像进行统计发现, 86%的像素灰度级分布在$[0, 16]$的窄范围之内, 因此提出暗通道先验
$ \begin{align} J^{{\rm dark}}\rightarrow {0} \end{align} $
(4) 假设全局大气光$A$已知, 因此, 结合式(1)和式(4), 可得到透射率
$ \begin{align} t_{h}(x)=1-\frac{I^{{\rm dark}}(x)}{A} \end{align} $
(5) 其中, $I^{\rm dark}(x)$表示有雾图像的暗通道结果.由于暗通道先验算法采用了式(3)的最小滤波方法, 从而在复原的无雾图像中会出现明显的光晕现象. He等利用Soft matting方法细化透射率, 尽管取得显著效果, 但是牺牲了时间复杂度. He又提出引导滤波算法[10], 时间复杂度明显减小, 但是在复原图像边缘区域留有残雾.
2. 本文算法
针对暗通道先验算法最小滤波的不足, 提出一种基于高斯权重衰减的迭代优化去雾方法, 算法流程如图 1所示.首先, 利用构造高斯函数方法得到高斯暗通道, 然后利用交叉双边滤波器消除纹理效应得到粗略透射率, 为了验证所提假设成立, 利用一组高阶滤波器对粗略透射率进行迭代优化处理得到优化透射率, 接着进行后向验证假设; 同时, 对大气光的估计采用局部大气光的估计方法, 首先对有雾图像最大通道进行形态学闭操作, 然后利用交叉双边滤波器进行平滑处理. 图 2给出了本文算法具体的实现效果.
2.1 透射率的估计
考虑到大气散射物理模型本质上的病态问题, He等提出了先进的暗通道先验去雾算法, 从而消除了物理模型本身不可解问题, 但是暗通道先验算法采用最小滤波操作导致复原图像产生严重光晕现象或者说透射率出现了明显的块状效应, 因此需要耗时的Soft matting算法进行细化处理, 从而不能应用于实时处理系统, 严重阻碍了该方法的扩展性, 尽管He等后又提出引导滤波替代Soft matting方法, 但是处理后的图像遗留有残雾.针对上述问题, 本文透射率估计方法从基于像素的角度考虑, 提出一种利用高斯函数来衰减有雾图像最小通道的策略来逼近暗通道先验统计结果, 从而消除最小滤波影响.
2.1.1 高斯暗通道
高斯函数在数字图像领域具有广泛的应用, 主要是因其具有形状可控性特点, 根据高斯函数的数学特征可知, 高斯函数的曲线以钟形分布, 峰值和宽度可以调整.因此, 本文为了消除暗通道先验算法最小滤波的不足, 提出利用高斯函数的方法来逼近暗通道.首先, 利用Kirsch边缘检测算子中的一个算子对原始雾图的亮度值分量进行滤波, 从而准确检测到图像的边缘信息, 然后进行构造高斯函数, 最后利用高斯函数对有雾图像的最小通道加权处理.本文将这一结果称为高斯暗通道, 其数学表达为
$ \begin{align} I_{G_{\rm dark}}(x)=WF(x)\times M(x) \end{align} $
(6) 其中, $M$表示最小通道图, $WF$是本文构造的高斯函数, 具体的数学表示为
$ \begin{align} &M(x)=\min\limits_{c\in\{r, g, b\}}I^{{\rm c}}(x)\end{align} $
(7) $ \begin{align} &WF(x)=\frac{1}{\sqrt{2\pi}\sigma}{\rm e}^{-\frac{(I_{\rm hsv}^{{\rm v}}(x))^{2}}{2\sigma^{2}}} \end{align} $
(8) 其中, $\sigma$是标准差, 通过对3 000多幅实验图像进行大量的实验测试, $\sigma^2=3.5$时可以获得最佳效果, $I_{\rm hsv}^{{\rm v}}$表示用Kirsch边缘检测算子对HSV通道中的V分量进行滤波的结果, 使用的检测算子为$[-3$ $-3$ $-3;$ $-3$ $0$ $-3$; $-3$ $5$ $5]$, 通过式(8)可以对边缘深度交替的像素灰度级进行自适应调整, 在边缘区域, $I_{\rm hsv}^{{\rm v}}$较大, 因此$WF(x)$变小, 相反, 在平滑区域选择较大的$WF(x)$值, 进而使求得的高斯暗通道可以保持良好的边缘特性.根据大气散射模型, 为了使高斯暗通道像素灰度级不高于最小通道像素灰度级, 高斯暗通道必须满足如下约束:
$ \begin{align} I'_{G_{{\rm dark}}}(x)=\min\left(I_{G_{{\rm dark}}}(x), M(x)\right) \end{align} $
(9) 如图 2 (c)所示, 考虑到高斯暗通道纹理效应比较明显.为了消除纹理效应, 同时保持图像边缘信息, 采用文献[9]中的交叉双边滤波器, 如下所示:
$ \begin{align} {\bar I}_{G_{{\rm dark}}}(x)=crossbilateral(I{'}_{G_{{\rm dark}}}(x), M(x)) \end{align} $
(10) 式(10)的效果如图 2(d)所示, 从图中可以看出, 利用交叉双边滤波后的结果局部平滑, 且高斯暗通道更暗, 基本上可以反映图像深度信息, 同时具有良好的边缘保持特性.
假设透射率已知且可以最佳地反映图像深度信息, 那么对于一幅有雾图像而言, 在有雾区域(白色像素近似于雾)其透射率相对较小, 而该有雾图像对应的最佳无雾图像在经过高斯暗通道处理后其灰度级基本上都趋于最小灰度级, 其效果如图 3所示.因此, 可以给出如下结论:式(1)中的乘积项$J(x)t(x)$, 也即直接衰减项在最佳的情况下, 其高斯暗通道下的灰度级必然趋于一个极小范围, 因此, 可以得出
$ \begin{align} {\bar J}_{G_{{\rm dark}}}(x)t(x)\rightarrow {0} %11 \end{align} $
(11) 
图 3 无雾图像高斯暗通道灰度级分布Fig. 3 Gaussian dark channel grayscale distribution of dehazed images利用高斯暗通道及式(11)的假设可以将式(1)简化为
$ \begin{align} {\bar I}_{G_{{\rm dark}}}(x)=A(1-t(x)) \end{align} $
(12) 那么假设大气光值$A$在已知的条件下, 就可以得到粗略的透射率, 具体表达式为
$ \begin{align} \hat{t}(x)=1-\omega\frac{{\bar I}_{G_{{\rm dark}}}(x)}{A} %13 \end{align} $
(13) 其中, 参数$\omega$是为了保持复原的无雾图像的真实性, 从而在景深区域保留少量的雾, 本文取$\omega=0.95$, 效果如图 2(f)所示.
2.1.2 局部大气光估计
大气光值是基于物理模型去雾方法中的一个重要参数, 其准确性直接决定着最终复原图像的质量, 根据式(1)可知, 如果选取的全局大气光值大于其真实值, 那么复原的图像偏暗, 需要再进行增强处理, 同时伴随着细节丢失, 反之偏亮, 大量细节丢失.在目前的图像去雾算法研究中, 对于大气光值选取方面的研究不是很多.针对目前的研究, 主要分为两个思路:全局大气光值和局部大气光值.经典的暗通道先验算法通过选取暗通道中亮度最大的前0.1%的像素, 然后将这些像素对应到输入图像上, 选取输入图像中对应像素最高强度的像素值作为大气光$A$[4]; 文献[8]首先对输入图像的每个颜色通道进行最小滤波, 然后将每个颜色通道中的最大值作为大气光向量; 文献[11]提出一种自动获取大气光值的方法, 通过判断大气光矢量方向来确定大气光值.文献[4]和文献[8]的方法很容易受到强光源或者大片白色区域像素影响, 具有一定局限性; 文献[11]尽管可以获得良好的大气光值, 但是在大气光矢量方向判断失误时则失效.考虑到全局大气光值在出现误差时会影响整体效果, 本文采用Sun等提出的局部大气光值估计方法[9], 首先对输入的有雾图像取最大值通道得到$A_{{\rm mc}}(x)$, 接着对$A_{{\rm mc}}(x)$执行形态学闭操作, 利用形态学闭操作可以消除局部内部分像素的干扰, 最后利用交叉双边滤波得到平滑且边缘保持良好的局部大气光$A(x)$, 实验效果如图 4所示.利用局部大气光可以消除全局大气光估计不准确对整体的影响, 从而可以避免由于估计不准确而增加的后处理操作.
2.2 透射率优化
通常, 透射率反映图像的深度信息, 因此在一个小的局部区域内的像素应当拥有相同深度值.文献[8]利用相邻像素的色差构造加权函数$W(x, y)$使得相邻像素之间的透射率差趋于0, 即满足$W(x, y)(t(y)-t(x))\approx0$.文献[8]利用Kirsch边缘检测算子和Laplacian边缘检测算子构成的一组高阶滤波器构造的加权函数为
$ \begin{align} W_{j}(i)={\rm e}^{-\sum\limits_{c\in\{r, g, b\}}\frac{|(D_{j}\otimes %14 I^{c})_{i}|^{2}}{2\sigma^{2}}} \end{align} $
(14) 其中, $D_j$是一组高阶滤波器, $j$是图 5所示滤波器组的索引, $i$表示第$j$个滤波器构造的第$i$个加权函数, 其中$i=j=1, 2, \cdots, 9$, 参数$\sigma$是标准差.
图 5 高阶滤波器组(中心为Laplacian算子, 周围为Kirsch算子)Fig. 5 High order filter bank (Laplacian center, Kirsch operator around)本文采用Meng等[8]提出的基于$L1$范式的迭代优化方法, 给出的目标函数为
$ \begin{align} \frac{\lambda}{2}\parallel t-\hat{t}\parallel^{2}_{2} +\sum\limits_{j\in\omega}\parallel W_{j}\circ (D_{j}\otimes t)\parallel_{1} \end{align} $
(15) 为了优化式(15), Meng等采用变量分裂法引进辅助变量$u_j$构造子问题, 构造新的代价函数为
$ \begin{align} &\frac{\lambda}{2}\parallel t-\hat{t}\parallel^{2}_{2} +\sum\limits_{j\in\omega}\parallel W_{j}\circ u_{j}\parallel_{1}+\notag\\ &\qquad \frac{\beta}{2}\left(\sum\limits_{j\in\omega}\parallel %16 u_{j}-D_{j}\otimes t\parallel^{2}_{2}\right) \end{align} $
(16) 其中, 符号$\circ$表示元素级的乘法运算符, 参数$\lambda$是一个归一化参数, 参数$\beta$是一个权重值, $\omega$是高阶算子索引值, $\hat{t}$是式(13)获取的粗略透射率.通过解决式(16)的代价函数, 可以得到最终的优化透射率为
$ \begin{align} t^{\ast}={\bf F}^{-1}\left(\frac{\frac{\lambda}{\beta} {\bf F}(\hat{t})+\sum\limits_{j\in\omega}\overline {{\bf F}(D_{j})} \circ {\bf F}(u_{j})} {\frac{\lambda}{\beta}+ \sum \limits_{j\in\omega} \overline{ {\bf F}(D_{j})}\circ %17 {\bf F}(D_{j})}\right) \end{align} $
(17) 其中, ${\bf F}(\cdot)$表示傅里叶变换, ${\bf F}^{-1}(\cdot)$表示傅里叶逆变换, $\overline{(\cdot)}$表示复共轭.参数$\beta$以2$\sqrt{2}$为缩放因子在$\beta_{0}$ $= 1$到$\beta_{\max}=2^8$的范围进行迭代.迭代效果如图 6所示.
从图 6可以看出, 随着高阶滤波算子不断迭代, 纹理效应逐渐趋于平滑, 深度交替区域趋于平滑过渡, 景深区域的透射率逐渐减小且更能反映深度信息.
2.3 图像复原
在确定了透射率和大气光值后, 根据大气散射物理模型, 就可以复原最终的无雾图像.结合式(1)和式(17)可以恢复图像为
$ \begin{align} J(x)=\frac{I(x)-A(x)}{\max (t(x), t_{0})}+A(x) \end{align} $
(18) 其中, 下限$t_0$是为了防止分母项趋于0.
3. 实验结果
实验在MATLAB R2014Ra环境下运行, 硬件环境为Intel(R) Core(TM) i3-3110M CPU @2.40 GHz, 6.0 GB RAM.为了验证本文方法的有效性和实用性, 本文从视觉效果和客观评价两个方面进行实验对比, 对比方法选用经典的图像去雾方法.此外, 对式(11)的假设, 本节给出验证, 充分说明本文方法透射率估计的准确性.
3.1 视觉效果
视觉上分析是从人的主观意识出发, 往往具有一定的片面性, 但是可以快速看出恢复效果的好坏.本文选取目前经典的去雾方法做对比, 主要有He等的暗通道先验算法[4]、Meng等的边界约束算法[8]、Sun等的局部大气光遮罩估计算法[9]、Zhu等的颜色衰减先验算法[12]、Cai等的基于端对端系统的去雾方法[13]以及Ren等提出的基于多尺度卷积神经网络去雾方法[14], 如图 7所示.
图 7 (b)为暗通道先验去雾效果, 恢复的效果细节明显增多, 基本上去除了雾气干扰, 但是在深度交替的边缘区域遗留有残雾并且图像明显偏暗, 主要是因为大气光估计不准确, 再者, 远景细节不是很突出.图 7 (c)为边界约束去雾效果, 该方法增加约束条件来解决大气散射模型病态问题, 尽管恢复的效果细节增多, 但是牺牲了图像色彩保真度, 恢复的图像出现了明显的偏色现象并且有伪影出现, 具有一定的局限性. 图 7 (d)为局部大气光遮罩估计的去雾效果, 该方法恢复的图像亮度较好, 基本去除了图像中的雾气, 但是在部分图像中出现了颜色失真现象, 主要是由于形态学操作的使用所致, 再者, 恢复的图像过度饱和、亮度过亮.图 7 (e)为Zhu等[12]提出的颜色衰减先验(Color attenuation prior)去雾方法, 该方法通过观察有雾图像在HSV (Hue-saturation-value)的分布情况, 提出利用饱和度和值的差值估计景深, 并提出线性模型进行验证, 从复原的结果可以看出, 该方法复原的结果可以凸显更多的细节, 但是仍然存在雾感, 即去雾不彻底, 并且亮度偏暗, 且该方法很难复原浓雾区域的细节(图 7 (e)右边两幅), 存在一定的局限性. 图 7 (f)为Cai等[13]提出的基于端对端系统的去雾方法, 该方法利用提出的端对端系统训练透射率图以达到最优效果, 并且提出一种双边线性修正单元来提升复原图像的质量, 具有优越的性能, 并且能够复原大量的细节信息, 但是由于该方法是基于前人先验和约束假设的基础上提出, 因此存在一定的不足, 例如去雾不彻底以及浓雾去雾效果不佳等. 图 7 (g)为Ren等[14]提出的基于多尺度卷积神经网络的单幅图像去雾方法, 通过学习雾图与对应透射率之间的映射关系, 提出了深度神经网络去雾方法, 该方法利用粗尺度网络(Coarse-scale net)估计整体透射率, 利用优化级网络(Fine-scale net)修正局部结果, 但是在训练多级深度网络时采用的是合成数据集, 因此并不适应所有图像, 例如对有大片天空区域的图像, 复原效果严重失真, 出现过度饱和与偏色现象(图 7 (g)左图); 对浓雾图像复原力度不够(图 7 (g)右图); 对薄雾且深度交替明显的图像, 去雾效果相对一些经典方法稍有不足(图 7 (g)中间两幅). 图 7 (h)为本文所提算法实现的去雾效果, 从图中可以看出, 恢复图像细节明显增多, 亮度适宜.相比暗通道先验, 本文方法复原图像细节多, 尤其在远景区域, 并且明亮度相对较好; 相比边界约束方法, 本文方法具有良好的色彩保真度性能, 并且复原图像的细节更多; 相比局部大气光遮罩估计方法, 本文实现效果对比度和饱和度都有一定的优势, 但是亮度上有所不足; 相比Cai等和Ren等的机器学习方法, 本文方法对浓雾图像的处理效果优于Ren方法和Cai方法, 薄雾图像虽然复原细节明显增多, 但略显饱和, 在有天空区域的图像处理效果优于Ren方法, 但不及Cai方法.综上所述, 本文方法在视觉效果上取得了一定的成果, 基本复原了图像的细节, 并且对浓雾区域的处理效果相对更好, 亮度比He方法、Meng方法、Zhu方法、Cai方法、Ren方法较好, 但是相对Sun方法, 本文方法复原的图像亮度不足, 并且由于形态学的使用, 导致对雾霾浓度估计过高, 从而出现了局部区域颜色过度饱和现象.
3.2 假设验证
本文在第2.1.1节给出如下假设:在最优透射率条件下, 乘法项满足.为了验证本文透射率的最优性, 本文对大量的实验图像进行测试, 主要分为原始有雾图像和无雾图像两类, 本节给出具体验证.首先给出本文复原图像的高斯暗通道${\bar{J}}_{G_{{\rm dark}}}(x)$, 然后求得优化透射率$t(x)$, 为了便于观察, 采用柱状图的关系展示, 具体如图 8所示, 采用的无雾图像为图 7 (h)恢复效果图.
从图 8可以看出, 对于恢复的无雾图像而言, 其对应的高斯暗通道灰度级主要集中分布在[0 50]范围内, 如图 8 (a2)和8 (b2)所示, 说明本文恢复的无雾图像效果相对较好; 其次, 对${\bar{J}}_{G_{{\rm dark}}}(x)t(x)$的灰度级分布进行大量实验统计发现, 其灰度级基本上分布在[0 16]的范围之内.因此可以说明本文获取的透射率基本上是接近真实值, 并且可以说明文中所提假设成立.
3.3 客观评价
主观上的评价往往具有一定的局限性, 因此必须采用客观评价进行说明.对于图像质量的评估主要分为全参考图像质量评估、缩减参考图像质量评估和无参考图像质量评估[1]三个方面.由于全参考/缩减参考需要相应的清晰图像, 因此很难实现, 所以在图像去雾领域, 无参考的图像质量评估方法经常使用, 常见的有峰值信噪比(PSNR)、结构相似性(SSIM)[15]、信息熵、平均梯度、以及全局对比度[1].本文采用Hautiére[16]提出的基于可见边的对比度增强的评价方法.其中可见边($e$)、归一化的平均梯度($\overline{r}$)越大越好, 恢复图像的饱和像素点个数($\sigma$)越小越好.对应的数学表示为
$ e=\frac{n_{r}-n_{0}}{n_{0}} $
(19) $ \overline{r}={\rm exp}\left[\frac{1}{n_{r}}\sum\limits_{P_{i}\in\wp}\lg r_{i}\right] $
(20) $ \begin{align} \sigma=\frac{n_{s}}{W\times H} \end{align} $
(21) 其中, $n_0$是原有雾图像的可见边数, $n_r$是复原图像的可见边数, $r_i$是$P_i$处复原图像与原有雾图像的梯度比, $\wp_i$是复原图像的可见边的集合, $n_s$表示饱和像素点数. $W$和$H$分别表示图像的宽和高.实验对比数据如图 9所示.
从图 9所示的客观评价数据可以看出, Meng方法和Ren方法复原的图像可见边出现了负值, 这也与主观上出现严重偏色相互对应.从图 9 (a)可见, 本文方法基本上取得了优异效果, 但相比于Sun方法略显不足, 主要是因为本文方法复原结果亮度相对偏暗; 从图 9 (b)可以看出, Meng方法显出了不足之处, 本文方法相比Zhu方法、Cai方法和Ren方法整体效果偏好; 图 9 (c)为饱和像素点数, 从图中可以看出, 本文方法在图 1中明显饱和, 因此本文方法对于色彩过度鲜艳的图像处理结果不好, 但依然在可接受范围之内; 图 9 (d)为运行时间对比, 从图中可以看出, 几种经典方法处理浓雾图像基本上都比较耗时, 本文方法由于采用了形态学操作和交叉双边滤波, 因此时间复杂度较高; 综合考虑, 本文方法具有一定的优越性.
4. 结论
为了改善暗通道先验算法最小滤波使用导致的透射率块状效应/光晕现象, 本文提出一种基于高斯权重衰减的迭代优化去雾方法.该方法利用高斯衰减代替暗通道先验中的最小滤波方法, 提出高斯暗通道操作, 并且提出无雾图像高斯暗通道与最优透射率的乘积趋于灰度级0的假设, 从而简化大气散射模型, 得到粗略透射率; 为了使得透射率最优, 本文选用一组高阶滤波器的$L1$范式迭代处理, 从而达到预期的效果.对于大气光的选取, 本文从局部大气光的角度出发, 得到局部大气光图.最终结合大气散射模型复原无雾图像, 通过大量实验测试验证, 本文所提假设成立, 并且复原的图像细节明显, 明亮度适宜, 在客观评价中也体现出了优势.
-
图 1 基于注意力的视频物体分割方法框架图
Fig. 1 The framework of proposed video object segmentation method with attention mechanism
表 1 有效性对比实验
Table 1 Ablation experiments results
方法 ours_m ours_a Baseline FCN Mean $\cal{M} \uparrow$ 0.595 0.552 0.501 0.519 $\cal{J}$ Recall $\cal{O} \uparrow$ 0.647 0.645 0.558 0.528 Decay $\cal{D} \downarrow$ 0.010 −0.029 −0.046 0.059 Mean $\cal{M} \uparrow$ 0.568 0.493 0.458 0.482 $\cal{F}$ Recall $\cal{O} \uparrow$ 0.648 0.487 0.426 0.448 Decay $\cal{D} \downarrow$ 0.063 −0.035 −0.025 0.054 $\cal{T}$ Mean $\cal{M} \downarrow$ 0.689 0.721 0.679 0.829 
下载: 导出CSV
表 2 定量实验结果
Table 2 Quantitative experiments results
方法 ours ours_n lmp msg fseg fst tis nlc cvos Mean $\cal{M} \uparrow$ 0.713 0.710 0.700 0.533 0.707 0.558 0.626 0.551 0.482 $\cal{J}$ Recall $\cal{O} \uparrow$ 0.798 0.791 0.850 0.616 0.835 0.649 0.803 0.558 0.540 Decay $\cal{D} \downarrow$ −0.036 −0.007 0.013 0.024 0.015 −0.000 0.071 0.126 0.105 Mean $\cal{M} \uparrow$ 0.684 0.695 0.659 0.508 0.653 0.511 0.596 0.523 0.447 $\cal{F}$ Recall $\cal{O} \uparrow$ 0.772 0.809 0.792 0.600 0.738 0.516 0.745 0.519 0.526 Decay $\cal{D} \downarrow$ −0.009 0.004 0.025 0.051 0.018 0.029 0.064 0.114 0.117 $\cal{T}$ Mean $\cal{M} \downarrow$ 0.534 0.589 0.572 0.301 0.328 0.366 0.336 0.425 0.250
下载: 导出CSV
-
[1] 褚一平, 张引, 叶修梓, 张三元. 基于隐条件随机场的自适应视频分割算法. 自动化学报, 2007, 33(12): 1252-1258Chu Yi-Ping, Zhang Yin, Ye Xiu-Zi, Zhang San-Yuan. Adaptive video segmentation algorithm using hidden conditional random fields. Acta Automatica Sinica, 2007, 33(12): 1252-1258 [2] 刘龙, 韩崇昭, 刘丁, 梁盈富. 一种新的基于吉布斯随机场的视频运动对象分割算法. 自动化学报, 2007, 33(6): 608-614Liu Long, Han Chong-Zhao, Liu Ding, Liang Ying-Fu. A new video moving object segmentation algorithm based on Gibbs random field. Acta Automatica Sinica, 2007, 33(6): 608-614 [3] Rother C, Kolmogorov V, Blake A. "GrabCut": Interactive foreground extraction using iterated graph cuts. ACM Transactions on Graphics, 2004, 23(3): 309-314 doi: 10.1145/1015706.1015720 [4] 胡芝兰, 江帆, 王贵锦, 林行刚, 严洪. 基于运动方向的异常行为检测. 自动化学报, 2008, 34(11): 1348-1357Hu Zhi-Lan, Jiang Fan, Wang Gui-Jin, Lin Xing-Gang, Yan Hong. Anomaly detection based on motion direction. Acta Automatica Sinica, 2008, 34(11): 1348-1357 [5] 鲁志红, 郭丹, 汪萌. 基于加权运动估计和矢量分割的运动补偿内插算法. 自动化学报, 2015, 41(5): 1034-1041Lu Zhi-Hong, Guo Dan, Wang Meng. Motion-compensated frame interpolation based on weighted motion estimation and vector segmentation. Acta Automatica Sinica, 2015, 41(5): 1034-1041 [6] Simonyan K, Zisserman A. Two-stream convolutional networks for action recognition in videos. In: Proceedings of the 27th International Conference on Neural Information Processing Systems. Montreal, Canada: MIT Press, 2014. 568−576 [7] Feichtenhofer C, Pinz A, Zisserman A. Convolutional two-stream network fusion for video action recognition. In: Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Las Vegas, USA: IEEE, 2016. 1933−1941 [8] Jain S D, Xiong B, Grauman K. FusionSeg: Learning to combine motion and appearance for fully automatic segmentation of generic objects in videos. In: Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Honolulu, USA: IEEE, 2017. 2117−2126 [9] Li X X, Loy C C. Video object segmentation with joint re-identification and attention-aware mask propagation. In: Proceedings of the 15th European Conference on Computer Vision. Munich, Germany: Springer, 2018. 93−110 [10] Zhang P P, Liu W, Wang H Y, Lei Y J, Lu H C. Deep gated attention networks for large-scale street-level scene segmentation. Pattern Recognition, 2019, 88:702-714 [11] Zhao H S, Zhang Y, Liu S, Shi J P, Loy C C, Lin D H, et al. PSANet: Point-wise spatial attention network for scene parsing. In: Proceedings of the 15th European Conference on Computer Vision. Munich, Germany: Springer, 2018. 270−286 [12] Song C F, Huang Y, Ouyang W L, Wang L. Mask-guided contrastive attention model for person re-identification. In: Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City, USA: IEEE, 2018. 1179−1188 [13] Jang W D, Lee C, Kim C S. Primary object segmentation in videos via alternate convex optimization of foreground and background distributions. In: Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Las Vegas, USA: IEEE, 2016. 696−704 [14] Tsai Y H, Yang M H, Black M J. Video segmentation via object flow. In: Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Las Vegas, USA: IEEE, 2016. 3899−3908 [15] Wen L Y, Du D W, Lei Z, Li S Z, Yang M H. JOTS: Joint online tracking and segmentation. In: Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Boston, USA: IEEE, 2015. 2226−2234 [16] Xiao F Y, Lee Y J. Track and segment: An iterative unsupervised approach for video object proposals. In: Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Las Vegas, USA: IEEE, 2016. 933−942 [17] Perazzi F, Wang O, Gross M, Sorkine-Hornung A. Fully connected object proposals for video segmentation. In: Proceedings of the 2015 IEEE International Conference on Computer Vision (ICCV). Santiago, Chile: IEEE, 2015. 3227−3234 [18] Zhou T F, Lu Y, Di H J, Zhang J. Video object segmentation aggregation. In: Proceedings of the 2016 IEEE International Conference on Multimedia and Expo (ICME). Seattle, USA: IEEE, 2016. 1−6 [19] Fragkiadaki K, Zhang G, Shi J B. Video segmentation by tracing discontinuities in a trajectory embedding. In: Proceedings of the 2012 IEEE Conference on Computer Vision and Pattern Recognition. Providence, USA: IEEE, 2012. 1846−1853 [20] Wang W G, Shen J B, Yang R G, Porikli F. Saliency-aware video object segmentation. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2018, 40(1): 20-33 doi: 10.1109/TPAMI.2017.2662005 [21] Papazoglou A, Ferrari V. Fast object segmentation in unconstrained video. In: Proceedings of the 2013 IEEE International Conference on Computer Vision. Sydney, Australia: IEEE, 2013. 1777−1784 [22] Krahenbuhl P, Koltun V. Geodesic object proposals. In: Proceedings of the 13th European Conference on Computer Vision. Zurich, Switzerland: Springer, 2014. 725−739 [23] Perazzi F, Khoreva A, Benenson R, Schiele B, Sorkine-Hornung A. Learning video object segmentation from static images. In: Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Honolulu, USA: IEEE, 2017. 3491−3500 [24] Tokmakov P, Alahari K, Schmid C. Learning video object segmentation with visual memory. In: Proceedings of the 2017 IEEE International Conference on Computer Vision (ICCV). Venice, Italy: IEEE, 2017. 4491−4500 [25] Cheng J C, Tsai Y H, Wang S J, Yang M H. SegFlow: Joint learning for video object segmentation and optical flow. In: Proceedings of the 2017 IEEE International Conference on Computer Vision (ICCV). Venice, Italy: IEEE, 2017. 686−695 [26] Song H M, Wang W G, Zhao S Y, Shen J B, Lam K M. Pyramid dilated deeper ConvLSTM for video salient object detection. In: Proceedings of the 15th European Conference on Computer Vision. Munich, Germany: Springer, 2018. 744−760 [27] Caelles S, Maninis K K, Pont-Tuset J, Leal-Taixe L, Cremers D, Van Gool L. One-shot video object segmentation. In: Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Honolulu, USA: IEEE, 2017. 5320−5329 [28] Oh S W, Lee J Y, Sunkavalli K, Kim S J. Fast video object segmentation by reference-guided mask propagation. In: Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City, USA: IEEE, 2018. 7376−7385 [29] Cheng J C, Tsai Y H, Hung W C, Wang S J, Yang M H. Fast and accurate online video object segmentation via tracking parts. In: Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City, USA: IEEE, 2018. 7415−7424 [30] Fu J, Liu J, Tian H J, Li Y, Bao Y J, Fang Z W, Lu H Q. Dual attention network for scene segmentation. In: Proceedings of the 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Long Beach, CA, USA: IEEE, 2019. 3146−3154 [31] Sun T Z, Zhang W, Wang Z J, Ma L, Jie Z Q. Image-level to pixel-wise labeling: From theory to practice. In: Proceedings of the 27th International Joint Conference on Artificial Intelligence. Stockholm, Sweden: AAAI Press, 2018. 928−934 [32] Chen L C, Papandreou G, Kokkinos I, Murphy K, Yuille A L. DeepLab: Semantic image segmentation with deep convolutional nets, atrous convolution, and fully connected CRFs. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2018, 40(4): 834-848 doi: 10.1109/TPAMI.2017.2699184 [33] Li K P, Wu Z Y, Peng K C, Ernst J, Fu Y. Tell me where to look: Guided attention inference network. In: Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City, USA: IEEE, 2018. 9215−9223 [34] Woo S, Park J, Lee J Y, Kweon I S. CBAM: Convolutional block attention module. In: Proceedings of the 15th European Conference on Computer Vision. Munich, Germany: Springer, 2018. 3−19 [35] Corbetta M, Shulman G L. Control of goal-directed and stimulus-driven attention in the brain. Nature reviews Neuroscience, 2002, 3(3): 201-215 doi: 10.1038/nrn755 [36] Wang F, Jiang M Q, Qian C, Yang S, Li C, Zhang H G, et al. Residual attention network for image classification. In: Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Honolulu, USA: IEEE, 2017. 6450−6458 [37] Yu C Q, Wang J B, Peng C, Gao C X, Yu G, Sang N. Learning a discriminative feature network for semantic segmentation. In: Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City, USA: IEEE, 2018. 1857−1866 [38] Li H C, Xiong P F, An J, Wang L X. Pyramid attention network for semantic segmentation. In: Proceedings of the 2018 British Machine Vision Conference. Newcastle, UK: BMVA Press, 2018. Article No. 285 [39] Dosovitskiy A, Fischer P, Ilg E, Hausser P, Hazirbas C, Golkov V, et al. FlowNet: Learning optical flow with convolutional networks. In: Proceedings of the 2015 IEEE International Conference on Computer Vision (ICCV). Santiago, Chile: IEEE, 2015. 2758−2766 [40] Perazzi F, Pont-Tuset J, McWilliams B, Van Gool L, Gross M, Sorkine-Hornung A. A benchmark dataset and evaluation methodology for video object segmentation. In: Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Las Vegas, USA: IEEE, 2016. 724−732 [41] Ochs P, Brox T. Object segmentation in video: A hierarchical variational approach for turning point trajectories into dense regions. In: Proceedings of the 2011 International Conference on Computer Vision. Barcelona, Spain: IEEE, 2011. 1583−1590 [42] Tokmakov P, Alahari K, Schmid C. Learning motion patterns in videos. In: Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Honolulu, USA: IEEE, 2017. 531−539 [43] Griffin B, Corso, J. Tukey-inspired video object segmentation. In: Proceedings of the 2019 IEEE Winter Conference on Applications of Computer Vision (WACV). Waikoloa, USA: IEEE, 2019. 1723−1733 [44] Faktor A, Irani M. Video segmentation by non-local consensus voting. In: Proceedings of the 2014 British Machine Vision Conference. Nottingham, UK: BMVA Press, 2014. [45] Taylor B, Karasev V, Soattoc S. Causal video object segmentation from persistence of occlusions. In: Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Boston, USA: IEEE, 2015. 4268−4276 -
下载:
计量
- 文章访问数: 701
- HTML全文浏览量: 335
- PDF下载量: 148
- 被引次数: 0
