An Adaptive Method for Moving Object Detection in Atmospheric Turbulence Environment
-
摘要: 在远距离成像过程中，图像序列受到湍流的影响会出现像素点亮度的随机起伏、闪烁和图像中物体的位置漂移，这使得传统的背景建模方法在湍流环境下难以准确检测运动目标.针对图像受到湍流影响在不同区域表现出的不同性质，提出分层次决策判别方法.首先，用高斯模型建模背景平坦区域，用双高斯模型建模背景中的物体边缘区域，设定判别式对每个像素点进行判别，并在线更新模型参数；然后，针对由于湍流影响出现的亮度突变点建立自适应判别模型，结合前一层次的判别结果，构造判别条件消除亮度突变点，分割得到目标点；最后，通过连通区域约束得到目标区域.实验结果表明，本文方法在不同湍流强度下对不同数量和不同运动方向的目标取得了良好的检测效果.Abstract: Image sequences acquired from remote distance remote distance are easily influenced by atmospheric turbulence, and subject to random changes of intensity, twinkle of pixels and shifts of object positions. Traditional background modeling methods are not able to detect the object of interest correctly in the turbulent environment. In this paper, a decision-making approach with multiple hierarchies is proposed to model the effect of atmospheric turbulence. Gaussian and double Gaussian distributions are utilized to model and distinguish the pixels in the flat and edge regions of the background, respectively. All parameters are updated online. Moreover, adaptive threshold is employed to discriminate between abrupt changing pixels and pixels in the object region by fusing the results of the first level. Finally, the region of the moving object is obtained by the connected component constraint. Comparison with other methods shows that the method performs well under different situations, such as different turbulence strength variations, different numbers of objects, and different moving directions.
-
目标检测是目标跟踪、目标动作行为识别等图像序列数据应用的首要问题.由于在图像序列处理的初始阶段, 目标距离远, 传感器在物方探测分辨率低, 再加上环境不确定因素, 目标检测问题成为一个较难处理的问题.
背景减除是目前主流的运动目标检测方法, 其思想是利用历史数据建立背景模型, 然后将当前帧与背景模型进行比较, 根据两者相似度来区分背景区域和目标区域[1].背景模型是背景减除的关键, 其不仅要有利于目标检测, 而且要描述背景的动态变化.忽视背景的影响通常会出现很多误检区域, 造成虚警; 而对背景过多的关注常常过滤掉许多目标区域, 造成漏警.虚警和漏警是相互矛盾的.
传统的背景建模可以分为基于像素和基于区域的方法.
基于像素的方法以每一个像素为处理单元, 对每一个像素进行目标和背景划分.高斯分布模型[2]和混合高斯分布模型[3]分别用高斯分布和多个高斯分布加权来描述每个像素点颜色值的分布情况. W4方法[4]采用中值、最小值、最大值等统计量来描述背景亮度的变化范围.码本模型[5]为每个像素创建一个由多个码字组成的码本.许多非参数化方法利用历史像素进行核密度估计[6-7], 通过最大化后验概率来进行目标检测. ViBe方法[8]为每个像素点维护一个样本集, 通过比较当前像素与样本集的相似程度来检测目标.子空间模型[9]利用主成分分析(Principle component analysis, PCA)对连续多帧图像进行特征分解, 计算主成分特征向量组成特征矩阵作为背景模型.
基于区域的方法主要考虑图像中相邻像素点之间的相互关系, 描述一个区域的特征. Heikkilä等[10]将每个像素点邻域的局部二值模式(Local binary patterns, LBP)特征直方图作为该点的纹理模式, 利用基于LBP纹理匹配的方式来进行背景建模. Javed等[11]采用多层建模的方式, 分别在像素层、区域层和帧层进行建模并进行信息融合得到目标区域. Mason等[12]通过获取区域颜色直方图和边缘直方图来进行块匹配的方式检测目标.
最近几年有很多新的前景检测方法被提出. Noh等[13]提出多线索背景减除法利用多种类型的信号, 如像素纹理、像素颜色值等来进行背景建模和前景检测. St-Charles在ViBe[8]方法上进行了改进, 提出了SuBSENSE[14]方法, 利用局部二值相似模式(Local binary similarity patterns, LBSP)作为额外的特征, 并且对阈值设置和背景模型的更新策略做了改进. St-Charles还提出了PAWCS[15]方法, 由多种特征结合成背景字(Background word), 通过比较特征和背景字来划分前景和背景.
图像或图像序列提供的直接信息是关于场景的辐射能量分布和场景中的物体几何位置关系.大气湍流导致这两种信息发生退化.大气湍流是大气的一种运动形式.大气的温度、湿度、压强、风速等因素影响大气湍流的强度.大气湍流导致大气密度随时间和空间位置随机变化, 进而引起光在大气中传输折射率的随机变化.大气湍流对成像的影响直观地表现为目标或背景在图像上的亮度闪烁、边缘模糊和位置漂移[16-18].这些现象在远距离成像时表现得更加明显.对于远距离成像目标检测问题, 目标运动与大气湍流引起的背景漂移混合在一起, 使准确地检测目标变得十分困难[19].传统的方法不能建立准确的背景模型.
本文针对大气湍流对成像过程造成退化的特点, 将图像序列中每一帧图像分成背景平坦区域、背景中物体边缘区域、亮度突变点和目标区域, 提出分层次决策判别方法, 对大气湍流条件下拍摄的图像序列中运动目标进行检测.首先对背景平坦区域用高斯分布建模, 对背景中物体边缘区域用双高斯分布建模, 并且在目标检测过程中在线更新模型参数, 对大气湍流导致的随机变化的动态背景进行准确描述.然后提出了自适应判别方法, 结合前两个模型对像素点邻域内像素点的检测结果建立判别依据, 区分亮度突变像素点和目标区域像素点.最后用连通域约束得到目标在每一帧中的位置.本文方法反映了大气湍流造成了观测图像序列退化的机理.实验结果表明, 在存在亮度起伏和亮度突变的情况下, 本文方法可靠地分离了目标运动和大气湍流引起的位置漂移, 实现了大气湍流环境中的运动目标检测.
1. 相关方法
在大气湍流环境下成像的图像中, 像素点亮度起伏、闪烁和位置变化是同时存在的, 文献[20]经过实验验证背景区域像素点的亮度值变化符合高斯分布[2], 通过时序加权平均的方式更新高斯分布参数, 如果新的亮度值与均值之间的偏差大于设定的阈值, 则判定为目标点; 否则, 判定为背景点.这个模型在受大气湍流影响的图像中背景平坦区域是有效的, 但是背景中物体边缘区域的像素点和发生亮度闪烁的像素点的亮度并不符合高斯分布.
Stauffer等[3]提出了简单且有效的混合高斯分布(Gaussian mixture model, GMM)背景模型, 该模型对每个像素点随时间变化的颜色值建模为混合高斯模型, 通过设定阈值来区分背景和目标.该模型在过去的十几年中一直很流行, 有许多人在此基础上针对其参数更新方式和高斯分布个数的选择等方面进行了改进[21-23].该模型能够适应缓慢背景变化, 但是在背景变化剧烈的环境中, 该方法会表现出较高的虚警率.
Barnich等[8]提出了一种通用的背景减除方法, 它记录了每个像素点随时间的变化, 为每个像素点记录了一个样本集, 用于存储历史颜色值.然后通过比较每个新的像素与样本集中的颜色值来判断是否属于背景点.该方法是建立在这样一个假设基础上:如果一个观测点属于背景, 那么它应该与背景样本的聚类中心比较接近.在更新的过程中采用了随机选择的方式来更新每个像素点的样本集以及邻居像素点的样本集, 这样能够适应背景的变化.但是该方法在较暗的场景和变化较快的背景下得到的结果较差[24].
Chen等[19]提出了一种自适应阈值分割方法来分割受大气湍流影响的图像, 通过给每个像素点设置一个自适应的阈值, 分割目标和背景.分割完成后采用窗口匹配的方式对多个候选目标进行跟踪, 之后设置了一系列规则来减少虚警率.这些规则包括限制目标运动的速度, 目标的尺寸, 以及目标被连续检测的帧数等.这种方法并不能实现虚警和漏警的动态平衡, 过于严格的规则导致过多的漏警, 而且由于过多地使用规则, 该方法缺乏泛化能力.
Oreifej等[17]提出了在大气湍流环境下同时检测目标和稳定图像的方法.这个方法将整个图像序列合并成一个大的矩阵, 并分解成为三个部分, 分别为背景、大气湍流引起的运动和目标的运动.该方法采用三项低阶矩阵分解及优化算法来求解各个部分, 取得了很好的目标检测结果.该方法是离线方法, 计算量大, 耗时长, 占用内存较大.
一些方法先用图像处理的方法, 包括多帧平均、图像复原等消除大气湍流的影响[25-26], 再进行目标检测[27-28]. Deshmukh等[28]结合非刚性图像配准和GMM背景减除来实现大气湍流环境中运动目标的检测.该方法首先基于B样条的非刚性图像配准方法得到稳定的图像序列, 然后在此图像序列上应用GMM模型进行目标和背景分割, 得到检测结果.这类方法是离线方法.
在远距离成像的图像序列中, 目标较小、运动速度较慢.由于受到大气湍流的影响, 目标的运动易与大气湍流引起的背景中物体位置漂移相混淆.大气湍流对成像造成的退化在图像不同区域的表现是不同的.在背景中的平坦区域和背景中物体边缘区域像素点随时间变化的分布有明显的差别, 所以对图像中的像素点不加区别地使用高斯模型或混合高斯模型建模是不恰当的.本文方法根据大气湍流对成像造成退化的机理, 针对图像在大气湍流影响下不同位置的不同性质分区域建模, 并且在目标检测过程中在线更新模型参数, 不对运动目标施加规则限制, 能够在保证较低漏警率的同时降低虚警率.高斯模型和双高斯模型有效地描述了图像中背景平坦区域和背景中物体边缘区域像素点的性质, 能够检测出除亮度突变点以外的背景点.自适应判别方法对剩余的亮度突变点和目标像素点建立阈值判别模型, 结合高斯模型和双高斯模型得到的结果, 计算阈值消除亮度突变点, 达到区分亮度突变点和目标像素点的目的.最后通过连通域约束得到完整的目标区域.经过三个层次的判别, 对目标进行了有效提取.本文方法能够在不同大气湍流强度下, 对不同数量和不同运动方向的目标实现良好的检测.
2. 大气湍流中分层次运动目标检测框架
场景中物体反射(或发射)的光线在随机介质(大气)中传输, 在成像系统中得到图像.大气湍流使图像发生退化, 场景中不同性质的物体经过大气湍流作用后在图像上的表现是不同的.在一帧图像上, 有4种不同性质的区域, 它们在亮度变化和几何位置变化方面的表现分别是:
1) 背景中的平坦区域.大气湍流对背景中的平坦区域的作用表现为亮度的起伏.一个像素位置如果属于背景中的平坦区域, 它的亮度随时间在某一个灰度值附近随机变化.可以用高斯模型来描述背景中平坦区域像素点的亮度变化, 高斯分布的参数决定了该像素点的平均亮度和亮度随大气湍流变化的剧烈程度.
2) 背景中的物体边缘区域.大气湍流对背景中边缘区域的作用同时表现为亮度的起伏和位置的漂移.一个属于背景中边缘区域的像素位置在大气湍流的作用下来回摆动, 并且亮度也发生随机变化.由于大气湍流的作用, 即使是一个静止的场景, 成像后也得不到静止的背景.物体边缘上的像素点由于漂移的作用, 在长时间观测中像素亮度的分布会出现两个峰值, 可以使用双高斯模型来描述.这样既可以描述边缘像素亮度的随机变化, 也能够刻画位置的随机变化.双高斯模型的参数随大气湍流的强弱变化.
3) 亮度的突变区域.光线传输介质中局部区域的密度突变会引起个别像素点亮度的闪烁.夜晚天空中星星亮度闪烁是亮度突变最直观的表现.亮度突变可以以随机的方式发生在图像中的任意一个像素位置.发生亮度突变的像素通常是少数的、短时的.
4) 运动目标区域.大气湍流对运动目标区域像素的作用表现为亮度起伏和突变, 在目标边缘区域的位置漂移, 同时又叠加了目标的自身运动.
上述分析表明, 大气湍流的作用导致观测图像序列在亮度分布和几何位置两方面都发生退化, 而且是随机的时-空变化.即使是在简单的场景中检测运动目标也不是一个简单的问题.光在随机介质(大气)中传输造成了不同物体或物体不同区域成像后表现出观测的多样性和复杂性.图像序列中, 像素点亮度随机起伏和突变, 不能构建一个稳定的或有规律的背景模型.位置的漂移使得图像序列中几乎没有静止的参考点, 并且大气湍流引起的运动会与目标自身的运动叠加.特别是在远距离成像时, 目标在图像序列上表现出来的运动速度较慢, 极易与大气湍流造成的位置漂移混淆.
本文根据大气湍流对图像序列上的不同区域造成退化的性质的不同, 分别建立模型描述不同区域的性质, 通过在线学习更新模型的参数, 使模型能够追寻大气造成的随机时-空变化的退化, 并不恢复这种退化, 而是在存在亮度起伏和突变的随机环境中分离目标自身的运动和大气湍流造成的位置漂移, 从而实现在大气湍流条件下对运动目标的检测.大气湍流条件下运动目标检测的框架如图 1所示.光在随机介质中传输使成像环境变得具有动态性和不确定性, 本文提出的在线更新模型参数、分层次决策方法能够描述随时-空变化的成像环境, 在大气湍流引起亮度起伏和突变的情况下, 将目标自身运动和大气湍流引起的位置漂移分离达到目标检测的目的.
图 1 大气湍流中分层次运动目标检测框架Fig. 1 Hierarchical framework of moving object detection in atmospheric turbulence environment3. 大气湍流中运动目标检测模型
大气湍流对成像造成的退化在图像不同区域的表现是不同的.在背景中的平坦区域和背景中物体边缘区域像素点随时间变化的分布有明显的差别, 所以对图像中的像素点不加区别地使用高斯模型或混合高斯模型建模是不恰当的.本文方法根据大气湍流对成像造成退化的机理, 将图像分区域建模.模型使用前$K$帧图像进行训练, 计算均值得到一个背景图像, 然后将背景图像划分为平坦区域和物体边缘区域.为了定位边缘位置, 可以使用一种边缘检测算子(如Canny算子)粗略定位.物体的边缘在一定范围内摆动, 所以在连续多帧中, 边缘的摆动范围决定了物体边缘区域的尺寸.目标检测模型对背景平坦区域和背景物体边缘区域分别使用高斯分布和双高斯分布建模, 用自适应判别方法区分运动目标区域和亮度突变区域, 用连通域约束得到完整的目标区域.
3.1 背景中平坦区域模型
在图像背景平坦区域中的像素点由于大气湍流的作用发生亮度随机起伏, 事实上, 大气湍流在平坦区域也会造成位置漂移, 但不能被观测.背景中平坦区域像素点的亮度变化符合高斯分布.图 2展示了两个图像序列中4个不同位置平坦区域的一个像素点亮度随时间变化的曲线及其直方图. 图 2表明, 图像序列中平坦区域的像素亮度呈高斯分布.在同一段图像序列中的不同位置的像素点高斯分布可以有不同的均值, 但有相似的标准差; 不同大气湍流条件下拍摄的图像序列中像素点高斯分布有不同的标准差.这表明标准差的大小与大气湍流的强度相关.在$t$时刻, 平坦区域的一个像素点${\pmb x}=(x, y)^{\rm T}$, ${\pmb x} \in Q_1$的亮度$X_t \sim {\rm N}(\mu_t, \sigma_t^2)$, 其中$\mu_t$为$t$时刻均值, $\sigma_t^2$为$t$时刻方差, $Q_1$是平坦区域像素点的集合.由于是灰度图像, $\mu_t$和$\sigma_t^2$均为标量.如果某个像素点满足式(1), 那么这个像素点被判别为属于背景中的平坦区域; 否则, 进入图 1中层次2判别.目标上的像素点和图像序列中亮度突变的点不满足上述判据.
$ \begin{equation} |X_t - \mu_t| < k_0\sigma_t \end{equation} $
(1) 
图 2 不同大气湍流强度的图像序列中不同像素点随时间变化的亮度变化曲线图和分布直方图Fig. 2 The intensity curves and histograms of points in image sequences affected by atmospheric turbulence with different strength$k_0$是比例系数, 用于控制像素点亮度偏离均值的程度, 若偏差在$k_0$倍标准差内, 该像素点被判别为背景像素点.大气湍流引起的亮度起伏是随时间变化的, 每一时刻都需要对模型参数进行更新. $t+1$时刻函数的均值$\mu_{t+1}$和方差$\sigma_{t+1}^2$分别用如下方式更新:
$ \begin{equation} \mu_{t+1} = (1-\alpha)\mu_t + \alpha X_{t+1} \end{equation} $
(2) $ \begin{equation} \sigma_{t+1}^2 = (1-\alpha)\sigma_t^2 + \alpha (X_{t+1}-\mu_{t+1})^2 \end{equation} $
(3) 其中, $X_{t+1}$为像素点在$t+1$时刻的像素亮度, $\alpha$为学习率.更新过程采用保守更新方式, 即只有被判别为背景中平坦区域的像素点参与高斯分布参数更新.
模型需要使用前$K$帧图像训练来变得稳定, 首先用第一帧来初始化高斯模型, 取一个像素点为例, 计算以该像素点为中心的邻域范围内像素亮度的均值作为该点的初始均值, 邻域范围内像素点的方差作为该点的初始方差.邻域尺寸对初始化的模型影响较小.然后使用式(2)和式(3)在前$K$帧对所有像素点不断更新, 训练得到一个稳定的模型.从第$K+1$帧开始进行目标检测, 并按照保守方式进行更新.使用高斯模型可以稳定地提取有大气湍流引起亮度起伏的像素点.在远距离成像时, 这类像素点占一帧图像总像素点的大部分.
3.2 背景中物体边缘区域模型
背景中物体边缘区域的像素点的退化既有由大气湍流引起的亮度起伏, 也有由大气湍流引起的位置漂移, 在图像序列上的表现为背景中的静止物体在发生忽明忽暗的亮度变化的同时也发生来回摆动, 且有可观测的不规则连续形变.这两种退化同时发生在背景中物体边缘区域的像素点.背景中物体边缘区域一点${\pmb x}=(x, y)^{\rm T}$, ${\pmb x} \in Q_2$的亮度$X_t$的变化可以用双高斯模型来描述: $p(X_t) = \sum\nolimits_{i=1}^2 {\frac{\omega^{(i)}_t} {\sqrt{2\pi}\sigma^{(i)}_t} \exp\left(-\frac{(X_t-\mu^{(i)}_t)^2}{2(\sigma^{(i)}_t)^2}\right)}$, 其中$\omega_t^{(i)}$、$\mu_t^{(i)}$、$\sigma_t^{(i)}$分别是$t$时刻第$i$个高斯分布的权重、均值和标准差, $i=\{1, 2\}$, $Q_2$是背景中物体边缘区域像素点的集合.双高斯分布的参数分为两组, 分别是$\{\omega_t^{(1)}, \mu_t^{(1)}, \sigma_t^{(1)}\}$和$\{\omega_t^{(2)}, \mu_t^{(2)}, \sigma_t^{(2)}\}$.它们分别对应在背景中物体边缘两侧亮度不同的像素点由大气湍流引起的亮度变化的高斯分布, 由于大气湍流引起的位置漂移而叠加在一起形成双高斯分布.双高斯分布既描述了亮度的起伏也描述了位置漂移.
图 3展示了一个图像序列的背景中物体边缘像素点的亮度变化曲线及其直方图.如果在一帧中, 一个像素点的位置在物体边缘区域内, 则它的亮度分布符合双高斯分布.
在$t$时刻, 如果当前像素亮度满足式(4), 则这个像素点被认为属于背景边缘区域; 如果两个高斯分布都不满足, 则被认为是候选目标点, 进入图 1中层次2判别.
$ \begin{equation} |X_t - \mu_t^{(1)}| < k_1 \sigma^{(1)}_t~or~|X_t - \mu_t^{(2)}| < k_2 \sigma^{(2)}_t \end{equation} $
(4) 其中, $k_1$和$k_2$与第3.1节中的$k_0$作用相同.使用时序加权平均的方法来更新双高斯分布的参数, 如果一个像素点同时满足两个高斯分布, 则计算其亮度与两个高斯分布均值的距离, 对距离较近的那个高斯分布进行参数更新; 若只满足一个高斯分布, 则只对满足的高斯分布进行更新, 否则不进行更新, 均值$\mu^{(i)}_t$和方差$(\sigma^{(i)}_t)^2$按式(2)和(3)的方式更新, 权值$\omega^{(i)}_t$按式(5)更新.
$ \begin{equation} \omega_{t+1}^{(i)} = (1-\alpha)\omega_{t}^{(i)} + \alpha M_{t+1}^{(i)} \end{equation} $
(5) 当第$i$个高斯分布满足上述不等式时, $M_{t+1}^{(i)}$为1;否则, $M_{t+1}^{(i)}$为0.完成更新后对权值进行归一化, $\omega _{t+1}^{(i)}\leftarrow \omega _{t+1}^{(i)}/\sum\nolimits_{j=1}^{2}{\omega _{t+1}^{(j)}}$, $i=\{1, 2\}$.
使用前$K$帧图像进行训练来得到稳定模型, 首先用第一帧和第二帧来分别初始化两个高斯模型, 初始化方式与第3.1节中高斯模型初始化相同, 两个高斯分布权重都设置为0.5.然后在前$K$帧对每个像素点计算其亮度与两个高斯分布均值的距离, 对距离较近的那个高斯分布进行参数更新.从第$K+1$帧开始进行目标检测, 然后按照上述更新方法进行参数更新.
3.3 消除亮度突变点的自适应判别方法
图像序列中目标上的像素点以及由于亮度突变的像素点既不符合第3.1节给出的高斯模型, 又不符合第3.2节给出的双高斯模型.本文提出自适应判别法来区别目标上的像素点和由大气湍流引起的亮度突变点.该方法在构造判别表达式参数时, 利用了被考察像素点邻域内的像素点在第3.1节和第3.2节的判别结果.通过给每一个像素点设定一个自适应的阈值, 用背景减除法得到目标区域.一个像素点${\pmb x}=(x, y)^{\rm T}$的阈值的计算方法如式(6).
$ \begin{equation} T_t({\pmb x}) = {Gain} \cdot {Diff}_t({\pmb x}) + {Offset} \end{equation} $
(6) $T_t({\pmb x})$是$t$时刻的${\pmb x}$的阈值, $Diff_t({\pmb x})$是背景图像与$t$时刻图像差值的绝对值, $Diff_t({\pmb x}) = |B_t({\pmb x}) - I_t({\pmb x})|$, $I_t({\pmb x})$是$t$时刻的图像帧, $B_t({\pmb x})$是$t$时刻的背景图像. ${Offset}$表示全局运动检测阈值, 它的值与图像大气湍流强度有关, $Gain$是加在$Diff_t({\pmb x})$上的比例系数.
背景平坦区域和背景中物体边缘区域像素点亮度变化标准差的平均值可以反应大气湍流强弱.背景点的变化主要来自于大气湍流引起的背景运动, 所以大气湍流越强, 亮度变化越大, 标准差越大. $Offset$被设置为第3.1节和第3.2节检测得到的所有背景点的标准差平均值的$\lambda$倍:
$ \begin{equation} Offset = \lambda \cdot \frac{1}{N_Q} \sum\limits_{{\pmb x} \in Q}{\sigma({\pmb x})} \end{equation} $
(7) 其中, $\sigma({\pmb x})$是点${\pmb x}$的标准差, $Q = Q_1 \cup Q_2$, $N_Q$是该集合的元素个数, $\lambda$是比例因子, 其值的设定将在第4.2节讨论.图 4是两个不同大气湍流强度的图像序列在目标检测过程中的$Offset$变化曲线.可以看到, $Offset$的值在背景模型稳定后是平稳的, 且不同大气湍流强度的图像序列对应的$Offset$值不同.
图 4 两个不同大气湍流强度的图像序列得到的$Offset$变化曲线Fig. 4 The curves of $Offset$ values in two image sequences affected by atmospheric turbulence with different strength如果一个像素点是亮度突变点, 那么它属于背景点. $Gain$的设置应该能反映一个像素点是背景点的可能性.图像中某一个像素点与以其为中心的邻域内的像素点有着相似的亮度值, 它们具有相关性.考虑到像素点的邻域信息, 如果某个点的邻居点全都为背景点, 那么它极有可能是背景点.于是一个点是背景点的可能性可以表示为邻域范围内背景点所占的比例.用$NG_t({\pmb x})$表示$t$时刻${\pmb x}$点的邻域的所有像素点, $BG_t$表示$t$时刻所有的背景像素点, 则如下表达式表示$t$时刻${\pmb x}$点为背景点的可能性:
$ \begin{equation} P_t({\pmb x})=\frac{|NG_t({\pmb x})\cap BG_t|}{|NG_t({\pmb x})|} \end{equation} $
(8) $|\cdot|$表示计算集合元素个数, 所以
$ \begin{equation} Gain = P_t({\pmb x}) \end{equation} $
(9) 式(8)表示在一个邻域内, 背景点面积占邻域面积的比例.邻域大小的设定在第4.3节中讨论.式(6)可写为
$ \begin{align} T_t({\pmb x}) = \, &\frac{|NG_t({\pmb x}) \cap BG_t|}{|NG_t({\pmb x})|} \cdot Diff_t({\pmb x}) + \nonumber\\&\lambda \cdot \frac{1}{N_Q} \sum\limits_{{\pmb x} \in Q}{\sigma({\pmb x})} \end{align} $
(10) 图 5展示了一个图像序列中平坦背景中一点和有目标经过位置一点的阈值随时间的变化曲线, 在一个场景没有变化的图像序列中没有目标经过的区域, 阈值始终为较小的值; 而有目标经过的区域, 当目标经过时, 阈值会变为较大的值.对于一个亮度突变的像素点, 大气湍流导致的亮度突变点作用时间短而且是孤立的, 式(8)中的分子会取较大的值, 而真实目标点邻域多为目标点, 式(8)中的分子会取较小的值.式(10)等号右侧第一项描述了在亮度突变点和目标区域大气湍流引起的亮度变化, 第二项描述了大气湍流对图像全局的作用.式(10)计算的阈值是可以消除亮度突变点从而将目标点和亮度突变点分开来的.若一个像素点${\pmb x}$满足$Diff_t({\pmb x}) > T_t({\pmb x})$, 则它被认为是目标点; 否则, 被认为是背景点.
图 5 平坦区域一点和有目标经过位置一点的阈值随时间的变化Fig. 5 The threshold curves of two points in flat regions and regions with objects passing through模型使用到的背景图像$B_t({\pmb x})$按照如下方式更新:
$ \begin{equation} B_{t+1}({\pmb x}) = (1-\alpha)B_t({\pmb x}) + \alpha I_{t+1}({\pmb x}) \end{equation} $
(11) $B_{t+1}({\pmb x})$是$t+1$时刻的背景图像, $I_{t+1}({\pmb x})$是$t+1$时刻的图像, $\alpha$为学习率.
3.4 区域约束
当得到了目标像素后, 本文使用$3 \times 3$的形态学算子开运算和闭运算作用于结果图像.开运算可以平滑目标区域的轮廓; 闭运算可以消除小的空洞并连接近距离的断连区域[29].在完成了形态学运算后, 采用连通区域算法来获得图像中所有的连通区域.根据目标成像尺寸, 给连通区域设置一个面积下限, 如果一个连通区域的面积低于这个下限, 那么可以认为这个区域属于误检区域, 将其从结果中去除.经过上述步骤后, 分别计算满足最小面积下限的连通区域的最小矩形边框.图像中的每一个矩形边框被认为是一个检测目标.
3.5 算法描述
输入. 图像序列.
输出. 目标在图像中的位置.
步骤1. 使用前$K$帧训练得到背景图像$B_K({\pmb x})$和每个像素点的高斯分布参数$\{\mu_t, \sigma_t\}$及双高斯分布参数$\{\omega_t^{(1)}, \mu_t^{(1)}, \sigma_t^{(1)}\}$和$\{\omega_t^{(2)}, \mu_t^{(2)}, \sigma_t^{(2)}\}$.
步骤2. 使用边缘检测算子检测背景图像边缘, 并使用边缘区域窗口对边缘进行扩展得到边缘区域和背景平坦区域.
步骤3. 对$K$帧后的当前图像帧进行目标检测, 平坦区域像素点${\pmb x}$亮度值$X_t$若满足$|X_t - \mu_t| < k_0\sigma_t$, 则判断${\pmb x}$点为背景点, 并更新高斯分布参数, 否则为候选目标点, 进入步骤4判定.背景中物体边缘区域像素点${\pmb x}$亮度值$X_t$若满足$|X_t - \mu_t^{(1)}| < k_1 \sigma^{(1)}_t$或$|X_t - \mu_t^{(2)}| < k_2 \sigma^{(2)}_t$, 则判断${\pmb x}$点为背景点, 并更新双高斯分布参数, 否则为候选目标点, 进入步骤4判定.
步骤4. 针对候选目标点中的亮度突变点, 结合步骤3的结果设定阈值$T_t({\pmb x})$, 若$|I_t({\pmb x}) - B_t({\pmb x})| > T_t({\pmb x})$, 则点${\pmb x}$被认为是候选目标点, 否则为亮度突变点.
步骤5. 寻找连通区域, 并对最小面积进行约束, 满足约束的区域为目标区域.使用背景区域对背景图像$B_t({\pmb x})$进行更新.
步骤6. 重复步骤3$\sim$5对每一帧进行目标检测.
4. 实验结果与分析
本文实验使用的图像序列信息列于表 1中.其中序列1$\sim$3大气湍流较弱, 图像受到的影响较小; 序列4$\sim$6受到强大气湍流的影响, 图像背景运动和变形都很严重.本文采用计算检测出的矩形区域与真实的矩形区域位置关系来判断一个目标是否被正确检测.和文献[17]相同, 如果一个检测区域与真实区域重合部分面积占检测区域面积的50 %, 那么这个区域被认为是成功检测的目标区域; 否则, 这个检测区域被认为是误检.实验通过计算虚警的区域个数($FP$)、漏警的区域个数($FN$)和正确检测的区域个数($TP$)来计算出准确率(Precision)、召回率(Recall)以及$F1$度量, 对方法的性能进行评价.
$ \begin{equation} {\rm Precision} = \frac{TP}{TP+FP} \end{equation} $
(12) $ \begin{equation} {\rm Recall }= \frac{TP}{TP+FN} \end{equation} $
(13) $ \begin{equation} F1 = \frac{\rm 2 \cdot Precision \cdot Recall}{\rm Precision+Recall} \end{equation} $
(14) 序号 分辨率 帧频(Hz) 帧数 大气湍流强弱/信噪比(dB) 图像序列描述 序列1 $720 \times 576$ 30 425 弱/26.70 有一个向右缓慢移动的目标, 目标较小, 速度较慢. 序列2 $672 \times 480$ 30 397 弱/25.59 有多个左右缓慢移动的目标和多个左右快速移动的目标. 序列3 $672 \times 480$ 30 390 弱/28.08 有多个左右缓慢移动的目标和一个向左快速移动的目标. 序列4 $672 \times 480$ 30 401 强/19.59 有多个向右快速移动的目标. 序列5 $672 \times 480$ 30 400 强/15.31 只有少部分图像帧存在向右快速移动的目标. 序列6 $672 \times 480$ 30 493 强/16.66 只有第120帧前有向右快速移动的目标. $F1$度量综合考虑了准确率与召回率, $F1$值越大表示方法性能越好.本文还计算了序列中正确划分的图像帧数$|SF|$与序列总帧数$|AF|$的比例来评价方法的性能, 即成功率$SR$ (Success rate).
$ \begin{equation} SR=\frac{|SF|}{|AF|} \end{equation} $
(15) 本文实验视频地址:http://pr-ai.hit.edu.cn/downloadfiles/99-motiontargetdetect.
4.1 背景边缘区域窗口尺寸的选取
不同程度的大气湍流造成图像中背景不同程度的运动, 尤其是背景中物体边缘区域, 背景边缘区域窗口用于扩展边缘, 得到背景中物体边缘区域.大气湍流较大时, 边缘会在很大的范围内来回摆动, 若边缘区域窗口尺寸设置太小, 部分边缘区域会被漏掉, 而这部分区域的点会因为不满足高斯分布而被检测成目标点, 导致虚警; 相反, 大气湍流较小时, 背景边缘运动范围较小, 如果设置过大的窗口, 一些稳定的背景区域会被认为是边缘区域, 双高斯建模可能会将这些区域的目标检测为背景, 导致漏警.所以窗口需要根据大气湍流的强度进行选取.实验分别设置窗口大小为$3 \times 3$, $5 \times 5$, $\cdots$, $51 \times 51$, 考察窗口尺寸对检测结果的影响.如图 6所示, 序列1$\sim$3大气湍流较小, $SR$和$F1$值达到最大时所对应的窗口尺寸也较小; 序列4$\sim$6大气湍流强度较大, 得到的最好结果对应的窗口较大.图 6的实验结果表明:
图 6 各个评价值随边缘区域窗口尺寸变化的曲线Fig. 6 The curves of criteria varying over window sizes of the edge region1) 背景边缘区域尺寸的选择与大气湍流的强度有关.大气湍流强度大, 边缘摆动的范围增加, 应使用大尺寸窗口.
2) 在合适的窗口尺寸被确定后, 本文方法对窗口尺寸不敏感, 在该窗口尺寸左右一定范围内, 各评价指标变化不大.
本文对序列1$\sim$3所设边缘区域窗口为7$\times$7, 对序列4$\sim$6所设边缘区域窗口为25$\times$25. Zamek等[30]设计算法对大气湍流强度进行了估计, 如果可以获得关于大气和成像光学参数, 窗口的尺寸可以通过由文献[30]估计的大气湍流强度来计算.
4.2 比例因子$\lambda$的选定
式(10)中比例因子$\lambda$的大小将影响自适应判别方法消除亮度突变点的能力.若$\lambda$太小, 在亮度突变点得到的阈值$T_t({\pmb x})$较小, 使得这些亮度突变点被错误检测为目标点, 出现虚警; 若$\lambda$太大, 在目标点上得到的阈值$T_t({\pmb x})$过大, 使得目标上的点也被当作亮度突变点, 从而被检测为背景点, 出现漏警.
图 7展示了在6个序列中分别设置$\lambda$值从0到3, 间隔0.1得到的各评价值结果.可以看到, 各评价值随着$\lambda$的变化, 几乎都呈现先变大后变小的情况, 且在$\lambda$值为2时, 每个序列都能得到一个较好的结果.本文中所有序列的$\lambda$值都设置为2.该实验表明, 当$\lambda=2$时, 式(10)中等号右侧第二项表示背景平坦区域和背景中物体边缘区域像素点亮度随时间变化的平均标准差的2倍, 该项加上式(10)等号右侧第一项描述了目标区域和突变像素点的区别.
图 7 各个评价值随式(10)中比例因子$\lambda$变化的曲线Fig. 7 The curves of criteria varying over $\lambda$4.3 像素点邻域尺寸的选取
式(8)中像素点${\pmb x}$的邻域大小影响$P_t({\pmb x})$的值, 表$P_t({\pmb x})$示${\pmb x}$邻域范围内背景点面积占邻域面积的比例.经过图 1中层次1的检测, 得到了背景区域, 阈值模型只建立在亮度突变点和目标点上.根据像素点在图像上的不同位置, 像素点可分为三类:亮度突变点、目标内部点和目标边缘点.亮度突变点是孤立的、稀少的.在亮度突变点所属邻域中, $P_t({\pmb x}) \approx 1$; 目标通常占据一个较大区域, 在目标内部点所属邻域中, $P_t({\pmb x}) \approx 0$; 目标边缘区域点的邻域内背景像素点所占比例与目标形状有关, 但在一定邻域尺寸变化范围内, 取不同邻域尺寸时$P_t({\pmb x})$有相似的值.图 8展示了邻域大小设置为$3 \times 3$, $5 \times 5$, $\cdots$, $21 \times 21$所得到的运动目标检测结果.可以看到, 邻域尺寸在较小范围内变化时, 得到的结果是相似的.实验结果表明, 本文方法对一定范围内的邻域尺寸是不敏感的.在所有图像序列上, 本文中像素点邻域尺寸选择为$7 \times 7$.
图 8 各个评价值随像素点邻域窗口尺寸变化的曲线Fig. 8 The curves of criteria varying over window sizes of the neighborhood4.4 参数更新的作用
在成像时, 随着时间的推移, 得到的图像中背景会不断变化, 即使在不受大气湍流影响的环境下成像, 图像背景也可能会因为光照变化、树叶的抖动等原因出现变化, 所以目标检测模型需要根据图像的变化不断进行更新, 否则将出现较多的虚警.表 2列出了检测序列1中运动目标时更新背景模型与不更新背景模型得到的结果对比.可以看到, 当不更新背景模型时, 准确率、$F1$值和成功率明显下降, 相反, 更新模型使各指标表现良好.所以在每一帧利用检测得到的背景区域对背景模型进行更新是必要的.
表 2 序列1中背景模型更新与否得到的评价值对比Table 2 Comparison between updating models and not updating models for sequence onePrecision Recall $F1$ $SR$ 更新模型 0.89 0.95 0.92 0.97 不更新模型 0.47 0.95 0.63 0.73 4.5 对比实验
将本文提出的运动目标检测方法与经典的目标检测方法以及近年针对大气湍流环境提出的方法进行比较.除了第4.1节讨论的边缘区域窗口尺寸、第4.2节讨论的$\lambda$和第4.3节讨论的像素点邻域尺寸的取值, 第3节的所有学习率$\alpha$都取0.03, 第3.1节和第3.2节的式(1)和式(4)取$k_0=k_1=k_2=3$, 第3.4节中面积下限约束设置为75像素, 采用前80帧图像进行训练, 从第81帧开始检测.本文的方法与Oreifej等[17]的离线方法以及Stauffer等[3]、Barnich等[8]、Chen等[19]、Noh等[13]、St-Charles等[14] (SuBSENSE)、St-Charles等[15] (PAWCS)的在线方法进行比较. Oreifej等[17]应用三项低阶矩阵分解分离背景、目标运动和大气湍流引起的运动; Stauffer等[3]使用混合高斯模型描述每个像素点亮度随时间的变化; Barnich等[8]使用非参方法, 为每个像素点存储样本集, 通过设定阈值来判断每个新像素点是目标还是背景; Chen等[19]应用自适应阈值分割并进行规则限制来减少虚警; Noh等[13]利用多特征来进行背景建模和前景检测; St-Charles等[14] (SuBSENSE)在文献[8]的基础上增加了LBSP特征, 并修改了阈值设定和模型更新方式; St-Charles等[15] (PAWCS)通过比较特征和背景字来划分前景和背景.其中Barnich等[8]的方法与文献[19]中相同, 分别设定高低两个阈值. 图 9展示了不同方法在序列1$\sim$6上的表现, 其中序列1$\sim$3大气湍流较弱, 序列4$\sim$6大气湍流较强. 图 9中图像分别为各序列中有代表性的帧.每一列为一个图像序列, 第一行为手工标定的真实目标区域, 其余每一行为不同方法得到的结果.在图像中各个方法得到的检测目标区域全部用白色矩形框标出.第二行是本文提出的方法得到的结果, 绝大部分都与真实结果重合.第三行是Chen等[19]的方法得到的结果, 虽然没有虚警的区域, 但是由于Chen等[19]对连续被检测的帧数、目标速度和尺寸等进行的限制, 有目标区域没有被检测出来, 出现了漏警.第4行是Oreifej等[17]的方法得到的结果, 可以看到序列2中运动较快的汽车以及序列3中下方行进的自行车没有被检测出来, 这是由于该方法使用了抑制大气湍流引起亮度突变的时域平滑算子, 在目标运动太快时, 目标在平滑窗口内持续的时间短, 导致不能检测到目标.
另外该方法在弱大气湍流条件下表现不错, 在强大气湍流条件下表现不好, 产生了很多虚警区域.第5行是Stauffer等[3]的方法得到的结果, 在背景变化剧烈条件下检测运动目标时表现不好, 而且由于目标与背景中的物体区域较为相近, 很多目标都没有被检测出来, 在强大气湍流条件下产生了很多虚警区域.第6和第7行分别Barnich等[8]的方法在阈值为40和80下的结果, 在低阈值时, 可以看到其在弱大气湍流条件下表现较好, 而强大气湍流条件下表现较弱; 在高阈值时, Barnich等[8]的方法在弱大气湍流条件下表现较差, 有较多漏警区域, 在强大气湍流序列表现较好, 这是由于强大气湍流情况下亮度变化范围较大, 高阈值使得当前亮度值更有可能与历史亮度值匹配.第8行是Noh等[13]的方法结果, 可以看到其在前三个序列中出现了很多漏警, 而在后三个序列中表现不错.第9行是St-Charles等[14] (SuBSENSE)方法的结果, 同样在序列3中出现了漏警, 而在强大气湍流序列中出现了虚警.第10行是St-Charles等[15] (PAWCS)方法的结果, 其在弱大气湍流条件下表现不错, 但同样在强大气湍流条件下出现了很多虚警.可以看到, 文献[13-15]提出的运动目标检测方法虽然一定程度上可以应对弱大气湍流环境, 但是仍然难以处理强大气湍流对图像造成扭曲以及物体漂移的情况, 会出现很多误检区域.
表 3列出了不同方法在6个序列上得到的准确率和召回率.本文提出的方法能够同时保证有较高的准确率和召回率, 有效地平衡了虚警和漏警. Chen等[19]的方法虽然准确率较高, 但是召回率较低, 这是因为该方法对连续被检测的帧数、目标速度和尺寸等进行了限制, 使得虚警大大减少, 但是出现了较多漏警.由于序列1中目标运动较慢, 且亮度与背景较相似, Stauffer等[3]、Barnich等[8]和Noh等[13]几乎检测不到目标. Oreifej等[17]在弱大气湍流环境下得到的结果不错, 在强大气湍流环境下得到的结果较差. St-Charles等[14] (SuBSENSE)和St-Charles等[15] (PAWCS)方法在大气湍流环境下能够检测到运动目标, 召回率较高; 但是由于这两个方法的背景模型不能很好地描述大气湍流成像条件下的动态背景, 出现较多虚警, 准确率较低.
表 3 各方法在6个图像序列中检测目标得到的Precision/Recall值比较Table 3 Precision and Recall results of different methods方法 序列1 序列2 序列3 序列4 序列5 序列6 本文方法 0.89/0.95 0.97/0.85 0.87/0.97 0.92/0.98 0.62/0.56 0.83/0.95 Chen等[19] 0.93/0.36 0.90/0.50 0.98/0.20 0.95/0.63 0.77/0.38 0.87/0.89 Oreifej等[17] 0.56/0.60 0.85/0.57 0.92/0.80 0.20/0.52 0.00/0.00 0.00/0.00 Stauffer等[3] 0.00/0.00 0.90/0.46 0.96/0.48 0.25/0.68 0.06/0.81 0.03/0.59 Barnich等[8] (阈值40) 0.19/0.48 0.71/0.86 0.63/0.67 0.19/0.83 0.02/0.44 0.02/0.73 Barnic等[8] (阈值80) 0.00/0.00 0.81/0.47 1.00/0.03 0.53/0.82 0.03/0.58 0.06/0.76 Noh等[13] 0.00/0.00 0.98/0.67 1.00/0.19 0.67/0.56 0.00/0.02 0.21/0.73 St-Charles等[14] (SuBSENSE) 0.76/0.93 0.90/0.90 0.96/0.64 0.35/0.75 0.05/0.63 0.04/0.84 St-Charles等[15] (PAWCS) 0.40/0.99 0.86/0.87 0.85/0.97 0.18/0.69 0.02/0.40 0.02/0.70 表 4和表 5分别列出了不同方法在6个序列上得到的$F1$值和成功率$SR$.本文提出的方法在每个序列上得到的$F1$值和成功率几乎都优于别的方法. Chen等[19]的方法在序列5和序列6上得到了较高的成功率, 这是由于序列5和序列6中大部分的图像帧中没有目标, 减少虚警的策略使得这些图像帧都被正确检测. Oreifej等[17]、Stauffer等[3]、Chen等[19]、Noh等[13]、St-Charles等[14] (SuBSENSE)、St-Charles等[15] (PAWCS)的方法在检测被强大气湍流影响的序列4$\sim$6时出现了较多虚警区域, 导致$F1$值和成功率较低. Noh等[13]、St-Charles等[14] (SuBSENSE)、St-Charles等[15] (PAWCS)的方法在弱大气湍流环境下得到的统计结果较好, 但不能较好地处理强大气湍流环境中的运动目标检测问题.
表 4 各方法在6个图像序列中检测目标得到的$F1$值比较Table 4 The $F1$ results of different methods方法 序列1 序列2 序列3 序列4 序列5 序列6 本文方法 0.92 0.91 0.92 0.95 0.59 0.89 Chen等[19] 0.52 0.64 0.33 0.76 0.51 0.88 Oreifej等[17] 0.58 0.68 0.86 0.29 0.00 0.00 Stauffer等[3] 0.00 0.61 0.64 0.36 0.12 0.05 Barnich等[8] (阈值40) 0.28 0.78 0.65 0.31 0.03 0.04 Barnich等[8] (阈值80) 0.00 0.59 0.05 0.65 0.06 0.11 Noh等[13] 0.00 0.80 0.32 0.61 0.01 0.32 St-Charles等[14] (SuBSENSE) 0.84 0.90 0.77 0.47 0.09 0.08 St-Charles等[15] (PAWCS) 0.57 0.86 0.91 0.29 0.03 0.04 表 5 各方法在6个图像序列中检测目标得到的$SR$值比较Table 5 The $SR$ results of different methods方法 序列1 序列2 序列3 序列4 序列5 序列6 本文方法 0.97 0.64 0.76 0.85 0.84 0.98 Chen等[19] 0.72 0.18 0.06 0.43 0.84 0.99 Oreifej等[17] 0.78 0.22 0.64 0.01 0.04 0.00 Stauffer等[3] 0.55 0.15 0.33 0.05 0.14 0.27 Barnich等[8] (阈值40) 0.75 0.41 0.24 0.00 0.00 0.00 Barnich等[8] (阈值80) 0.59 0.08 0.02 0.12 0.00 0.05 Noh等[13] 0.59 0.20 0.12 0.27 0.50 0.83 St-Charles等[14] (SuBSENSE) 0.93 0.72 0.50 0.16 0.19 0.24 St-Charles等[15] (PAWCS) 0.76 0.63 0.74 0.02 0.00 0.18 实验结果表明, 本文方法能够有效检测被大气湍流影响的图像序列中的运动目标.使用高斯模型和双高斯模型分别对图像中背景平坦区域和物体边缘区域像素点的随机变化建模, 并在线更新模型参数, 准确地描述了大气湍流引起的背景区域成像的退化.结合背景区域平均标准差表示的大气湍流强度和邻域内背景像素点的比例, 提出的自适应判别方法在区分目标区域像素点和亮度突变像素点方面表现出良好的效果.本文方法根据大气湍流导致图像序列发生退化的机理, 构造的背景模型和判别条件在不同大气湍流强度, 不同目标数量以及目标的不同运动方式等多种情况下均有效地检测到运动目标.
5. 结论
本文针对图像中不同区域受到大气湍流影响表现出的性质不同, 将图像划分为目标区域和三个不同的背景区域, 分别对背景平坦区域、背景中目标边缘区域和亮度突变点建立高斯模型、双高斯模型和自适应判别模型, 在线更新模型参数, 分层次进行判别, 从而达到区分目标和背景的目的.由于本文方法有效地描述了大气湍流对图像不同区域的作用机理, 不需要对目标运动速度、方向和目标被连续检测的帧数进行限制, 有效地达到了虚警和漏警的平衡, 有广泛的适应性.实验结果表明, 本文方法在不同大气湍流强度、不同目标数量以及不同目标运动方向等多种情况下都有较好的目标检测性能.
-
图 1 大气湍流中分层次运动目标检测框架
Fig. 1 Hierarchical framework of moving object detection in atmospheric turbulence environment
图 2 不同大气湍流强度的图像序列中不同像素点随时间变化的亮度变化曲线图和分布直方图
Fig. 2 The intensity curves and histograms of points in image sequences affected by atmospheric turbulence with different strength
图 4 两个不同大气湍流强度的图像序列得到的$Offset$变化曲线
Fig. 4 The curves of $Offset$ values in two image sequences affected by atmospheric turbulence with different strength
图 5 平坦区域一点和有目标经过位置一点的阈值随时间的变化
Fig. 5 The threshold curves of two points in flat regions and regions with objects passing through
图 6 各个评价值随边缘区域窗口尺寸变化的曲线
Fig. 6 The curves of criteria varying over window sizes of the edge region
图 7 各个评价值随式(10)中比例因子$\lambda$变化的曲线
Fig. 7 The curves of criteria varying over $\lambda$
图 8 各个评价值随像素点邻域窗口尺寸变化的曲线
Fig. 8 The curves of criteria varying over window sizes of the neighborhood
序号 分辨率 帧频(Hz) 帧数 大气湍流强弱/信噪比(dB) 图像序列描述 序列1 $720 \times 576$ 30 425 弱/26.70 有一个向右缓慢移动的目标, 目标较小, 速度较慢. 序列2 $672 \times 480$ 30 397 弱/25.59 有多个左右缓慢移动的目标和多个左右快速移动的目标. 序列3 $672 \times 480$ 30 390 弱/28.08 有多个左右缓慢移动的目标和一个向左快速移动的目标. 序列4 $672 \times 480$ 30 401 强/19.59 有多个向右快速移动的目标. 序列5 $672 \times 480$ 30 400 强/15.31 只有少部分图像帧存在向右快速移动的目标. 序列6 $672 \times 480$ 30 493 强/16.66 只有第120帧前有向右快速移动的目标. 
下载: 导出CSV
表 2 序列1中背景模型更新与否得到的评价值对比
Table 2 Comparison between updating models and not updating models for sequence one
Precision Recall $F1$ $SR$ 更新模型 0.89 0.95 0.92 0.97 不更新模型 0.47 0.95 0.63 0.73
下载: 导出CSV
表 3 各方法在6个图像序列中检测目标得到的Precision/Recall值比较
Table 3 Precision and Recall results of different methods
方法 序列1 序列2 序列3 序列4 序列5 序列6 本文方法 0.89/0.95 0.97/0.85 0.87/0.97 0.92/0.98 0.62/0.56 0.83/0.95 Chen等[19] 0.93/0.36 0.90/0.50 0.98/0.20 0.95/0.63 0.77/0.38 0.87/0.89 Oreifej等[17] 0.56/0.60 0.85/0.57 0.92/0.80 0.20/0.52 0.00/0.00 0.00/0.00 Stauffer等[3] 0.00/0.00 0.90/0.46 0.96/0.48 0.25/0.68 0.06/0.81 0.03/0.59 Barnich等[8] (阈值40) 0.19/0.48 0.71/0.86 0.63/0.67 0.19/0.83 0.02/0.44 0.02/0.73 Barnic等[8] (阈值80) 0.00/0.00 0.81/0.47 1.00/0.03 0.53/0.82 0.03/0.58 0.06/0.76 Noh等[13] 0.00/0.00 0.98/0.67 1.00/0.19 0.67/0.56 0.00/0.02 0.21/0.73 St-Charles等[14] (SuBSENSE) 0.76/0.93 0.90/0.90 0.96/0.64 0.35/0.75 0.05/0.63 0.04/0.84 St-Charles等[15] (PAWCS) 0.40/0.99 0.86/0.87 0.85/0.97 0.18/0.69 0.02/0.40 0.02/0.70
下载: 导出CSV
表 4 各方法在6个图像序列中检测目标得到的$F1$值比较
Table 4 The $F1$ results of different methods
方法 序列1 序列2 序列3 序列4 序列5 序列6 本文方法 0.92 0.91 0.92 0.95 0.59 0.89 Chen等[19] 0.52 0.64 0.33 0.76 0.51 0.88 Oreifej等[17] 0.58 0.68 0.86 0.29 0.00 0.00 Stauffer等[3] 0.00 0.61 0.64 0.36 0.12 0.05 Barnich等[8] (阈值40) 0.28 0.78 0.65 0.31 0.03 0.04 Barnich等[8] (阈值80) 0.00 0.59 0.05 0.65 0.06 0.11 Noh等[13] 0.00 0.80 0.32 0.61 0.01 0.32 St-Charles等[14] (SuBSENSE) 0.84 0.90 0.77 0.47 0.09 0.08 St-Charles等[15] (PAWCS) 0.57 0.86 0.91 0.29 0.03 0.04
下载: 导出CSV
表 5 各方法在6个图像序列中检测目标得到的$SR$值比较
Table 5 The $SR$ results of different methods
方法 序列1 序列2 序列3 序列4 序列5 序列6 本文方法 0.97 0.64 0.76 0.85 0.84 0.98 Chen等[19] 0.72 0.18 0.06 0.43 0.84 0.99 Oreifej等[17] 0.78 0.22 0.64 0.01 0.04 0.00 Stauffer等[3] 0.55 0.15 0.33 0.05 0.14 0.27 Barnich等[8] (阈值40) 0.75 0.41 0.24 0.00 0.00 0.00 Barnich等[8] (阈值80) 0.59 0.08 0.02 0.12 0.00 0.05 Noh等[13] 0.59 0.20 0.12 0.27 0.50 0.83 St-Charles等[14] (SuBSENSE) 0.93 0.72 0.50 0.16 0.19 0.24 St-Charles等[15] (PAWCS) 0.76 0.63 0.74 0.02 0.00 0.18
下载: 导出CSV
-
[1] Brutzer S, Höferlin B, Heidemann G. Evaluation of background subtraction techniques for video surveillance. In: Proceedings of the 2011 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Providence, RI, USA: IEEE, 2011. 1937-1944 doi: 10.1109/CVPR.2011.5995508 [2] Wren C R, Azarbayejani A, Darrell T, Pentland A P. Pfinder:real-time tracking of the human body. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1997, 19 (7):780-785 doi: 10.1109/34.598236 [3] Stauffer C, Grimson W E L. Adaptive background mixture models for real-time tracking. In: Proceedings of the 1999 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Fort Collins, USA: IEEE, 1999, 2: 246-252 http://ieeexplore.ieee.org/stamp/stamp.jsp?arnumber=784637 [4] Haritaoglu I, Harwood D, Davis L S. W4:Real-time surveillance of people and their activities. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2000, 22 (8):809-830 doi: 10.1109/34.868683 [5] Kim K, Chalidabhongse T H, Harwood D, Davis L. Real-time foreground-background segmentation using codebook model. Real-Time Imaging, 2005, 11 (3):172-185 doi: 10.1016/j.rti.2004.12.004 [6] Elgammal A, Harwood D, Davis L. Non-parametric model for background subtraction. In: Proceedings of the 2000 European Conference on Computer Vision. Dublin, Ireland: Springer-Verlag, 2000. 751-767 doi: 10.1007/3-540-45053-X_48 [7] Sheikh Y, Shah M. Bayesian modeling of dynamic scenes for object detection. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2005, 27 (11):1778-1792 doi: 10.1109/TPAMI.2005.213 [8] Barnich O, Van Droogenbroeck M. ViBe:a universal background subtraction algorithm for video sequences. IEEE Transactions on Image Processing, 2011, 20 (6):1709-1724 doi: 10.1109/TIP.2010.2101613 [9] Oliver N M, Rosario B, Pentland A P. A Bayesian computer vision system for modeling human interactions. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2000, 22 (8):831-843 doi: 10.1109/34.868684 [10] Heikkilä M, Pietikäinen M. A texture-based method for modeling the background and detecting moving objects. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2006, 28 (4):657-662 doi: 10.1109/TPAMI.2006.68 [11] Javed O, Shafique K, Shah M. A hierarchical approach to robust background subtraction using color and gradient information. In: Proceedings of the 2002 Workshop on Motion and Video Computing. Orlando, USA: IEEE, 2002. 22-27 http://doi.ieeecomputersociety.org/resolve?ref_id=doi:10.1109/MOTION.2002.1182209&rfr_id=trans/tp/2003/10/ttp2003101355.htm [12] Mason M, Duric Z. Using histograms to detect and track objects in color video. In: Proceedings of the 30th Applied Imagery Pattern Recognition Workshop. Washington, USA: IEEE, 2001. 154-159 doi: 10.1109/AIPR.2001.991219 [13] Noh S J, Jeon M. A new framework for background subtraction using multiple cues. In: Proceedings of the 2012 Asian Conference on Computer Vision. Daejeon, Korea: Springer-Verlag, 2012. 493-506 http://www.mendeley.com/research/new-framework-background-subtraction-using-multiple-cues-2/ [14] St-Charles P L, Bilodeau G A, Bergevin R. SuBSENSE:a universal change detection method with local adaptive sensitivity. IEEE Transactions on Image Processing, 2015, 24 (1):359-373 doi: 10.1109/TIP.2014.2378053 [15] St-Charles P L, Bilodeau G A, Bergevin R. Universal background subtraction using word consensus models. IEEE Transactions on Image Processing, 2016, 25 (10):4768-4781 doi: 10.1109/TIP.2016.2598691 [16] Li D L, Mersereau R M, Simske S. Atmospheric turbulence-degraded image restoration using principal components analysis. IEEE Geoscience and Remote Sensing Letters, 2007, 4 (3):340-344 doi: 10.1109/LGRS.2007.895691 [17] Oreifej O, Li X, Shah M. Simultaneous video stabilization and moving object detection in turbulence. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2013, 35 (2):450-462 doi: 10.1109/TPAMI.2012.97 [18] Zhu X, Milanfar P. Image reconstruction from videos distorted by atmospheric turbulence. In: Proceedings of SPIE 7543, Visual Information Processing and Communication. San Jose, USA: SPIE, 2010. Article No.75430S http://www.mendeley.com/research/image-reconstruction-videos-distorted-atmospheric-turbulence/ [19] Chen E L, Haik O, Yitzhaky Y. Detecting and tracking moving objects in long-distance imaging through turbulent medium. Applied Optics, 2014, 53 (6):1181-1190 doi: 10.1364/AO.53.001181 [20] Elkabetz A, Yitzhaky Y. Background modeling for moving object detection in long-distance imaging through turbulent medium. Applied Optics, 2014, 53 (6):1132-1141 doi: 10.1364/AO.53.001132 [21] 齐玉娟, 王延江, 李永平.基于记忆的混合高斯背景建模.自动化学报, 2010, 36 (11):1520-1526 http://www.aas.net.cn/CN/abstract/abstract17339.shtmlQi Yu-Juan, Wang Yan-Jiang, Li Yong-Ping. Memory-based Gaussian mixture background modeling. Acta Automatica Sinica, 2010, 36 (11):1520-1526 http://www.aas.net.cn/CN/abstract/abstract17339.shtml [22] 王永忠, 梁彦, 潘泉, 程咏梅, 赵春晖.基于自适应混合高斯模型的时空背景建模.自动化学报, 2009, 35 (4):371-378 http://www.aas.net.cn/CN/abstract/abstract15852.shtmlWang Yong-Zhong, Liang Yan, Pan Quan, Cheng Yong-Mei, Zhao Chun-Hui. Spatiotemporal background modeling based on adaptive mixture of Gaussians. Acta Automatica Sinica, 2009, 35 (4):371-378 http://www.aas.net.cn/CN/abstract/abstract15852.shtml [23] Bouwmans T, Baf F E, Vachon B. Background modeling using mixture of Gaussians for foreground detection:a survey. Recent Patents on Computer Science, 2008, 1 (3):219-237 doi: 10.2174/2213275910801030219 [24] Bouwmans T. Traditional and recent approaches in background modeling for foreground detection:an overview. Computer Science Review, 2014, 11-12:31-66 doi: 10.1016/j.cosrev.2014.04.001 [25] Zhu X, Milanfar P. Removing atmospheric turbulence via space-Invariant deconvolution. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2013, 35 (1):157-170 doi: 10.1109/TPAMI.2012.82 [26] Çaliskan T, Arica N. Atmospheric turbulence mitigation using optical flow. In: Proceedings of the 2nd International Conference on Pattern Recognition (ICPR). Stockholm, Sweden: IEEE, 2014. 883-888 http://mobile.computer.org/csdl/proceedings/icpr/2014/5209/00/5209a883-abs.html [27] Arica N, Caliskan T. Moving object detection in turbulence degraded video. International Journal of Applied Mathematics, Electronics and Computers, 2015, 3 (4):232-236 doi: 10.18100/ijamec.97614 [28] Deshmukh A S, Medasani S S, Reddy G R. Moving object detection from images distorted by atmospheric turbulence. In: Proceedings of the 2013 International Conference on Intelligent Systems and Signal Processing (ISSP). Gujarat, India: IEEE, 2013. 122-127 http://www.mendeley.com/research/moving-object-detection-images-distorted-atmospheric-turbulence/ [29] Ganzalez R C, Woods R E[著], 阮秋琦, 阮宇智[译].数字图像处理第.第3版.北京: 电子工业出版社, 2011.Ganzalez R C, Woods R E[Author], Ruan Qiu-Qi, Ruan Yu-Zhi[Translator]. Digital Image Processing (Third edition). Beijing: Publishing House of Electronics Industry, 2011. [30] Zamek S, Yitzhaky Y. Turbulence strength estimation from an arbitrary set of atmospherically degraded images. Journal of the Optical Society of America A, 2006, 23 (12):3106-3113 doi: 10.1364/JOSAA.23.003106 期刊类型引用(0)
其他类型引用(3)
-
下载:
计量
- 文章访问数: 1832
- HTML全文浏览量: 235
- PDF下载量: 589
- 被引次数: 3
