-
摘要: 在目标的动态背景中存在有利于目标跟踪的信息.使用辅助目标来描述目标的动态背景，在跟踪目标的同时建立辅助目标与目标之间的运动依赖关系.用多个辅助目标预测目标的位置，将辅助目标预测结果与目标跟踪器预测结果融合得到目标位置.方法包括，利用辅助目标与目标之间的运动依赖关系和辅助目标自身跟踪精度的辅助目标选择方法；使用多个低精度辅助目标跟踪器获得良好的目标预测结果的辅助目标跟踪和目标预测方法；以及根据目标跟踪结果更新辅助目标跟踪参数的方法.辅助目标具有多样性和独立性.基于辅助目标的目标跟踪方法可以与其他目标跟踪器结合，具有推广泛化能力.实验结果表明，辅助目标在目标跟踪中发挥重要作用，与其他目标跟踪方法对比结果表明，有更好的鲁棒性和目标跟踪精度.Abstract: The dynamic background of images contains effective information that is favorable for object tracking. This paper uses auxiliary objects describing the target background. Motion dependencies between auxiliary objects and target itself are established first. Then the tracking of auxiliary objects by trackers with relative lower precisions predicts the target position. The position results predicted by auxiliary objects and by the basic tracker are fused to get a better result. Meanwhile, parameters updating is done according to the tracking result. Extensive experimental results show that auxiliary objects are effective for tracking the target. Comparison with other trackers proves the method's better robustness and precision.
-
Key words:
- Object tracking /
- dynamic background /
- auxiliary objects /
- trackers fusion
-
目标跟踪是指给定目标在图像中的初始位置, 预测图像序列中的目标变化, 是计算机视觉研究的热点领域.目标跟踪器的跟踪能力主要体现在鲁棒性和实时性.跟踪方法的鲁棒性不仅反映该方法的精确度, 也包括对特殊情况, 例如光照变化和背景干扰等的适应性和通用性.一般而言, 鲁棒的跟踪方法可以长时间有效跟踪目标.实时性是在线跟踪的一项重要评价指标, 反映了方法的运行效率.
传统的目标跟踪一般从目标表示出发, 提取用于跟踪的特征, 先对目标进行检测分割, 再进行跟踪[1].跟踪方法包括点跟踪、核跟踪和轮廓跟踪.现有的目标跟踪方法不仅对目标提取特征, 而且针对目标外观变化对目标建立外观模型, 进行在线学习[2-3].目标跟踪方法依据在线学习方式的不同主要分两类, 一类是产生式模型(Generative model), 根据已有的跟踪结果更新目标模板, 在下一帧中寻找相似性最大的区域作为目标; 另一类是判别式模型(Discriminative model), 将目标区域和非目标区域视为两类, 根据已有的采样样本训练分类器, 将下一帧图像分为两类, 得到目标.实际应用中, 成像条件、成像环境以及目标运动的特点等因素对目标跟踪的效果产生重要影响.这些因素包括光照变化、尺度变化、遮挡、形变、运动模糊、快速运动、超出平面的旋转、目标脱离视场、背景干扰、图像低分辨率等.而对目标跟踪器性能的评价是在所有因素共同作用下跟踪效果的评价[4].
利用上下文信息可以改善在复杂环境中目标跟踪的效果.在目标跟踪中, 上下文信息是指瞬时的目标及其周围背景.目标上下文与目标之间有关联.利用目标上下文和目标之间的关联有助于提高目标跟踪效果.例如跟踪运动员时, 运动员身上的标签, 以及其他运动员都对运动员状态的预测有帮助.通常目标与周围每一点都有运动联系, 相对周围每一点在任一时刻靠近、远离或保持一致, 短时间内运动关系变化很小.将图像中与目标有一定联系, 能够预测目标运动的物体称为目标跟踪的辅助目标(Auxiliary objects), 辅助目标与目标之间存在运动动依赖关系.辅助目标在运动场景中是广泛存在的, 例如运动员身上的标签、旁边的运动员、跑道线、影子等.使用辅助目标来表示目标上下文, 建立辅助目标与目标之间的关系能够提高目标跟踪的性能.
本文提出一种利用辅助目标来改善目标跟踪效果的方法(Auxiliary objects for visual tracking, AOT), 包括辅助目标选择方法、目标与辅助目标运动关系建模方法和辅助目标更新方法.在目标跟踪过程中同时跟踪目标和被选择的辅助目标.通过学习建立目标与辅助目标之间的运动关系模型来描述每一个辅助目标与目标之间在运动上的依赖关系.用辅助目标预测目标的状态, 将预测结果与对目标自身的跟踪结果融合, 改善在复杂环境中目标跟踪的精度.在跟踪过程中, 淘汰依赖关系过度衰减的辅助目标, 补充依赖关系增强的目标.从本质上讲, 在目标周围的辅助目标是目标跟踪中的动态背景.在以往的研究中, 通常将背景, 特别是动态背景视为目标跟踪中的不利因素.但是, 本文提出的方法从动态背景中挖掘有利信息—辅助目标与目标之间的依赖关系, 而且辅助目标选择方法和更新方法使目标状态预测精度与目标跟踪精度之间实现平衡.本文提出的利用辅助目标改善目标跟踪效果的方法不依赖于具体的目标跟踪器, 可以与多种目标跟踪器结合使用, 具有明显的推广能力, 并且该方法对复杂环境有鲁棒性, 在背景干扰、目标形变、遮挡等条件下能够取得良好的跟踪效果.
1. 相关工作
在目标跟踪过程中, 一方面使用不变的外观表示方法容易丢失目标, 另一方面过快更新目标模型则容易发生漂移.在线学习方法可以在一定程度上解决这两类问题.尹宏鹏等[5]对视觉目标跟踪进行了综述.跟踪算法依据在线学习方式的不同可分为产生式模型和判别式模型两类.产生式模型主要利用目标自身外观, 对目标建立外观模型, 寻找与模型相似性最大的区域作为目标.判别式模型主要利用目标与背景之间的差异, 训练分类器, 将图像分为目标和背景两类.此外, 近年来又出现了几种利用上下文信息跟踪目标的方法, 利用目标与背景的联系来跟踪目标.
1.1 产生式模型
产生式在线学习方法注重前景目标, 忽视背景信息.前景目标的外观表示是制约算法性能的主要因素.传统目标跟踪大多使用基于模板的方法, 利用动态模板适应目标外观的变化.常用的方法有Mean shift[6]及其改进算法[7]. Zhou等[8]使用基于EM算法的自适应外观模型.近几年也有优化的方法, Oron等[9]提出的局部无序跟踪(Locally orderless tracking, LOT)算法使用超像素表示目标外观, 利用内在的无序性对目标进行跟踪. Delabarre等[10]提出用条件方差和(Sum of conditional variance, SCV)作为相似度函数来解决非刚体目标在光照变化下的跟踪问题. Lin等[11]提出一种新颖的多目标表示及跟踪方法, 无需检测, 通过点跟踪与分割来定位多个目标, 能够长期可靠地跟踪多个目标. Liu等[12]使用混合模板对目标进行在线跟踪, 对前景目标提取多种特征并融合, 对目标建立了比较完备的模型.基于子空间分析方法使用在线学习子空间表示目标, 以反映外观变化.增量学习跟踪算法(Incremental learning for robust visual tracking, IVT)[13]是产生式模型的一个基本代表算法, 使用增量主成分分析计算特征图像.稀疏表示在计算机视觉领域应用很广, 同时促进了目标跟踪的发展[14].通过使用稀疏约束, 目标可以表示为基向量的线性组合.例如L1跟踪器[15]使用亮度作为稀疏表示基, 使用L1范数产生比较稀疏的解, 以及改进算法L1O跟踪器[16]加入了L2范数防止过拟合.
这些方法的共同特点是尽可能完善地描述目标, 能适应目标一定程度的变化.但是由于忽略了背景信息, 对背景干扰敏感, 在目标发生剧烈变化或被遮挡时, 这些方法的跟踪精度明显下降.
1.2 判别式模型
判别式在线学习方法又称为基于检测的跟踪.此类方法把跟踪问题看作一个二分类问题或回归问题.常用的分类器有最近邻分类器、隐含马尔科夫模型、神经网络和支持向量机等.根据在线更新过程可分为基于在线特征选择的方法[17]、基于在线更新分类器的方法[18-22]和基于在线度量学习的方法[23].基于在线特征选择的方法在跟踪时自适应地选择合适的特征空间, 使用的特征空间直接影响分类能力. Wang等[17]提出在线选择具有区分力的特征进行跟踪.王丽佳等[20]提出基于特征在线选择的目标压缩跟踪算法.因为开始跟踪时样本比较匮乏, 分类器性能不高, 所以基于在线更新分类器的方法需要在跟踪过程中不断更新训练来修正分类器. Grabner[21]使用AdaBoost方法将多个弱分类器组合成一个强分类器, 可以提高分类精度.其他典型的算法有多示例学习跟踪(Visual tracking with online multiple instance learning, MIL)[18]、使用支持向量机的跟踪算法(Structured output tracking with kernels, STRUCK)[22]和适于长期跟踪的跟踪学习检测算法(Tracking learning detection, TLD)[9, 23]. Wang等[24]认为固定的度量方法不能保证跟踪过程中的最优匹配就是目标, 于是提出将度量学习方法用于跟踪, 通过在线学习距离度量来获取不同特征维度间的相关信息.李庆武等[25]对MIL算法进行改进并用于移动机器人跟踪.
判别式模型能够处理背景干扰等问题, 但是在分类器在线更新过程中, 样本分类误差与训练误差会逐渐积累, 容易产生漂移.
1.3 基于上下文的目标跟踪方法
文献[26]指出背景信息对跟踪有积极的影响.一些研究者开始探寻目标与背景之间的联系即研究目标上下文.基于上下文的目标跟踪方法分为两类: 1)上下文稀疏跟踪, 即从目标周围寻找对目标有影响的因素, 用一些区域约束目标; 2)上下文密集跟踪, 用目标周围的每个像素对目标进行约束.
上下文稀疏跟踪方法主要研究如何找到对目标有影响的因素, 以及如何利用这些因素. Yang等[27]提出使用上下文中的辅助目标与目标进行协同跟踪, 使用数据挖掘方法从上下文中挖掘辅助目标, 要求辅助目标与目标持续地共同出现, 并与目标保持一致的运动关系且易跟踪.该算法能够在一定程度上降低目标的运动不确定性, 但是挖掘的辅助目标数量不足以表示复杂场景, 且不能保证可靠, 时间复杂度较高, 当辅助目标突然变化时会降低目标跟踪精度. Dinh等[28]提出在目标上下文检测支持区域和干扰区域.支持区域是与目标有短期运动相关的关键区域.干扰区域是与目标外观相似的区域, 利用两种区域对目标的约束可以抑制杂乱背景下的漂移问题. Wen等[29]将空间上下文分成小块, 建立结构约束, 使用增量子空间模型进行跟踪, 提高了长期跟踪的稳定性. Zhu等[30]融合目标外观模型、内部关系模型和上下文关系模型以提高跟踪精度. Quan等[31]使用主动上下文学习对目标进行约束, 并用运动分割解决快速运动情况. Li等[32]寻找可靠的小块对目标进行跟踪. Yuan等[33]提出自动检测能表示运动的特征点来克服遮挡和误检测.
上下文密集跟踪方法因为利用信息较多, 运算效率较低.提高效率的一种方法是相关性滤波, 这种方法源于信号处理中的互相关函数, 可以检测两个信号的相关性. Bolme等[34]提出的最小误差平方和滤波器(Minimum output sum of squared error filter, MOSSE), 能同时处理目标及其上下文, 并使用快速傅里叶变换提高运算效率.利用循环结构的目标跟踪(Circulant structure of tracking-by-detection with kernels, CSK)[35]对目标及其上下文进行密集采样, 并利用循环矩阵的性质使用快速傅里叶变换进行快速训练分类器与检测, 后来被改进成核化相关滤波(Kernelized correlation filters, KCF)[36]. Liu等[37]用子部件模型优化相关性滤波, 能处理遮挡问题. Ma等[38]增加尺度估计和一个用于跟踪失败的检测器, 以提高相关性滤波器长期跟踪的性能. Zhang等[39]提出时空上下文视觉跟踪(Spatio-temporal context learning, STC), 考虑目标上下文中的每个像素, 能较好地处理遮挡, 且模型学习和目标检测都使用快速傅里叶变换实现, 速度很快.
已报道的上下文方法在较小的区域内提取动态背景信息, 区域大小由目标大小决定.当目标尺寸随时空变化时, 会导致上述方法在变化的环境中跟踪误差较高.尽管上下文密集跟踪方法使用快速傅里叶变换, 但随着上下文区域扩大, 其计算量呈指数级增长, 运算效率限制了上下文区域.上下文稀疏跟踪方法虽然可以利用较大的上下文区域, 但是受环境变化影响较大, 算法的鲁棒性与自适应性不高.
本文提出的使用辅助目标的目标跟踪方法包括目标跟踪器与辅助目标跟踪器.目标跟踪器用来跟踪未知环境下的目标, 用跟踪得到的部分先验知识来优化选择辅助目标.辅助目标跟踪器自动选择场景中的物体作为辅助目标, 用辅助目标的统计信息描述辅助目标与目标之间的依赖关系.本文方法对噪声和场景变化适应能力强.用在线学习方法更新, 将辅助目标提供的目标预测结果与目标跟踪结果融合得到最终的目标跟踪结果, 从而提高了目标跟踪的鲁棒性.当辅助目标预测结果有效时, 本文方法因辅助目标的作用提升了目标跟踪的性能; 当辅助目标预测结果无效时, 本文方法退化为一般的目标跟踪方法.本文提出的辅助目标跟踪方法和辅助目标更新方法可以与多种目标跟踪器相结合, 有较强的推广能力.
2. 目标跟踪模型与辅助目标跟踪模型
2.1 目标跟踪模型
目标跟踪的基本原理是根据过去所有帧图像信息, 得到目标在当前时刻$t$最可能出现的位置, 目标跟踪模型如下:
$ \begin{align} \hat{x}^{(t)} = \arg\max\limits_{x \in I^{(t)}} P(x = Target | {I}^{(1:t)}) \end{align} $
(1) 其中, $\hat{x}^{(t)}$表示在第$ t$帧图像中预测的目标位置, $x$表示图像中目标可能出现的位置, $I^{(1:t)}$表示第$1 \sim t$帧图像, $Target$表示目标位置.
通常用更新模型参数来表示过去图像对当前的影响, 也称为时间上下文.依据目标模型, 在当前帧搜索目标, 得到新目标状态后更新模型参数.
$ \hat{x}^{(t)} = \arg\max\limits_{{x} \in I^{(t)}} P({{x}} = Target | {I}^{(t)}, {\theta}^{(t-1)}) $
(2) $ \theta^{(t)} = Update(\theta^{(t-1)}, {I}^{(t)}, \hat{x}^{(t)}) $
(3) 其中, $\theta^{(t)}$表示第$ t$帧跟踪结束后更新得到的参数.
2.2 辅助目标跟踪模型
使用辅助目标跟踪就是在使用一个基础跟踪器对目标跟踪的同时, 在上下文中选择辅助目标, 通过辅助目标来预测目标位置, 进而优化目标跟踪结果.
辅助目标在目标跟踪过程中的作用如图 1所示.其中包括辅助目标的选择、辅助目标的更新和利用辅助目标预测目标位置. 图 1中矩形框$T$表示跟踪目标, 是一位运动员, 三个矩形框($A_1, A_2, A_3$)表示辅助目标, 代表三个运动员.在图 1(a)中选择$A_1$和$A_2$作为目标的辅助目标, 经过10帧后如图 1(b), 目标外观发生了一定变化, 且被部分遮挡.通常, 目标跟踪器对目标的跟踪有一定误差, 此时$A_1$和$A_2$作为辅助目标可以帮助预测出目标的准确位置.经过10帧后如图 1(c), $A_1$被遮挡, $A_2$远离目标将要离开视场, 两者会被淘汰, 这个时候选择新的辅助目标如$A_3$.又经过10帧后, 如图 1(d), $A_1$重新出现, 被选中作辅助目标.随着时间变化物体$N$没有任何变化, 是与目标无关的物体, 对预测目标状态没有作用, 不应作为辅助目标.
假设辅助目标与目标之间的运动关系在观测时间内为相对匀速直线运动, 辅助目标$A_i, i=1, 2, \cdots, n$可表示为$A_i = \{rec_i, u_i, v_i, H_i, w_i\}$.其中, $rec_i$表示辅助目标所在区域, $u_i$为目标相对辅助目标的位移, $v_i$为目标相对辅助目标的速度, $H_i$表示辅助目标的跟踪模板, $w_i$为辅助目标的权值, 权值越大表示辅助目标$A_i$与目标$x$依赖关系越强, 在目标跟踪过程中辅助目标的权值是变化的.
辅助目标具有以下两个性质.
1) 辅助目标的条件独立性.辅助目标与目标是相关的, 但辅助目标之间是条件独立的, 辅助目标$A_i$的状态与目标$x$的状态有关, 它们之间的关系由$u_i, v_i$和$w_i$来表示.每一个$A_i$都可以产生对$x$的预测.辅助目标之间是条件独立的, 在目标被跟踪的条件下, 辅助目标$A_i$的状态与其他辅助目标无关.即观测到目标时, 不同辅助目标的状态是独立的[40]. $P( A_i, A_j|x) =P(A_i|x)P(A_j|x) (i \neq j)$.
2) 辅助目标的多样性.不同的辅助目标与目标之间的关系不同, 如果$i \neq j$, 则$u_i \neq u_j, v_i \neq v_j$.用多个辅助目标, 可以更全面地反映环境的多样性, 从而提高使用辅助目标预测目标的鲁棒性.
所有辅助目标为$A=\{A_1, A_2, \cdots, A_n\}$, 在每帧图像中辅助目标的处理分析结果与目标共同表示上下文. $\hat{I} \sim \hat{x}+f(A)$, 其中$f$表示辅助目标与目标之间的联系.使用辅助目标的目标跟踪模型为
$ \hat{x}_B^{(t)} = \arg\max\limits_{x \in I^{(t)}} P(x| {I}^{(t)}, \theta_B^{(t-1)}) $
(4) $ \hat{x}_{A_i}^{(t)} = \arg\max\limits_{x \in I^{(t)}} P(x| I^{(t)}, A_i, \theta_{A_i}^{(t-1)}) $
(5) $ \hat{x}_A^{(t)} = \arg\max\limits_{x \in I^{(t)}} P(x| {I}^{(t)}, \hat{x}_{A_i}^{(t)}, i=1, 2, \cdots, n) $
(6) $ \hat{x}^{(t)} = \arg\max\limits_{x \in I^{(t)}} P(x|\hat{x}_A^{(t)}, \hat{x}_B^{(t)}, \theta_{A_i}^{(t-1)}, \theta_B^{(t-1)}) $
(7) $ \theta_B^{(t)} = Update(\theta_B^{(t-1)}, I^{(t)}, \hat{x}^{(t)}) $
(8) $ \theta_{A_i}^{(t)} = Update(\theta_{A_i}^{(t-1)}, I^{(t)}, \hat{x}^{(t)}) $
(9) 用$B$表示目标跟踪器, 在$t$时刻, 式(4)表示对目标用参数为$\theta_{B}^{(t-1)}$的目标跟踪器预测目标位置$\hat{x}_{B}^{(t-1)}$, 式(5)表示对一个辅助目标$A_i, i=1, 2, \cdots, n$, 使用参数为$\theta_A^{(t-1)}$的跟踪器预测目标位置$\hat{x}_A^{(t-1)}$.式(6)表示用辅助目标的预测结果估计目标位置$\hat{x}_A^{(t)}$.式(7)表示将$\hat{x}_A^{(t)}$和$\hat{x}_B^{(t)}$融合后得到目标的跟踪结果$\hat{x}^{(t)}$.式(8)和式(9)分别是目标参数$\theta_B^{(t)}$和辅助目标参数$\theta_{A_i}^{(t)}$的更新.基于辅助目标的目标跟踪方法包括对辅助目标的选择、跟踪、预测和更新, 以及辅助目标预测结果与目标跟踪器跟踪结果的融合.在跟踪过程中, 辅助目标与目标之间的依赖关系是变化的, 为了保证辅助目标对目标状态的预测效果, 并平衡目标跟踪精度与辅助目标跟踪代价之间的关系, 首先在满足最大辅助目标数量的约束条件下, 对辅助目标进行优化选择, 在此基础上, 对辅助目标进行跟踪、预测、更新和跟踪结果融合.基于辅助目标跟踪的目标跟踪方法的框架如图 2所示.
图 2 用辅助目标跟踪的目标跟踪方法的框架Fig. 2 The framework of the target tracking with auxiliary objects辅助目标与目标运动之间存在依赖关系, 考虑到辅助目标的独立性与多样性, 使用运动分割的方法检测运动的物体作为候选辅助目标, 并且用权值表示辅助目标与目标的依赖性的强弱.在这些候选辅助目标中选择与目标之间运动依赖关系强的一部分辅助目标作为预测目标位置的有效辅助目标, 这使得该方法具有鲁棒性.因为使用多个辅助目标预测目标状态, 用辅助目标的多样性来补偿辅助目标跟踪误差对目标预测的影响, 所以对于单个辅助目标的跟踪精度要求不高, 有利于实时性.本文使用Mean shift算法跟踪辅助目标.如果单个辅助目标跟踪结果与其模板差异过大, 则该辅助目标可靠性下降, 导致权值下降, 最终被淘汰.辅助目标被选中后都会对目标位置作预测, 将这些预测值按依赖性组合起来, 得到有效辅助目标对目标位置的预测.同时, 目标跟踪器也会给出目标的一个预测值.将两组预测值进行融合, 得到目标位置.随后对辅助目标和目标的运动参数与权值等进行更新.
下面分别阐述辅助目标的选择、跟踪、预测、更新方法和辅助目标与目标跟踪器的融合方法.
3. 基于辅助目标的目标跟踪方法
3.1 辅助目标提取与辅助跟踪
辅助目标的选择是自适应的.辅助目标的选择和优化贯穿跟踪全过程.在上下文区域中与目标有运动相关性的物体是辅助目标[27-28], 用于预测目标位置.辅助目标与目标的运动相关性表现为相邻帧之间辅助目标与目标的相对运动速度不发生明显变化.
$ \begin{align} \hat{x}={x}_{A_i}+u_i+v_i+\eta_i \end{align} $
(10) 其中, ${x}_{A_i}$为辅助目标的位置, $\eta_i$为噪声, 表示辅助目标$A_i$的预测误差.这里讨论噪声为高斯模型的情况, 假设$\eta_i$是服从两个维度期望为0、方差相等的二维高斯分布, $\eta_i \sim {\rm N}(\mu_1=0, \mu_2=0, \sigma_1=\hat{\sigma}, \sigma_2= \hat{\sigma}, \rho=0)$.
不满足运动相关性定义的辅助目标被视为不可靠的, 不会被选为有效的辅助目标.在跟踪过程中, 与目标运动相关性越强的辅助目标与目标的依赖性越强, 其权值会增大, 反之减小.辅助目标选择的原则包括两方面:一方面是辅助目标与目标的依赖关系; 另一方面是在精度与效率之间实现平衡.辅助目标选择分为候选辅助目标选择和有效辅助目标选择两个步骤：1)从每帧图像中选择运动的物体作为候选辅助目标; 2)在目标跟踪过程中, 从候选辅助目标中选择与目标运动相关性强的作为有效辅助目标.
选择候选辅助目标时, 考虑辅助目标应具有独立性与多样性, 使用运动分割方法从图像中选择运动的物体作为候选辅助目标.通常, 距目标较远的物体对目标的依赖性弱, 距目标较近的物体对目标依赖性强, 离图像边缘较近的物体不易跟踪.同时为了充分利用图像信息, 并实现精度与效率的平衡, 综合考虑目标区域与整个图像, 在半个图像大的区域中选择候选辅助目标, 如图 3(a)中虚线框所示.使用帧差法获取运动的前景, 提取连通区域分割后得到选择区域中的连通块, 如图 3(b)所示.对应整幅图像中的候选辅助目标如图 3(c)所示.
从候选辅助目标中选择有效辅助目标时, 选择依赖性较强的作为有效辅助目标来预测目标位置.辅助目标的权值$w_i$表示辅助目标$A_i$与目标$x$之间的运动相关程度.权值达到一定阈值$T_w$的候选辅助目标作为有效辅助目标. $A_{eff}^{(t)} = {\{A_i^{(t)}\}}_{w_i>T_w}$ ($w$的计算和更新见第3.2节和第3.4节).
对每一个辅助目标使用Mean shift算法进行跟踪, 使用颜色直方图作为特征[6], 表达式如下:
$ \begin{align} H: f_{ker}\sum\limits_{x_j \in rec}ker(\|x_j\|)\delta[h(x_j)-u] \end{align} $
(11) 其中, $ker$表示对区域中每一点计算一个核函数进行加权, $f_{ker}$为权值归一化系数.
3.2 用辅助目标对目标预测
使用有效辅助目标对目标的预测如下:
$ \begin{align} \hat{x}_A^{(t)} = \arg\max\limits_{x \in I^{(t)}} P(x| \hat{x}_{A_i}^{(t)}, i=1, 2, \cdots, n) \end{align} $
(12) 在相邻帧之间, 有效辅助目标与目标的关系是稳定的, 预测误差为$\eta_i^{(t)}$.由式(10), $t$时刻辅助目标$A_i$预测目标位置$\hat{xs}_A^{(t)}$的期望值为$\hat{x}_A^{(t)}=x_A^{(t)}+ u_i^{(t-1)}+v_i^{(t-1)}$, 于是辅助目标$A_i$对目标位置的预测分布为
$ \begin{align} D_i: {P(x\in I|A_i)} = \frac{1}{2\pi\hat{\sigma}_i^2}{\rm e}^{-\frac{\|x - \hat{x} _{A_i}\|_2^2}{2\hat{\sigma}_i^2}} \end{align} $
(13) 当$\sigma_i$越小时, 辅助目标$A_i$预测目标在$\hat{x}_{A_i}$处的概率越大, 预测误差越小, 说明辅助目标$A_i$与目标的依赖性越强.辅助目标的权值$w_i$与$\hat{\sigma}_i$有关, 令$w_i = {1}/{(2\hat{\sigma}^2_i)}$, 即$\hat{\sigma}_i = \sqrt{{1}/{(2w_i)}}$, 则
$ \begin{align} D_i: {P(x\in I|A_i)} = \frac{w_i}{\pi}{\rm e}^{-w_i\|x -\hat{x}_{A_i}\|_2^2} \end{align} $
(14) 权值$w_i$的计算方法, 即预测误差$\eta_i$的参数估计在第3.4节给出.
因为辅助目标具有条件独立性, 根据条件概率公式, 得
$ \begin{align} P(x|A_{1:n})\!=\!\frac{P(x)}{P(A_{1:n})}\!\prod\limits_{i=1}^{n}\! \frac{P(A_i)}{P(x)} \! \prod\limits_{i=1}^{n} \! P(x|A_i) \end{align} $
(15) 所以式(12)为
$ \begin{align} \hat{x}_A^{(t)} =&\ \arg\max\limits_{x \in I^{(t)}} \prod\limits_{i=1}^{n} P(x|A_i) =\notag\\ &\ \arg\max\limits_{x \in I^{(t)}} \sum\limits_{i=1}^{n} {\rm log}P(x|A_i) \end{align} $
(16) 将式(14)代入式(15), 得
$ \begin{align} \hat{x}_A^{(t)} = \arg\max\limits_{x \in I^{(t)}} \sum\limits_{i=1}^{n} w_i^{(t)}\|x-\hat{x}_{A_i}^{(t)}\|_2^2 \end{align} $
(17) 3.3 辅助目标与目标跟踪器的预测融合
在每一帧中, 辅助目标$A_i, i=1, 2, \cdots, n$得到目标的预测位置$\hat{x}_A^{(t)}$ (式(6)和式(17)), 目标跟踪器得到目标预测结果$\hat{x}_B^{(t)}$ (式(4)), $\hat{x}_A^{(t)}$与$\hat{x}_B^{(t)}$两个位置是目标状态的不同观测结果, 需要使用一种目标定位方法来融合两个位置得到目标跟踪结果$\hat{x}^{(t)}$.由于辅助目标无法估计目标尺度, 所以目标尺度由目标跟踪器决定.设目标尺度为一个高宽分别为$S_h, S_w$的矩形.
提出的融合方法是为了在目标位置区域中估计最可靠的目标位置, 目标位置区域越小, 估计误差越小.提出基于区域的目标定位方法, 对区域构建置信图, 置信度最高的地方即目标位置[41-42].
$ \begin{align} \hat{x} = \arg\max\limits_{x \in Region(x_A, x_B)} P(R_x = O) \end{align} $
(18) 其中, $O$表示目标, $x$表示候选目标位置, $R_x$表示以$x$为中心的候选目标. $x_A=(x_a, y_a)^{\rm T}$, $x_B = (x_b, y_b)^{\rm T}$分别表示在当前帧用辅助目标跟踪器和目标跟踪器预测的矩形区域的中心位置坐标, $Region(x_A, x_B)$为依据$x_A$与$x_B$获取的精确目标区域. $P(R_x=O)$是$R_x$中所有像素在$Region(x_A, x_B)$中分布的加权平均.
$ \begin{align} P(R_x) = f_{k_R}\sum\limits_{x \in R_x}k_R(x)P(x \in O) \end{align} $
(19) 其中, $k_R$是位置权值, $f_{k_R}$是权值归一化系数.
关于$Region(x_A, x_B)$有4种情况, 如图 4所示, 分别为:
1) $x_a \neq x_b$且$y_a \neq y_b$, 则$Region(x_A, x_B)$为以$x_A$和$x_B$为两个顶点的矩形区域;
2) $x_a \neq x_b$且$y_a = y_b$, 则$Region(x_A, x_B)$为以$x_A$和$x_B$为顶点的线段;
3) $x_a = x_b$且$y_a \neq y_b$, 则$Region(x_A, x_B)$为以$x_A$和$x_B$为顶点的线段;
4) $x_a = x_b$且$y_a = y_b$, 则$Region(x_A, x_B)$为一点.
目标位置区域结合了辅助目标跟踪器与目标跟踪器的预测结果, 目标真实位置在该区域的可能性很高, 从该区域中再次估计目标位置得到的结果更可靠.对于图像上一像素位置$x$, 其像素值为$I(x)$, x属于目标的可能性从空域与值域两方面考虑.
$ \begin{align} P(x \in O) = P_{d}(x)P_{v}(I(x)) \end{align} $
(20) 其中, $P_{d}(x)$是从空域上考虑, $x$属于目标的可能性. $P_{v}(I(x))$是从值域上考虑, $x$属于目标的可能性.
在空域上, 认为距离上一帧目标位置越近的地方, 目标出现的可能性越高.
$ \begin{align} P_{d}(x) = 1-\frac{k_{d} \|x-x_{ex}\|^2}{S_h^2+S_w^2} \end{align} $
(21) 其中, $k_{d}$为一个预设的参数, 可以表示目标在一帧的时间内最大位置变化范围, $x_{ex}$表示上一帧目标位置.
在值域上, 当一种颜色在目标上出现较多时, 认为场景中这种颜色属于目标的可能性较大.相反, 当一种颜色在背景中出现较多时, 可以认为场景中这种颜色属于目标的可能性较小[43].考虑目标及其周围背景, 颜色属于目标的可能性为
$ \begin{align} P_{v}(I(x)) = \begin{cases} \dfrac{H_O^I}{H_O^I+H_S^I}, & {\mbox{若}~ I(x) \in I(O \cup S)} \\ 0, & \mbox{其他} \end{cases} \end{align} $
(22) 其中, $H_O^I$表示目标区域$O$的颜色直方图, $H_S^I$表示目标周围区域$S$的颜色直方图.
图 5为将$P_{v}(I(x))$应用于原图得到的概率分布, 其中图 5(a)为当前帧原图图像, 图 5(b)中像素点的亮度表示其属于目标的可能性.
融合是预测目标位置区域中目标出现可能性最高的位置为目标位置.一个融合示例如图 6所示, 其中图 6(a)为$P(x \in O)$, 图 6(b)给出了目标跟踪器预测结果、辅助目标预测结果和两者融合的结果.
3.4 辅助目标参数更新
在得到融合的目标位置后, 需要对辅助目标跟踪器与目标跟踪器进行参数更新.令第$t$帧融合得到的目标位置为$\hat{x}^{(t)}$, 则对辅助目标更新相对目标的位置与速度为
$ \begin{align} \begin{cases} u_i^{(t)} = \hat{x}^{(t)}-x_{A_i}^{(t)} \\ v_i^{(t)} = u_i^{(t)}-u_i^{(t-1)} \end{cases}, \quad\ \ i=1, 2, \cdots, n \end{align} $
(23) 辅助目标的权值是随时间变化的, 在被选择成为候选辅助目标时设立相同的初始权值$w^{(0)}$.为了挑选出有效的辅助目标而避免将无效的辅助目标用于对目标预测, 将$w^{(0)}$设为一个较小的值, 辅助目标成为候选辅助目标后不会立刻成为有效辅助目标.若在跟踪过程中, 辅助目标与目标的运动关系一直稳定, 该辅助目标的权值会逐渐上升, 权值达到阈值$T_w$时, 说明该辅助目标与目标的依赖关系强, 该辅助目标成为有效的辅助目标. $w^{(0)}$越小, 则辅助目标成为有效辅助目标所需的时间越长.有效辅助目标的要求越严格, 有效辅助目标在目标跟踪过程中发挥的作用越大.对每个辅助目标的权值更新应使得预测误差最小, 为$\mathop{\min}_{w}[1-P(\hat{x}|\hat{x}_{A_i})]$.
$ \begin{align} \frac{\partial P(\hat{x}|\hat{x}_{A_i})}{\partial w_i} = \frac{1}{\pi} {\rm e}^{-w_i\|\hat{x}-\hat{x}_{A_i}\|^2} (1 - w_i\|\hat{x}-\hat{x}_{{ A}_i}\|_2^2) \end{align} $
(24) 当$w_i={1}/{\|\hat{x}-\hat{x}_{A_i}\|_2^2+\epsilon}$时, $P(\hat{x}|\hat{x}_{A_i})$取最大值, $1-P(\hat{x}|\hat{x}_{A_i})$取最小值.其中$\epsilon$是一个较小的常数.给定更新系数$\theta_w$, 有
$ \begin{align} w_i^{(t)} = \frac{w_i^{(t-1)}}{\theta_w + (1 -\theta_w) w_i^{(t-1)} (\|\hat{x}-\hat{x}_{A_i}\|_2^2 + \epsilon)} \end{align} $
(25) 本文提出的辅助目标跟踪和目标预测方法可以与其他目标跟踪器结合使用.
3.5 计算复杂度分析
设目标跟踪器的计算复杂度为O(B), 即式(4)与式(8)的总计算复杂度.设辅助目标最大数量为$N$, 有效辅助目标数量为$M$, 在跟踪过程中$M$是变化的, 但$M \leq N$.设图像尺寸为$H$和$W$, 目标尺寸为$S_h$和$S_w$, 则所有辅助目标选择的计算复杂度为O(HW), 本方法中辅助目标平均尺寸约等于目标尺寸, 设Mean shift算法迭代次数为$T$, 则Mean shift算法时间复杂度为O$(TS_hS_w)$, 式(5)的计算复杂度为O$(NTS_hS_w)$.设目标搜索区域为目标尺寸的k $(k < T)$倍, 则式(6)即式(17)的计算复杂度为O$(kMS_hS_w)$, 式(7)的计算复杂度为O$(kS_hS_w)$, 式(9)的复杂度为O$(M)$.因此, 本文跟踪算法的总计算复杂度为O$(B+HW+TNS_hS_w)$.使用辅助目标的计算复杂度与图像尺寸、目标尺寸、辅助目标数量和辅助目标跟踪时Mean shift算法迭代次数有关.当图像尺寸$H$和$W$为固定值时, 辅助目标数量较少时算法的总计算复杂度受目标跟踪器计算复杂度O(B)影响较大, 辅助目标数量较多时算法的总计算复杂度受辅助目标数量影响较大O$(TNS_hS_w)$.本文使用辅助目标跟踪目标设定的辅助目标最大数量为N=20.
4. 实验结果与分析
对使用辅助目标的目标跟踪方法(Auxiliary objects for visual tracking, AOT)进行了本文方法特点实验和跟踪性能对比实验.在本文方法特点实验中分别使用核化相关滤波算法与粒子滤波算法作为目标跟踪器, 与AOT方法组合成基于辅助目标的相关滤波算法(Kernelized correlation filters based on auxiliary objects for visual tracking, KCFAOT)和基于辅助目标的粒子滤波算法(Particle filters based on auxiliary objects for visual tracking, PFAOT).在对比实验中, 使用KCFAOT与12种跟踪算法在50个测试视频上进行了比较.实验在Intel Core i3-3220 3.30 GHz处理器, 内存为4 GB, 64位操作系统的计算机上, 使用MATLAB 2012执行.测试视频来源于一个数据集[26].比较的算法有KCF[36]、CT[44]、Frag[45]、DFT[46]、IVT[13]、CPF[47]、ASLA[48]、CXT[28]、KMS[49]、L1APG[50]、LOT[9]、TLD[19]. KCFAOT的KCF使用HOG特征与高斯核跟踪目标, 使用Mean shift跟踪辅助目标.使用的参数为:辅助目标最大数量$N=20$, $T_w = 0.04$, $k_{d}=8$, $w^{(0)}=0.01$, $\theta_w=0.8$, 颜色空间为RGB, 量化成$16 \times 16 \times 16$, 本文提出的KCFAOT方法在最大辅助目标数量时的平均帧率为FPS=5.
4.1 AOT方法特点实验与分析
为了验证算法的正确性与可靠性, 首先对算法在跟踪过程中的辅助目标状态进行分析测试, 分析了AOT方法运行过程中辅助目标的变化情况, 以及方法效率与性能与辅助目标数量之间的关系.然后对KCFAOT算法在不同环境下目标跟踪效果进行了实验以验证本文方法的鲁棒性.
4.1.1 辅助目标实验与分析
为了检验辅助目标的有效性, 分别从跟踪过程中辅助目标数量和权值变化两方面考察辅助目标状态变化情况, 然后考察辅助目标数量对算法效率和精度的影响.
1) 辅助目标状态变化情况
KCFAOT在Bolt2视频1 ~ 293帧中每帧有效辅助目标数量变化曲线如图 7所示, 可以看出不同时刻用于预测目标位置的有效辅助目标的数量是不同的.在前4帧和第91帧有效辅助目标数量为0, 表示没有发现对目标跟踪有关联的辅助目标, 这时由基础跟踪器对目标进行跟踪.当出现有效辅助目标后, 辅助目标跟踪器与目标跟踪器同时发挥作用.
图 8给出了第10、180和290帧中有效辅助目标及其权值.辅助目标分布图中Voting result矩形框代表有效辅助目标, Auxiliary objects矩形框代表辅助目标预测的目标位置.直方图中横坐标表示辅助目标编号, 纵坐标表示辅助目标的权值.可以看出在跟踪过程中有效辅助目标的数量与权值是变化的.在第10帧时, 有效辅助目标数量为15个, 这些辅助目标可以描述场景的变化.在第180帧时, 目标受到严重干扰, 有效辅助目标数量为19个, 利用辅助目标可以预测目标的准确位置.在第290帧, 有效辅助目标数量为5个, 仍能准确预测目标位置.
图 8 Bolt2第10、180和290帧中有效辅助目标及其权值Fig. 8 The effective auxiliary objects in frames 10, 180 and 290 of video Bolt22) 辅助目标数量对算法效率和精度的影响
使用不同数量的辅助目标对KCFAOT和PFAOT方法在Bolt2视频中跟踪速度和精度的影响见表 1.跟踪速度使用每秒处理帧数(Frames per second, FPS)进行评价, 精度使用平均中心位置误差(Center location error, CLE)进行评价.
表 1 辅助目标对跟踪速度(帧/秒)和中心位置误差(像素)的影响Table 1 The effect of auxiliary objects number on speed (FPS) and precision (CLE)辅助目标数量 KCFAOT PFAOT FPS CLE FPS CLE 0 178.47 329.81 1.96 11.11 1 34.5 120.17 1.85 8.38 5 16.11 7.39 1.8 7.81 10 9.75 6.58 1.62 8.18 20 5.43 7.15 1.51 8.12 40 3.167 6.79 1.25 8.42 从表 1中可以看出, 当辅助目标数量为0时, 本文方法退化为KCF和PF算法, 对于Bolt2视频, KCF跟踪速度很快, 但跟踪时发生了明显错误, 导致误差较大, PF跟踪速度较慢, 但基本跟住了目标.使用辅助目标会降低目标跟踪的速度, 使用的辅助目标越多, 目标跟踪速度越慢, 速度下降得越慢.使用辅助目标能明显改善跟踪精度, 当辅助目标达到一定数量后, 跟踪精度稳定. KCF与PF的跟踪精度有明显差异.例如辅助目标数量为0时, KCF的中心位置误差为329.81, PF的中心位置误差为11.11.在使用辅助目标之后, 两者精度相近, 例如辅助目标数量为20时, KCFAOT中心位置误差为7.15, PFAOT中心位置误差为8.12.这表示辅助目标对跟踪精度的改善不依赖于目标跟踪器的性能, 说明辅助目标预测结果在目标跟踪中发挥更大作用.如图 3(a)中虚线框所示.
4.1.2 目标跟踪器与辅助目标融合实验与分析
KCFAOT与KCF在BlurBody视频1 ~ 334帧的实时中心位置误差曲线如图 9所示. KCF跟踪结果与辅助目标预测结果融合能减小目标跟踪误差.使用辅助目标对目标预测, 结合目标跟踪器能够将目标位置约束在一个目标位置区域内.在目标跟踪器得到了比较准确的目标位置时, 再次估计的目标位置会更准确.因为辅助目标受到环境影响仍有一定误差, 再次估计目标位置可能会增加误差, 但是误差增加量是受目标位置区域限制的.在目标跟踪器误差较大或发生错误时, 再次估计目标位置能对目标跟踪结果进行校正, 大幅度降低跟踪误差.
图 9 实时的中心位置误差曲线(BlurBody视频1 ~ 334帧)Fig. 9 The real-time error curves of CLE in frames 1 to 334 of BlurBody video单独使用目标跟踪器误差的累积是严重的, KCFAOT与KCF在BlurBody视频1 ~ 334帧的累计中心位置误差曲线如图 10所示.目标跟踪器的误差是不稳定的, 使用辅助目标限制目标位置区域后, 跟踪稳定.
图 10 累计中心位置误差曲线(BlurBody视频1 ~ 334帧)Fig. 10 The cumulative error curves of CLE in frames 1 to 334 of BlurBody video4.1.3 KCFAOT鲁棒性实验与分析
KCFAOT在KCF基础上使用了辅助目标协助跟踪目标, 利用周围环境对目标的影响构建辅助目标与目标的联系, 通过跟踪辅助目标对目标位置进行预测, 目标受到背景干扰、形变、遮挡和尺度变化等因素影响时仍有较好的跟踪效果.
1) 背景干扰, Basketball视频的第20、30、40、50帧如图 11所示.图中目标运动员被旁边两位运动员干扰, 目标跟踪器预测的目标位置偏离了真实位置, 使得目标中背景成分增加.使用辅助目标能预测出误差较小的目标位置区域, 使用融合方法能估计更接近真实的目标位置.使用更准确的目标位置去更新目标跟踪器能抑制由参数更新引起的漂移问题.
2) 形变, Couple视频的第30、70、100、140帧如图 12所示.图中跟踪目标发生了刚体形变, 且有一定的尺度变化, KCF出现了明显的错误, 使用辅助目标对KCF的错误进行校正.尽管辅助目标预测出的目标位置区域也受目标跟踪器影响, 融合得到的目标位置仍有误差, 但是这种误差被控制在一定范围内.
3) 遮挡, Girl视频的第400、430、460、500帧如图 13所示.图中目标被一个相似的物体逐渐遮挡. KCF方法在相似物品遮挡或完全遮挡时易发生漂移, 图中KCF漂移到遮挡物上, 使用辅助目标与目标建立稳定的关系之后对目标状态有约束, 目标被遮挡时, 对目标位置仍有较准确的估计, 短期的遮挡不会造成漂移.
4) 尺度突变, Woman视频的第555、565、575、585帧如图 14所示.图中视角突然变化导致了目标尺度剧烈变化KCF出现错误.虽然辅助目标无法对尺度进行校正, 但是仍然有辅助目标能帮助预测目标位置, 使得跟踪效果能得到改善.
KCF在大部分场景下有不错的跟踪效果, 只有在特殊影响因素或多种影响因素同时出现时, KCF会发生错误, 导致漂移.使用辅助目标能改善KCF目标跟踪方法的性能.辅助目标在目标跟踪过程中发挥作用, 辅助目标跟踪方法对背景干扰、形变、遮挡和尺度变化等因素具备鲁棒性.
4.2 跟踪性能对比实验与分析
本文方法与12种跟踪算法在50个视频下的跟踪结果进行了比较.两种评估标准分别为跟踪成功率和平均中心位置误差.跟踪成功率是指成功跟踪的帧数与总帧数的比值, 其中认为中心位置误差小于20的为跟踪成功.平均中心位置误差为所有帧的中心位置误差的均值.
4.2.1 50个视频下的跟踪成功率与平均中心位置误差比较与分析
在所有视频下的平均数据见表 2, 本文提出的KCFAOT以76.29%的平均成功率和42.56像素的平均位置误差的跟踪性能成为13种跟踪算法中第一名. 50个视频下的具体跟踪成功率数据见表 3, KCFAOT以38%的视频跟踪结果为第一, 72%的视频跟踪结果为前三名. 50个视频下的具体平均位置误差数据见表 4, KCFAOT以24%的视频跟踪结果为第一, 54%的视频跟踪结果为前三名.
表 2 所提出方法与12种跟踪算法在50个视频下的中心位置误差阈值为20像素的平均成功率(%)和平均中心位置误差(像素)比较Table 2 The performance of our method and 12 other trackers in 50 videos in terms of success rate (%) at 20 pixels threshold and mean center location error (pixels)评价标准 KCFAOT KCF CT Frag DFT IVT CPF ASLA CXT KMS L1APG LOT TLD 平均成功率 76.29 68.67 35.16 38.53 34.69 48.89 53.52 61.06 56.68 42.16 51.65 44.12 53.97 平均位置误差 42.56 63.64 90.71 107.77 112.24 97.69 53.39 69.74 69.37 - 92.86 - - "-"表示有判断目标丢失 表 3 KCFAOT与12种跟踪方法的成功率(%)结果对比Table 3 The overlap success rates (%) of KCFAOT and 12 other trackersKCFAOT KCF CT Frag DFT IVT CPF ASLA CXT KMS L1APG LOT TLD Basketball 98 92 9 82 89 33 74 60 4 62 31 64 48 Biker 46 46 48 37 46 44 48 46 70 44 44 44 39 Bird1 35 7 29 7 28 3 39 22 6 31 4 21 0 BlurBody 72 58 2 27 12 2 14 1 46 38 87 10 1 BlurOwl 55 23 7 16 11 5 17 7 99 54 10 8 63 Bolt 100 99 1 14 4 2 96 2 3 34 2 90 1 Bolt2 94 2 100 45 2 3 89 2 5 61 2 59 1 BlurCar3 92 99 22 54 11 17 14 11 100 15 32 29 78 BlurCar4 91 99 3 47 43 3 12 30 100 54 99 13 11 Board 62 68 5 50 9 5 26 17 4 48 4 10 8 Boy 100 100 66 57 49 33 100 44 96 99 93 67 100 Car2 99 100 42 39 13 100 80 100 100 7 100 8 92 Car24 100 100 55 21 11 100 60 100 100 17 100 39 97 CarDark 100 100 2 55 54 71 23 100 70 63 100 63 65 CarScale 79 81 64 68 65 78 67 73 70 56 65 47 63 Couple 74 26 31 91 9 9 85 23 64 11 61 64 22 Coupon 100 100 17 21 100 100 21 100 100 37 15 28 15 Crossing 100 100 100 40 68 100 88 100 56 100 25 41 57 Crowds 100 100 1 3 100 12 3 100 100 2 100 2 59 Dancer2 96 100 93 84 100 100 77 100 100 67 100 61 100 David 100 100 82 10 31 100 23 100 100 49 81 37 66 David3 96 100 40 79 75 75 55 72 16 98 46 98 35 Deer 99 82 1 15 31 3 7 4 80 54 72 25 28 Diving 57 54 5 18 25 30 73 37 20 75 20 46 19 Dog 100 99 99 86 72 15 86 100 100 62 94 90 82 DragonBaby 53 34 22 48 12 33 49 29 72 49 22 70 18 FaceOcc1 75 78 9 98 62 65 31 53 42 54 65 26 17 Fish 91 100 87 56 86 100 12 100 100 31 5 21 40 Football 17 80 62 98 84 79 18 75 80 15 80 99 79 Freeman3 92 91 10 61 65 76 93 100 100 51 75 60 83 Girl 98 86 69 65 30 47 75 100 94 54 100 64 94 Girl2 84 7 7 16 7 8 97 38 11 80 7 79 25 Gym 84 79 27 94 23 61 95 78 63 97 2 96 85 Human3 3 1 2 2 1 1 2 1 1 2 1 2 1 Human4 52 53 20 8 20 19 30 20 11 22 19 25 15 Human5 45 27 24 4 9 28 12 100 38 24 96 61 99 Human6 34 29 26 33 28 38 47 52 21 26 43 37 48 Lemming 54 49 1 47 52 17 87 17 77 81 17 79 80 Matrix 33 17 14 7 6 2 18 18 12 24 12 1 1 MotorRolling 5 5 4 7 4 3 4 5 2 5 3 5 10 RedTeam 100 100 100 26 47 100 79 100 44 19 100 21 57 Skater 98 93 98 59 48 98 96 98 100 94 84 95 90 Skater2 91 69 1 57 6 7 50 25 17 52 6 74 32 Skating2 60 38 6 11 5 9 48 24 4 28 3 57 2 Skiing 64 7 11 4 7 11 6 14 9 11 9 2 6 Sylvester 81 84 48 74 44 68 83 80 100 66 52 82 91 Trellis 97 100 37 37 51 35 23 91 86 35 18 31 43 Twinnings 99 90 99 64 83 58 59 73 62 69 93 68 80 Walking2 47 43 40 35 40 100 36 65 44 48 98 39 38 Woman 98 94 20 19 95 20 19 94 14 13 20 16 40 效果最好的用粗体标注 表 4 KCFAOT与12种跟踪方法的平均位置误差(像素)结果对比Table 4 The CLE (pixels) of KCFAOT and 12 other trackersKCFAOT KCF CT Frag DFT IVT CPF ASLA CXT KMS L1APG LOT TLD Basketball 7.1 8.07 100.58 11.52 18.03 88.21 55.34 102.48 171.16 76.11 137.81 69.23 - Biker 30.46 77.18 24.49 93.46 81.68 93.81 51.99 85.57 14.25 103.96 80.72 74.58 - Bird1 118.05 151.82 123.15 325.31 131.37 175.61 122.24 124.07 212.19 - 334.25 170.4 - BlurBody 16.03 64.03 87.12 37.79 259.16 167.37 45.91 145.89 22.74 27.33 12.05 94.57 - BlurOwl 65.83 183.43 109.42 223.42 111.12 166.78 62.16 108.41 6.63 24.91 176.33 83.44 - Bolt 7.63 6.74 379.41 258.83 367.28 377.62 12.43 390.85 376.59 109.46 408.53 13.68 - Bolt2 7.15 329.81 9.68 43.21 276.7 82.69 10.8 284.67 237.22 39.93 304.19 78.84 - BlurCar3 12.6 4.14 66.11 58.22 154.69 142.55 57.25 101.79 3.99 97.1 112.88 113.92 - BlurCar4 12.16 10.72 158.49 56.8 18.53 131.6 45.31 48.79 10.12 21.88 7.04 183.2 - Board 19.56 35.74 79.02 92.26 100.16 148.77 55.1 90.13 152.34 25.39 173.97 186.21 148.56 Boy 4.48 2.67 37.77 33.9 106.31 91.82 4.83 73.66 4.03 5.37 7.17 64.33 4.09 Car2 3.38 3.97 47.09 89.4 87.69 1.66 12.11 1.42 1.57 120.63 1.32 106.05 - Car24 5.83 4.41 77.14 127.07 165.62 1.36 26.01 2.53 2.29 - 2.24 87.82 - CarDark 5.86 5.76 121.4 37.72 58.85 19.29 42.13 0.98 21.63 28.78 1.16 28.49 - CarScale 12.88 16.14 77.39 15.03 75.75 11.4 30.41 15.31 25.01 39.81 79.95 99.69 - Couple 16.75 47.17 76.43 9.79 108.6 134.64 13.29 87.82 40.74 108.78 28.72 36.96 - Coupon 1.44 1.34 20.66 71.57 2.52 11.8 72.06 1.88 4.69 24.11 33.53 26.15 - Crossing 2.94 2.42 4.64 57.67 22.28 2.97 10.18 1.37 30.73 9.18 63.29 53.22 27.04 Crowds 4.91 3 413.86 371.33 3.33 236.36 369.35 4.26 4.44 364.21 4.61 394.52 - Dancer2 7.61 6.41 8.33 11.24 5.51 8.38 13.22 6.31 7.64 17.35 8.02 15.76 6.89 David 4.52 8.06 15.1 93.02 42.88 4.78 26.05 5.33 7.96 19.44 13.98 23.99 - David3 6.71 4.06 78.91 12.86 50.93 51.76 18.49 54.35 221.97 9.57 90.03 9.5 135.75 Deer 5.64 21.27 240.97 111.85 98.75 194.3 93.9 152.9 13.32 44.78 24.07 64.54 - Diving 27.96 42.22 98.97 84.74 50.57 74.89 17.73 80.79 66.14 15.7 95.76 36.99 - Dog 7.38 5.22 10.08 12.18 15.81 99.03 10.3 6.32 7.45 24.07 9.01 10.19 - DragonBaby 74.78 50.52 53.69 46.39 75.58 92.86 35.56 49.88 20.31 - 101.62 27.88 - FaceOcc1 15.82 14.83 36.1 11.17 23.59 18.74 27.8 37.74 22.62 18.97 17.82 34.5 33.48 Fish 9.41 4.08 9.39 22.73 8.84 5.09 39.16 3.81 5.93 29.3 29.64 34.16 - Football 230.41 14.8 22.17 5.51 9.29 14.56 181.72 15.26 13.38 105.89 15.19 6.81 14.29 Freeman3 9.34 19.57 38.31 58.3 32.6 36.07 6.3 3.58 3.42 83.81 33.31 40.22 - Girl 8.27 11.92 19.77 20.12 23.98 26.38 18.39 6.72 5.74 30.63 2.75 22.94 8.32 Girl2 35.29 264.55 103.47 257.63 236.34 209.21 8.31 86.98 135.45 14.68 220.53 34.13 - Gym 15.16 16.45 25.65 10.04 104.47 27.52 10.52 14.83 19.18 9.56 79.91 9.69 14.23 Human3 241.45 260.8 212.6 224.23 227.09 262.45 157.83 252.25 173.66 254.84 284.02 207.78 - Human4 130.56 131.46 295.71 310.21 245.91 295.95 202.23 308.54 327.55 - 319.63 212.91 - Human5 112.98 175.52 238.86 286.2 259.06 180.92 218.33 6.8 188.88 - 7.47 89.44 - Human6 83.42 107.67 53.24 84.19 131.11 115.03 23.11 79.22 87.48 205.11 63.6 43.05 - Lemming 81.61 77.97 141.85 98.84 77.75 184 11.48 185.26 27.71 14 177.44 20.41 - Matrix 144.89 76.42 98.9 163.58 105.78 97.26 136.88 55.14 162.7 50.51 62.01 - - MotorRolling 167.49 228.06 167.86 142.22 174.17 169.64 155.46 190.88 142.5 147.97 207.11 133.19 - RedTeam 4.32 3.81 5.17 54.9 50.26 2.83 13.88 3.02 29.85 122.59 4.26 69.74 - Skater 10.18 10.94 8.27 24.25 46.03 9.14 8.8 7.84 6.86 11.33 14.21 9.23 11.27 Skater2 10.48 18.07 63.11 20.02 125.04 63.86 23.09 37.08 56.95 24.57 110.4 15.71 - Skating2 20.48 30.76 64.53 126.57 259.39 157.18 24.85 45.32 203.63 31.19 189.21 22.71 - Skiing 31.22 260.45 265.01 271.52 276.2 276.76 256.2 252.66 145.09 265.3 265.73 248.51 - Sylvester 13.65 13.3 37.08 14.4 44.88 36.75 14.16 19.71 5.79 18.24 25.97 11.68 9.88 Trellis 12.99 8.21 34.92 63.65 44.87 108.55 43.9 5.46 10.44 46.52 61.96 51.09 - Twinnings 4.94 6.67 10.35 16.03 12.6 16.73 21.09 12.43 18.09 19.44 10.79 28.74 - Walking2 26.27 29.57 62.06 57.31 29.09 4.19 55.02 29.91 34 44.98 4.7 64.56 - Woman 6.22 10.09 120.16 106.69 8.5 188.89 120.59 10.22 120.05 130.24 128.51 130.56 - 效果最好的用粗体标注 使用辅助目标跟踪方法与目标跟踪器结果融合可提高目标跟踪的精度.例如Basketball, Skater和Twinnings等视频, KCF已经有超过90%的成功率, 使用辅助目标跟踪后预测的目标位置区域比较准确, 融合算法提高了跟踪成功率, 降低了平均位置误差.辅助目标跟踪器在目标跟踪器不稳定(有时能跟踪成功有时位置误差很大的)情况下能抑制误差, 例如BlurBody, BlurOwl和Couple等视频, 本文提出的辅助目标跟踪方法虽然未能准确跟踪住目标, 但是大幅度降低了跟踪误差.在目标跟踪器发生跟踪错误时, 使用辅助目标能校正目标跟踪器的错误, 例如Bolt2, Girl2和Skiing等视频, 在目标跟踪器性能较差时, 辅助目标跟踪仍然取得了较好的跟踪结果.所提出方法在Skater2, Skating2和Skiing等图像取得第一, 因为利用了目标与动态背景的潜在关系, 所以在目标变化幅度很大时取得了比其他12个跟踪算法更优秀的性能.本文方法因为使用颜色特征分割选择辅助目标、跟踪辅助目标以及融合辅助目标预测结果, 所以在部分场景跟踪性能受到约束, 但是本文方法可以退化为普通的目标跟踪, 例如在CarDark, Coupon和Crowds等视频辅助目标发挥的作用有限, 仍能保持100%的跟踪成功率.
对于Bird1视频, 使用辅助目标在正常跟踪过程中取得不错的性能, 但是在长期遮挡之后, 本文提出的方法未能重新检测到正确目标, 但平均位置误差降低.在Human3和MotorRolling等视频中, 视频影响因素比较复杂, 所提出方法与其他12种方法都未能进行有效跟踪.在Football视频中, 辅助目标跟踪方法受颜色特征的影响, 在图像颜色接近时导致漂移, 结果造成了最低的性能.辅助目标跟踪方法不能预测目标尺度, 目标尺度变化会对目标位置预测造成误差, 导致CarScale和David3等视频跟踪误差上升.
总体上, 使用辅助目标跟踪方法能在大部分视频取得不错的跟踪结果, 能有效降低目标跟踪器的误差.
4.2.2 不同影响因素下的比较与分析
50个测试视频共有11个属性, 包括光照变化(Illumination variation, IV)、尺度变化(Scale variation, SV)、遮挡(Occlusion)、形变(Deformation)、运动模糊(Motion blur, MB)、快速运动(Fast motion, FM)、内平面旋转(In-plane rotation, IPR)、外平面旋转(Out-of-plane rotation, OPR)、目标出视场(Out-of-view, OV)、背景干扰(Background clutters, BC)、低分辨率(Low resolution, LR).其属性统计见表 5.
表 5 测试视频属性统计Table 5 The counts for the attitudes of test videos视频属性 IV SV OCC DEF MB FM IPR OPR OV BC LR 视频数量 15 34 22 24 14 21 21 29 6 17 5 在不同视频属性下的平均成功率与平均位置误差见表 6和表 7, 其中性能最优的用粗体标注.可以看出提出的KCFAOT方法成功率最高, 平均位置误差最低. KCFAOT在大部分影响因素下都拥有优秀的性能.在目标自身变化很大, 目标跟踪器发生错误, 背景相对稳定的情况下能进行有效的校正.由于辅助目标部分主要使用基本的颜色特征, 在光照变化快, 目标与背景颜色接近时会有错误的判断, 目标融合和辅助目标自身的跟踪都有较大的误差.在目标发生长期完全遮挡(出视场)时, 部分辅助目标被遮挡, 新挑选的辅助目标与目标关系不可靠, 辅助目标会随着基础跟踪器长期错误判断逐渐失效. KCFAOT没有自适应的尺度变化, 对于尺度变化相对较大的图像, 会在跟踪过程中变成跟踪目标的局部, 误差会逐渐增大.总体上看辅助目标在大部分视频中提升了目标跟踪器的性能.
表 6 不同方法不同视频属性下的平均成功率(%)Table 6 The average success rates (%) of different trackers in different videos平均成功率 KCFAOT KCF CT Frag DFT IVT CPF ASLA CXT KMS L1APG LOT TLD 总计 76.29 68.67 35.16 38.53 34.69 48.89 53.52 61.06 56.68 42.16 51.65 44.12 53.97 IV 86.27 85.64 36.43 36.98 40.23 62.92 54.5 76.9 76.59 36.54 59.11 43.13 71.28 SV 73.94 64.03 36.38 31.38 27.18 48.47 55.68 60.9 54.58 40.05 52.75 41.64 56.48 OCC 65.84 56.02 30.46 33.22 37.51 42.21 51.68 54.18 35.99 40.28 44 44.97 41.74 DEF 65.83 46.98 22.04 29.19 28.03 24.8 49.21 46.09 26.11 42.76 28.87 47.63 34.96 MB 82.02 62.57 24.14 30.78 24.65 29.73 51.21 45.96 57.26 48.69 44.39 34.39 46.75 FM 69.1 61.26 20.95 37.89 30.96 26.79 50.49 38.34 55.32 44.66 38.94 36.61 49 IPR 83.75 80.97 48.82 46.96 36.87 56.44 64.21 68.05 68.99 50.34 56.92 51.96 62.85 OPR 73.19 64.25 36.65 43.41 38.45 42.12 61.68 57.6 47.64 49.64 41.33 52.14 52.08 OV 48.38 42.53 13.61 39.5 33.48 19.29 57.5 27.06 41.02 53.6 20.09 47.09 45.4 BC 75.23 73.75 32.04 32.97 29.24 56.03 42.38 66.21 59.2 26.01 55.89 32.2 53.7 LR 82.18 81.07 78.5 26.51 42.76 89.02 63.69 82.97 44.08 25.73 90.34 24.76 49.27 表 7 不同方法不同视频属性下的均位置误差(像素)Table 7 The CLE (pixels) of different trackers in different videos平均位置误差 KCFAOT KCF CT Frag DFT IVT CPF ASLA CXT KMS L1APG LOT TLD 总计 42.56 63.64 90.71 107.77 112.24 97.69 53.39 69.74 69.37 - 92.86 - - IV 27.28 28.34 101.56 106.46 95.07 79.25 56.26 56.55 48.16 - 70.23 - - SV 47.56 74.49 89.47 119.71 127.29 102.67 50.42 69.81 68.08 - 94.76 - - OCC 67.08 92.03 108.12 127.01 122.41 129.72 65.4 97.11 107.06 - 126.09 - - DEF 68.53 119.62 134.71 158.55 161.94 163.45 83.07 114.44 139.42 - 162.43 94.91 - MB 25.08 91.08 84.77 129.95 124.54 131.5 40.86 68.78 62.31 - 108.69 91.88 - FM 41.7 58.17 89.35 99.84 108.15 126.23 43.05 84.66 63.31 - 112.59 - - IPR 26.33 30.69 55.28 63.16 83.94 66.27 32.75 47.52 34.93 - 60.3 - - OPR 49.95 70.87 73.77 88.79 99.27 105.91 42.55 71.82 72.25 - 105.91 - - OV 71.56 83.98 99.35 118.76 100.71 153.69 38.23 126.56 87 - 162.85 78.7 - BC 58 64.08 105.81 117.38 123.86 86.74 73.6 72.61 71.5 - 90.97 - - LR 19.19 25.75 31.87 63.86 56.57 22.35 33.52 26.85 35.99 107.27 20.63 72.65 - 5. 结论
本文提出目标跟踪过程中辅助目标的选择、跟踪和更新方法.将辅助目标作为目标的动态背景描述.在动态背景中挖掘有利于目标跟踪的上下文信息, 建立辅助目标与目标之间的运动依赖关系.通过辅助目标自适应选择、跟踪、目标位置预测机制和参数更新, 使基于辅助目标的目标跟踪方法在目标跟踪过程中一直追寻目标周围的背景变化, 使方法在复杂环境下具有鲁棒性.利用辅助目标的多样性, 使用多个辅助目标预测目标的位置, 实现用多个低精度辅助目标跟踪获得良好的目标预测结果的目的.将辅助目标跟踪器预测结果与目标跟踪器预测结果融合, 有效地抑制了目标漂移.本文方法不依赖于具体的目标跟踪器, 可以与不同的目标跟踪方法结合使用, 具有推广能力.实验结果表明, 辅助目标在目标跟踪中发挥重要作用, 与多种目标跟踪方法对比, 结果表明本文方法有良好的跟踪性能.本文方法在目标发生大幅度尺度变化与长期遮挡时, 辅助目标与目标直接的关系会不稳定, 本文方法通过更新辅助目标的作用权值淘汰所有辅助目标, 即没有辅助目标参与目标跟踪过程, 方法退化为一般的KCF目标跟踪方法.在下一步的工作中将研究辅助目标的重检测方法, 用来在大尺度变化或长期遮挡情况结束后自主恢复辅助目标跟踪.
-
图 2 用辅助目标跟踪的目标跟踪方法的框架
Fig. 2 The framework of the target tracking with auxiliary objects
图 8 Bolt2第10、180和290帧中有效辅助目标及其权值
Fig. 8 The effective auxiliary objects in frames 10, 180 and 290 of video Bolt2
图 9 实时的中心位置误差曲线(BlurBody视频1 ~ 334帧)
Fig. 9 The real-time error curves of CLE in frames 1 to 334 of BlurBody video
图 10 累计中心位置误差曲线(BlurBody视频1 ~ 334帧)
Fig. 10 The cumulative error curves of CLE in frames 1 to 334 of BlurBody video
表 1 辅助目标对跟踪速度(帧/秒)和中心位置误差(像素)的影响
Table 1 The effect of auxiliary objects number on speed (FPS) and precision (CLE)
辅助目标数量 KCFAOT PFAOT FPS CLE FPS CLE 0 178.47 329.81 1.96 11.11 1 34.5 120.17 1.85 8.38 5 16.11 7.39 1.8 7.81 10 9.75 6.58 1.62 8.18 20 5.43 7.15 1.51 8.12 40 3.167 6.79 1.25 8.42 
下载: 导出CSV
表 2 所提出方法与12种跟踪算法在50个视频下的中心位置误差阈值为20像素的平均成功率(%)和平均中心位置误差(像素)比较
Table 2 The performance of our method and 12 other trackers in 50 videos in terms of success rate (%) at 20 pixels threshold and mean center location error (pixels)
评价标准 KCFAOT KCF CT Frag DFT IVT CPF ASLA CXT KMS L1APG LOT TLD 平均成功率 76.29 68.67 35.16 38.53 34.69 48.89 53.52 61.06 56.68 42.16 51.65 44.12 53.97 平均位置误差 42.56 63.64 90.71 107.77 112.24 97.69 53.39 69.74 69.37 - 92.86 - - "-"表示有判断目标丢失
下载: 导出CSV
表 3 KCFAOT与12种跟踪方法的成功率(%)结果对比
Table 3 The overlap success rates (%) of KCFAOT and 12 other trackers
KCFAOT KCF CT Frag DFT IVT CPF ASLA CXT KMS L1APG LOT TLD Basketball 98 92 9 82 89 33 74 60 4 62 31 64 48 Biker 46 46 48 37 46 44 48 46 70 44 44 44 39 Bird1 35 7 29 7 28 3 39 22 6 31 4 21 0 BlurBody 72 58 2 27 12 2 14 1 46 38 87 10 1 BlurOwl 55 23 7 16 11 5 17 7 99 54 10 8 63 Bolt 100 99 1 14 4 2 96 2 3 34 2 90 1 Bolt2 94 2 100 45 2 3 89 2 5 61 2 59 1 BlurCar3 92 99 22 54 11 17 14 11 100 15 32 29 78 BlurCar4 91 99 3 47 43 3 12 30 100 54 99 13 11 Board 62 68 5 50 9 5 26 17 4 48 4 10 8 Boy 100 100 66 57 49 33 100 44 96 99 93 67 100 Car2 99 100 42 39 13 100 80 100 100 7 100 8 92 Car24 100 100 55 21 11 100 60 100 100 17 100 39 97 CarDark 100 100 2 55 54 71 23 100 70 63 100 63 65 CarScale 79 81 64 68 65 78 67 73 70 56 65 47 63 Couple 74 26 31 91 9 9 85 23 64 11 61 64 22 Coupon 100 100 17 21 100 100 21 100 100 37 15 28 15 Crossing 100 100 100 40 68 100 88 100 56 100 25 41 57 Crowds 100 100 1 3 100 12 3 100 100 2 100 2 59 Dancer2 96 100 93 84 100 100 77 100 100 67 100 61 100 David 100 100 82 10 31 100 23 100 100 49 81 37 66 David3 96 100 40 79 75 75 55 72 16 98 46 98 35 Deer 99 82 1 15 31 3 7 4 80 54 72 25 28 Diving 57 54 5 18 25 30 73 37 20 75 20 46 19 Dog 100 99 99 86 72 15 86 100 100 62 94 90 82 DragonBaby 53 34 22 48 12 33 49 29 72 49 22 70 18 FaceOcc1 75 78 9 98 62 65 31 53 42 54 65 26 17 Fish 91 100 87 56 86 100 12 100 100 31 5 21 40 Football 17 80 62 98 84 79 18 75 80 15 80 99 79 Freeman3 92 91 10 61 65 76 93 100 100 51 75 60 83 Girl 98 86 69 65 30 47 75 100 94 54 100 64 94 Girl2 84 7 7 16 7 8 97 38 11 80 7 79 25 Gym 84 79 27 94 23 61 95 78 63 97 2 96 85 Human3 3 1 2 2 1 1 2 1 1 2 1 2 1 Human4 52 53 20 8 20 19 30 20 11 22 19 25 15 Human5 45 27 24 4 9 28 12 100 38 24 96 61 99 Human6 34 29 26 33 28 38 47 52 21 26 43 37 48 Lemming 54 49 1 47 52 17 87 17 77 81 17 79 80 Matrix 33 17 14 7 6 2 18 18 12 24 12 1 1 MotorRolling 5 5 4 7 4 3 4 5 2 5 3 5 10 RedTeam 100 100 100 26 47 100 79 100 44 19 100 21 57 Skater 98 93 98 59 48 98 96 98 100 94 84 95 90 Skater2 91 69 1 57 6 7 50 25 17 52 6 74 32 Skating2 60 38 6 11 5 9 48 24 4 28 3 57 2 Skiing 64 7 11 4 7 11 6 14 9 11 9 2 6 Sylvester 81 84 48 74 44 68 83 80 100 66 52 82 91 Trellis 97 100 37 37 51 35 23 91 86 35 18 31 43 Twinnings 99 90 99 64 83 58 59 73 62 69 93 68 80 Walking2 47 43 40 35 40 100 36 65 44 48 98 39 38 Woman 98 94 20 19 95 20 19 94 14 13 20 16 40 效果最好的用粗体标注
下载: 导出CSV
表 4 KCFAOT与12种跟踪方法的平均位置误差(像素)结果对比
Table 4 The CLE (pixels) of KCFAOT and 12 other trackers
KCFAOT KCF CT Frag DFT IVT CPF ASLA CXT KMS L1APG LOT TLD Basketball 7.1 8.07 100.58 11.52 18.03 88.21 55.34 102.48 171.16 76.11 137.81 69.23 - Biker 30.46 77.18 24.49 93.46 81.68 93.81 51.99 85.57 14.25 103.96 80.72 74.58 - Bird1 118.05 151.82 123.15 325.31 131.37 175.61 122.24 124.07 212.19 - 334.25 170.4 - BlurBody 16.03 64.03 87.12 37.79 259.16 167.37 45.91 145.89 22.74 27.33 12.05 94.57 - BlurOwl 65.83 183.43 109.42 223.42 111.12 166.78 62.16 108.41 6.63 24.91 176.33 83.44 - Bolt 7.63 6.74 379.41 258.83 367.28 377.62 12.43 390.85 376.59 109.46 408.53 13.68 - Bolt2 7.15 329.81 9.68 43.21 276.7 82.69 10.8 284.67 237.22 39.93 304.19 78.84 - BlurCar3 12.6 4.14 66.11 58.22 154.69 142.55 57.25 101.79 3.99 97.1 112.88 113.92 - BlurCar4 12.16 10.72 158.49 56.8 18.53 131.6 45.31 48.79 10.12 21.88 7.04 183.2 - Board 19.56 35.74 79.02 92.26 100.16 148.77 55.1 90.13 152.34 25.39 173.97 186.21 148.56 Boy 4.48 2.67 37.77 33.9 106.31 91.82 4.83 73.66 4.03 5.37 7.17 64.33 4.09 Car2 3.38 3.97 47.09 89.4 87.69 1.66 12.11 1.42 1.57 120.63 1.32 106.05 - Car24 5.83 4.41 77.14 127.07 165.62 1.36 26.01 2.53 2.29 - 2.24 87.82 - CarDark 5.86 5.76 121.4 37.72 58.85 19.29 42.13 0.98 21.63 28.78 1.16 28.49 - CarScale 12.88 16.14 77.39 15.03 75.75 11.4 30.41 15.31 25.01 39.81 79.95 99.69 - Couple 16.75 47.17 76.43 9.79 108.6 134.64 13.29 87.82 40.74 108.78 28.72 36.96 - Coupon 1.44 1.34 20.66 71.57 2.52 11.8 72.06 1.88 4.69 24.11 33.53 26.15 - Crossing 2.94 2.42 4.64 57.67 22.28 2.97 10.18 1.37 30.73 9.18 63.29 53.22 27.04 Crowds 4.91 3 413.86 371.33 3.33 236.36 369.35 4.26 4.44 364.21 4.61 394.52 - Dancer2 7.61 6.41 8.33 11.24 5.51 8.38 13.22 6.31 7.64 17.35 8.02 15.76 6.89 David 4.52 8.06 15.1 93.02 42.88 4.78 26.05 5.33 7.96 19.44 13.98 23.99 - David3 6.71 4.06 78.91 12.86 50.93 51.76 18.49 54.35 221.97 9.57 90.03 9.5 135.75 Deer 5.64 21.27 240.97 111.85 98.75 194.3 93.9 152.9 13.32 44.78 24.07 64.54 - Diving 27.96 42.22 98.97 84.74 50.57 74.89 17.73 80.79 66.14 15.7 95.76 36.99 - Dog 7.38 5.22 10.08 12.18 15.81 99.03 10.3 6.32 7.45 24.07 9.01 10.19 - DragonBaby 74.78 50.52 53.69 46.39 75.58 92.86 35.56 49.88 20.31 - 101.62 27.88 - FaceOcc1 15.82 14.83 36.1 11.17 23.59 18.74 27.8 37.74 22.62 18.97 17.82 34.5 33.48 Fish 9.41 4.08 9.39 22.73 8.84 5.09 39.16 3.81 5.93 29.3 29.64 34.16 - Football 230.41 14.8 22.17 5.51 9.29 14.56 181.72 15.26 13.38 105.89 15.19 6.81 14.29 Freeman3 9.34 19.57 38.31 58.3 32.6 36.07 6.3 3.58 3.42 83.81 33.31 40.22 - Girl 8.27 11.92 19.77 20.12 23.98 26.38 18.39 6.72 5.74 30.63 2.75 22.94 8.32 Girl2 35.29 264.55 103.47 257.63 236.34 209.21 8.31 86.98 135.45 14.68 220.53 34.13 - Gym 15.16 16.45 25.65 10.04 104.47 27.52 10.52 14.83 19.18 9.56 79.91 9.69 14.23 Human3 241.45 260.8 212.6 224.23 227.09 262.45 157.83 252.25 173.66 254.84 284.02 207.78 - Human4 130.56 131.46 295.71 310.21 245.91 295.95 202.23 308.54 327.55 - 319.63 212.91 - Human5 112.98 175.52 238.86 286.2 259.06 180.92 218.33 6.8 188.88 - 7.47 89.44 - Human6 83.42 107.67 53.24 84.19 131.11 115.03 23.11 79.22 87.48 205.11 63.6 43.05 - Lemming 81.61 77.97 141.85 98.84 77.75 184 11.48 185.26 27.71 14 177.44 20.41 - Matrix 144.89 76.42 98.9 163.58 105.78 97.26 136.88 55.14 162.7 50.51 62.01 - - MotorRolling 167.49 228.06 167.86 142.22 174.17 169.64 155.46 190.88 142.5 147.97 207.11 133.19 - RedTeam 4.32 3.81 5.17 54.9 50.26 2.83 13.88 3.02 29.85 122.59 4.26 69.74 - Skater 10.18 10.94 8.27 24.25 46.03 9.14 8.8 7.84 6.86 11.33 14.21 9.23 11.27 Skater2 10.48 18.07 63.11 20.02 125.04 63.86 23.09 37.08 56.95 24.57 110.4 15.71 - Skating2 20.48 30.76 64.53 126.57 259.39 157.18 24.85 45.32 203.63 31.19 189.21 22.71 - Skiing 31.22 260.45 265.01 271.52 276.2 276.76 256.2 252.66 145.09 265.3 265.73 248.51 - Sylvester 13.65 13.3 37.08 14.4 44.88 36.75 14.16 19.71 5.79 18.24 25.97 11.68 9.88 Trellis 12.99 8.21 34.92 63.65 44.87 108.55 43.9 5.46 10.44 46.52 61.96 51.09 - Twinnings 4.94 6.67 10.35 16.03 12.6 16.73 21.09 12.43 18.09 19.44 10.79 28.74 - Walking2 26.27 29.57 62.06 57.31 29.09 4.19 55.02 29.91 34 44.98 4.7 64.56 - Woman 6.22 10.09 120.16 106.69 8.5 188.89 120.59 10.22 120.05 130.24 128.51 130.56 - 效果最好的用粗体标注
下载: 导出CSV
表 5 测试视频属性统计
Table 5 The counts for the attitudes of test videos
视频属性 IV SV OCC DEF MB FM IPR OPR OV BC LR 视频数量 15 34 22 24 14 21 21 29 6 17 5
下载: 导出CSV
表 6 不同方法不同视频属性下的平均成功率(%)
Table 6 The average success rates (%) of different trackers in different videos
平均成功率 KCFAOT KCF CT Frag DFT IVT CPF ASLA CXT KMS L1APG LOT TLD 总计 76.29 68.67 35.16 38.53 34.69 48.89 53.52 61.06 56.68 42.16 51.65 44.12 53.97 IV 86.27 85.64 36.43 36.98 40.23 62.92 54.5 76.9 76.59 36.54 59.11 43.13 71.28 SV 73.94 64.03 36.38 31.38 27.18 48.47 55.68 60.9 54.58 40.05 52.75 41.64 56.48 OCC 65.84 56.02 30.46 33.22 37.51 42.21 51.68 54.18 35.99 40.28 44 44.97 41.74 DEF 65.83 46.98 22.04 29.19 28.03 24.8 49.21 46.09 26.11 42.76 28.87 47.63 34.96 MB 82.02 62.57 24.14 30.78 24.65 29.73 51.21 45.96 57.26 48.69 44.39 34.39 46.75 FM 69.1 61.26 20.95 37.89 30.96 26.79 50.49 38.34 55.32 44.66 38.94 36.61 49 IPR 83.75 80.97 48.82 46.96 36.87 56.44 64.21 68.05 68.99 50.34 56.92 51.96 62.85 OPR 73.19 64.25 36.65 43.41 38.45 42.12 61.68 57.6 47.64 49.64 41.33 52.14 52.08 OV 48.38 42.53 13.61 39.5 33.48 19.29 57.5 27.06 41.02 53.6 20.09 47.09 45.4 BC 75.23 73.75 32.04 32.97 29.24 56.03 42.38 66.21 59.2 26.01 55.89 32.2 53.7 LR 82.18 81.07 78.5 26.51 42.76 89.02 63.69 82.97 44.08 25.73 90.34 24.76 49.27
下载: 导出CSV
表 7 不同方法不同视频属性下的均位置误差(像素)
Table 7 The CLE (pixels) of different trackers in different videos
平均位置误差 KCFAOT KCF CT Frag DFT IVT CPF ASLA CXT KMS L1APG LOT TLD 总计 42.56 63.64 90.71 107.77 112.24 97.69 53.39 69.74 69.37 - 92.86 - - IV 27.28 28.34 101.56 106.46 95.07 79.25 56.26 56.55 48.16 - 70.23 - - SV 47.56 74.49 89.47 119.71 127.29 102.67 50.42 69.81 68.08 - 94.76 - - OCC 67.08 92.03 108.12 127.01 122.41 129.72 65.4 97.11 107.06 - 126.09 - - DEF 68.53 119.62 134.71 158.55 161.94 163.45 83.07 114.44 139.42 - 162.43 94.91 - MB 25.08 91.08 84.77 129.95 124.54 131.5 40.86 68.78 62.31 - 108.69 91.88 - FM 41.7 58.17 89.35 99.84 108.15 126.23 43.05 84.66 63.31 - 112.59 - - IPR 26.33 30.69 55.28 63.16 83.94 66.27 32.75 47.52 34.93 - 60.3 - - OPR 49.95 70.87 73.77 88.79 99.27 105.91 42.55 71.82 72.25 - 105.91 - - OV 71.56 83.98 99.35 118.76 100.71 153.69 38.23 126.56 87 - 162.85 78.7 - BC 58 64.08 105.81 117.38 123.86 86.74 73.6 72.61 71.5 - 90.97 - - LR 19.19 25.75 31.87 63.86 56.57 22.35 33.52 26.85 35.99 107.27 20.63 72.65 -
下载: 导出CSV
-
[1] Yilmaz A, Javed O, Shah M. Object tracking:a survey. ACM Computing Surveys, 2006, 38(4):Article No.13 doi: 10.1145/1177352 [2] Li X, Hu W M, Shen C H, Zhang Z F, Dick A, van den Hengel A. A survey of appearance models in visual object tracking. ACM Transactions on Intelligent Systems and Technology, 2013, 4(4):Article No.58 [3] Liu Q, Zhao X G, Hou Z G. Survey of single-target visual tracking methods based on online learning. Computer Vision, 2014, 8(5):419-428 doi: 10.1049/iet-cvi.2013.0134 [4] Smeulders A, Chu D M, Cucchiara R. Visual tracking:an experimental survey. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2014, 36(7):1442-1468 doi: 10.1109/TPAMI.2013.230 [5] 尹宏鹏, 陈波, 柴毅, 刘兆栋.基于视觉的目标检测与跟踪综述.自动化学报, 2016, 42(10):1466-1489 http://www.aas.net.cn/CN/abstract/abstract18935.shtmlYin Hong-Peng, Chen Bo, Chai Yi, Liu Zhao-Dong. Vision-based object detection and tracking:a review. Acta Electronica Sinica, 2016, 42(10):1466-1489 http://www.aas.net.cn/CN/abstract/abstract18935.shtml [6] Comaniciu D, Ramesh V, Meer P. Real-time tracking of non-rigid objects using mean shift. In:Proceedings of the 2000 IEEE Conference on Computer Vision and Pattern Recognition. Hilton Head, SC, USA:IEEE, 2000. 2142-2151 [7] Vojir T, Noskova J, Matas J. Robust scale-adaptive mean-shift for tracking. In:Proceedings of the 2013 Scandinavian Conference on Image Analysis. Berlin, Germany:Heidelberg Springer, 2013. 652-663 [8] Zhou S K, Chellappa R, Moghaddam B. Visual tracking and recognition using appearance-adaptive models in particle filters. IEEE Transactions on Image Processing, 2004, 13(11):1491-1506 doi: 10.1109/TIP.2004.836152 [9] Oron S, Bar-Hillel A, Levi D, Avidan S. Locally orderless tracking. International Journal of Computer Vision, 2015, 111(2):213-228 doi: 10.1007/s11263-014-0740-6 [10] Delabarre B, Marchand E. Dense non-rigid visual tracking with a robust similarity function. In:Proceedings of the 2014 IEEE International Conference on Image Processing (ICIP). Paris, France:IEEE, 2014. 2-7 [11] Lin L, Lu Y Y, Li C L, Cheng H, Zuo W M. Detection-free multi-object tracking by reconfigurable inference with bundle representations. IEEE Transactions on Cybernetics, 2016, 46(11):2447-2458 doi: 10.1109/TCYB.2015.2478515 [12] Liu X B, Lin L, Yan S C, Jin H, Jiang W B. Adaptive object tracking by learning hybrid template online. IEEE Transactions on Circuits and Systems for Video Technology, 2011, 21(11):1588-1599 doi: 10.1109/TCSVT.2011.2129410 [13] Ross D A, Lim J, Lin R S, Yang M H. Incremental learning for robust visual tracking. International Journal of Computer Vision, 2008, 77(1-3):125-141 doi: 10.1007/s11263-007-0075-7 [14] Lu D, Li L S, Yan Q S. A survey:target tracking algorithm based on sparse representation. In:Proceedings of the 7th International Symposium on Computational Intelligence and Design. Hangzhou, China:IEEE, 2015. 195-199 [15] Mei X, Ling H B. Robust visual tracking using ι minimization. In:Proceedings of the 12th IEEE International Conference on Computer Vision. Kyoto, Japan:IEEE, 2009. 1436-1443 [16] Mei X, Ling H B, Wu Y, Blasch E, Bai L. Minimum error bounded efficient ι tracker with occlusion detection. In:Proceedings of the 2011 IEEE Conference on Computer Vision and Pattern Recognition. Colorado Springs, CO, USA:IEEE, 2011. 1257-1264 [17] Wang J Y, Chen X L, Gao W. Online selecting discriminative tracking features using particle filter. In:Proceedings of the 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. San Diego, CA, USA:IEEE, 2005. 1037-1042 [18] Babenko B, Yang M H, Belongie S. Visual tracking with online multiple instance learning. In:Proceedings of the 2009 IEEE Conference on Computer Vision and Pattern Recognition. Miami, FL, USA:IEEE, 2009. 983-990 [19] Kalal Z, Mikolajczyk K, Matas J. Tracking-learning-detection. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2012, 34(7):1409-1422 doi: 10.1109/TPAMI.2011.239 [20] 王丽佳, 贾松敏, 李秀智, 王爽.基于改进在线多示例学习算法的机器人目标跟踪.自动化学报, 2014, 40(12):2916-2925 http://www.aas.net.cn/CN/abstract/abstract18569.shtmlWang Li-Jia, Jia Song-Min, Li Xiu-Zhi, Wang Shuang. Person following for mobile robot using improved multiple instance learning. Acta Automatica Sinica, 2014, 40(12):2916-2925 http://www.aas.net.cn/CN/abstract/abstract18569.shtml [21] Grabner H, Bischof H. On-line boosting and vision. In:Proceedings of the 2006 IEEE Conference on Computer Vision and Pattern Recognition. New York, NY, USA:IEEE, 2006. 260-267 [22] Hare S, Golodetz S, Saffari A, Vineet V, Cheng M M, Hicks S L, Torr P H. Struck:structured output tracking with kernels. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2016, 38(10):2096-2109 doi: 10.1109/TPAMI.2015.2509974 [23] Matas J, Mikolajczyk K, Kalal Z. P-N learning:bootstrapping binary classifiers by structural constraints. In:Proceedings of the 2010 IEEE Conference on Computer Vision and Pattern Recognition. San Francisco, CA, USA:IEEE, 2010. 49-56 [24] Wang X Y, Hua G, Han T X. Discriminative tracking by metric learning. In:Proceedings of the 11th European Conference on Computer Vision. Heraklion, Crete, Greece:Springer, 2010. 200-214 [25] 李庆武, 朱国庆, 周妍, 霍冠英.基于特征在线选择的目标压缩跟踪算法.自动化学报, 2015, 41(11):1961-1970 http://www.aas.net.cn/CN/abstract/abstract18770.shtmlLi Qing-Wu, Zhu Guo-Qing, Zhou Yan, Huo Guan-Ying. Object compressive tracking via online feature selection. Acta Automatic Sinica, 2015, 41(11):1961-1970 http://www.aas.net.cn/CN/abstract/abstract18770.shtml [26] Wu Y, Lim J, Yang M H. Object tracking benchmark. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2015, 37(9):1834-1848 doi: 10.1109/TPAMI.2014.2388226 [27] Yang M, Wu Y, Hua G. Context-aware visual tracking. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2009, 31(7):1195-1209 doi: 10.1109/TPAMI.2008.146 [28] Dinh T B, Vo N, Medioni G. Context tracker:exploring supporters and distracters in unconstrained environments. In:Proceedings of the 2011 IEEE Conference on Computer Vision and Pattern Recognition. Colorado Springs, CO, USA:IEEE, 2011. 1177-1184 [29] Wen L Y, Cai Z W, Lei Z, Yi D, Li S Z. Online Spatio-temporal structural context learning for visual tracking. In:Proceedings of the 12th European Conference on Computer Vision. Florence, Italy:Springer, 2012. 716-729 [30] Zhu G B, Wang J Q, Zhao C Y, Lu H Q. Weighted part context learning for visual tracking. IEEE Transactions on Image Processing, 2015, 24(12):5140-5151 doi: 10.1109/TIP.2015.2479460 [31] Quan W, Jiang Y Q, Zhang J J, Chen J X. Robust object tracking with active context learning. The Visual Computer, 2015, 31(10):1307-1318 doi: 10.1007/s00371-014-1012-8 [32] Li Y, Zhu J K, Hoi S C H. Reliable patch trackers:robust visual tracking by exploiting reliable patches. In:Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition. Boston, MA, USA:IEEE, 2015. 353-361 [33] Yuan X H, Kong L B, Feng D C, Wei Z C. Automatic feature point detection and tracking of human actions in time-of-flight videos. IEEE/CAA Journal of Automatica Sinica, 2017, 4(4):677-685 doi: 10.1109/JAS.2017.7510625 [34] Bolme D S, Beveridge J R, Draper B A, Lui Y M. Visual object tracking using adaptive correlation filters. In:Proceedings of the 2010 IEEE Conference on Computer Vision and Pattern Recognition. San Francisco, CA, USA:IEEE, 2010. 2544-2550 [35] Henriques J F, Caseiro R, Martins P, Batista J. Exploiting the circulant structure of tracking-by-detection with kernels. In:Proceedings of the 12th European Conference on Computer Vision. Florence, Italy:Springer, 2012. 702-715 [36] Henriques J F, Rui C, Martins P, Batista J. High-speed tracking with kernelized correlation filters. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2014, 37(3):583-596 http://www.ncbi.nlm.nih.gov/pubmed/26353263 [37] Liu T, Wang G, Yang Q X. Real-time part-based visual tracking via adaptive correlation filters. In:Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition. Boston, MA, USA:IEEE, 2015. 4902-4912 [38] Ma C, Yang X K, Zhang C Y, Yang M H. Long-term correlation tracking. In:Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition. Boston, MA, USA:IEEE, 2015. 5388-5396 [39] Zhang K H, Zhang L, Liu Q S, Zhang D, Yang M H. Fast visual tracking via dense spatio-temporal context learning. In:Proceedings of the 13th European Conference on Computer Vision. Zurich, Switzerland:Springer, 2014. 127-141 [40] Stuart R, Peter N[著], 姜哲, 金奕江, 张敏[译]. 人工智能: 一种现代方法(第2版). 北京: 人民邮电出版社, 2010. 368-370Stuart R, Peter N[Author], Jiang Zhe, Jin Yi-Jiang, Zhang Min[Translator]. Artificial Intelligence:A Modern Approach (2nd Edition). Beijing:Posts and Telecommunications Press, 2010. 368-370 [41] Jiang H L, Li J H, Wang D, Lu H C. Multi-feature tracking via adaptive weights. Neurocomputing, 2016, 207:189-201 doi: 10.1016/j.neucom.2016.03.074 [42] Chen H K, Zhao X G, Tan M. Target salient confidence for visual tracking. In:Proceedings of the 7th International Congress on Image and Signal Processing. Dalian, China:IEEE, 2015. 436-441 [43] Possegger H, Mauthner T, Bischof H. In defense of color-based model-free tracking. In:Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition. Boston, MA, USA:IEEE, 2015. 2113-2120 [44] Zhang K H, Zhang L, Yang M H. Real-time compressive tracking. In:Proceedings of the 12th European Conference on Computer Vision. Florence, Italy:Springer, 2012. 864-877 [45] Adam A, Rivlin E, Shimshoni I. Robust fragments-based tracking using the integral histogram. In:Proceedings of the 2006 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. New York, NY, USA:IEEE, 2006. 798-805 [46] Sevilla-Lara L, Learned-Miller E. Distribution fields for tracking. In:Proceedings of the 2012 IEEE Conference on Computer Vision and Pattern Recognition. Providence, RI, USA:IEEE, 2012. 1910-1917 [47] Pérez P, Hue C, Vermaak J, Gangnet M. Color-based probabilistic tracking. In:Proceedings of the 7th European Conference on Computer Vision. Copenhagen, Denmark:Springer, 2002. 661-675 [48] Jia X, Lu H C, Yang M H. Visual tracking via adaptive structural local sparse appearance model. In:Proceedings of the 2012 IEEE Conference on Computer Vision and Pattern Recognition. Providence, RI, USA:IEEE, 2012. 1822-1829 [49] Comaniciu D, Ramesh V, Meer P. Kernel-based object tracking. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2003, 25(5):564-575 doi: 10.1109/TPAMI.2003.1195991 [50] Bao C L, Wu Y, Ling H B, Ji H. Real time robust L1 tracker using accelerated proximal gradient approach. In:Proceedings of the 2012 IEEE Conference on Computer Vision and Pattern Recognition. Providence, RI, USA:IEEE, 2012. 1830-1837 期刊类型引用(5)
1. 许龙，魏颖，商圣行，张皓云，边杰，徐楚翘. 基于异步相关判别性学习的孪生网络目标跟踪算法. 自动化学报. 2023(02): 366-382 . 
本站查看2. 谭建豪，殷旺，刘力铭，王耀南. 引入全局上下文特征模块的DenseNet孪生网络目标跟踪. 电子与信息学报. 2021(01): 179-186 . 百度学术3. 陈昭炯，叶东毅，林德威. 基于背景抑制颜色分布新模型的合成式目标跟踪算法. 自动化学报. 2021(03): 630-640 . 本站查看4. 金彦龄，赵旭鸽. 基于生物内稳态调节机制的分布式动态目标跟踪策略. 自动化应用. 2020(08): 5-7 . 百度学术5. 刘帅. 利用多特征融合的运动员人体姿势识别算法. 信息技术. 2019(08): 17-19+23 . 百度学术其他类型引用(10)
-
下载:
计量
- 文章访问数: 2842
- HTML全文浏览量: 277
- PDF下载量: 1255
- 被引次数: 15
