-
摘要: 无人驾驶汽车行驶是连续时空的三维运动, 汽车周围的目标不可能突然消失或者出现, 因此, 对于感知层而言, 稳定可靠的多目标跟踪(Multi-object tracking, MOT)意义重大. 针对传统的目标关联和固定生存周期(Birth and death memory, BDM)管理的不足, 提出基于边界交并比(Border intersection over union, BIoU)度量的目标关联和自适应生存周期管理策略. BIoU综合了欧氏距离和交并比(Intersection over union, IoU)的优点, 提高了目标关联的精度. 自适应生存周期管理将目标轨迹置信度与生存周期相联系, 显著减少了目标丢失和误检. 在KITTI多目标跟踪数据集上的实验验证了该方法的有效性.Abstract: Unmanned vehicle is a three-dimensional motion in continuous time and space, and the object around the vehicle can not disappear or appear suddenly. Therefore, for the perception system, stable and robust multi-object tracking (MOT) is of great significance. Aiming at the shortcomings of object association and fixed birth and death memory (BDM) in the traditional one, the border intersection over union (BIoU) based object association and adaptive life cycle management strategy are put forward. The BIoU takes into account the advantages of both Euclidean distance and intersection over union (IoU) to improve the accuracy of object association. The adaptive life cycle management associates the object trajectory confidence with the life cycle, which significantly reduces object missing and false detection. The effectiveness of the proposed approach is verified through experiments on the KITTI multi-object tracking dataset.
-
Key words:
- Unmanned vehicles /
- LiDAR /
- 3D object detection /
- 3D multi-object tracking
-
多目标跟踪 (Multi-object tracking, MOT) 技术是自动驾驶感知系统的重要组成部分. 一方面, 无人驾驶汽车的行驶过程是在时空下的连续运动, 无人驾驶的规划与决策过程大多是基于连续时间序列完成的, 因此除了目标的位置信息以外, 目标的速度、角速度、加速度等时间关联特征也同样重要. 另一方面, 由于目标检测本身依据单帧图像或点云数据完成[1], 缺乏目标在时空运动中的上下文信息, 因此当光照变化、目标遮挡等情况发生时, 往往容易出现目标丢失, 这对于决策器和规划器的稳定运行会产生不利影响. 因此, 实现可靠的多目标跟踪意义重大. 多目标跟踪任务可以定义为当传感器获得一段时间内的目标数据序列后 (如一系列RGB图像或3D点云), 实现不同时刻数据帧下同一目标的正确匹配. 多目标跟踪问题需要解决以下问题: 1) 对不同数据帧中的同一目标, 分配唯一的ID标号, 并维持该标号不变; 2) 对于新出现的目标, 分配新的ID标号, 并进行持续跟踪; 3) 对已经从传感器数据中消失的目标, 应及时剔除, 避免不利影响.
目前多目标跟踪的方法主要可以分为两类, 分别是端到端 (End to end) 方法和基于检测的跟踪 (Tracking by detection) 方法. 前者将目标检测与跟踪视为一个统一的过程, 输入单帧图像或点云数据, 直接输出带有唯一ID标号的目标检测框信息; 后者则将检测与跟踪视为递进过程, 首先使用目标检测网络如Complex-YOLO[2], PointRCNN[3] 获得检测框位置, 然后再使用目标在多帧数据中的时空联系性进行关联, 获得跟踪结果. 代表方法包括SORT (Simple online and real time tracking)[4]、DeepSORT (SORT with a deep association metric)[5] 和AB3DMOT (A baseline for 3D multi-object tracking)[6]. 其中AB3DMOT将2D多目标跟踪问题扩展到3D多目标跟踪任务, 提出了一种简洁高效的实时多目标跟踪框架, 并在KITTI数据集上验证了出色效果, 实时性达到了200帧/s, 是3D多目标跟踪领域的经典之作.
本文在分析AB3DMOT跟踪算法的基础上, 针对原算法中的以下两点问题进行了研究: 1) 目标关联度计算在基于检测的跟踪方法中起到了突出作用, 原AB3DMOT算法使用传统的交并比 (Intersection over union, IoU) 作为度量指标, 因此存在当两个检测框不相交时IoU = 0的问题[7-8], 造成匹配失败; 2) 目前的MOT算法中大多都会用到生存周期 (Birth and death memory, BDM) 策略, 用于降低漏检率、获得更好的跟踪效果, 但多采用固定生存周期, 对所有目标进行无差别处理, 并未考虑检测结果本身置信度对跟踪的影响. 针对上述问题, 本文提出了一种基于边界交并比 (Border intersection over union, BIoU) 度量的自适应多目标跟踪算法, 主要创新点包括:
1) 提出了BIoU度量方法用于计算检测结果的关联性矩阵, 相比于单一使用欧氏距离或传统IoU度量的方法, BIoU可以有效解决无交集和奇点问题, 获得更可靠的多目标跟踪结果;
2) 提出了一种自适应的生存周期管理策略, 将检测结果本身的置信度与生存周期关联起来, 可以有效避免由于遮挡导致的跟踪失败和由于误检导致的错误跟踪的情况.
基于KITTI多目标跟踪数据集[9]进行的实验表明, 本文提出的基于BIoU和自适应生存周期管理的多目标跟踪算法, 相比于原算法可以有效地提高跟踪的准确性和鲁棒性.
1. 研究现状
1.1 2D/3D多目标跟踪任务
多目标跟踪问题按照跟踪目标的状态种类可以分为2D多目标跟踪和3D多目标跟踪. 其中2D多目标跟踪主要用于图像领域的目标跟踪任务, 如安防监控、军事侦察、自然观测等领域[10]. DeepSORT[5]算法引入马氏距离度量和级联匹配用于提高跟踪精度. Leal-Taixé 等[11]介绍了一种两阶段深度学习跟踪算法: 使用局部时空编码聚合像素和光流信息, 通过梯度增强分类器将图像上下文特征与CNN输出相结合. 孟琭等[12]详细说明了光流法、相关滤波法和深度学习方法在目标跟踪领域的应用效果. 与2D多目标跟踪相比, 基于点云数据的3D多目标跟踪具有较为准确的深度估计, 此类方法大多基于运动学模型. Azim等[13]利用卡尔曼滤波器对获得的相邻两帧激光点云基于八叉树的占据栅格地图分析其不一致信息, 从而检测动态物体; 再使用全局最近邻的方法进行数据关联; 最后基于卡尔曼滤波跟踪动态物体的中心点. Song等[14]采用一种多任务的稀疏学习算法来选取最佳的候补对象, 提高了复杂环境下的跟踪效果. 为了验证有效的深度估计对目标跟踪性能的影响, Sharma等[15]使用基于3D点云校准的2D图像进行目标跟踪, 考虑了三维空间信息, 有效缓解了基于RGB图像中的深度估计不准确和遮挡问题, 实现了较好的跟踪效果. 2020年, Weng等[6]将2D跟踪算法SORT的思想迁移到3D点云中, 提出AB3DMOT算法, 无需GPU训练即可实现优秀的跟踪性能.
1.2 关联度量
目标匹配是多目标跟踪中的重要环节, 有效度量预测目标与检测目标之间的关联性, 是获得可靠匹配结果的关键. 常用的匹配方法包括基于外观显著性特征的匹配方法[16-17]和基于空间位置相关性的匹配方法[18-19]. 与2D图像相比, 3D点云数据更为稀疏, 外观特征不明显, 因此更常采用空间位置的相关性进行匹配. IoU和目标间距离是常用的两种度量方法. SORT[4]和AB3DMOT[6]算法中均使用预测框与检测框的IoU值作为关联度量, 再利用匈牙利算法进行匹配. 使用原始IoU进行关联度量存在两个问题: 1) 当预测框与检测框无交集时IoU = 0, 此时无法获得有效的度量信息; 2) 多个预测框可能与检测框具有相同的IoU值, 如图1(a)中的情况. 另一种方法是使用目标间距离作为度量指标, 如预测框与检测框中心点之间的欧氏距离[19]. 但使用距离度量同样存在不同的预测框与目标框的距离相同的情况. 如图1(b), 虽然蓝色和红色表示的两个预测框差异很大, 但它们与检测框中心的欧氏距离是相同的. 近年来, 使用深度网络来学习目标关联性特征的方法也得到了诸多研究, 如Wu等[18] 将PointRCNN检测器得到的特征也作为关联度量的要素加入度量过程, 从而获得更可靠的度量结果.
图 1 IoU度量和欧氏距离度量失效情况Fig. 1 Invalid cases about IoU metrics and Euclidean distance metrics1.3 生存周期管理
在现有的多目标跟踪算法中, 会使用生存周期管理策略[5-6, 18]. 一方面, 当出现因为遮挡造成的目标丢失情况时, 生存周期管理策略可以保证在一段时间内仍然可以持续跟踪目标而不会立刻丢失; 另一方面, 当出现误检情况时, 由于生存周期管理策略要求目标连续检测多帧, 所以可以有效过滤掉单帧误检的目标. 目前通常使用的是固定周期的管理策略, 即对所有目标进行相同时长跟踪用于确定目标或删除目标. 而在实际应用中, 考虑到目标检测单元会输出检测框的置信度, 用于表征检测结果的可靠性, 因此, 可以根据置信度对不同目标进行自适应生存周期管理, 即: 对置信度较高的目标可以保持更长时间以解决遮挡造成的目标漏检; 对置信度较低的目标在发生误检后应尽快删除.
2. 基于BIoU的3D多目标跟踪
2.1 问题描述
多目标跟踪的主要任务是在给定一个图像序列的前提下, 找到图像序列中待检测目标, 并将不同帧中检测到的目标进行关联, 得到目标的运动信息, 给每一个运动目标一个固定准确的ID标号. 对于3D目标检测, 一方面其天然克服了基于RGB图像中的2D目标检测的遮挡与目标位置估计不准确的问题, 使得基于运动估计的在线跟踪算法易于应用; 另一方面, 对于3D目标检测的点云数据而言, 缺乏类似RGB图像那样丰富的语义特征, 导致难以使用特征描述的方式进行跟踪. 因此, AB3DMOT[6]算法仅使用简单朴素的跟踪策略就实现了高效实时的目标跟踪效果. 但是, 该方法在匈牙利匹配环节中使用原始的3D IoU作为成本度量, 而无人驾驶汽车的多目标跟踪本质仍然是一种近似的2D平面运动, 其在$ z $轴方向上变化较小, 导致目标检测在$ z $轴方向上的估计将对跟踪性能产生较大影响, 同时由于IoU度量的局限性, 本文提出BIoU作为一种新的成本度量融入到匈牙利匹配之中. 目标的生存周期管理是目标跟踪的重要环节, 生存周期设置过短在目标检测不稳定时会造成较为频繁的ID切换, 生存周期过长容易增加错误跟踪和目标误检. 因此, 通过对跟踪轨迹的置信度打分, 本文设计了自适应的生存周期管理机制, 动态地调整目标的生存周期减少了ID切换和目标误检, 实现了较好的跟踪性能.
如图2所示, 本文所提出的3D多目标跟踪的整体流程可以分为以下几个部分:
图 2 基于BIoU和自适应生存周期的3D多目标跟踪Fig. 2 3D multi-object tracking based on BIoU and adaptive birth and death memory1) 使用3D检测器获得目标检测框;
2) 使用3D卡尔曼滤波器获得上一帧的目标预测框;
3) 基于BIoU计算检测框与预测框的关联度, 使用匈牙利匹配算法获得最优匹配结果;
4) 使用3D卡尔曼滤波对所有匹配目标进行状态更新;
5) 对未匹配成功的目标进行生存周期管理;
6) 输出具有唯一ID标号的目标边框.
2.2 卡尔曼滤波
卡尔曼滤波[20]是目前状态估计应用最为广泛的估计优化算法, 它能够根据过去的信号信息, 利用统计计算的原理, 优化最小均方误差, 从而预测出未来的状态量. 卡尔曼滤波是对时间参数估计的最小二乘逼近, 能够建立起状态变量随时间变化的方程, 从而估计出今后某个时刻的状态.
卡尔曼滤波算法的核心包括如下几个方程:
1) 描述预测过程中, 系统的状态向量预测方程
$$ \begin{equation} \hat{{{\boldsymbol{X}}}}_k = {{{\boldsymbol{A}}}} {{{\boldsymbol{X}}}}_{k-1} + {{{\boldsymbol{B}}}} {{{\boldsymbol{U}}}}_k + {{{\boldsymbol{W}}}}_{k-1} \end{equation} $$ (1) 其中, $ {{\boldsymbol{A}}} $为状态转移矩阵, $ {{\boldsymbol{B}}} $为控制输入矩阵, $ {{{\boldsymbol{U}}}}_k $表示$ k $时刻的控制输入向量, $ \hat{{{\boldsymbol{X}}}}_k $表示$ k $时刻状态的预测值, $ {{{\boldsymbol{X}}}}_{k-1} $表示$ k-1 $时刻的状态输出值, $ {{{\boldsymbol{W}}}}_{k-1} $为$ k-1 $时刻的状态转移过程中的随机干扰噪声, 表现为均值为零的高斯白噪声.
2) 描述先验估计协方差矩阵的更新过程
$$ \begin{equation} \hat{{{\boldsymbol{P}}}}_k = {{{\boldsymbol{A}}}} {{{\boldsymbol{P}}}}_{k-1} {{{\boldsymbol{A}}}}^{\rm T} + {{{\boldsymbol{Q}}}} \end{equation} $$ (2) 其中, $ {{\boldsymbol{Q}}} $为状态转移过程噪声$ {{{\boldsymbol{W}}}}_k $的协方差矩阵, $ \hat{{{\boldsymbol{P}}}}_k $为$ k $时刻的先验估计协方差矩阵的预测值.
3) 描述观测模型中由系统观测值得到系统观测向量的过程
$$ \begin{equation} {{{\boldsymbol{Z}}}}_k = {{{\boldsymbol{H}}}} {{{\boldsymbol{X}}}}_k + {{{\boldsymbol{V}}}}_k \end{equation} $$ (3) 其中, $ {{\boldsymbol{H}}} $为状态观测矩阵, $ {{{\boldsymbol{Z}}}}_k $为$ k $时刻状态变量的观测值, $ {{{\boldsymbol{V}}}}_k $为状态观测过程中的随机干扰噪声向量, 表现为均值为零的高斯白噪声.
4) 卡尔曼滤波增益方程 (权重)
$$ \begin{equation} {{{\boldsymbol{K}}}}_k = \hat{{{\boldsymbol{P}}}}_k {{{\boldsymbol{H}}}}^{\rm T} ({{{\boldsymbol{H}}}} \hat{{{\boldsymbol{P}}}}_k {{{\boldsymbol{H}}}}^{\rm T} + {{{\boldsymbol{R}}}} )^{-1} \end{equation} $$ (4) 其中, $ {{{\boldsymbol{K}}}}_k $表示$ k $时刻的卡尔曼增益, $ {{\boldsymbol{R}}} $为观测噪声$ {{{\boldsymbol{V}}}}_k $的协方差矩阵.
5) 卡尔曼滤波估计方程 ($ k $ 时刻的最优状态估计)
$$ \begin{equation} {{{\boldsymbol{X}}}}_k = \hat{{{\boldsymbol{X}}}}_k + {{{\boldsymbol{K}}}}_k ({{{\boldsymbol{Z}}}}_k - {{{\boldsymbol{H}}}} \hat{{{\boldsymbol{X}}}}_k) \end{equation} $$ (5) 其中, $ {{{\boldsymbol{X}}}}_k $表示$ k $时刻状态向量经过卡尔曼滤波后的最优估计, 是系统的实际输出值, 表现为在预测值的基础上按照卡尔曼滤波增益叠加一个预测误差项.
6) 卡尔曼滤波协方差估计方程 ($ k $时刻的最优协方差估计)
$$ \begin{split} {}\\ {{{\boldsymbol{P}}}}_k = ({\boldsymbol{1}} - {{{\boldsymbol{K}}}}_k {{{\boldsymbol{H}}}})\hat{{{\boldsymbol{P}}}}_k \end{split} $$ (6) 其中, $ {{{\boldsymbol{P}}}}_k $为$ k $时刻卡尔曼滤波的后验估计协方差矩阵的预测值. 该方程用来描述状态向量协方差矩阵的变化过程, 正是这种不断更新的机制才能保证卡尔曼滤波不断克服随机噪声的影响.
卡尔曼滤波算法能够在不准确的测量数据基础上尽可能地消除噪声的影响, 对真实值做出预测. 目标跟踪算法把跟踪目标的属性作为状态变量, 利用卡尔曼滤波器对属性进行线性滤波, 得到更好的预测值.
2.2.1 状态预测
为了预测上一帧到当前帧的目标状态, 这里使用恒定速度模型估计对象间的帧间位移, 将目标状态表示成一个11维向量, 即
$$ \begin{equation} {\boldsymbol \xi}=\left[x,y,z,\theta,l,w,h,s,v_x,v_y,v_z\right]^{\rm T} \end{equation} $$ (7) 其中, $ x $, $ y $和$ z $分别表示目标的中心点坐标, $ l $, $ w $和$ h $分别表示目标的3D边框尺度, $ \theta $为目标边框的航向角, $ s $表示当前轨迹的置信度分数, $ v_x $, $ v_y $和$ v_z $分别为目标在三维空间中沿$ x $, $ y $和$ z $轴方向上的运动速度.
第$ k-1 $帧数据中的所有目标状态构成的集合表示为
$$ \begin{equation} \left\{{\boldsymbol \xi}_{k-1}^1,{\boldsymbol \xi}_{k-1}^2,\cdots,{\boldsymbol \xi}_{k-1}^{m_{k-1}}\right\} \end{equation} $$ (8) 其中, $ {\boldsymbol \xi}_{k-1}^i $表示在$ k-1 $时刻的第$ i $个目标状态, $ m_{k-1} $表示在$ k-1 $时刻存在的目标数量. 通过$ k-1 $时刻的目标状态, 根据恒定速度模型可以估计出第$ k $帧的目标状态. 目标的预测位置为
$$ \begin{equation} \left \{ \begin{aligned} &\; x_k=x_{k-1}+v_x\\ &\; y_k=y_{k-1}+v_y\\ &\; z_k=z_{k-1}+v_z \end{aligned} \right . \end{equation} $$ (9) 对于$ k-1 $时刻的每个目标状态$ {\boldsymbol \xi}_{k-1}^i $都可以给出$ k $时刻的预测状态$ {\boldsymbol \xi}_{k}^i $.
2.2.2 状态更新
根据数据关联的结果, 可以将跟踪目标与检测目标分为4类: 跟踪匹配成功、检测匹配成功、跟踪匹配失败和检测匹配失败. 它们各自的具体形式为
$$ \begin{equation} \left\{\begin{aligned} &{T}_{\rm match}= \{{T}_{\rm match}^1,{T}_{\rm match}^2,\cdots,{T}_{\rm match}^{w_k}\}\\ &{D}_{\rm match}= \{{D}_{\rm match}^1,{D}_{\rm match}^2,\cdots,{D}_{\rm match}^{w_k}\}\\ &{T}_{\rm unmatch}= \{{T}_{\rm unmatch}^1,{T}_{\rm unmatch}^2,\cdots,{T}_{\rm unmatch}^{m_{k-1}-w_k}\}\\ &{D}_{\rm unmatch}= \{{D}_{\rm unmatch}^1,{D}_{\rm unmatch}^2,\cdots,{D}_{\rm unmatch}^{n_{k}-w_k}\} \end{aligned}\right. \end{equation} $$ (10) 其中, $ {T}_{\rm match} $和$ {D}_{\rm match} $表示匹配成功的跟踪目标与检测目标, $ w_k $表示当前时刻匹配成功的数量, $ {T}_{\rm unmatch} $和$ {D}_{\rm unmatch} $分别表示匹配失败的跟踪目标和检测目标, $ m_{k-1} $表示上一时刻的所有跟踪目标数量, $ n_{k} $表示当前时刻的检测目标数量. 完成匹配之后, 使用匹配成功的目标$ {D}_{\rm match} $根据贝叶斯规则更新对应的目标状态.
2.3 基于BIoU的匈牙利匹配算法
为了解决传统IoU度量或距离度量的失效问题, 本文设计了一种结合欧氏距离与IoU的综合度量指标, 即BIoU度量, 它由原始IoU和边界距离惩罚项共同组成, 具体形式为
$$ \begin{equation} \left\{ \begin{aligned} &{{BIoU}} = {{IoU}}(B_1,B_2) - \gamma \times \mathcal{R}_{{\rm{BIoU}}} \\ &\mathcal{R}_{{\rm{BIoU}}} = \frac{\rho^2(p_{lt_1},p_{lt_2}) + \rho^2(p_{rb_1},p_{rb_2})}{\mathcal{C}^2_{\max}({B_1,B_2})} \end{aligned} \right.\end{equation} $$ (11) 其中, ${{IoU}}(B_1,B_2)$表示一般意义下的两个边界框的交并比, $ \mathcal{R}_{{\rm{BIoU}}} $为基于边界欧氏距离的惩罚项, $ \gamma $是惩罚项因子, $ p_{lt_1}, p_{rb_1}, p_{lt_2}, p_{rb_2} $分别表示两个边界框最小外接框的左上顶点和右下顶点, 函数$ \rho(\cdot) $为两个顶点间的欧氏距离, $ \mathcal{C}_{\max}(B_1,B_2) $表示两个边界框最小外接框的最大对角线距离, 用于对边界距离进行归一化处理. 需要说明的是, 采用最小外接框的方法可以弱化旋转对边界距离的影响, 便于计算边界距离. 图3(a)展示了2D BIoU的计算方法. 绿色和蓝色实线框代表两个不同的边界框, 虚线框为它们各自的最小外接框, 灰色区域表示$ {{IoU}}(B_1,B_2) $, 红色线段表示边界距离$ \rho(p_{lt_1},p_{lt_2}) $和$ \rho(p_{rb_1},p_{rb_2}) $, 黄色线段表示最大对角线距离$ \mathcal{C}_{\max}(B_1, B_2) $.
对于3D多目标跟踪, 本文将上述2D BIoU的定义扩展到3D坐标系下, 如图3(b)所示. 3D BIoU的计算式为
$$ \begin{equation} \left\{ \begin{aligned} &{BIoU}_{\rm{3D}}= {{IoU}}_{\rm{3D}}(V_1,V_2) - \gamma \times \mathcal{R}_{{\rm{BIoU}}_{\rm{3D}}} \\ &\mathcal{R}_{{\rm{BIoU}}_{\rm{3D}}}= \frac{\rho^2(p_{lft_1},p_{lft_2}) + \rho^2(p_{rrb_1},p_{rrb_2})}{\mathcal{C}^2_{\max}({V_1,V_2})} \end{aligned} \right.\end{equation} $$ (12) 其中, ${{IoU}}_{\rm{3D}}(V_1,V_2)$表示两个3D边界框$ V_1 $和$ V_2 $的体积交并比 (图中的灰色区域), 惩罚项$ \mathcal{R}_{{\rm{BIoU}}_{\rm{3D}}} $与边界距离相关, $ p_{lft_1},p_{lft2},p_{rrb_1},p_{rrb_2} $分别是两个3D边界框最小外接框的左−前−上顶点和右−后−下顶点, $ \rho(p_{lft_1},p_{lft_2}) $和$ \rho(p_{rrb_1},p_{rrb_2}) $分别是对应边界距离 (图中的红色线段), $ \mathcal{C}_{\max}(V_1,V_2) $则表示两个最小外接框所有顶点间的最大对角线距离 (图中的黄色线段). 在给定阈值$BIoU_{{\rm{thres}}} $的情况下, 当$BIoU_{3{\rm{D}}} < BIoU_{{\rm{thres}}}$时，则认为两个3D边界框匹配失败, 即两个3D边界框分别属于独立的两个不同目标.
2.4 自适应生存周期管理策略
在多目标跟踪中, 现有目标会离开视野, 也可能有新目标进入视野, 因此需要一个模块来管理轨迹的产生和删除. 生存周期管理是常见的做法: 将所有未成功匹配的检测目标视为潜在的新轨迹, 为了避免跟踪误报, 只有在该目标连续检测到$ F_{\min} $帧后才认为是一个新的目标轨迹; 将所有未成功匹配的跟踪目标结果视为即将离开视野的轨迹, 为了避免误删轨迹, 只有该目标未成功匹配$ F_{\max} $帧后才视为目标丢失并将其删除. 理想情况下, 该策略可以保留因为单帧漏检未能成功匹配的目标轨迹, 并仅删除已经离开视野的目标轨迹. 但在实际中, 3D目标检测器的误检和漏检普遍存在, 采用固定的生存周期管理策略, 将出现错误的跟踪轨迹. 原因主要是固定的生存周期管理策略未有效利用检测目标的置信度信息, 而对所有目标均进行相同周期的检查操作, 从而导致检测置信度较低的目标 (往往为误检目标) 也需要跟踪多帧后才会被删除, 而检测置信度较高的目标一旦被多帧遮挡 (往往出现漏检) 也可能被删除.
因此, 本文提出一种自适应生存周期管理策略, 根据目标检测结果的置信度, 动态调整最大生存周期, 具体为
$$ \begin{equation} F_{\rm{Amax}} = F_{\rm{max}} \times \sigma(\alpha \cdot score + \beta) \end{equation} $$ (13) 其中, $ score $为当前目标的检测置信度, $ \alpha $和$ \beta $为尺度系数和偏移系数, $ \sigma(\cdot) $表示Sigmoid非线性函数, $ F_{\max} $为最大生存周期, $ F_{\rm{Amax}} $为根据目标检测置信度计算后的生存周期. 通过选取合适的$ \alpha $和$ \beta $, 实现更好的跟踪效果. 图4给出了当$F_{\max}=3,\alpha=0.5,\beta= -5$时生存周期与检测置信度之间的关系. 利用Sigmoid函数的S型曲线特性, 检测目标的置信度越高, 该目标的生存周期将会越长, 从而实现生存周期动态调整.
3. 实验结果与分析
3.1 数据集与评价指标介绍
本实验基于KITTI数据集的多目标跟踪基准进行评估, 该基准由21个训练序列和29个测试序列组成. 对于每个序列都提供了LiDAR点云、RGB图像以及校准文件. 用于训练和测试的数据帧数分别为8008和11095. 对于测试集数据, KITTI不向用户提供任何标签, 而是在服务器上保留标签以进行MOT评估. 对于训练集数据, 含有30601个目标和636条轨迹, 同样包括Car、Pedestrian和Cyclist类别. 由于本文使用的目标跟踪系统是基于卡尔曼滤波算法的, 不需要进行深度学习训练, 因此将所有21个训练序列作为验证集进行验证. 实验对比了Car、Pedestrian和Cyclist全部3个类别上的多目标跟踪效果.
对于多目标跟踪方法, 理想的评价指标应当能够同时满足3个要求: 1) 所有出现的目标都能够及时被发现; 2) 找到的目标位置应当尽可能和真实的目标位置一致; 3) 应当保持目标跟踪的一致性, 避免目标标志的频繁切换. 根据上述要求, 传统的多目标跟踪将评价指标设置为以下内容: 多目标跟踪准确度 (Multi-object tracking accuracy, MOTA) 用于确定目标的个数以及跟踪过程中的误差累计, 多目标跟踪精度 (Multi-object tracking precision, MOTP) 用于衡量目标位置上的精确度, 主要跟踪轨迹命中率 (Mostly tracked, MT), 主要丢失轨迹丢失率 (Mostly lost, ML), 身份切换次数 (ID switch, IDS), 跟踪打断次数 (Fragment, FRAG) 等.
3.2 实验结果
实验流程如图5所示, 其中3D目标检测器使用与AB3DMOT算法相同的、已经训练好的PointRCNN模型. 在目标匹配阶段, 使用本文提出的BIoU计算预测框与目标框之间的关联度, 然后使用匈牙利匹配算法进行目标匹配. 成功匹配的目标送入卡尔曼滤波器进行状态更新, 未成功匹配的检测目标和预测目标均送入自适应周期管理模块进行判定. 自适应周期管理模块根据目标的置信度分数自适应调整目标的最大生存周期, 删除已达到最大生存周期而仍未匹配成功的目标, 最终得出具备唯一ID标号的目标轨迹. BIoU和自适应生存周期管理中涉及的参数通过整定得到, 最终模型使用的参数如表1所示.
图 5 基于激光雷达的3D多目标跟踪整体流程Fig. 5 Overall pipeline for LiDAR-based 3D multi-object tracking表 1 模型参数Table 1 Model parameters参数 值 说明 $ \gamma $ 0.05 BIoU惩罚因子 $ \alpha $ 0.5 生存周期尺度系数 $ \beta $ 4 生存周期偏移系数 $ F_{\max} $ 3 (Car)
5 (Others)最大生存周期
对Car目标为3
对其他类别目标为5$ F_{\min} $ 3 目标轨迹的最小跟踪周期
该值与AB3DMOT相同${ {BIoU} }_{\rm{thres} }$ $ -0.01 $ BIoU阈值
小于阈值认为匹配失败为了验证本文所提出的基于BIoU度量和自适应生存周期管理多目标跟踪算法的性能, 本文与基准AB3DMOT算法在KITTI多目标跟踪数据集的3类目标上进行了对比; 同时在Car类别上还与另外两种端到端的深度学习算法FANTrack[21] 和DiTNet[22] 进行了比较. 实验结果如表2所示.
表 2 KITTI数据集上对3类目标 (汽车、行人、骑自行车的人) 跟踪性能对比Table 2 Tracking performance comparison about three kinds of objects (Car, Pedestrian, Cyclist) on KITTI dataset类别 方法 MOTA (%) $ \uparrow $1 MOTP (%) $ \uparrow $ MT (%) $ \uparrow $ ML (%) $ \downarrow $2 IDS$ \downarrow $ FRAG$ \downarrow $ Car FANTrack[21] 76.52 84.81 73.14 9.25 1 54 DiTNet[22] 81.08 87.83 79.35 4.21 20 120 AB3DMOT[6] 85.70 86.99 75.68 3.78 2 24 本文 85.69 86.96 76.22 3.78 2 24 Pedestrian AB3DMOT[6] 59.76 67.27 40.14 20.42 52 371 本文 59.93 67.22 42.25 20.42 52 377 Cyclist AB3DMOT[6] 74.75 79.89 62.42 14.02 54 403 本文 76.43 79.89 64.49 11.63 54 409 1$ \uparrow $表示指标数值越大性能越好;
2$ \downarrow $表示指标数值越小性能越好.表2的结果表明, 本文提出的基于BIoU度量和自适应生存周期管理策略的多目标跟踪算法相比于基准算法在3类目标上均获得了更高的MT值, 意味着本文算法在对目标的长时间跟踪性能上明显优于基准算法; 在Pedestrian和Cyclist两个类别上, 跟踪准确度MOTA较基准算法有显著提升, 而在Car类别上与基准算法基本一致. 最值得注意的是, 本文算法在命中率MT和丢失率ML这两项指标上均有显著提升, 说明了本文算法在长时间稳定跟踪目标这个问题上具有明显优势. 另外, 在Pedestrian和Cyclist两类目标的跟踪任务上获得更好的效果, 也说明了基于BIoU的目标跟踪可以有效提高对小目标的跟踪性能. 分析其原因, 可以发现小目标更易于出现检测框与预测框交集较少或无交集的情况, 这也正是BIoU相较于传统IoU最大的优点, 即解决IoU相等或IoU = 0时的关联度量问题.
图6和图7分别展示在出现误检和漏检情况时, 本文所提出改进跟踪算法和基准算法的跟踪结果. 在图6的第2行中, 两类算法均出现了误检的情况 (用红色圆圈标记), 但相较于基准算法(图6(a)的第1行), 由于引入了自适应生存周期管理, 因此在下一帧数据中, 改进跟踪算法及时将误检目标删除, 而基准跟踪算法仍会对误检目标进行持续跟踪, 直到生存周期结束. 上述结果表明基于本文改进的跟踪算法可以明显减小误检目标的生存周期, 降低误检次数.
图 6 改进方法与基准方法的跟踪比较 (误检)Fig. 6 Tracking comparison between our improved method and baseline (false detection)
图 7 改进方法与基准方法的跟踪比较 (漏检)Fig. 7 Tracking comparison between our improved method and baseline (missed detection)同样, 对于目标漏检的情况, 本文算法也能给出更好的结果. 图7 (a)的第3行中, 由于红色圆圈标记的目标被其他物体遮挡而导致漏检, 在下一帧中, 该目标再次被检测到时, 已被标记为新的目标 (这一点从对比图7(a)的第2行和图7(a)的第4行中检测框颜色不一致可以看出). 而使用本文提出的改进算法, 即使在图7(b)的第3行中出现了遮挡, 因为生存周期并未结束, 因此目标仍然在持续跟踪, 也未发生身份切换的问题. 这说明, 在由于目标遮挡等问题出现漏检时, 本文提出的改进跟踪算法可以有效克服漏检问题, 保持目标持续跟踪与ID恒定.
3.3 消融实验对比
为了进一步说明BIoU度量和自适应生存周期管理策略的实际效果, 本文在KITTI验证集上进行了消融实验. 为了便于比较, 本文设置最大生存周期$ F_{\max}=5 $; 对于固定生存周期策略, 生存周期即为$ F_{\max} $; 对于自适应生存周期策略, 采用式 (13) 描述的关系自适应计算生存周期$ F_{\rm{Amax}} $. 消融实验的结果如表3所示, 其中不使用BIoU和$ F_{\rm{Amax}} $的跟踪方法即为原始AB3DMOT算法.
表 3 消融实验Table 3 Ablation experiments类别 BIoU $ F_{\rm{Amax}} $ MOTA (%) $ \uparrow $ MOTP (%) $ \uparrow $ MT (%) $ \uparrow $ ML (%) $ \downarrow $ IDS$ \downarrow $ FRAG$ \downarrow $ Car — — 81.55 86.72 79.46 4.32 2 21 $ \checkmark $ — 81.69 86.69 80.00 4.32 3 22 — $ \checkmark $ 84.09 86.98 75.68 4.32 2 24 $ \checkmark $ $ \checkmark $ 84.31 86.96 76.22 4.32 2 24 Pedestrian — — 57.54 67.19 42.96 21.13 99 411 $ \checkmark $ — 57.73 67.18 46.48 20.42 99 417 — $ \checkmark $ 59.59 67.24 40.14 21.13 59 372 $ \checkmark $ $ \checkmark $ 59.77 67.21 44.37 16.90 61 393 Cyclist — — 73.44 85.40 75.00 14.29 0 5 $ \checkmark $ — 77.82 85.61 75.00 14.29 0 5 — $ \checkmark $ 77.97 85.41 71.43 17.86 0 7 $ \checkmark $ $ \checkmark $ 82.94 85.51 75.00 10.71 0 7 首先, 对BIoU进行性能分析. 在表3中, 每类目标的第2行数据与第1行相比, 区别在于使用BIoU替代原算法中的传统IoU. 对比发现: 3类目标的跟踪准确度MOTA和命中率MT性能均有提升; 在大目标 (Car类别) 上, MOTA和MT略有提升; 在小目标 (Pedestrian和Cyclist) 上提升明显, Pedestrian命中率MT提升超过3%, Cyclist准确度MOTA提升超过4%. 需要说明的是: 对于小目标类别, 更容易出现预测框与检测框不重合 (IoU = 0) 的问题. 这种情况下, 本文提出的BIoU由于引入了边界度量惩罚项, 可以克服传统IoU失效的问题, 获得可靠的匹配结果, 从而提高跟踪精度和稳定性.
其次, 对自适应生存周期管理策略进行性能分析. 在表3中, 每类目标的第3行数据与第1行相比, 区别在于使用自适应生存周期替代原算法中的固定生存周期. 对比发现: 使用自适应生存周期可以提高跟踪准确度MOTA, 减少身份切换次数IDS和跟踪打断次数FRAG; 每个类别的MOTA均有大约2%的性能提升; 在Pedestrian类别上, IDS和FRAG均有明显降低, 这是因为对于Pedestrian, 更容易由于匹配失败出现漏检情况, 使用自适应生存周期管理策略可以有效克服固定生存周期对漏检过于敏感的缺点.
最后, 对比基准的AB3DMOT算法, 使用本文所提出的基于BIoU和自适应生存周期管理策略的跟踪算法, 在3类目标的跟踪性能如准确度MOTA、定位精度MOTP、丢失率ML、身份切换次数IDS上均得到了提升, 其中以Cyclist类别提升最为显著. 消融实验结果表明, 本文所提出算法能明显改善多目标跟踪效果.
4. 结束语
本文提出了一种使用BIoU度量和自适应生存周期管理策略的多目标跟踪算法. 该算法使用3D目标检测器输出的目标信息, 使用BIoU度量计算检测框与预测框的匹配矩阵, 使用匈牙利匹配算法获得匹配结果. BIoU度量可以有效克服单独使用IoU度量或欧氏距离度量可能导致的度量失效问题. 在对跟踪目标进行生存周期管理时, 本文设计了一种自适应生存周期管理策略. 该策略根据跟踪目标的检测置信度, 自适应计算目标的最大生存周期, 从而有效减少了由于固定生存周期导致的误检问题. 在KITTI多目标跟踪验证集上的实验表明, 本文所提出的方法相较于基准AB3DMOT多目标跟踪算法, 在跟踪准确度、长时间跟踪命中率和丢失率指标上均有显著提升, 尤其对于小目标跟踪具有较好的效果.
-
图 1 IoU度量和欧氏距离度量失效情况
Fig. 1 Invalid cases about IoU metrics and Euclidean distance metrics
图 2 基于BIoU和自适应生存周期的3D多目标跟踪
Fig. 2 3D multi-object tracking based on BIoU and adaptive birth and death memory
图 5 基于激光雷达的3D多目标跟踪整体流程
Fig. 5 Overall pipeline for LiDAR-based 3D multi-object tracking
图 6 改进方法与基准方法的跟踪比较 (误检)
Fig. 6 Tracking comparison between our improved method and baseline (false detection)
图 7 改进方法与基准方法的跟踪比较 (漏检)
Fig. 7 Tracking comparison between our improved method and baseline (missed detection)
表 1 模型参数
Table 1 Model parameters
参数 值 说明 $ \gamma $ 0.05 BIoU惩罚因子 $ \alpha $ 0.5 生存周期尺度系数 $ \beta $ 4 生存周期偏移系数 $ F_{\max} $ 3 (Car)
5 (Others)最大生存周期
对Car目标为3
对其他类别目标为5$ F_{\min} $ 3 目标轨迹的最小跟踪周期
该值与AB3DMOT相同${ {BIoU} }_{\rm{thres} }$ $ -0.01 $ BIoU阈值
小于阈值认为匹配失败
下载: 导出CSV
表 2 KITTI数据集上对3类目标 (汽车、行人、骑自行车的人) 跟踪性能对比
Table 2 Tracking performance comparison about three kinds of objects (Car, Pedestrian, Cyclist) on KITTI dataset
类别 方法 MOTA (%) $ \uparrow $1 MOTP (%) $ \uparrow $ MT (%) $ \uparrow $ ML (%) $ \downarrow $2 IDS$ \downarrow $ FRAG$ \downarrow $ Car FANTrack[21] 76.52 84.81 73.14 9.25 1 54 DiTNet[22] 81.08 87.83 79.35 4.21 20 120 AB3DMOT[6] 85.70 86.99 75.68 3.78 2 24 本文 85.69 86.96 76.22 3.78 2 24 Pedestrian AB3DMOT[6] 59.76 67.27 40.14 20.42 52 371 本文 59.93 67.22 42.25 20.42 52 377 Cyclist AB3DMOT[6] 74.75 79.89 62.42 14.02 54 403 本文 76.43 79.89 64.49 11.63 54 409 1$ \uparrow $表示指标数值越大性能越好;
2$ \downarrow $表示指标数值越小性能越好.
下载: 导出CSV
表 3 消融实验
Table 3 Ablation experiments
类别 BIoU $ F_{\rm{Amax}} $ MOTA (%) $ \uparrow $ MOTP (%) $ \uparrow $ MT (%) $ \uparrow $ ML (%) $ \downarrow $ IDS$ \downarrow $ FRAG$ \downarrow $ Car — — 81.55 86.72 79.46 4.32 2 21 $ \checkmark $ — 81.69 86.69 80.00 4.32 3 22 — $ \checkmark $ 84.09 86.98 75.68 4.32 2 24 $ \checkmark $ $ \checkmark $ 84.31 86.96 76.22 4.32 2 24 Pedestrian — — 57.54 67.19 42.96 21.13 99 411 $ \checkmark $ — 57.73 67.18 46.48 20.42 99 417 — $ \checkmark $ 59.59 67.24 40.14 21.13 59 372 $ \checkmark $ $ \checkmark $ 59.77 67.21 44.37 16.90 61 393 Cyclist — — 73.44 85.40 75.00 14.29 0 5 $ \checkmark $ — 77.82 85.61 75.00 14.29 0 5 — $ \checkmark $ 77.97 85.41 71.43 17.86 0 7 $ \checkmark $ $ \checkmark $ 82.94 85.51 75.00 10.71 0 7
下载: 导出CSV
-
[1] Zhao Z Q, Zheng P, Xu S T, Wu X D. Object detection with deep learning: A review. IEEE Transactions on Neural Networks and Learning Systems, 2019, 30(11): 3212-3232 doi: 10.1109/TNNLS.2018.2876865 [2] Simon M, Milz S, Amenda K, Gross H M. Complex-YOLO: An Euler-region-proposal for real-time 3D object detection on point clouds. In: Proceedings of the European Conference on Computer Vision (ECCV). Munich, Germany: Springer, 2018. 197−209 [3] Shi S S, Wang X G, Li H S. PointRCNN: 3D object proposal generation and detection from point cloud. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Long Beach, USA: IEEE, 2019. 770−779 [4] Bewley A, Ge Z Y, Ott L, Ramos F, Upcroft B. Simple online and real time tracking. In: Proceedings of the IEEE International Conference on Image Processing (ICIP). Phoenix, USA: IEEE, 2016. 3464−3468 [5] Wojke N, Bewley A, Paulus D. Simple online and realtime tracking with a deep association metric. In: Proceedings of the IEEE International Conference on Image Processing (ICIP). Beijing, China: IEEE, 2017. 3645−3649 [6] Weng X S, Wang J R, Held D, Kitani K. 3D multi-object tracking: A baseline and new evaluation metrics. In: Proceedings of the IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). Las Vegas, USA: IEEE, 2020. 10359−10366 [7] Rezatofighi H, Tsoi N, Gwak J, Sadeghian A, Reid I, Savarese S. Generalized intersection over union: A metric and a loss for bounding box regression. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Long Beach, USA: IEEE, 2019. 658−666 [8] Zheng Z H, Wang P, Liu W, Li J Z, Ye R G, Ren D W. Distance-IoU Loss: Faster and better learning for bounding box regression. In: Proceedings of the American Association for Artificial Intelligence (AAAI). New York, USA: IEEE, 2020. 12993−13000 [9] Geiger A, Lenz P, Urtasun R. Are we ready for autonomous driving? The KITTI vision benchmark suite. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Providence, USA: IEEE, 2012. 3354−3361 [10] Luo W H, Xing J L, Milon A, Zhang X Q, Liu W, Kim T K. Multiple object tracking: A literature review. Artificial Intelligence, 2021, 293: 103448 doi: 10.1016/j.artint.2020.103448 [11] Leal-Taixé L, Canton-Ferrer C, Schindler K. Learning by tracking: Siamese CNN for robust target association. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition Workshops (CVPRW). Vegas, USA: IEEE, 2016. 33−40 [12] 孟琭, 杨旭. 目标跟踪算法综述. 自动化学报, 2019, 45(7): 1244-1260 doi: 10.16383/j.aas.c180277Meng L, Yang X. A Survey of Object Tracking Algorithms. Acta Automatic Sinica, 2019: 45(7): 1244-1260 doi: 10.16383/j.aas.c180277 [13] Azim A, Aycard O. Detection, classification and tracking of moving objects in a 3D environment. In: Proceedings of the IEEE Intelligent Vehicles Symposium (IV). Madrid, Spain: IEEE, 2012. 802−807 [14] Song S Y, Xiang Z Y, Liu J L. Object tracking with 3D LiDAR via multi-task sparse learning. In: Proceedings of the IEEE International Conference on Mechatronics and Automation (ICMA). Beijing, China: IEEE, 2015. 2603−2608 [15] Sharma S, Ansari J A, Murthy J K, Krishna K M. Beyond pixels: Leveraging geometry and shape cues for online multi-object tracking. In: Proceedings of the IEEE International Conference on Robotics and Automation (ICRA). Brisbane, Australia: IEEE, 2018. 3508−3515 [16] 侯建华, 张国帅, 项俊.基于深度学习的多目标跟踪关联模型设计.自动化学报, 2020, 46(12): 2690-2700 doi: 10.16383/j.aas.c180528Hou J H, Zhang G S, Xiang J. Designing affinity model for multiple object tracking based on deep learning. Acta Automatic Sinica, 2020, 46(12): 2690-2700 doi: 10.16383/j.aas.c180528 [17] 张伟俊, 钟胜, 徐文辉, WU Ying. 融合显著性与运动信息的相关滤波跟踪算法. 自动化学报, 2021, 47(7): 1572-1588 doi: 10.16383/j.aas.c190122Zhang W J, Zhong S, Xu W H, Wu Y. Correlation filter based visual tracking integrating saliency and motion cues. Acta Automatic Sinica, 2021, 47(7): 1572-1588 doi: 10.16383/j.aas.c190122 [18] Wu H, Han W K, Wen C L, Li X, Wang C. 3D multi-object tracking in point clouds based on prediction confidence-guided data association. IEEE Transactions on Intelligent Transportation Systems, 2022, 23(6): 5668-5677 doi: 10.1109/TITS.2021.3055616 [19] 李绍明, 储珺, 冷璐, 涂序继. 目标跟踪中基于IoU和中心点距离预测的尺度估计. 自动化学报, DOI: 10.16383/j.aas.c210356Li Shao-Ming, Chu Jun, Leng Lu, Tu Xu-Ji. Accurate scale estimation with IoU and distance between centroids for object tracking. Acta Automatica Sinica, DOI: 10.16383/j.aas.c210356 [20] 彭丁聪. 卡尔曼滤波的基本原理及应用. 软件导刊, 2009, 8(11): 32-34Peng D C. Basic Principle and Application of Kalman Filter. Software Guide, 2009, 8(11): 32-34 [21] Baser E, Balasubramanian V, Bhattacharyya P, Czarnecki K. FANTrack: 3D multi-object tracking with feature association network. In: Proceedings of the IEEE Intelligent Vehicles Symposium (IV). Paris, France: IEEE, 2019. 1426−1433 [22] Wang S K, Cai P D, Wang L J, Liu M. DiTNet: End-to-end 3D object detection and track ID assignment in spatio-temporal world. IEEE Robotics and Automation Letters, 2021: 6(2): 3397-3404 doi: 10.1109/LRA.2021.3062016 期刊类型引用(8)
1. 张华旭，刘峥，雷祖芳，谢荣. 基于改进数据关联的三维多目标跟踪算法. 激光杂志. 2024(01): 191-197 . 
百度学术2. 顾晶，胡梦宽. 基于路侧激光雷达的多目标检测与跟踪算法. 激光与红外. 2024(02): 214-221 . 百度学术3. 李杰，张洛维，王晓燕，胡铮，兰海，王志勇，王莉. 基于视锥距离和自适应权重卡尔曼滤波的多传感器融合算法. 中国公路学报. 2024(03): 194-203 . 百度学术4. 石治国，徐凯平，弓欣，李少宁，王非凡，杨奥，熊珍凯. 基于元作战域的无人集群自主协同能力验证研究. 兵器装备工程学报. 2024(07): 38-43+49 . 百度学术5. 高丽. 自适应观测识别的多目标分类跟踪算法. 山东商业职业技术学院学报. 2024(05): 103-108 . 百度学术6. 张又文. 激光雷达电子行业助力自动驾驶汽车产业升级的路径研究. 激光杂志. 2023(05): 215-218 . 百度学术7. 王辉，徐楠，于继明，宋佳宁，孙叶新，刘兆秾. 智慧矿山中激光雷达点云处理研究与应用. 物联网技术. 2023(10): 108-111 . 百度学术8. 邓可郁，张弛，卢锋，李楠，陈震，张聪炫. 联合特征-空间金字塔和自适应特征更新的多目标跟踪. 南昌航空大学学报(自然科学版). 2022(03): 91-99 . 百度学术其他类型引用(18)
-
下载:
计量
- 文章访问数: 2048
- HTML全文浏览量: 831
- PDF下载量: 525
- 被引次数: 26
