Vehicle-road Collaborative Perception Technology and Development Trend for Intelligent Connected Vehicles
-
摘要: 随着感知技术的不断发展以及智能交通基础设施的完善, 智能网联汽车应用在自动驾驶领域的地位逐渐提升. 自动驾驶感知从单车智能向车路协同迈进, 近年来涌现出一批新的协同感知技术与方法. 本文旨在全面阐述面向智能网联汽车的车路协同感知技术, 并总结相关可利用数据及该方向的发展趋势. 首先对智能网联汽车的协同感知策略进行划分, 并总结了不同感知策略具备的优势与不足; 其次, 对智能网联汽车协同感知的关键技术进行阐述, 包括车路协同感知过程中的感知技术与通信技术; 然后对车路协同感知方法进行归纳, 总结了近年来解决协同感知中感知融合(Perception fusion, PF)、感知信息选择与压缩(Perception selection and compression, SC)等问题的相关研究; 最后对车路协同感知的大规模数据集进行整理, 并对智能网联汽车协同感知的发展趋势进行分析.Abstract: With the continuous development of perception technology and the improvement of intelligent transportation infrastructure, the status of intelligent connected vehicle applications in the field of autonomous driving has been gradually improved. Autonomous driving perception has progressed from single-vehicle intelligence to vehicle-road collaboration, and several new collaborative perception technologies and methods have emerged in recent years. The purpose of this paper is to comprehensively describe the vehicle-road collaborative perception technology for intelligent connected vehicles, and summarize the relevant available data and the development trend in this direction. Firstly, the collaborative perception strategies for intelligent connected vehicles are divided, and the advantages and shortcomings of different perception strategies are summarized; Secondly, the key technologies of collaborative perception for intelligent connected vehicles are elaborated, including the perception technology and communication technology in the process of vehicle-road collaborative perception; Then the vehicle-road collaborative perception methods are summarized, and the research related to solving the problems of perception fusion (PF), perception selection and compression (SC) in collaborative perception in recent years are summarized; Finally, the large-scale dataset of vehicle-road collaborative perception is organized, and the development trend of collaborative perception of intelligent connected vehicles is analyzed.
-
水面无人艇(Unmanned surface vehicle, USV)是一种无人驾驶的水面航行器, 因其智能程度高、隐藏性高、移动能力强等特点[1-3], 成为执行搜救、侦察、监测、舰艇护航等任务的重要平台[4]. 为满足多种任务的需求, USV的研究与设计主要包括多源信息融合、目标识别跟踪、自主路径规划等方面[5-7]. 其中, 自主决策作为衡量无人艇智能化程度的重要标准之一, 要求无人艇在静态水面环境中, 能够按照最优规划从起点行驶到终点, 同时在遇到未知危险时能够迅速地避开障碍物[3]. 避障决策包括利用已知环境的全局路径规划和遇到不明障碍物的局部避障两个部分, 其中针对全局路径规划已有较为成熟的算法(如A*[8]、Dijkstra[9]等), 这些算法大多适用于无障碍或稀疏障碍等简单静态海洋环境[10]. 然而, 无人艇航行所在的环境往往存在不可预测的障碍物, 因此局部路径规划依赖于传感器获取局部环境信息, 需要重点关注面对未知环境时的适应能力和算法的避障能力. 强化学习方法在应对未知障碍物时有较好的自适应性能, 将强化学习与深度学习相结合得到的深度强化学习, 适用于处理制定决策和运动规划. 与传统避障方法相比, 基于深度强化学习的局部避障方法具有更高的智能性, 对未知环境有更强的适应性, 因此成为近年来的研究热点, 并逐渐在机器人控制和运动规划中得到广泛应用[11-12].
强化学习是机器学习方法中的一种重要方法, 主要由智能体、环境、动作、状态和奖励5个部分组成[13-14]. 智能体与环境不断进行交互, 其核心在于获得环境的观测值, 根据策略采取一系列动作并得到相应的奖励. 经过接连不断的交互过程, 智能体最大限度地积累奖励, 并学会在环境中采取最佳决策完成任务. 在路径规划问题中, 强化学习表现出一定程度的优越性[15-17]. Chen等[18]提出一种基于深度强化学习的分布式避障算法, 显著地减少智能体完成避障任务抵达目的地的时间; Tai等[19]提出一种深度强化学习运动规划算法, 无需借助地图信息, 利用深度确定性策略梯度算法的异步版本让智能体学习导航避障; Zhang等[20]提出一种基于后继特征的避障算法, 学习将先验知识从已完成的避障导航任务迁移到新的实例中, 减少试错成本. 针对深度Q网络(Deep Q network, DQN)学习算法的变式, Matthew等[21]用长短期记忆网络(Long short-term memory, LSTM)替换深度Q网络第1个后卷积全连层, 提出深度循环Q网络(Deep recurrent Q network, DRQN), 解决DQN经验池内存限制和部分可观测马尔科夫决策过程(Markov decision processes, MDP)中难以获得全部可观测信息的问题. Liu等[22]将DRQN和深度双Q网络(Double DQN, DDQN)两种算法用于路径规划, 通过对比实验可以看出, 尽管DRQN算法具有更好的决策和路径选择能力, 但因为消耗更多的存储空间和计算资源, 收敛时间更长. Wang等[23]利用LSTM保存历史状态, 并结合DQN学习车道合并驾驶策略, 融合历史驾驶经验和交互驾驶行为的影响, 有助于智能体适应自动驾驶中复杂变道场景. Deshpande等[24]将LSTM、DQN与比例−积分−微分控制器纵向控制器结合, 测试算法在拥挤城市环境无信号交叉路口的自动驾驶任务完成性能, 验证算法能辅助实现安全驾驶利用LSTM保存历史状态并结合DQN学习车道合并驾驶策略. 该方法融合历史驾驶经验和交互驾驶行为的影响, 有助于智能体适应自动驾驶中复杂变道场景. Peixoto等[25]采用结合LSTM的DQN算法实现无人车辆驾驶, 基于过往训练状态感知实现车辆在复杂环境中的自主决策. 通过对比实验可以看出, 相同的训练次数, LSTM + DQN成功率达到5.12%, 而DQN只有1.47%, 说明DRQN算法在部分可观测环境中的自适应性更强.
针对本文讨论的无人艇避障, 传统强化学习算法和现有的研究工作未能充分考虑无人艇相比其他无人系统不同的感知范围和运动特性, 存在以下问题: 1)感知范围决定仿真粒度, 一般强化学习避障算法并未考虑到局部避障与局部感知区域的适配性, 因此仿真粒度设置存在一些不合理之处; 2)一般强化学习算法泛化能力较差, 在面对未知环境时, 需要消耗大量时间重新规划, 在高维度空间下进行解算时容易陷入瓶颈, 因此对新环境的泛化能力还需要进一步提高.
本文提出一种基于阈值的深度Q网络(Thres-hold deep Q network, T-DQN)算法, 通过增加LSTM网络保存训练信息, 并设定合理的阈值筛选经验回放样本, 加速避障算法的收敛. 本文对航行决策过程进行详细描述, 仿真实验验证了本文算法的有效性. 根据无人艇实际感知范围, 设置不同的栅格大小和仿真粒度, 并进行对比仿真. 同时在Unity 3D仿真平台中进行实验验证, 考察复杂地图场景下的避障任务完成情况. 实验结果表明, 该算法能辅助实现无人艇的精细化避障和智能安全行驶, 且仿真具有较好的真实度和视觉效果.
1. 算法原理
无人艇的避障决策模型是基于马尔科夫决策过程建立的. MDP是解决强化学习相关问题的框架, 也是强化学习底层的数学模型[26-27]. 本节分析马尔科夫底层决策模型, 针对无人艇运动特性设置状态空间、动作空间和奖励函数, 并提出T-DQN算法用于求解策略$ \pi $, 使无人艇在开阔环境中, 在较少的训练步数内, 就能收敛到最优路径.
1.1 MDP决策模型
一次MDP代表强化学习过程中的一次状态转移过程. MDP由五元组$ \left(S,A,P,R,\gamma \right) $描述, 其中, S表示有限的状态集, A表示有限的动作集. 智能体正是通过在动作空间中选取合理的动作来得到奖赏最大化结果. P表示状态转移概率, R表示回报函数, $ \gamma \in \left[{0,1}\right) $是计算累积回报G的折扣因子, 作为参数调节每一次行为后获得回报的递减.
MDP的核心是寻找最优策略$ \pi $. 策略$ \pi $实际上是动作的执行概率, 取值范围为状态集S到动作集A的映射, 在每个状态s下, 策略$ \pi $可表示为:
$$ \pi \left(a\left|s\right.\right)=p\left[{A}_{t}=a\left|{S}_{t}=s\right.\right] $$ (1) 据此, MDP过程可以表述为: 在每个时刻的状态下, 指定一个动作, 获取该状态的回报值, 同时根据策略转移至下一个状态; 循环上述过程, 直到累积回报最大. 每个状态的回报定义为状态值函数:
$$ {v}_{\pi }\left(s\right)={{\rm{E}}}_{\pi }\left[\sum\limits_{k=0}^{\infty }{\gamma }^{k}{R}_{t+k+1}|{s}_{t}=s\right] $$ (2) 累积回报是一种评价性指标, 代表智能体从初始状态开始所获得的累积回报期望值, 其中$R $表示奖励函数, 用于对智能体在给定策略下的即时效果做出评价. 累积回报定义为:
$$ \begin{split} {G}_{t}=\;&{R}_{t+1}+\gamma {R}_{t+2}+\dots +{\gamma }^{n}{R}_{t+n+1}+\dots= \\ &\sum\limits_{k=0}^{\infty}{\gamma }^{k}{R}_{t+k+1} \end{split} $$ (3) 通过对MDP的定义, 强化学习可以表示为: 在给定的MDP中, 寻找最优策略, 使该策略作用下的累积回报期望值最大化. 在状态$ s $下采取动作$ a $, 并遵循策略$ \pi $得到的相应期望值定义为行动价值函数:
$$ {q}_{\pi }(s,a)={{\rm{E}}}_{\pi }\left({G}_{t}|{S}_{t}=s,{A}_{t}=a\right) $$ (4) 在用强化学习解决导航、规划和控制等问题时, 目标是寻求最佳策略, 确定最佳策略后, 累计奖励值和状态值函数能够达到最大, 智能体能够在环境中进行决策, 选取最优动作直到完成任务. 确定最佳策略的常见方法包括贪婪策略、$\varepsilon \text{-greedy}$策略、高斯策略、Boltzmann分布等, 通过这些方法指导智能体在强化学习策略更新过程中如何选取动作.
航行决策问题可以看成是连续动作空间中的控制: 给定观察的状态为S, 决策问题可以被定义为一个非线性映射$ \pi $: S→A. $ \pi $为控制策略, 其中S为MDP过程中的环境状态信息, A为决策输出的指令. 根据无人艇的运动特性, 该指令控制无人艇在复杂环境中完成路径规划和避障等任务. 本文在MDP基础上, 考虑到无人艇的运动特性和决策过程, 针对性地设置其状态空间、动作空间和航行时的奖励函数.
1.1.1 状态空间建模
状态空间包含环境中智能体的属性和信息, 以此为依据来选取要执行的动作. 为实现无人艇避障, 需获取无人艇当前位置、运动速度和终点目标位置. 无人艇在环境中航行时, 由激光雷达探测障碍物. 根据探测结果, 为对应位置的栅格赋值. 将栅格环境中不可通行的区域设置为1, 可通行区域设为0, 整个栅格环境由0, 1组成的二维矩阵表示. 对于$M \times M $大小的栅格, $i=1,2, \cdots, (M \times M)/2 $, 其中$i $为算法能处理的障碍物. 局部避障时, 通过计算坐标的欧氏距离, 得到智能体和障碍物的相隔距离. 设$ {s}_{usv} $为无人艇当前位置状态函数, 表示无人艇当前位置$ \left({x}_{usv},{y}_{usv}\right) $. $ {s}_{goal} $为目标点位置状态函数, 表示终点目标位置$ \left({x}_{goal},{y}_{goal}\right) $. $ {s}_{velocity} $为无人艇的运动速度状态函数, 表示无人艇运动速度$\left({v}_{usv\text{-}x},{v}_{usv\text{-}y}\right)$. $ {s}_{obstacle} $为障碍物状态函数, 由0, 1组成的二维矩阵来表示, 对应$ \left({x}_{obstacle},{y}_{obstacle}\right) $的位置值设置为1. 综上, MDP中的状态空间如下:
$$ s=\left\{{s}_{usv},{s}_{goal},{s}_{obstacle},{s}_{velocity}\right\} $$ (5) 1.1.2 动作空间设计
MDP中的动作空间对应决策的输出, 指导无人艇在环境中采取动作. 将环境区域划分为相同大小的栅格, 输出动作指令定义为第一人称视角的上、下、左、右, 控制无人艇在栅格中进行垂直和水平方向移动. 将动作空间离散化的原因: 一是方便在栅格环境中进行仿真, 4个动作符合智能体在栅格中的行进规则; 二是连续动作空间计算量较大, 收敛速度慢, 且无人艇由于受到水浪阻力, 运动轨迹无法和理想状态保持一致, 为仿真引入较多不确定因素, 难以控制. 综上, 本文采用栅格法和离散动作空间来对问题进行抽象描述.
1.1.3 奖励函数设计
奖励函数的设计决定智能体在环境中的表现水平以及能否学习到最优策略. 本文在设计奖励函数时, 考虑无人艇局部路径规划过程的多个方面, 包括向目标点航行、规避障碍物、以较小时间和路径代价到达目标点等.
当无人艇所在位置与目标点之间的距离缩短时, 代表无人艇正在接近目标点. 为使无人艇靠近目标点, 设计奖励${R}_{distance}$, 无人艇与目标点距离越近时收到的奖励越大. ${R}_{distance}$的计算公式如式(6)所示. 设置无人艇在栅格中移动的最小步长为1 m, 近似无人艇自身长度. 其中1 < m < 100, 为奖励参数, 在仿真实验中设为10. 当无人艇未到达目标点时, 根据计算公式, 距离越近, 则奖励值越大, 但小于m值. 当无人艇到达时, 无人艇将收到奖励$ {R}_{end} $. 在仿真实验中设置$ {R}_{end} $= 100.
$$ {R}_{dis\mathit{tan}ce}=\left\{\begin{aligned} &\frac{m}{\sqrt{{\left({x}_{usv}-{x}_{goal}\right)}^{2}+{\left({y}_{usv}-{y}_{goal}\right)}^{2}}},\\ &\qquad\;\;\;\;\left({x}_{usv},{y}_{usv}\right)\ne \left({x}_{goal},{y}_{goal}\right)\\ & N,\,\;\;\;\;\;\;\left({x}_{usv},{y}_{usv}\right)=\left({x}_{goal},{y}_{goal}\right)\end{aligned}\right. $$ (6) 无人艇通过激光雷达传感器检测局部障碍物, 无人艇获取到局部障碍物的信息后, 将采取避障动作. 通过$ {R}_{collision} $给予无人艇惩罚, 从而训练无人艇完成障碍物规避过程. 本文对$ {R}_{collision} $进行设计时, 考虑到障碍物和无人艇之间距离会造成不同程度的威胁, 当无人艇与障碍物之间的距离越近时, 无人艇收到的惩罚越大, 促使无人艇尽快避开局部障碍物, 提高安全性. 同样设置无人艇在栅格中移动的最小步长为1 m, 近似无人艇自身长度; 无人艇和障碍物之间的距离至少为一个移动步长. $ {R}_{collision} $的计算公式见式(7), 在栅格区域内, 黑色栅格代表障碍物, 奖励值为N, 仿真中设N = –100.
$$ {R}_{collision}= \left\{\begin{aligned} &\frac{-m}{\sqrt{{\left({x}_{usv} - {x}_{obstacle}\right)}^{2} + {\left({y}_{usv} - {y}_{obstacle}\right)}^{2}}},\\ &\qquad\left({x}_{usv},{y}_{usv}\right)\ne \left({x}_{obstacle},{y}_{obstacle}\right)\\ & N,\;\;\left({x}_{usv},{y}_{usv}\right)=\left({x}_{obstacle},{y}_{obstacle}\right)\end{aligned}\right. $$ (7) 为缩短无人艇到达目标点的时间, 无人艇每采取一次动作后, 都将收到惩罚$ {R}_{time} $.
在无人艇局部路径规划中, 上述几种因素影响程度不同, 因此这些奖励在组合成最终的奖励函数之前, 需要增加相应的权重. 在算法中将多个权重调整至合适的大小, 以实现较优的局部路径规划结果. 整体奖励函数如下:
$$ R={\lambda }^{{\rm{T}}}R={\left[\begin{array}{c}{\lambda }_{dis\mathit{tan}ce}\\ {\lambda }_{collision}\\ {\lambda }_{time}\end{array}\right]}^{{\rm{T}}}\left[\begin{array}{c}{R}_{dis\mathit{tan}ce}\\ {R}_{collision}\\ {R}_{time}\end{array}\right] $$ (8) 1.2 T-DQN算法
DQN算法是求解MDP问题最优策略的一种深度强化学习方法. 利用经验回放和目标网络两个技术, 保证在使用非线性函数逼近器的情况下动作值函数的收敛[28-29]. DQN实现一种端到端的训练方式, 仅需要很少的先验知识, 便能够在复杂任务中表现出色.
DQN算法使用包含四元组$ \left(s,a,r,s{'}\right) $的经验重放缓冲区, 在每一个训练周期内, 智能体与环境交互得到的数据样本存储在经验重放缓冲区. 由于神经网络的训练样本相互独立, 而强化学习中前后状态具有相关性, 通过随机选取过去的状态进行学习, 可以打乱训练样本之间的相关性, 使训练更有效率.
采用DQN算法实现无人艇的路径规划, 会存在下列问题: 由于DQN是端到端的决策方法, 在做避障决策时, 无法观测到全局环境信息, 因此无法获取完整的环境特性, 导致值函数收敛效果较差, 决策不稳定. 而且DQN中的经验回放策略, 对样本的选择是随机的, 没有考虑到数据的无效性, 导致环境地图变大时, 算法不能很好地收敛, 智能体与环境交互所产生的数据不能得到充分利用.
针对上述问题, 设计基于阈值筛选的T-DQN算法. 从两个方面进行改进: 1)引入LSTM网络保存过往训练信息; 2)加入阈值筛选机制对经验回放策略进行调整. 算法框架如图1所示, 其中$Q\left(s,a\right) {\text{和}\;}Q\left(s{'},a{'}\right)$分别是行动价值函数的估计网络和目标网络, 根据贝尔曼方程, 两者计算公式分别为:
$$ Q\left({s}_{t},{a}_{t}\right)=r+\gamma \underset{a{}}{{{\rm{max}}}}Q\left({s}_{t+1},{a}_{t+1}\right) $$ (9) $$ Q\left({s}_{t}',{a}_{t}'\right)=r+\gamma \underset{a{'}}{{{\rm{max}}}}Q\left({s}_{t+1}',{a}_{t+1}'\right) $$ (10) 在T-DQN网络训练方面, 损失函数的计算公式为:
$$ L\left(\theta \right)={\rm{E}}\left[{\left(r+\gamma \underset{a{'}}{{\rm{max}}}Q\left(s{'},a{'}\left|\theta \right.\right)-Q\left(s,a\left|\theta \right.\right)\right)}^{2}\right] $$ (11) T-DQN算法采用神经网络拟合表征值函数, 神经网络中的权重用$ \theta $表示, 值函数表示为Q (s, a |$ \theta $). 在训练网络的过程中, 更新迭代参数$ \theta $确定时, 表示智能体在该状态下学习到动作策略. 其中$ \theta $的更新由小批量随机梯度下降实现:
$$\begin{split} \nabla L\left(\theta \right)=\;&{\rm{E}}\bigg[\bigg(r+\gamma \underset{a{'}}{{\rm{max}}}Q\left(s{'},a{'}|\theta \right)-\\ &Q(s,a|\theta)\nabla Q\left(s,a|\theta \right)\bigg)\bigg] \end{split}$$ (12) $ Q\left(s,a\right) $是在当前参数$ \theta $下对$ Q\left(s{'},a{'}\right) $的逼近/预测, 所以更新$ \theta $的目标就是让$ Q\left(s,a\right) $逼近$ Q\left(s{'},a{'}\right) $, 根据贝尔曼迭代式优化损失函数, 收敛到最优值函数上.
DQN算法没有考虑到动作前后的相关性, 在缺失全局地图情况下, 无人艇在面对从未见过的障碍物时, 会做出大量的尝试后才学习到最优的决策. 因此, 本文为DQN决策模型添加LSTM网络, 用于处理环境状态信息的输入. LSTM是循环神经网络的一种形式, 结构如图2所示. 通过“门”来控制丢弃或增加信息, 从而实现遗忘或记忆的功能, 适合局部可观测的强化学习问题.
传统的DQN算法中, 在卷积结构之后使用一层全连接输出到动作空间. 本文设计2层LSTM替代全连接层, 第1层LSTM接收来自卷积的深度特征; 第2层接收来自上一层LSTM的输出$V_{{\rm{LSTM\;1}}}$、当前执行动作和状态作为输入. 具体参数设置为: 第1层神经元个数为128, 时序长度为4, 输出为32; 第2层神经元个数为64, 时序长度为4, 输出为1. LSTM网络最终输出为策略$ \pi \left(a\left|s\right.\right) $, 网络层结构如图3所示.
DQN中, 为解决数据分布的相关性, 引入经验回放机制. 经验池中存放一个训练周期的数据, 即智能体在从起点到终点的探索过程中的$(s, a, r,s{'})$. 当经验池没有存储满时, 智能体随机探索环境并将训练样本回传到经验回放池中. 当经验池存储满以后, 从经验池中随机选择一定数量的历史经验, 送入Q目标网络参与训练. 开始时, 未参与回传训练的数据则被删去.
在Q目标网络的更新过程中, 引入时序差分误差TDerror概念. TDerror描述不同时间的状态估计的差异, 可表示为:
$$ T{D}_{error}=\left|{r}_{s,a}+{\Upsilon }\underset{a{'}}{\mathrm{max}}Q(s{'},a{'})-Q(s,a)\right| $$ (13) 式中, $ {r}_{s,a} $是当前奖励值, $ Q\left(s{'},a{'}\right) $和$ Q\left(s,a\right) $分别是目标网络和估计网络对应的行动价值, $\Upsilon$为行动对应的折扣因子. 一个样本即$ \left(s,a,r,s{'}\right) $, 样本的TDerror越大, 说明预测精度有越大上升空间, 该部分样本作为主要起作用的训练对象被放在经验回放池中.
在每次进行更新时, 选择绝对值大的$ T{D}_{error} $样本进行回放, 然后更新该样本的Q值和$ T{D}_{error} $的权重. 本文设计一种阈值筛选机制, 不同于动作产生即送入经验池的方式, 先判断动作产生的$ T{D}_{error} $是否足够大, 满足阈值的, 才放入经验池, 加速算法的收敛.
$ T{D}_{error} $阈值的设置由预训练决定. 将预训练样本数据按照$ T{D}_{error} $从大到小依次排序为一序列, 序列中总样本数为$n $, 设定参数$\alpha$, 代表正式训练时使用序列中样本的比例. 则选取第$\alpha \times n$位置的样本所对应的$ T{D}_{error} $值作为阈值. 为设立合理的阈值, 进行预训练, 按优先级从高到低的顺序对数据列表进行排序. 然后从高斯随机数值生成器中获取一个0 ~ 1之间的随机数$\alpha $, 其中$\alpha $在0 ~ 1之间取值概率呈高斯分布, 避免取在接近0或接近1的极端情况.
对于正式训练的样本数据, 只有大于阈值的样本才被放入经验回放池中. 在T-DQN算法中, 首先采用纯粹贪婪优先方法对样本的TDerror进行排序, 确保被采样的概率在转移优先级上是单调的. 由于只进行高优先级重放会产生过拟合问题, 在排序好的样本队列中加入均匀随机采样, 抽取经验池中的不同样本进行回放. 采样概率为:
$$ P\left(i\right)=\frac{{r}_{i}^{\alpha }}{\sum\limits_{k=1}^n{r}_{k}^{\alpha }}{r}_{i} $$ (14) 式中, $ {r}_{i} $是第$i $个样本的$TD_{error}$在整个序列$k $中的位置排序比例.
2. 算法仿真
无人艇的避障规划实现分为2部分: 1)全局路径规划. 根据已知的地理信息对目标水域建模, 得到一个有利于作业、便于简化的离线环境模型, 借助搜索算法设计出一条从起点到终点的无碰路径. 2)局部路径规划. 在无人艇传感器可探测的范围内, 根据获得的感知信息, 采取合理的实时避障策略, 在避免与障碍物发生碰撞的同时, 到达指定目标点. 判断流程如图4所示.
在实际训练中, 首先采用全局规划的方式找出最优通行路径. 航行过程中会遇到未知的小障碍物, 仅依靠全局路径规划无法完全避开, 因此采用局部避障辅助决策, 在感知范围内搜索区域内障碍物, 并求解最优避障通行路径. 实际场景中, 在全局规划制定的路径较为粗略的情况下, 可采用T-DQN局部避障算法, 避开水面小型漂浮障碍物和礁石等. 为验证算法的有效性, 本文在不同尺度大小的栅格仿真环境中进行一系列实验, 对比Q-learning、DQN、LSTM + DQN和T-DQN四种算法的避障任务完成效果.
栅格法将二维地图切分为若干矩形网格单元, 通过对栅格赋值来表征障碍物或自由空间, 利用二维矩阵完成建模. 但是环境的信息量受到栅格粒度大小的影响, 栅格过大, 会使得障碍物分辨率降低, 进而影响得到路径的精确度; 栅格过小, 虽然保证路径精度, 却会占据较大存储空间, 而导致运算时间过长. 图5展示实际无人艇的动力学和感知参数, 图5(a)中避碰安全距离指无人艇在经过障碍物且不与其发生碰撞的情况下, 需要相隔的最短距离, 其中L为无人艇长度. 制动距离指由于水浪阻力等影响, 无人艇从失去动力到停止的经停距离. 图5(b)展示无人艇的感知范围和处理时间参数. 以融合数据为例: 针对尺度大小为3 m的目标物, 融合后的识别距离为30 ~ 40 m, 即能识别出目标物种类和大小的最远距离为30 ~ 40 m. 根据本文的实验测试数据, 针对尺寸为3 m左右的目标物, 有效感知距离范围在30 ~ 40 m左右, 反应距离为10 m. 实验船长为1.2 m, 对应栅格中智能体所占据的空间即一个格子单位. 因此在栅格实验中, 本文设置10$\times $10、20$\times $20、30$\times $30三种不同大小的地图, 这样设置的仿真结果能涵盖实际中50 m范围.
基于栅格环境, 对比在三种不同大小地图下、不同算法在路径规划和避障任务上的表现, 主要对比指标为收敛速度和路径是否最优. 一次训练所需的样本数量设置为32, 经验池大小设置为100000, 折扣因子为0.99, 学习率为0.001. 在栅格环境中, 主要对比$10 \times10$、$20 \times 20$和$30 \times 30$三种不同大小地图下的T-DQN算法避障效果, 分别如图6、图7和图8所示. 其中圆圈为智能体的起点位置, 蓝色方格为终点位置, 其余为障碍物, 无法通行. 栅格环境中的障碍物是随机设置的. 对比算法为Q-learning、DQN和LSTM + DQN. 图9展示的是环境地图大小分别为$10\times 10$、$20 \times 20$和$30 \times 30 $时, 四种算法在同一地图下的收敛性能对比. 由图9可以看出, 在3种不同大小栅格环境下, T-DQN方法能在给定的训练周期内收敛到最优路径, 在$30 \times 30 $的栅格搜索空间内, 收敛速度并未明显降低. 对比4种算法的训练结果可以看出, 在引入LSTM网络后, 相比Q-learning和DQN算法, LSTM + DQN具有更好的决策能力, 收敛性能更好, 但消耗时间较长. 而T-DQN采用阈值筛选机制能在一定程度上提高算法的收敛速度. T-DQN算法能在环境地图变大时, 仍以较快速度收敛到最优路径解, 其整体收敛步数相比Q-learning算法和DQN算法, 分别减少69.1%和24.8%; 相比LSTM + DQN算法, 减少41.1%. 这表明T-DQN能够更好、更快地收敛. 训练效果对比如表1所示.
图 6 10 × 10栅格地图下采用T-DQN训练后的路径结果Fig. 6 Path results after T-DQN training under 10 × 10 grid map
图 7 20 × 20栅格地图下采用T-DQN训练后的路径结果Fig. 7 Path results after T-DQN training under 20 × 20 grid map
图 8 30 × 30栅格地图下采用T-DQN训练后的路径结果Fig. 8 Path results after T-DQN training under 30 × 30 grid map
图 9 4种算法分别在10 × 10、20 × 20、30 × 30栅格地图下的平均回报值对比Fig. 9 Comparison of the average return values of 4 algorithms under 10 × 10, 20 × 20, 30 × 30 grid maps表 1 4种算法收敛步数对比Table 1 Comparison of convergence steps of 4 algorithms算法 10 × 10
栅格地图20 × 20
栅格地图30 × 30
栅格地图Q-learning 888 > 2000 > 2000 DQN 317 600 > 2000 LSTM + DQN 750 705 850 T-DQN 400 442 517 3. Unity 3D平台验证
在Unity 3D仿真环境中进行验证, 使用的算法仿真平台Spaitlab-unity是一款本文课题组研发的仿真实验平台, 视觉效果逼真, 能较好地还原真实场景.
为使无人艇路径规划仿真平台的仿真结果具备较好真实性, 本文不仅需考虑无人艇的外观和结构特性, 还设计无人艇运动数学模型, 用于仿真无人艇的运动过程. 选用船舶操纵运动数学模型组作为无人艇的运动数学模型[30], 将船舶视为由船体、螺旋桨和舵构成, 并分别考虑它们各自受到的影响. 本文选用的运动数学模型如下:
$$ \left\{\begin{aligned} &\left({m_{USV}}+{m}_{x}\right)\dot{u}-\left({m_{USV}}+{m}_{y}\right)\dot{v}\dot{r}={X}_{uh}\;+\\ &\;\;\;\;\;\;\;\;\;{X}_{up}+{X}_{ur}\\ &\left({m_{USV}}+{m}_{y}\right)\dot{v}+\left({m_{USV}}+{m}_{x}\right)\dot{u}\dot{r}={Y}_{uh}+{Y}_{ur}\\ &\left({I}_{zz}+{J}_{zz}\right)\dot{r}={M}_{uh}+{M}_{ur}\end{aligned}\right. $$ (15) 式中, $m_{USV}$、$ {m}_{x} $、$ {m}_{y} $分别为无人艇的质量以及x轴、y轴方向上运动的附加质量. $ \dot{u} $、$ \dot{v} $分别表示无人艇的纵向速度、横向速度. $ \dot{r} $表示无人艇的转首角加速度. X、Y代表作用在无人艇上的力沿x轴、y轴的分量; $M$表示外力对无人艇绕坐标轴的转动力矩. 下标$uh $、$up $、$ur $分别代表无人艇受到的来自水、螺旋桨、舵的作用. $ {I}_{zz} $、$ {J}_{zz} $代表无人艇绕z轴转动时的惯性矩、附加惯性矩. 在Spaitlab-unity平台使用C# 编写脚本, 以完成对各个作用于无人艇的力与力矩的计算. Spaitlab-unity环境的水域仿真如图10所示.
基于Spaitlab-unity搭建高保真的水面场景, 采用地形、天气等插件构建多种训练环境, 尽量涵盖训练的边界样例. 本文在Unity 3D中进行虚拟仿真环境设置, 在水面环境中添加模拟静态障碍物的礁石, 无人艇搭载的虚拟激光雷达发射180条射线用于探测无人艇前方左、右各90° 范围内的障碍物, 射线的探测距离范围为50 m, 环境中包含三个视角, 可以方便直观地展示训练过程和细节. 强化学习算法和Spaitlab-unity仿真实验平台通过传输控制协议通信的方式实现数据传输. 在仿真训练环境中, 无人艇的位置、 障碍物位置和距离等信息都可以按照一定的数据结构传输到算法端, 服务器接收这些数据进行训练. 训练完成后, 发出运动指令, 再通过通信的方式指导环境内无人艇的运动. 无人艇能根据环境信息自主决策, 按照运动指令实现路径规划和避障.
本文采用全局规划和局部规划相结合的方式, 在Spaitlab-unity环境中进行验证. 在水域中分别设置不同的起点和终点, 首先用A*全局路径规划算法规划出大致的行进路线, 选取的全局水域范围为$500 \times 500$m, 如图11所示. 然后, 采用$30 \times 30 $m栅格, 将水域离散化成$50 \times 50$m的栅格空间, 如图12所示. 当无人艇沿全局路径行驶, 同时以50 m左右的感知范围检测周边障碍物, 确定单个栅格的起点和终点. 为做全局路径规划, 场景中相对较小的障碍物会在地图中按比例缩小, 无法在地图中有效地识别出来. 但是相对尺寸较小的无人艇而言, 这些障碍物仍要避开, 所以在全局路径规划完成后, 加入感知数据, 对可探测部分进行局部避障, 以避开地图中较小的障碍物. 因此采用T-DQN算法进行局部避障, 做更为精细的行驶决策. 图13展示无人艇接受运动指令, 从起点到终点, 避开障碍物的全局规划轨迹和局部规划轨迹的对比, 仿真结果具有较好的可视化效果. 图11 ~ 13中, 红色平滑曲线为全局规划轨迹, 绿色折线为局部规划轨迹.
图 13 无人艇全局/局部路径规划仿真运动轨迹对比Fig. 13 Comparison of global/local simulation trajectories of USV4. 结束语
本文针对水面环境航行决策问题, 提出一种适用于水面无人艇的避障决策新方法. 在深度强化学习算法DQN的基础上, 引入LSTM网络, 设置阈值筛选经验回放池内的样本, 提出一种基于阈值的T-DQN方法. 同时, 有针对性地设置马尔科夫决策过程中状态空间、动作空间和奖励函数, 并将算法分别置于三种不同大小的栅格地图中进行针对性训练. 实验结果表明, 本文提出的T-DQN算法能快速地收敛到最优路径, 其整体收敛步数相比Q-learning算法和DQN算法, 分别减少69.1%和24.8%, 相比LSTM + DQN算法, 减少41.1%. 在本课题组研发的基于Unity 3D构建的Spaitlab-unity平台对算法的有效性进行验证, 该算法能发出运动指令控制无人艇在水面环境上运动, 对陌生环境具有一定适应能力, 在复杂未知环境中的表现得到了有效验证.
-
表 1 不同协同策略传输性能分析
Table 1 Analysis on transmission performance of different collaborative strategies
策略 指标 带宽 (传输速率) 需求 精度/AP@50 算力评估 早期协同 20 Mbps ~ 60 Mbps[19, 28] 60.8%[14] FPS 2.63 ~ 3.45[19] GPU Nvidia Quadro M4000 MACs 31.45 G[14] on V2Xset 中期协同 10 Mbps ~ 20 Mbps[20] V2VNet[22] 57.8%[14] FPS 17.54 ~ 35.71[16] V2X-ViT[16] 58.3%[14] GPU Tesla V100 Where2comm[29] 59.1%[14] MACs 60 ~ 200 G[14] on V2Xset 后期协同 3 Mbps ~ 5 Mbps[15] 56.8%[14] FPS 2.56 ~ 3.23[20] GPU GeForce GTX 1080 TiMACs 31.34 G[14] on V2Xset 
下载: 导出CSV
表 3 车路协同感知方法汇总表
Table 3 Summary table of vehicle-road collaboration perception methods
方法 年份 感知/
通信方法类型 方法特点 协同对象 图像/点云/
融合任务 PF SC SP Cooper[17] 2019 感知 √ 稀疏点云检测 V2V 点云 检测 Who2com[85] 2020 通信 √ 低带宽需求, 无监督学习 — — 通信任务 When2com[86] 2020 通信 √ 动态减少带宽需求, 无监督学习 — — 通信任务 FRLCP[87] 2022 通信 √ 低带宽需求, 强化学习 — — 感知信息选择 MMW-RCSF[49] 2022 通信 √ 传感器融合, 时空同步 — — 标定任务 FPV-RCNN[24] 2022 感知 √ 损失优化, 基于关键点 V2V 传感器融合 检测 Coopernaut[59] 2022 感知 √ 端到端框架 V2V 点云 控制决策 CoBEVT[41] 2022 感知 √ 注意力机制 V2V 图像 BEV分割 V2XP-ASG[81] 2023 感知 √ 场景生成, 对抗攻击 V2X 点云 检测 V2X-ViT[16] 2022 感知 √ 位姿误差, 注意力机制, 自适应信息融合, 多尺度 V2X 点云 检测 MMVR[52] 2022 感知 √ 多尺度, 图神经网络, 注意力机制 V2X 传感器融合 检测 DAIR-V2X[15] 2022 感知 √ 时间补偿延迟融合, 时间异步鲁棒性 V2X 点云
图像检测 CO^3[35] 2023 感知 √ 无监督学习 V2X 点云 检测 RCP-MSF[53] 2022 感知 √ 鲁棒性增强, 低成本点云处理 V2X 传感器融合 检测 3D-Harmonic-Loss[88] 2023 感知 损失函数优化, 点云稀疏检测 V2X 点云 检测 Where2comm[29] 2022 通信 √ 图神经网络, 低带宽需求, 特征压缩 — 点云、图像 检测 PCP6G[89] 2022 通信 √ 新的数据传输类型, 特征压缩 — 点云 检测 H2-FED[90] 2022 通信 √ 连接中断鲁棒性, 隐私保护计算, 联邦学习 V2X — 通信任务 CoPEM[91] 2022 通信 √ 感知错误建模 V2X — — CAP-V2V[92] 2022 通信 √ 多车协同路径规划 V2V 点云 路径规划 ERCP[58] 2023 通信 √ 位姿误差鲁棒性, 基于迭代最近点, 基于最佳传输 V2V — — PCG-SF[93] 2022 通信 √ 参数化协方差, 定位误差鲁棒性, 传感器融合 — — 定位任务 VIMI[43] 2023 感知 √ √ 多尺度, 注意力机制, 特征压缩 V2I 图像 检测 FFNet[37] 2023 感知 √ 特征流预测, 延迟, 自监督学习 V2I 点云 检测 VICOD[50] 2022 感知 √ 低延迟感知, 减少通信成本 V2I 传感器融合 检测 LCCP[57] 2023 感知 √ 注意力机制, 不确定性感知, 有损通信下感知 V2V 点云 检测 UMC[94] 2023 感知 √ √ 多尺度, 图神经网络, 新的协同感知评价指标 V2X 点云 检测 DeepAccident[95] 2024 感知 Transformer 架构, 端到端框架 V2X 图像 事故预测 CoCa3D[42] 2023 感知 √ 仅相机协作 V2X 图像 检测 GevBEV[96] 2023 感知 √ 不确定性感知, 空间高斯 — 点云 BEV分割 CCPAV[66] 2023 通信 √ 新的评分函数, 基站拥塞网络的优化方法 V2X — 感知信息选择 SDVN-V2X[97] 2023 通信 路侧设备中心化 V2X — 通信任务 Among Us[80] 2023 通信 √ 对抗攻击抵御 — 点云 检测
下载: 导出CSV
表 4 车路协同感知数据集汇总表
Table 4 Summary of vehicle-road collaboration perception datasets
数据集 年份 制作单位 场景 传感器 支持任务 数据量 DAIR-V2X[15] 2022 清华大学人工智能产业研究院、百度公司、清华大学计算机科学与技术系和中国科学院大学 城市道路、高速公路(包含多种天气场景)、十字路口 相机、雷达 检测、跟踪 71 254帧 V2X-Sim[104] 2022 纽约大学AI4CE实验室 & 上海交通大学MediaBrain团队 交叉路口 相机、雷达 检测、跟踪、分割 47 200帧 CoopInfo[19] 2022 英国华威大学华威制造集团智能汽车小组 T 型路口 相机 检测 20 000帧 CODD[32] 2022 英国华威大学华威制造集团智能汽车小组 路口场景、环岛场景 雷达 检测、跟踪 5 000帧 IPS300+[101] 2022 清华大学 & 北京万集科技 交叉路口 相机、雷达 检测、跟踪 14 198帧 OPV2V[23] 2022 加州大学洛杉矶分校移动实验室 T 型路口、交叉路口 相机、雷达 检测、跟踪、分割 11 464帧 V2XSet[16] 2022 加州大学洛杉矶分校 & 德克萨斯大学奥斯汀分校 & 谷歌研究院 & 加州大学默塞德分校 十字路口、街区中段和入口坡道 雷达 检测 11 447帧 DOLPHINS[105] 2022 清华大学电子工程系 & 北京交通大学电子信息工程学院 十字路口、丁字路口、陡坡道、高速公路入口匝道和山路(包含多种天气场景) 相机、雷达 检测、跟踪 42 376帧 V2X-Seq[103] 2023 清华大学智能产业研究院 & 百度公司 城市道路、十字路口 相机、雷达 跟踪、轨迹预测 225 000帧 V2V4Real[102] 2023 加州大学洛杉矶分校 高速公路、城市道路 相机、雷达 检测、跟踪、域自适应 60 000帧
下载: 导出CSV
-
[1] 李克强, 戴一凡, 李升波, 边明远. 智能网联汽车(ICV)技术的发展现状及趋势. 汽车安全与节能学报, 2017, 8(1): 1−14Li Ke-Qiang, Dai Yi-Fan, Li Sheng-Bo, Bian Ming-Yuan. State-of-the-art and technical trends of intelligent and connected vehicles. Journal of Automotive Safety and Energy, 2017, 8(1): 1−14 [2] Feng D, Haase-Schütz C, Rosenbaum L, Hertlein H, Gläser C, Timm F, et al. Deep multi-modal object detection and semantic segmentation for autonomous driving: Datasets, methods, and challenges. IEEE Transactions on Intelligent Transportation Systems, 2021, 22(3): 1341−1360 doi: 10.1109/TITS.2020.2972974 [3] Yoshihara Y, Morales Y, Akai N, Takeuchi E, Ninomiya Y. Autonomous predictive driving for blind intersections. In: Proceedings of the IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). Vancouver, Canada: IEEE, 2017. 3452−3459 [4] Zhang C, Steinhauser F, Hinz G, Knoll A. Traffic mirror-aware POMDP behavior planning for autonomous urban driving. In: Proceedings of the IEEE Intelligent Vehicles Symposium (IV). Aachen, Germany: IEEE, 2022. 323−330 [5] Wang K, Zhou T Q, Li X C, Ren F. Performance and challenges of 3D object detection methods in complex scenes for autonomous driving. IEEE Transactions on Intelligent Vehicles, 2023, 8(2): 1699−1716 doi: 10.1109/TIV.2022.3213796 [6] Pilz C, Ulbel A, Steinbauer-Wagner G. The components of cooperative perception——A proposal for future works. In: Proceedings of the IEEE International Intelligent Transportation Systems Conference (ITSC). Indianapolis, USA: IEEE, 2021. 7−14 [7] Bai Z W, Wu G Y, Barth M J, Liu Y K, Sisbot E A, Oguchi K, et al. A survey and framework of cooperative perception: From heterogeneous singleton to hierarchical cooperation. arXiv preprint arXiv: 2208.10590, 2022. [8] Cui G Z, Zhang W L, Xiao Y Q, Yao L, Fang Z P. Cooperative perception technology of autonomous driving in the internet of vehicles environment: A review. Sensors, 2022, 22 (15): Article No. 5535 [9] Ren S L, Chen S H, Zhang W J. Collaborative perception for autonomous driving: Current status and future trend. In: Proceedings of the 5th Chinese Conference on Swarm Intelligence and Cooperative Control. Shenzhen, China: Springer, 2022. 682−692 [10] Sun P P, Sun C H, Wang R M, Zhao X M. Object detection based on roadside LiDAR for cooperative driving automation: A review. Sensors, 2022, 22 (23): Article No. 9316 [11] Yu G Z, Li H, Wang Y P, Chen P, Zhou B. A review on cooperative perception and control supported infrastructure-vehicle system. Green Energy and Intelligent Transportation, 2022, 1 (3): Article No. 100023 [12] Han Y S, Zhang H, Li H F, Jin Y, Lang C Y, Li Y D. Collaborative perception in autonomous driving: Methods, datasets, and challenges. IEEE Intelligent Transportation Systems Magazine, 2023, 15(6): 131−151 doi: 10.1109/MITS.2023.3298534 [13] 丁飞, 张楠, 李升波, 边有钢, 童恩, 李克强. 智能网联车路云协同系统架构与关键技术研究综述. 自动化学报, 2022, 48(12): 2863−2885Ding Fei, Zhang Nan, Li Sheng-Bo, Bian You-Gang, Tong En, Li Ke-Qiang. A survey of architecture and key technologies of intelligent connected vehicle-road-cloud cooperation system. Acta Automatica Sinica, 2022, 48(12): 2863−2885 [14] Liu S, Gao C, Chen Y, Peng X Y, Kong X H, Wang K, et al. Towards vehicle-to-everything autonomous driving: A survey on collaborative perception. arXiv preprint arXiv: 2308.16714, 2023. [15] Yu H B, Luo Y Z, Shu M, Huo Y Y, Yang Z B, Shi Y F, et al. DAIR-V2X: A large-scale dataset for vehicle-infrastructure cooperative 3D object detection. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). New Orleans, USA: IEEE, 2022. 21329−21338 [16] Xu R S, Xiang H, Tu Z Z, Xia X, Yang M H, Ma J Q. V2X-ViT: Vehicle-to-everything cooperative perception with vision transformer. In: Proceedings of the 17th European Conference on Computer Vision. Tel Aviv, Israel: Springer, 2022. 107−124 [17] Chen Q, Tang S H, Yang Q, Fu S. Cooper: Cooperative perception for connected autonomous vehicles based on 3D point clouds. In: Proceedings of the IEEE 39th International Conference on Distributed Computing Systems (ICDCS). Dallas, USA: IEEE, 2019. 514−524 [18] Ye E, Spiegel P, Althoff M. Cooperative raw sensor data fusion for ground truth generation in autonomous driving. In: Proceedings of the IEEE 23rd International Conference on Intelligent Transportation Systems (ITSC). Rhodes, Greece: IEEE, 2020. 1−7 [19] Arnold E, Dianati M, de Temple R, Fallah S. Cooperative perception for 3D object detection in driving scenarios using infrastructure sensors. IEEE Transactions on Intelligent Transportation Systems, 2022, 23(3): 1852−1864 doi: 10.1109/TITS.2020.3028424 [20] Chen Q, Ma X, Tang S H, Guo J D, Yang Q, Fu S. F-cooper: Feature based cooperative perception for autonomous vehicle edge computing system using 3D point clouds. In: Proceedings of the 4th ACM/IEEE Symposium on Edge Computing. Arlington, Virginia: ACM, 2019. 88−100 [21] Wei S G, Du Y, Chai L G. Interactive perception-based multiple object tracking via CVIS and AV. IEEE Access, 2019, 7: 121907−121921 doi: 10.1109/ACCESS.2019.2937950 [22] Wang T H, Manivasagam S, Liang M, Yang B, Zeng W Y, Urtasun R. V2VNet: Vehicle-to-vehicle communication for joint perception and prediction. In: Proceedings of the 16th European Conference on Computer Vision. Glasgow, UK: Springer, 2020. 605−621 [23] Xu R S, Xiang H, Xia X, Han X, Li J L, Ma J Q. OPV2V: An open benchmark dataset and fusion pipeline for perception with vehicle-to-vehicle communication. In: Proceedings of the International Conference on Robotics and Automation (ICRA). Philadelphia, USA: IEEE, 2022. 2583−2589 [24] Yuan Y S, Cheng H, Sester M. Keypoints-based deep feature fusion for cooperative vehicle detection of autonomous driving. IEEE Robotics and Automation Letters, 2022, 7(2): 3054−3061 doi: 10.1109/LRA.2022.3143299 [25] Kim Y, Hwang S, Bahk S. A study on the feature-level perception sharing of autonomous vehicles. In: Proceedings of the IEEE VTS Asia Pacific Wireless Communications Symposium (APWCS). Seoul, Korea: IEEE, 2022. 109−111 [26] Xu R S, Li J L, Dong X Y, Yu H K, Ma J Q. Bridging the domain gap for multi-agent perception. In: Proceedings of the IEEE International Conference on Robotics and Automation (ICRA). London, United Kingdom: IEEE, 2023. 6035−6042 [27] Allig C, Wanielik G. Alignment of perception information for cooperative perception. In: Proceedings of the IEEE Intelligent Vehicles Symposium (IV). Paris, France: IEEE, 2019. 1849−1854 [28] Shi S Y, Cui J H, Jiang Z H, Yan Z Y, Xing G L, Niu J W, et al. VIPS: Real-time perception fusion for infrastructure-assisted autonomous driving. In: Proceedings of the 28th Annual International Conference on Mobile Computing and Networking. Sydney, Australia: ACM, 2022. 133−146 [29] Hu Y, Fang S H, Lei Z X, Zhong Y Q, Chen S H. Where2comm: Communication-efficient collaborative perception via spatial confidence maps. In: Proceedings of the 36th Annual Conference on Neural Information Processing Systems. New Orleans, USA: Curran Associates, Inc., 2022. 4874−4886 [30] Creß C, Bing Z S, Knoll A C. Intelligent transportation systems using roadside infrastructure: A literature survey. IEEE Transactions on Intelligent Transportation Systems, 2024, 25(7): 6309−6327Creß C, Bing Z S, Knoll A C. Intelligent transportation systems using roadside infrastructure: A literature survey. IEEE Transactions on Intelligent Transportation Systems, 2024, 25 (7): 6309−6327 [31] Qiao D H, Zulkernine F. Adaptive feature fusion for cooperative perception using LiDAR point clouds. In: Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision (WACV). Waikoloa, USA: IEEE, 2023. 1186−1195 [32] Arnold E, Mozaffari S, Dianati M. Fast and robust registration of partially overlapping point clouds. IEEE Robotics and Automation Letters, 2022, 7(2): 1502−1509 doi: 10.1109/LRA.2021.3137888 [33] Gu B, Liu J X, Xiong H Y, Li T T, Pan Y L. ECPC-ICP: A 6D vehicle pose estimation method by fusing the roadside lidar point cloud and road feature. Sensors, 2021, 21 (10): Article No. 3489 [34] Bai Z W, Wu G Y, Barth M J, Liu Y K, Sisbot E A, Oguchi K. PillarGrid: Deep learning-based cooperative perception for 3D object detection from onboard-roadside LiDAR. In: Proceedings of the IEEE 25th International Conference on Intelligent Transportation Systems (ITSC). Macao, China: IEEE, 2022. 1743−1749 [35] Chen R J, Mu Y, Xu R S, Shao W Q, Jiang C H, Xu H, et al. CO^3: Cooperative unsupervised 3D representation learning for autonomous driving. In: Proceedings of the Eleventh International Conference on Learning Representations. Kigali, Rwanda: ICLR, 2023. [36] Wang J Y, Zeng Y, Gong Y. Collaborative 3D object detection for automatic vehicle systems via learnable communications. arXiv preprint arXiv: 2205.11849, 2022. [37] Yu H B, Tang Y J, Xie E Z, Mao J L, Yuan J R, Luo P, et al. Vehicle-infrastructure cooperative 3D object detection via feature flow prediction. arXiv preprint arXiv: 2303.10552, 2023. [38] Shi H B, Hou D Z, Li X Y. Center-aware 3D object detection with attention mechanism based on roadside LiDAR. Sustainability, 2023, 15 (3): Article No. 2628 [39] Hussain M, Ali N, Hong J E. Vision beyond the field-of-view: A collaborative perception system to improve safety of intelligent cyber-physical systems. Sensors, 2022, 22 (17): Article No. 6610 [40] Marez D, Nans L, Borden S. Bandwidth constrained cooperative object detection in images. In: Proceedings of the SPIE 12276, Artificial Intelligence and Machine Learning in Defense Applications IV. Berlin, Germany: SPIE, 2022. 128−140 [41] Xu R S, Tu Z Z, Xiang H, Shao W, Zhou B L, Ma J Q. CoBEVT: Cooperative bird's eye view semantic segmentation with sparse transformers. In: Proceedings of the 6th Conference on Robot Learning. Auckland, New Zealand: CoRL, 2022. 989−1000 [42] Hu Y, Lu Y F, Xu R S, Xie W D, Chen S H, Wang Y F. Collaboration helps camera overtake LiDAR in 3D detection. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). Vancouver, Canada: IEEE, 2023. 9243−9252 [43] Wang Z, Fan S Q, Huo X L, Xu T D, Wang Y, Liu J J, et al VIMI: Vehicle-infrastructure multi-view intermediate fusion for camera-based 3D object detection. arXiv preprint arXiv: 2303.10975, 2023. [44] Fan S Q, Wang Z, Huo X L, Wang Y, Liu J J. Calibration-free BEV representation for infrastructure perception. In: Proceedings of the IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). Detroit, USA: IEEE, 2023. 9008−9013 [45] Cui Y D, Chen R, Chu W B, Chen L, Tian D X, Li Y, et al. Deep learning for image and point cloud fusion in autonomous driving: A review. IEEE Transactions on Intelligent Transportation Systems, 2022, 23(2): 722−739 doi: 10.1109/TITS.2020.3023541 [46] 张新钰, 邹镇洪, 李志伟, 刘华平, 李骏. 面向自动驾驶目标检测的深度多模态融合技术. 智能系统学报, 2020, 15(4): 758−771Zhang Xin-Yu, Zou Zhen-Hong, Li Zhi-Wei, Liu Hua-Ping, Li Jun. Deep multi-modal fusion in object detection for autonomous driving. CAAI Transactions on Intelligent Systems, 2020, 15(4): 758−771 [47] Rossi V, Testolina P, Giordani M, Zorzi M. On the role of sensor fusion for object detection in future vehicular networks. In: Proceedings of the Joint European Conference on Networks and Communications & 6G Summit (EuCNC/6G Summit). Porto, Portugal: IEEE, 2021. 247−252 [48] Wang L, Zhang X Y, Song Z Y, Bi J F, Zhang G X, Wei H Y, et al. Multi-modal 3D object detection in autonomous driving: A survey and taxonomy. IEEE Transactions on Intelligent Vehicles, 2023, 8(7): 3781−3798 doi: 10.1109/TIV.2023.3264658 [49] Du Y C, Qin B H, Zhao C, Zhu Y F, Cao J, Ji Y X. A novel spatio-temporal synchronization method of roadside asynchronous MMW radar-camera for sensor fusion. IEEE Transactions on Intelligent Transportation Systems, 2022, 23(11): 22278−22289 doi: 10.1109/TITS.2021.3119079 [50] Yu H, Zhao Y S, Zou Y, Li Q, Yu H Y, Ren Y L. Multistage fusion approach of LiDAR and camera for vehicle-infrastructure cooperative object detection. In: Proceedings of the 5th World Conference on Mechanical Engineering and Intelligent Manufacturing (WCMEIM). Ma'anshan, China: IEEE, 2022. 811−816 [51] Zha Y Y, Shangguan W. Beyond-line-of-sight perception enhancement via information interaction in connected autonomous driving environment. In: Proceedings of the China Automation Congress (CAC). Xiamen, China: IEEE, 2022. 1809−1814 [52] Zhang H, Luo G Y, Cao Y Z H, Jin Y, Li Y D. Multi-modal virtual-real fusion based transformer for collaborative perception. In: Proceedings of the IEEE 13th International Symposium on Parallel Architectures, Algorithms and Programming (PAAP). Beijing, China: IEEE, 2022. 1−6 [53] Zheng S W, Xie C, Yu S H, Ye M, Huang R Y, Li W H. A robust strategy for roadside cooperative perception based on multi-sensor fusion. In: Proceedings of the International Conference on Sensing, Measurement & Data Analytics in the Era of Artificial Intelligence (ICSMD). Harbin, China: IEEE, 2022. 1−6 [54] Singh P K, Nandi S K, Nandi S. A tutorial survey on vehicular communication state of the art, and future research directions. Vehicular Communications, 2019, 18 : Article No. 100164 [55] Zeadally S, Guerrero J, Contreras J. A tutorial survey on vehicle-to-vehicle communications. Telecommunication Systems, 2020, 73(3): 469−489 doi: 10.1007/s11235-019-00639-8 [56] 路莹. 基于5G通信技术的智能网联汽车系统设计. 农机使用与维修, 2023(8): 27−29Lu Ying. Intelligent networked vehicle system design based on 5G communication technology. Agricultural Machinery Using & Maintenance, 2023(8): 27−29 [57] Li J L, Xu R S, Liu X Y, Ma J, Chi Z C, Ma J Q, et al. Learning for vehicle-to-vehicle cooperative perception under lossy communication. IEEE Transactions on Intelligent Vehicles, 2023, 8(4): 2650−2660 doi: 10.1109/TIV.2023.3260040 [58] Song Z Y, Wen F X, Zhang H L, Li J. A cooperative perception system robust to localization errors. In: Proceedings of 2023 IEEE Intelligent Vehicles Symposium. Anchorage, Alaska, USA: IEEE, 2023. 1−6 [59] Cui J X, Qiu H, Chen D, Stone P, Zhu Y K. Coopernaut: End-to-end driving with cooperative perception for networked vehicles. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). New Orleans, USA: IEEE, 2022. 17231−17241 [60] Bai Z W, Wu G Y, Qi X W, Liu Y K, Oguchi K, Barth M J. Infrastructure-based object detection and tracking for cooperative driving automation: A survey. In: Proceedings of the IEEE Intelligent Vehicles Symposium (IV). Aachen, Germany: IEEE, 2022. 1366−1373 [61] Wang Y H, Sun W, Liu C X, Cui Z Y, Zhu M X, Pu Z Y. Cooperative perception of roadside unit and onboard equipment with edge artificial intelligence for driving assistance [Online], available: https://rosap.ntl.bts.gov/view/dot/60635, September 14, 2023 [62] Mo Y H, Zhang P L, Chen Z J, Ran B. A method of vehicle-infrastructure cooperative perception based vehicle state information fusion using improved Kalman filter. Multimedia Tools and Applications, 2022, 81(4): 4603−4620 doi: 10.1007/s11042-020-10488-2 [63] 朱永薪, 李永福, 朱浩, 于树友. 通信延时环境下基于观测器的智能网联车辆队列分层协同纵向控制. 自动化学报, 2023, 49(8): 1785−1798Zhu Yong-Xin, Li Yong-Fu, Zhu Hao, Yu Shu-You. Observer-based longitudinal control for connected and automated vehicles platoon subject to communication delay. Acta Automatica Sinica, 2023, 49(8): 1785−1798 [64] Bai Z W, Wu G Y, Barth M J, Liu Y K, Sisbot E A, Oguchi K. Cooperverse: A mobile-edge-cloud framework for universal cooperative perception with mixed connectivity and automation. arXiv preprint arXiv: 2302.03128, 2023. [65] Morgan Y L. Notes on DSRC & WAVE standards suite: Its architecture, design, and characteristics. IEEE Communications Surveys & Tutorials, 2010, 12(4): 504−518 [66] Hakim B, Sorour S, Hefeida M S, Alasmary W S, Almotairi K H. CCPAV: Centralized cooperative perception for autonomous vehicles using CV2X. Ad Hoc Networks, 2023, 142 : Article No. 103101 [67] Zaman M, Saifuddin M, Razzaghpour M, Fallah Y P. Performance analysis of V2I zone activation and scalability for C-V2X transactional services. In: Proceedings of the IEEE 96th Vehicular Technology Conference (VTC2022-Fall). London, United Kingdom: IEEE, 2022. 1−5 [68] Huang Z L, Chen S K, Pian Y Z, Sheng Z H, Ahn S, Noyce D A. CV2X-LOCA: Roadside unit-enabled cooperative localization framework for autonomous vehicles. arXiv preprint arXiv:2304.00676, 2023. [69] 吕品, 许嘉, 李陶深, 徐文彪. 面向自动驾驶的边缘计算技术研究综述. 通信学报, 2021, 42(3): 190−208Lv Pin, Xu Jia, Li Tao-Shen, Xu Wen-Biao. Survey on edge computing technology for autonomous driving. Journal on Communications, 2021, 42(3): 190−208 [70] Lee S, Jung Y, Park Y, Kim S. Design of V2X-based vehicular contents centric networks for autonomous driving. IEEE Transactions on Intelligent Transportation Systems, 2022, 23(8): 13526−13537 doi: 10.1109/TITS.2021.3125358 [71] Lu Y F, Li Q H, Liu B A, Dianati M, Feng C, Chen S H, et al. Robust collaborative 3D object detection in presence of pose errors. In: Proceedings of the IEEE International Conference on Robotics and Automation (ICRA). London, United Kingdom: IEEE, 2023. 4812−4818 [72] Luo G Y, Zhang H, Yuan Q, Li J L. Complementarity-enhanced and redundancy-minimized collaboration network for multi-agent perception. In: Proceedings of the 30th ACM International Conference on Multimedia. Lisboa, Portugal: Association for Computing Machinery, 2022. 3578−3586 [73] Wang J, Luo G Y, Yuan Q, Li J L. F-transformer: Point cloud fusion transformer for cooperative 3D object detection. In: Proceedings of the 31st International Conference on Artificial Neural Networks. Bristol, UK: Springer, 2022. 171−182 [74] Wang J D, Wang Z D, Yu B, Tang J, Song S L, Liu C, et al. Data fusion in infrastructure-augmented autonomous driving system: Why? Where? And how? IEEE Internet of Things Journal, 2023, 10 (18): 15857−15871 [75] Yang D, Yang K, Wang Y, Liu J, Xu Z, Yin R, et al. How2comm: Communication-efficient and collaboration-pragmatic multi-agent perception. In: Proceedings of the 2023 Conference on Neural Information Processing Systems. New Orleans, USA: Curran Associates, Inc., 2023. 25151–25164 [76] Thornton S, Flowers B, Dey S. Multi-source feature fusion for object detection association in connected vehicle environments. IEEE Access, 2022, 10: 131841−131854 doi: 10.1109/ACCESS.2022.3228735 [77] Miller A, Rim K, Chopra P, Kelkar P, Likhachev M. Cooperative perception and localization for cooperative driving. In: Proceedings of the IEEE International Conference on Robotics and Automation (ICRA). Paris, France: IEEE, 2020. 1256−1262 [78] Lei Z X, Ren S L, Hu Y, Zhang W J, Chen S H. Latency-aware collaborative perception. In: Proceedings of the 17th European Conference on Computer Vision. Tel Aviv, Israel: Springer, 2022. 316−332 [79] Wang K, Wang Y, Liu B J, Chen J L. Quantification of uncertainty and its applications to complex domain for autonomous vehicles perception system. IEEE Transactions on Instrumentation and Measurement, 2023, 72 : Article No. 5010217 [80] Li Y M, Fang Q, Bai J M, Chen S H, Xu J F, Feng C. Among us: Adversarially robust collaborative perception by consensus. In: Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV). Paris, France: IEEE, 2023. 186−195 [81] Xiang H, Xu R S, Xia X, Zheng Z L, Zhou B L, Ma J Q. V2XP-ASG: Generating adversarial scenes for vehicle-to-everything perception. In: Proceedings of the IEEE International Conference on Robotics and Automation (ICRA). London, United Kingdom: IEEE, 2023. 3584−3591 [82] Wang S, Li C Y, Ng D W, Eldar Y C, Poor H V, Hao Q, et al. Federated deep learning meets autonomous vehicle perception: Design and verification. IEEE Network, 2023, 37(3): 16−25 doi: 10.1109/MNET.104.2100403 [83] Ahmed M, Raza S, Mirza M A, Aziz A, Khan M A, Khan W U, et al. A survey on vehicular task offloading: Classification, issues, and challenges. Journal of King Saud University-Computer and Information Sciences, 2022, 34(7): 4135−4162 doi: 10.1016/j.jksuci.2022.05.016 [84] Qayyum A, Usama M, Qadir J, Al-Fuqaha A. Securing connected & autonomous vehicles: Challenges posed by adversarial machine learning and the way forward. IEEE Communications Surveys & Tutorials, 2020, 22(2): 998−1026 [85] Liu Y C, Tian J J, Ma C Y, Glaser N, Kuo C W, Kira Z. Who2com: Collaborative perception via learnable handshake communication. In: Proceedings of the IEEE International Conference on Robotics and Automation (ICRA). Paris, France: IEEE, 2020. 6876−6883 [86] Liu Y C, Tian J J, Glaser N, Kira Z. When2com: Multi-agent perception via communication graph grouping. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). Seattle, USA: IEEE, 2020. 4105−4114 [87] Abdel-Aziz M K, Perfecto C, Samarakoon S, Bennis M, Saad W. Vehicular cooperative perception through action branching and federated reinforcement learning. IEEE Transactions on Communications, 2022, 70(2): 891−903 doi: 10.1109/TCOMM.2021.3126650 [88] Zhang H L, Mekala M S, Yang D F, Isaacs J, Nain Z, Park J H, et al. 3D harmonic loss: Towards task-consistent and time-friendly 3D object detection on edge for V2X orchestration. IEEE Transactions on Vehicular Technology, 2023, 72(12): 15268−15279 doi: 10.1109/TVT.2023.3291650 [89] Wang J, Guo X Y, Wang H D, Jiang P, Chen T Y, Sun Z M. Pillar-based cooperative perception from point clouds for 6g-enabled cooperative autonomous vehicles. Wireless Communications and Mobile Computing, 2022, 2022 : Article No. 3646272 [90] Song R, Zhou L G, Lakshminarasimhan V, Festag A, Knoll A. Federated learning framework coping with hierarchical heterogeneity in cooperative ITS. In: Proceedings of the IEEE 25th International Conference on Intelligent Transportation Systems (ITSC). Macao, China: IEEE, 2022. 3502−3508 [91] Piazzoni A, Cherian J, Vijay R, Chau L P, Dauwels J. CoPEM: Cooperative perception error models for autonomous driving. In: Proceedings of the IEEE 25th International Conference on Intelligent Transportation Systems (ITSC). Macao, China: IEEE, 2022. 3934−3939 [92] Zhang S Y, Wang S, Yu S, Yu J J Q, Wen M W. Collision avoidance predictive motion planning based on integrated perception and V2V communication. IEEE Transactions on Intelligent Transportation Systems, 2022, 23(7): 9640−9653 doi: 10.1109/TITS.2022.3173674 [93] Andert E, Shrivastava A. Accurate cooperative sensor fusion by parameterized covariance generation for sensing and localization pipelines in CAVs. In: Proceedings of the IEEE 25th International Conference on Intelligent Transportation Systems (ITSC). Macao, China: IEEE, 2022. 3595−3602 [94] Wang T H, Chen G, Chen K, Liu Z F, Zhang B, Knoll A, et al. UMC: A unified bandwidth-efficient and multi-resolution based collaborative perception framework. In: Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV). Paris, France: IEEE, 2023. 8153−8162 [95] Wang T Q, Kim S, Ji W X, Xie E Z, Ge C J, Chen J S, et al. DeepAccident: A motion and accident prediction benchmark for V2X autonomous driving. In: Proceedings of the 38th AAAI Conference on Artificial Intelligence. Vancouver, Canada: AAAI, 2024. 5599−5606 [96] Yuan Y S, Cheng H, Yang M Y, Sester M. Generating evidential BEV maps in continuous driving space. ISPRS Journal of Photogrammetry and Remote Sensing, 2023, 204: 27−41 doi: 10.1016/j.isprsjprs.2023.08.013 [97] Li Z D, Yu T, Suzuki T, Sakaguchi K. Building an SDVN framework for RSU-centric cooperative perception with heterogeneous V2X. In: Proceedings of the IEEE 20th Consumer Communications & Networking Conference (CCNC). Las Vegas, USA: IEEE, 2023. 1−7 [98] Tian Y L, Wang J G, Wang Y T, Zhao C, Yao F, Wang X. Federated vehicular transformers and their federations: Privacy-preserving computing and cooperation for autonomous driving. IEEE Transactions on Intelligent Vehicles, 2022, 7(3): 456−465 doi: 10.1109/TIV.2022.3197815 [99] Song R, Liu D, Chen D Z, Festag A, Trinitis C, Schulz M, et al. Federated learning via decentralized dataset distillation in resource-constrained edge environments. In: Proceedings of the International Joint Conference on Neural Networks (IJCNN). Gold Coast, Australia: IEEE, 2023. 1−10 [100] Song R, Xu R S, Festag A, Ma J Q, Knoll A. FedBEVT: Federated learning bird's eye view perception transformer in road traffic systems. IEEE Transactions on Intelligent Vehicles, 2024, 9(1): 958−969 doi: 10.1109/TIV.2023.3310674 [101] Wang H N, Zhang X Y, Li Z W, Li J, Wang K, Lei Z, et al. IPS300+: A challenging multi-modal data sets for intersection perception system. In: Proceedings of the International Conference on Robotics and Automation (ICRA). Philadelphia, USA: IEEE, 2022. 2539−2545 [102] Xu R S, Xia X, Li J L, Li H Z, Zhang S, Tu Z Z, et al. V2V4Real: A real-world large-scale dataset for vehicle-to-vehicle cooperative perception. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). Vancouver, Canada: IEEE, 2023. 13712−13722 [103] Yu H B, Yang W X, Ruan H Z, Yang Z W, Tang Y J, Gao X, et al. V2X-seq: A large-scale sequential dataset for vehicle-infrastructure cooperative perception and forecasting. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). Vancouver, Canada: IEEE, 2023. 5486−5495 [104] Li Y M, Ma D K, An Z Y, Wang Z X, Zhong Y Q, Chen S H, et al. V2X-Sim: Multi-agent collaborative perception dataset and benchmark for autonomous driving. IEEE Robotics and Automation Letters, 2022, 7(4): 10914−10921 doi: 10.1109/LRA.2022.3192802 [105] Mao R Q, Guo J Y, Jia Y K, Sun Y X, Zhou S, Niu Z S. DOLPHINS: Dataset for collaborative perception enabled harmonious and interconnected self-driving. In: Proceedings of the 16th Asian Conference on Computer Vision. Macao, China: Springer, 2022. 495−511 [106] Azfar T, Li J L, Yu H K, Cheu R L, Lv Y S, Ke R M. Deep learning-based computer vision methods for complex traffic environments perception: A review. Data Science for Transportation, 2024, 6 (1): Article No. 1 [107] Cai X Y, Jiang W T, Xu R S, Zhao W Q, Ma J Q, Liu S, et al. Analyzing infrastructure LiDAR placement with realistic LiDAR simulation library. In: Proceedings of the IEEE International Conference on Robotics and Automation (ICRA). London, United Kingdom: IEEE, 2023. 5581−5587 期刊类型引用(10)
1. 胡立坤，韦春有. 未知环境下基于突变定位SAC算法的移动机器人路径规划. 计算机应用研究. 2025(02): 455-461 . 
百度学术2. 李康斌，朱齐丹，牟进友，菅紫婷. 基于改进DDQN船舶自动靠泊路径规划方法. 智能系统学报. 2025(01): 73-80 . 百度学术3. 朱丹丹，周前，贾勇勇. 多场站协同下基于深度Q网络的配电网电压控制研究. 自动化与仪器仪表. 2025(02): 135-139 . 百度学术4. 王杰，王高攀，孙天杨. 基于DQN算法的无人机校园安全监控路径自动规划模型. 自动化与仪器仪表. 2024(04): 193-196+200 . 百度学术5. 付总礼，胡创业，李克，王鑫. 基于改进DDQN算法的移动机器人路径规划研究. 电脑知识与技术. 2024(16): 11-14 . 百度学术6. 孙婷婷. 巡查机器人路径规划算法与应用综述. 物联网技术. 2024(09): 127-130 . 百度学术7. 唐恒，孙伟，吕磊，贺若飞，吴建军，孙昌浩，孙田野. 融合动态奖励策略的无人机编队路径规划方法. 系统工程与电子技术. 2024(10): 3506-3518 . 百度学术8. 赵静，裴子楠，姜斌，陆宁云，赵斐，陈树峰. 基于深度强化学习的无人机虚拟管道视觉避障. 自动化学报. 2024(11): 2245-2258 . 本站查看9. 朱翠，罗宇豪，王占刚，戴娟. 基于改进蚁群算法的步行街火灾疏散路径规划. 电子测量技术. 2024(16): 73-82 . 百度学术10. 宗律，李立刚，贺则昊，韩志强，戴永寿. 融合速度障碍法和DQN的无人船避障方法. 电子测量技术. 2024(20): 60-67 . 百度学术其他类型引用(11)
-
下载:
计量
- 文章访问数: 1801
- HTML全文浏览量: 807
- PDF下载量: 391
- 被引次数: 21
