Progress and Challenges of Overwater Unmanned Systems
-
摘要: 水上无人系统主要包括无人艇和无人机, 是未来执行水上救援、搜救和监测等任务的主要手段. 本文综述了近年来国内外在水上无人系统方面的最新研究进展, 包括企业界和学术界在无人艇和无人机方面的探索和实践, 介绍了水上无人系统研究在环境感知、航迹规划、避障和同质/异质自主体编队协同和海上弱小目标识别方面的研究成果, 分析讨论了不同方向的研究特点和面临的挑战.Abstract: The overwater unmanned system includes the unmanned surface vehicle (USV) and the unmanned aerial vehicle (UAV), which are the main means to carry out the overwater tasks such as search, rescue, and monitoring in the future. In this paper, the latest research progress about overwater unmanned systems is reviewed, including the exploration and practice of industry and academia about USV and UAV. The research achievements in the field of environmental perception, trajectory planning, obstacle avoidance, the coordination of homogeneous/heterogeneous autonomous agents, and weak small target recognition are introduced and analyzed. The problems and challenges in different directions are discussed.
-
Key words:
- USV /
- UAV /
- environmental perception /
- track planning /
- formation coordination
-
人工神经网络(Artificial neural network, ANN)已经被广泛应用于各个场景, 如计算机视觉、自然语言处理、机器人控制、医疗诊断等. 然而, 随着模型参数规模的不断扩大, ANN需要更多的计算能耗以支持实现更复杂的应用任务, 这无疑限制了边缘智能设备的应用推广[1]. 尽管研究人员已经开展了关于网络量化、结构剪枝以及知识蒸馏等模型压缩技术研究, 但功耗问题依然十分突出.
作为第三代人工神经网络的脉冲神经网络(Spiking neural network, SNN), 脉冲式异步编码特征为高能效计算提供了一种生物合理的解决方案, 支持多尺度和多维度的时空信息高效处理. 与以浮点运算为主的ANN相比, SNN通过单比特的激活值避免了高能耗的浮点乘法操作, 从而实现高能效计算; 同时SNN使用具有丰富时间维度信息的生物动力学神经元, 如采用泄漏整合发放(Leaky-integrated and fire, LIF)神经元模型, 可以帮助动态积累时序输入信息, 并且只有当膜电位超过阈值时才会编码异步事件脉冲. SNN在保持生物合理性的同时展示出了计算高效性, 并在许多人工智能任务上展现出与ANN相近的精度表现. 这些关键特性使得面向SNN的类脑芯片成为研究热点, 如TrueNorth[2]、Loihi[3]和TianjiC[4]等类脑芯片, 这些神经形态芯片具有低延迟、低功耗和并行度高的特点[5].
然而, 在现有计算设备上模拟时序动态信息需要多时间步计算, 而为了保证SNN的运算精度, 这个多时间步的步长又往往设置的很高, 这就导致了推理延迟过大和推理能耗过高的问题. 如现有的SNN学习方法部分采用先ANN训练再SNN转换的方式, 在较为复杂的数据集任务或深层网络结构上, 通常需要几十到数百个时间步才能获得比较好的运算精度, 因此这类SNN模型的部署能耗很高. 此外, 部分学者提出时空依赖的反向传播方法(Spatio-temporal backpropagation, STBP)[6], 可以采用反向传播的微调方法来直接训练SNN, 能够降低计算时间步到十几个量级. 由此可见, 无论是转换方法还是直接训练方法, SNN都需要运行多个时间步, 这不可避免地增加了计算延迟与能量消耗, 对边缘设备的低功耗推理带来了挑战; 另一方面, 现有计算设备如GPU, 无法充分利用SNN稀疏二值脉冲特性, 仍然在使用高能耗的浮点乘法计算. 设计一款更适用于SNN量化计算本身的硬件加速器也迫在眉睫.
针对上述挑战, 本文从SNN的学习方法、计算能耗、硬件部署等实际应用需求出发, 提出一系列降低SNN软硬件部署能耗的方式方法, 并在实际的标准分类任务上测试通过, 本文的主要贡献如下:
1) 提出一种自适应时间步(Adaptive timestep, AT)选择算法. 通过关联输出层置信度和推理所需要的时间步, 支持更加精准地获得样本正确分类所需最小时间步, 可以有效降低平均推理延迟和能耗.
2) 提出一种表征不同时间步重要性的损失函数$ L_{\text{imp}} $. 通过设置时间步越低重要性越高的基本原则, 并使用不重置膜电位的神经元组成输出层, 保留输出层的动态时间信息. 与基于标准交叉熵损失函数的SNN相比, 本文在仅使用1个时间步时的推理准确率就可以提升27% ~ 55%.
3) 设计一款低能耗脉冲神经网络加速器以进一步降低能耗. 在硬件模拟器上开展CIFAR10、CIFAR100、CIFAR10-DVS数据集能耗实验, 自适应时间步脉冲神经网络 (Adaptive timestep improved spiking neural network, ATSNN)算法在不降低精度的情况下, 推理延迟减少36.7% ~ 58.7%、计算复杂度减少33.0% ~ 57.0%, 并且能耗仅为GPU RTX 3090Ti 的4.43% ~ 7.88%, 显示出边缘端智能应用的巨大优势.
1. 已有工作概述
Izhikevich[7]指出, 神经元模型的生物可解释性越高, 其计算复杂度越大. LIF神经元模型因为计算复杂度低以及具有生物合理性, 成为SNN最常使用的一种神经元模型. 原始的LIF模型使用微分方程表达, 通常使用的LIF模型欧拉展开迭代表达式如式(1) ~ (2)所示
$$ {\boldsymbol{u}}_{t+1}^{l} = \tau {\boldsymbol{u}}_{t}^{l}\left({\boldsymbol{1}}-{\boldsymbol{s}}_{t}^{l} \right) + {\boldsymbol{W}}^{l}{\boldsymbol{s}}_{t+1}^{l-1} $$ (1) $$ ({\boldsymbol{s}}_{t+1}^{l})_i = \begin{cases} 1, & ({\boldsymbol{u}}_{t+1}^{l})_i>V_{th} \\ 0, & \text{ otherwise } \end{cases} $$ (2) 式中, ${\boldsymbol{u}}_{t+1}^{l} $是在时间步$t+1 $时第$ l $层的神经元膜电位, $({\boldsymbol{u}}_{t+1}^{l})_i$是在时间步$ t+1 $时第$ l $层的第$ i $个神经元的膜电位, $ \tau $是膜电位衰减系数, $ {\boldsymbol{W}}^{l} $是第$ l $层的权重, $({\boldsymbol{s}}_{t+1}^{l-1})_i$是在时间步$ t+1 $时第$ l-1 $层的第$ i $个神经元发放的脉冲, $ V_{th} $是发放脉冲的膜电位阈值.
SNN每个时间步的计算与ANN十分相似, 只需将ANN的激活函数换成具有时间信息的生物神经元模型. 处理数据集样本时, 需要通过速率编码、时间编码、相位编码等方法添加时间维度信息[8], 或者将数据样本重复输入多次. 假设时间步$ t $时第$ i $个样本的输入数据为$ {\boldsymbol{x}}_{t}^{i} $, SNN的前向推理公式可以定义为
$$ \begin{array}{*{20}{l}} f_{t}({\boldsymbol{x}}_{t}^{i})=h\circ g^{L}\circ g^{L-1}\circ \cdots \circ g^{1}({\boldsymbol{x}}_{t}^{i}) \end{array} $$ (3) 式中, $ f_{t}({\boldsymbol{x}}_{t}^{i}) $是在时间步$ t $时网络的输出, $ h $是网络的输出层, $ g^{L} $是第$ L $个包含卷积池化层、全连接层和LIF神经元的模块, $\circ $表示函数的复合.
由于SNN的输出是脉冲序列, 需要对脉冲序列解码来完成后续任务. 常见的解码方式有第一峰值解码、计数解码[9]. 对于分类任务, 输出层神经元数目和类别数相同, 第一峰值解码选择第一个出现脉冲的神经元所在类为预测类别; 计数解码统计多个时间步输出层神经元的脉冲数, 选择脉冲数最多的神经元所在类为预测类别. 此外, 也有些模型如EfficientLIF-Net[10], 将神经元输出层替换成全连接层, 统计多个时间步全连接输出层的累计值, 选择累计值最大的神经元所在类为预测类别.
STBP是训练SNN常用且有效的方法. 为解决脉冲发放函数不可导的问题, STBP定义了一系列函数来逼近发放函数的导数, 如式(4)所示, 式中$ \alpha $是一个超参数. 通过梯度近似, SNN的梯度能够在时间和空间两个尺度进行传播, 使网络易于快速收敛.
$$ \frac{\partial {\boldsymbol{s}}}{\partial {\boldsymbol{u}}} = \frac{1}{\sqrt{2\pi \alpha} } \text{e}^{-\frac{({\boldsymbol{u}}-{\boldsymbol{V}}_{th})^{2}}{2\alpha} } $$ (4) 在直接训练低延迟网络方面, Bu等[11]提出膜电位的最佳初始化策略, 不仅实现高精度ANN到SNN转换, 还能缩短推理延迟. Jiang等[12]提出KLIF神经元模型, 在训练过程中动态调整代理梯度函数的斜率和宽度. Fang等[13]提出基于SEW (Spike element wise)的残差块实现SNN中的残差学习, 克服梯度爆炸问题, 以较少时间步实现高准确率. Zheng等[14]提出阈值依赖的批归一化, 在时间和空间两个维度归一化输入特征. Rathi和Roy[15]提出训练神经元膜电位衰减系数和发放阈值的算法. Guo等[16]提出信息最大化损失函数和动态调整代理梯度大小方案, 实现训练后期更为准确的反向梯度以及低延迟性能.
除了直接训练低延迟SNN外, 也有学者通过执行部分时间步获得较高准确率. 在ANN领域有早期退出(Early exit)策略, 如BranchyNet[17]通过在网络某些层加入分类器, 当分类器的置信度大于预期设定的阈值时, 就选择当前分类器的结果作为网络的输出, 否则网络继续向前传播直至后续分类器的置信度大于阈值或者传播至输出层. 早期退出策略存在早期退出分支多、网络参数多、分类器阈值难于调整等问题.
与早期退出策略相似的是时间步选择策略. Kim和Panda[18]提出在时间维度归一化输入特征, 并使用神经元随时间步变化的发放阈值作为早期退出条件. Li等[19]提出的DTSNN在选择时间步时, 计算当前时间步样本的归一化信息熵, 选择熵小于预期设定阈值的最小时间步作为该样本的推理时间步. DTSNN的动态选择时间步算法如式(5) ~ (7)所示
$$ \pi_{t}^{i} ( {\boldsymbol{x}} )=\frac{ \text{exp}\left(\frac{1}{t}\sum\limits_{k=1}\limits^{t}(f_{k}({\boldsymbol{x}}_{k}))_{i}\right) }{ { \sum\limits_{j=1}\limits^{C}} \text{exp}\left(\frac{1}{t}\sum\limits_{k=1}\limits^{t}(f_{k}({\boldsymbol{x}}_{k}))_{j}\right)} $$ (5) $$ E_{f}^{t}( {\boldsymbol{x}} )=-\frac{1}{\text{lg}C}\sum\limits_{i=1}\limits^{C} \pi_{t}^{i} ( {\boldsymbol{x}} ) \text{lg} (\pi_{t}^{i} ( {\boldsymbol{x}} )) $$ (6) $$ {\hat{T}} = \text{arg}\, \underset{{\hat{T}}}{\text{min}} \{ E_{f}^{{\hat{T}}}({\boldsymbol{x}})<\theta |1\leq {\hat{T}}< T \} \cup \{ T \} $$ (7) 式中, $ C $是类别数, $ \pi_{t}^{i} ({\boldsymbol{x}}) $是样本$ {\boldsymbol{x}} $在时间步$ t $时预测为第$ i $类的概率, $ E_{f}^{t}({\boldsymbol{x}}) $是样本$ {\boldsymbol{x}} $运行$ t $个时间步时累积的熵, $ \theta $是选择时间步的阈值, $ {\hat{T}} $是熵小于$ \theta $的最小时间步, $ T $是最大时间步.
使用网络剪枝、减少脉冲发放次数与量化技术, 通常会有效降低SNN能耗. Deng等[20]通过在损失函数中引入脉冲发放率正则化项来降低脉冲发放率. Stöckl 和 Maass[21]提出具有反馈通路的神经元来减少脉冲数目. Chen等[22]通过定义权重梯度来权衡连接关系剪枝与生长, 获得稀疏网络结构. Eshraghian等[23]、Wang等[24]分别将网络权重量化为4比特和2比特.
2. ATSNN 算法
传统的SNN使用固定时间步长推理样本, 这带来较大的推理延迟和能量消耗. 我们发现部分样本使用较小时间步推理依然可以正确预测类别信息, 而对所有样本使用相同的低时间步推理性能不佳, 同时网络在极低时间步的推理性能较差.
为此, 本文提出自适应时间步脉冲神经网络, 提出不重置神经元膜电位的输出层、低时间步更重要的损失函数$ L_{\text{imp}} $和自适应时间步选择算法. 图1(a)是LIF神经元模型与ATSNN输出层等价的神经元模型, 相较于传统的使用固定时间步长的神经元计算过程, ATSNN的输出层神经元膜电位不重置, 同时根据置信度$ CL_{t} $自适应地选择合适的推理时间步, 无需运行所有的时间步; 图1(b)是ATSNN训练和动态时间步推理过程, 黄色部分为本文的神经元及损失函数, 绿色部分为自适应时间步选择模块.
图 1 ATSNN结构及训练和动态时间推理流程图Fig. 1 ATSNN structure and training and dynamic time inference flow chart本文模型一方面在固定的低时间步推理的准确率得到了大幅提升, 另一方面能够在推理过程中自适应选择合适的时间步而不损失网络性能. 此外, 本文也针对ATSNN设计一款低功耗脉冲神经网络加速器, 并在硬件模拟器上验证ATSNN.
2.1 不重置膜电位的输出层
低延迟模型如SEWResNet[13]以及DTSNN[19]均使用全连接层并使用式(5)表达网络的输出. STBP[6]使用LIF神经元全连接层并将该层脉冲在多个时间步的累加值作为网络的输出. 第一种方案的输出层将带有时间信息的脉冲序列直接转化为实数空间的值, 损失了时间信息; 第二种方案将实数空间的神经元膜电位量化为脉冲序列并统计脉冲数, 信息表达能力大幅下降. 考虑到重置膜电位会丢失部分时间信息, 为了在输出层保留更多的信息, 并且不降低网络输出信息表达能力, 本文提出使用不重置膜电位的简化LIF模型来保留时间信息和降低量化误差, 并统计膜电位的Softmax累积值作为网络的输出, 如式(8) ~ (10)所示
$$ {\boldsymbol{u}}_{t+1}^{l} = \tau {\boldsymbol{u}}_{t}^{l} + {\boldsymbol{W}}^{l}{\boldsymbol{s}}_{t+1}^{l-1} $$ (8) $$ {\boldsymbol{o}}_{i}^{t} = \frac{\text{exp}((f_{t}({\boldsymbol{x}}_{t}))_{i})}{ { \sum\limits_{j=1}\limits^{C}} \text{exp}((f_{t}({\boldsymbol{x}}_{t}))_{j})} $$ (9) $$ {\boldsymbol{y}}_{t}=\frac{1}{t} \sum\limits_{k=1}^{t} {\boldsymbol{o}}^{k} $$ (10) 式中, $(f_{t}({\boldsymbol{x}}_{t}))_i$是在时间步$ t $时最后一层的第$ i $个神经元的膜电位, $ {\boldsymbol{x}}_{t} $代表当前时刻输入网络的数据, $ {\boldsymbol{o}}_{i}^{t} $是在时间步$ t $时网络预测为第$ i $类的概率; $ {\boldsymbol{y}}_{t} $是$ t $个时间步的累积输出向量, 在训练时根据$ {\boldsymbol{y}}_{T} $最大值所在位置作为当前样本的类别. 相比于式(1) ~ (2)的基础LIF模型, 本文的神经元模型没有重置膜电位和发放脉冲操作.
通过使用本文提出的输出层, 一方面可以保持SNN丰富的时间信息, 另一方面使用了膜电位而不是神经元脉冲序列, 这将保持网络输出表达空间、消除膜电位转换脉冲带来的量化误差并提升网络分类置信度.
2.2 低时间步更重要的损失函数$ L_{\text{imp}} $
SNN输出层的信息随着时间进行累积, 时间步越大输出层的信息量越大. 现有的SNN大多采用交叉熵损失函数, 这将平等地对待每个时间步网络的输出, 造成使用固定的低时间步推理网络准确率低的问题. 本文希望增加低时间步网络的信息量, 以此提升直接固定低时间步网络的推理性能. 为此本文设计表征低时间步更重要的函数, 如式(11)所示, 时间步越小重要性越高, 并将重要性函数与交叉熵函数结合, 提出低时间步更重要的损失函数$ L_{\text{imp}} $, 如式(13)所示
$$ I_{t} = 1 + \text{exp}\left(-1-\frac{t+1}{T}\right) $$ (11) $$ D = \sum\limits_{t = 1}^{T} I_{t} $$ (12) $$ L_{\text{imp}} = -\frac{1}{B} \sum\limits_{t = 1}^{T} \frac{I_{t}}{D} \sum\limits_{i = 1}^{C}{\boldsymbol{z}}_{i}\text{lg}({\boldsymbol{o}}_{i}^{t}) $$ (13) 式中, $ I_{t} $为第$ t $个时间步的重要性, $ D $是归一化系数, $ {\boldsymbol{o}}_{i}^{t} $是在时间步$ t $时网络预测为第$ i $类的概率, $ C $是类别数, $ {\boldsymbol{z}}_{i} $是输入样本属于第$ i $类的概率, $ B $是批次大小.
基于本文的输出层以及损失函数, 使用STBP进行模型训练, 并使用式(14)所示的代理梯度函数
$$ \frac{\partial {\boldsymbol{s}}}{\partial {\boldsymbol{u}}} = \max\left({\boldsymbol{0}}, {\boldsymbol{1}}-\frac{|{\boldsymbol{u}}-{\boldsymbol{V}}_{th}|}{{\boldsymbol{V}}_{th}}\right) $$ (14) 2.3 自适应时间步选择算法
随着时间步的增加, 网络的性能也会随之增加. 对于最大时间步为$ T $的SNN, 对每个样本使用不同的时间步依然能获得相同的准确率. 经过Softmax函数归一化的时间步$ t $时的输出$ {\boldsymbol{o}}^{t} $, 如果$ {\boldsymbol{o}}_{c}^{t} $越接近于1, 这个样本属于第$ c $类的可能性就越大. 考虑到本文提出的损失函数$ L_{\text{imp}} $会使长时间步的输出重要性减弱, 为此提出基于可变置信度的自适应时间步选择算法, 如式(15)、式(16)所示
$$ CL_{t} = CL_{\text{init}} \times \tau^{t-1}_{CL} $$ (15) $$ {\hat{T}} = \min ( \{ t |\max({\boldsymbol{o}}^{t}) > CL_{t} ,1\leq t< T \} \cup \{ T \} ) $$ (16) 式中, 超参数$ CL_{\text{init}} $是初始化置信度, 标量$ \tau_{CL} $是置信度$ CL_{t} $的衰减系数, $ {\hat{T}} $是选择的时间步, $ {\boldsymbol{o}}^{t} $是时间步$ t $时网络的输出. 若当前时间步网络输出的最大值小于置信度$ CL_{t} $, 认为此时网络的输出并不可信, 需要进行下一个时间步的计算, 直至获得可信的结果. 由于式(11)的时间步重要性随时间增大而减小, 置信度$ CL_{t} $变化趋势应与时间步重要性保持一致, 如式(15)所示.
2.4 脉冲神经网络加速器
脉冲神经网络加速器可以对SNN低功耗推理. 图2(a)为SNN常用的加速器, 由于神经元膜电位更新需要衰减操作, 因此使用了带有高能耗乘法的处理元件(Process elements, PE)用于膜电位计算, 同时SNN使用固定时间步进行推理, 没有时间步选择模块.
图 2 加速器架构((a)常规加速器; (b) DTSNN的加速器; (c)本文加速器)Fig. 2 Accelerator architecture ((a) Conventional accelerator; (b) Accelerator of DTSNN; (c) Our accelerator)图2(b)是DTSNN的硬件加速器, 在实现方式上, 采用数模混合的方式: PE更新膜电位时使用模拟信号, DT选择动态时间步时使用数字信号. 由于加速器采用了大量的模数转换器(Analog to digital converter, ADC), 引入了额外的功耗开销, 芯片面积也会明显增大. 动态时间步选择模块DT为全数字实现, 通过使用在6 KB存储器查表的方式避免复杂的指数、对数运算.
本文设计脉冲神经网络加速器, 并实现所提出的自适应时间步选择算法. 图2(c)是本文加速器的架构, 阵列大小为16$ \times $16, 包含255个PE单元、1个AT单元. PE和AT均有128 B的输入脉冲缓冲器和128 B的输出脉冲缓冲器; PE和AT数据存储器的大小分别为1 KB、3 KB.
PE是完成神经元计算、发放脉冲的处理单元, 完成输入电流累积、膜电位更新、发放脉冲三个操作. 针对式(1)中膜电位衰减需要高能耗的乘法计算, 本文使用移位和加法计算代替乘法计算, 从而降低加速器的功耗.
AT单元用于实现ATSNN的输出层以及AT算法, 由于不重置膜电位, 相较于PE少了一个多路选择器(Multiplexer, MUX), 同时加入了一个乘法器用于实现AT算法. 为降低硬件功耗, 将AT算法修改为硬件友好型, 如式(17)、式(18)所示
$$ {\boldsymbol{o}}_{i}^{t} = \text{exp}((f_{t}({\boldsymbol{x}}_t))_{i}) $$ (17) $$ CL_{t} = CL_{\text{init}} \times \tau^{t-1}_{CL} \times \sum\limits_{j=1}^{C} \text{exp}((f_{t}({\boldsymbol{x}}_t))_{j}) $$ (18) 相较于式(9)和式(15), 硬件上的AT算法在计算输出时, 将高能耗与高延迟的除法计算转换为乘法计算; 同时在硬件设计上, 通过对在数据存储参数区预存的指数值线性插值, 避免式(17)中高能耗的指数计算. 相较于DTSNN的加速器, 本文的加速器避免大量ADC带来的额外功耗开销, 同时具有更小的存储器开销.
3. 实验结果与分析
3.1 数据集与实验设置
本文使用四个静态图像数据集和两个动态数据集训练并测试网络. 静态数据集CIFAR10和CIFAR100[25], 每个数据集均有尺寸为3$ \times $32$ \times $32的
50000 张训练图像和10000 张测试图像, 类别数分别为10和100. TinyImageNet[26]总共有200类尺寸为3$ \times $64$ \times $64的100000 张训练图像和10000 张测试图像. ImageNet-100数据集是ImageNet1K[27]的子集, 具有100类尺寸为3$ \times $224$ \times $224的126689 张训练图像和5000 张测试图像. 动态数据集CIFAR10-DVS[28]通过使用DVS相机将10000 个CIFAR10图像转换成数据流, 相机的空间分辨率为128$ \times $128, 数据集的类别数为10. 动态数据集N-Caltech-101[29]有101类共8709 个数据流, 相机空间分辨率为240$ \times $180.基于NVIDIA GeForce RTX 3090Ti训练并推理本文提出的算法, 网络结构使用VGG16和ResNet19. 对于静态数据集, 使用均值和方差归一化图像. 对于数据集CIFAR10-DVS, 由于原数据集没有划分训练集和测试集, 本文参照DTSNN将其划分为
9000 个训练样本和1000 个测试样本; 对于数据集N-Caltech-101, 参照NDA[30]划分数据集, 并使用Spikingjelly[31]将动态数据集转换成与相机画幅相同的双通道图像帧.对于所有的数据集和网络, 均使用随机梯度下降(Stochastic gradient descent, SGD)优化器, 权值衰减设置为
0.0005 , 动量设置为0.9. 初始学习率为0.1, 使用余弦退火方法调整学习率; 批大小设置为256, 最大迭代次数设置为300. 本文首先使用固定时间步对网络进行训练, 然后使用提出的时间步选择算法对训练后的网络选择合适的时间步. 网络的性能有三个评价指标: 准确率、吞吐率和复杂度. 复杂度$ E $计算如式(19)所示$$ E = { \sum\limits_{l=1}\limits^{L}} fr^{l-1}\times T\times conn^{l} $$ (19) 式中, $ fr^{l-1} $为第$ l-1 $层的脉冲发放率, $ conn^{l} $为第$ l $层每个输入神经元实际连接的权重数目.
3.2 ATSNN 获得优于 DTSNN精度
为验证本文提出的ATSNN的有效性, 将本文的算法与未使用ATSNN模块的SNN和Li等[19]提出的DTSNN进行对比. 本文使用相同的参数训练SNN、DTSNN和ATSNN, 对比推理所用的平均时间步和复杂度, 并将SNN的复杂度归一化以作为基准.
表1给出各个模型在三个数据集上的性能, 表中时间步一列如2.53 (4)表示推理平均时间步为2.53, 最大时间步为4. 从表1可以看出, 在CIFAR10数据集上, ATSNN只需要2.19和2.00个时间步就能达到另外两个模型相当的准确率, 复杂度仅为SNN的67%; 在CIFAR100数据集上, ATSNN只需要2.49和2.53个时间步就能获得最好的准确率, 复杂度仅为SNN的64%; 而在CIFAR10-DVS数据集上, ATSNN的准确率接近其他两个算法, 但平均时间步和复杂度最小.
表 1 SNN、DTSNN和ATSNN在时间步、准确率和复杂度的对比Table 1 Comparison of SNN, DTSNN and ATSNN in timestep, accuracy and complexity网络结构 算法 CIFAR10 CIFAR100 CIFAR10-DVS 时间步 准确率(%) 复杂度 时间步 准确率(%) 复杂度 时间步 准确率(%) 复杂度 VGG16 SNN 4.00 91.35 1.00 4.00 66.99 1.00 10.00 72.60 1.00 DTSNN 2.53 (4) 91.13 0.79 3.58 (4) 69.68 0.96 5.70 (10) 73.30 0.56 ATSNN 2.19 (4) 91.61 0.67 2.49 (4) 70.05 0.63 4.13 (10) 73.00 0.43 ResNet19 SNN 4.00 91.86 1.00 4.00 67.22 1.00 10.00 70.00 1.00 DTSNN 2.52 (4) 91.51 0.88 3.54 (4) 67.58 1.02 6.95 (10) 70.50 0.94 ATSNN 2.00 (4) 91.84 0.67 2.53 (4) 70.64 0.64 5.57 (10) 69.50 0.63 通过调整时间步选择模块的参数, 获得DTSNN和ATSNN的准确率随平均推理时间步变化曲线. 如图3所示, 可以看到在相同准确率下, ATSNN具有更低的平均推理时间步, 因此推理延迟更低; 在相同的平均推理时间步下, ATSNN具有更高的准确率. 如图3(d)所示, 在平均时间步均约为2.4的情况下, ATSNN准确率高于DTSNN. 通过以上结果与分析, ATSNN在准确率和推理延迟上优于DTSNN.
此外, 为进一步探究ATSNN和DTSNN的计算耗能情况, 在ImageNet-100和N-Caltech-101两个数据集上对比每个时间步ATSNN相对DTSNN的计算复杂度和网络性能, 对比结果如表2所示. 表中T1表示第一个时间步的相对计算复杂度, $ \tilde{T} $是使用时间步选择算法后ATSNN相对于DTSNN的平均推理时间步, $ \Delta ACC $是ATSNN相对于DTSNN提升的准确率. 从表中可以看出在两个数据集上ATSNN能够取得更好的准确率, 同时ATSNN的计算复杂度和DTSNN相差不大, 即两个算法每个时间步计算耗能相似. 由于ATSNN使用更少的时间步进行推理, 故计算耗能更低, 计算效率更高.
表 2 每个时间步的相对计算复杂度及网络性能Table 2 Relative computational complexity per timestep and network performance数据集 T1 T2 T3 T4 T5 $\tilde{T}$ (%) $\Delta ACC$ (%) ImageNet-100 0.998 1.009 1.009 1.010 1.003 68.49 0.90 N-Caltech-101 0.959 0.977 0.978 0.959 0.989 68.32 0.45 3.3 有效的损失函数$ L_{\text{imp}} $
ATSNN的损失函数$ L_{\text{imp}} $期望低时间步网络输出的重要性更高. 为测试损失函数的效果, 在SNN的基础上, 仅将损失函数替换为交叉熵(Cross entropy)函数、DTSNN模型的损失函数(DTSNN-loss)和本文的损失函数($ L_{\text{imp}} $)并训练网络. 然后所有网络均不使用时间步选择算法, 仅使用固定的时间步(1、2、3、4)测试网络性能, 结果如图4所示.
图 4 固定时间步时使用三种损失函数的准确率Fig. 4 Accuracy by using three loss functions at fixed timestep从图4中可以看出, 使用本文的损失函数$ L_{\text{imp}} $在1个时间步的推理性能优于另外两个损失函数, 这为后续选择时间步算法实现低推理延迟且无准确率损失奠定了基础. 由此可见, 本文的损失函数$ L_{\text{imp}} $提升了网络在低时间步的表达能力.
3.4 低能耗SNN硬件加速器
本文使用SNN硬件模拟器SATA-Sim[32]实现脉冲神经网络加速器, 使用4个工作在28 nm工艺、500 MHz时钟频率条件的并行加速器运行本文模型, 同时也与GPU对比总耗能、帧率(Frames per second, FPS).
实验结果如表3所示, 表3最后一列的数值如606.1 (5.46%)表示本文加速器总耗能606.1 J, 仅为GPU耗能的5.46%. 可以明显看到, 本文的加速器能够达到GPU相同的推理速度, 但仅消耗4.43% ~ 7.88% GPU的能量. 同时本文也分析AT单元的功耗, 由于最后一层神经元数目少, AT单元的操作数远少于PE单元, 所以尽管有乘法器的存在, AT单元的总功耗不及PE的千分之一. 因此本文的硬件平台具有显著的能耗优势, 并且AT算法不会引入较大的资源消耗, 非常适合部署在终端智能设备.
表 3 加速器与GPU关于FPS、耗能对比Table 3 Comparison of FPS and energy consumption between accelerator and GPU网络结构 数据集 GPU 本文加速器 FPS 耗能(J) FPS 耗能(J) VGG16 CIFAR10 215 6814 248 537.6 (7.88%) CIFAR100 200 7499 228 543.6 (7.24%) ResNet19 CIFAR10 215 11088 212 606.1 (5.46%) CIFAR100 172 13914 180 617.2 (4.43%) 3.5 超参数的影响分析
本文的自适应时间步选择算法有两个超参数$ CL_{\text{init}} $和$ \tau_{CL} $, 在CIFAR10和CIFAR100数据集上遍历两个超参数分别从
0.9950 到0.9998 , 步长为0.0002 , 统计不同参数对算法准确率以及平均时间步的影响.图5、图6分别为不同超参数条件下的准确率和平均时间步. 从图中可以看到, 随着两个超参数的不断增大, 算法的准确率呈增大趋势, 同时所有算法的平均时间步也在提升. 这是因为当$ CL_{\text{init}} $变大、$ \tau_{CL} $变大时, ATSNN输出层需要更高的置信度才能退出选择时间步模块, 在提升推理准确率的同时也带来了时间步的增加. 超参数的选择会对网络的性能带来一定的影响, 为此设置$ CL_{\text{init}} $和$ \tau_{CL} $均为0.999, 此时ATSNN的性能如表4所示. 与表1的结果相比, 本文的算法仍然具有较低的平均时间步和较高的准确率.
表 4 默认超参数的性能Table 4 Performance with default hyperparameters数据集 网络结构 时间步 准确率(%) CIFAR10 ResNet19 1.897 (4) 91.77 CIFAR10 VGG16 2.183 (4) 91.57 CIFAR100 ResNet19 2.501 (4) 70.46 CIFAR100 VGG16 2.642 (4) 69.58 当$ \tau_{CL} $等于1时, ATSNN的自适应时间步选择算法退化为单一阈值比较, 这在CNN的早期退出经常使用. 对比本文提出的动态时间步选择方案$ (\tau_{CL} \ne1)$以及$ \tau_{CL}=1 $时的退化方案, 结果如图7所示. 实验结果表明, 本文动态时间步选择方案比退化的方案具有更好的性能. 虽然本文方案具有两个超参数, 但从前文的分析可以得知, 使用默认的超参数也可以获得较好的性能, 并且增大超参数能够提升准确率.
图 7 $ \tau_{CL}\ne1 $和$ \tau_{CL} =1$时的性能对比Fig. 7 Performance comparison between $ \tau_{CL}\ne1 $ and $ \tau_{CL}= 1 $3.6 消融实验分析
为验证本文提出的各个模块对低时间步推理的合理性和有效性, 针对网络构建过程使用到的三个模块进行消融实验. ATSNN使用的网络模型相较于SNN模型做了三处改动: 替换输出层神经元、改变输出表征以及更换损失函数. 本节在基准SNN的基础上逐步替换模块来进行消融实验, 实验使用ResNet19结构并在CIFAR10和CIFAR100两个数据集上进行, 训练的时间步均为4. 如表5所示, 第2 ~ 4列分别表示是否替换相应模块, 如第3行表示仅将输出层替换为本文的膜电位不重置LIF神经元; 第5 ~ 8列分别表示推理时间步为1 ~ 4的网络准确率.
表 5 ATSNN消融实验Table 5 Ablation experiment of ATSNN数据集 输出层神经元 损失函数 输出表征 T1 T2 T3 T4 CIFAR10 34.43 89.39 90.82 91.86 √ 47.26 89.85 90.52 91.38 √ 85.68 88.78 90.39 91.28 √ √ 86.93 89.96 91.63 91.79 √ √ √ 86.93 90.14 91.39 91.86 CIFAR100 27.13 56.68 62.53 67.22 √ 30.38 57.19 63.37 67.70 √ 52.69 63.80 67.29 69.61 √ √ 53.47 64.35 67.53 69.90 √ √ √ 53.47 65.23 68.17 70.25 通过表5可以看到, 当只替换输出层时, 推理时只使用一个时间步的网络性能得到了提升; 如果只更换损失函数, 推理时只使用一个时间步的网络准确率得到了大幅度提升, 基本上与基准SNN使用两个时间步的推理准确率相似; 当替换输出层和损失函数时, 网络在低时间步的推理性能进一步得到提升, 说明两个模块的结合有助于提升网络的性能; 最后一行为三个模块全部替换的结果, 此时低时间步推理性能和网络最终的准确率(时间步为4的推理性能)达到最高. 不过在CIFAR10数据集上, 尽管替换部分模块导致网络最终准确率下降, 但低时间步推理性能得到了提升, 这对后续的动态时间步选择十分重要. 此外在替换全部模块的情况下, 网络最终性能能够达到基准SNN的性能, 甚至超越. 因此本文提出的模块在大幅提升低时间步推理准确率的同时, 能够保持甚至提高网络最终的推理准确率.
3.7 低延迟特性对比
本文也和目前具有低延迟的SNN算法进行了比较, 结果如表6所示. 表6中时间步一列如2.51 (4)表示训练时间步为4, 推理时选择的平均时间步为2.51. 网络结构一列VGG16的参数量为138 M、ResNet19的参数量为11.2 M、SEW-ResNet34的参数量为21.5 M.
表 6 ATSNN与低延迟算法的对比Table 6 Comparison between ATSNN and low-latency algorithms数据集 算法 算法类型 网络结构 时间步 准确率 (%) CIFAR10 Conversion[11] ANN转SNN VGG16 8 90.96 STDB[33] 转换+训练 VGG16 5 91.41 EfficientLIF-Net[10] 直接训练 VGG16 5 90.30 DTSNN[19] 直接训练 VGG16 2.53 (4) 91.13 本文 直接训练 VGG16 2.56 (10) 92.09 STBP-tdBN[14] 直接训练 ResNet19 6 93.16 DTSNN[19] 直接训练 ResNet19 2.51 (4) 91.51 本文 直接训练 ResNet19 2.71 (10) 92.38 CIFAR100 STDB[33] 转换+训练 VGG16 5 66.46 Diet-SNN[15] 直接训练 VGG16 5 69.67 Real Spike[34] 直接训练 VGG16 5 70.62 RecDis-SNN[35] 直接训练 VGG16 5 69.88 本文 直接训练 VGG16 3.86 (10) 71.37 DTSNN[19] 直接训练 ResNet19 3.54 (4) 67.58 本文 直接训练 ResNet19 2.53 (10) 70.64 CIFAR10-DVS STBP-tdBN[14] 直接训练 ResNet19 6 67.80 DTSNN[19] 直接训练 ResNet19 6.95 (10) 70.50 本文 直接训练 ResNet19 5.57 (10) 69.50 ImageNet-100 EfficientLIF-Net[10] 直接训练 ResNet19 5 79.44 LocalZO[36] 直接训练 SEW-ResNet34 4 81.56 本文 直接训练 ResNet19 1.76 (5) 81.96 TinyImageNet EfficientLIF-Net[10] 直接训练 ResNet19 5 55.44 DTSNN[19] 直接训练 ResNet19 3.71 (5) 57.18 本文 直接训练 ResNet19 2.47 (5) 57.61 N-Caltech-101 MC-SNN[37] 直接训练 VGG16 20 81.24 DTSNN[19] 直接训练 VGG16 3.21 (10) 82.26 本文 直接训练 VGG16 2.19 (10) 82.63 NDA[30] 直接训练 ResNet19 10 78.60 本文 直接训练 ResNet19 2.56 (10) 80.56 通过表6的结果可以看出, ATSNN获得了最低的推理延迟. 在CIFAR10数据集上, 能以2.71个时间步获得92.38%的准确率; 在CIFAR100数据集上获得了最高分类准确率; 在CIFAR10-DVS数据集上, 本文的算法仍能以5.57个时间步获得较高准确率; 在规模更大的ImageNet-100、TinyImageNet和N-Caltech-101数据集上, ATSNN实现了最低的推理延迟和最高的准确率. 通过以上分析可以得到, 本文的算法不论是与固定低时间步的算法还是与动态选择时间步的算法相比, 均有较低的时间步以及较高的准确率, 具有较强的低延迟推理能力.
3.8 讨论
通过实验可以看出, 本文算法具有推理延迟低、复杂度低的特点, 在所有的实验中均取得了较低的推理延迟. 但在处理部分数据集时, 如表6的CIFAR10, 本文算法的准确率不及STBP-tdBN方法; 在CIFAR10-DVS数据集上, 本文算法准确率略低于DTSNN.
出现这种情况的原因主要是训练出的网络精度较低. 通过在训练时增大时间步, 发现本文算法依然比上述算法具有更低的推理延迟, 准确率相对于低时间步训练的网络得到了提升. 因此可以通过增加训练时间步解决这个问题, 同时也考虑对网络改进以提升性能.
此外, 在第3.3节中, 直接使用本文提出的损失函数$ L_{\text{imp}} $会出现准确率下降的现象(图4 时间步为4). 这是因为这项对比实验使用到的SNN模型, 其输出层为无时间信息的全连接层. 由于$ L_{\text{imp}} $会使长时间步的输出重要性减弱, 如果网络输出携带较少的时间信息, 权重无法得到有效更新, 从而导致准确率下降. 但是在本文的算法中, 输出层能够携带时间信息, 因此使用$ L_{\text{imp}} $的ATSNN能够相较其他算法提升网络的准确率.
从时间步选择算法的计算过程来看, 根据式(5) ~ (7), DTSNN每个时间步分别需要进行$ C $次除法、指数、对数运算; 从式(17)、式(18)可以看出, 本文算法每个时间步需要$ C $次指数运算. 由于除法和对数运算的计算过程较为复杂, 计算延迟高、能耗大, 难以在硬件上直接部署. 尽管DTSNN的加速器设计了专用的时间步模块实现该算法, 但所需的存储器资源是本文加速器的两倍. 综上, 本文方案相比DTSNN对硬件更加友好, 同时具有较高的推理性能、较低的推理延迟以及较低的能耗, 适合在低功耗智能终端设备上部署.
4. 结论
本文介绍了一种自适应时间步脉冲神经网络, 能够在推理过程中自动选择适当的时间步. 本文改进了 SNN 输出层与表征方式, 构建了具有时间重要性的损失函数$ L_{\text{imp}} $, 提出了可自适应选择时间步的方法, 并分析了所提自适应时间步选择算法的有效性. 此外本文也设计了一款适用于ATSNN的低功耗脉冲神经网络加速器. 实验结果表明, ATSNN 的延迟减少36.7% ~ 58.7%, 计算复杂度减少33.0% ~ 57.0%. 与目前最先进的动态时间步脉冲神经网络DTSNN相比, ATSNN 能有效缩短时间步, 提升网络准确率, 具有更高的能效. 同时, 本文加速器具有与GPU相当的推理速度, 能耗仅为GPU RTX 3090Ti的4.43% ~ 7.88%. 综上, ATSNN 能在推理过程中自适应地选择时间步, 降低复杂度、推理延迟和能耗, 有效解决了多时间步带来的问题, 非常适合在低功耗智能终端设备上部署.
-
[1] 国务院. 关于印发《中国制造2025》的通知[Online], available: http://www.gov.cn/zhengce/content/2015-05/19/content_9784.htm, May 8, 2015 [2] 国务院. 关于印发新一代人工智能发展规划的通知, [Online], available: http://www.gov.cn/zhengce/content/2017-07/20/content_5211996.htm, July 8, 2017 [3] 王石, 张建强, 杨舒卉, 张博伦. 国内外无人艇发展现状及典型作战应用研究. 火力与指挥控制, 2019, 44(2): 11−15 doi: 10.3969/j.issn.1002-0640.2019.02.003Wang Shi, Zhang Jian-Qiang, Yang Shu-Hui, Zhang Bo-Lun. Research on development status and combat applications of USVs in worldwide. Fire Control & Command Control, 2019, 44(2): 11−15 doi: 10.3969/j.issn.1002-0640.2019.02.003 [4] Peng Y, Yang Y, Cui J X, Li X M, Pu H Y, Gu J, et al. Development of the USV ‘JingHai-I’ and sea trials in the southern Yellow Sea. Ocean Engineering, 2017, 131: 186−196 doi: 10.1016/j.oceaneng.2016.09.001 [5] 苏宁远, 陈小龙, 关键, 牟效乾, 刘宁波. 基于卷积神经网络的海上微动目标检测与分类方法. 雷达学报, 2018, 7(5): 565−573Su Ning-Yuan, Chen Xiao-Long, Guan Jian, Mou Xiao-Qian, Liu Ning-Bo. Detection and classification of maritime target with micro-motion based on CNNs. Journal of Radars, 2018, 7(5): 565−573 [6] 房广江, 赵敏, 郭航宇, 林亮. 低照度下的海上目标识别与跟踪. 机械制造与自动化, 2016, 45(2): 217−219, 227 doi: 10.3969/j.issn.1671-5276.2016.02.060Fang Guang-Jiang, Zhao Min, Guo Hang-Yu, Lin Liang. Target recognition and tracking under low illumination on sea. Machine Building & Automation, 2016, 45(2): 217−219, 227 doi: 10.3969/j.issn.1671-5276.2016.02.060 [7] 周治国, 钟一鸣, 屈崇. 无人艇的水面图像去雾技术研究与实现. 第十二届全国信号和智能信息处理与应用学术会议论文集. 杭州, 中国: 中国高科技产业化研究会智能信息处理产业化分会, 2018. 240−243 [8] 张树怀, 董超, 李彬, 田联房, 陈泽创. 多目标舰船自动跟踪方法研究. 中国海洋大学学报, 2017, 47(2): 128−136Zhang Shu-Huai, Dong Chao, Li Bin, Tian Lian-Fang, Chen Ze-Chuang. The automatic tracking method for multi-shipstracking based on TLD. Periodical of Ocean University of China, 2017, 47(2): 128−136 [9] 王博. 无人艇光视觉感知研究发展综述. 舰船科学技术, 2019, 41(12): 44−49 doi: 10.3404/j.issn.1672-7649.2019.12.010Wang Bo. Review of development in perception of unmanned surface vehicle based on optical vision. Ship Science and Technology, 2019, 41(12): 44−49 doi: 10.3404/j.issn.1672-7649.2019.12.010 [10] 庄佳园, 张磊, 孙寒冰, 苏玉民. 应用改进随机树算法的无人艇局部路径规划. 哈尔滨工业大学学报, 2015, 47(1): 112−117Zhuang Jia-Yuan, Zhang Lei, Sun Han-Bing, Su Yu-Min. Improved rapidly exploring random tree algorithm application in unmanned surface vehicle local path planning. Journal of Harbin Institute of Technology, 2015, 47(1): 112−117 [11] Kim H, Kim D, Shin J U, Kim H, Myung H. Angular rate-constrained path planning algorithm for unmanned surface vehicles. Ocean Engineering, 2014, 84: 37−44 doi: 10.1016/j.oceaneng.2014.03.034 [12] 范云生, 赵永生, 石林龙, 张月. 基于电子海图栅格化的无人水面艇全局路径规划. 中国航海, 2017, 40(1): 47−52, 113 doi: 10.3969/j.issn.1000-4653.2017.01.011Fan Yun-Sheng, Zhao Yong-Sheng, Shi Lin-Long, Zhang Yue. Global path planning for unmanned surface Vehicle based on grid model of electronic chart. Navigation of China, 2017, 40(1): 47−52, 113 doi: 10.3969/j.issn.1000-4653.2017.01.011 [13] Carvalhosa S, Aguiar A P, Pascoal A. Cooperative motion control of multiple autonomous marine vehicles: collision avoidance in dynamic environments. In: Proceedings of the 7th IFAC Symposium on Intelligent Autonomous Vehicles, 2010. Lecce, Italy, 2010. 282−287 [14] Cheng Y, Zhang W D. Concise deep reinforcement learning obstacle avoidance for underactuated unmanned marine vessels. Neurocomputing, 2018, 272: 63−73 doi: 10.1016/j.neucom.2017.06.066 [15] He Y X, Jin Y, Huang L W, Xiong Y, Chen P F, Mou J M. Quantitative analysis of COLREG rules and seamanship for autonomous collision avoidance at open sea. Ocean Engineering, 2017, 140: 281−291 doi: 10.1016/j.oceaneng.2017.05.029 [16] 吴博, 文元桥, 吴贝, 周思杨, 肖长诗. 水面无人艇避障方法回顾与展望. 武汉理工大学学报(交通科学与工程版), 2016, 40(3): 456−461Wu Bo, Wen Yuan-Qiao, Wu Bei, Zhou Si-Yang, Xiao Chang-Shi. Review and expectation on collision avoidance method of unmanned surface vessel. Journal of Wuhan University of Technology (Transportation Science & Engineering), 2016, 40(3): 456−461 [17] Curcio J, Leonard J, Patrikalakis A. SCOUT — a low cost autonomous surface platform for research in cooperative autonomy. In: Proceedings of Oceans 2005. Washington, USA: IEEE, 2005. 725−729 [18] 沈佳颖. 多无人艇一致性自主编队控制研究 [硕士学位论文], 哈尔滨工程大学, 中国, 2019Shen Jia-Ying. Research on Autonomous Formation Control of Unmanned Surface Vehicles [Master thesis], Harbin Engineering University, China, 2019 [19] Qin Z H, Lin Z, Yang D M, Li P. A task-based hierarchical control strategy for autonomous motion of an unmanned surface vehicle swarm. Applied Ocean Research, 2017, 65: 251−261 doi: 10.1016/j.apor.2017.04.013 [20] Peymani E, Fossen T I. Leader-follower formation of marine craft using constraint forces and Lagrange multipliers. In: Proceedings of the 51st IEEE Conference on Decision and Control. Maui, USA: IEEE, 2012. 2447−2452 [21] Redding J, Amin J, Bošković J D, Jackson J. Collaborative mission planning, autonomy and control technology (COMPACT) for unmanned surface vehicles. In: Proceedings of the 2009 AIAA Guidance, Navigation, and Control Conference. Chicago, USA: AIAA, 2009. 1−23 [22] Gomes J, Urbano P, Christensen A L. Evolution of swarm robotics systems with novelty search. Swarm Intelligence, 2013, 7(2–3): 115−144 doi: 10.1007/s11721-013-0081-z [23] Peng Z H, Wang J, Wang D. Distributed maneuvering of autonomous surface vehicles based on neurodynamic optimization and fuzzy approximation. IEEE Transactions on Control Systems Technology, 2018, 26(3): 1083−1090 doi: 10.1109/TCST.2017.2699167 [24] Dong W, Farrell J A. Formation control of multiple underactuated surface vessels. IET Control Theory & Applications, 2008, 2(12): 1077−1085 [25] 王飚, 李博, 高敏, 秦立成. 无人船的协同控制策略综述. 中国水运, 2019, 19(2): 3−5 [26] 报告大厅. 国内外无人机发展现状分析[Online], available: http://www.chinabgao.com/k/wurenji/29886.html, November 6, 2017 [27] Nawaz H, Ali H M, Massan S U R. Applications of unmanned aerial vehicles: a review. 3C Tecnología, 2019, 85−105 [28] 闫东, 周乃恩. 彩虹无人机系列应用及展望. 软件, 2018, 39(9): 117−122 doi: 10.3969/j.issn.1003-6970.2018.09.024Yan Dong, Zhou Nai-En. The applications and prospects of CH UAV systems. Computer Engineering & Software, 2018, 39(9): 117−122 doi: 10.3969/j.issn.1003-6970.2018.09.024 [29] 曹翔. 军民融合形势下无人机产融结合发展趋势分析. 军民两用技术与产品, 2017, (10): 4−5 doi: 10.3969/j.issn.1009-8119.2017.10.004 [30] Eliker K, Zhang G Q, Grouni S, Zhang W D. An optimization problem for quadcopter reference flight trajectory generation. Journal of Advanced Transportation, 2018: Article No. 6574183 [31] Nikolos I K, Valavanis K P, Tsourveloudis N C, Kostaras A N. Evolutionary algorithm based offline/online path planner for UAV navigation. IEEE Transactions on Systems, Man, and Cybernetics, Part B (Cybernetics), 2003, 33(6): 898−912 doi: 10.1109/TSMCB.2002.804370 [32] Ren T Z, Zhou R, Xia J, Dong Z N. Three-dimensional path planning of UAV based on an improved A* algorithm. In: Proceedings of the 2016 IEEE Chinese Guidance, Navigation and Control Conference. Nanjing, China: IEEE, 2016. 140−145 [33] 程泽新, 李东生, 高杨. 基于蝗虫算法的无人机三维航迹规划. 飞行力学, 2019, 37(2): 46−50, 55Cheng Ze-Xin, Li Dong-Sheng, Gao Yang. UAV three-dimensional path planning based on the grasshopper algorithm. Flight Dynamics, 2019, 37(2): 46−50, 55 [34] 王生印, 龙腾, 王祝, 蔡祺生. 基于即时修复式稀疏A*算法的动态航迹规划. 系统工程与电子技术, 2018, 40(12): 2714−2721 doi: 10.3969/j.issn.1001-506X.2018.12.14Wang Sheng-Yin, Long Teng, Wang Zhu, Cai Qi-Sheng. Dynamic path planning using anytime repairing sparse A* algorithm. Systems Engineering and Electronics, 2018, 40(12): 2714−2721 doi: 10.3969/j.issn.1001-506X.2018.12.14 [35] Aggarwal S, Kumar N. Path planning techniques for unmanned aerial vehicles: a review, solutions, and challenges. Computer Communications, 2020, 149: 270−299 doi: 10.1016/j.comcom.2019.10.014 [36] Liu Y Y, Rajappa S, Montenbruck J M, Stegagno P, Bülthoff H, Allgöwer F, et al. Robust nonlinear control approach to nontrivial maneuvers and obstacle avoidance for quadrotor UAV under disturbances. Robotics and Autonomous Systems, 2017, 98: 317−332 doi: 10.1016/j.robot.2017.08.011 [37] Sasongko R A, Rawikara S S, Tampubolon H J. UAV obstacle avoidance algorithm based on ellipsoid geometry. Journal of Intelligent & Robotic Systems, 2017, 88(2–4): 567−581 [38] Krämer M S, Kuhnert K D. Multi-Sensor fusion for UAV collision avoidance. In: Proceedings of the 2018 International Conference on Mechatronics Systems and Control Engineering. Amsterdam, Netherlands: ACM, 2018. 5−12 [39] 张午阳, 章伟, 宋芳, 龙林. 基于深度学习的四旋翼无人机单目视觉避障方法. 计算机应用, 2019, 39(4): 1001−1005 doi: 10.11772/j.issn.1001-9081.2018091952Zhang Wu-Yang, Zhang Wei, Song Fang, Long Lin. Monocular vision obstacle avoidance method for quadcopter based on deep learning. Journal of Computer Applications, 2019, 39(4): 1001−1005 doi: 10.11772/j.issn.1001-9081.2018091952 [40] 唐博文, 王智文, 胡振寰. 基于事件驱动的无人机强化学习避障研究. 广西科技大学学报, 2019, 30(1): 96−102, 117Tang Bo-Wen, Wang Zhi-Wen, Hu Zhen-Huan. Research on Obstacle avoidance for UAV using reinforcement learning based on event driven. Journal of Guangxi University of Science and Technology, 2019, 30(1): 96−102, 117 [41] 樊邦奎. 基于椋鸟飞行原理的无人机集群技术研究. 全国集群智能与协同控制大会. 北京, 中国: 中国指挥与控制学会, 2019. [42] He L L, Bai P, Liang X L, Zhang J Q, Wang W J. Feedback formation control of UAV swarm with multiple implicit leaders. Aerospace Science and Technology, 2018, 72: 327−334 doi: 10.1016/j.ast.2017.11.020 [43] Kim M H, Baik H, Lee S. Response threshold model based UAV search planning and task allocation. Journal of Intelligent & Robotic Systems, 2014, 75(3−4): 625−640 [44] Saska M, Baca T, Thomas J, Chudoba J, Preucil L, Krajnik T, et al. System for deployment of groups of unmanned micro aerial vehicles in GPS-denied environments using onboard visual relative localization. Autonomous Robots, 2017, 41(4): 919−944 doi: 10.1007/s10514-016-9567-z [45] Aghdam A S, Menhaj M B, Barazandeh F, Abdollahi F. Cooperative load transport with movable load center of mass using multiple quadrotor UAVs. In: Proceedings of the 4th International Conference on Control, Instrumentation, and Automation. Qazvin, Iran: IEEE, 2016. 23−27 [46] 张佳龙, 闫建国, 吕茂隆. 鲁棒PI控制方法在无人机编队飞行稳定性中的应用. 飞行力学, 2019, 37(3): 38−42, 63Zhang Jia-Long, Yan Jian-Guo, Lv Mao-Long. Application of robust PI control method on the stability of the UAV formation flight. Flight Dynamics, 2019, 37(3): 38−42, 63 [47] 段海滨, 邱华鑫, 陈琳, 魏晨. 无人机自主集群技术研究展望. 科技导报, 2018, 36(21): 90−98Duan Hai-Bin, Qiu Hua-Xin, Chen Lin, Wei Chen. Prospects on unmanned aerial vehicle autonomous swarm technology. Science & Technology Review, 2018, 36(21): 90−98 [48] Huang S N, Teo R S H, Tan K K. Collision avoidance of multi unmanned aerial vehicles: a review. Annual Reviews in Control, 2019, 48: 147−164 doi: 10.1016/j.arcontrol.2019.10.001 [49] Sanchez-Lopez J L, Pestana J, Saripalli S, Campoy P. An approach toward visual autonomous ship board landing of a VTOL UAV. Journal of Intelligent & Robotic Systems, 2014, 74(1–2): 113−127 [50] García-Pulido J A, Pajares G, Dormido S, De La Cruz J M. Recognition of a landing platform for unmanned aerial vehicles by using computer vision-based techniques. Expert Systems with Applications, 2017, 76: 152−165 doi: 10.1016/j.eswa.2017.01.017 [51] 刘刚. 基于视觉导航小型无人机自主着陆控制策略研究与应用 [硕士学位论文], 南京航空航天大学, 中国, 2014Liu Gang. Control Strategy and Application for Vision-based Autonomous Landing of Micro Aircraft Vehicles [Master thesis], Nanjing University of Aeronautics and Astronautics, China, 2014 [52] 赵文一. 无人机视觉辅助自主降落系统研究 [硕士学位论文], 哈尔滨工业大学, 中国, 2018Zhao Wen-Yi. Research on Vision-based Autonomous Landing System of UAV [Master thesis], Harbin Institute of Technology, China, 2018 [53] Chen X D, Phang S K, Shan M, Chen B M. System integration of a vision-guided UAV for autonomous landing on moving platform. In: Proceedings of the 12th IEEE International Conference on Control and Automation. Kathmandu, Nepal: IEEE, 2016. 761−766 [54] 任向阳, 王杰, 马天磊, 朱晓东, 白珂, 王佳奇. 红外弱小目标检测技术综述. 郑州大学学报(理学版), 2020, DOI: 10.13705/j.issn.1671-6841.2019557Ren Xiang-Yang, Wang Jie, Ma Tian-Lei, Zhu Xiao-Dong, Bai Ke, Wang Jia-Qi. Review on infrared dim and small target detection Technology. Journal of Zhengzhou University (Natural Science Edition), 2020, DOI: 10.13705/j.issn.1671-6841.2019557 [55] 张利军, 刘勍. 图像弱小目标检测方法及其进展. 自动化与仪器仪表, 2015, (4): 189−190, 193 [56] 刘让, 王德江, 贾平, 周达标, 丁鹏. 红外图像弱小目标探测技术综述. 激光与光电子学进展, 2016, 53(5): Article No.050004Liu Rang, Wang De-Jiang, Jia Ping, Zhou Da-Biao, Ding Peng. Overview on small target detection technology in infrared image. Laser & Optoelectronics Progress, 2016, 53(5): Article No.050004 [57] 韩鹏, 耿增显, 刘宏, 韩红蓉. 无人机视觉识别与移动追踪技术综述. 飞航导弹, 2018, (10): 24−28 [58] Kanellakis C, Nikolakopoulos G. Survey on computer vision for UAVs: current developments and trends. Journal of Intelligent & Robotic Systems, 2017, 87(1): 141−168 [59] 宋盛. 红外与激光双模复合探测关键技术研究 [博士学位论文], 中国科学院上海技术物理研究所, 中国, 2017Song Sheng. Research on Key Technologies of Infrared and Laser Dual-mode Compound Detection [Ph. D. dissertation], Shanghai Institute of Technical Physics, Chinese Academy of Sciences, China, 2017 [60] 张国亮. 红外多光谱多个弱小运动目标的检测与跟踪技术研究 [博士学位论文], 哈尔滨工业大学, 中国, 2016Zhang Guo-Liang. Research on Techniques of Detection and Tracking of multiple Dim Moving Targets from IR Multispectral Image [Ph. D. dissertation], Harbin Institute of Technology, China, 2016 [61] 顾宪松, 高昆, 朱振宇, 张鑫, 韩璐. 多源红外弱小目标灰色关联融合识别方法. 激光与红外, 2018, 48(10): 1258−1263 doi: 10.3969/j.issn.1001-5078.2018.10.011Gu Xian-Song, Gao Kun, Zhu Zhen-Yu, Zhang Xin, Han Lu. Fusion recognition based on grey relativity for multi-source infrared dim target. Laser & Infrared, 2018, 48(10): 1258−1263 doi: 10.3969/j.issn.1001-5078.2018.10.011 [62] Yao Y, Hao Y H, Wang H Y. Small infrared target detection based on spatio-temporal fusion saliency. In: Proceedings of 2017 IEEE 17th International Conference on Communication Technology. Chengdu, China: IEEE, 2017. 1497−1502 [63] Toet A, Wu T. Small maritime target detection through false color fusion. In: Proceedings of Optics and Photonics in Global Homeland Security IV. Orlando, Florida, United States: SPIE, 2008. Article No.69450V 期刊类型引用(4)
1. 任好，马亚杰，姜斌，刘成瑞. 基于零和微分博弈的航天器编队通信链路故障容错控制. 自动化学报. 2025(01): 174-185 . 
本站查看2. 罗世坚，常琪，项玥，郭胜辉. 含变化时延和集总扰动的智能网联车编队控制. 控制与决策. 2025(04): 1293-1302 . 百度学术3. 徐会彬，方龙，张莎. 车联网中基于stacking集成学习的攻击检测模型. 电信科学. 2024(12): 38-50 . 百度学术4. 张锐. 面向车联网的基于卷积神经网络的入侵检测模型. 电信科学. 2024(12): 51-62 . 百度学术其他类型引用(4)
-
下载:
计量
- 文章访问数: 8352
- HTML全文浏览量: 8724
- PDF下载量: 1342
- 被引次数: 8
下载:
