-
摘要: 当前动态系统呈现大型化、复杂化的趋势, 基于贝叶斯滤波的动态系统状态估计遇到一系列新的挑战. 随着深度学习在特征提取与模式识别等方面的优势与潜力不断显现, 深度学习与传统贝叶斯滤波相结合的研究也随之兴起. 为此, 梳理了不同领域融合深度学习的贝叶斯滤波方法的应用案例, 从中剖析不同类型动态系统下贝叶斯滤波存在的局限性和共性难题. 在此基础上, 总结了当前贝叶斯滤波存在的几类不确定性问题, 以深度学习的视角将这些问题归纳为特征提取和参数辨识两大基本问题, 进而介绍深度学习为贝叶斯滤波所提供的解决方案. 其次, 归纳整理了两类深度学习与贝叶斯滤波结合的具体方法, 着重介绍了深度卡尔曼滤波和融合深度学习的自适应卡尔曼滤波. 最后, 综合考虑深度学习方法和贝叶斯滤波方法的优势, 讨论了融合深度学习的贝叶斯滤波方法的开放问题和未来研究方向.Abstract: As dynamic systems continue to exhibit a trend towards increased scale and complexity, the Bayesian filtering based state estimation for dynamic systems faces a series of new challenges. With the increasing prominence and new potential of deep learning in areas such as feature extraction and pattern recognition, research on combination of deep learning and classical Bayesian filtering is emerging. In this paper, we present a systematic review of application cases of Bayesian filtering methods that integrate deep learning in different domains, aiming to analyze the limitations and common challenges of Bayesian filtering in various types of dynamic systems. In view of this, we summarize several categories of uncertainty problems in the existing Bayesian filtering. From the perspective of deep learning, these problems are classified into two fundamental problems: Feature extraction and parameter identification. Furthermore, we introduce the solutions provided by deep learning for Bayesian filtering. Additionally, we categorize and organize two specific approaches that combine Bayesian filtering with deep learning, that is, deep Kalman filtering and adaptive Kalman filtering with deep learning. Finally, by considering the advantages of both deep learning and Bayesian filtering methods, we discuss open questions and future research directions for Bayesian filtering with deep learning.
-
Key words:
- Deep learning /
- Bayesian filtering /
- Kalman filtering /
- state estimation /
- state-space model
-
随着信息技术的快速发展, 动态系统呈现大型化、复杂化的新发展趋势, 系统观测数据呈现出多模态、高维数、不确定性和多源异构等特性, 传统贝叶斯滤波方法在处理这些观测数据时不断出现新的困难和挑战, 如图像和激光点云数据. 另外, 由于动态系统所具有的非线性、未知参数等特征, 加剧了贝叶斯滤波方法在应用中的困难. 尤其是在实际场景中, 复杂的外部环境干扰因素将导致动态系统存在较强的不确定性, 从而增加传统滤波方法建立自适应机制的难度.
近年来, 深度学习在图像处理[1–3]、语音识别[4–5]和人机交互[6]等领域上取得巨大的成功, 引起众多学者对其理论和应用开展研究, 并利用深度学习方法解决特定领域的一些问题, 如控制[7–8]、故障诊断[9–10]、医学信息处理[11]和导航定位[12]等. 由于深度学习强大的特征提取和高维数据处理能力, 人们也尝试将深度学习方法与传统贝叶斯滤波方法相结合, 由此形成了一种新的贝叶斯滤波方法体系, 即融合深度学习的贝叶斯滤波. 卡尔曼滤波(Kalman filtering, KF)[13]是贝叶斯滤波在线性高斯系统上的表现形式. 由于KF简洁的计算形式和良好的滤波性能, 越来越多的研究人员尝试将人工神经网络与之结合, 尤其是深度神经网络(Deep neural network, DNN), 如前馈神经网络(Feedforward neural network, FNN)[14]、循环神经网络(Recurrent neural network, RNN)[15]和卷积神经网络(Convolutional neural network, CNN)[16]等. 早在20世纪90年代, Stubberud等[17]将一个3层FNN与扩展卡尔曼滤波结合, 利用FNN来描述未建模动力学, 以提高滤波精度. 之后, 卡尔曼滤波与FNN相结合的方法广泛应用在各类任务中[18–19], 进一步证实了该方法的可行性和有效性. 随着新的深度神经网络技术的快速发展, 融合深度学习的贝叶斯滤波得到进一步的发展, 且应用领域也逐渐扩展到医学诊断[20–25]、智能交通[26–31]、无人驾驶[32–36]、工业过程[37–40]和智能机器人[41–44]等众多领域.
通过回顾不同领域中融合深度学习的滤波方法, 可以发现, 该类方法正在开辟解决一些复杂问题的新路径. 例如, 医学图像诊断领域呈现新的趋势, 利用深度神经网络提取隐藏在图像中的病理特征, 结合贝叶斯滤波进行病情推断; 智能交通领域, 开始寻求利用深度神经网络来处理交通大数据, 结合贝叶斯滤波来调整交通决策; 无人驾驶领域, 正在转向利用深度神经网络处理图像和激光雷达等观测信息, 结合成熟的滤波框架搭建即时定位与地图构建系统; 工业领域, 正在利用深度神经网络进行工业大数据分析, 结合贝叶斯滤波挖掘数据的因果关系; 智能机器人领域, 利用深度神经网络识别且理解环境信息, 结合贝叶斯滤波进行状态推理和智能决策已成为新趋势.
由于不同领域之间存在的差异性, 导致当前融合深度学习的贝叶斯滤波方法研究进展的复杂性, 但是通过回顾融合深度学习的贝叶斯滤波的热门应用, 对于典型滤波环境的转变与特点, 仍可以得出一些基本结论: 动态系统的状态估计研究重心已从早期简单的低维动态系统过渡到复杂的高维动态系统, 从单智能体控制逐渐发展到多智能体协同控制, 从以机理为基础的建模方式发展到以深度神经网络为基础的数据驱动学习方式, 从完美信息滤波逐渐过渡到不完美信息滤波. 为此, 本文聚焦于贝叶斯滤波, 结合信息融合理论的研究进展[45–46], 从中总结出一些当前动态系统滤波存在的关键问题. 本文的思路将从实际应用案例出发, 挖掘其中存在的挑战性问题, 并综述相关文献的解决方案和思路. 本文的结构框架及主要内容如图1所示, 第1节概述贝叶斯滤波方法, 结合当前复杂动态系统的新特点, 深入分析这些系统存在的滤波难点, 以此引出贝叶斯滤波方法面临的困难与挑战; 第2节归纳深度学习在贝叶斯滤波中的作用, 包括参数辨识和特征提取; 第3节详细介绍以卡尔曼滤波为基础的深度贝叶斯滤波方法, 分析和总结当前国内外融合深度学习的贝叶斯滤波方法的核心思想和解决方案, 以此展示人工智能技术为滤波方法带来的新突破; 第4节阐述融合深度学习的自适应滤波方法; 第5节对融合深度学习的贝叶斯滤波方法进行展望.
1. 背景与问题
随着当前动态系统的日益复杂化, 以及传感器技术的发展, 贝叶斯滤波问题发生了前所未有的深刻变化. 特别是强非线性、未知参数、高维数、多模式和高动态问题, 给贝叶斯滤波技术带来严峻的挑战. 本节从贝叶斯滤波理论出发, 分析总结当前贝叶斯滤波存在的问题.
1.1 贝叶斯滤波
考虑具有状态$ {\boldsymbol{x}}_{t} $和观测信号$ {\boldsymbol{z}}_{t} $的动态系统, 给出一个带有噪声观测信号的时间序列$ {\boldsymbol{z}}_{1:t}=\{{\boldsymbol{z}}_{1}, {\boldsymbol{z}}_{2},\; \cdots ,\; {\boldsymbol{z}}_{t}\} $, 其中, $ t $表示离散时间点. 系统状态估计是根据$ {\boldsymbol{z}}_{1:t} $生成状态的估计序列$ {\boldsymbol{x}}_{1:t}=\{{\boldsymbol{x}}_{1}, {\boldsymbol{x}}_{2},\; \cdots ,\; {\boldsymbol{x}}_{t}\} $. 在贝叶斯滤波框架下, 动态系统的状态估计在于如何获取当前$ t $时刻的状态后验概率分布$ p({\boldsymbol{x}}_{t}|{\boldsymbol{z}}_{1:t}) $, 原因在于$ p({\boldsymbol{x}}_{t}|{\boldsymbol{z}}_{1:t}) $包含了状态$ {\boldsymbol{x}}_{t} $在传播过程中的所有信息.
为得到后验概率分布$ p({\boldsymbol{x}}_{t}|{\boldsymbol{z}}_{1:t}) $, 贝叶斯滤波递归地执行预测–更新流程. 在预测环节, 首先计算状态的先验概率分布$ p({\boldsymbol{x}}_{t}|{\boldsymbol{z}}_{1:t-1}) $
$$ p({\boldsymbol{x}} _{t}|{\boldsymbol{z}}_{1:t-1})=\int p({\boldsymbol{x}} _{t}, {\boldsymbol{x}} _{t-1}|{\boldsymbol{z}}_{1:t-1}) \text{d}{\boldsymbol{x}}_{t-1} $$ (1) 根据贝叶斯理论和一阶马尔科夫性假设, 可得
$$ p({\boldsymbol{x}} _{t}, {\boldsymbol{x}} _{t-1}|{\boldsymbol{z}}_{1:t-1})=p({\boldsymbol{x}} _{t}|{\boldsymbol{x}} _{t-1})p({\boldsymbol{x}} _{t-1}|{\boldsymbol{z}} _{1:t-1}) $$ (2) 对式(2)应用切比雪夫公式, 可得
$$ p({\boldsymbol{x}} _{t}|{\boldsymbol{z}}_{1:t-1})=\int p({\boldsymbol{x}} _{t}|{\boldsymbol{x}} _{t-1})p({\boldsymbol{x}} _{t-1}|{\boldsymbol{z}} _{1:t-1})\text{d}{\boldsymbol{x}}_{t-1} $$ (3) 根据贝叶斯准则, 当估计器接收到新的观测信号$ {\boldsymbol{z}}_{t} $, 执行更新流程, 并按下式计算后验概率分布$ p({\boldsymbol{x}}_{t}|{\boldsymbol{z}}_{1:t}) $
$$ \begin{split} p({\boldsymbol{x}} _{t}|{\boldsymbol{z}}_{1:t})=\;&\frac{p({\boldsymbol{x}} _{t}, {\boldsymbol{z}}_{1:t})}{p({\boldsymbol{z}}_{1:t})}=\frac{p({\boldsymbol{x}} _{t}, {\boldsymbol{z}} _{t}, {\boldsymbol{z}} _{1:t-1} )}{p({\boldsymbol{z}} _{t}, {\boldsymbol{z}} _{1:t-1})}\;=\\ &\frac{p({\boldsymbol{z}} _{t}|{\boldsymbol{x}} _{t}, {\boldsymbol{z}} _{1:t-1}) p({\boldsymbol{x}} _{t}|{\boldsymbol{z}} _{1:t-1}) p({\boldsymbol{z}} _{1:t-1})}{p({\boldsymbol{z}} _{t}|{\boldsymbol{z}} _{1:t-1}) p({\boldsymbol{z}} _{1:t-1})}\;=\\ &\frac{p({\boldsymbol{z}} _{t}|{\boldsymbol{x}} _{t}) p({\boldsymbol{x}} _{t}|{\boldsymbol{z}} _{1:t-1})}{p({\boldsymbol{z}} _{t}|{\boldsymbol{z}} _{1:t-1})}\\[-1pt] \end{split} $$ (4) 对于一般的动态系统, 通常可建立状态空间模型如下:
$$ {\boldsymbol{x}}_{t+1}=f({\boldsymbol{x}}_{t}, {\boldsymbol{w}}_{t}) $$ (5) $$ {\boldsymbol{z}}_{t}=h({\boldsymbol{x}}_{t}, {\boldsymbol{v}}_{t}) $$ (6) 其中, $ {\boldsymbol{w}}_{t} $和$ {\boldsymbol{v}}_{t} $分别为 $ t $时刻的过程和观测噪声; $ f(\cdot) $为状态转移模型, $ h(\cdot) $为观测模型. 对于状态空间模型(5)和(6), 状态的先验概率分布和后验概率分布由系统模型以及噪声分布$ p({\boldsymbol{w}}_{t}) $和$ p({\boldsymbol{v}}_{t}) $决定. 即状态空间模型和概率分布之间存在着隐式等价性:
$$ f({\boldsymbol{x}}_{t}, {\boldsymbol{w}}_{t}) \Rightarrow p({\boldsymbol{x}}_{t+1}|{\boldsymbol{x}}_{t}) \Leftrightarrow {\cal{F}}({\boldsymbol{x}}_{t+1}|{\boldsymbol{x}}_{t}) $$ (7) $$ h({\boldsymbol{x}}_{t}, {\boldsymbol{v}}_{t}) \Rightarrow p({\boldsymbol{z}}_{t}|{\boldsymbol{x}}_{t}) \Leftrightarrow {\cal{H}}({\boldsymbol{z}}_{t}|{\boldsymbol{x}}_{t}) $$ (8) 如式(7)和式(8)所述, 状态的传播由传播概率$ {\cal{F}}({\boldsymbol{x}}_{t+1}|{\boldsymbol{x}}_{t}) $决定, 同时, 似然概率分布$ {\cal{H}}({\boldsymbol{z}}_{t}|{\boldsymbol{x}}_{t}) $由相应的观测模型确定. 因此, 基于状态空间模型的贝叶斯滤波的关键在于能否获取准确的分布集合$ \Sigma $
$$ \Sigma = \{ p({\boldsymbol{w}}_{t}),\; p({\boldsymbol{v}}_{t}), \;{\cal{H}}({\boldsymbol{z}}_{t}|{\boldsymbol{x}}_{t}),\; {\cal{F}}({\boldsymbol{x}}_{t+1}|{\boldsymbol{x}}_{t}) \} $$ (9) 其中, 集合$ \Sigma $定义了完整的贝叶斯滤波, 因而, 贝叶斯滤波的性能取决于$ \Sigma $的准确程度. 这意味着贝叶斯滤波的性能通常依赖于对系统状态转移模型和观测模型的精确建模, 这对于复杂、高维和不稳定的系统将具有很大的挑战性. 其次, 实际动态系统的噪声分布与模型假设的噪声分布存在不一致的情况, 将导致滤波精度下降甚至发散.
1.2 问题分析
在实际应用中, 将动态系统的过程和观测噪声假设为高斯加性噪声是常用的简化操作, 即
$$ {\boldsymbol{x}}_{t+1}=f({\boldsymbol{x}}_{t}) + {\boldsymbol{w}}_{t} $$ (10) $$ {\boldsymbol{z}}_{t}=h({\boldsymbol{x}}_{t}) + {\boldsymbol{v}}_{t} $$ (11) 其中, $ f(\cdot) $和$ h(\cdot) $为线性或非线性函数, 过程噪声$ {\boldsymbol{w}}_{t} $和观测噪声$ {\boldsymbol{v}}_{t} $是相互独立且均值为0的高斯白噪声, 其协方差分别为$ {\boldsymbol{Q}}_{t} $和$ {\boldsymbol{R}}_{t} $. 相应地, 第1.1节中所述的分布集合$ \Sigma $则转换为参数集合$ \beta_{t} $
$$ \beta_{t}=\{ f(\cdot),\; h(\cdot),\; {\boldsymbol{Q}}_{t},\; {\boldsymbol{R}}_{t} \} $$ (12) 针对上述状态空间模型下的状态估计问题, 若$ f(\cdot) $和$ h(\cdot) $均为线性函数, 那么在最小均方误差意义下, KF可得到最优的状态估计. 当$ f(\cdot) $和$ h(\cdot) $呈现较弱非线性时, KF的非线性变种方法, 如扩展卡尔曼滤波(Extended Kalman filter, EKF)[47]和无迹卡尔曼滤波(Unscented Kalman filter, UKF)[48]等方法仍能较好地完成状态估计任务. 此外, 针对动态环境中存在的系统模型不确定、噪声统计特性未知等问题, 基于概率统计理论方法仍可得到一些有效解决方法, 例如, 后验残差假设检验、变分推断和强跟踪滤波器等广泛用于构建自适应滤波[49–55]. 然而, 随着信息技术的不断发展, 卡尔曼滤波的应用领域也不断扩展到计算机视觉、大数据、智能信号处理等领域, 同时, 也面临一些新的问题, 如强非线性、未知参数、高维数、多模式、高动态等不确定性问题.
1) 强非线性. 非线性普遍存在于实际动态系统中, 当$ f(\cdot) $和$ h(\cdot) $的非线性程度较高时, 传统基于近似处理的非线性卡尔曼滤波容易产生较大的近似误差, 从而导致估计性能的下降. 而基于采样技术的滤波方法, 如粒子滤波[56–57], 则难以平衡滤波的精度和计算效率.
2) 未知参数. 一般情况下, $ f(\cdot) $和$ h(\cdot) $的参数通过机理建模的方式确定. 然而在一些情况下, 状态转移模型并不存在特定的物理规则. 同时, 由于存在偏差、杂波、未知分布的噪声等干扰因素[58], 使得观测模型也存在较为严重的建模误差.
3) 高维数. 随着传感器技术的发展, 观测信号的高维度和复杂性问题日益凸显. 例如, 在基于图像的目标跟踪中, 将图像信息映射到目标的位置信息上时, 利用传统方法难以直接确定系统的观测模型$ h(\cdot) $.
4) 多模式. 动态系统的状态演变过程在一个完整运行周期内可能包含多种不同的运动模式, 因此, 难以利用单一过程方程$ f(\cdot) $对系统运动进行精确建模, 同时也难以确定多种运动模式的转换参数且实现准确的切换.
5) 高动态. 在复杂多变的环境中, 过程噪声和观测噪声统计特性是时变的. 此外, 系统状态的演变规律可能发生改变, 即状态转移函数$ f(\cdot) $变化超出预先定义的范围. 因此, 面临建立时变参数集合$ \beta_{t} $的问题.
如图2所示, 上述问题大多相伴相生、相互耦合. 综合来看, 这5个不确定性问题大致可以归纳为两类基本问题: 参数辨识和特征提取. 其中未知参数问题隶属于参数辨识的范畴, 高维数问题需要有效的特征提取方法, 多模式、高动态和强非线性问题则同时涉及到参数辨识与特征提取. 本文从两个基本问题的不同层次切入, 指出当前贝叶斯滤波方法所面临的挑战, 进而分析融合深度学习的滤波方法的解决思路及其相关应用. 首先, 在第2节详细描述两个基本问题, 并将这些不确定性问题进行归纳. 第3节介绍解决强非线性、未知参数和高维数问题的深度卡尔曼滤波. 第4节介绍结合深度学习解决多模态、高动态等问题的自适应卡尔曼滤波.
2. 深度学习在贝叶斯滤波中的作用
深度学习与贝叶斯滤波结合的相关研究正在兴起, 综合已有研究成果和第1节所述的多种不确定性问题, 将深度学习在滤波中发挥的作用总结为: 系统参数学习和特征提取. 为便于清楚地阐述深度学习在贝叶斯滤波中发挥的作用, 本节首先概述深度学习的非线性学习能力, 继而从基于深度学习的概率分布预测切入, 介绍深度贝叶斯滤波的核心思想, 重点阐述以上两类主要思想和方法.
2.1 深度学习的非线性学习
深度学习概念源于对神经网络的研究, 可解释为深层神经网络. 深度神经网络包含多个隐藏层, 具有分层次的非线性信息处理机制, 能够从数据中提取出多层次的抽象特征. 在第1.2节中, 不确定性问题被归纳为两个基本问题: 参数辨识和特征提取. 深度学习的非线性学习能力在这两个问题上具有重要意义. 在深层神经网络中, 每一层神经元都用于捕捉输入与输出之间的复杂非线性映射关系. 这些多层的非线性变换形成数据的层次化表示, 随着网络深度的增加, 这些表示变得更加抽象和更具普适性. 复杂动态系统建模问题的关键在于强非线性或未知的映射关系的辨识. 此外, 不同层次的神经元也用于捕捉不同的抽象特征, 同时, 层与层之间的非线性激活函数赋予不同层次特征之间的非线性映射关系, 以实现对复杂状态空间模型的参数辨识. 另外, 对于高维观测信号, 例如视频图像, 深度神经网络首先提取出关于目标边界的特征, 然后从边界特征中提取目标部件的特征, 进而生成关于目标的高级特征表示. 简而言之, 深度学习的非线性学习能力来源于深度层次的网络结构, 在有大量训练样本存在的情况下, 深度学习在参数辨识和特征提取任务上往往有很好的表现.
2.2 深度贝叶斯滤波
由于不确定性问题的存在, 后验概率分布$ p({\boldsymbol{x}} _{t}|{\boldsymbol{z}}_{1:t}) $的计算变得复杂且困难. 得益于深度学习的快速发展, 传统专家知识驱动的统计分析方法逐渐被替换为数据驱动的神经网络方法[59], 从而加强对数据中潜在统计特性的提取能力. 受变分自编码器(Variational auto-encoder, VAE)[59]的启发, Krishnan等[60]最先提出基于随机梯度变分贝叶斯推断的深度卡尔曼滤波, 其核心思想为, 利用建议后验概率分布$ q_{\theta}({\boldsymbol{x}} _{1:t}|{\boldsymbol{z}}_{1:t}) $来近似真实的后验概率分布$ p({\boldsymbol{x}}_{1:t}|{\boldsymbol{z}}_{1:t}) $, 其中, $ q_{\theta}({\boldsymbol{x}} _{1:t}|{\boldsymbol{z}}_{1:t}) $为基于神经网络的识别模型, $ \theta $为网络的参数. 通过最小化$ q_{\theta}({\boldsymbol{x}} _{1:t}|{\boldsymbol{z}}_{1:t}) $与$ p({\boldsymbol{x}} _{1:t}|{\boldsymbol{z}}_{1:t}) $的距离, 即最小化这两个分布的KL (Kullback-Leibler)散度$ \mathrm{KL}[q_{\theta}({\boldsymbol{x}} _{1:t}|{\boldsymbol{z}}_{1:t})|| p({\boldsymbol{x}}_{1:t}|{\boldsymbol{z}}_{1:t})] $, 达到参数$ \theta $的最优求解. 在此之后, 基于深度概率分布预测的贝叶斯滤波方法开始快速发展. Karl等[61]在文献[60]的基础上, 令识别模型遵循于马尔科夫性质的状态转移过程, 从而实现从原始数据中学习状态空间模型的目标. 值得一提的是, 基于变分理论的最小化KL散度等价于最大化证据下限, 因此, 通过随机梯度下降算法对$ \theta $进行优化的过程隶属于无监督学习. 具体的推导过程参见文献[59–62], 本文不再累述, 仅说明其主要思想.
与结合无迹变换(Unscented transform, UT)的UKF和结合采样技术的粒子滤液(Particle filter, PF)等其他非线性滤波方法的出发点相似, 深度贝叶斯滤波通过结合深度学习方法来解决滤波过程中存在的一系列不确定性问题. 深度贝叶斯滤波的核心概念是通过神经网络来推测概率分布, 接下来将讨论分析两类深度贝叶斯滤波的具体实现.
2.3 状态空间模型参数辨识
对于非线性尤其是强非线性动态系统的滤波问题, 贝叶斯滤波方法往往难以逼近系统状态后验概率分布. 在传统非线性滤波方法中, 通过泰勒级数近似的方式对系统方程和观测方程进行线性化, 因而仍基于KF框架进行状态估计. 然而, 由于这些线性化方式忽略了泰勒级数展开式的高阶项, 当系统非线性较强时容易导致滤波发散. 此外, 由于精确的状态空间模型需要获得完整的相关领域知识, 导致贝叶斯滤波无法在一些缺少领域知识的动态系统中取得理想的滤波效果.
对于强非线性动态系统, 其状态空间模型往往难以用线性函数以及机理建模的方式建立. 深度神经网络具有拟合复杂非线性函数的能力, 同时, 在无相关领域知识的情况下, 深度神经网络能够直接从数据中学习系统模型的合适表示. 目前已有不少有关深度状态空间模型的研究成果应用于时间序列预测问题[63–64]. 考虑如式(10)所述的动态系统状态转移模型, 令$ f=f^{\theta} $, 其中, $ \theta $为构成$ f $的参数
$$ {\boldsymbol{x}}_{t+1}=f({\boldsymbol{x}}_{t},\; \theta) $$ (13) 当$ f^{\theta}(\cdot) $无法人为精确建模时, 如图3所示, 可将系统输入作为训练样本, 相对应的输出作为样本标签, 学习系统输入和输出的映射关系$ f^{\theta}(\cdot) $, 即通过大量已知标签的训练样本确定$ \theta $, 从而在给定训练样本的分布范围内近似真实的状态转移模型. 同理, 系统观测模型也可以通过这种方式从原始数据中学习生成[65–66]. 需要强调的是, 深度学习用于状态空间模型参数辨识可以分为两类主要方法. 以状态转移模型的拟合过程为例, 这两类方法的主要差异在于它们所掌握的模型先验知识程度的不同. 如果考虑的是完全未知的动态系统, 如式(13)所示, $ f(\cdot) $将完全由深度神经网络所取代, 即$ f(\cdot)= DNN(\cdot) $. 若动态系统的部分信息已知, 考虑状态转移模型$ f(\cdot) $的数据形式及其部分参数已知的情况, 例如$ f(\cdot) $的形式表现为$ {\boldsymbol{F}} \in {\bf{R}}^{n \times n} $, 利用深度神经网络从数据中学习系统的状态演化规律, 从而完成对矩阵$ {\boldsymbol{F}} $中$ n^{2} $个参数的辨识[67].
利用深度学习对状态空间模型进行参数辨识时, 一般涉及的深度神经网络为RNN. 相比于FNN, RNN的主要特点在于其考虑了样本之间的时序关系, 并将这种关系以隐层状态的方式体现出来. 通过对系统状态在时间序列上的相关性刻画, RNN能够很好地捕捉状态在传播过程中的演变关系. 文献[68]利用RNN来描述系统状态演变, 即利用深度神经网络直接从原始数据中学习系统的状态空间模型, 这样形成了对强非线性系统的新建模方法. 根据不同类型的动态系统, 文献[69–70]设计了相应的基于RNN或长短期记忆网络(Long short-term memory, LSTM)[71]的深度神经网络, 用于拟合状态的演变过程.
2.4 观测特征提取
针对传统动态系统, 观测信号的数据形式一般较为简单, 且观测模型以解析的形式给出. 而随着传感器技术的发展, 观测信号的数据形式愈发复杂, 使得观测模型并不能明确或直接得到. 例如, 在基于视觉的目标跟踪系统中[72–73], 观测信号的数据形式为图像, 其维度高, 特征提取困难, 难以建立图像信息与目标位置信息的映射关系. 而深度学习适用于对高维、复杂数据的降维与特征提取, 因此, 深度学习在贝叶斯滤波中的另一重要作用是对输入系统的原始观测数据进行特征提取. 在相关研究中, 文献[74–75]利用CNN对图像数据进行特征提取; 文献[76]利用RNN提取电网数据中的非线性特征; 针对运动目标的位置估计问题, 文献[77]利用LSTM处理观测数据序列之间存在的相互依赖关系. 尽管采用的深度神经网络有所不同, 但其思想基本类似, 下面将以Haarnoja等[78]提出的Backprop KF为例来介绍深度学习在观测特征提取中的作用.
Backprop KF由KF和深度神经网络组合构成, 如图4所示, 其核心思想是利用深度神经网络将原始观测图像数据$ {\boldsymbol{o}}_{t} $提炼为低维的观测特征$ {\boldsymbol{z}}_{t} $, 并将$ {\boldsymbol{z}}_{t} $作为KF的观测信号
$$ {\boldsymbol{z}}_{t}=g^{\theta}({\boldsymbol{o}}_{t}) $$ (14) 其中, $ g^{\theta}(\cdot) $为基于CNN的观测网络. 如图4所示, $ g^{\theta}(\cdot) $不仅用于处理原始数据输出观测信号, 而且输出表示不确定性的矩阵$ {\boldsymbol{L}}_{t} $, 进而形成KF中的观测信号协方差$ {\boldsymbol{R}}_{t} $
$$ {\boldsymbol{R}}_{t}={\boldsymbol{L}}_{t} {\boldsymbol{L}}_{t}^{\mathrm{T}} $$ (15) $ g^{\theta}(\cdot) $的参数$ \theta $利用监督学习的方法训练得到. 在所考虑的动态系统中, 假设可以直接获取没有噪声干扰的观测信号$ {\boldsymbol{y}}_{t} $, 并将其作为样本标签, Backprop KF通过最小化$ {\boldsymbol{y}}_{t} $与$ h({\boldsymbol{x}}_{t}) $的均方误差对网络进行优化
$$ L(\theta)=\sum\limits_{i=1}^{N}\sum\limits_{t=1}^{T}\frac{1}{2TN}{(h({\boldsymbol{x}}_{t})-{\boldsymbol{y}}_{t})}^{\mathrm{T}}(h({\boldsymbol{x}}_{t})-{\boldsymbol{y}}_{t}) $$ (16) 其中, $ N $和$ T $分别表示训练序列的数量和长度, $ {\boldsymbol{x}}_{t} $为$ t $时刻Backprop KF输出的状态估计值. 通过构建类似$ g^{\theta}(\cdot) $的深度观测网络[79–81], 避免在复杂高维观测空间上构建观测模型. 此外, 针对包含噪声干扰的观测信号, 文献[82–83]通过最小化状态真实值和状态估计值的均方误差来训练观测网络参数.
3. 深度卡尔曼滤波
从上述总结中不难发现, 深度神经网络在复杂动态系统状态估计中起到重要的作用, 主要体现在系统状态空间模型和观测数据的拟合及特征提取. 近年来, 研究如何利用深度贝叶斯滤波解决复杂动态系统的状态估计问题, 主流的滤波框架为KF. 根据KF的计算结构分类, 本节将从两个方面介绍深度卡尔曼滤波的研究现状.
3.1 基于深度状态空间模型的卡尔曼滤波
KF属于模型驱动的状态估计器, 以建立系统状态空间模型为前提, 依据贝叶斯准则实现状态的预测和更新. 本节介绍的深度卡尔曼滤波的核心思路为: 利用深度神经网络学习状态空间模型中缺失的参数, 包括状态转移模型、观测模型和噪声统计特性. 就现有研究成果而言, 此类深度卡尔曼滤波广泛应用于导航定位、自动控制以及信号处理等领域[84–87].
考虑如式(10)和式(11)所示的动态系统, 深度卡尔曼滤波的工作流程分为预测和更新两个环节. 预测环节为
$$ {\boldsymbol{x}}_{t|t-1}=f({\boldsymbol{x}}_{t-1|t-1}) $$ (17) $$ {\boldsymbol{P}}_{t|t-1}={\boldsymbol{F}} {\boldsymbol{P}}_{t-1|t-1} {\boldsymbol{F}}^{\mathrm{T}} + {\boldsymbol{Q}}_{t} $$ (18) 其中, $ {\boldsymbol{x}}_{t|t-1} $和$ {\boldsymbol{P}}_{t|t-1} $分别是当前$ t $时刻的状态预测及其协方差估计, $ {\boldsymbol{x}}_{t-1|t-1} $和$ {\boldsymbol{P}}_{t-1|t-1} $则分别是上一时刻的状态估计及其协方差估计. 不同于传统卡尔曼滤波, $ {\boldsymbol{Q}}_{t} $是由深度神经网络预测的过程噪声协方差, 而非传统的经验值或统计值. 同时状态转移模型也由深度神经网络所替代, 即
$$ f(\cdot)=DNN(\cdot) $$ (19) 其中, $ DNN(\cdot) $表示某一深度神经网络, 那么, $ f(\cdot) $对应的雅各比矩阵$ {\boldsymbol{F}} $则是对$ DNN(\cdot) $进行泰勒展开
$$ {\boldsymbol{F}}=\frac{\partial{DNN(\cdot)}}{\partial{{\boldsymbol{x}}_{t|t-1}}} $$ (20) 之后执行如下更新环节:
$$ {\boldsymbol{K}}_{t}={\boldsymbol{P}}_{t|t-1} {\boldsymbol{H}}^{\mathrm{T}} {({\boldsymbol{H}} {\boldsymbol{P}}_{t|t-1} {\boldsymbol{H}}^{\mathrm{T}}+{\boldsymbol{R}}_{t})}^{-1} $$ (21) $$ {\boldsymbol{x}}_{t|t}={\boldsymbol{x}}_{t|t-1} + {\boldsymbol{K}}_{t} ({\boldsymbol{z}}_{t}-h({\boldsymbol{x}}_{t|t-1})) $$ (22) $$ {\boldsymbol{P}}_{t|t} = ({\boldsymbol{I}} - {\boldsymbol{K}}_{t} {\boldsymbol{H}}) {\boldsymbol{P}}_{t|t-1} $$ (23) 其中, $ {\boldsymbol{K}}_{t} $为卡尔曼滤波增益, $ {\boldsymbol{R}}_{t} $同样是由深度神经网络计算得到. 考虑估计器接收的观测信号$ {\boldsymbol{z}}_{t} $是观测网络从原始观测数据中提取出的观测特征, 因此, 系统观测模型$ h(\cdot) $的具体形式与所设计的观测网络相关. 文献[65]将系统观测$ {\boldsymbol{z}}_{t} $和状态$ {\boldsymbol{x}}_{t} $之间存在的映射关系近似为线性关系, 因此, 系统观测模型$ h(\cdot) $可直接定义为一个线性矩阵$ {\boldsymbol{H}} $, 且$ {\boldsymbol{H}} $和$ {\boldsymbol{z}}_{t} $由同一个观测网络生成. 对于深度卡尔曼滤波, 应用更为广泛的设计思路是利用观测网络直接预测系统状态[88–89], 即$ {\boldsymbol{z}}_{t} $是对系统状态$ {\boldsymbol{x}}_{t} $的直接映射, 可以得到如下的系统观测方程:
$$ {\boldsymbol{z}}_{t} = {\boldsymbol{x}}_{t} + {\boldsymbol{v}}_{t} $$ (24) 那么, 式(21)和式(22)中的$ {\boldsymbol{H}} $等价于一个单位矩阵$ {\boldsymbol{I}}\in {\bf{R}}^{d_{x} \times d_{x}} $, 其中$ d_{x} $为系统状态$ {\boldsymbol{x}}_{t} $的维数, 即, $ h({\boldsymbol{x}}_{t|t-1})={\boldsymbol{x}}_{t|t-1} $. 值得一提的是, 文献[89]认为原始观测数据有时无法为动态系统中定义的状态提供足够信息, 即传感器所采集的数据缺少对某些状态特征的观测. 在实际应用中, 当观测网络提取的特征包含状态的所有信息时, 观测矩阵$ {\boldsymbol{H}} $设置为$ d_{x} \times d_{x} $的单位矩阵, 此时观测和状态特征维数是相同的. 另一方面, 当观测数据中只包含$ m $个部分状态的信息, 则观测矩阵为$ {\boldsymbol{H}}=[{\boldsymbol{I}}_{m}, {\bf{0}}_{m \times (d_{x}-m)}] $.
由于深度神经网络内部包含大量的非线性操作, 对其求雅各比矩阵时仍存在较大线性化误差. 此外, 对深度神经网络进行求导是一项复杂且耗时的任务. 针对这个问题, 文献[89]利用深度神经网络生成状态转移模型而非直接替代, 即深度神经网络直接输出状态转移矩阵$ {\boldsymbol{A}}_{t} $, 避免了对雅各比矩阵的求解. 在动态系统中, 状态转移过程具有马尔科夫性质, 其仅描述状态在相邻两个时间节点之间的依赖关系, 因此, 非线性状态转移过程$ {\boldsymbol{x}}_{t+1}= f({\boldsymbol{x}}_{t}) $可以描述为
$$ {\boldsymbol{x}}_{t+1} = {\boldsymbol{A}}_{t} {\boldsymbol{x}}_{t} $$ (25) 其中, $ {\boldsymbol{A}}_{t} $为时变的线性矩阵, 通过深度神经网络直接生成. 需要强调的是, $ f({\boldsymbol{x}}_{t})={\boldsymbol{A}}_{t} {\boldsymbol{x}}_{t} $成立的条件为$ f(0)=0 $.
上述深度卡尔曼滤波的框架如图5所示, 深度卡尔曼滤波的所有权重参数集合$ \theta $通过端到端的方式进行联合学习. 一般情况下, 系统真实的状态转移模型无法获得, 因此需要在损失函数$ L(\theta) $中加入真实值和先验估计的差距这一损失项, 以此学习合适的状态转移过程.
图 5 基于深度状态空间模型的卡尔曼滤波框架Fig. 5 Framework of Kalman filtering based on deep state-space model$$ L(\theta) = \frac{1}{T} \sum\limits_{t=1}^{T}{\| {\boldsymbol{x}}_{t} - {\boldsymbol{x}}_{t|t} \|}^{2} + \lambda {\| {\boldsymbol{x}}_{t} - {\boldsymbol{x}}_{t|t-1} \|}^{2} $$ (26) 其中, $ T $为总的训练样本数, $ {\boldsymbol{x}}_{t} $为样本真实值, 而超参$ \lambda $则用于平衡两项损失, 其取值根据不同的任务进行调整.
通过对以上方法的介绍, 不难发现, 无论是通过式(26)优化网络参数$ \theta $, 获取确定性的参数集合$ \beta $的有监督学习方法, 还是第2.2节中介绍的基于贝叶斯变分推断的无监督学习方法, 这两种方法的本质都是利用深度神经网络拟合状态空间模型. 这类基于深度状态空间模型的卡尔曼滤波, 可看作是基于贝叶斯准则融合多个深度神经网络的过程. 相较于传统卡尔曼滤波, 利用深度神经网络构建系统的状态空间模型, 降低人工建模的工作难度, 同时, 隐藏在复杂原始观测数据中的有效观测信息也能够提取得到. 另一方面, 对比深度学习的方法, 这类方法利用贝叶斯准则提炼深度神经网络的结果, 融合了统计估计的优势.
3.2 基于深度学习的卡尔曼增益计算
从数据融合的角度出发, KF状态估计可以看成对运动模型和观测模型等信息的加权和. 在KF的更新环节中, 卡尔曼增益$ {\boldsymbol{K}}_{t} $作为权重对先验估计和观测信号进行分配. 从式(18)和式(21)可以看出, $ {\boldsymbol{K}}_{t} $由式(12)中的参数集合$ \beta_{t} $决定. 第3.1节介绍的深度卡尔曼滤波利用深度神经网络学习$ \beta_{t} $, 建立准确的状态空间模型, 以提高滤波性能. 不同于利用深度学习改造状态空间模型的思想, 本节主要对基于深度学习的卡尔曼增益计算方法进行介绍, 区别于传统的计算方式, 该方法利用深度神经网络直接计算卡尔曼增益.
Cui等[90]从计算图的角度分析, 认为$ {\boldsymbol{K}}_{t} $的完整计算过程能够通过非线性运算和延迟反馈结构完成. 通过对典型滤波方法计算结构特征的分析和典型滤波方法与不同神经网络结构的对比分析, 可将KF表示为具有注意力机制的多层循环神经网络结构. 利用FNN建立评估网络用于评估观测信息, 随后, 由$ \mathrm{RNN} $构成的平滑网络综合过去状态和当前新输入信息, 实现当前状态估计. 其中, 采用基于FNN的简单注意力机制来实现滤波增益机制. 仿真实验验证了所提出模型的可行性和有效性.
虽然文献[90]证明了深度学习用于卡尔曼增益计算的优越性, 但是其采用深度神经网络来实现整个KF过程, 导致模型依赖于数据, 缺乏可解释性. 在保留由机理建模生成的状态空间模型的基础上, Revach等[91]提出了如下的KalmanNet: 结合基于模型驱动的KF和基于数据驱动的RNN的滤波框架, 其核心思想为, 建立动态系统状态空间模型, 并在此基础上应用KF. 然后, 在保留KF原有框架的基础上, 如图6所示, 利用RNN替代卡尔曼原增益计算环节, 即, 卡尔曼增益$ {\boldsymbol{K}}_{t} $由基于RNN的模型直接生成
$$ {\boldsymbol{K}}_{t}=RNN({\boldsymbol{\Delta}}_{{\boldsymbol{z}}_{t}}, \;{\boldsymbol{\Delta}}_{{\boldsymbol{x}}_{t-1}}) $$ (27) 针对动态环境下噪声统计特性和状态空间模型无法准确获取的问题, 通过残差$ {\boldsymbol{\Delta}}_{{\boldsymbol{z}}_{t}} $和$ {\boldsymbol{\Delta}}_{{\boldsymbol{x}}_{t-1}} $捕获动态环境中的不确定性因素, 并将其输入RNN, 令RNN直接从数据中学习卡尔曼增益的计算策略, $ {\boldsymbol{\Delta}}_{{\boldsymbol{z}}_{t}} $和$ {\boldsymbol{\Delta}}_{{\boldsymbol{x}}_{t-1}} $的定义如下:
$$ {\boldsymbol{\Delta}}_{{\boldsymbol{z}}_{t}} = {\boldsymbol{z}}_{t} - h({\boldsymbol{x}}_{t|t-1}) $$ (28) $$ {\boldsymbol{\Delta}}_{{\boldsymbol{x}}_{t-1}} = {\boldsymbol{x}}_{t-1|t-1} -{\cal{Z}}^{-1}( {\boldsymbol{x}}_{t|t-1}) $$ (29) 其中, $ {\cal{Z}}^{-1}(\cdot) $为单位时延单元, $ {\boldsymbol{\Delta}}_{{\boldsymbol{z}}_{t}} $用于封装状态估计过程的不确定性, $ {\boldsymbol{\Delta}}_{{\boldsymbol{x}}_{t-1}} $则用于封装有关状态前向传播的信息. 差分操作去除了输入特征中有关系统模型的成分, 即RNN的输入时间序列仅与噪声统计特性相关, 使得RNN能够有效地拟合数据与卡尔曼增益之间的映射关系. 仿真实验证明, 基于RNN的卡尔曼增益计算方法有利于克服未知分布噪声的干扰, 同时解决了系统过程模型不匹配的问题. 在KalmanNet的基础上, Klein等[92]继续研究了KalmanNet的不确定性问题, 以状态协方差的形式提供Kalmannet的不确定性分析. 文献[91]的KalmanNet属于监督学习范畴, 通过重新设计其损失函数, 文献[93]提出了无监督学习的KalmanNet. 文献[94–97]则研究了KalmanNet在不同场景下的应用问题, 通过几类不同的实际应用进一步证明了该框架的可行性.
该类卡尔曼增益计算方法隶属于深度学习辅助的卡尔曼滤波. 其中, 从状态先验估计和观测信号到状态空间的映射均在基于先验知识的状态空间模型上完成, 中间计算环节(卡尔曼增益计算)由深度神经网络完成. 如此, 利用可用领域知识完成对可建模部分的状态空间建模, 而利用深度学习完成对不可用且无法机理分析部分的建模.
4. 自适应学习卡尔曼滤波
为提高卡尔曼滤波的自适应能力, 通常需要根据外部环境的变化, 对模型参数和噪声统计特性进行实时的估计或修正. 近年来, 采用深度学习方法实现的自适应KF受到越来越多的关注. 就目前融合深度学习的自适应滤波而言, 深度学习起到的主要作用是噪声统计特性估计和多模型切换两类功能. 不同于第3.1节的深度卡尔曼滤波, 深度学习在KF的自适应过程中主要作用是对参数集合$ \beta_{t} $进行微调. 换言之, 深度学习不需要估计和拟合完整的参数集合$ \beta_{t} $, 而是在给定$ \beta_{t} $的前置条件下, 根据环境的动态变化, 适当地调整$ \beta_{t} $中的参数.
4.1 噪声自适应处理
在传统的KF估计中, 过程和观测噪声的协方差通常被认为是预先确定的. 然而, 在动态环境下, 这样的噪声协方差往往无法满足噪声统计特性变化的需要[98–99], 从而导致滤波性能的下降. 在经典控制领域中, 参数辨识技术广泛用于寻找最优的过程噪声和观测噪声的协方差[100–102]. 而利用深度学习方法, 从原始数据中直接学习噪声统计特性, 能够减少对动态系统及所处环境的分析工作, 提高KF的自适应能力. 其一般流程如图7所描述, 深度神经网络将观测信号作为输入, 从观测信号中提取出观测噪声的统计特性, 以协方差矩阵的形式进行输出. 噪声统计特性通常隐藏在时序数据中, 因此, 在此类研究中, RNN广泛应用于时序数据处理, 该网络充分考虑时序数据之间的关联性, 以有效提取出噪声统计特性. 文献[103]设计了基于KF的目标跟踪系统, 其中, LSTM用于识别目标运动模型与实际目标轨迹的匹配程度, 并自适应调节过程噪声协方差. 而Zheng等[104]则采用两个独立的LSTM来实现对输入不确定性和模型不确定性的估计. 仿真效果表明, 该方法在飞行器轨迹跟踪问题上优于传统的EKF方法.
图 7 使用深度神经网络估计噪声统计特性Fig. 7 Estimating noise statistical characteristics with deep neural networks然而, 在KF中嵌入DNN的训练过程是相当困难且费时的[78], 若将DNN设置为RNN会使得训练更加困难. 相较于RNN, 非递归结构的CNN有着收敛速度快、较少网络参数和较小过拟合风险的优点. 基于以上因素, 文献[105]利用CNN建立自适应观测噪声参数的计算模型, 将$ n $个历史观测信号作为输入, 输出当前时刻的观测噪声协方差$ {\boldsymbol{R}}_{t+1} $
$$ {\boldsymbol{R}}_{t+1} = CNN(\{{{\boldsymbol{z}}_{i}\}}_{i=t-n}^{t}) $$ (30) 借助CNN的处理能力, 实现了观测噪声协方差的自适应估计, 即结合模型驱动的KF与数据驱动的噪声估计来提高滤波性能. 类似的研究还有文献[106], 利用基于残差注意力机制的CNN学习原始观测数据与噪声协方差的映射关系, 其中残差机制能够加速训练, 同时注意力机制能够学习观测数据中不同重要程度的特征, 计算出更合适的噪声协方差. 该方法已成功应用于GNSS/INS组合导航系统中, 实验表明, 其能够提高位置和速度的估计精度.
为提升噪声自适应处理能力, 以及单一DNN能力不足的问题, 文献[107]利用多任务时间卷积网络 (Multi-task convolutional neural network, MTTCNN)同时预测过程噪声和观测噪声的协方差. 其核心思想是, 利用MTTCNN的并行结构, 对两种噪声协方差进行同步学习. 在不同的典型复杂城市场景下, 实现噪声协方差的自适应估计及调节, 从而实现车辆的高精度定位.
4.2 多模型自适应处理
在实际场景中, 动态系统的参数会随着外部环境、系统本身运动规律等的变化而变化[108], 通常需要结合多个模型对系统运动过程进行刻画. 本节以机动目标跟踪问题为例给出基于深度学习的多模型KF的基本思路.
假定目标存在多种运动模式, 如匀速、匀加速、匀速转弯等, 对应有多个运动模型. 建立如下的多模型目标跟踪系统的状态空间模型
$$ {\boldsymbol{x}}_{t+1} = f_{i}({\boldsymbol{x}}_{t}) + {\boldsymbol{w}}_{t} $$ (31) $$ {\boldsymbol{z}}_{t} = h({\boldsymbol{x}}_{t}) + {\boldsymbol{v}}_{t} $$ (32) 其中, $ f_{i}(\cdot) $表示目标的第$ i $种运动模型, 每一个$ f_{i}(\cdot) $对应一个独立的KF. 传统的交互多模型卡尔曼滤波 (Interacting multiple model Kalman filter, IMMKF)[109]首先采用多个KF对每种运动模型进行并行滤波, 然后, 基于模型概率混合所有滤波器的状态估计值, 最后以模型匹配似然函数来更新模型概率. 在IMMKF中, 模型的转换概率矩阵 (Transition probability matrix, TPM)决定不同模型之间的切换规律, 即模型误差和模型概率估计的准确性依赖于TPM. 为了能够实现TPM的自适应更新, 文献[110]利用RNN学习后验TPM, 从而提高滤波性能. 而文献[111–112]致力于通过RNN直接学习运动模型的概率来实现模型的切换, 解决了传统IMMKF存在的模型切换时延和切换准确率较低等问题. 其中, 文献[111]提出的模型切换策略属于“硬切换”, 其根据历史观测信息, 通过神经网络预测当前时刻目标的运动模式, 最后输出的状态估计值仅对应单一的运动模型. 不同于文献[111]的模型切换策略, 文献[112]则同时维护多个运动模型, 并通过分配不同的权重来对它们进行加权组合, 实现不同模型之间的软切换.
然而, 目标运动模式往往难以仅用几种运动模式描述. 因此, 针对多模型方法存在先验假设过多的问题, 文献[113]提出不确定航迹自适应预测模型, 利用深度神经网络来拟合多种目标运动模式, 从而消除目标运动模式的先验假设. 目标运动状态的预测分为两个步骤, 步骤I-step通过目标历史位置信息预测当前时刻的运动模式; 步骤E-step根据运动模式信息预测当前时刻的目标位置.
如图8所示, 基于深度学习实现的多模型自适应KF可以分类为两大思路. 1)基于深度学习的多模型切换策略; 2)基于深度学习的多模型拟合. 两种思路既有着明显的不同特点又有共通之处. 前者利用深度学习方法分析系统不同运动规律的特点, 为模型的切换提供准确的证据; 后者则是将系统的多种不同运动规律进行汇总, 利用深度神经网络学习出一个能够包含所有运动规律的状态转移函数. 前者对应于深度学习中的分类任务, 其通过学习获得关于不同运动模型的概率估计, 以便进行模型选择和分类推断; 后者则等同于深度学习中的回归任务, 其关注运动规律的特征提取, 以直接预测目标位置的连续值. 二者的共通之处在于从整体上看都是神经网络结构, 并以数据驱动的方式学习系统动力学特征, 从数据中学习系统运动规律.
图 8 基于深度学习的多模型自适应卡尔曼滤波的两类思路Fig. 8 Two types of ideas for multi model adaptive Kalman filtering based on deep learning5. 结束语
本文首先通过对贝叶斯滤波理论的分析, 指出影响滤波性能的重要因素, 在此基础上, 阐述深度学习与贝叶斯滤波相结合的相关研究与应用. 对当前应用最为广泛的深度卡尔曼滤波进行了详细的介绍, 进而介绍了融合深度学习的自适应卡尔曼滤波. 下面对融合深度学习的贝叶斯滤波的研究现状进行总结.
由于深度学习在复杂函数拟合和特征提取等方面展现出优势和潜力, 其已被应用于贝叶斯滤波的相关研究, 并表现出较好的适用性和优越性. 然而, 通过研究现状分析不难发现, 深度学习主要在状态空间模型的建立以及复杂观测特征提取中具有应用的优势. 对于状态空间模型, 其本质是学习系统的输入输出关系, 拟合系统复杂的传递过程; 对于观测特征提取方法, 提取的是隐藏在复杂数据之中的抽象特征, 其中抽象特征与系统状态之间的映射关系不具备可解释性. 对于卡尔曼增益的计算, 目前已有直接拟合滤波计算结构和过程的相关研究, 其本质也是从系统状态和原始观测数据中提取特征, 然后拟合特征与输出之间的关系. 综上, 尽管目前深度学习与贝叶斯滤波相结合的研究已有以上一些成功案例, 但是相关研究的成果仍然偏少, 并且分散在各自不同的领域, 缺少系统性的理论研究.
虽然融合深度学习的贝叶斯滤波的研究尚存在一些问题, 但不可否认的是, 深度学习在贝叶斯滤波中的研究前景仍然十分广阔. 以下对未来可能值得研究的内容和方向进行展望.
5.1 完善融合策略
贝叶斯滤波的性能依赖于准确的模型知识, 如何利用深度学习降低贝叶斯滤波对不准确模型知识的敏感性是值得考虑的重点研究问题. 同时, 由于深度学习本身的黑盒特性, 导致其输出结果缺乏可解释性[114–115]. 对于一些安全系数要求较高的应用, 滤波精度和可解释性之间存在矛盾问题, 深度学习与贝叶斯滤波之间的关系难以平衡. 为解决上述问题, 深度学习与贝叶斯滤波的融合策略需要突破简单的加性组合方式, 更为完善且智能的融合策略是当前所急需的. 近期, 深度学习不确定性估计[116]在深度学习与贝叶斯滤波的融合策略上进行了有益尝试, 但其所考虑的神经网络需要单独的离线训练, 暂未形成完整且有效的融合估计. 针对不同场景的需求, 应实现模型与学习方法的相互融合与协同. 一种可行的解决思路是, 设计一种自适应感知环境不确定性以及自适应选择深度学习方法的贝叶斯滤波. 通过环境感知机制, 不断感知外界环境的动态变化, 判断是否需要深度学习的介入, 形成基于模型和基于数据方法的无缝连接, 建立可在线配置结构[117]的深度贝叶斯滤波框架.
5.2 复杂高维系统滤波
目前, 融合深度学习的贝叶斯滤波大多应用于一些低维数的系统, 且系统状态一般具有明确的定义. 随着信息化技术的发展, 当前复杂系统的状态维数不断提高, 由于系统内部参数多因素耦合, 导致其状态难以确定, 而深度学习的自动学习状态特征的能力使其对复杂系统具有先天的优势. 利用深度学习对高维复杂系统进行降维, 并自动提取状态向量, 实现在复杂系统上的贝叶斯滤波[118–119]. 鉴于深度学习在状态空间模型的参数辨识中发挥的重要作用, 深度学习与状态空间模型更深层次的结合[120–121]可望为解决复杂系统的贝叶斯滤波方法提供重要的解决思路.
5.3 异构多模态融合
在智能化和网络化的背景下, 信息融合理论与技术呈现出智能化和边缘化处理的新趋势[122–123]. 有的信息融合滤波技术, 例如基于卡尔曼滤波的观测融合和状态融合, 仍然没有系统性地解决非线性、非高斯滤波问题. 由于多传感器观测之间一般存在复杂的非线性关系, 传统信息融合理论较难表示其动态关系. 随着实际系统中多传感器的分布式部署, 如何协调多源异构的子传感器并行协作进行状态估计已成为一大挑战性问题. 鉴于深度学习在多传感器数据的处理和融合[124–129]方面的优势, 以及在众多领域的成功应用, 基于深度学习的信息融合理论仍是值得进一步研究的问题.
5.4 智能自适应滤波
融合深度学习的自适应卡尔曼滤波依赖于深度神经网络的预测精度, 深度神经网络的性能则取决于训练数据集. 然而, 由于动态环境的随机性[130], 用于训练的数据集较难包含所有环境的变化, 例如未出现在训练集中的噪声统计特性和系统运动模式, 即训练数据集的数据分布是不完整的. 因此, 相比于传统自适应方法, 基于深度学习的自适应滤波能够取得更为精准的估计结果, 但是仅限于输入数据属于训练数据分布之内的情况. 因此, 构建可自动扩充的训练数据集, 使得深度神经网络能够主动学习[131]乃至终生学习, 充分发挥深度学习在自适应滤波中的优势, 研究更为智能且泛用的自适应滤波策略是下一步研究的方向.
5.5 滤波性能评估
基于深度学习的贝叶斯滤波理论研究仍然欠缺, 目前尚无理论能够对融合深度学习的贝叶斯滤波的性能进行全面评估. 虽然深度学习在贝叶斯滤波中发挥出一定的效果, 但是仅仅通过拟合训练数据集等方式并不能保证滤波的性能. 有关其稳定性和一致性等方面的理论分析[132]也是一个值得研究的方向. 此外, 应该看到, 深度神经网络自身尚存在某些不确定性. 如何深入理解深度学习的不确定性[133–134], 并将其理论用于深度贝叶斯滤波同样是一个值得关注的方向.
-
图 5 基于深度状态空间模型的卡尔曼滤波框架
Fig. 5 Framework of Kalman filtering based on deep state-space model
图 7 使用深度神经网络估计噪声统计特性
Fig. 7 Estimating noise statistical characteristics with deep neural networks
-
[1] 孙旭, 李晓光, 李嘉锋, 卓力. 基于深度学习的图像超分辨率复原研究进展. 自动化学报, 2017, 43(5): 697−709Sun Xu, Li Xiao-Guang, Li Jia-Feng, Zhuo Li. Review on deep learning based image super-resolution restoration algorithms. Acta Automatica Sinica, 2017, 43(5): 697−709 [2] 刘小波, 刘鹏, 蔡之华, 乔禹霖, 王凌, 汪敏. 基于深度学习的光学遥感图像目标检测研究进展. 自动化学报, 2021, 47(9): 2078−2089Liu Xiao-Bo, Liu Peng, Cai Zhi-Hua, Qiao Yu-Lin, Wang Ling, Wang Min. Research progress of optical remote sensing image object detection based on deep learning. Acta Automatica Sinica, 2021, 47(9): 2078−2089 [3] 张号逵, 李映, 姜晔楠. 深度学习在高光谱图像分类领域的研究现状与展望. 自动化学报, 2018, 44(6): 961−977Zhang Hao-Kui, Li Ying, Jiang Ye-Nan. Deep learning for hyperspectral imagery classification: The state of the art and prospects. Acta Automatica Sinica, 2018, 44(6): 961−977 [4] 刘文举, 聂帅, 梁山, 张学良. 基于深度学习语音分离技术的研究现状与进展. 自动化学报, 2016, 42(6): 819−833Liu Wen-Ju, Nie Shuai, Liang Shan, Zhang Xue-Liang. Deep learning based speech separation technology and its developments. Acta Automatica Sinica, 2016, 42(6): 819−833 [5] 袁文浩, 孙文珠, 夏斌, 欧世峰. 利用深度卷积神经网络提高未知噪声下的语音增强性能. 自动化学报, 2018, 44(4): 751−759Yuan Wen-Hao, Sun Wen-Zhu, Xia Bin, Ou Shi-Feng. Improving speech enhancement in unseen noise using deep convolutional neural network. Acta Automatica Sinica, 2018, 44(4): 751−759 [6] 鹿智, 秦世引, 李连伟, 张鼎豪. 智能人机交互中第一视角手势表达的一次性学习分类识别. 自动化学报, 2021, 47(6): 1284−1301Lu Zhi, Qin Shi-Yin, Li Lian-Wei, Zhang Ding-Hao. One-shot learning classification and recognition of gesture expression from the egocentric viewpoint in intelligent human-computer interaction. Acta Automatica Sinica, 2021, 47(6): 1284−1301 [7] 段艳杰, 吕宜生, 张杰, 赵学亮, 王飞跃. 深度学习在控制领域的研究现状与展望. 自动化学报, 2016, 42(5): 643−654Duan Yan-Jie, Lv Yi-Sheng, Zhang Jie, Zhao Xue-Liang, Wang Fei-Yue. Deep learning for control: The state of the art and prospects. Acta Automatica Sinica, 2016, 42(5): 643−654 [8] Jin Z H, Si W Y, Liu A D, Zhang W A, Yu L, Yang C G. Learning a flexible neural energy function with a unique minimum for globally stable and accurate demonstration learning. IEEE Transactions on Robotics, 2023, 39(6): 4520−4538 [9] 任浩, 屈剑锋, 柴毅, 唐秋, 叶欣. 深度学习在故障诊断领域中的研究现状与挑战. 控制与决策, 2017, 32(8): 1345−1358Ren Hao, Qu Jian-Feng, Chai Yi, Tang Qiu, Ye Xin. Deep learning for fault diagnosis: The state of the art and challenge. Control and Decision, 2017, 32(8): 1345−1358 [10] Huang D J, Zhang W A, Guo F H, Liu W J, Shi X M. Wavelet packet decomposition-based multiscale CNN for fault diagnosis of wind turbine gearbox. IEEE Transactions on Cybernetics, 2023, 53(1): 443−453 [11] 田娟秀, 刘国才, 谷珊珊, 鞠忠建, 刘劲光, 顾冬冬. 医学图像分析深度学习方法研究与挑战. 自动化学报, 2018, 44(3): 401−424Tian Juan-Xiu, Liu Guo-Cai, Gu Shan-Shan, Ju Zhong-Jian, Liu Jin-Guang, Gu Dong-Dong. Deep learning in medical image analysis and its challenges. Acta Automatica Sinica, 2018, 44(3): 401−424 [12] Jin Y Q, Wei N W, Fu M L, Liu H M, Zhang W A. Beyond learning: Back to geometric essence of visual odometry via fusion-based paradigm. IEEE Transactions on Instrumentation and Measurement, 2021, 70: Article No. 5018715 [13] Kalman R E. A new approach to linear filtering and prediction problems. Journal of Basic Engineering, 1960, 82(1): 35−45 doi: 10.1115/1.3662552 [14] Bebis G, Georgiopoulos M. Feed-forward neural networks. IEEE Potentials, 1994, 13(4): 27−31 doi: 10.1109/45.329294 [15] Elman J L. Finding structure in time. Cognitive Science, 1990, 14(2): 179−211 doi: 10.1207/s15516709cog1402_1 [16] Lecun Y, Bottou L, Bengio Y, Haffner P. Gradient-based learning applied to document recognition. Proceedings of the IEEE, 1998, 86(11): 2278−2324 doi: 10.1109/5.726791 [17] Stubberud S C, Lobbia R N, Owen M. An adaptive extended Kalman filter using artificial neural networks. In: Proceedings of the 34th IEEE Conference on Decision and Control. New Orleans, USA: IEEE, 1995. 1852−1856 [18] Choi M, Sakthivel R, Chung W K. Neural network-aided extended Kalman filter for SLAM problem. In: Proceedings of the IEEE International Conference on Robotics and Automation. Rome, Italy: IEEE, 2007. 1686−1690 [19] Owen M W, Stubberud A R. A neural extended Kalman filter multiple model tracker. In: Proceedings of the Celebrating the Past ${\cdots} $ Teaming Toward the Future (IEEE Cat. No.03CH37492). San Diego, USA: IEEE, 2003. 2111−2119 [20] Li Y, Liu J Y, Jiang Y Q, Liu Y, Lei B Y. Virtual adversarial training-based deep feature aggregation network from dynamic effective connectivity for MCI identification. IEEE Transactions on Medical Imaging, 2022, 41(1): 237−251 [21] Huang H F, Liu Q, Jiang Y Q, Yang Q Y, Zhu X F, Li Y. Deep spatio-temporal attention-based recurrent network from dynamic adaptive functional connectivity for MCI identification. IEEE Transactions on Neural Systems and Rehabilitation Engineering, 2022, 30: 2600−2612 [22] Zhao Z, Särkkä S, Rad A B. Kalman-based spectro-temporal ECG analysis using deep convolutional networks for atrial fibrillation detection. Journal of Signal Processing Systems, 2020, 92(7): 621−636 doi: 10.1007/s11265-020-01531-4 [23] Lee M H, O' Hara N, Sonoda M, Kuroda N, Juhasz C, Asano E, et al. Novel deep learning network analysis of electrical stimulation mapping-driven diffusion MRI tractography to improve preoperative evaluation of pediatric epilepsy. IEEE Transactions on Biomedical Engineering, 2020, 67(11): 3151−3162 doi: 10.1109/TBME.2020.2977531 [24] Xu K, Jiang X Y, Lin S J, Dai C Y, Chen W. Stochastic modeling based nonlinear Bayesian filtering for photoplethysmography denoising in wearable devices. IEEE Transactions on Industrial Informatics, 2020, 16(11): 7219−7230 [25] Dai C S, Shan G Q, Liu X J, Ru C H, Xin L M, Sun Y. Automated orientation control of motile deformable cells. IEEE Transactions on Automation Science and Engineering, 2023, 20(3): 2126−2134 [26] Perafan-Villota J C, Mondragon O H, Mayor-Toro W M. Fast and precise: Parallel processing of vehicle traffic videos using big data analytics. IEEE Transactions on Intelligent Transportation Systems, 2022, 23(8): 12064−12073 [27] Maha Vishnu V C, Rajalakshmi M, Nedunchezhian R. Intelligent traffic video surveillance and accident detection system with dynamic traffic signal control. Cluster Computing, 2018, 21(1): 135−147 [28] Abdelali H A, Derrouz H, Zennayi Y, Thami R O H, Bourzeix F. Multiple hypothesis detection and tracking using deep learning for video traffic surveillance. IEEE Access, 2021, 9: 164282−164291 [29] Chen Y R, Xie X Y, Yu B, Li Y, Lin K H. Multitarget vehicle tracking and motion state estimation using a novel driving environment perception system of intelligent vehicles. Journal of Advanced Transportation, 2021, 2021: Article No. 6251399 [30] Sudha D, Priyadarshini J. An intelligent multiple vehicle detection and tracking using modified vibe algorithm and deep learning algorithm. Soft Computing, 2020, 24(22): 17417−17429 doi: 10.1007/s00500-020-05042-z [31] Zhu D, Song R, Chen H, Klette R, Xu Y Y. Moment-based multi-lane detection and tracking. Signal Processing: Image Communication, 2021, 95: Article No. 116230 [32] Van Wyk F, Wang Y Y, Khojandi A, Masoud N. Real-time sensor anomaly detection and identification in automated vehicles. IEEE Transactions on Intelligent Transportation Systems, 2020, 21(3): 1264−1276 doi: 10.1109/TITS.2019.2906038 [33] Jin Y Q, Zhang W A, Sun H, Yu L. Learning-aided inertial odometry with nonlinear state estimator on manifold. IEEE Transactions on Intelligent Transportation Systems, 2023, 24(9): 9792−9803 doi: 10.1109/TITS.2023.3273391 [34] Piga N A, Onyshchuk Y, Pasquale G, Pattacini U, Natale L. ROFT: Real-time optical flow-aided 6D object pose and velocity tracking. IEEE Robotics and Automation Letters, 2022, 7(1): 159−166 doi: 10.1109/LRA.2021.3119379 [35] Liu J G, Guo G. Vehicle localization during GPS outages with extended Kalman filter and deep learning. IEEE Transactions on Instrumentation and Measurement, 2021, 70: Article No. 7503410 [36] Shen C, Zhang Y, Guo X T, Chen X Y, Cao H L, Tang J, et al. Seamless GPS/inertial navigation system based on self-learning square-root cubature Kalman filter. IEEE Transactions on Industrial Electronics, 2021, 68(1): 499−508 [37] Shu X, Li G, Zhang Y J, Shen S Q, Chen Z, Liu Y G. Stage of charge estimation of lithium-ion battery packs based on improved cubature Kalman filter with long short-term memory model. IEEE Transactions on Transportation Electrification, 2021, 7(3): 1271−1284 [38] Surya S, Samanta A, Marcis V, Williamson S. Hybrid electrical circuit model and deep learning-based core temperature estimation of lithium-ion battery cell. IEEE Transactions on Transportation Electrification, 2022, 8(3): 3816−3824 [39] Zhang H F, Yue D, Dou C X, Li K, Hancke G P. Two-step wind power prediction approach with improved complementary ensemble empirical mode decomposition and reinforcement learning. IEEE Systems Journal, 2022, 16(2): 2545−2555 [40] Lee M S, Shifat T A, Hur J W. Kalman filter assisted deep feature learning for RUL prediction of hydraulic gear pump. IEEE Sensors Journal, 2022, 22(11): 11088−11097 [41] Dantas H, Warren D J, Wendelken S M, Davis T S, Clark G A, Mathews V J. Deep learning movement intent decoders trained with dataset aggregation for prosthetic limb control. IEEE Transactions on Biomedical Engineering, 2019, 66(11): 3192−3203 [42] Baek D, Seo J H, Kim J, Kwon D S. Hysteresis compensator with learning-based hybrid joint angle estimation for flexible surgery robots. IEEE Robotics and Automation Letters, 2020, 5(4): 6837−6844 [43] Rezaee K, Mousavirad S J, Khosravi M R, Moghimi M K, Heidari M. An autonomous UAV-assisted distance-aware crowd sensing platform using deep shuffleNet transfer learning. IEEE Transactions on Intelligent Transportation Systems, 2022, 23(7): 9404−9413 [44] Zhang K Y, Jiang C X, Li J H, Yang S, Ma T, Xu C, et al. DIDO: Deep inertial quadrotor dynamical odometry. IEEE Robotics and Automation Letters, 2022, 7(4): 9083−9090 [45] 潘泉, 于昕, 程咏梅, 张洪才. 信息融合理论的基本方法与进展. 自动化学报, 2003, 29(4): 599−615Pan Quan, Yu Xin, Cheng Yong-Mei, Zhang Hong-Cai. Essential methods and progress of information fusion theory. Acta Automatica Sinica, 2003, 29(4): 599−615 [46] 潘泉, 胡玉梅, 兰华, 孙帅, 王增福, 杨峰. 信息融合理论研究进展: 基于变分贝叶斯的联合优化. 自动化学报, 2019, 45(7): 1207−1223Pan Quan, Hu Yu-Mei, Lan Hua, Sun Shuai, Wang Zeng-Fu, Yang Feng. Information fusion progress: Joint optimization based on variational Bayesian theory. Acta Automatica Sinica, 2019, 45(7): 1207−1223 [47] Kalman R E, Bucy R S. New results in linear filtering and prediction theory. Journal of Basic Engineering, 1961, 83(1): 95−108 [48] Julier S J, Uhlmann J K. Unscented filtering and nonlinear estimation. Proceedings of the IEEE, 2004, 92(3): 401−422 [49] Yang X S, Zhang W A, Liu A D, Yu L. Linear fusion estimation for range-only target tracking with nonlinear transformation. IEEE Transactions on Industrial Informatics, 2020, 16(10): 6403−6412 [50] Gibbs R G. New Kalman filter and smoother consistency tests. Automatica, 2013, 49(10): 3141−3144 [51] 杨峰, 王永齐, 梁彦, 潘泉. 基于概率假设密度滤波方法的多目标跟踪技术综述. 自动化学报, 2013, 39(11): 1944−1956Yang Feng, Wang Yong-Qi, Liang Yan, Pan Quan. A survey of PHD filter based multi-target tracking. Acta Automatica Sinica, 2013, 39(11): 1944−1956 [52] Huang Y L, Zhang Y G, Wu Z M, Li N, Chambers J. A novel adaptive Kalman filter with inaccurate process and measurement noise covariance matrices. IEEE Transactions on Automatic Control, 2018, 63(2): 594−601 [53] Hu Y M, Wang X Z, Pan Q, Hu Z T, Moran B. Variational Bayesian Kalman filter using natural gradient. Chinese Journal of Aeronautics, 2022, 35(5): 1−10 [54] He Y, Song Q, Dong Y L, Yang J. Adaptive tracking algorithm based on modified strong tracking filter. In: Proceedings of the CIE International Conference on Radar. Shanghai, China: IEEE, 2006. 1−4 [55] Yang X S, Zhang W A, Yu L, Xing K X. Multi-rate distributed fusion estimation for sensor network-based target tracking. IEEE Sensors Journal, 2016, 16(5): 1233−1242 [56] Gordon N J, Salmond D J, Smith A F M. Novel approach to nonlinear/non-Gaussian Bayesian state estimation. IEE Proceedings F (Radar and Signal Processing), 1993, 140(2): 107−113 [57] Liu J S, Chen R. Sequential Monte Carlo methods for dynamic systems. Journal of the American Statistical Association, 1998, 93(443): 1032−1044 [58] 杨旭升, 张文安, 俞立. 适用于事件触发的分布式随机目标跟踪方法. 自动化学报, 2017, 43(8): 1393−1401Yang Xu-Sheng, Zhang Wen-An, Yu Li. Distributed tracking method for maneuvering targets with event-triggered mechanism. Acta Automatica Sinica, 2017, 43(8): 1393−1401 [59] Kingma D P, Welling M. Auto-encoding variational Bayes. In: Proceedings of the 2nd International Conference on Learning Representations. Banff, Canada: ICLR, 2014. [60] Krishnan R G, Shalit U, Sontag D. Deep Kalman filters. arXiv preprint arXiv: 1511.05121, 2015. [61] Karl M, Soelch M, Bayer J, Van Der Smagt P. Deep variational Bayes filters: Unsupervised learning of state space models from raw data. In: Proceedings of the 5th International Conference on Learning Representations. Toulon, France: ICLR, 2017. [62] Liu W, Lai Z L, Bacsa K, Chatzi E. Neural extended Kalman filters for learning and predicting dynamics of structural systems. Structural Health Monitoring, 2024, 23(2): 1037−1052 [63] Gedon D, Wahlström N, Schön T B, Ljung L. Deep state space models for nonlinear system identification. IFAC-PapersOnLine, 2021, 54(7): 481−486 [64] Li L Y, Yan J C, Yang X K, Jin Y H. Learning interpretable deep state space model for probabilistic time series forecasting. In: Proceedings of the 28th International Joint Conference on Artificial Intelligence. Macao, China: ACM, 2019. 2901−2908 [65] Zhao C, Sun L, Yan Z, Neumann G, Duckett T, Stolkin R. Learning Kalman network: A deep monocular visual odometry for on-road driving. Robotics and Autonomous Systems, 2019, 121: Article No. 103234 [66] 杨旭升, 王雪儿, 汪鹏君, 张文安. 基于渐进无迹卡尔曼滤波网络的人体肢体运动估计. 自动化学报, 2023, 49(8): 1723−1731Yang Xu-Sheng, Wang Xue-Er, Wang Peng-Jun, Zhang Wen-An. Estimation of human limb motion based on progressive unscented Kalman filter network. Acta Automatica Sinica, 2023, 49(8): 1723−1731 [67] Millidge B, Tschantz A, Seth A, Buckley C. Neural Kalman filtering. arXiv preprint arXiv: 2102.10021, 2021. [68] Rangapuram S S, Seeger M, Gasthaus J, Stella L, Wang Y Y, Januschowski T. Deep state space models for time series forecasting. In: Proceedings of the 32nd International Conference on Neural Information Processing Systems. Montréal, Canada: ACM, 2018. 7796−7805 [69] Bao T Z, Zhao Y H, Zaidi S A R, Xie S Q, Yang P F, Zhang Z Q. A deep Kalman filter network for hand kinematics estimation using sEMG. Pattern Recognition Letters, 2021, 143: 88−94 [70] Zheng X, Zaheer M, Ahmed A, Wang Y, Xing E P, Smola A J. State space LSTM models with particle MCMC inference. arXiv preprint arXiv: 711.11179, 2017. [71] Hochreiter S, Schmidhuber J. Long short-term memory. Neural Computation, 1997, 9(8): 1735−1780 [72] 尹宏鹏, 陈波, 柴毅, 刘兆栋. 基于视觉的目标检测与跟踪综述. 自动化学报, 2016, 42(10): 1466−1489Yin Hong-Peng, Chen Bo, Chai Yi, Liu Zhao-Dong. Vision-based object detection and tracking: A review. Acta Automatica Sinica, 2016, 42(10): 1466−1489 [73] 孟琭, 杨旭. 目标跟踪算法综述. 自动化学报, 2019, 45(7): 1244−1260Meng Lu, Yang Xu. A survey of object tracking algorithms. Acta Automatica Sinica, 2019, 45(7): 1244−1260 [74] Lin W Y, Ren X Y, Hu J J, He Y Z, Li Z, Tong M S. Fast, robust and accurate posture detection algorithm based on Kalman filter and SSD for AGV. Neurocomputing, 2018, 316: 306−312 [75] Ozaki R, Kuroda Y. EKF-based real-time self-attitude estimation with camera DNN learning landscape regularities. IEEE Robotics and Automation Letters, 2021, 6(2): 1737−1744 [76] Tian J P, Xiong R, Shen W X, Lu J H. State-of-charge estimation of LiFePO_4 batteries in electric vehicles: A deep-learning enabled approach. Applied Energy, 2021, 291: Article No. 116812 [77] Youn W, Lim H, Choi H S, Rhudy M B, Ryu H, Kim S, et al. State estimation for HALE UAVs with deep-learning-aided virtual AOA/SSA sensors for analytical redundancy. IEEE Robotics and Automation Letters, 2021, 6(3): 5276−5283 [78] Haarnoja T, Ajay A, Levine S, Abbeel P. Backprop KF: Learning discriminative deterministic state estimators. In: Proceedings of the 30th International Conference on Neural Information Processing Systems. Barcelona, Spain: ACM, 2016. 4383−4391 [79] Bharadwaj S, Prasad S, Almekkawy M. An upgraded siamese neural network for motion tracking in ultrasound image sequences. IEEE Transactions on Ultrasonics, Ferroelectrics, and Frequency Control, 2021, 68(12): 3515−3527 [80] Xiao B, Xiao H R, Wang J W, Chen Y. Vision-based method for tracking workers by integrating deep learning instance segmentation in off-site construction. Automation in Construction, 2022, 136: Article No. 104148 [81] Lim H, Ryu H, Rhudy M B, Lee D, Jang D, Lee C, et al. Deep learning-aided synthetic airspeed estimation of UAVs for analytical redundancy with a temporal convolutional network. IEEE Robotics and Automation Letters, 2022, 7(1): 17−24 [82] Ju C, Wang Z, Long C, Zhang X Y, Chang D E. Interaction-aware Kalman neural networks for trajectory prediction. In: Proceedings of the IEEE Intelligent Vehicles Symposium (IV). Las Vegas, USA: IEEE, 2020. 1793−1800 [83] Yin H, Chen R J, Wang Y, Xiong R. RaLL: End-to-end radar localization on lidar map using differentiable measurement model. IEEE Transactions on Intelligent Transportation Systems, 2022, 23(7): 6737−6750 [84] Li Y J, Yin G D, Zhuang W C, Zhang N, Wang J X, Geng K K. Compensating delays and noises in motion control of autonomous electric vehicles by using deep learning and unscented Kalman predictor. IEEE Transactions on Systems, Man, and Cybernetics: Systems, 2020, 50(11): 4326−4338 [85] Lu G, Zhang X Y, Ouyang W L, Xu D, Chen L, Gao Z Y. Deep non-local Kalman network for video compression artifact reduction. IEEE Transactions on Image Processing, 2020, 29: 1725−1737 [86] Tariq M, Ali M, Naeem F, Poor H V. Vulnerability assessment of 6G-enabled smart grid cyber-physical systems. IEEE Internet of Things Journal, 2021, 8(7): 5468−5475 [87] Li D H, Zhou J, Liu Y Y. Recurrent-neural-network-based unscented Kalman filter for estimating and compensating the random drift of MEMS gyroscopes in real time. Mechanical Systems and Signal Processing, 2021, 147: Article No. 107057 [88] Coskun H, Achilles F, DiPietro R, Navab N, Tombari F. Long short-term memory Kalman filters: Recurrent neural estimators for pose regularization. In: Proceedings of the IEEE International Conference on Computer Vision (ICCV). Venice, Italy: IEEE, 2017. 5525−5533 [89] Chen C H, Lu C X, Wang B, Trigoni N, Markham A. DynaNet: Neural Kalman dynamical model for motion estimation and prediction. IEEE Transactions on Neural Networks and Learning Systems, 2021, 32(12): 5479−5491 [90] Cui Y Q, He Y, Tang T T, Liu Y. A new target tracking filter based on deep learning. Chinese Journal of Aeronautics, 2022, 35(5): 11−24 [91] Revach G, Shlezinger N, Ni X Y, Escoriza A L, Van Sloun R J G, Eldar Y C. KalmanNet: Neural network aided Kalman filtering for partially known dynamics. IEEE Transactions on Signal Processing, 2022, 70: 1532−1547 [92] Klein I, Revach G, Shlezinger N, Mehr J E, Van Sloun R J G, Eldar Y C. Uncertainty in data-driven Kalman filtering for partially known state-space models. In: Proceedings of the IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). Singapore: IEEE, 2022. 3194−3198 [93] Revach G, Shlezinger N, Locher T, Ni X Y, Van Sloun R J G, Eldar Y C. Unsupervised learned Kalman filtering. In: Proceedings of the 30th European Signal Processing Conference (EUSIPCO). Belgrade, Serbia: IEEE, 2022. 1571−1575 [94] Zhang Y X, Yu M, Zhang H, Yu D, Wang D L. Neuralkalman: A learnable Kalman filter for acoustic echo cancellation. In: Proceedings of the IEEE Automatic Speech Recognition and Understanding Workshop (ASRU). Taipei, China: IEEE, 2023. 1−7 [95] Choi G, Park J, Shlezinger N, Eldar Y C, Lee N. Split-KalmanNet: A robust model-based deep learning approach for state estimation. IEEE Transactions on Vehicular Technology, 2023, 72(9): 12326−12331 [96] Deng H R, Revach G, Morgenstern H, Shlezinger N. Kalmanbot: Kalmannet-aided bollinger bands for pairs trading. In: Proceedings of the IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). Rhodes Island, Greece: IEEE, 2023. 1−5 [97] Buchnik I, Steger D, Revach G, Van Sloun R J G, Routtenberg T, Shlezinger N. Latent-KalmanNet: Learned Kalman filtering for tracking from high-dimensional signals. IEEE Transactions on Signal Processing, 2024, 72: 352−367 [98] 郑婷婷, 杨旭升, 张文安, 俞立. 一种高斯渐进滤波框架下的目标跟踪方法. 自动化学报, 2018, 44(12): 2250−2258Zheng Ting-Ting, Yang Xu-Sheng, Zhang Wen-An, Yu Li. A target tracking method in Gaussian progressive filtering framework. Acta Automatica Sinica, 2018, 44(12): 2250−2258 [99] Yang X S, Zhang W A, Yu L, Yang F W. Sequential Gaussian approximation filter for target tracking with nonsynchronous measurements. IEEE Transactions on Aerospace and Electronic Systems, 2019, 55(1): 407−418 [100] Yuen K V, Hoi K I, Mok K M. Selection of noise parameters for Kalman filter. Earthquake Engineering and Engineering Vibration, 2007, 6(1): 49−56 [101] Yuen K V, Liang P F, Kuok S C. Online estimation of noise parameters for Kalman filter. Structural Engineering and Mechanics, 2013, 47(3): 361−381 [102] Li P, Zhang W A, Zhang J H. HMM based adaptive Kalman filter for orientation estimation. IEEE Sensors Journal, 2022, 22(17): 17065−17074 [103] Jouaber S, Bonnabel S, Velasco-Forero S, Pilté M. NNAKF: A neural network adapted Kalman filter for target tracking. In: Proceedings of the IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). Toronto, Canada: IEEE, 2021. 4075−4079 [104] Zheng T Y, Yao Y, He F H, Zhang X R. An RNN-based learnable extended Kalman filter design and application. In: Proceedings of the 18th European Control Conference (ECC). Naples, Italy: IEEE, 2019. 3304−3309 [105] Brossard M, Barrau A, Bonnabel S. AI-IMU dead-reckoning. IEEE Transactions on Intelligent Vehicles, 2020, 5(4): 585−595 [106] Xiao Y M, Luo H Y, Zhao F, Wu F, Gao X L, Wang Q, et al. Residual attention network-based confidence estimation algorithm for non-holonomic constraint in GNSS/INS integrated navigation system. IEEE Transactions on Vehicular Technology, 2021, 70(11): 11404−11418 [107] Wu F, Luo H Y, Jia H W, Zhao F, Xiao Y M, Gao X L. Predicting the noise covariance with a multitask learning model for Kalman filter-based GNSS/INS integrated navigation. IEEE Transactions on Instrumentation and Measurement, 2021, 70: 1−13 [108] Yang X S, Zhang W A, Chen M Z Q, Yu L. Hybrid sequential fusion estimation for asynchronous sensor network-based target tracking. IEEE Transactions on Control Systems Technology, 2017, 25(2): 669−676 [109] Blom H A P, Bar-Shalom Y. The interacting multiple model algorithm for systems with Markovian switching coefficients. IEEE Transactions on Automatic Control, 1988, 33(8): 780−783 [110] Fu Q E, Lu K L, Sun C Y. Deep learning aided state estimation for guarded semi-Markov switching systems with soft constraints. IEEE Transactions on Signal Processing, 2023, 71: 3100−3116 [111] Moon S, Youn W, Bang H. Novel deep-learning-aided multimodal target tracking. IEEE Sensors Journal, 2021, 21(18): 20730−20739 [112] Deng L C, Li D, Li R F. Improved IMM algorithm based on RNNs. Journal of Physics: Conference Series, 2020, 1518(1): Article No. 012055 [113] 崔亚奇, 熊伟, 何友. 不确定航迹自适应预测模型. 航空学报, 2019, 40(5): Article No. 322557Cui Ya-Qi, Xiong Wei, He You. Adaptive forecast model for uncertain track. Acta Aeronauticaet Astronautica Sinica, 2019, 40(5): Article No. 322557 [114] 纪守领, 李进锋, 杜天宇, 李博. 机器学习模型可解释性方法、应用与安全研究综述. 计算机研究与发展, 2019, 56(10): 2071−2096 doi: 10.7544/issn1000-1239.2019.20190540Ji Shou-Ling, Li Jin-Feng, Du Tian-Yu, Li Bo. Survey on techniques, applications and security of machine learning interpretability. Journal of Computer Research and Development, 2019, 56(10): 2071−2096 doi: 10.7544/issn1000-1239.2019.20190540 [115] 成科扬, 王宁, 师文喜, 詹永照. 深度学习可解释性研究进展. 计算机研究与发展, 2020, 57(6): 1208−1217 doi: 10.7544/issn1000-1239.2020.20190485Cheng Ke-Yang, Wang Ning, Shi Wen-Xi, Zhan Yong-Zhao. Research advances in the interpretability of deep learning. Journal of Computer Research and Development, 2020, 57(6): 1208−1217 doi: 10.7544/issn1000-1239.2020.20190485 [116] Russell R L, Reale C. Multivariate uncertainty in deep learning. IEEE Transactions on Neural Networks and Learning Systems, 2022, 33(12): 7937−7943 doi: 10.1109/TNNLS.2021.3086757 [117] 武东杰, 仲训昱, 崔晓珍, 彭侠夫, 杨功流. 可在线配置结构的多源融合位姿估计框架. 机器人, 2022, 44(6): 660−671Wu Dong-Jie, Zhong Xun-Yu, Cui Xiao-Zhen, Peng Xia-Fu, Yang Gong-Liu. Multi-source fusion pose estimation framework with online configurable structure. Robot, 2022, 44(6): 660−671 [118] Müller S, Hollmann N, Pineda-Arango S, Grabocka J, Hutter F. Transformers can do Bayesian inference. arXiv preprint arXiv: 2112.10510, 2023. [119] Xue B Y, Yu J W, Xu J H, Liu S S, Hu S K, Ye Z, et al. Bayesian transformer language models for speech recognition. In: Proceedings of the IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). Toronto, Canada: IEEE, 2021. 7378−7382 [120] Ansari-Ram F, Ebrahimi-Moghadam A, Khademi M, Sadoghi-Yazdi H. Diffusion-based Kalman iterative thresholding for compressed sampling recovery over network. Signal Processing, 2023, 202: Article No. 108750 [121] Alcaraz J M L, Strodthoff N. Diffusion-based time series imputation and forecasting with structured state space models. Transactions on Machine Learning Research, 2023. [122] Munir A, Blasch E, Kwon J, Kong J, Aved A. Artificial intelligence and data fusion at the edge. IEEE Aerospace and Electronic Systems Magazine, 2021, 36(7): 62−78 doi: 10.1109/MAES.2020.3043072 [123] Blasch E, Pham T, Chong C Y, Koch W, Leung H, Braines D, et al. Machine learning/artificial intelligence for sensor data fusion-opportunities and challenges. IEEE Aerospace and Electronic Systems Magazine, 2021, 36(7): 80−93 [124] 张鋆豪, 何百岳, 杨旭升, 张文安. 基于可穿戴式惯性传感器的人体运动跟踪方法综述. 自动化学报, 2019, 45(8): 1439−1454Zhang Jun-Hao, He Bai-Yue, Yang Xu-Sheng, Zhang Wen-An. A review on wearable inertial sensor based human motion tracking. Acta Automatica Sinica, 2019, 45(8): 1439−1454 [125] Liu Q, Wang X, Rao N S V. Artificial neural networks for estimation and fusion in long-haul sensor networks. In: Proceedings of the 18th International Conference on Information Fusion (Fusion). Washington, USA: IEEE, 2015. 460−467 [126] Brigham K, Kumar B V K V, Rao N S V. Learning-based approaches to nonlinear multisensor fusion in target tracking. In: Proceedings of the 16th International Conference on Information Fusion. Istanbul, Turkey: IEEE, 2013. 1320−1327 [127] Chowdhury F N. A neural approach to data fusion. In: Proceedings of the American Control Conference (ACC'95). Seattle, USA: IEEE, 1995. 1693−1697 [128] Peng Z X, Li Y, Hao G. The research on distributed fusion estimation based on machine learning. IEEE Access, 2020, 8: 38174−38184 [129] Chen Y S, Yan G F. Multi-sensors data tracking fusion based on a neural network filter. In: Proceedings of the IEEE International Joint Conference on Neural Network Proceedings. Vancouver, Canada: IEEE, 2006. 981−984 [130] Yang X S, Zhang W A, Yu L. A bank of decentralized extended information filters for target tracking in event-triggered WSNs. IEEE Transactions on Systems, Man, and Cybernetics: Systems, 2020, 50(9): 3281−3289 doi: 10.1109/TSMC.2018.2883706 [131] Liu P, Wang L Z, Ranjan R, He G J, Zhao L. A survey on active deep learning: From model driven to data driven. ACM Computing Surveys, 2022, 54(10s): Article No. 221 [132] Yang X S, Zhang W A, Yu L, Shi L. Performance evaluation of distributed linear regression Kalman filtering fusion. IEEE Transactions on Automatic Control, 2021, 66(6): 2889−2896 doi: 10.1109/TAC.2020.3012638 [133] Blundell C, Cornebise J, Kavukcuoglu K, Wierstra D. Weight uncertainty in neural networks. In: Proceedings of the 32nd International Conference on Machine Learning. Lille, France: ACM, 2015. 1613−1622 [134] Kendall A, Gal Y. What uncertainties do we need in Bayesian deep learning for computer vision? In: Proceedings of the 31st International Conference on Neural Information Processing Systems. Long Beach, USA: ACM, 2017. 5580−5590 期刊类型引用(2)
1. 杨旭升，李唯诣，张文安. 面向RTK定位的整数约束型渐进高斯滤波方法. 自动化学报. 2025(02): 366-375 . 
本站查看2. 王巍，陈巍，孟凡琛. 面向多源自主导航的智能学习方法研究. 中国科学:信息科学. 2024(12): 2778-2793 . 百度学术其他类型引用(1)
-
下载:
下载:
计量
- 文章访问数: 6299
- HTML全文浏览量: 707
- PDF下载量: 592
- 被引次数: 3
