-
摘要: 当前动态系统呈现大型化、复杂化的趋势, 基于贝叶斯滤波的动态系统状态估计遇到一系列新的挑战. 随着深度学习在特征提取与模式识别等方面的优势与潜力不断显现, 深度学习与传统贝叶斯滤波相结合的研究也随之兴起. 为此, 梳理了不同领域融合深度学习的贝叶斯滤波方法的应用案例, 从中剖析不同类型动态系统下贝叶斯滤波存在的局限性和共性难题. 在此基础上, 总结了当前贝叶斯滤波存在的几类不确定性问题, 以深度学习的视角将这些问题归纳为特征提取和参数辨识两大基本问题, 进而介绍深度学习为贝叶斯滤波所提供的解决方案. 其次, 归纳整理了两类深度学习与贝叶斯滤波结合的具体方法, 着重介绍了深度卡尔曼滤波和融合深度学习的自适应卡尔曼滤波. 最后, 综合考虑深度学习方法和贝叶斯滤波方法的优势, 讨论了融合深度学习的贝叶斯滤波方法的开放问题和未来研究方向.Abstract: As dynamic systems continue to exhibit a trend towards increased scale and complexity, the Bayesian filtering based state estimation for dynamic systems faces a series of new challenges. With the increasing prominence and new potential of deep learning in areas such as feature extraction and pattern recognition, research on combination of deep learning and classical Bayesian filtering is emerging. In this paper, we present a systematic review of application cases of Bayesian filtering methods that integrate deep learning in different domains, aiming to analyze the limitations and common challenges of Bayesian filtering in various types of dynamic systems. In view of this, we summarize several categories of uncertainty problems in the existing Bayesian filtering. From the perspective of deep learning, these problems are classified into two fundamental problems: Feature extraction and parameter identification. Furthermore, we introduce the solutions provided by deep learning for Bayesian filtering. Additionally, we categorize and organize two specific approaches that combine Bayesian filtering with deep learning, that is, deep Kalman filtering and adaptive Kalman filtering with deep learning. Finally, by considering the advantages of both deep learning and Bayesian filtering methods, we discuss open questions and future research directions for Bayesian filtering with deep learning.
-
Key words:
- Deep learning /
- Bayesian filtering /
- Kalman filtering /
- state estimation /
- state-space model
-
硅是最重要的半导体材料. 据统计, 全球95 %以上的半导体器件和99 %以上的集成电路采用硅单晶作为衬底材料, 因此稳定、高效、高品质的硅单晶生产对信息产业安全可靠发展以及持续技术创新起到至关重要的支撑作用. 直拉法(Czochralski法, Cz法)晶体生长工艺是目前生产大尺寸、电子级硅单晶的主要方法[1-3]. 其原理是将石英坩埚中的多晶硅原料熔化, 并经过引晶、放肩、等径和收尾等一系列步骤, 最终从硅熔体中提拉出圆柱形的硅单晶, 生长工艺流程如图1所示.
Cz法硅单晶生长的主要目的是提拉出的硅单晶具有等直径、杂质少、低缺陷等优点[4-5]. 晶体直径是硅单晶生长过程中一个重要的控制目标, 精准的直径控制不但可以避免晶体内部位错缺陷生成的可能性, 而且能够提高后续加工的晶体利用率. 为此, 研究人员提出了多种晶体直径控制方法并应用于实际生产[6-8]. Zheng等根据Cz法硅单晶生长过程中能量、质量平衡、流体力学和几何方程建立了晶体半径和晶体生长速率的集总参数模型, 并利用工业运行数据验证了模型的有效性[9]. Abdollahi和Dubljevic针对晶体半径和温度提出了分布式参数模型, 该模型能够准确地描述系统动力学行为和晶体内部温度分布状态[10]. Winkler等基于弯月面处晶体半径变化与晶体倾斜角之间的关系, 建立了晶体生长过程的流体力学和几何模型, 避免了热动力学建模的复杂性. 同时, 设计了晶体半径和生长速率的双PID控制系统, 并获得了比较接近实际过程的控制效果[11-12]. Rahmanpour等针对Cz法硅单晶生长过程的非线性和大滞后特性, 设计了基于模型的提拉速度和加热器功率两个协同工作的模型预测控制器(Model predictive control, MPC), 用于控制晶体半径和熔体温度, 并获得了良好的控制性能[13]. 然而, 传统基于模型的控制器设计策略很难应用于实际硅单晶生长过程控制, 且晶体提拉速度的不断变化容易导致硅单晶品质降低. 通常, 影响晶体直径变化的主要操纵变量是加热器功率和晶体提拉速度[14]. 其中, 晶体提拉速度优化调节范围窄, 而且频繁的变化会导致生长界面波动剧烈, 容易产生断晶和缺陷生成的可能性, 而加热器功率对晶体直径的调节是一个缓慢的时延过程, 具有调节范围大、不易导致生长界面波动的优点[3, 15]. 因此, 如何建立加热器功率与晶体直径之间的硅单晶生长过程模型和设计良好的直径控制器是实现硅单晶高品质生长的关键性问题.
机理模型和数据驱动模型是晶体直径控制的两种常用模型. Cz法硅单晶生长过程处于高温、高压、多场耦合的环境中, 机理不明, 且是一个具有大滞后的非线性慢时变动态过程[1], 所以机理模型难以建立且很难实际应用于硅单晶生产过程控制. 然而, 数据驱动控制可以直接利用数据实现复杂工业过程建模和控制, 且已受到学术界的广泛关注[16-17]. 因此, 针对Cz法硅单晶生长过程中复杂的动态特性, 基于数据驱动的晶体直径建模与控制是一种可行途径. 近年来, 随着人工智能技术的迅速发展和普及, 许多机器学习方法和深度学习模型被广泛应用于工业过程建模. 然而, 单一的模型往往难以达到预期的预测效果, 所以研究人员基于“分而治之”原理提出了混合集成建模方法. 相比单一模型, 混合集成建模方法综合了不同模型的优点, 具有令人满意的预测效果[18-20]. 实际硅单晶生长过程中的数据(加热器功率、晶体直径等)包含了大量反映硅单晶生产运行和产品质量等关键参数的潜在信息, 所以采用混合集成建模方法建立硅单晶生长过程的预测模型, 具有无需显式建模晶体生长系统内部状态以及减少建模成本和提高建模精度的优点. 预测控制是工业实践中先进控制的主导技术, 具有处理大滞后、非线性、不确定性的良好能力[21-22]. 因此, 针对具有大滞后、非线性、慢时变动态特性的Cz法硅单晶生长过程, 预测控制方法可以作为晶体直径控制的首选方法. 然而, 复杂的硅单晶生长过程使得优化晶体直径目标函数的求解变得十分困难, 常用的非线性优化方法, 如最速下降法、牛顿法等很难方便实施应用, 且这些方法要求解空间具有凸性, 有的算法还要求目标函数具有二阶或高阶导数. 相比之下, 启发式优化算法对所求解问题的数学模型要求不高, 常被用于复杂目标函数的优化求解[23-24], 如遗传算法(GA)和蚁狮优化(ALO)等. ALO算法是一种无梯度的优化算法[25], 具有可调参数少、求解灵活且易于实现等优点, 非常适合求解目标函数复杂的硅单晶直径预测控制问题.
本文在不依赖Cz法硅单晶生长过程的任何数学模型信息的情况下, 根据“分而治之”原理和工业运行数据提出了一种基于混合集成建模的晶体直径自适应非线性预测控制方法(自适应 Nonlinear model predictive control, 自适应NMPC), 该方法由晶体直径混合集成建模和晶体直径预测控制组成. 其中, 晶体直径混合集成预测模型包括三个模块: 数据分解模块, 预测模型模块, 数据集成模块. 数据分解模块采用WPD将原始的硅单晶生长实验数据分解为若干子序列, 目的在于减少数据中的非平稳性和随机噪声; 预测模型模块通过ELM和LSTM网络分别对近似(低频)子序列和细节(高频)子序列进行晶体直径离线建模; 数据集成模块则利用WPD重构各个子序列晶体直径预测模型的预测结果, 以得到晶体直径的整体预测输出. 另外, 在基于混合集成预测模型的晶体直径自适应NMPC中, 考虑到晶体直径混合集成模型可能存在模型失配问题以及目标函数求解难的问题, 采用了ALO算法在线更新预测模型参数并获取满足约束的最优加热器功率控制量. 最后, 通过工程实验数据仿真验证了所提方法在硅单晶直径预测建模和控制方面的可行性和先进性.
1. 数据驱动晶体直径预测建模
Cz法硅单晶生长过程是一个非线性、大滞后的慢时变动态过程, 单晶炉内的高温、多相、多场耦合环境使得内部反应状态难以检测, 因此晶体生长机理不清, 基于机理模型的硅单晶直径控制难以实施. 为此, 本文以单晶炉制备硅单晶的历史实验数据为基础, 采用如下非线性自回归滑动平均(Nonlinear autoregressive moving average with eXogenous inputs, NARMAX)模型来描述加热器功率与晶体直径之间的关系:
$$\begin{split} y(k) =& {f_{NARMAX}}(u(k - d), \cdots ,u(k - d - {n_u}),\\ &y(k - 1), \cdots ,y(k - {n_y})) \end{split}$$ (1) 其中,
${f_{NARMAX}}( \cdot )$ 为未知的非线性映射函数;$d$ 为加热器功率与晶体直径之间的时滞阶次,${n_u}$ 和${n_y}$ 分别是模型输入输出阶次,$y(k)$ 和$u(k)$ 分别表示$k$ 时刻系统的晶体直径输出和加热器功率控制输入.对于式(1)所表述的Cz法硅单晶生长系统, 本文采用混合集成建模方法建立其模型. 考虑到混合集成建模方法是基于“分而治之”原理, 同时为了综合不同模型的优点, 基于历史加热器功率输入数据和晶体直径输出数据, 我们采用机器学习方法ELM和深度学习方法LSTM建立晶体直径预测模型. 其中, ELM方法具有快速的训练和预测速度[26-27], 能够节省晶体直径建模成本, 而LSTM方法可以学习长期依赖的信息, 能够抓取数据序列中的时间特征, 非常适合处理具有非线性特征的数据序列回归问题[28-29]. 具体的晶体直径混合集成建模流程将在第1.2节给出.
1.1 晶体直径预测模型结构辨识
在硅单晶生长过程控制中, 建立准确的晶体直径预测模型是实现其控制的基础[3]. 为了准确辨识式(1)中的时滞
$d,$ 本文提出了一种基于互相关函数的时滞优化估计方法, 其中互相关系数的估计如下式:$${\hat \phi _{uy}}(d) = \frac{1}{n}\sum\limits_{i = 1}^n {\left| {\dfrac{({u_{i - d}} - {\mu _u})({y_i} - {\mu _y})}{{s_u}{s_y}}} \right|} $$ (2) 其中,
$u$ 和$y$ 可以分别表示历史的加热器功率数据序列和晶体直径数据序列,${\mu _u}$ 、${\mu _y}$ 和${s_u}$ 、${s_y}$ 分别是加热器功率和晶体直径数据的均值和标准差.根据互相关系数式(2), 可以将时滞估计问题转化为如下的优化问题:
$$\left\{ {\begin{array}{*{20}{l}} \mathop {\max }\limits_d g(y,u) = f(y,u(i - d))\\ {\rm s.t}.\;{\rm{ }}{d_{\min }} \le d \le {d_{\max }} \end{array}} \right.$$ (3) 其中,
$f( \cdot )$ 表示互相关系数${\hat \phi _{uy}}(d).$ ${d_{\min }}$ 为时滞阶次的下界,${d_{\max }}$ 为时滞阶次的上界.基于上述时滞优化问题式(3), 本文采用ALO算法进行时滞阶次寻优, 并将式(3)作为待优化的适应度函数, 从而确定式(1)中的时滞阶次
$d$ .在辨识获得时滞阶次
$d$ 的前提下, 本文提出了一种基于Lipschitz商准则[30]和模型拟合优度[31]的晶体直径模型阶次辨识方法. 所提辨识方法不仅可以保证模型估计精度, 而且无需模型阶次的先验知识, 不需要经历复杂优化过程且容易实现. 针对式(1), 将其写成更一般的形式, 如下$$y = {f_{NARMAX}}({x_1},{x_2}, \cdots ,{x_m})$$ (4) 其中,
$m$ 是变量个数且$m = {n_u} + {n_{y }}+ 1.$ $ X = [ {x_1},$ ${x_2}, \cdots ,{x_m} ] \rm ^T$ 表示${f_{NARMAX}}( \cdot )$ 的输入向量, 即历史的加热器功率与晶体直径数据.定义Lipschitz商如下
$${q_{i,j}} = \frac{{\left| {y(i) - y(j)} \right|}}{{\left| {x(i) - x(j)} \right|}},i \ne j$$ (5) 其中,
$\left| {x(i) - x(j)} \right|$ 表示两个输入向量之间的距离, 而$\left| {y(i) - y(j)} \right|$ 则表示晶体直径输出${f_{NARMAX}}(x(i))$ 与${f_{NARMAX}}(x(j))$ 之间的距离. 将Lipschitz商式(5)展开可得$$q_{i,j}^{(m)} = \frac{{\left| {y(i) - y(j)} \right|}}{{\sqrt {{{({x_1}(i) - {x_1}(j))}^2} + \cdots + {{({x_m}(i) - {x_m}(j))}^2}} }}$$ (6) 其中,
$q_{i,j}^{(m)}$ 的上标$m$ 表示式(3)中的变量个数. 根据参考文献[32]可知,$q_{i,j}^{(m)}$ 可以被用来表示非线性系统的输入是否遗漏了必要变量或者加入了多余变量. 当一个必要的输入变量${x_m}$ 被遗漏时, Lipschitz商$q_{i,j}^{(m - 1)}$ 将会远远大于$q_{i,j}^{(m)},$ 甚至表现为无穷大. 相反地, 当一个多余变量${x_{m + 1}}$ 被加入时, Lipschitz商$q_{i,j}^{(m{\rm{ + }}1)}$ 将会略小于或者大于$q_{i,j}^{(m)},$ 差别不会很明显. 为了减小噪声对辨识结果的影响, 本文采用指标式(7)来选择晶体直径模型${f_{NARMAX}}( \cdot )$ 中的变量个数, 即$${q^{(m)}} = {\left( {\prod\limits_{i = 1}^p {\sqrt m {q^m}(i)} } \right)^{\frac{1}{p}}}$$ (7) 其中,
${q^m}(i)$ 是所有的Lipschitz商$q_{i,j}^{(m)}$ 中第$i{\rm{ - }}th$ 的最大值, 而$p$ 是一个正数, 通常满足$p \in \left[ {0.01N,0.02N} \right].$ 然后, 定义停止准则评价指标$\Gamma (m + 1,m)$ 如下:$$\Gamma (m + 1,m) = \frac{{\left| {{q^{(m + 1)}} - {q^{(m)}}} \right|}}{{\max (1,\left| {{q^{(m)}}} \right|)}} < \varepsilon $$ (8) 其中, 本文将阈值
$\varepsilon $ 取为0.01. 通过Lipschitz商准则, 可以很准确地得到最佳变量个数$m$ , 再结合晶体直径模型拟合优度式(9), 将拟合优度最高值确定为最优晶体直径模型阶次组合, 从而实现对晶体直径系统式(1)的输入输出阶次辨识.$${\rm{Fit}} = 100\; {\text{%}} \times \left( {1 - \frac{{\left\| {y - \hat y} \right\|}}{{\left\| y \right\|}}} \right)$$ (9) 其中,
$y$ 是晶体直径实际值,$\hat y$ 是ELM网络的晶体直径预测值.1.2 基于WPD-ELM-LSTM的混合集成预测模型
针对硅单晶生长过程机理建模难问题, 采用数据驱动建模方法可以直接使用传感器获取的测量数据, 而无需显式建模晶体生长系统内部的状态, 减少了晶体直径建模成本和时间. 混合集成建模方法是基于“分而治之”原理, 利用多个子模型进行预测建模, 从而在预测中产生协同效应, 克服了单一模型预测性能不佳的缺点. 因此, 本文提出了一种新颖的WPD-ELM-LSTM混合集成建模方法, 并将其应用于硅单晶直径建模, 整体的建模框架, 如图2所示.
图 2 基于WPD-ELM-LSTM的混合集成建模框架Fig. 2 Hybrid integrated modeling framework based on WPD-ELM-LSTM晶体直径混合集成建模过程主要包括两个阶段. 在第一阶段, 由于单晶炉内复杂的生长环境, 各种不确定性因素导致采集的晶体直径数据呈现出非平稳、非线性的特征, 所以本文选用应用广泛且可靠的WPD信号分解方法, 将原始晶体直径数据序列分解成不同的低频和高频平稳信号, 目的在于减少非平稳性、非线性特征以及满足基于“分而治之”原理对不同频率信号进行预测建模的需求. 通常, 低频子序列和高频子序列分别被称为近似子序列和细节子序列. 与低频分量相比, 高频分量具有较大的随机性, 包含了不确定性的随机噪声, 因此本文去除了最高频子序列, 从而减少了随机噪声对预测性能的影响. 在第二阶段, 首先将获得的子序列划分为训练集和测试集; 其次, 由于近似子序列包含了原始晶体直径数据固有的本征信息, 所以我们采用建模速度快和泛化能力强的ELM进行预测建模; 细节子序列是一个高频的非线性信号序列, 为了更准确地捕获晶体直径数据序列中的时间特征信息, 我们使用了具有时间记忆功能的LSTM网络进行预测建模. 然而, ELM和LSTM网络的隐含节点个数对预测性能有较大的影响, 为了得到最佳的晶体直径预测效果, 采用ALO算法进行隐含节点个数寻优, 并将晶体直径预测值与实际值之间的均方根误差作为待优化的适应度函数, 从而获取最优节点个数. 最后, 通过WPD重构所有子序列预测模型的预测结果, 以得到晶体直径的整体预测输出. 与传统单一预测建模方法相比, 混合集成建模方法能够捕捉原始数据的内在特征, 学习历史数据之间的相互依赖关系, 从而有效地提高整体预测能力.
2. 晶体直径自适应非线性预测控制
等径阶段的晶体直径控制是Cz法硅单晶生长过程的核心, 精准的直径控制, 一方面有利于减小生长界面的热应力波动, 避免位错缺陷生成的可能性, 另一方面可以提高后续晶体加工利用率[33]. 目前, 在Cz法硅单晶实际生产线上, 普遍采用的是PID控制. 然而, 非线性、时变性和大滞后特性的存在, 不但使得传统的PID控制难以实现精确的直径跟踪控制和约束处理, 而且容易降低晶体生长系统的可靠性. 因此, 为了提高硅单晶直径控制性能, 所提自适应非线性预测控制方法能够很好地解决这些潜在的问题.
2.1 晶体直径预测控制结构
晶体直径预测控制的控制性能依赖于所建混合集成预测模型的预测性能, 当被控晶体生长系统参数发生变化时, 会存在模型失配问题, 此时如果仍采用原始晶体直径预测模型的非线性预测控制器, 会导致晶体直径控制性能变差甚至不稳定, 甚至引发晶体生长失败. 因此, 为了使晶体直径预测控制系统仍能达到控制目标要求, 本文提出了一种基于ALO算法优化求解的自适应NMPC方法, 并通过ALO算法调整晶体直径混合集成预测模型的参数, 使其与晶体生长过程保持一致. 基于WPD-ELM-LSTM的晶体直径自适应NMPC结构, 如图3所示, 主要包括: 期望晶体直径参考轨迹、晶体直径WPD-ELM-LSTM预测模型、模型参数自适应更新、基于ALO算法的滚动优化、反馈校正等几个部分.
图 3 基于WPD-ELM-LSTM的晶体直径自适应NMPC结构Fig. 3 Crystal diameter adaptive NMPC structure based on WPD-ELM-LSTM晶体直径WPD-ELM-LSTM预测模型: 根据式(1)所描述的晶体直径非线性系统, 建立其相应的WPD-ELM-LSTM混合集成预测模型. 预测模型的训练输入数据集由历史加热器功率和晶体直径数据组成, 即
$X = \{ u(k - d), \cdots ,u(k - d - {n_u}),$ $y(k), \cdots , y(k - {n_y})\},$ 输出数据集为历史晶体直径$Y = \left\{ {y(k)} \right\},$ 晶体直径系统的时滞阶次$d$ 、模型阶次${n_u}$ 和${n_y}$ 可由第1.1节所提模型辨识方法确定. 晶体直径WPD-ELM-LSTM预测模型可由第1.2节所提的建模方法建立. 所建立的晶体直径混合集成预测模型的目的是为求解晶体直径预测控制优化问题提供可靠的基础.根据建立的晶体直径混合集成预测模型, 从
$k$ 时刻起利用系统的当前信息和未来的加热器功率控制输入, 可以预测出未来的晶体直径预测值${y_m}$ , 然后经过在线反馈校正为滚动优化问题提供所需的未来晶体直径控制预测输出${y_p}$ .基于ALO算法的滚动优化: 本文所设计的晶体直径非线性预测控制是一种有限时域内的滚动优化过程. 定义
$k$ 时刻的加热器功率控制输入信号为$U = {\left[ {u(k),u(k + 1), \cdots ,u(k + N - 1)} \right]\rm^T}.$ 在采样时刻$k,$ 优化式(10)所示的性能指标.$$\left\{ \begin{array}{*{20}{l}} \min {\rm{ }}J(u) = \displaystyle\sum\limits_{j = 1}^{{N_p}} {{{\left[ {{y_r}(k + j) - {y_p}(k + j)} \right]}^2} + } \\ \qquad\qquad {\rm{ }}\displaystyle\sum\limits_{j = 1}^{{N_c}} {r{{\left[ {\Delta u(k + j - 1)} \right]}^2}} \\ {\rm{s}}{\rm{.t}}{\rm{. }}\;\Delta {u_{\min }} \le \Delta u \le \Delta {u_{\max }},\\ \qquad{u_{\min }} \le u \le {u_{\max }} \end{array} \right.$$ (10) 其中,
${N_p}$ 为预测时域,${N_c}$ 为控制时域,${N_p} \geqslant {N_c}$ ,$r$ 为控制权系数.$\Delta u(k) = u(k) - u(k - 1)$ ;${y_p}(k + j)$ 是第$j$ 步晶体直径混合集成预测模型的预测输出;${y_r}(k + j)$ 是第$j$ 步晶体直径参考输出, 其由式(11)所示的参考轨迹给出.晶体直径自适应NMPC的核心是式(10)所示非线性约束优化问题, 由于建立的WPD-ELM-LSTM混合集成预测模型相对复杂, 难以采用传统优化算法进行求解. 而ALO算法是一种模拟蚁狮与蚂蚁之间狩猎行为及相互作用机制的全局优化搜索方法, 具有潜在的并行性和鲁棒性. 此外, ALO算法是一种无梯度的算法, 它把优化问题看作一个黑盒, 很容易应用于实际复杂工业优化问题的求解, 算法的具体实现过程, 可以参考文献[25]. 本文正是基于ALO算法的优点, 通过求解晶体直径预测控制性能指标函数式(10), 获得一组最优的加热器功率控制序列U, 但仅对硅单晶生长系统施加第一个控制量
${u^ * }(k).$ 参考轨迹: 针对上述晶体直径自适应非线性预测控制过程, 为了把当前晶体生长系统输出的晶体直径
$y(k)$ 平滑地过渡到真实设定值$y_{sp},$ 定义${y_r}(k + j)$ 为第 j 步的晶体直径参考输出, 即$$\left\{ {\begin{array}{*{20}{l}} {{y_r}(k) = y(k)}\\ {{y_r}(k + j) = \eta {y_r}(k + j - 1) + (1 - \eta ){y_{{{sp}}}}} \end{array}} \right.$$ (11) 其中,
$ \eta \; (0 < \eta < 1)$ 为柔化系数, 用以调整系统的鲁棒性和收敛性.反馈校正: 为了克服所建立的晶体直径混合集成预测模型与晶体生长被控系统之间的模型失配和外部干扰对控制系统的影响, 通过反馈校正对晶体直径预测输出补偿, 即
$$\left\{ {\begin{array}{*{20}{l}} e(k) = y(k) - {y_m}(k)\\ {y_p}(k + j) = {y_m}(k + j) + h \times e(k) \end{array}} \right.$$ (12) 其中,
$h$ 为补偿系数,${y_m}$ 是晶体直径混合集成预测模型WPD-ELM-LSTM的预测输出,${y_p}$ 是经过反馈校正的晶体直径预测输出.2.2 模型参数自适应更新
Cz法硅单晶生长过程存在各种不确定性因素(熔体对流、氩气流动等), 使得所建立的晶体直径混合集成预测模型难免与实际系统存在偏差. 另外, 当实际晶体生长过程的结构参数发生变化造成模型失配时, 会导致晶体直径预测模型的输出和实际输出之间的误差增大, 因而难以获得满意的晶体直径预测控制性能. 为此, 进一步引入模型参数自适应估计方法[34], 通过最小化晶体直径混合预测模型输出和实际输出之间的误差, 在线调整预测模型WPD-ELM-LSTM的参数集. 考虑到近似子序列的ELM预测模型包含着晶体直径固有的本征信息, 且方便在线实施模型参数估计, 所以本文主要调整ELM网络的输入权值
$W$ 和偏置 b, 以保证晶体直径混合集成预测模型的准确性. WPD–ELM–LSTM模型参数估计的性能指标, 如式(13)所示:$$\left\{ {\begin{array}{*{20}{l}} {\mathop {\min {\rm{ }}}\limits_\theta {J_\theta } = {{\left[ {y(k) - {{\hat y}_\theta }(k)} \right]}^2} + \psi \displaystyle\sum\limits_{m = 1}^{{n_\theta }} {{{\left( {\Delta {\theta _m}(k)} \right)}^2}} }\\ {\rm{s}}{\rm{.t}}{\rm{. }}\;{{\hat y}_\theta }(k) = {{\hat y}_{{\theta _{ELM}}}}(k) + {{\hat y}_{LSTM}}(k)\\ \quad\;\; {\rm{ }}\Delta {\theta _m}(k) = {\theta _m}(k) - {\theta _m}(k - 1) \end{array}} \right.$$ (13) 其中,
$\theta $ 为ELM网络中的参数$\left\{ {W,b} \right\},$ $y(k)$ 和${\hat y_\theta }(k)$ 分别表示$k$ 时刻晶体直径系统的实际输出值和晶体直径预测模型WPD–ELM–LSTM的预测值;$\psi\; (\psi > 0)$ 为参数变量权系数,${n_\theta }$ 表示模型参数个数;${\hat y_{{\theta _{ELM}}}}(k)$ 和${\hat y_{LSTM}}(k)$ 分别表示晶体直径近似子序列和细节子序列的预测值.针对上述混合集成预测模型参数估计问题, 本文将模型参数估计性能指标函数式(13)作为ALO算法优化的适应度函数, 当满足迭代终止条件时, 即可求得当前
$k$ 时刻自适应调整后的WPD-ELM-LSTM预测模型参数值.2.3 实现步骤
基于WPD-ELM-LSTM混合集成预测模型的晶体直径自适应NMPC算法的实现步骤如下:
1) 设定合适的控制参数包括预测时域
${N_p}$ 、控制时域${N_c}$ 、柔化系数$\eta $ 、补偿系数$h$ 、控制加权系数$r$ 、参数变量权系数$\psi $ 以及ALO算法的种群个数$Num,$ 最大迭代次数$Ma{x_{iter}};$ 2) 离线训练晶体直径混合集成预测模型WPD-ELM-LSTM;
3) 设定晶体直径的期望值
${y_{sp}},$ 并按式(11)得到晶体直径参考轨迹${y_r};$ 4) 计算晶体直径混合集成预测模型的预测输出值
${y_m}(k)$ 以及实际系统直径输出值$y(k);$ 5) 根据ALO算法求解式(13) 非线性优化问题, 以得到最优参数集
$\hat \theta ,$ 从而更新晶体直径预测模型WPD–ELM–LSTM;6) 利用当前时刻晶体直径预测误差
$e(k)$ 和未来时刻晶体直径预测值${y_m}(k + j),$ 经在线反馈校正式(12)得到晶体直径预测输出${y_p}(k + j);$ 7) 基于ALO算法滚动优化求解晶体直径预测控制性能指标式(10), 并获得一组最优的加热器功率控制量序列
$U(k);$ 8) 将最优加热器功率控制序列的第1个控制量
${u^ * }(k)$ 作用于当前硅单晶生长系统;9) 返回步骤4), 不断进行迭代求解.
3. 工业数据实验与分析
为了验证本文所提方法在实际Cz法硅单晶生长控制过程中的有效性, 本文以晶体生长设备及系统集成国家地方联合工程研究中心的TDR-150型号的单晶炉为实验平台, 图4是Cz法单晶炉生长设备及直径测量系统[35]. 从图4可知, 硅单晶是由多晶硅原料在高温、磁场等作用下经过一系列晶体生长工艺步骤所获得. 晶体直径的动态变化是通过CCD相机进行实时监测. 实验数据采集过程来源于8英寸硅单晶生长实验, 实验条件分别为: 多晶硅原料为180 kg, 炉压为20 Torr, 磁场强度为2 000高斯, 晶体旋转速度为10 r/min, 坩埚旋转速度为10 r/min, 氩气流速为100 L/min.
图 4 Cz法硅单晶生长过程和晶体直径测量系统Fig. 4 Cz silicon single crystal growth process and crystal diameter measurement system3.1 模型建立
基于上述TDR-150单晶炉拉制8英寸硅单晶现场数据库收集到的2017年2月26日至2017年3月2日的历史实验数据进行预测建模和直径控制. 由于硅单晶等径阶段的晶体生长控制不仅影响后期晶体加工的利用率, 还决定了硅单晶品质的好坏, 所以本文主要利用硅单晶等径阶段的晶体直径和加热器功率的历史测量数据, 整个硅单晶等径阶段总共历时27小时左右, 采样时间为2 s. 考虑到后续晶体直径建模的计算量, 我们从等径阶段某个时刻起间隔5个数据点连续选取5 000组实验数据, 该数据集的数据记录时间间隔为10 s, 原始实验数据如图5所示. 选取前3 800组作为训练数据集, 后1 200组作为测试数据集, 用于验证模型拟合效果. 表1是实验数据集的统计描述, 包括总样本数, 平均值(Mean), 最大值(Max), 最小值(Min)和标准差(Std).
表 1 原始实验数据集的统计特性Table 1 Statistical characteristics of the raw experimental data set数据集 数量 Mean Max Min Std 晶体直径 (mm) 总样本 5 000 208.92 212.57 206.16 0.66 训练集 3 800 208.92 212.57 206.16 0.72 测试集 1 200 208.92 209.83 208.06 0.41 加热器功率 (kW) 总样本 5 000 70.52 72.51 68.37 0.80 训练集 3 800 70.20 72.32 68.37 0.59 测试集 1 200 71.56 72.51 70.44 0.40 
图 5 原始晶体直径与加热器功率实验数据Fig. 5 Experimental data of raw crystal diameter and heater power基于上述等径阶段的历史实验数据, 并考虑到所提混合集成模型的复杂度和计算量, 采用WPD信号分解方法对晶体直径原始数据进行2层分解, 图6是分解之后的不同子序列结果.
从图6中可以明显看出, 近似子序列具有晶体直径原始数据的固有本征信息特征, 代表了晶体直径数据序列的整体趋势, 而细节子序列具有高频的非线性特征反映了晶体直径数据局部波动趋势. 由于高频分量具有较大的随机性, 通常包含了不确定性的测量噪声, 所以为了保证晶体直径预测模型的准确性, 本文将具有最高频的细节子序列3移除, 利用剩余的子序列进行预测建模.
根据晶体生长过程的先验知识, 滞后时间
$t$ 一般在5 min ~ 25 min. 采用本文所提出的模型结构辨识方法, 首先对晶体直径模型式(1)中的时滞阶次进行辨识. ALO算法的参数设置为: 种群数$Num = 30,$ 最大迭代次数$Ma{x_{iter}} = 500,$ 时滞阶次$d$ 范围为$30\sim 150. $ 由于ALO算法的初始种群位置是随机生成的, 为了说明所提时滞辨识方法的准确性和可靠性, 图7是30次独立运行后的时滞阶次寻优结果. 可知, 30次独立寻优的时滞阶次未发生明显变化, 说明了所辨识的时滞是准确且可靠的, 同时也说明了ALO算法具有很强的全局搜索能力. 通过四舍五入原则确定时滞
$d = 67,$ 即滞后时间$t = 670\;\rm s,$ 约为11.17 min.然后, 针对式(1)中的模型输入输出阶次, 假设最高阶次为5, 采用所提模型阶次辨识方法, 初步得到表2中基于Lipschitz商准则的不同输入变量个数的评价指标值
$\Gamma $ . 根据停止准则评价指标$\Gamma (m + $ $1,m),$ 可以确定最佳的输入变量个数为$m = {n_u} + $ $ {n_y} + 1 = 5,$ 即${n_u} + {n_y} = 4.$ 最后, 根据模型拟合优度方法可以得到不同阶次组合下的拟合优度值, 如表3所示. 依据最优拟合优度值可以确定输入阶次${n_u} = 1,$ 输出阶次${n_y} = 3.$ 表 2 基于Lipschitz商准则的输入变量个数辨识结果Table 2 Identification results of the number of input variables based on Lipschitz quotient criterion$\Gamma (m + 1,m)$ $\Gamma (4,3)$ $\Gamma (5,4)$ $\Gamma (6,5)$ $\Gamma (7,6)$ $\Gamma (8,7)$ $\Gamma (9,8)$ $\Gamma (10,9)$ $\Gamma (11,10)$ 指标值 0.0145 0.0105 0.0088 0.0071 0.0141 0.0071 0.0033 0.0003 表 3 不同阶次组合的模型拟合优度结果Table 3 Goodness-of-fit of the models with different order combinations不同阶次组合$({n_u},{n_y})$ (1,3) (2,2) (3,1) 模型拟合优度值Fit 99.9132 99.9085 99.9090 3.2 预测性能
为了验证本文所提的晶体直径混合集成预测模型WPD-ELM-LSTM的有效性, 采用三种常用的统计标准来评估直径预测性能, 如表4所示.
表 4 模型性能评价指标Table 4 Model performance evaluation index指标 定义 公式 MAE 平均绝对值误差 ${\rm MAE} = \dfrac{1}{N}\displaystyle\sum\limits_{i = 1}^N {\left| {f(i) - \hat f(i)} \right|} $ MAPE 平均绝对百分
比误差${\rm MAPE} = \dfrac{1}{N}\displaystyle\sum\limits_{i = 1}^N {\left| {\frac{ {f(i) - \hat f(i)} }{ {f(i)} } } \right|} \times 100{\rm{\% } }$ RMSE 均方根误差 ${\rm RMSE} = \sqrt {\dfrac{1}{N}\displaystyle\sum\limits_{i = 1}^N { { {(f(i) - \hat f(i))}^2} } } $ 表5是不同晶体直径预测方法的参数设置. 图8是所提建模方法与ELM、LSTM、WPD-ELM和WPD-LSTM方法的晶体直径预测效果以及相应的预测性能评价指标对比. 为了准确评价所提预测建模方法的有效性, 表6中比较了不同预测模型的预测性能指标. 本文所有的仿真环境配置如下: 系统Windows 10, 内存16 GB, 处理器Intel(R) Core(TM) i5-4590, 仿真软件MATLAB 2018b.
表 5 不同预测方法的参数设置Table 5 Parameter setting of different prediction methods预测方法 参数设置 ELM 20 个隐含节点数, 激活函数 sigmoid LSTM 200 个隐含节点数, 学习率 0.005, 训练轮次 200 WPD-ELM 20 个隐含节点数, 激活函数 sigmoid WPD-LSTM 200 个隐含节点数, 学习率 0.005, 训练轮次 200 WPD-ELM-LSTM ELM: 27 个隐含节点数, 激活函数 sigmoid; LSTM: 185 个隐含节点数, 学习率 0.005, 训练轮次 200 表 6 不同预测模型的晶体直径预测指标Table 6 Prediction index of crystal diameter based on different prediction models模型 MAE (mm) MAPE (%) RMSE (mm) ELM 0.0197 0.0094 0.0258 LSTM 0.0878 0.0420 0.1131 WPD-ELM 0.0172 0.0082 0.0228 WPD-LSTM 0.0431 0.0206 0.0627 WPD-ELM-LSTM 0.0096 0.0046 0.0125 
图 8 不同建模方法的晶体直径预测效果及评价指标对比Fig. 8 Comparison of prediction effect and evaluation index of crystal diameter by different modeling methods根据图8所示, 所提的混合集成预测模型WPD-ELM-LSTM的晶体直径预测准确性优于其他预测模型(ELM、LSTM、WPD-ELM和WPD-LSTM). 在表6中, 与其他预测模型相比, 所提晶体直径预测模型的MAE指标分别降低了51.27 %, 89.07 %, 44.19 %和77.73 %; MAPE指标下降了51.06 %, 89.05 %, 43.90 %和77.67 %; RMSE指标减少了51.55 %, 88.95 %, 45.18 %和80.06 %. 此外, 所提混合集成预测模型WPD-ELM-LSTM的晶体直径预测值与实际值有更多的相似性, 这是因为混合集成预测模型在预测过程中产生了协同效应, 提高了整体预测结果的准确性. 总之, 所提晶体直径混合集成预测模型WPD-ELM-LSTM提高了单一ELM或LSTM模型的晶体直径预测性能, 从而显示了强大的“分解–集成”框架的学习预测能力.
为了描述上述不同晶体直径预测模型在模型训练阶段的计算量, 表7是不同晶体直径预测模型的训练计算时间, 即离线建模时间. 可以看出集成模型WPD-ELM和WPD-LSTM的训练计算时间分别高于各自单一模型ELM和LSTM, 而在单一模型中ELM的训练计算时间小于LSTM, 从而说明了ELM具有快速训练模型的优点. 正是基于ELM的建模优点, 所以所提WPD-ELM-LSTM的训练计算时间有所减少. 总之, 由于集成模型是由多个子模型进行建模, 必然会牺牲一定的建模时间. 然而在实际应用中晶体直径离线建模的计算量很少被优先考虑. 另一方面, 随着硬件计算能力的提高以及并行计算技术的应用, 所提混合集成建模方法的计算量将会有所减少.
表 7 不同晶体直径预测模型的训练计算时间Table 7 Training calculation time of different crystal diameter prediction models预测模型 训练计算时间 (s) ELM 0.0828 LSTM 304.4786 WPD-ELM 0.2752 WPD-LSTM 972.6920 WPD-ELM-LSTM 601.1670 3.3 控制测试
为了验证本文所提晶体直径混合集成预测模型WPD-ELM-LSTM和ALO优化求解方法在晶体直径自适应NMPC过程中的有效性. 选取预测时域
${N_p}$ 为5, 控制时域${N_c}$ 为3, 柔化系数$\eta $ 为0.2, 控制加权系数$r$ 为0.3, 补偿系数$h$ 为0.5, 控制量约束$\Delta {u_{\min }} = - 2,$ $\Delta {u_{\max }} = - 2,$ ${u_{\min }} = 69,$ ${u_{\max }} = 73,$ 控制量$u$ 的单位是kW. WPD-ELM-LSTM模型参数估计器的优化参数变量权系数$\psi = 0.03.$ ALO的参数设置为种群个数$Num = 30,$ 最大迭代次数$Ma{x_{iter}} = 300.$ 根据晶体生长工艺要求, 晶体生长控制目标为: 晶体直径$y$ 变化范围207 mm ~ 210 mm 加热器功率$u$ 变化范围69 kW ~ 73 kW. 由于实际硅单晶生长过程中会存在很多不确定性干扰因素, 为了模拟检测系统在测量过程中所产生的随机误差, 同时为了验证所提控制方法的鲁棒性, 所以本文在单晶炉系统的输出中加入均值为0, 方差0.01的高斯随机噪声, 用以模拟传感器数据采集混入的高斯噪声.首先, 测试所提混合集成建模方法下晶体直径自适应NMPC的跟踪性能, 选取晶体直径的初始设定值
${y_{sp}}$ 为208.5 mm, 在采样时刻150时改变晶体直径设定值${y_{sp}}$ 为209 mm, 得到晶体直径的设定值跟踪曲线, 如图9所示. 在外部干扰的情况下, 所提自适应NMPC方法和常规NMPC方法的晶体直径控制输出均在直径设定点附近轻微波动、超调较小, 且各自的加热器功率控制变量也在约束的范围之内. 然而, 在直径跟踪精度和快速性方面, 所提基于混合集成预测模型WPD-ELM-LSTM的晶体直径自适应NMPC控制性能优于常规NMPC, 而且加热器功率控制变量的抖动幅度相对较小. 因此, 自适应NMPC方法更适合硅单晶生长过程中的晶体直径控制.
图 9 自适应NMPC和常规NMPC的晶体直径设定值跟踪效果Fig. 9 Crystal diameter setpoint tracking effect of adaptive NMPC and conventional NMPC然后, 验证所提晶体直径自适应NMPC在ALO优化求解下的晶体直径控制性能指标
$J$ 收敛性、WPD-ELM-LSTM预测模型参数估计性能指标${J_\theta }$ 收敛性以及晶体直径预测控制的实时性. 根据上述图9晶体直径设定值跟踪仿真结果, 可以得到晶体直径自适应NMPC在单步计算过程中的控制性能指标$J$ 和模型参数估计的性能指标${J_\theta }$ 收敛曲线, 如图10所示. 从中可以看出, 晶体直径控制性能指标$J$ 基本在160次迭代以后, 进入稳定收敛状态, 而晶体直径预测模型参数估计的性能指标${J_\theta }$ 在第150次迭代以后, 也能够满足稳定收敛. 因此, 采用ALO算法求解自适应NMPC可以实现晶体直径的有效控制. 此外, 为了比较晶体直径自适应NMPC在直径设定值跟踪控制中的实时性, 表8是不同预测模型下晶体直径预测控制计算时间, 即平均控制量更新时间. 从表8中可以看出, 所提混合集成预测模型WPD-ELM-LSTM的自适应NMPC计算时间高于单一模型的计算时间, 这主要是由所建混合集成模型的复杂性导致. 另外, 基于混合集成预测模型WPD-ELM-LSTM的自适应NMPC计算时间高于常规NMPC, 这主要是因为模型参数自适应更新过程比较耗时. 然而, 硅单晶生长是一个缓慢的时变动态过程, 通过加热器功率调节晶体直径存在较大的滞后时间(5 min ~ 25 min), 且实际应用中对控制系统的实时性要求不高, 所以7.3113 s的平均控制量更新时间是可以接受的. 另外, 随着硬件计算能力的提高, 所提控制方法的计算时间将会有所减少.表 8 基于不同预测模型的晶体直径预测控制计算时间Table 8 Calculation time of crystal diameter predictive control based on different prediction models预测模型 平均控制量更新时间 (s) ELM (常规NMPC) 0.4512 LSTM (常规NMPC) 0.4899 WPD-ELM-LSTM (常规NMPC) 0.6841 WPD-ELM-LSTM (自适应NMPC) 7.3113 
图 10 晶体直径控制性能指标和模型参数估计性能指标收敛曲线Fig. 10 Convergence curve of crystal diameter control performance index and model parameter estimation performance index最后, 由于硅单晶生长系统是一个慢时变动态过程, 且具有大滞后特点, 因此为了进一步验证所提控制方法的应用性能以及在时滞变化情况下的稳定性, 本文将晶体生长工业中常规PID控制方法与本文方法进行对比. 设置晶体直径的期望指标
${y_{sp}}$ 为209 mm, 补偿系数$h$ 为0.3, WPD-ELM-LSTM模型参数估计器的优化参数变量的权系数$\psi = 0.01,$ 其他晶体直径控制参数与上述设置相同; PID控制参数设置为${k_p} = 0.26,$ ${k_i} = 0.01,$ ${k_d} = 0.1.$ 图11是原始时滞阶次下的所提控制方法与常规PID晶体直径控制结果对比. 图12是时滞阶次$d$ 增大20 %和时滞阶次减少20 %的晶体直径控制结果.
图 11 所提自适应NMPC与常规PID的晶体直径控制结果Fig. 11 The crystal diameter control results of the proposed adaptive NMPC and conventional PID
图 12 时滞阶次变化时所提自适应NMPC与常规PID的晶体直径控制结果Fig. 12 Crystal diameter control results of adaptive NMPC and conventional PID for delay order variation从图11可知, 所提控制方法和PID控制均能获得有效的晶体直径控制效果. 然而, 与常规PID方法相比, 所提控制方法的直径设定值跟踪和干扰抑制性能更好, 并且具有更好的动态跟踪和稳态性能. 另外, 在图12中, 当时滞阶次
$d$ 发生变化时, 所提控制方法均能达到满意的晶体直径控制性能, 更好地显示了其具有更强的鲁棒性. 然而, 对于常规PID控制方法而言, 当时滞阶次d增大20 %时, 晶体直径控制难以较好地跟踪直径设定值, 始终存在较大的控制误差, 出现晶体直径控制效果抖振现象; 当时滞阶次d减小20 %时, 晶体直径跟踪控制能够逐渐收敛到直径设定值附近, 且受时滞阶次变化影响较小. 因此, 对于此类具有大滞后、慢时变动态特性的Cz法硅单晶生长过程, 常规PID控制难免有其局限性, 而所提控制方法具有明显的晶体直径控制优点, 即准确、稳定的在线控制性能.4. 结论
Cz法硅单晶生长过程的晶体直径控制一直是晶体生长领域研究的热点和难点. 针对这一问题, 本文提出了一种基于混合集成预测模型WPD-ELM-LSTM的晶体直径自适应NMPC方法. 通过基于互相关函数的时滞优化估计方法和基于Lipschitz商准则与模型拟合优度的模型阶次辨识方法, 准确的辨识了晶体直径模型结构, 并在“分而治之”原理下构建了数据驱动的晶体直径混合集成模型, 为晶体直径预测控制提供了精确的预测模型. 同时, 为了解决晶体直径混合集成模型失配问题以及目标函数难以求解问题, 采用ALO算法设计了晶体直径自适应NMPC求解策略. 基于实际硅单晶生长实验数据的晶体直径建模与控制仿真实验表明, 所提混合集成预测模型WPD-ELM-LSTM比常规ELM、LSTM、WPD-ELM和WPD-LSTM模型表现出更好的晶体直径预测性能和泛化能力. 另外, 基于混合集成模型的硅单晶直径自适应NMPC算法不仅可以实现晶体直径的精准控制, 而且能够有效抑制外部扰动和时滞变化的影响, 具有良好的控制性能以及工程应用前景.
-
图 5 基于深度状态空间模型的卡尔曼滤波框架
Fig. 5 Framework of Kalman filtering based on deep state-space model
图 7 使用深度神经网络估计噪声统计特性
Fig. 7 Estimating noise statistical characteristics with deep neural networks
-
[1] 孙旭, 李晓光, 李嘉锋, 卓力. 基于深度学习的图像超分辨率复原研究进展. 自动化学报, 2017, 43(5): 697−709Sun Xu, Li Xiao-Guang, Li Jia-Feng, Zhuo Li. Review on deep learning based image super-resolution restoration algorithms. Acta Automatica Sinica, 2017, 43(5): 697−709 [2] 刘小波, 刘鹏, 蔡之华, 乔禹霖, 王凌, 汪敏. 基于深度学习的光学遥感图像目标检测研究进展. 自动化学报, 2021, 47(9): 2078−2089Liu Xiao-Bo, Liu Peng, Cai Zhi-Hua, Qiao Yu-Lin, Wang Ling, Wang Min. Research progress of optical remote sensing image object detection based on deep learning. Acta Automatica Sinica, 2021, 47(9): 2078−2089 [3] 张号逵, 李映, 姜晔楠. 深度学习在高光谱图像分类领域的研究现状与展望. 自动化学报, 2018, 44(6): 961−977Zhang Hao-Kui, Li Ying, Jiang Ye-Nan. Deep learning for hyperspectral imagery classification: The state of the art and prospects. Acta Automatica Sinica, 2018, 44(6): 961−977 [4] 刘文举, 聂帅, 梁山, 张学良. 基于深度学习语音分离技术的研究现状与进展. 自动化学报, 2016, 42(6): 819−833Liu Wen-Ju, Nie Shuai, Liang Shan, Zhang Xue-Liang. Deep learning based speech separation technology and its developments. Acta Automatica Sinica, 2016, 42(6): 819−833 [5] 袁文浩, 孙文珠, 夏斌, 欧世峰. 利用深度卷积神经网络提高未知噪声下的语音增强性能. 自动化学报, 2018, 44(4): 751−759Yuan Wen-Hao, Sun Wen-Zhu, Xia Bin, Ou Shi-Feng. Improving speech enhancement in unseen noise using deep convolutional neural network. Acta Automatica Sinica, 2018, 44(4): 751−759 [6] 鹿智, 秦世引, 李连伟, 张鼎豪. 智能人机交互中第一视角手势表达的一次性学习分类识别. 自动化学报, 2021, 47(6): 1284−1301Lu Zhi, Qin Shi-Yin, Li Lian-Wei, Zhang Ding-Hao. One-shot learning classification and recognition of gesture expression from the egocentric viewpoint in intelligent human-computer interaction. Acta Automatica Sinica, 2021, 47(6): 1284−1301 [7] 段艳杰, 吕宜生, 张杰, 赵学亮, 王飞跃. 深度学习在控制领域的研究现状与展望. 自动化学报, 2016, 42(5): 643−654Duan Yan-Jie, Lv Yi-Sheng, Zhang Jie, Zhao Xue-Liang, Wang Fei-Yue. Deep learning for control: The state of the art and prospects. Acta Automatica Sinica, 2016, 42(5): 643−654 [8] Jin Z H, Si W Y, Liu A D, Zhang W A, Yu L, Yang C G. Learning a flexible neural energy function with a unique minimum for globally stable and accurate demonstration learning. IEEE Transactions on Robotics, 2023, 39(6): 4520−4538 [9] 任浩, 屈剑锋, 柴毅, 唐秋, 叶欣. 深度学习在故障诊断领域中的研究现状与挑战. 控制与决策, 2017, 32(8): 1345−1358Ren Hao, Qu Jian-Feng, Chai Yi, Tang Qiu, Ye Xin. Deep learning for fault diagnosis: The state of the art and challenge. Control and Decision, 2017, 32(8): 1345−1358 [10] Huang D J, Zhang W A, Guo F H, Liu W J, Shi X M. Wavelet packet decomposition-based multiscale CNN for fault diagnosis of wind turbine gearbox. IEEE Transactions on Cybernetics, 2023, 53(1): 443−453 [11] 田娟秀, 刘国才, 谷珊珊, 鞠忠建, 刘劲光, 顾冬冬. 医学图像分析深度学习方法研究与挑战. 自动化学报, 2018, 44(3): 401−424Tian Juan-Xiu, Liu Guo-Cai, Gu Shan-Shan, Ju Zhong-Jian, Liu Jin-Guang, Gu Dong-Dong. Deep learning in medical image analysis and its challenges. Acta Automatica Sinica, 2018, 44(3): 401−424 [12] Jin Y Q, Wei N W, Fu M L, Liu H M, Zhang W A. Beyond learning: Back to geometric essence of visual odometry via fusion-based paradigm. IEEE Transactions on Instrumentation and Measurement, 2021, 70: Article No. 5018715 [13] Kalman R E. A new approach to linear filtering and prediction problems. Journal of Basic Engineering, 1960, 82(1): 35−45 doi: 10.1115/1.3662552 [14] Bebis G, Georgiopoulos M. Feed-forward neural networks. IEEE Potentials, 1994, 13(4): 27−31 doi: 10.1109/45.329294 [15] Elman J L. Finding structure in time. Cognitive Science, 1990, 14(2): 179−211 doi: 10.1207/s15516709cog1402_1 [16] Lecun Y, Bottou L, Bengio Y, Haffner P. Gradient-based learning applied to document recognition. Proceedings of the IEEE, 1998, 86(11): 2278−2324 doi: 10.1109/5.726791 [17] Stubberud S C, Lobbia R N, Owen M. An adaptive extended Kalman filter using artificial neural networks. In: Proceedings of the 34th IEEE Conference on Decision and Control. New Orleans, USA: IEEE, 1995. 1852−1856 [18] Choi M, Sakthivel R, Chung W K. Neural network-aided extended Kalman filter for SLAM problem. In: Proceedings of the IEEE International Conference on Robotics and Automation. Rome, Italy: IEEE, 2007. 1686−1690 [19] Owen M W, Stubberud A R. A neural extended Kalman filter multiple model tracker. In: Proceedings of the Celebrating the Past ${\cdots} $ Teaming Toward the Future (IEEE Cat. No.03CH37492). San Diego, USA: IEEE, 2003. 2111−2119 [20] Li Y, Liu J Y, Jiang Y Q, Liu Y, Lei B Y. Virtual adversarial training-based deep feature aggregation network from dynamic effective connectivity for MCI identification. IEEE Transactions on Medical Imaging, 2022, 41(1): 237−251 [21] Huang H F, Liu Q, Jiang Y Q, Yang Q Y, Zhu X F, Li Y. Deep spatio-temporal attention-based recurrent network from dynamic adaptive functional connectivity for MCI identification. IEEE Transactions on Neural Systems and Rehabilitation Engineering, 2022, 30: 2600−2612 [22] Zhao Z, Särkkä S, Rad A B. Kalman-based spectro-temporal ECG analysis using deep convolutional networks for atrial fibrillation detection. Journal of Signal Processing Systems, 2020, 92(7): 621−636 doi: 10.1007/s11265-020-01531-4 [23] Lee M H, O' Hara N, Sonoda M, Kuroda N, Juhasz C, Asano E, et al. Novel deep learning network analysis of electrical stimulation mapping-driven diffusion MRI tractography to improve preoperative evaluation of pediatric epilepsy. IEEE Transactions on Biomedical Engineering, 2020, 67(11): 3151−3162 doi: 10.1109/TBME.2020.2977531 [24] Xu K, Jiang X Y, Lin S J, Dai C Y, Chen W. Stochastic modeling based nonlinear Bayesian filtering for photoplethysmography denoising in wearable devices. IEEE Transactions on Industrial Informatics, 2020, 16(11): 7219−7230 [25] Dai C S, Shan G Q, Liu X J, Ru C H, Xin L M, Sun Y. Automated orientation control of motile deformable cells. IEEE Transactions on Automation Science and Engineering, 2023, 20(3): 2126−2134 [26] Perafan-Villota J C, Mondragon O H, Mayor-Toro W M. Fast and precise: Parallel processing of vehicle traffic videos using big data analytics. IEEE Transactions on Intelligent Transportation Systems, 2022, 23(8): 12064−12073 [27] Maha Vishnu V C, Rajalakshmi M, Nedunchezhian R. Intelligent traffic video surveillance and accident detection system with dynamic traffic signal control. Cluster Computing, 2018, 21(1): 135−147 [28] Abdelali H A, Derrouz H, Zennayi Y, Thami R O H, Bourzeix F. Multiple hypothesis detection and tracking using deep learning for video traffic surveillance. IEEE Access, 2021, 9: 164282−164291 [29] Chen Y R, Xie X Y, Yu B, Li Y, Lin K H. Multitarget vehicle tracking and motion state estimation using a novel driving environment perception system of intelligent vehicles. Journal of Advanced Transportation, 2021, 2021: Article No. 6251399 [30] Sudha D, Priyadarshini J. An intelligent multiple vehicle detection and tracking using modified vibe algorithm and deep learning algorithm. Soft Computing, 2020, 24(22): 17417−17429 doi: 10.1007/s00500-020-05042-z [31] Zhu D, Song R, Chen H, Klette R, Xu Y Y. Moment-based multi-lane detection and tracking. Signal Processing: Image Communication, 2021, 95: Article No. 116230 [32] Van Wyk F, Wang Y Y, Khojandi A, Masoud N. Real-time sensor anomaly detection and identification in automated vehicles. IEEE Transactions on Intelligent Transportation Systems, 2020, 21(3): 1264−1276 doi: 10.1109/TITS.2019.2906038 [33] Jin Y Q, Zhang W A, Sun H, Yu L. Learning-aided inertial odometry with nonlinear state estimator on manifold. IEEE Transactions on Intelligent Transportation Systems, 2023, 24(9): 9792−9803 doi: 10.1109/TITS.2023.3273391 [34] Piga N A, Onyshchuk Y, Pasquale G, Pattacini U, Natale L. ROFT: Real-time optical flow-aided 6D object pose and velocity tracking. IEEE Robotics and Automation Letters, 2022, 7(1): 159−166 doi: 10.1109/LRA.2021.3119379 [35] Liu J G, Guo G. Vehicle localization during GPS outages with extended Kalman filter and deep learning. IEEE Transactions on Instrumentation and Measurement, 2021, 70: Article No. 7503410 [36] Shen C, Zhang Y, Guo X T, Chen X Y, Cao H L, Tang J, et al. Seamless GPS/inertial navigation system based on self-learning square-root cubature Kalman filter. IEEE Transactions on Industrial Electronics, 2021, 68(1): 499−508 [37] Shu X, Li G, Zhang Y J, Shen S Q, Chen Z, Liu Y G. Stage of charge estimation of lithium-ion battery packs based on improved cubature Kalman filter with long short-term memory model. IEEE Transactions on Transportation Electrification, 2021, 7(3): 1271−1284 [38] Surya S, Samanta A, Marcis V, Williamson S. Hybrid electrical circuit model and deep learning-based core temperature estimation of lithium-ion battery cell. IEEE Transactions on Transportation Electrification, 2022, 8(3): 3816−3824 [39] Zhang H F, Yue D, Dou C X, Li K, Hancke G P. Two-step wind power prediction approach with improved complementary ensemble empirical mode decomposition and reinforcement learning. IEEE Systems Journal, 2022, 16(2): 2545−2555 [40] Lee M S, Shifat T A, Hur J W. Kalman filter assisted deep feature learning for RUL prediction of hydraulic gear pump. IEEE Sensors Journal, 2022, 22(11): 11088−11097 [41] Dantas H, Warren D J, Wendelken S M, Davis T S, Clark G A, Mathews V J. Deep learning movement intent decoders trained with dataset aggregation for prosthetic limb control. IEEE Transactions on Biomedical Engineering, 2019, 66(11): 3192−3203 [42] Baek D, Seo J H, Kim J, Kwon D S. Hysteresis compensator with learning-based hybrid joint angle estimation for flexible surgery robots. IEEE Robotics and Automation Letters, 2020, 5(4): 6837−6844 [43] Rezaee K, Mousavirad S J, Khosravi M R, Moghimi M K, Heidari M. An autonomous UAV-assisted distance-aware crowd sensing platform using deep shuffleNet transfer learning. IEEE Transactions on Intelligent Transportation Systems, 2022, 23(7): 9404−9413 [44] Zhang K Y, Jiang C X, Li J H, Yang S, Ma T, Xu C, et al. DIDO: Deep inertial quadrotor dynamical odometry. IEEE Robotics and Automation Letters, 2022, 7(4): 9083−9090 [45] 潘泉, 于昕, 程咏梅, 张洪才. 信息融合理论的基本方法与进展. 自动化学报, 2003, 29(4): 599−615Pan Quan, Yu Xin, Cheng Yong-Mei, Zhang Hong-Cai. Essential methods and progress of information fusion theory. Acta Automatica Sinica, 2003, 29(4): 599−615 [46] 潘泉, 胡玉梅, 兰华, 孙帅, 王增福, 杨峰. 信息融合理论研究进展: 基于变分贝叶斯的联合优化. 自动化学报, 2019, 45(7): 1207−1223Pan Quan, Hu Yu-Mei, Lan Hua, Sun Shuai, Wang Zeng-Fu, Yang Feng. Information fusion progress: Joint optimization based on variational Bayesian theory. Acta Automatica Sinica, 2019, 45(7): 1207−1223 [47] Kalman R E, Bucy R S. New results in linear filtering and prediction theory. Journal of Basic Engineering, 1961, 83(1): 95−108 [48] Julier S J, Uhlmann J K. Unscented filtering and nonlinear estimation. Proceedings of the IEEE, 2004, 92(3): 401−422 [49] Yang X S, Zhang W A, Liu A D, Yu L. Linear fusion estimation for range-only target tracking with nonlinear transformation. IEEE Transactions on Industrial Informatics, 2020, 16(10): 6403−6412 [50] Gibbs R G. New Kalman filter and smoother consistency tests. Automatica, 2013, 49(10): 3141−3144 [51] 杨峰, 王永齐, 梁彦, 潘泉. 基于概率假设密度滤波方法的多目标跟踪技术综述. 自动化学报, 2013, 39(11): 1944−1956Yang Feng, Wang Yong-Qi, Liang Yan, Pan Quan. A survey of PHD filter based multi-target tracking. Acta Automatica Sinica, 2013, 39(11): 1944−1956 [52] Huang Y L, Zhang Y G, Wu Z M, Li N, Chambers J. A novel adaptive Kalman filter with inaccurate process and measurement noise covariance matrices. IEEE Transactions on Automatic Control, 2018, 63(2): 594−601 [53] Hu Y M, Wang X Z, Pan Q, Hu Z T, Moran B. Variational Bayesian Kalman filter using natural gradient. Chinese Journal of Aeronautics, 2022, 35(5): 1−10 [54] He Y, Song Q, Dong Y L, Yang J. Adaptive tracking algorithm based on modified strong tracking filter. In: Proceedings of the CIE International Conference on Radar. Shanghai, China: IEEE, 2006. 1−4 [55] Yang X S, Zhang W A, Yu L, Xing K X. Multi-rate distributed fusion estimation for sensor network-based target tracking. IEEE Sensors Journal, 2016, 16(5): 1233−1242 [56] Gordon N J, Salmond D J, Smith A F M. Novel approach to nonlinear/non-Gaussian Bayesian state estimation. IEE Proceedings F (Radar and Signal Processing), 1993, 140(2): 107−113 [57] Liu J S, Chen R. Sequential Monte Carlo methods for dynamic systems. Journal of the American Statistical Association, 1998, 93(443): 1032−1044 [58] 杨旭升, 张文安, 俞立. 适用于事件触发的分布式随机目标跟踪方法. 自动化学报, 2017, 43(8): 1393−1401Yang Xu-Sheng, Zhang Wen-An, Yu Li. Distributed tracking method for maneuvering targets with event-triggered mechanism. Acta Automatica Sinica, 2017, 43(8): 1393−1401 [59] Kingma D P, Welling M. Auto-encoding variational Bayes. In: Proceedings of the 2nd International Conference on Learning Representations. Banff, Canada: ICLR, 2014. [60] Krishnan R G, Shalit U, Sontag D. Deep Kalman filters. arXiv preprint arXiv: 1511.05121, 2015. [61] Karl M, Soelch M, Bayer J, Van Der Smagt P. Deep variational Bayes filters: Unsupervised learning of state space models from raw data. In: Proceedings of the 5th International Conference on Learning Representations. Toulon, France: ICLR, 2017. [62] Liu W, Lai Z L, Bacsa K, Chatzi E. Neural extended Kalman filters for learning and predicting dynamics of structural systems. Structural Health Monitoring, 2024, 23(2): 1037−1052 [63] Gedon D, Wahlström N, Schön T B, Ljung L. Deep state space models for nonlinear system identification. IFAC-PapersOnLine, 2021, 54(7): 481−486 [64] Li L Y, Yan J C, Yang X K, Jin Y H. Learning interpretable deep state space model for probabilistic time series forecasting. In: Proceedings of the 28th International Joint Conference on Artificial Intelligence. Macao, China: ACM, 2019. 2901−2908 [65] Zhao C, Sun L, Yan Z, Neumann G, Duckett T, Stolkin R. Learning Kalman network: A deep monocular visual odometry for on-road driving. Robotics and Autonomous Systems, 2019, 121: Article No. 103234 [66] 杨旭升, 王雪儿, 汪鹏君, 张文安. 基于渐进无迹卡尔曼滤波网络的人体肢体运动估计. 自动化学报, 2023, 49(8): 1723−1731Yang Xu-Sheng, Wang Xue-Er, Wang Peng-Jun, Zhang Wen-An. Estimation of human limb motion based on progressive unscented Kalman filter network. Acta Automatica Sinica, 2023, 49(8): 1723−1731 [67] Millidge B, Tschantz A, Seth A, Buckley C. Neural Kalman filtering. arXiv preprint arXiv: 2102.10021, 2021. [68] Rangapuram S S, Seeger M, Gasthaus J, Stella L, Wang Y Y, Januschowski T. Deep state space models for time series forecasting. In: Proceedings of the 32nd International Conference on Neural Information Processing Systems. Montréal, Canada: ACM, 2018. 7796−7805 [69] Bao T Z, Zhao Y H, Zaidi S A R, Xie S Q, Yang P F, Zhang Z Q. A deep Kalman filter network for hand kinematics estimation using sEMG. Pattern Recognition Letters, 2021, 143: 88−94 [70] Zheng X, Zaheer M, Ahmed A, Wang Y, Xing E P, Smola A J. State space LSTM models with particle MCMC inference. arXiv preprint arXiv: 711.11179, 2017. [71] Hochreiter S, Schmidhuber J. Long short-term memory. Neural Computation, 1997, 9(8): 1735−1780 [72] 尹宏鹏, 陈波, 柴毅, 刘兆栋. 基于视觉的目标检测与跟踪综述. 自动化学报, 2016, 42(10): 1466−1489Yin Hong-Peng, Chen Bo, Chai Yi, Liu Zhao-Dong. Vision-based object detection and tracking: A review. Acta Automatica Sinica, 2016, 42(10): 1466−1489 [73] 孟琭, 杨旭. 目标跟踪算法综述. 自动化学报, 2019, 45(7): 1244−1260Meng Lu, Yang Xu. A survey of object tracking algorithms. Acta Automatica Sinica, 2019, 45(7): 1244−1260 [74] Lin W Y, Ren X Y, Hu J J, He Y Z, Li Z, Tong M S. Fast, robust and accurate posture detection algorithm based on Kalman filter and SSD for AGV. Neurocomputing, 2018, 316: 306−312 [75] Ozaki R, Kuroda Y. EKF-based real-time self-attitude estimation with camera DNN learning landscape regularities. IEEE Robotics and Automation Letters, 2021, 6(2): 1737−1744 [76] Tian J P, Xiong R, Shen W X, Lu J H. State-of-charge estimation of LiFePO_4 batteries in electric vehicles: A deep-learning enabled approach. Applied Energy, 2021, 291: Article No. 116812 [77] Youn W, Lim H, Choi H S, Rhudy M B, Ryu H, Kim S, et al. State estimation for HALE UAVs with deep-learning-aided virtual AOA/SSA sensors for analytical redundancy. IEEE Robotics and Automation Letters, 2021, 6(3): 5276−5283 [78] Haarnoja T, Ajay A, Levine S, Abbeel P. Backprop KF: Learning discriminative deterministic state estimators. In: Proceedings of the 30th International Conference on Neural Information Processing Systems. Barcelona, Spain: ACM, 2016. 4383−4391 [79] Bharadwaj S, Prasad S, Almekkawy M. An upgraded siamese neural network for motion tracking in ultrasound image sequences. IEEE Transactions on Ultrasonics, Ferroelectrics, and Frequency Control, 2021, 68(12): 3515−3527 [80] Xiao B, Xiao H R, Wang J W, Chen Y. Vision-based method for tracking workers by integrating deep learning instance segmentation in off-site construction. Automation in Construction, 2022, 136: Article No. 104148 [81] Lim H, Ryu H, Rhudy M B, Lee D, Jang D, Lee C, et al. Deep learning-aided synthetic airspeed estimation of UAVs for analytical redundancy with a temporal convolutional network. IEEE Robotics and Automation Letters, 2022, 7(1): 17−24 [82] Ju C, Wang Z, Long C, Zhang X Y, Chang D E. Interaction-aware Kalman neural networks for trajectory prediction. In: Proceedings of the IEEE Intelligent Vehicles Symposium (IV). Las Vegas, USA: IEEE, 2020. 1793−1800 [83] Yin H, Chen R J, Wang Y, Xiong R. RaLL: End-to-end radar localization on lidar map using differentiable measurement model. IEEE Transactions on Intelligent Transportation Systems, 2022, 23(7): 6737−6750 [84] Li Y J, Yin G D, Zhuang W C, Zhang N, Wang J X, Geng K K. Compensating delays and noises in motion control of autonomous electric vehicles by using deep learning and unscented Kalman predictor. IEEE Transactions on Systems, Man, and Cybernetics: Systems, 2020, 50(11): 4326−4338 [85] Lu G, Zhang X Y, Ouyang W L, Xu D, Chen L, Gao Z Y. Deep non-local Kalman network for video compression artifact reduction. IEEE Transactions on Image Processing, 2020, 29: 1725−1737 [86] Tariq M, Ali M, Naeem F, Poor H V. Vulnerability assessment of 6G-enabled smart grid cyber-physical systems. IEEE Internet of Things Journal, 2021, 8(7): 5468−5475 [87] Li D H, Zhou J, Liu Y Y. Recurrent-neural-network-based unscented Kalman filter for estimating and compensating the random drift of MEMS gyroscopes in real time. Mechanical Systems and Signal Processing, 2021, 147: Article No. 107057 [88] Coskun H, Achilles F, DiPietro R, Navab N, Tombari F. Long short-term memory Kalman filters: Recurrent neural estimators for pose regularization. In: Proceedings of the IEEE International Conference on Computer Vision (ICCV). Venice, Italy: IEEE, 2017. 5525−5533 [89] Chen C H, Lu C X, Wang B, Trigoni N, Markham A. DynaNet: Neural Kalman dynamical model for motion estimation and prediction. IEEE Transactions on Neural Networks and Learning Systems, 2021, 32(12): 5479−5491 [90] Cui Y Q, He Y, Tang T T, Liu Y. A new target tracking filter based on deep learning. Chinese Journal of Aeronautics, 2022, 35(5): 11−24 [91] Revach G, Shlezinger N, Ni X Y, Escoriza A L, Van Sloun R J G, Eldar Y C. KalmanNet: Neural network aided Kalman filtering for partially known dynamics. IEEE Transactions on Signal Processing, 2022, 70: 1532−1547 [92] Klein I, Revach G, Shlezinger N, Mehr J E, Van Sloun R J G, Eldar Y C. Uncertainty in data-driven Kalman filtering for partially known state-space models. In: Proceedings of the IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). Singapore: IEEE, 2022. 3194−3198 [93] Revach G, Shlezinger N, Locher T, Ni X Y, Van Sloun R J G, Eldar Y C. Unsupervised learned Kalman filtering. In: Proceedings of the 30th European Signal Processing Conference (EUSIPCO). Belgrade, Serbia: IEEE, 2022. 1571−1575 [94] Zhang Y X, Yu M, Zhang H, Yu D, Wang D L. Neuralkalman: A learnable Kalman filter for acoustic echo cancellation. In: Proceedings of the IEEE Automatic Speech Recognition and Understanding Workshop (ASRU). Taipei, China: IEEE, 2023. 1−7 [95] Choi G, Park J, Shlezinger N, Eldar Y C, Lee N. Split-KalmanNet: A robust model-based deep learning approach for state estimation. IEEE Transactions on Vehicular Technology, 2023, 72(9): 12326−12331 [96] Deng H R, Revach G, Morgenstern H, Shlezinger N. Kalmanbot: Kalmannet-aided bollinger bands for pairs trading. In: Proceedings of the IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). Rhodes Island, Greece: IEEE, 2023. 1−5 [97] Buchnik I, Steger D, Revach G, Van Sloun R J G, Routtenberg T, Shlezinger N. Latent-KalmanNet: Learned Kalman filtering for tracking from high-dimensional signals. IEEE Transactions on Signal Processing, 2024, 72: 352−367 [98] 郑婷婷, 杨旭升, 张文安, 俞立. 一种高斯渐进滤波框架下的目标跟踪方法. 自动化学报, 2018, 44(12): 2250−2258Zheng Ting-Ting, Yang Xu-Sheng, Zhang Wen-An, Yu Li. A target tracking method in Gaussian progressive filtering framework. Acta Automatica Sinica, 2018, 44(12): 2250−2258 [99] Yang X S, Zhang W A, Yu L, Yang F W. Sequential Gaussian approximation filter for target tracking with nonsynchronous measurements. IEEE Transactions on Aerospace and Electronic Systems, 2019, 55(1): 407−418 [100] Yuen K V, Hoi K I, Mok K M. Selection of noise parameters for Kalman filter. Earthquake Engineering and Engineering Vibration, 2007, 6(1): 49−56 [101] Yuen K V, Liang P F, Kuok S C. Online estimation of noise parameters for Kalman filter. Structural Engineering and Mechanics, 2013, 47(3): 361−381 [102] Li P, Zhang W A, Zhang J H. HMM based adaptive Kalman filter for orientation estimation. IEEE Sensors Journal, 2022, 22(17): 17065−17074 [103] Jouaber S, Bonnabel S, Velasco-Forero S, Pilté M. NNAKF: A neural network adapted Kalman filter for target tracking. In: Proceedings of the IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). Toronto, Canada: IEEE, 2021. 4075−4079 [104] Zheng T Y, Yao Y, He F H, Zhang X R. An RNN-based learnable extended Kalman filter design and application. In: Proceedings of the 18th European Control Conference (ECC). Naples, Italy: IEEE, 2019. 3304−3309 [105] Brossard M, Barrau A, Bonnabel S. AI-IMU dead-reckoning. IEEE Transactions on Intelligent Vehicles, 2020, 5(4): 585−595 [106] Xiao Y M, Luo H Y, Zhao F, Wu F, Gao X L, Wang Q, et al. Residual attention network-based confidence estimation algorithm for non-holonomic constraint in GNSS/INS integrated navigation system. IEEE Transactions on Vehicular Technology, 2021, 70(11): 11404−11418 [107] Wu F, Luo H Y, Jia H W, Zhao F, Xiao Y M, Gao X L. Predicting the noise covariance with a multitask learning model for Kalman filter-based GNSS/INS integrated navigation. IEEE Transactions on Instrumentation and Measurement, 2021, 70: 1−13 [108] Yang X S, Zhang W A, Chen M Z Q, Yu L. Hybrid sequential fusion estimation for asynchronous sensor network-based target tracking. IEEE Transactions on Control Systems Technology, 2017, 25(2): 669−676 [109] Blom H A P, Bar-Shalom Y. The interacting multiple model algorithm for systems with Markovian switching coefficients. IEEE Transactions on Automatic Control, 1988, 33(8): 780−783 [110] Fu Q E, Lu K L, Sun C Y. Deep learning aided state estimation for guarded semi-Markov switching systems with soft constraints. IEEE Transactions on Signal Processing, 2023, 71: 3100−3116 [111] Moon S, Youn W, Bang H. Novel deep-learning-aided multimodal target tracking. IEEE Sensors Journal, 2021, 21(18): 20730−20739 [112] Deng L C, Li D, Li R F. Improved IMM algorithm based on RNNs. Journal of Physics: Conference Series, 2020, 1518(1): Article No. 012055 [113] 崔亚奇, 熊伟, 何友. 不确定航迹自适应预测模型. 航空学报, 2019, 40(5): Article No. 322557Cui Ya-Qi, Xiong Wei, He You. Adaptive forecast model for uncertain track. Acta Aeronauticaet Astronautica Sinica, 2019, 40(5): Article No. 322557 [114] 纪守领, 李进锋, 杜天宇, 李博. 机器学习模型可解释性方法、应用与安全研究综述. 计算机研究与发展, 2019, 56(10): 2071−2096 doi: 10.7544/issn1000-1239.2019.20190540Ji Shou-Ling, Li Jin-Feng, Du Tian-Yu, Li Bo. Survey on techniques, applications and security of machine learning interpretability. Journal of Computer Research and Development, 2019, 56(10): 2071−2096 doi: 10.7544/issn1000-1239.2019.20190540 [115] 成科扬, 王宁, 师文喜, 詹永照. 深度学习可解释性研究进展. 计算机研究与发展, 2020, 57(6): 1208−1217 doi: 10.7544/issn1000-1239.2020.20190485Cheng Ke-Yang, Wang Ning, Shi Wen-Xi, Zhan Yong-Zhao. Research advances in the interpretability of deep learning. Journal of Computer Research and Development, 2020, 57(6): 1208−1217 doi: 10.7544/issn1000-1239.2020.20190485 [116] Russell R L, Reale C. Multivariate uncertainty in deep learning. IEEE Transactions on Neural Networks and Learning Systems, 2022, 33(12): 7937−7943 doi: 10.1109/TNNLS.2021.3086757 [117] 武东杰, 仲训昱, 崔晓珍, 彭侠夫, 杨功流. 可在线配置结构的多源融合位姿估计框架. 机器人, 2022, 44(6): 660−671Wu Dong-Jie, Zhong Xun-Yu, Cui Xiao-Zhen, Peng Xia-Fu, Yang Gong-Liu. Multi-source fusion pose estimation framework with online configurable structure. Robot, 2022, 44(6): 660−671 [118] Müller S, Hollmann N, Pineda-Arango S, Grabocka J, Hutter F. Transformers can do Bayesian inference. arXiv preprint arXiv: 2112.10510, 2023. [119] Xue B Y, Yu J W, Xu J H, Liu S S, Hu S K, Ye Z, et al. Bayesian transformer language models for speech recognition. In: Proceedings of the IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). Toronto, Canada: IEEE, 2021. 7378−7382 [120] Ansari-Ram F, Ebrahimi-Moghadam A, Khademi M, Sadoghi-Yazdi H. Diffusion-based Kalman iterative thresholding for compressed sampling recovery over network. Signal Processing, 2023, 202: Article No. 108750 [121] Alcaraz J M L, Strodthoff N. Diffusion-based time series imputation and forecasting with structured state space models. Transactions on Machine Learning Research, 2023. [122] Munir A, Blasch E, Kwon J, Kong J, Aved A. Artificial intelligence and data fusion at the edge. IEEE Aerospace and Electronic Systems Magazine, 2021, 36(7): 62−78 doi: 10.1109/MAES.2020.3043072 [123] Blasch E, Pham T, Chong C Y, Koch W, Leung H, Braines D, et al. Machine learning/artificial intelligence for sensor data fusion-opportunities and challenges. IEEE Aerospace and Electronic Systems Magazine, 2021, 36(7): 80−93 [124] 张鋆豪, 何百岳, 杨旭升, 张文安. 基于可穿戴式惯性传感器的人体运动跟踪方法综述. 自动化学报, 2019, 45(8): 1439−1454Zhang Jun-Hao, He Bai-Yue, Yang Xu-Sheng, Zhang Wen-An. A review on wearable inertial sensor based human motion tracking. Acta Automatica Sinica, 2019, 45(8): 1439−1454 [125] Liu Q, Wang X, Rao N S V. Artificial neural networks for estimation and fusion in long-haul sensor networks. In: Proceedings of the 18th International Conference on Information Fusion (Fusion). Washington, USA: IEEE, 2015. 460−467 [126] Brigham K, Kumar B V K V, Rao N S V. Learning-based approaches to nonlinear multisensor fusion in target tracking. In: Proceedings of the 16th International Conference on Information Fusion. Istanbul, Turkey: IEEE, 2013. 1320−1327 [127] Chowdhury F N. A neural approach to data fusion. In: Proceedings of the American Control Conference (ACC'95). Seattle, USA: IEEE, 1995. 1693−1697 [128] Peng Z X, Li Y, Hao G. The research on distributed fusion estimation based on machine learning. IEEE Access, 2020, 8: 38174−38184 [129] Chen Y S, Yan G F. Multi-sensors data tracking fusion based on a neural network filter. In: Proceedings of the IEEE International Joint Conference on Neural Network Proceedings. Vancouver, Canada: IEEE, 2006. 981−984 [130] Yang X S, Zhang W A, Yu L. A bank of decentralized extended information filters for target tracking in event-triggered WSNs. IEEE Transactions on Systems, Man, and Cybernetics: Systems, 2020, 50(9): 3281−3289 doi: 10.1109/TSMC.2018.2883706 [131] Liu P, Wang L Z, Ranjan R, He G J, Zhao L. A survey on active deep learning: From model driven to data driven. ACM Computing Surveys, 2022, 54(10s): Article No. 221 [132] Yang X S, Zhang W A, Yu L, Shi L. Performance evaluation of distributed linear regression Kalman filtering fusion. IEEE Transactions on Automatic Control, 2021, 66(6): 2889−2896 doi: 10.1109/TAC.2020.3012638 [133] Blundell C, Cornebise J, Kavukcuoglu K, Wierstra D. Weight uncertainty in neural networks. In: Proceedings of the 32nd International Conference on Machine Learning. Lille, France: ACM, 2015. 1613−1622 [134] Kendall A, Gal Y. What uncertainties do we need in Bayesian deep learning for computer vision? In: Proceedings of the 31st International Conference on Neural Information Processing Systems. Long Beach, USA: ACM, 2017. 5580−5590 期刊类型引用(7)
1. 詹兆康，胡旭光，赵浩然，张思琪，张峻凯，马大中. 基于多变量时空融合网络的风机数据缺失值插补研究. 自动化学报. 2024(06): 1171-1184 . 
本站查看2. 马大中，王天彪，胡旭光，刘羽洋，刘金海. 基于数据驱动的管道云边协同泄漏检测方法. 控制与决策. 2023(08): 2415-2424 . 百度学术3. 王睿，孙秋野，张化光. 微电网的电流均衡/电压恢复自适应动态规划策略研究. 自动化学报. 2022(02): 479-491 . 本站查看4. 刘金海，赵真，付明芮，左逢源，王雷. 基于主动小样本学习的管道焊缝缺陷检测方法. 仪器仪表学报. 2022(11): 252-261 . 百度学术5. 孙秋野，王一帆，杨凌霄，张化光. 比特驱动的瓦特变革——信息能源系统研究综述. 自动化学报. 2021(01): 50-63 . 本站查看6. 熊珞琳，毛帅，唐漾，孟科，董朝阳，钱锋. 基于强化学习的综合能源系统管理综述. 自动化学报. 2021(10): 2321-2340 . 本站查看7. 张化光，孙宏斌，刘德荣，王剑辉，孙秋野. “分布式信息能源系统”专题特约主编寄语. 中国电机工程学报. 2020(17): 5401-5403 . 百度学术其他类型引用(3)
-
下载:
下载:
计量
- 文章访问数: 4333
- HTML全文浏览量: 651
- PDF下载量: 570
- 被引次数: 10
