-
摘要: 复杂场景下的高精度车牌识别仍然存在着许多挑战, 除了光照、分辨率不可控和运动模糊等因素导致的车牌图像质量低之外, 还包括车牌品类多样产生的行数不一和字数不一等困难, 以及因拍摄角度多样出现的大倾角等问题. 针对这些挑战, 提出了一种基于单字符注意力的场景鲁棒的高精度车牌识别算法, 在无单字符位置标签信息的情况下, 使用注意力机制对车牌全局特征图进行单字符级特征分割, 以处理多品类车牌和倾斜车牌中的二维字符布局问题. 另外, 该算法通过使用共享参数的多分支结构代替现有算法的串行解码结构, 降低了分类头参数量并实现了并行化推理. 实验结果表明, 该算法在公开车牌数据集上实现了超越现有算法的精度, 同时具有较快的识别速度.Abstract: There are still many challenges for high-precision vehicle license plate recognition in complex scenarios. In addition to the low quality of license plate images caused by factors such as poor illumination, low resolution, and motion blur, challenges also include different variant numbers of characters and lines for different license plate categories, as well as large inclination caused by the various camera locations. In response to these challenges, this paper proposes a scene-robust high-precision license plate recognition algorithm based on character attention, which performs character level segmentation on the global feature map of the license plate images without character position label information. Such character level segmentation can deal with the 2D character layout problems in multi-category license plates and inclined license plates. In addition, this algorithm uses a shared weight classification header structure to replace the serial decoding structure used in existing algorithms, which reduces the number of classification header parameters and realizes parallel inference. The experimental results show that the algorithm achieves high accuracy which surpasses the existing algorithms on the public-domain data sets, and meanwhile has a faster recognition speed.
-
气象、水文、金融、医学以及工程等领域, 其数据多以时间序列的形式进行存储. 时间序列是某种变量或统计指标的数值随时间排序所形成的序列集合, 其中既含有全部变量的历史信息, 又含有参与系统动态演化的变量信息, 例如在气象数据中, 温度、湿度、风速、风向、气压、降雨量、日照时数、紫外线强度的变化等. 从时间序列数据的历史信息中预测未来的变化, 以提前做好防护措施, 对保障人类生命财产安全具有重要意义[1-6].
近年来, 随着对时间序列研究的深入化, 传统的线性自适应滤波算法[7], 例如最小均方(Least mean squares, LMS)算法、递归最小二乘(Recursive least squares, RLS)算法等都不满足预测要求. LMS 收敛过程缓慢, 步长与收敛速度、失调之间也存在矛盾. RLS具有计算复杂度较高、所需存储量较大的缺陷. 同时, 它们的应用实时性也较差, 在处理非线性、非平稳、高复杂性等问题时效果并不理想. 所以对非线性、非平稳、复杂系统的研究已经引起了许多国内外专家学者的广泛关注, 并取得了一定的研究成果.
对于上述问题, 出现的建模方法主要包括: 人工神经网络(Artificial neural networks, ANN)[8-10]、支持向量机(Support vector machines, SVM)[11]、核自适应滤波器(Kernel adaptive filter, KAF)[12-13]以及一些其他非线性方法. ANN和SVM都属于离线方法, 不满足在线实时性要求. 而KAF是指线性自适应滤波器在核空间(Kernel space, KS)的扩展[14-15], 该过程满足在线预测要求, 对复杂时间序列预测具有实时输出的特点. 其中“核技巧”操作不需被显式地知道训练样本在特征空间内的映射[16], 它直接通过核函数计算来完成特征空间的内积计算, 整个计算过程被简化, 该映射过程如图1.
图 1 从输入空间到特征空间的非线性映射f(·)Fig. 1 Nonlinear mapping f(·) from input space to feature space目前, 国内外学者使用最多的是高斯核函数. 核函数是先将输入数据映射到高维空间, 再在高维空间进行线性操作.该过程对解决非线性问题具有明显的优势[17-18]. 随着对核函数[15-18]研究的深入, 学者们相继提出了应用于时间序列的计算复杂度较低、跟踪时变能力较强的KAF在线预测算法.
近年来, 由于时间序列组成的非线性系统越来越复杂, 简单的离线预测已经不能满足用户的要求. 对于上述问题, 多种时间序列在线预测方法相继出现. 目前, 时间序列在线预测方法主要分为以下几类: 重新建模方法、动态神经网络方法、在线支持向量回归方法、递归贝叶斯估计方法和KAF方法.
KAF使用核方法实现非线性传递函数. 在KAF中, 信号被映射到高维线性特征空间, 并且非线性函数被近似为核的总和, 其域是特征空间. 如果这是在再生核希尔伯特空间(Reproducing kernel Hilbert space, RKHS) 中完成的, 则核方法可以是非线性函数的通用逼近器. 内核方法具有凸损函数的优点, 同时没有局部最小值[13]. 近年来, 随着环境的不断复杂化, 其预测、跟踪问题也日趋复杂化. 在线预测作为一种实时预测、跟踪时变的有效方法, 在时间序列预测方面展现出较好的能效结果, 并满足用户的实时监测与控制的要求[19-21]. 基于KAF 的在线预测方法在许多实际应用领域中都已展现出较好的预测性能, 其中主要包括三类: 核最小均方(Kernel least mean squares, KLMS)[19]算法、核递归最小二乘(Kernel recursive least squares, KRLS)[20]算法和核仿射投影算法(Kernel affine projection algorithm, KAPA)[21]. 在此基础上, 许多学者也提出相应的改进算法, 根据KAF的发展进程, KAF在线预测模型的研究进展具体如图2 所示, 它详细地概括了文章的整体研究脉络.
然而, KAF方法在时间序列在线预测过程中还存在以下的问题: 随着新样本的加入, 系统所占用的内存不断增加(主要表现为核矩阵维度的增加), 计算复杂度会随样本量的增加而增长. 针对该问题, 学者们对以上三类KAF方法进行了相应的改进[22-36]. 在一定程度上, 在线预测帮助研究者实现了对非线性、非平稳、复杂时间序列系统的实时预测, 对进一步将要发生的变化做出更科学、合理的决策.
本文的贡献主要集中在: 总结基于KAF的时间序列在线预测研究进展, 重点介绍基于KAF的时间序列在线预测方法, 主要包括KLMS、 KRLS和KAPA三类, 在本文还介绍了这一研究领域的研究趋势和发展延伸, 并展望未来的挑战, 即充分理解基于KAF的时间序列在线预测的发展趋势, 以供进一步研究.
1. 基于KLMS在线预测算法
对于KLMS中存在的计算复杂度和核矩阵的增长问题, 文献[22]提出一种量化核最小均方(Quantization kernel least mean square, QKLMS)算法, 其量化操作限制了核函数维数的无限增长, 基本思想是通过量化操作压缩输入数据, 而不像其他稀疏化方法那样直接丢弃冗余数据. 文献[23] 提出了单反馈核最小均方(Single feedback kernel least mean square, SF-KLMS)算法, 它使用单个延迟输出以循环方式更新权重, 过去信息的使用也显著加快了收敛速度. 文献[24] 提出了改进的量化核最小均方(Modification quantization kernel least mean square, M-QKLMS)算法, 它在使用预测误差的同时还用梯度下降方法来更新滤波器系数. 不同于QKLMS 只考虑预测误差, M-QKLMS 采用新的训练数据和预测误差来调整字典中最接近中心的系数. 文献[25]提出了一种基于随机特征网络的KLMS算法(Kernel least mean square base on random feature networks, KLMS-RFN), 它与理论上隐式地将输入映射到无限维空间高斯核相反, 随机特征映射是将样本输入到相对低维的特征空间, 并使变换后的样本与使用移位不变内核的特征空间中近似等效.
KAF作为在线预测模型, 已经在时间序列预测领域展现出较好的性能[18]. 以下将详细说明基于KLMS及其改进方法的时间序列在线预测机理.
1.1 核最小均方算法
目前, 对于复杂难预测环境, LMS与核方法结合的应用方式随之出现. 2008年, Liu等将LMS嵌入KS提出KLMS[19]. KLMS是指在RKHS中进行的自适应过程, 它结合核技巧和LMS来实现样本到样本的更新[37].
对于一个有限的训练数据集, KLMS可通过未知映射将输入样本由低维的原始空间映射到高维特征空间, 再在高维特征空间执行简单的线性计算. 其中涉及步进参数的预设置, 主要有两种方法实现: 1) 根据经验设置步进参数; 2) 随着新样本的到来, 自适应更新权重
$ {{w}}\left( i \right) $ 的同时实时改变步进参数.$$ \begin{array}{l} {{w}}\left( i \right) = {{w}}\left( {i - 1} \right) + \mu {{e}}\left( i \right){{\varphi}} \left( i \right) \end{array} $$ (1) 其中,
$ \mu $ 是步进参数.$ {{e}}\left( i \right) $ 表示预测误差,$ {{\varphi}} \left( i \right) $ 表示在特征空间映射后的输入样本.$$ \begin{array}{l} {{e}}\left( i \right) = {{d}}\left( i \right) - {{w}}^{\rm{T}}{\left( {i - 1} \right)}{{\varphi}} \left( i \right) \end{array} $$ (2) 其中,
${{d}}\left( i \right) = {{\varphi}}^{\rm{T}} {\left( i \right)}{{w}}\left( i \right)$ .上述过程在增加较少运算量的情况下加快了模型收敛速度, 可较快跟踪到自适应参数, 减少训练序列的预处理时间, 从而提高自适应参数的利用效率. 通过以上过程, 得到KLMS模型的预测输出
$ {{y}}\left( i \right) $ .$$ \begin{array}{l} {{y}}\left( i \right) = \displaystyle\sum\limits_{j = 1}^i {{{{\alpha}} _j}\left( i \right)k\left( {{{u}}\left( i \right),{{u}}\left( j \right)} \right)} \end{array} $$ (3) 其中,
$ {{{\alpha}} _j}\left( i \right) = \eta {{e}}\left( j \right) $ ,$ \eta $ 表示学习率.$ k\left( { \cdot , \cdot } \right) $ 表示核函数, 该计算过程也被称为核技巧.总的来说, KAF在时间序列预测中是一个记忆强化操作. 同时KAF还属于在线操作范畴, 它通过使用之前的样本和预测误差来逐步构造出KAF的输出.
随着KLMS不断应用于时间序列预测, 其预测也出现了许多亟待解决的问题[38]. 随着预测样本的不断增多, 预测过程中出现计算复杂度较大的问题, 即随着新样本的不断到来, 核矩阵维数不断增大, 模型内存消耗也不断增大, 从而出现预测时间长、效率低、精度低等问题. 对于上述问题, 第1.2节 ~ 第1.5节对给出的多种解决方案进行详细说明.
1.2 量化核最小均方算法
2012年Chen等在KLMS的基础上提出矢量量化(Vector quantization, VQ)操作, 得到量化核最小均方算法. VQ 方法不同于近似依赖准则(Approximate linear dependence, ALD)[20], 惊奇准则(Surprise criterion, SC), 固定预算准则(Fixed budget, FB)[39-40] 和新奇准则(Novel criterion, NC)等稀疏方法. VQ 作为稀疏[41-42]的一种替代方法, 其基本思想是矢量量化并以此压缩输入或特征空间, 用以遏制自适应滤波器中高斯核结构的增长. QKLMS 中权重
$ {{\Omega}} \left( i \right) $ 的更新过程如下所示:$$ \begin{array}{l} {{\Omega}} \left( i \right) = {{\Omega}} \left( {i - 1} \right) + {{\eta}} e\left( i \right)Q\left[ {{{\varphi}} \left( i \right)} \right] \end{array} $$ (4) 其中,
$ Q\left[ \cdot \right] $ 是量化算子. 与稀疏方法不同, VQ操作是使用“冗余”数据来更新最接近中心的系数, 该过程提高了数据的利用效率[22].QKLMS的预测输出
$ {{y}}\left( i \right) $ 如下式所示:$$ \begin{array}{l} {{y}}\left( i \right) = \displaystyle\sum\limits_{j = 1}^{size\left( {C\left( {i - 1} \right)} \right)} {{{{\alpha}} _j}\left( i \right)k\left( {{{{C}}_j}\left( {i - 1} \right),{{u}}\left( i \right)} \right)} \end{array} $$ (5) 其中,
$ {{{C}}_j}\left( \cdot \right) $ 表示字典$ {{C}} $ 中的第$ j $ 个元素.QKLMS已经应用于短时混沌时间序列预测[22]. 同时VQ利用“冗余”数据来更新最接近的中心系数, 以产生更紧凑的网络, 最终在时间序列在线预测上得到更高的预测精度和预测效率.
1.3 单反馈核最小均方算法
前述的KLMS和QKLMS都是前馈网络, 2015年Zhao等首次提出具有单反馈结构的单反馈核最小均方(SF-KLMS)算法. 在SF-KLMS中只有一个延迟输出被用于以循环方式更新权重, 过去信息的使用显著地加快了模型的收敛速度. SF-KLMS 具有更紧凑、更高效的循环结构.
在SF-KLMS中包含两个权重更新过程: 1) 前馈权重
${{w}}\left( i \right);$ 2) 反馈权重$\gamma \left( i \right).$ $$ \begin{split} {{w}}\left( {i + 1} \right) =\;& {{w}}\left( i \right){\rm{ + }}\frac{{{\eta _w}\left( i \right)}}{{{\rho _w}\left( i \right)}}e\left( i \right){{k}}\left( i \right) {\rm{ + }}\\[-5pt] &\frac{{{\eta _w}\left( i \right)}}{{{\rho _w}\left( i \right)}}e\left( i \right){\beta _w}\left( i \right)\gamma \left( i \right){{{D}}_w}\left( {i - 1} \right) \end{split} $$ (6) $$ \begin{split} \gamma \left( {i + 1} \right) =& \gamma \left( i \right){\rm{ + }}\frac{{{\eta _\gamma }\left( i \right)}}{{{\rho _\gamma }\left( i \right)}}e\left( i \right)y\left( {i - 1} \right)+ \\[-3pt] &\frac{{{\eta _\gamma }\left( i \right)}}{{{\rho _\gamma }\left( i \right)}}e\left( i \right){\beta _\gamma }\left( i \right)\gamma \left( i \right){D_\gamma }\left( {i - 1} \right) \end{split}$$ (7) 其中,
$ {\eta _w} $ 和$ {\eta _\gamma} $ 是学习率,$ {\rho _w} $ 和$ {\rho _\gamma } $ 是归一化参数,$ {\beta _w} $ 和$ {\beta _\gamma } $ 是调整最新梯度信息的参数,${{{D}}_w}\left( i \right) = {{k}}\left( i \right) + $ $ {\beta _w}\left( i \right)\gamma \left( i \right){{{D}}_w}\left( {i - 1} \right) $ 是当前梯度信息,${D_\gamma }\left( i \right){\rm{ = }} $ $y\left( {i - 1} \right) + {\beta _\gamma }\left( i \right)\gamma \left( i \right){D_\gamma }\left( {i - 1} \right).$ SF-KLMS具有以下优势: 1) SF-KLMS利用延迟输出的先前梯度信息
$ {{{D}}_w}\left( {i - 1} \right) $ 来更新当前梯度${{{D}}_w}\left( i \right);$ 2) 与无反馈的KAF (如KLMS)和含多反馈的KAF (如LRKOL)相比, SF-KLMS具有更紧凑的结构, 更快的收敛速度和更好的预测性能.根据上述分析, 得到SF-KLMS模型的输出
${{y}}\left( i \right).$ $$ \begin{array}{l} {{y}}\left( i \right) = \displaystyle\sum\limits_{l = 1}^m {k\left( {{{u}}\left( i \right),{{u}}\left( {{C_l}} \right)} \right){w_l} + \gamma \left( i \right)y\left( {i - 1} \right)} \end{array} $$ (8) 其中,
$ {{u}}\left( {{C_l}} \right) $ 表示字典的第$ l $ 个信号.在短时时间序列预测中, 调节因子
$ {\beta _w} $ 被设置成较小值, 而$ {\beta _\gamma } $ 可被设置为相对较大的值用以提高反馈的效果[43].1.4 改进的量化核最小均方算法
KAF在线预测算法已经在解决复杂系统的预测、跟踪方面展现出强大的能力. 改进的量化核最小均方(M-QKLMS)算法于2016年被Zheng等提出, 该方法是在QKLMS方法的基础上进行的改进[24]. M-QKLMS 采用梯度下降方法来更新核自适应滤波器系数, 不同于QKLMS只考虑预测误差, 该方法还采用新训练数据与预测误差来共同调整字典最接近中心的系数.
计算新样本与现存字典之间的距离.
$$ \begin{array}{l} \begin{array}{l} dis\left( {{{u}}\left( i \right),D\left( {i - 1} \right)} \right)=\\ \quad\mathop {\min }\limits_{1 \le l \le {D\left( {i - 1} \right)} } \left\| {{{u}}\left( i \right) - {D_l}\left( {i - 1} \right)} \right\| > \gamma \end{array} \end{array} $$ (9) 其中,
$ \gamma $ 是量化参数. 如果$dis\left( {{{u}}\left( i \right),D\left( {i - 1} \right)} \right) \le \gamma,$ 那么权重矩阵为${{w}}_{{l^ * }}\left( i \right) = {{{{{w}}}}_{{l^ * }}}\left( {i - 1} \right) + \eta \kappa ( {D_{{l^ * }}}\left( {i - 1} \right)\!,$ ${{u}}\left( i \right) )e\left( i \right).$ 否则, 权重矩阵为$ {{w}}\left( i \right) = [ {{w}}\left( {i - 1} \right),$ $\eta e\left( i \right) ]. $ 根据上述判断结果, 得到输出
${{y}}\left( i \right)\!.$ $$ \begin{array}{l} {{y}}\left( i \right) = \displaystyle\sum\limits_{j = 1}^i {{{{w}}_j}\left( {i - 1} \right)k\left( {{{{D}}_j}\left( {i - 1} \right),{{u}}\left( i \right)} \right)} \end{array} $$ (10) M-QKLMS先执行VQ操作, 再利用梯度下降方法与预测误差共同作用, 从而有效地降低网络结构复杂度. 该过程提高了历史信息的利用效率[24]. 总之, M-QKLMS利用新训练数据隐藏的信息, 达到了更好的预测精度.
1.5 基于随机特征网络的核最小均方算法
为了在非静态环境中构建在线KAF, Liu等于2018年提出了基于随机特征网络的核最小均方算法[25]. KLMS-RFN与将输入映射到高维特征空间的高斯核相比, 随机特征映射变换是将样本输入到相对低维的特征空间, 其中变换后的样本近似等于在特征空间中使用一个移位不变核, 如下所示:
$$ \begin{array}{l} {{k}} \left( {{{{x}}_1},{{{x}}_2}} \right) = \left\langle {\Phi \left( {{{{x}}_1}} \right),\Phi \left( {{{{x}}_2}} \right)} \right\rangle \approx \varphi^{\rm T} {\left( {{{{x}}_1}} \right)}\varphi \left( {{{{x}}_2}} \right) \end{array} $$ (11) 其中,
$\varphi \left( {{x}} \right):{{\rm R}^m} \to {{\rm R}^M}$ , 表示特征映射后的输入矩阵.然后, KLMS-RFN模型的预测过程可总结为:
1) 计算随机傅立叶特征向量
$ \varphi \left( {{{x}}\left( n \right)} \right) $ $$ \begin{array}{l} \varphi \left( {{{x}}\left( n \right)} \right) = {\left[ \begin{array}{c} \cos \left( {{{w}}_1^{\rm{T}}{{{x}}_n}} \right)\\ \vdots \\ \cos \left( {{{w}}_M^{\rm{T}}{{{x}}_n}} \right)\\ \sin \left( {{{w}}_1^{\rm{T}}{{{x}}_n}} \right)\\ \vdots \\ \sin \left( {{{w}}_M^{\rm{T}}{{{x}}_n}} \right) \end{array} \right]^{\rm{T}}} \end{array} $$ (12) 2) 得到自适应滤波器的输出
$ {{y}}\left( n \right) $ $$ \begin{array}{l} {{y}}\left( n \right) = {{{w}}^{\rm T}}\left( {n - 1} \right)\varphi \left( {{{x}}\left( n \right)} \right) \end{array} $$ (13) 3) 得到权重更新矩阵
$ {{w}}\left( n \right) $ $$ \begin{array}{l} {{w}}\left( n \right) = {{w}}\left( {n - 1} \right){\rm{ + }}\eta e\left( n \right)\varphi \left( {{{x}}\left( n \right)} \right) \end{array} $$ (14) 其中,
$ e\left( n \right) = d\left( n \right) - y\left( n \right) $ 表示预测误差.KLMS-RFN不需要存储重要样本, 可节省大量存储成本. 当所选样本较多时, KLMS-RFN的计算复杂度明显低于核矩阵的计算复杂度. 此外, KLMS-RFN还可以约束不断增长的权重网络的结构, 同时更新样本来跟踪输入的特征变化. 该模型已经在时间序列得到应用, 明显的提高了模型在非平稳环境下的预测性能[25].
1.6 基于KLMS在线预测的总结分析
通过对KLMS及其改进模型的说明, 就降低核矩阵维数、提高历史信息的利用效率方面来说, 可以看出KAF在时间序列在线预测领域已得到广泛的应用[44-46]. 在本节, 主要讨论基于KLMS在时间序列在线预测中出现的核矩阵计算量大, “冗余”信息利用效率低等问题的解决方法. 针对上述问题, 通过VQ来提高历史信息的利用效率, 并在此基础上采用预测误差来自适应更新滤波器结构, 降低核矩阵的维数.
KLMS是在高维特征空间中推导的, 它使用随机梯度方法解决最小二乘问题, 从Hadamard意义上来讲, KLMS不需要明确的正则化. KLMS及相应的改进模型已经在复杂时间序列中得到广泛的应用[19, 22, 24, 47]. KAF在一定程度上缩短了预测时间, 简化了核矩阵的计算步骤, 降低了计算复杂度, 也通过使用“冗余”样本, 提高了信息的利用效率, 提高了时间序列在线预测精度.
2. 基于KRLS在线预测算法
对于KRLS建模中出现的在线样本量和核矩阵维数的限制问题, 文献[26]提出滑动窗口核递归最小二乘方法(Sliding window kernel recursive least squares, SW-KRLS), 它只选取固定长度的序列样本进行计算, 从而降低核矩阵维度. 文献[27] 提出扩展核递归最小二乘(Extended kernel recursive least squares, EX-KRLS)算法, 该方法可以在KS内表达状态空间模型, 还可以利用状态空间模型动态表示在时变环境条件下的时间序列的变化趋势. 文献[28]提出固定预算核递归最小二乘(Fixed budget kernel recursive least squares, FB-KRLS)算法, 它只选取固定数量样本, 且保留相关性较强的数据样本进行计算, 抛弃相关性弱的数据样本, 该过程不仅降低了核矩阵的维度, 而且提高了预测精度. 文献[29] 提出核递归最小二乘跟踪(Kernel recursive least squares with tracker, KRLS-T)算法, 包括遗忘因子原则和数值稳定的方式, 它固定了内存量和每一个时间步长的计算, 限制了核矩阵的维数, 并以自然的方式结合正则化, 从而跟踪每次预测的时变特性. 与文献[22]类似, 文献[30]提出了量化核递归最小二乘(Quantization kernel recursive least squares, QKRLS)算法, 其基本思想也是通过量化操作压缩输入数据, 限制核矩阵维数, 该方法将“冗余”数据利用起来, 用以提高预测精度. 文献[31] 提出了多反馈核递归最小二乘(Multi-feedback kernel recursive least squares, MF-KRLS)算法, 它是利用多个先前输出来递归更新结构参数, 具有跟踪时变的特性. 文献[32] 提出自适应归一化稀疏核递归最小二乘(Adaptive normalized sparse kernel recursive least squares, ANS-KRLS)算法, 它结合一致性准则、ALD 和动态自适应调整来限制核矩阵维数, 同时提高了预测精度.
目前, KRLS已经广泛应用于数据挖掘、机器学习等领域[20]. KRLS将输入样本通过Mercer 核映射到高维特征空间, 然后在高维特征空间中利用矩阵反演引理执行线性回归, 从而在线解决复杂时间序列预测问题[48-57]. 以下将详细说明基于KRLS及其改进方法的时间序列在线预测机理.
2.1 核递归最小二乘算法
KRLS利用矩阵反演引理简化核矩阵的求逆过程, 目的在于简化计算, 并降低存储要求、提高预测效率. 目前, KRLS 已经在复杂时间序列预测中展现出较好的预测性能[20], 它能够以在线的形式实时处理样本序列.
KRLS模型的ALD阈值是根据经验获得, 太大或太小都会降低预测精度[20]. 当样本进入KRLS模型后, 计算该样本与当前字典在特征空间的线性扩展距离
$\delta \left( i \right),$ 如果大于$\nu,$ 那么该样本满足要求被加入字典进行预测. 反之, 如果小于$\nu,$ 那么该数据样本被移除, 这保证了核矩阵维数的有限性.$$ \begin{array}{l} \delta \left( i \right) = {\left\| {\displaystyle\sum\limits_{k = 1}^{i - 1} {\alpha \left( k \right)\varphi \left( {{{x}}\left( k \right)} \right) - \varphi \left( {{{x}}\left( i \right)} \right)} } \right\|^2} > \nu \end{array} $$ (15) 其中,
$ \nu $ 是设置的ALD阈值.根据以上过程, 得到权重矩阵
${{w}}\left( i \right)\!.$ $$ \begin{split} {{w}}\left( i \right) =&{\left[ {\lambda {{I}} + \Phi {{\left( i \right)}^{\rm{T}}}\Phi \left( i \right)} \right]^{ - 1}}\Phi \left( i \right){{d}}\left( i \right) = \Phi \left( i \right)\times\\ &{\left[ {\lambda {{I}} + \Phi {{\left( i \right)}^{\rm{T}}}\Phi \left( i \right)} \right]^{ - 1}}{{d}}\left( i \right) \end{split} $$ (16) 其中,
$ \lambda $ 是正则化参数,$ {{\Phi}} \left( i \right) $ 表示特征空间映射后的输入矩阵,$ {{I}} $ 表示单位矩阵,$ d\left( i \right) $ 表示期望输出. 该过程使用矩阵反演引理.再将
${{w}}\left( i \right)$ 代入输出模型, 得到输出结果$f\left( {{{{u}}_ * }} \right)\!.$ $$ \begin{array}{l} f\left( {{{{u}}_ * }} \right) = \displaystyle\sum\limits_{j = 1}^i {{{{\alpha}} _j}\left( i \right)k\left( {{{u}}\left( j \right),{{{u}}_ * }} \right)} \end{array} $$ (17) 根据上述过程对预测结果进行分析[48-51], 得到复杂系统下一步的发展趋势及实时信息, 最终做出更科学的决策.
与第1节的KLMS相比, 就收敛速度而言, KRLS模型比KLMS模型小一个数量级, 但是这种性能的改善是以增加计算复杂度为代价的. 所以, 如何改善预测模型的计算复杂度? 第2.2节
$\sim $ 第2.8节对给出的多种改进方法进行详细说明.2.2 滑动窗口核递归最小二乘算法
滑动窗口核递归最小二乘方法[26]是Van Vaerenbergh等于2006年提出. SW-KRLS是结合滑动窗和传统L2范数正则化得到的. SW-KRLS中滑动窗对核矩阵维数的要求是固定而非限制, 是始终保持字典的维度不变. L2范数正则化则是改进了模型的泛化能力. 该方法多用于无记忆非线性系统, 并在时变环境、跟踪突变问题上体现出较好的预测性能. 在SW方法中, 选定窗口
$n,$ 得到正则化核矩阵${{{K}}_n}.$ $$ \begin{array}{l} {{{K}}_n} = {{\tilde{ X}}_n}{\tilde{ X}}_n^{\rm{T}} + c{{I}} \end{array} $$ (18) 其中,
$ c $ 是正则化参数,$ {{I}} $ 表示单位矩阵, 观测矩阵被表示为$ {{{X}}_n} = {\left[ {{X_n},{X_{n - 1}}, \cdot \cdot \cdot ,{X_{n - N + 1}}} \right]^{\rm{T}}} .$ 当处于在线环境时, 核矩阵的维数取决于观测值$ N. $ 如何保持核矩阵维度固定不变？对于新到来样本, 核矩阵添加新行和新列通过式(20)实现, 核矩阵移除最旧行和列可通过式(19)实现.
$$ \begin{array}{l} {{{K}}^{ - 1}} = \left[ {\begin{array}{*{20}{c}} {{{{A}}^{ - 1}}\left( {{{I}} + {{b}}{{{b}}^{\rm{T}}}{{{A}}^{ - 1\rm{H}}}g} \right)}&{ - {{{A}}^{ - 1}}{{b}}g}\\ { - {{\left( {{{{A}}^{ - 1}}{{b}}} \right)}^{\rm T}}g}&g \end{array}} \right]\\[-18pt] \end{array} $$ (19) $$ \begin{array}{l} {{{D}}^{ - 1}} = {{G}} - \frac{{{f}}{{f}}^{\rm{T}}}{e} \end{array}\qquad\qquad\qquad\qquad \quad$$ (20) 其中,
$ {{A}} $ 是非奇异矩阵,$g = {\left( {d - {{{b}}^{\rm{T}}}{{{A}}^{ - 1}}{{b}}} \right)^{ - 1}},$ $ {{K}} $ 是添加新行和列后的矩阵,$ {{D}} $ 是移除最旧行和列后的矩阵,$ {{{b}}^{\rm{T}}}{{f}}{\rm{ + }}dg = 1 .$ 根据以上过程, 得到系数矩阵
${{{\alpha}} _n}.$ $$ \begin{array}{l} {{{\alpha}} _n} = {{K}}_n^{ - 1}{{{y}}_n} \end{array} $$ (21) 其中,
$ {{y}}\left( n \right) = \left[ {{y_n},{y_{n - 1}}, \cdot \cdot \cdot ,{y_{n - N + 1}}} \right] $ 表示观测向量,${{K}}_n^{ - 1} = \left( {{{K}} + c{{I}}} \right).$ SW-KRLS采用正则化解决了过拟合问题, 并结合滑动窗口(Sliding window, SW)和矩阵反演引理来解决计算复杂度的限制问题, 不仅节省了内存空间, 简化了计算, 也提高了预测精度[26].
2.3 扩展核递归最小二乘算法
2009年Liu等又提出了在RKHS中的扩展递归最小二乘算法的核化形式, 即扩展核递归最小二乘算法[27]. EX-KRLS在RKHS中首次实现了一般线性状态模型.
EX-KRLS使用显式状态转移和卡尔曼滤波器来学习内核回归权向量, 也通过样本数据完成在线学习[27]. 当
$ {{A}} = \alpha {{I}} $ 时, 得到的状态转换模型(22)与观测模型(23).$$ \begin{array}{l} {{x}}\left( {i + 1} \right) = \alpha {{x}}\left( i \right) + {{n}}\left( i \right) \end{array} $$ (22) $$ \begin{array}{l} {{d}}\left( i \right) = {{\varphi}} ^{\rm{T}}{\left( i \right)}{{x}}\left( i \right) + {{v}}\left( i \right) \end{array} $$ (23) 其中,
$ {{\varphi}} \left( i \right) \in {{F}} $ 代替${{u}}\left( i \right) \in {{U}},$ $ \alpha $ 是一个升降参数, 既可放大也可衰减.EX-KRLS具有明确的状态转移过程, 且可以提高KRLS的跟踪能力[27], 其跟踪模型如式(24).
$$ \begin{array}{l} {{a}}\left( i \right) = \left[ {\begin{array}{*{20}{c}} {{{a}}\left( {i - 1} \right) - {{z}}\left( i \right){{r}}^{ - 1}{{\left( i \right)}}e\left( i \right)}\\ {{{r}}^{ - 1}{{\left( i \right)}}e\left( i \right)} \end{array}} \right] \end{array} $$ (24) 其中,
${{r}}\left( i \right) = \lambda {\rm{ + }}{{\varphi}}^{\rm{T}} {\left( i \right)}{{\varphi}} \left( i \right) - {{z}}^{\rm{T}}{\left( i \right)}{{k}}\left( i \right),\ \lambda$ 是用以控制初始状态向量的正则化参数,$ {{z}}\left( i \right) $ 表示非奇异矩阵,$ {{k}}\left( i \right) $ 表示核矩阵,$ e\left( i \right) $ 是预测误差,$ {{a}}\left( i \right) $ 是系数矩阵, 它们都是根据样本点不断地自适应更新. 所以, EX-KRLS适合于慢衰落、状态变化小的非线性系统建模.2.4 固定预算核递归最小二乘算法
对于计算复杂度较大问题, 固定预算核递归最小二乘方法于2010年被Van Vaerenbergh等提出[28]. 其中FB准则在限制内存的同时, 不仅减少预测时间, 还提高历史信息的利用效率.
FB准则是Dekel等在2006年提出的. 在预测时间序列样本时, 随着新样本的加入, 直到字典达到预设阈值M之前, FB 准则不起作用. 当样本达到M+1时, 核矩阵如式(25), FB起作用, 抛弃最不重要、不相关的数据如式(26), 期间字典大小始终为M, 即当新样本满足条件时, 就删除最不相关的数据. 反之, 新样本如果不满足条件, 那么新样本就不被允许加入字典, 即字典保持原来的状态不变. 该过程不仅限制了输入数据的维数, 也提高了数据利用效率.
$$ \begin{array}{l} {\hat{ K}}_n^{ - 1} = \left[ {\begin{array}{*{20}{c}} {{{K}}_{n - 1}^{ - 1} + g{{e}}{{{e}}^{\rm{T}}}}&{ - g{{e}}}\\ { - g{{{e}}^{\rm{T}}}}&g \end{array}} \right] \end{array}\qquad\qquad $$ (25) $$ \begin{array}{l} {\hat{ K}}_n^{ - 1} = \left[ {\begin{array}{*{20}{c}} e&{{{{f}}^{\rm{T}}}}\\ {{f}}&{{G}} \end{array}} \right] \Rightarrow {{K}}_n^{ - 1} = {{G}} - \frac{{{f}}{{{f}}^{\rm{T}}}}{e} \end{array} $$ (26) 其中,
$ {{\hat{ K}}_n} $ 表示添加新行和列的核矩阵,${{e}} = {{K}}_{n - 1}^{ - 1}{{b}},$ $ g = {\left( {d - {{{b}}^T}e} \right)^{ - 1}} $ ,${{{b}}^{\rm{T}}}{{f}}{\rm{ + }}dg = 1,$ $ {{{K}}_n} $ 表示移除任意行和列的核矩阵.为保持核矩阵维度不变, FB准则中的抛弃计算如下所示:
$$ \begin{array}{l} d\left( {{{{x}}_i},{y_i}} \right) = \dfrac{\left| {{{{\alpha}} _i}} \right|}{{\left[ {{\hat{ K}}_n^{ - 1}} \right]_{i,i}}} \end{array} $$ (27) 根据上述抛弃准则, FB-KRLS模型可以有效地跟踪时变序列的信息[28]. FB-KRLS 主要应用于非线性系统识别问题. 它不仅能够保持内存不变, 抛弃最不重要的样本点, 提高信息利用效率, 而且其标签更新过程也表现出模型的跟踪时变特性, 更拓宽了FB-KRLS的应用范围[28].
2.5 核递归最小二乘跟踪算法
不同于SW-KRLS、EX-KRLS和FB-KRLS, 核递归最小二乘跟踪[29]是引入贝叶斯框架, 在统一现有的KRLS 理论下, 提出的“遗忘”的概念, 即通过明确方式处理复杂的时间序列数据. 为保证最优性能, 需要确定核参数、正则化参数, 以及在非平稳环境中的遗忘因子.
由于KRLS-T等价于特定时空协方差的高斯过程(Gaussian processing, GP)回归模型, 所以可通过GP 超参数估计来确定KRLS-T 的所有参数. 采用潜在函数边缘化的方法, 用超参数表示观测数据的概率[29].
$$\begin{split} \ln p\left( {{y}|\delta ,\sigma ,\varepsilon } \right) =& - \frac{1}{2}{{{y}}^{\rm{T}}}{\left( {{{\Lambda}} \circ {{K}} + {\sigma ^2}{{I}}} \right)^{ - 1}}{{y}}-\\ & \frac{1}{2}\left| {{{\Lambda}} \circ {{K}} + {\sigma ^2}{{I}}} \right| - \frac{n}{2}\ln \left( {2 \text{π} } \right) \end{split} $$ (28) 其中,
$ \circ $ 表示Hadamard乘积,$ {{\Lambda}} $ 是一个对角矩阵, 它的第$ j $ 个对角元素值为$ {\lambda ^{\frac{{\left| j \right|}}{2}}} $ ,$\lambda \in \left( {0,1} \right].$ 在KRLS-T中, 需要存储和更新三个变量: 1) 字典中与基对应的当前预测均值
$ {{{\mu}} _t} $ ; 2) 表示先验值的核逆矩阵$ {{{Q}}_t} = {{K}}_t^{ - 1} $ ; 3) 相应的预测方差$ {{\Sigma} _t} $ 它可以捕获后验协方差.$$\begin{array}{l} {{{\mu}} _{_t}} = \dfrac{{{y_t}k\left( {{{{x}}_t},{{{x}}_t}} \right)}}{{\sigma _n^2 + k\left( {{{{x}}_t},{{{x}}_t}} \right)}}n \end{array}\qquad\quad$$ $${{K}}_t^{ - 1} = {{{Q}}_t} = k\left( {{{{x}}_i},{{{x}}_j}} \right) + \varepsilon {\delta _{ij}}$$ $${{{h}}_{t + 1}} = \sum_t {{{q}}_{t + 1}}\qquad\qquad\quad$$ 其中,
${{{q}}_{t + 1}} = {{{Q}}_t}{{{k}}_{t + 1}},$ $ \varepsilon $ 是遗忘因子且$\varepsilon \in \left( {0,1} \right),$ $ {\sigma ^2} $ 是超参数,$ \delta $ 是正则化参数.因为KRLS-T不能提供对过去时刻的预测, 仅保留与当前时刻相关的小部分样本, 所以对短期时间序列预测有更好的预测效果. 同时这样的预测机制极大降低了计算成本[29].
2.6 量化核递归最小二乘算法
Chen等于2013年又将VQ应用到KRLS模型, 它是以递归形式被推导得到量化核递归最小二乘算法[30]. QKRLS也是将输入空间量化分配, 其基本思想也是使用较小数据集来表示整个输入数据的信息, 从而提高预测精度[23, 30].
VQ具有多种优势: 1) 计算简单; 2) 量化的大小比较容易选择; 3) 冗余数据可以很容易的被利用, 用以提高预测性能.
首先在线VQ需要设置量化尺码
$\varepsilon,$ 然后计算$ {{u}}\left( i \right) $ 和$ {{C}}\left( {i - 1} \right) $ 之间的距离.$$ \begin{array}{l} dis\left( {{{u}}\left( i \right),{{C}}\left( {i - 1} \right)} \right) = \left\| {{{u}}\left( i \right) - {{{C}}_{{j^ * }}}\left( {i - 1} \right)} \right\| \end{array} $$ (29) 其中,
${j^ * } = \mathop {\arg \min }\nolimits_{1\le j \le\left| {{{{{C}}}}\left( {i - 1} \right)} \right|} \left\| {{{u}}\left( i \right) - {{{C}}_j}\left( {i - 1} \right)} \right\|,$ $ {{{C}}_j}\left( {i - 1} \right) $ 表示$ {{C}}\left( {i - 1} \right) $ 的第$ j $ 个元素.当新样本
$ {{u}}\left( i \right) $ 进入预测模型时, 如果$ dis ( {{u}}\left( i \right),$ $ {{C}}\left( {i - 1} \right)) $ 不大于$\varepsilon,$ 此时的量化码本保持不变, 用式(30)更新权重系数矩阵. 如果$dis ( {{u}}\left( i \right),{{C}}\left( {i - 1} \right)) $ 小于$\varepsilon,$ 那么新样本被加入到量化码本$ {{C}}\left( \cdot \right) $ 中, 用式(31)更新权重系数.$$ \begin{split} {{\tilde{ \alpha}} ^ * }\left( i \right) =\;& {{\tilde{ \alpha}} ^ * }\left( {i - 1} \right) + \\ &\frac{{{{{P}}_{{j^ * }}}\left( {i - 1} \right)\left[ {{{y}}\left( i \right) - {\tilde{ K}}_{j^ * }^{\rm{T}}{{\left( {i - 1} \right)}}{{{\tilde{ \alpha}} }^ * }\left( {i - 1} \right)} \right]}}{{1 + {{\tilde{ K}}}_{j^ * }^{\rm{T}}{{\left( {i - 1} \right)}}{{{P}}_{{j^ * }}}\left( {i - 1} \right)}} \end{split} $$ (30) $$ \begin{array}{l} {{\tilde{ \alpha}} ^ * }\left( i \right) = \left[ {\begin{array}{*{20}{c}} {{{{\tilde{ \alpha}} }^ * }\left( {i - 1} \right) - {{{z}}_\Lambda }\left( i \right){{r}}^{ - 1}{{\left( i \right)}}{{e}}\left( i \right)}\\ {r^{ - 1}{{\left( i \right)}}{{e}}\left( i \right)} \end{array}} \right] \end{array}\quad $$ (31) 其中,
${{{z}}_\Lambda }( i ) = {{P}}( {i - 1} ){{\Lambda}} ( {i - 1} ){{h}}( i ), {{e}}( i ) = {{y}}( i ) -$ ${{h}}^{\rm{T}}{\left( i \right)}{{\tilde{ \alpha}} ^ * }\left( {i \!-\! 1} \right) , {{z}}\left( i \right) \!=\! {{P}}^{\rm{T}}{\left( {i \!-\! 1} \right)}{{h}}\left( i \right), {{r}}\left( i \right) \!=\! \gamma \!+\! {{\kappa}} ( {{u}}\left( i \right)\!,$ ${{u}}\left( i \right) ) - {{h}}^{\rm{T}}{\left( i \right)}{{{z}}_\Lambda }\left( i \right)\!.$ QKRLS在预测时间序列时, 除了能够保持期望性能, 在产生紧凑模型方面也非常有效[30]. 计算复杂度和预测精度之间的折衷也可以通过改变量化码本的大小进行简单、有效地控制.
2.7 多反馈核递归最小二乘算法
近年来, 大多数KAF都是无反馈结构的预测模型[26-30]. 在第1.3节, SF-KLMS首次将反馈结构引入KAF模型. 随后Wang等在2017年提出了具有反馈结构的多反馈核递归最小二乘算法[31]. MF-KRLS 是将延迟输出与最近的输入结合来估计最近输出的过程.
在MF-KRLS结构中, 它的前馈系数(Feed forward coefficient, FFC)和反馈系数(Feedback coefficient, FBC)利用最速下降法进行更新. 同时MF-KRLS采用多个先前的输出以递归的形式更新结构参数. FFC和FBC都采用最速下降法进行在线更新.
$$ \begin{array}{l} {{\alpha}} \left( {i + 1} \right) = \left[ {\begin{array}{*{20}{c}} {{{\alpha}} \left( i \right)}\\ 0 \end{array}} \right] + \dfrac{{{\eta _\alpha }\left( i \right)}}{{{\rho _\alpha }\left( i \right)}}{{{D}}_\alpha }\left( i \right){{e}}\left( i \right) \end{array} $$ (32) $$ \begin{array}{l} {{\lambda}} \left( {i + 1} \right) = \left[ {\begin{array}{*{20}{c}} {{{\lambda}} \left( i \right)}\\ 0 \end{array}} \right] + \dfrac{{{\eta _\lambda }\left( i \right)}}{{{\rho _\lambda }\left( i \right)}}{{{D}}_\lambda }\left( i \right){{e}}\left( i \right) \end{array} $$ (33) 其中,
$ {\mu _\alpha }\left( i \right) = {\eta _\alpha }\left( i \right)/{\rho _\alpha }\left( i \right) $ 表示FFC的步进参数,$ {\mu _\lambda }\left( i \right) = {\eta _\lambda }\left( i \right)/{\rho _\lambda }\left( i \right) $ 表示FBC的步进参数.${{{D}}_\alpha }\left( i \right) = $ $\partial {{y}}\left( i \right)/\partial {{\alpha}} \left( i \right),$ ${{{D}}_\lambda }\left( i \right) = \partial {{y}}\left( i \right)/\partial {{\lambda}} \left( i \right).$ 根据上述分析, 在时变环境中, MF-KRLS具有较好的自适应更新调整能力, 在估计精度和收敛速率上也得到改善[31].
将FFC和FBC代入输出模型得到
${{y}}\left( i \right)\!.$ $$ \begin{array}{l} {{y}}\left( i \right) = \displaystyle\sum\limits_{j = 1}^i {k\left( {{{u}}\left( i \right),{{u}}\left( {{C_j}} \right)} \right){{\alpha}} \left( j \right) + {{\lambda}} \left( j \right){{y}}\left( {i - 1} \right)}\end{array} $$ (34) 在MF-KRLS的时间序列在线预测应用中, 其前馈和反馈结构的有效结合不仅提高了KRLS的滤波精度, 还加快了收敛速度[31].
2.8 自适应归一化稀疏核递归最小二乘算法
随着在线稀疏方法的不断发展, Han等于2017年提出自适应归一化稀疏核递归最小二乘方法[32], 该方法已经在多元混沌时间序列在线预测方面得到较好的预测性能.
ANS-KRLS是结合动态调整策略和一致性准则(Coherence criterion, CC), 并基于KRLS得到的改进模型. 在ANS-KRLS中, 一致性准则不仅可以减少核矩阵维度, 还可以降低模型的计算复杂度. 动态调整策略在时变环境中具有自适应调整权值的能力.
首先, 动态调整过程权重系数
$ {\tilde{ \alpha}} \left( i \right) $ 的更新过程如下所示:$$ \begin{split} {\tilde{ \alpha}} \left( i \right) =\;& {\tilde{ \alpha}} \left( {i - 1} \right) + \\ &\frac{{{{q}}\left( i \right){{{\tilde{ K}}}^{ - 1}}\left( i \right)\left( {{{y}}\left( i \right) - {\tilde{ k}}_{i - 1}^{\rm{T}}\left( {{{x}}\left( i \right)} \right){\tilde{ \alpha}} \left( {i - 1} \right)} \right)}}{{\varepsilon + {{\left\| {{\tilde{ k}}_{i - 1}^{\rm{T}}\left( {{{{{x}}}}\left( i \right)} \right)} \right\|}^2}}} \end{split} $$ (35) 其中,
${{q}}\left( i \right) = \dfrac{{{{q}}\left( i \right){{\alpha}} \left( i \right)}}{{1 + {{\alpha}}^{\rm{T}} {{\left( i \right)}}{{q}}\left( i \right){{\alpha}} \left( i \right)}},$ $ {{q}}\left( i \right) $ 是正则自相关矩阵,$ \varepsilon $ 用以避免误调的发生.其次, 一致性稀疏准则如下式所示:
$$ \begin{array}{l} \mu = \mathop {\max }\limits_{j = 1,2, \cdot \cdot \cdot ,i - 1} \left| {k\left( {{{x}}\left( i \right),{{x}}\left( j \right)} \right)} \right| \end{array} $$ (36) 其中,当
$\mathop {\max }\nolimits_{j = 1,2, \cdot \cdot \cdot ,i - 1} \left| {k\left( {{{x}}\left( i \right),{{x}}\left( j \right)} \right)} \right| \le{\mu _0},$ $ {{x}}\left( j \right) $ 被加入字典. 否则, 字典保持不变, 且$\mu \in \left( {0,1} \right).$ 当新样本到来时, 如果
$ {{x}}\left( j \right) $ 不满足式(15)且式(36)不大于$ {\mu _0} $ 时, 新样本$ {{x}}\left( j \right) $ 被加入字典, 权重系数根据式(37)进行更新. 如果$ {{x}}\left( j \right) $ 不满足式(15), 或式(36)大于$ {\mu _0} $ 时, 字典大小保持不变, 此时根据式(35)更新权重系数.$$ \begin{split} \begin{array}{l} {\tilde{ \alpha}} \left( i \right) = \dfrac{1}{{\delta \left( i \right)}}\\ \quad \left[ {\begin{array}{*{20}{c}} {{\tilde{ \alpha}} \left( {i \!-\! 1} \right) \!-\! {\tilde{ \alpha}} \left( i \right)\left( {{{y}}\left( i \right) \!- \!{\tilde{ k}}_{i \!-\! 1}^{\rm{T}}\left( {{{x}}\left( i \right)} \right){\tilde{ \alpha}} \left( {i - 1} \right)} \right)}\\ {\left( {{{y}}\left( i \right) \!-\! {\tilde{ k}}_{i \!-\! 1}^{\rm{T}}\left( {{{x}}\left( i \right)} \right){\tilde{ \alpha}} \left( {i \!-\! 1} \right)} \right)} \end{array}} \right] \end{array} \end{split} $$ (37) 其中,
$ \delta \left( i \right) $ 表示ALD阈值.总之, ANS-KRLS在时间序列在线预测可通过上述稀疏过程降低计算复杂度. ANS-KRLS还具有在线操作和在时变环境中自适应调整的能力. 所以, ANS-KRLS在提高预测精度和效率方面更具优势[32].
2.9 基于KRLS在线预测的总结分析
通过以上对KRLS及其改进模型的介绍, 就基于KRLS时间序列在线预测方法中改进的KAF模型而言, SW-KRLS、FB-KRLS、QKRLS和ANS-KRLS是以不同类型的“稀疏”方式来简化核矩阵维数, 从而降低计算复杂度、提高预测精度. EX-KRLS、KRLS-T 除了降低计算复杂度和提升预测精度外, 在跟踪时变方面也展现出优越的性能. 而MF-KRLS是以添加反馈结构的形式来提高模型的预测精度.
KRLS改进方法的自相关矩阵在后期运算时会出现秩亏的现象, 引入正则化可以解决秩亏的问题. 和第1 节的KLMS模型相比, KRLS的不同之处在于需要明确的正则化. 但该正则化过程也存在以下问题: 随着数据样本的增加, 正则化的效率会开始缓慢地减弱.
从以上分析可知, 基于KAF的时间序列在线预测在降低计算复杂度、提高预测精度和效率, 以及在跟踪时变方面都展现出较好的优势[58-60].
3. 基于KAPA在线预测算法
对于KAPA建模中出现的计算复杂度和核矩阵维数限制问题, 文献[33]提出了归一化复合核仿射投影算法(Normalized composite kernel affine projection algorithm, NC-KAPA). 文献[34]提出并行滑动窗口核仿射投影算法(Parallel sliding window kernel affine projection algorithm, PSW-KAPA)和级联滑动窗口核仿射投影算法(Cascade sliding window kernel affine projection algorithm, CSW-KAPA). 文献[35]首次将多核引入APA 中, 提出混合核仿射投影算法(Kernel hybrid affine projection algorithm, KHAPA), 它将最大相关熵准则与均方误差策略结合来改进KAPA. 文献[36]提出了量化核仿射投影算法(Quantization kernel affine projection algorithm, QKAPA), 它将矢量量化操作应用于KAPA 来提高预测精度.
KAPA是Liu等在2008年提出的, 它是由核技巧与APA (Affine projection algorithm)[61] 结合产生的非线性扩展方法[21, 62]. KAPA使用随机梯度法解决最小二乘问题, 该非线性扩展已经在时间序列在线预测领域得到广泛应用[21]. 以下将详细说明基于KAPA 及其改进方法的时间序列在线预测机理.
3.1 核仿射投影算法
KAPA通过类似KLMS的方法将APA扩展到RKHS中, 除了样本数量以外, 还存在另外两个自由度: 1) 代价函数的正则化; 2) Newton更新方法. 文献[21]通过输入相关矩阵的特征值扩展来解决梯度下降法收敛速度慢的问题.
根据不同的参数设置得到不同KAPA, 从而组成KAPA族.
1) 根据梯度下降法得到KAPA-1的权重矩阵
${{{w}}_1}\left( i \right).$ $$ \begin{array}{l} {{{w}}_1}\left( i \right) = {{w}}\left( {i - 1} \right) + \eta {{\Phi}} \left( i \right)\left[ {{{d}}\left( i \right) - {{{\Phi}} ^{\rm{T}}}\left( i \right){{w}}\left( {i - 1} \right)} \right] \end{array} $$ (38) 其中,
$ \eta $ 表示学习率,$ d\left( i \right) $ 表示期望输出.2) 根据Newton法得到KAPA-2的权重矩阵
${{{w}}_2}\left( i \right).$ $$ \begin{split} {{{w}}_2}\left( i \right) =& {{w}}\left( {i - 1} \right) + \eta {{\Phi}} \left( i \right){\left[ {{{{\Phi}} ^{\rm{T}}}\left( i \right){{\Phi}} \left( i \right){\rm{ + }}\varepsilon {{I}}} \right]^{ - 1}}\times \\ & \left[ {{{d}}\left( i \right) - {{{\Phi}} ^{\rm{T}}}\left( i \right){{w}}\left( {i - 1} \right)} \right] \end{split} $$ (39) 其中,
$ {{\Phi}} \left( i \right) = \left[ {\varphi \left( {i - K + 1} \right), \cdot \cdot \cdot ,\varphi \left( i \right)} \right] $ ,$ \varepsilon $ 是正则化参数.3) 再给定正则化代价函数, 根据随机梯度下降法可得到KAPA-3的权重矩阵
${{{w}}_3}\left( i \right).$ $$ \begin{split} {{{w}}_3}\left( i \right) = &\left( {1 - \lambda \eta } \right){{w}}\left( {i - 1} \right) +\\ & \eta {{\Phi}} \left( i \right)\left[ {{{d}}\left( i \right) - {{{\Phi}} ^{\rm{T}}}\left( i \right){{w}}\left( {i - 1} \right)} \right] \end{split} $$ (40) 4) 相应地, 再根据Newton法得到KAPA-4的权重矩阵
${{{w}}_4}\left( i \right).$ $$ \begin{split} {{{w}}_4}\left( i \right) =& \left( {1 - \eta } \right){{w}}\left( {i - 1} \right) +\\ & \eta {{\Phi}} \left( i \right){\left[ {{{{\Phi}} ^{\rm{T}}}\left( i \right){{\Phi}} \left( i \right){\rm{ + }}\lambda {{I}}} \right]^{ - 1}}{{d}}\left( i \right) \end{split} $$ (41) 其中,
$ \lambda $ 也是正则化参数, 当传统风险最小化病态时, 通常是约束解的范数$\mathop {\min }\nolimits_w E{\left| {{{d}} - {{{w}}^{\rm{T}}}{{\varphi}} \left( i \right)} \right|^2} +$ $ \lambda {\left\| {{w}} \right\|^2} $ , 得到式(40). 与KAPA-1 不同, KAPA-3添加了尺度因子$ \left( {1 - \lambda \eta } \right) $ 用于对先前数据强加“遗忘”机制, 并使该部分数据的影响呈指数下降趋势.上述的4种变换中, 前三种都需要误差信息来更新网络, 计算量较大. 而KAPA-4不需要, 因为它只需对一个 阶的矩阵求逆. 总之, KAPA算法的性能已经在时间序列、信道均衡方面得到体现[21, 62].
3.2 归一化复合核仿射投影算法
近年来, KLMS和KRLS及其改进模型的研究都集中在单核形式. Ogunfunmi等在2011年首次将复合核应用于APA 模型, 得到归一化复合核仿射投影算法[33]. 该算法适用于复杂数据的实时非线性建模.
在NC-KAPA中, 使用复杂核函数
$ \kappa \left( {{{z}},{{w}}} \right)\!. $ $$ \begin{array}{l} \kappa \left( {{{z}},{{w}}} \right) = \exp \left( { - \sigma \displaystyle\sum\limits_{i = 1}^N {{{\left( {{{{z}}_i} - {{w}}_i^ * } \right)}^2}} } \right) \end{array} $$ (42) 其中,
${{z}},{{w}} \in {C^N},\sigma $ 是影响转换映射的核参数.定义
${{{X}}_{ap}}\left( i \right) = \left[ {{{\Phi}} \left( {{{z}}\left( {i - K + 1} \right)} \right) \cdot \cdot \cdot {{\Phi}} \left( {{{z}}\left( i \right)} \right)} \right],$ 得到权重矩阵$ {{w}}\left( i \right) .$ $$\begin{split} {{w}}\left( i \right) =\;& {{w}}\left( {i - 1} \right) + \mu {{{X}}_{ap}}\left( i \right) \times \\ &{\left[ {{{X}}_{_{ap}}^{\rm{T}}\left( i \right){{{X}}_{ap}}\left( i \right){\rm{ + }}\varepsilon {{I}}} \right]^{ - 1}}{{e}}_{ap}^ * \left( i \right) \end{split}$$ 其中,
$ {{{\lambda}} _{ap}}\left( i \right) = {\left( {{{X}}_{_{ap}}^{\rm{T}}\left( i \right){{{X}}_{ap}}\left( i \right)} \right)^{ - 1}}{{e}}_{ap}^ * \left( i \right), \varepsilon $ 正平滑因子,$ {{{e}}_{ap}} = {\left( {{{X}}_{_{ap}}^{\rm{T}}\left( i \right){{{X}}_{ap}}\left( i \right){{{\lambda}} _{ap}}\left( i \right)} \right)^ * } , \mu $ 的选择需考虑稳定性、收敛速度和失调.NC-KAPA算法在理论上推导并扩展了复杂RKHS的Wirtinger演算, 最终还得到APA的梯度MSE代价函数. 该算法更适用于对收敛速率要求较高的高维复杂的混沌时间序列的在线预测[33].
3.3 并行、级联滑动窗口核仿射投影算法
由上节Ogunfunmi等提出的NC-KAPA[33]可知, KAF的发展已经由单核研究逐渐过渡到多核研究[63]. 2012年Gil-Cacho等提出并行和级联滑动窗口核仿射投影算法[34]. 该类算法由线性核和高斯核的加权和组成. 机理是分离线性和非线性子问题.
PSW-KAPA的并行配置在KAPA-3中可直接应用得到核矩阵
${{{k}}_{wsk}}.$ $$ \begin{array}{l} {{{k}}_{wsk}}\left( {i,j} \right) = \alpha {{{k}}_L}\left( {i,j} \right) + \beta {{{k}}_G}\left( {i,j} \right) \end{array} $$ (43) 其中,
${{k}}\left( {i,j} \right) = \exp \left( { - \kappa {{\left\| {{{X}}\left( i \right) - {{X}}\left( j \right)} \right\|}^2}} \right),$ $ \kappa $ 是高斯核参数,$\alpha < 1,$ $\beta {\rm{ = 1 - }}\alpha.$ CSW-KAPA中的级联结构由以下2个步骤组成: 1) 独立执行标准线性归一化最小均方算法(Normalized least mean square, NLMS), 存储滤波器输出. 2) 将存储的NLMS输出用作SW-KAPA 的输入. 得到基于PSW-KAPA和CSW-KAPA 的预测输出
${\hat{ y}}\left( i \right).$ $$ \begin{array}{l} {\hat{ y}}\left( i \right) = {{\hat{ h}}^{\rm{T}}}\left( i \right){{X}}\left( i \right) \end{array} $$ (44) 其中,
$ {\hat{ h}}\left( i \right) $ 是NLMS的权重向量.与KAPA相比, PSW-KAPA和CSW-KAPA降低了计算复杂度. 与线性NLMS相比, 它提高了预测性能. PSW-KAPA和CSW-KAPA 中核函数的分离、加权和过程都在滑动窗口方法中执行. 当对其施加不同的“遗忘”机制时, 它又转化为更灵活的正则化形式, 进一步提高时间序列的预测性能[34].
3.4 核混合仿射投影算法
2014年Yang等提出了核混合仿射投影算法[35]. KHAPA将混合准则(Hybrid criteria, HC)应用于APA 中, 并将得到的HAPA映射到RKHS. HC是均方误差和最大相关熵准则(Maximum correntropy criterion, MCC)的混合.
HC是从最小裁剪平方(Least trimmed squares, LTS)估计的角度避免异常值的过度影响. 在LTS中, 数据通过排序的方式被分为两类: 正常数据集和异常值数据集, 且异常值数据被完全丢弃. HC不是单纯地丢弃这些数据, 而是对大数据采用鲁棒MCC 准则. KHAPA就是利用上述准则来进一步提高预测性能[35].
HC准则不仅避免了异常值的过度影响, 还充分利用了异常值, 从而获得更好的性能. 定义HC如式(45), 并将HC 应用于KAPA模型, 用
$ {f_i} $ 表示它的学习映射.$$ \begin{split} {{{W}}_{HC}} = &\arg \min {{{J}}_{HC}} = \\\arg \min &\left( {\sum\limits_{i = 1}^M {{{e}}_{_{j\left( i \right)}}^2} - \sum\limits_{i = M + 1}^N {{{e}}\exp \left( { - \frac{{{{e}}_{_{j\left( i \right)}}^2}}{{2{\sigma ^2}}}} \right)} } \right) \end{split} $$ (45) $$ \begin{array}{l} {f_i} = {f_{i - 1}} + \eta {K_i}{\xi _i} \end{array} $$ (46) 其中,
$ {{{K}}_i} = \left[ {\kappa \left( {{x_{i{\rm{ - }}L{\rm{ + }}j\left( 1 \right)}}, \cdot } \right), \cdot \cdot \cdot ,\kappa \left( {{x_{i{\rm{ - }}L{\rm{ + }}j\left( L \right)}}, \cdot } \right)} \right], $ $ {\xi _i} = \left[ {{{{e}}_{i - L + j\left( i \right)}},{{{e}}_{i - L + j\left( {i + 1} \right)}}\exp \left( { - \dfrac{{{{e}}_{_{{e_{i - L + j\left( {i + 1} \right)}}}}^2}}{{2{\sigma ^2}}}} \right)} \right] $ $ \left( {i = 1, \cdot \cdot \cdot ,M} \right) $ ,$ \eta $ 是学习率.HC充分利用了数据, 避免了异常值数据集的不恰当影响. 所以KHAPA在时间序列预测过程中提高了数据的利用效率, 同时也得到了更准确的预测结果[35].
3.5 量化核仿射投影算法
2015年Ren等提出量化核仿射投影算法[36]. QKAPA和QKLMS、QKRLS算法相似, QKAPA是在KAPA 模型上加入VQ 用以约束网络, 并进一步减小计算负担和内存占用.
在QKAPA中, 计算
$ dis\left( {{{{x}}_i},{{C}}\left( {n,i - 1} \right)} \right) $ 如式(47), 如果它小于$ {\varepsilon _X} $ , 此时$ {x_i} $ 是“冗余”的, 然后字典保持不变, 权重系数根据式(48)更新. 否则,$ {x_i} $ 不是“冗余”的, 加入字典, 此时权重系数根据式(49)更新.$$ \begin{array}{l} dis\left( {{{{x}}_i},{{C}}\left( {n,i - 1} \right)} \right) = \min \left( {\left\| {{{{x}}_i} - {{{C}}_j}\left( {n,i - 1} \right)} \right\|} \right) \end{array} $$ (47) 其中,
$1\le j \le size\left( {{{C}}\left( {n,i - 1} \right)} \right).$ $$ \begin{array}{l} {{{\alpha}} _{{j^ * }}}\left( {n,i} \right) = {{{\alpha}} _{{j^ * }}}\left( {n,i - 1} \right) + \eta {{e}}\left( {n,i} \right) \end{array} $$ (48) 其中,
${j^ * } \!=\! \mathop {\arg \min }\nolimits_{1\le j\le size\left( {C\left( {n,i \!-\! 1} \right)} \right)} \left\| {{{{x}}_i} \!-\! {{{C}}_j}\left( {n,i \!-\! 1} \right)} \right\|,$ ${{e}}\left( {n,i} \right) = {{{d}}_n} - f\left( {n,i} \right).$ $$ \begin{array}{l} {{\alpha}} \left( {n,i} \right) = \left\{ {{{\alpha}} \left( {n,i - 1} \right),\eta {{e}}\left( {n,i} \right)} \right\} \end{array} $$ (49) 根据上述更新过程, 得到QKAPA模型的预测输出
$f\left( {n,i} \right).$ $$ \begin{array}{l} f\left( {n,i} \right) \!=\! \displaystyle\sum\limits_{j = 1}^{size\left( {C\left( {n,i - 1} \right)} \right)} \!\!\!\!{{\alpha _j}\left( {n,i - 1} \right)\kappa \left( {{x_i},{C_j}\left( {n,i - 1} \right)} \right)} \end{array} $$ (50) 其中,
$ \kappa \left( { \cdot , \cdot } \right) $ 表示核函数.由于时间序列都是复杂的, 且包含未知噪声. QKAPA模型在预测中不仅减小了梯度噪声, 而且约束了网络规模, 提高了“冗余”数据的利用效率, 进一步减小了计算负担和存储占用, 明显加快了运算速度, 提高了预测性能[36].
3.6 基于KAPA在线预测的总结分析
通过以上对KAPA及其改进模型的说明, 就基于KAPA的改进模型来说, PSW-KAPA、CSW-KAPA[34]和NC-KAPA[33]以投影次梯度的方式简化了预测模型. QKAPA[36]和KAPHA[35]分别通过VQ 和HC 稀疏方式降低了计算复杂度, 并提升了预测精度. KAPA及其改进模型都在RKHS中应用随机梯度法解决最小二乘问题. 同KLMS或KRLS相比, KAPA能提供灵活的在线非线性滤波器计算方法. 根据实际预测需求, 还可在应用性能与计算复杂度之间选择平衡点, 以达到最优结果.
KAPA的通用形式是基于自适应投影次梯度法被推导. 通过投影映射测度完成分类, 再通过正交投影实现稀疏化, 还可以通过斜投影解决在线存储需求和自适应跟踪能力[32]. 此外, KAPA也为径向基函数(如NN)、正则化提供了理论认识基础.
在性能方面, KAPA介于KLMS和KRLS之间, KAPA的性能可以通过窗口长度
$ K $ 调整, 同时窗口长度也控制计算复杂度. 而且大部分时间序列都呈现非线性、非平稳、复杂的特点, 通常的离线算法不能满足在线实时性要求. 所以基于KAF的时间序列在线预测方法在降低计算复杂度、提高预测精度和效率方面都展现出独特的优势[32-36].总的来说, 基于KAF的3类在线预测方法已经在多元混沌时间序列中得到较好的预测性能[12-13]. 其中, 模型中部分参数的设置也起着关键的作用, 比如步进参数
$ \mu \in \left( {0,1} \right) $ , 学习率$ \eta \in \left( {0,1} \right) $ 等, 它们的选取对模型的预测效果有较大的影响. 一般情况下, 步进参数和学习率都会选取$ \left( {0.5,1} \right) $ 之间的值, 这样可以得到较好的性能结果[19-36]. 同样的, 正则化参数$\lambda,$ 调整参数$ \beta $ 等参数的选取也会影响实验结果[29], 比如正则化参数$ \lambda $ 可以根据高斯过程回归的标准超参数估计来进行选取[17, 29], 此时得到的$ \lambda $ 更适合模型的后续预测. 所以, 参数的恰当选择可以有效地反映模型的某些性能[41-42, 61, 64], 这里不再赘述.4. 基于KAF在线预测的应用
目前, 动态神经网络(Dynamic neural network, DNN)、支持向量回归(Support vector regression, SVR)、KAF等方法已应用于复杂时间序列预测[8-10]. DNN与SVR都是离线操作, 前者在更新过程中涉及大量计算[65], 后者适用于小样本预测与跟踪[13]. 而KAF不仅具有较低的计算复杂度和简单的递归更新形式, 且满足在线预测的要求, 因此受到许多学者的青睐[11-13]. Frieb 和Harrison 根据“核化”思想提出ADALINE, 该方法基于所有的训练数据并采用确定性梯度法得到[65]. Kivinen等提出NORMA, 该方法直接对正则化代价函数进行微分获取随机梯度[17]. Engel等使用矩阵求逆引理研究了KRLS[20]. Liu等研究了具有正则化特性的KLMS[19]. Liu 和Principe, Ogunfunmi 和Paul, Ren 和Yu 等从不同角度研究了KAPA[21, 33-36, 61].
根据KLMS、KRLS和KAPA三类模型在时间序列中的预测效率、预测精度、收敛速度以及相应的特点, 三类典型KAF方法在时间序列在线预测中的性能对比结果如表1所示. 由表1可知, 与KLMS和KAPA相比, KRLS 的预测效率较低, 但在收敛速度和预测精度方面更具优势. 所以, 我们可以得到以下结论: 1) 在实际应用中, 如果将预测效率放在首位而不追求收敛速度, 那么KLMS模型可以得到较好的结果; 2) 如果以提高目标预测精度为目的, 同时要求较快的收敛速度, KRLS模型无疑成为最佳选择; 3) 如果预测目标中包含多种噪声, KAPA 模型更具优势.
表 1 不同KAF方法的时间序列在线预测特性对比结果Table 1 Comparison of online prediction characteristics of time series of different KAF methods目前, 大多数时间序列都表现出非线性、非平稳、复杂难预测的特点, 所以对其进行合理的预测具有十分重要的意义. 例如, 从气象数据的历史信息预测未来天气变化[1-2]. 从水文数据的历史信息预测水资源的变化趋势, 并作出合理的控制及调配[3-4]. 根据医学上的不同症状序列进行提前预测并做好预防, 降低发病几率等[5-6]. 复杂系统中包含着许多相关的有用信息, 而且随着时间的推移, 其中包含的信息量也在不断增加. 随着信息技术的发展, 时间序列的数据量和应用也随之快速增长.
如何实现复杂时间序列的实时预测, 并跟踪其将要发生的变化, 是诸多研究领域非常关注的问题. 文献[55-56]在LSSVM的基础上添加过滤窗、迭代误差补偿和组合核函数的形式对复杂时间序列进行预测. 文献[66]采用卡尔曼滤波在高频金融时间序列进行预测. 文献[57]采用自适应遗传算法和基于大脑情感学习模型预测时间序列. 对于含噪声和数据缺失的时间序列来说, 文献[58-60]给出了很好地解决方案. 但是, 传统的数据预测方法集中于建模检验预测、自适应预测等, 难以实时预测数据将要发生的变化. 现有的真实数据本身较复杂, 在实际应用中会出现计算时间长、效率低、存储空间占用量大、预测精度低、跟踪能力差等问题.
因此, 通常需要对复杂时间序列进行稀疏选择来降低核矩阵维度, 然后再进行更为有效地预测与跟踪. 综上所述, 用KAF模型对复杂难预测系统进行在线预测、跟踪具有十分重要的意义[52-54].
KAF通过分析现有时间序列的有效信息, 能较好地反映当前时间序列的潜在特征. 然后再根据所得特征跟踪时变信息, 并进行相关分析总结, 以提醒相应部门对于将要到来的各种变化做出科学的决策[67-71].
KAF是人工智能领域中常用于时滞时变预测的技术, 它采用滤波的形式解决预测中出现的问题[37-38], 并能够有效地增强预测模型的泛化性能与自适应跟踪能力. 总的来说, KAF在处理非线性系统时, 随着新样本的不断到来, 模型不断地迭代更新. 就已提出的KAF模型来说, 不同的在线预测模型对应不同的计算复杂度. 原始核矩阵的计算的复杂度为
${\rm O}( {{L^3}})$ , 当采用ALD准则时, 其计算复杂度为${\rm O}( {{L^2}} )$ . 对于不同的稀疏方法得到的KAF模型, 其复杂度也不同. 表2给出了三类KAF模型在每次迭代过程涉及的计算复杂度(其中,$ L $ 表示样本长度,$ K $ 表示字典大小). 从表2可以看出: 首先, 表述的8种在线稀疏方法都在不同程度上降低了核矩阵的维度, 即降低了模型的计算复杂度. 其次, 由于SW、FB和CC准则在预测过程中都需要固定字典的大小(K远小于L), 所以它们在降低核矩阵维度、模型内存占用和计算复杂度上都表现出较大优势. 最后, SF、MF和HC不仅在降低模型计算复杂度上出较大贡献, 而且在对有效利用历史信息上也具优势(主要是反馈信息的有效利用).表 2 每次迭代过程涉及的计算复杂度比较Table 2 Comparison of computational complexity involved in each iteration核自适应滤
波器类型在线稀
疏类型计算复杂度 KLMS[19] VQ 更新$ {\alpha} \left( i \right) $ ${\rm O}( { {L^2} } )$ 在线VQ ${\rm O}( { {L} } )$ SF 更新$ {\omega} \left( i \right) $ ${\rm O}( { {L} } )$ 更新$ {e}\left( i \right) $ ${\rm O}( { {L} } )$ KRLS[20] VQ 更新$ {\alpha} \left( i \right) $ ${\rm O}( { {L} } )$ 在线VQ ${\rm O}( { {L} } )$ 更新$ {P}\left( i \right) $ ${\rm O}( { {L^2} } )$ ALD 更新$ {\alpha} \left( i \right) $ ${\rm O}( { {L^2} } )$(${\rm O}( { {L^2} } )$
假如字典改变)更新ALD ${\rm O}( { {L^2} } )$ 更新${P}\left( i \right)$ ${\rm O}( { {L^2} } )$ SW 更新$ {\alpha} \left( i \right) $ ${\rm O}( { {K^2} } )$(${\rm O}( { {K} } )$
假如字典改变)更新${P}\left( i \right)$ ${\rm O}( { {K^2} } )$ 更新${D}\left( i \right)$ ${\rm O}( { {K^2} } )$ FB 更新$ {\alpha} \left( i \right) $ ${\rm O}( { {K^2} } )$(${\rm O}( { {K} } )$
假如字典改变)更新${P}\left( i \right)$ ${\rm O}( { {K^2} } )$ 更新$ {{\hat K}_n}\left( i \right) $ ${\rm O}( { {K^2} } )$ MF 更新$ {\alpha} \left( i \right) $ ${\rm O}( { {L} } )$ 更新$ {e}\left( i \right) $ ${\rm O}( { {L} } )$ 更新${D}\left( i \right)$ ${\rm O}( { {L^2} } )$ CC 更新$ {\alpha} \left( i \right) $ ${\rm O}( { {K^2} } )$(${\rm O}( { {K} } )$
假如字典改变)更新$ {e}\left( i \right) $ ${\rm O}( { {K^2} } )$ 更新${D}\left( i \right)$ ${\rm O}( { {K^2} } )$ KAPA[21] VQ 更新$ {\alpha} \left( i \right) $ ${\rm O}( { {L} } )$ 在线VQ ${\rm O}( { {L} } )$ 更新${P}\left( i \right)$ ${\rm O}( { {L^2} } )$ HC 更新$ {e}\left( i \right) $ ${\rm O}( { {L} } )$ 更新$ {\bf{\zeta }}\left( i \right) $ ${\rm O}( { {L} } )$ 由于KAF具有自适应更新能力, 因此常用于复杂时间序列预测. 基于KLMS的随机行为分析, 如文献[72] 在LMS的基础上采用核在线技术提出顺序优化方法, 并采用随机梯度法顺序更新权重, 分析网络流量序列的行为特征, 从而实现网络流量序列的在线预测. 基于KRLS的在线异常检测, 如文献[55]通过迭代误差补偿弥补SVM的误差特性, 从而减少冗余信息的残差干扰, 最终达到异常检测的效果. 基于KAPA的在线时间序列分类等[56], 如文献[36]在KAPA的基础上添加可重构的FPGA加速器, 该过程减小了梯度噪声, 在处理数据路径和处理单元数量方面具有突出的优势. 总之, KAF通用的非线性建模能力对复杂时间序列预测更具优势.
所以, 根据KAF的特殊思想, 许多学者已经将KAF应用于时间在线序列预测[72-77]. 由于环境变化不断加剧, 时间序列包含的噪声也不断复杂化, 传统的线性模型并不适应非线性、复杂系统的剧烈变化, 所以KAF在线模型在数据挖掘处理噪声方面也展现出较好的结果[67]. 文献[72] 是以在线形式将KAF 应用于含噪声的时间序列, 过滤冗余噪声信息, 从而实现平滑太阳黑子数量时间序列的预测. KAF还通过最小平均绝对第三损失函数来滤除噪声, 从而得到更好的预测性能. 文献[74] 在时间序列上执行在线学习, 使用遗憾最小化技术解决在噪声条件下的最小假设问题, 为执行有效地在线学习过程剔除干扰项. 文献[75]结合奇异鲁棒策略和KRLS来解决非线性系统识别问题. 文献[76] 采用序贯在线学习方法预测水文时间序列(包括气温、水位、风速、总发电量等), 由于水文数据包含噪声, 所以该方法在滤除噪声方面具有更好的特性. 文献[77]通过“核技巧”以循环在线训练的方式来执行学习过程, 该过程在循环损失函数中涉及自动更新权重的正则化项, 在提升泛化能力的同时执行在线学习. 文献[78] 将KAF以递归的形式应用于脑电和自适应天线阵列过程, 该过程排除了脑电和天线阵列的噪声信号. 文献[79] 将VQ和MC准则应用于KAF模型, 它在处理异常值和脉冲噪声方面更具特色. 文献[80, 82] 基于贝叶斯框架建立“遗忘”机制, 它能很好地处理带噪的脑电信号, 衰落和突变信道的跟踪.
此外, 文献[83]推导和分析了用于二元和多元分类、回归和预测的算法, 它们的更新步骤都是基于简单约束优化问题的分析解决方案. 文献[84-85]提出采用矩阵分解或负矩阵分解的降维方式来实现在线稀疏学习, 它已经广泛应用于图像处理和模式识别. 文献[86]提出子梯度方法动态地结合早期迭代中观察到的数据几何知识, 以执行更具信息性的基于梯度的在线学习过程. 文献[87]介绍了在线凸优化, 在线分类, 在线批量转换以及在线预测过程的约束限制问题. 文献[88-89]提出预算方法实现对核的约束, 从而推导出以预算随机梯度下降和近似逼近的方式来适应大规模SVM预测. 文献[90]提出一个用于大规模在线分类任务的高效且可扩展的在线学习算法库. 文献[91]讨论了在线预测和批处理在使用有限计算资源的过程中渐近地提供最佳的泛化性能的有效方法. 文献[92]介绍了基于LS回归的收敛率问题, 该方法通过对初始条件和Hessian矩阵的假设进行分析, 并最终实现平均加速正则梯度下降. 文献[93]研究了与凸损失函数相关的RKHS中的在线学习算法.
就预期的超额泛化误差而言, 它们可以作为基于内核的批量学习算法快速收敛. 从而实现对学习序列规范的预期值和在线学习算法的精确误差分解的敏锐估计.
文献[94]提出KNLMS方法, 它使用自适应步长加速学习, 并在收敛速度和稳态之间提供合适的折中. 文献[95]提出具有非线性主路径的有源噪声控制系统的KxLMS方法, 主要用于改进在参考噪声与多个窄带信号和附加高斯白噪声混合时的预测性能. 文献[96]研究了在RKHS中没有正则化条件时在线梯度下降法的收敛性, 以收敛期望中的超泛化误差. 文献[97]提出了改进的在线随机梯度下降法, 由于特征稀疏性的异质性, 该方法用于解决收敛速度慢和方差大的问题. 文献[98]建立了高斯核参数的自适应更新方法并应用于KAF, 该方法的更新规则与L1正则化一同作用来避免预测中的过拟合和维数高问题. 文献[99]提出尺度自适应在线学习方法, 通过评估核函数和系数向量之间的内积实现KAF. 文献[100]提出了基于L2 空间迭代投影的新型在线非线性函数学习、估计方法. 文献[101]提出了一种由节点网络进行非线性函数分布式学习的自适应方案, 基于多个RKHS的笛卡尔积度量, 证明了方法的全面收敛性.
综上所述, KAF在时间序列预测领域已经得到了广泛的应用[96-101]. 由KAF的改进模型可以看出, 其计算复杂度被明显降低, 内存空间的占用也明显减小, 相应的预测效率和预测精度也显著提高. 同时, 对于含噪声和缺失值的时间序列还具有特殊的滤除噪声和补差性能[58-59].
5. 结论与展望
KAF的研究在近年来受到了越来越广泛的关注, 诸多学者对KAF学习机理和应用进行了全面的研究. KLMS、KRLS和KAPA奠定了LMS、RLS和APA在核空间应用的基础. 近年来对KAF的研究已经取得了一定的进展, 并广泛应用于时间序列在线预测, 如气象领域的温度、湿度、风速、风向、日照时数、气压等实时性预测, 水文领域的水位、水温、流量、凝结度等预测, 金融领域的股票联动性和股指期货套期保值预测, 医疗领域的心电、脑电数据异常检测, 交通领域的车流量、密度预测等. 本文首先对KAF的学习方法和发展现状进行了详细综述, 探讨了KLMS、KRLS和KAPA的基本原理, 以及其改进模型在提高时间序列在线预测精度和预测效率, 跟踪时变特性和如何利用有效数据信息等方面的机理, 同时将KLMS、KRLS和KAPA 作为KAF在线预测的研究基础, 分析在线稀疏策略在具有时变特性的非线性系统上的预测精度和预测效率的提高, 接着结合其在线稀疏过程对计算复杂度进行分析, 最后总结KAF模型在时间序列预测、数据挖掘噪声处理、性能补差、性能估计等方面的实际应用. 然而随着研究的不断深入, 仍存在着一些值得研究和关注的问题:
1) KAF在线预测方法中包含KLMS、 KRLS、KAPA等多种模型, 对于不同的模型所对应的预测领域存在较大差异. 例如, KLMS模型多用于非线性系统建模, 即在非线性时间序列预测、信道均衡领域获得较好的性能. KRLS模型多用于慢衰落和状态变化很小的非线性时间序列跟踪领域. KAPA模型多用于时间序列预测、非线性信道均衡和非线性滤除噪声等领域. 所以, 不同的模型可能对应不同领域及不同的问题, 这是当前研究的一个重点. 同时如何对预测模型进行正则化, 提高模型的泛化能力也是一个研究重点.
2) KAF在线预测方法对复杂时间序列预测具有更好的跟踪性能, 通过建模过程中的动态更新机制, 使在线预测过程能够实时反映核矩阵权重更新和系数矩阵更新, 最终得到的预测模型具有自适应实时更新能力. 然而KAF在预测样本时, 随着新样本的不断加入, 核矩阵维数不断增加, 其计算复杂度也随之增大(线性关系), 同时内存消耗(占用量)也增大, 相应的降低了计算效率. 对于上述问题, 有学者已经提出了ALD、NC、SC、HC等多种在线稀疏方法来解决此类问题. 因此, 在预测模型中如何对输入样本进行在线稀疏已经成为继续深入研究KAF的方向之一.
3) 在时间序列在线预测过程中, 随着ALD、NC、SC、HC等多种在线稀疏方法加入预测模型, 一些“冗余”的数据被剔除, 在这个过程中也会伴随数据利用效率的降低, 即剔除的数据可能包含有效的历史信息, 如何判断稀疏后的样本序列是否包含有效信息也是需要研究的重点. 所以, 在加入在线稀疏方法时如何保持稀疏后数据的“有效性”也是KAF在线预测未来研究的重要方向之一.
4) 目前, 随着单核自适应滤波器研究的深入, 多核自适应滤波器也不断地发展. 大多数多核算法是将两个相同类型的核函数应用于预测模型, 或者将两种不同的核函数的加权和应用于预测模型, 此类方法已经取得了较好的预测结果. 由于核函数表示的是一种将输入(数据)空间非线性映射到高维(隐藏)特征空间的过程, 该过程是隐式的、未知的. 所以在选用单核函数或多核函数的过程中, 不同的选择得到的预测结果大相径庭, 其预测性能也存在较大差异. 所以, 如何在复杂的非线性预测系统中选择合适的核函数及其参数, 也是KAF在线预测的研究热点之一.
-
图 8 双行黄牌、新能源车牌及黑色车牌注意力图
Fig. 8 Attention maps of double-line and new energy and black plate licenses
表 1 在CCPD上的车牌识别准确率(%)
Table 1 License plate recognition accuracy on CCPD (%)
算法 平均 基础集 明暗集 远近集 旋转集 倾斜集 天气集 挑战集 Li 等[1] 94.4 97.8 94.8 94.5 87.9 92.1 86.8 81.2 Xu 等[27] 95.5 98.5 96.9 94.3 90.8 92.5 87.9 85.1 Wang 等[23] 96.6 98.9 96.1 96.4 91.9 93.7 95.4 83.1 Zou 等[8] 97.8 99.3 98.5 98.6 92.5 94.4 99.3 86.6 Yang 等[4] 97.5 99.1 96.9 95.9 97.1 98.0 97.5 85.9 Qin 等[33] 97.5 99.5 93.3 93.7 98.2 95.9 98.9 92.9 Qiao 等[34] 96.9 99.0 97.1 95.5 95.0 96.5 95.9 83.1 Zhang 等[20] 98.5 99.6 98.8 98.8 96.4 97.6 98.5 88.9 Liu 等[35] 98.74 99.73 99.05 99.23 97.62 98.40 98.89 88.51 GCN 98.79 99.70 99.07 98.96 98.33 98.82 98.66 89.42 CARNet 99.50
(0.02)99.89
(0.01)99.57
(0.08)99.56
(0.04)99.68
(0.04)99.80
(0.01)99.38
(0.06)94.92
(0.09)
下载: 导出CSV
表 2 本文算法有效性评估(%)
Table 2 Evaluation of the effectiveness of the algorithm of this paper (%)
评估指标 算法 平均 基础集 明暗集 远近集 旋转集 倾斜集 天气集 挑战集 $ {R_{LP}} $ GCN 98.79 99.70 99.07 98.96 98.33 98.82 98.66 89.42 (0.10) (0.03) (0.11) (0.11) (0.25) (0.19) (0.13) (0.54) CARNet 99.50 99.89 99.57 99.56 99.68 99.80 99.38 94.92 (0.02) (0.01) (0.08) (0.04) (0.04) (0.01) (0.06) (0.09) $ {R_{Char}} $ GCN 99.74 99.95 99.83 99.79 99.68 99.78 99.77 97.28 (0.02) (0.01) (0.02) (0.01) (0.05) (0.03) (0.02) (0.14) CARNet 99.90 99.98 99.94 99.93 99.95 99.97 99.90 98.89 (0.01) (0.01) (0.01) (0.01) (0.01) (0.01) (0.01) (0.01) $ {R_{C\_Char}} $ GCN 99.72 99.87 99.78 99.78 99.56 99.71 99.70 98.18 (0.02) (0.01) (0.02) (0.01) (0.06) (0.03) (0.06) (0.07) CARNet 99.92 99.99 99.93 99.89 99.95 99.98 99.95 99.13 (0.01) (0.01) (0.02) (0.02) (0.01) (0.01) (0.02) (0.01) $ {R_{W\_Char}} $ GCN 99.74 99.97 99.83 99.80 99.70 99.80 99.78 97.13 (0.02) (0.01) (0.02) (0.01) (0.05) (0.03) (0.01) (0.16) CARNet 99.90 99.98 99.94 99.93 99.95 99.97 99.89 98.85 (0.01) (0.01) (0.01) (0.01) (0.01) (0.01) (0.01) (0.01)
下载: 导出CSV
表 4 在混合品类车牌上的识别准确率
Table 4 Recognition accuracy on mixed types of license plates
车牌类别 数量 (张) GCN[22] (%) CARNet (%) 蓝牌车牌 1050 96.3 99.0 新能源绿牌 1010 41.9 78.5 大型车后牌 660 35.8 62.1 教练车牌 860 44.9 74.8 港澳车牌 1580 53.7 74.9 大型车前牌 980 63.2 75.8
下载: 导出CSV
表 5 各算法速度比较
Table 5 Comparison of algorithm speed
下载: 导出CSV
表 6 低功耗嵌入式硬件测试
Table 6 Low-power embedded device test
算法 硬件平台 推理引擎 耗时 (ms) Qin 等[9] Jetson Nano TensorFlow 68 CARNet Jetson Nano Pytorch 41 CARNet Jetson TX2 Pytorch 30 CARNet Hi3516DV300 NNIE 46
下载: 导出CSV
表 7 特征提取网络消融实验
Table 7 Feature extraction ablation experiment
特征提取 $ {R_{LP}} $(%) 参数量 计算复杂度 (GMacs) Resnet45[25] 99.5 13.94 M 14.66 Xception19 99.5 1.87 M 1.71
下载: 导出CSV
表 8 分类头参数共享消融实验
Table 8 Classification head weight sharing ablation experiment
参数共享 $ {R_{LP}} $(%) 参数量 计算复杂度 (GMacs) 是 99.5 1.87 M 1.71 否 99.4 3.82 M 1.71
下载: 导出CSV
表 9 单字符注意力消融实验
Table 9 Ablation experiments for single-character attention
单字符注意力 $ {R_{LP}} $(%) 参数量 计算复杂度 (GMacs) 有 99.5 1.87 M 1.71 无 99.1 3.04 M 1.02
下载: 导出CSV
-
[1] Li H, Wang P, You M Y, Shen C H. Reading car license plates using deep neural networks. Image and Vision Computing, 2018, 72: 14-23 doi: 10.1016/j.imavis.2018.02.002 [2] Wu C H, Xu S G, Song G C, Zhang S Q. How many labeled license plates are needed. In: Proceedings of the Chinese Conference on Pattern Recognition and Computer Vision. Guangzhou, China: 2018. 334−346 [3] Huang G, Liu Z, Maaten L V, Weinberger K Q. Densely connected convolutional networks. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Honolulu, USA: IEEE, 2017. 2261−2269 [4] Yang Y X, Xi W, Zhu C K, Zhao Y H. HomoNet: Unified license plate detection and recognition in complex scenes. In: Proceedings of the International Conference on Collaborative Computing: Networking, Applications and Worksharing. Shanghai, China: 2020. 268−282 [5] He M X, Hao P. Robust automatic recognition of Chinese license plates in natural scenes. IEEE Access, 2020, 8: 173804-173814 doi: 10.1109/ACCESS.2020.3026181 [6] Lee C Y, Osindero S. Recursive recurrent nets with attention modeling for ocr in the wild. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas, USA: IEEE, 2016. 2231−2239 [7] Cheng Z Z, Bai F, Xu Y L, Zheng G, Pu S L, Zhou S G. Focusing attention: Towards accurate text recognition in natural images. In: Proceedings of the IEEE International Conference on Computer Vision. Venice, Italy: IEEE, 2017. 5086−5094 [8] Zou Y J, Zhang Y J, Yan J, Jiang X X, Huang T J, Fan H S, et al. A robust license plate recognition model based on bi-LSTM. IEEE Access, 2020, 8: 211630-211641 doi: 10.1109/ACCESS.2020.3040238 [9] Qin S X, Liu S J. Efficient and unified license plate recognition via lightweight deep neural network. IET Image Processing, 2020, 14(16): 4102-4109 doi: 10.1049/iet-ipr.2020.1130 [10] Guo J M, Liu Y F. License plate localization and character segmentation with feedback self-learning and hybrid binarization techniques. IEEE Transactions on Vehicular Technology, 2008, 57(3): 1417-1424 doi: 10.1109/TVT.2007.909284 [11] Silva S M, Jung C R. License plate detection and recognition in unconstrained scenarios. In: Proceedings of the European Conference on Computer Vision. Munich, Germany: 2018. 580−596 [12] Gou C, Wang K F, Yao Y J, Li Z X. Vehicle license plate recognition based on extremal regions and restricted boltzmann machines. IEEE Transactions on Intelligent Transportation Systems, 2016, 17(4): 1096-1107 doi: 10.1109/TITS.2015.2496545 [13] Park S H, Yu S B, Kim J, Yoon H. An all-in-one vehicle type and license plate recognition system using yolov4. Sensors, 2022, 22(3): 921-939 doi: 10.3390/s22030921 [14] Wang D, Tian Y M, Geng W H, Zhao L, Gong C. LPR-Net: Recognizing Chinese license plate in complex environments. Pattern Recognition Letters, 2020, 130: 148-156 doi: 10.1016/j.patrec.2018.09.026 [15] Luo C J, Jin L W, Sun Z H. Moran: A multi-object rectified attention network for scene text recognition. Pattern Recognition, 2019, 90: 109-118 doi: 10.1016/j.patcog.2019.01.020 [16] Jaderberg M, Simonyan K, Zisserman A, Kavukcuoglu K. Spatial transformer networks. In: Proceedings of the Annual Conference on Neural Information Processing Systems. Montreal, Can-ada: 2015. 2017−2025 [17] 周晓君, 高媛, 李超杰, 阳春华. 基于多目标优化多任务学习的端到端车牌识别方法. 控制理论与应用, 2021, 38(5): 676−688Zhou Xiao-Jun, Gao Yuan, Li Chao-Jie, Yang Chun-Hua. Multi-objective optimization based multi-task learning for end-to-end car license plates recognition. Control Theory and Applications. 2021, 38(5): 676−688 [18] Li H, Wang P, Shen C H, Zhang G Y. Show, attend and read: A simple and strong baseline for irregular text recognition. In: Proceedings of the 33rd AAAI Conference on Artificial Intelligence. Honolulu, USA: 2019. 8610−8617 [19] Xu H, Guo Z H, Wang D H, Zhou X D, Shi Y. 2D license plate recognition based on automatic perspective rectification. In: Proceedings of the 25th International Conference on Pattern Recognition. Milan, Italy: IEEE, 2021. 202−208 [20] Zhang L J, Wang P, Li H, Li Z, Shen C H. A robust attentional framework for license plate recognition in the wild. IEEE Transactions on Intelligent Transportation Systems, 2021, 22(11): 6967-6976 doi: 10.1109/TITS.2020.3000072 [21] Hu W Y, Cai X C, Hou J, Yi S, Lin Z P. GTC: Guided training of ctc towards efficient and accurate scene text recognition. In: Proceedings of the 34th AAAI Conference on Artificial Intelligence. New York, USA: 2020. 11005−11012 [22] Yan R J, Peng L R, Xiao S Y, Yao G. Primitive representation learning for scene text recognition. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Nashville, USA: IEEE, 2021. 284−293 [23] Wang T W, Zhu Y Z, Jin L W, Luo C J, Chen X X, Wu Y Q, et al. Decoupled attention network for text recognition. In: Proceedings of the 34th AAAI Conference on Artificial Intelligence. New York, USA: AAAI, 2020. 12216−12224 [24] Chollet F. Xception: Deep learning with depthwise separable convolutions. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Honolulu, USA: IEEE, 2017. 1251−1258 [25] Shi B G, Yang M K, Wang X G, Lyu P Y, Yao C, Bai X. Aster: An attentional scene text recognizer with flexible rectification. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2018, 41(9): 2035-2048 [26] Ronneberger O, Fischer P, Brox T. U-net: Convolutional networks for biomedical image segmentation. In: Proceedings of the International Conference on Medical Image Computing and Computer-assisted Intervention. Munich, Germany: 2015. 234− 241 [27] Xu Z B, Yang W, Meng A J, Lu N X, Huang H, Ying C C, et al. Towards end-to-end license plate detection and recognition: A large dataset and baseline. In: Proceedings of the European Conference on Computer Vision. Munich, Germany: 2018. 255− 271 [28] Zhao Y T, Yu Z, Li X Y. Evaluation methodology for license plate recognition systems and experimental results. IET Intelligent Transport Systems, 2018, 12(5): 375-385 doi: 10.1049/iet-its.2017.0138 [29] Sun M, Zhou F, Yang C, Yin X C. Image generation framework for unbalanced license plate data Set. In: Proceedings of the International Conference on Data Mining Workshops. Beijing, China: IEEE, 2019. 883−889 [30] Han B G, Lee J T, Lim K T, Choi D H. License plate image generation using generative adversarial networks for end-to-end license plate character recognition from a small set of real images. Applied Sciences, 2020, 10(8): 2780-2796 doi: 10.3390/app10082780 [31] Sun Y F, Liu Q, Chen S L, Zhou F, Yin X C. Robust Chinese license plate generation via foreground text and background separation. In: Proceedings of the 11th International Conference on Image and Graphics. Haikou, China: 2021. 290−302 [32] Goodfellow I J, Pouget-Abadie J, Mirza M, Xu B. Generative adversarial nets. In: Proceedings of the Advances in Neural Information Processing Systems. Montreal, Canada: 2014. 2672− 1680 [33] Qin S X, Liu S J. Towards end-to-end car license plate location and recognition in unconstrained scenarios. Neural Computing and Applications, to be published [34] Qiao L, Chen Y, Cheng Z Z, Xu Y L, Niu Y, Pu S L, et al. Mango: A mask attention guided one-stage scene text spotter. In: Proceedings of the 35th AAAI Conference on Artificial Intelligence. Virtual Event: 2021. 2467−2476 [35] Liu Q, Chen S L, Li Z J, Yang C, Chen F, Yin X C. Fast recognition for multidirectional and multi-type license plates with 2D spatial attention. In: Proceedings of the 16th International Conference on Document Analysis and Recognition. Lausanne, Swi-tzerland: 2021. 125−139 期刊类型引用(11)
1. 刘鑫屏，陈艺文，董子健. 基于混合算法下RBF神经网络的执行机构非线性特性在线辨识与补偿. 动力工程学报. 2024(05): 792-801 . 
百度学术2. 曾科军，张慧娟，赵书圆. 结合EEMD的噪声对消方法在遥测振动信号降噪中的应用. 兵工自动化. 2024(06): 15-20 . 百度学术3. 胡磊，韩敏. 基于核共轭梯度演化模糊系统的混沌时间序列在线预测. 控制与决策. 2024(09): 3099-3107 . 百度学术4. 张小洁，白蕾. 基于LMS的三阶Volterra自适应滤波器的时间序列数据预测算法的研究. 工业仪表与自动化装置. 2023(01): 108-111+115 . 百度学术5. 邓真平. 基于集成深度神经网络的短时电力负荷曲线预测方法. 重庆电力高等专科学校学报. 2023(01): 5-10 . 百度学术6. 孙蓉，李强，吴盛军，刘伟伟. 基于多尺度通道融合学习的时空数据预测模型. 计算机仿真. 2023(02): 524-529 . 百度学术7. 汤兴恒，郭强，徐天慧，张彩明. 基于多尺度核自适应滤波的股票收益预测. 计算机应用. 2023(05): 1385-1393 . 百度学术8. 李艳，杨丽芝，张磊，张万杰，李宏梅. 基于时间序列数据库的电网访问服务端风险预警研究. 电子设计工程. 2023(18): 123-126+131 . 百度学术9. 陈怡，谢金凤，徐千淞，刘彦鹏. 一种非高斯脉冲干扰下的混合线性和非线性自适应滤波算法研究. 信息记录材料. 2022(03): 205-207 . 百度学术10. 刘辉，曾鹏飞. 基于WGRA-FCM样本相似性度量的转炉炼钢终点碳温软测量方法. 控制与决策. 2021(09): 2170-2178 . 百度学术11. 王小平，施新岚. 道路复杂交通场景下的改进MDnet目标跟踪算法. 重庆交通大学学报(自然科学版). 2021(12): 19-26 . 百度学术其他类型引用(16)
-
下载:
计量
- 文章访问数: 987
- HTML全文浏览量: 312
- PDF下载量: 267
- 被引次数: 27
