2.793

2018影响因子

(CJCR)

  • 中文核心
  • EI
  • 中国科技核心
  • Scopus
  • CSCD
  • 英国科学文摘

留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

基于核自适应滤波器的时间序列在线预测研究综述

韩敏 马俊珠 任伟杰 钟凯

韩敏, 马俊珠, 任伟杰, 钟凯. 基于核自适应滤波器的时间序列在线预测研究综述. 自动化学报, 2019, 45(x): 1−17. doi: 10.16383/j.aas.c190051
引用本文: 韩敏, 马俊珠, 任伟杰, 钟凯. 基于核自适应滤波器的时间序列在线预测研究综述. 自动化学报, 2019, 45(x): 1−17. doi: 10.16383/j.aas.c190051
Han Min, Ma Jun-Zhu, Ren Wei-Jie, Zhong Kai. A survey of time series online prediction based on kernel adaptive filters. Acta Automatica Sinica, 2019, 45(x): 1−17. doi: 10.16383/j.aas.c190051
Citation: Han Min, Ma Jun-Zhu, Ren Wei-Jie, Zhong Kai. A survey of time series online prediction based on kernel adaptive filters. Acta Automatica Sinica, 2019, 45(x): 1−17. doi: 10.16383/j.aas.c190051

基于核自适应滤波器的时间序列在线预测研究综述


DOI: 10.16383/j.aas.c190051
详细信息
    作者简介:

    大连理工大学电子信息与电气工程学部教授. 主要研究方向为模式识别, 复杂系统建模及时间序列预测. 本文通信作者.E-mail: minhan@dlut.edu.cn

    大连理工大学电子信息与电气工程学部硕士研究生. 主要研究方向为时间序列在线建模, 预测.E-mail: majunzhu@mail.dlut.edu.cn

    大连理工大学电子信息与电气工程学部博士研究生. 主要研究方向为时间序列分析和特征选择.E-mail: renweijie@mail.dlut.edu.cn

    大连理工大学电子信息与电气工程学部博士研究生. 主要研究方向为工业过程监控, 故障诊断.E-mail: zhongkai0402@mail. dlut.edu.cn

  • 基金项目:  国家自然科学基金(61773087)资助

A Survey of Time Series Online Prediction based on Kernel Adaptive Filters

More Information
  • Fund Project:  Supported by National Natural Science Foundation of China (61773087)
  • 摘要: 核自适应滤波器是时间序列在线预测的重点研究领域之一, 本文对核自适应滤波器的最新进展及未来研究方向进行了分析和总结. 基于核自适应滤波器的时间序列在线预测方法, 能较好的解决预测、跟踪问题. 本文首先概述了三类核自适应滤波器的基本模型, 包括核最小均方算法, 核递归最小二乘算法和核仿射投影算法. 在此基础上, 从核自适应滤波器在线预测的内容和机理入手, 综述基于核自适应滤波器的时间序列在线预测方法. 最后, 本文将介绍这一领域潜在的研究方向和发展趋势, 并展望未来的挑战.
  • 图  1  从输入空间到特征空间的非线性映射f(·)

    Fig.  1  Nonlinear mapping f(·) from input space to feature space

    图  2  KAF方法分类框图

    Fig.  2  Classification diagram of the KAF method

    表  1  不同KAF方法的时间序列在线预测特性对比结果

    Table  1  Comparison of online prediction characteristics of time series of different KAF methods

    算法类型 预测效率 预测精度 收敛速度 特点
    KLMS[19] 较高 较低 较慢 泛化能力和正则化特性
    KRLS[20] 较低 较高 较快 白化处理, 收敛速度较快
    KAPA[21] 考虑多个样本, 降低梯度噪声
    下载: 导出CSV

    表  2  每次迭代过程涉及的计算复杂度比较

    Table  2  Comparison of computational complexity involved in each iteration

    核自适应滤
    波器类型
    在线稀
    疏类型
    计算复杂度
    KLMS[19] VQ 更新$ {\alpha} \left( i \right) $ $ {\rm O}\left( {{L^2}} \right) $
    在线VQ ${\rm O}\left( {{L}} \right)$
    SF 更新$ {\omega} \left( i \right) $ ${\rm O}\left( {{L}} \right)$
    更新$ {e}\left( i \right) $ ${\rm O}\left( {{L}} \right)$
    KRLS[20] VQ 更新$ {\alpha} \left( i \right) $ $ {\rm O}\left( {{L}} \right) $
    在线VQ ${\rm O}\left( {{L}} \right)$
    更新$ {P}\left( i \right) $ ${\rm O}\left( {{L^2}} \right)$
    ALD 更新$ {\alpha} \left( i \right) $ ${\rm O}\left( {{L^2}} \right)$(${\rm O}\left( {{L^2}} \right)$
    假如字典改变)
    更新ALD ${\rm O}\left( {{L^2}} \right)$
    更新${P}\left( i \right)$ ${\rm O}\left( {{L^2}} \right)$
    SW 更新$ {\alpha} \left( i \right) $ ${\rm O}\left( {{K^2}} \right)$(${\rm O}\left( {{K}} \right)$
    假如字典改变)
    更新${P}\left( i \right)$ ${\rm O}\left( {{K^2}} \right)$
    更新${D}\left( i \right)$ ${\rm O}\left( {{K^2}} \right)$
    FB 更新$ {\alpha} \left( i \right) $ ${\rm O}\left( {{K^2}} \right)$(${\rm O}\left( {{K}} \right)$
    假如字典改变)
    更新${P}\left( i \right)$ ${\rm O}\left( {{K^2}} \right)$
    更新$ {{\hat K}_n}\left( i \right) $ ${\rm O}\left( {{K^2}} \right)$
    MF 更新$ {\alpha} \left( i \right) $ ${\rm O}\left( {{L}} \right)$
    更新$ {e}\left( i \right) $ ${\rm O}\left( {{L}} \right)$
    更新${D}\left( i \right)$ ${\rm O}\left( {{L^2}} \right)$
    CC 更新$ {\alpha} \left( i \right) $ ${\rm O}\left( {{K^2}} \right)$(${\rm O}\left( {{K}} \right)$
    假如字典改变)
    更新$ {e}\left( i \right) $ ${\rm O}\left( {{K^2}} \right)$
    更新${D}\left( i \right)$ ${\rm O}\left( {{K^2}} \right)$
    KAPA[21] VQ 更新$ {\alpha} \left( i \right) $ $ {\rm O}\left( {{L}} \right) $
    在线VQ ${\rm O}\left( {{L}} \right)$
    更新${P}\left( i \right)$ ${\rm O}\left( {{L^2}} \right)$
    HC 更新$ {e}\left( i \right) $ ${\rm O}\left( {{L}} \right)$
    更新$ {\bf{\zeta }}\left( i \right) $ ${\rm O}\left( {{L}} \right)$
    下载: 导出CSV
  • [1] 1 Gan M, Chen C L P, Li H X, Chen L. Gradient radial basis function based varying-coefficient autoregressive model for nonlinear and nonstationary time series. IEEE Signal Processing Letter, 2015, 22(7): 809−812 doi:  10.1109/LSP.2014.2369415
    [2] 2 Schamberg G, Ba D, Coleman T P. A Modularized Efficient Framework for Non-Markov Time Series Estimation. IEEE Transactions on Signal Processing, 2018, 66(12): 3140−3154 doi:  10.1109/TSP.2018.2793870
    [3] 3 Gonzalez J P, San Roque A M, Perez E A. Forecasting functional time series with a new Hilbertian ARMAX model: Application to electricity price forecasting. IEEE Transactions on Power Systems, 2018, 33(1): 545−556 doi:  10.1109/TPWRS.2017.2700287
    [4] 4 Rahman M M, Islam M M, Murase K, and Yao X. Layered ensemble architecture for time series forecasting. IEEE Transactions on Cybernetics, 2016, 46(1): 270−283 doi:  10.1109/TCYB.2015.2401038
    [5] 5 Zhu J, Chen N, Peng W. Estimation of Bearing Remaining Useful Life Based on Multiscale Convolutional Neural Network. IEEE Transactions on Industrial Electronics, 2019, 66(4): 3208−3216 doi:  10.1109/TIE.2018.2844856
    [6] 6 Chang F J, Chen P A, Lu Y R, Huang E, Chang K Y. Real-time multi-step-ahead water level forecasting by recurrent neural networks for urban flood control. Journal of Hydrology, 2014, 517: 836−846 doi:  10.1016/j.jhydrol.2014.06.013
    [7] Vapnik V. The nature of statistical learning theory. Springer Science & Business Media, 2013
    [8] 8 Girosi F, Jones M, Poggio T. Regularization theory and neural networks architectures. Neural Computation, 1995, 7(2): 219−269 doi:  10.1162/neco.1995.7.2.219
    [9] 9 Platt J. A resource-allocating network for function interpolation. Neural Computation, 1991, 3(2): 213−225 doi:  10.1162/neco.1991.3.2.213
    [10] 10 Huang G B, Saratchandran P, Sundararajan N. A generalized growing and pruning RBF (GGAP-RBF) neural network for function approximation. IEEE Transactions on Neural Networks, 2005, 16(1): 57−67 doi:  10.1109/TNN.2004.836241
    [11] 11 Suykens J A K, Vandewalle J. Least squares support vector machine classifiers. Neural Processing Letters, 1999, 9(3): 293−300 doi:  10.1023/A:1018628609742
    [12] Scholkopf B, Smola A J. Learning with kernels: support vector machines, regularization, optimization, and beyond. MIT Press, 2001
    [13] Liu W F, Principe J C, Haykin S. Kernel adaptive filtering: a comprehensive introduction. John Wiley & Sons, 2011
    [14] 14 Scholkopf B, Smola A, Muller K R. Nonlinear component analysis as a kernel eigenvalue problem. Neural Computation, 1998, 10(5): 1299−1319 doi:  10.1162/089976698300017467
    [15] 15 Feng D Z, Bao Z, Jiao L C. Total least mean squares algorithm. IEEE Transactions on Signal Processing, 1998, 46(8): 2212−2130
    [16] 16 Henon M. A two-dimensional mapping with a strange attractor. The Theory of Chaotic Attractors. Springer, New York, NY, 1976: 94−102
    [17] 17 Kivinen J, Smola A J, Williamson R C. Online learning with kernels. IEEE Transactions on Signal Processing, 2004, 52(8): 2165−2176 doi:  10.1109/TSP.2004.830991
    [18] 18 Richard C, Bermudez J C M, Honeine P. Online prediction of time series data with kernels. IEEE Transactions on Signal Processing, 2009, 57(3): 1058−1067 doi:  10.1109/TSP.2008.2009895
    [19] 19 Liu W, Pokharel P P, Principe J C. The kernel least-mean-square algorithm. IEEE Transactions on Signal Processing, 2008, 56(2): 543−554 doi:  10.1109/TSP.2007.907881
    [20] 20 Engel Y, Mannor S, Meir R. The kernel recursive least squares algorithm. IEEE Transactions on Signal Processing, 2004, 52(8): 2275−2285 doi:  10.1109/TSP.2004.830985
    [21] 21 Liu W, Principe J C. Kernel affine projection algorithms. EURASIP Journal on Advances in Signal Processing, 2008, 2008(1): 784292 doi:  10.1155/2008/784292
    [22] 22 Chen B, Zhao S, Zhu P, et al. Quantized kernel least mean square algorithm. IEEE Transactions on Neural Networks and Learning Systems, 2012, 23(1): 22−32 doi:  10.1109/TNNLS.2011.2178446
    [23] 23 Zhao J, Liao X, Wang S, Principe J C. Kernel least mean square with single feedback. IEEE Signal Processing Letters, 2015, 22(7): 953−957 doi:  10.1109/LSP.2014.2377726
    [24] 24 Zheng Y, Wang S, Feng J, Chi K. A modified quantized kernel least mean square algorithm for prediction of chaotic time series. Digital Signal Processing, 2016, 48: 130−136 doi:  10.1016/j.dsp.2015.09.015
    [25] 25 Liu Y, Sun C, Jiang S. A Kernel Least Mean Square Algorithm Based on Randomized Feature Networks. Applied Sciences, 2018, 8(3): 458 doi:  10.3390/app8030458
    [26] Van Vaerenbergh S, Via J, Santamaria I. A sliding-window kernel RLS algorithm and its application to nonlinear channel identification. In: Proceeding of IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). Toulouse, France: IEEE, 2006. 5: V-V
    [27] 27 Liu W, Park I, Wang Y, Principe J C. Extended kernel recursive least squares algorithm. IEEE Transactions on Signal Processing, 2009, 57(10): 3801−3814 doi:  10.1109/TSP.2009.2022007
    [28] Van Vaerenbergh S, Santamaria I, Liu W, Principe J C. Fixed-budget kernel recursive least-squares. In: Proceeding of IEEE International Conference on Acoustics Speech and Signal Processing (ICASSP). Dallas, TX, USA: IEEE, 2010. 1882−1885
    [29] 29 Van Vaerenbergh S, Lazaro-Gredilla M, Santamaria I. Kernel recursive least-squares tracker for time-varying regression. IEEE Transactions on Neural Networks and Learning Systems, 2012, 23(8): 1313−1326 doi:  10.1109/TNNLS.2012.2200500
    [30] 30 Chen B, Zhao S, Zhu P, Principe J C. Quantized kernel recursive least squares algorithm. IEEE Transactions on Neural Networks and Learning Systems, 2013, 29(4): 1484−1491
    [31] 31 Wang S, Wang W, Duan S, Wang L. Kernel Recursive Least Squares With Multiple Feedback and Its Convergence Analysis. IEEE Transactions on Circuits and Systems Ⅱ: Express Briefs, 2017, 66(10): 1237−1241
    [32] Zhang S, Han M, Wang J, Wang D. Multivariate time series online prediction based on adaptive normalized sparse kernel recursive least squares algorithm. In: Proceeding of 2017 Seventh International Conference on Information Science and Technology (ICIST). Da Nang, Vietnam: IEEE, 2017. 38−44.
    [33] Ogunfunmi T, Paul T. On the complex kernel-based adaptive filter. In: Proceeding of IEEE International Symposium on Circuits and Systems (ISCS). Rio de Janeiro, Brazil: IEEE, 2011. 1263−1266
    [34] Gil-Cacho J M, van Waterschoot T, Moonen M, Soren Holdt Jensen. Nonlinear acoustic echo cancellation based on a parallel-cascade kernel affine projection algorithm. In: Proceeding of IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). Kyoto, Japan: IEEE, 2012. 33−36
    [35] Yang X, Hua Q, Zhao J, Chen B. Hybrid affine projection algorithm. In: Proceeding of International Conference on Control Automation Robotics & Vision (CARV). Marina Bay Sands, Singapore: 2014. 964−968
    [36] Ren X, Yu Q, Chen B, Zheng N, Ren P. A reconfigurable parallel FPGA accelerator for the kernel affine projection algorithm. In: Proceeding of IEEE International Conference on Digital Signal Processing (DSP). Singapore: IEEE, 2015. 906−910
    [37] Singh A, Ahuja N, Moulin P. Online learning with kernels: Overcoming the growing sum problem. In: Proceeding of IEEE International Workshop on Machine Learning for Signal Processing (MLSP). Santander, Spain: IEEE, 2012. 1−6
    [38] 38 Haykin S S. Adaptive filter theory. Pearson Education India, 2008
    [39] 39 Zhao S, Chen B, Zhu P, Principe J C. Fixed budget quantized kernel least-mean-square algorithm. Signal Processing, 2013, 93(9): 2759−2770 doi:  10.1016/j.sigpro.2013.02.012
    [40] Rzepka D. Fixed-budget kernel least mean squares. In: Proceeding of IEEE 17th Conference on Emerging Technologies & Factory Automation (ETFA). Krakow, Poland: IEEE, 2012. 1−4
    [41] 41 Fan H, Song Q. A linear recurrent kernel online learning algorithm with sparse updates. Neural Networks, 2014, 50: 142−153 doi:  10.1016/j.neunet.2013.11.011
    [42] 42 Liu W, Park I, Principe J C. An information theoretic approach of designing sparse kernel adaptive filters. IEEE Transactions on Neural Networks, 2009, 20(12): 1950−1961 doi:  10.1109/TNN.2009.2033676
    [43] 43 Ma W, Duan J, Man W, Chen B. Robust kernel adaptive filters based on mean p-power error for noisy chaotic time series prediction. Engineering Applications of Artificial Intelligence, 2017, 58: 101−110 doi:  10.1016/j.engappai.2016.11.010
    [44] 44 Chen B, Xing L, Zhao H, Principe J C. Generalized correntropy for robust adaptive filtering. IEEE Transactions on Signal Processing, 2016, 64(13): 3376−3387 doi:  10.1109/TSP.2016.2539127
    [45] 45 Chen B, Wang J, Zhao H, Principe J C. Convergence of a fixed-point algorithm under maximum correntropy criterion. IEEE Signal Processing Letters, 2015, 22(10): 1723−1727 doi:  10.1109/LSP.2015.2428713
    [46] 46 Chen B, Zhao S, Zhu P, et al. Mean square convergence analysis for kernel least mean square algorithm. Signal Processing, 2012, 92(11): 2624−2632 doi:  10.1016/j.sigpro.2012.04.007
    [47] 47 Gao W, Chen J, Richard C, Hang J. Online dictionary learning for kernel LMS. IEEE Transactions on Signal Processing, 2014, 62(11): 2765−2777 doi:  10.1109/TSP.2014.2318132
    [48] Han M, Wang Y. Nonlinear time series online prediction using reservoir Kalman filter. In: Proceeding of IEEE International Joint Conference on Neural Networks (IJCNN). Atlanta, GA, USA: IEEE, 2009. 1090−1094
    [49] 49 Zhou H, Huang J, Lu F, ThiaKirubarajan. Echo state kernel recursive least squares algorithm for machine condition prediction. Mechanical Systems and Signal Processing, 2018, 111: 68−86 doi:  10.1016/j.ymssp.2018.03.047
    [50] Wang X, Han M. Multivariate time series prediction based on multiple kernel extreme learning machine. In: Proceeding of IEEE International Joint Conference on Neural Networks (IJCNN). Beijing, China: IEEE, 2014. 198−201
    [51] Xu M, Zhang S, Han M. Multivariate time series modeling and prediction based on reservoir independent components. In: Proceeding of IEEE Sixth International Conference on Intelligent Control and Information Processing (ICICIP). Wuhan, China: IEEE, 2015. 325−330
    [52] 52 Han M, Zhang S, Xu M, Qiu T, Wang N. Multivariate Chaotic Time Series Online Prediction Based on Improved Kernel Recursive Least Squares Algorithm. IEEE Transactions on Cybernetics, 2018(99): 1−13
    [53] 53 Han M, Ren W, Xu M, Qiu T. Nonuniform State Space Reconstruction for Multivariate Chaotic Time Series. IEEE Transactions on Cybernetics, 2018(99): 1−11
    [54] 韩敏, 任伟杰, 许美玲. 一种基于L1范数正则化的回声状态网络. 自动化学报, 2014, 40(11): 2428−2435

    54 Han Min, Ren Wei-Jie, Xu Mei-Ling. An improved echo state network via L1-norm regularization. Acta Automatica Sinica, 2014, 40(11): 2428−2435
    [55] 唐舟进, 任峰, 彭涛, 王文博. 基于迭代误差补偿的混沌时间序列最小二乘支持向量机预测算法. 物理学报, 2014, 63(5): 1−10

    55 Tang Zhou-Jin, Ren Feng, Peng Tao, Wang Wen-Bo. A least square support vector machine prediction algorithm for chaotic time series based on the iterative error correction. Acta Physica Sinica, 2014, 63(5): 1−10
    [56] 刘畅, 郎劲. 基于混核LSSVM的批特征功率预测方法. 自动化学报, 2018, 42(3): 252−264

    56 Liu Chang, Lang Jin. Wind Power Prediction Method Based on Hybrid Kernel LSSVM with Batch Feature. Acta Automatica Sinica, 2018, 42(3): 252−264
    [57] 梅英, 谭冠政, 刘振焘, 武鹤. 基于大脑情感学习模型和自适应遗传算法的混沌时间序列预测. 物理学报, 2018, 67(8): 80502−80502

    57 Mei Ying, Tan Guan-Zheng, Liu Zhen-Tao, Wu He. Chaotic time series prediction based on brain emotional learning model and self-adaptive genetic algorithm. Acta Physica Sinica, 2018, 67(8): 80502−80502
    [58] 杨臻明, 岳继光, 王晓保, 萧蕴诗. 基于独立成分分析的含噪声时间序列预测. 控制与决策, 2013, 28(4): 501−505

    58 Yang Zhen-Ming, Yue Ji-Guang, Wang Xiao-Bao, Xiao Yun-Shi. Noisy time series prediction using independent component analysis. Control and Decision, 2013, 28(4): 501−505
    [59] 宋晓祥, 郭艳, 李宁, 余东平. 基于稀疏贝叶斯学习的协同进化时间序列缺失数据预测算法. 计算机科学, 2018, 46(7): 1−7 doi:  10.11896/j.issn.1002-137X.2018.07.001

    59 Song Xiao-Xiang, Guo Yan, Li Ning, Yu Dong-Ping. Missing data prediction algorithm based on sparse Bayesion learning in coevolving time series. Computer Science, 2018, 46(7): 1−7 doi:  10.11896/j.issn.1002-137X.2018.07.001
    [60] 宋晓样, 郭艳, 李宁, 王萌. 基于压缩感知的时间序列缺失数据预测算法. 计算机科学, 2019, 46(06): 35−40

    60 Song Xiao-Xiang, Guo Yan, Li Ning, Wang Meng. Missing Data Prediction Based on Compressive Sensing in Time Series. Computer Science, 2019, 46(06): 35−40
    [61] 61 Paul T K, Ogunfunmi T. On the Convergence Behavior of the Affine Projection Algorithm for Adaptive Filters. IEEE Transactions on Circuits and Systems, 2011, 58(8): 1813−1826 doi:  10.1109/TCSI.2011.2106091
    [62] 62 Slavakis K, Theodoridis S, Yamada I. Online kernel-based classification using adaptive projection algorithms. IEEE Transactions on Signal Processing, 2008, 56(7): 2781−2796 doi:  10.1109/TSP.2008.917376
    [63] 63 Yukawa M. Multikernel adaptive filtering. IEEE Transactions on Signal Processing, 2012, 60(9): 4672−4682 doi:  10.1109/TSP.2012.2200889
    [64] 张帆. Adaline神经网络随机逼近LMS算法的仿真研究. 电子设计工程, 2009, 17(9): 88−90 doi:  10.3969/j.issn.1674-6236.2009.09.034

    64 Zhang Fan. Simulation study of stochastic approximation LMS algorithm of Adaline neural network. Electronic Design Engineering, 2009, 17(9): 88−90 doi:  10.3969/j.issn.1674-6236.2009.09.034
    [65] 65 Han M, Zhong K, Qiu T, Han B. Interval type-2 fuzzy neural networks for chaotic time series prediction: a concise overview. IEEE Transactions on Cybernetics, 2018, 49(7): 2720−2731
    [66] 李海林, 梁叶. 基于动态时间弯曲的股票时间序列联动性研究. 数据采集与处理, 2016, 31(1): 117−129

    66 Li Hai-Lin, Liang Ye. Co-movement research of stock timeseries bsed on dynamic time warping. Data Acquisition and Processing, 2016, 31(1): 117−129
    [67] 67 Li H. Piecewise aggregate representations and lower-bound distance functions for multivariate time series. Physica A: Statistical Mechanics and its Applications, 2015, 427: 10−25 doi:  10.1016/j.physa.2015.01.063
    [68] 韩敏, 王亚楠. 基于Kalman滤波的储备池多元时间序列在线预报器. 自动化学报, 2010, 36(1): 169−173 doi:  10.3724/SP.J.1004.2010.00169

    68 Han Min, Wang Ya-Nan. Multivariate time series online predictor with Kalman filter trained reservoir. Acta Automatica Sinica, 2010, 36(1): 169−173 doi:  10.3724/SP.J.1004.2010.00169
    [69] 69 Aghabozorgi S, Teh Y W. Stock market co-movement assessment using a three-phase clustering method. Expert Systems with Applications, 2014, 41(4): 1301−1314 doi:  10.1016/j.eswa.2013.08.028
    [70] 70 Jeon S, Hong B, Chang V. Pattern graph tracking-based stock price prediction using big data. Future Generation Computer Systems, 2018, 80: 171−187 doi:  10.1016/j.future.2017.02.010
    [71] 万校基, 李海林. 基于特征表示的金融多元时间序列数据分析. 统计与决策, 2015, 44(23): 151−155

    71 Wan Xiao-Ji, Li Hai-Lin. Financial multivariate time series data analysis based on feature representation. Statistics and Decision, 2015, 44(23): 151−155
    [72] 72 Lu L, Zhao H, Chen B. Time series prediction using kernel adaptive filter with least mean absolute third loss function. Nonlinear Dynamics, 2017, 90(2): 999−1013 doi:  10.1007/s11071-017-3707-7
    [73] Lu L, Zhao H, Chen B. KLMAT: a kernel least mean absolute third algorithm. arXiv preprint, arXiv: 1603.03564, 2016
    [74] Anava O, Hazan E, Mannor S, Ohad Shamir. Online learning for time series prediction. In: Proceeding of Conference on Learning Theory. 2013. 172−184
    [75] 75 Santos J D A, Barreto G A. An outlier-robust kernel RLS algorithm for nonlinear system identification. Nonlinear Dynamics, 2017, 90(3): 1707−1726 doi:  10.1007/s11071-017-3760-2
    [76] 76 Hong Y S T. Dynamic nonlinear state-space model with a neural network via improved sequential learning algorithm for an online real-time hydrological modeling. Journal of Hydrology, 2012, 468: 11−21
    [77] 77 Chen B, Liang J, Zheng N, Principe J C. Kernel least mean square with adaptive kernel size. Neurocomputing, 2016, 191: 95−106 doi:  10.1016/j.neucom.2016.01.004
    [78] Song Q. Time Series Prediction Based on Online Learning. In: Proceeding of IEEE 14th International Conference on Machine Learning and Applications (ICMLA). Miami, FL, USA: IEEE, 2015. 857-864
    [79] 79 Tuia D, Munoz-Mari J, Rojo-Alvarez J L, Manel Martinez R, Gustavo C V. Explicit recursive and adaptive filtering in reproducing kernel Hilbert spaces. IEEE Transactions on Neural Networks and Learning Systems, 2014, 25(7): 1413−1419 doi:  10.1109/TNNLS.2013.2293871
    [80] 80 Wang S, Zheng Y, Duan S, Wang L, Tan H. Quantized kernel maximum correntropy and its mean square convergence analysis. Digital Signal Processing, 2017, 63: 164−176 doi:  10.1016/j.dsp.2017.01.010
    [81] Constantin I, Lengelle R. Performance analysis of kernel adaptive filters based on RLS algorithm. In: Proceeding of IEEE 25th International Conference on Microelectronics (ICM). bEIRUT, lEBANON: IEEE, 2013. 1−4
    [82] Van Vaerenbergh S, Santamaria I, Lazaro-Gredilla M. Estimation of the forgetting factor in kernel recursive least squares. In: Proceeding of IEEE International Workshop on Machine Learning for Signal Processing (MLSP). sANTANDER, sPAIN: IEEE, 2012. 1−6
    [83] 83 Crammer K, Dekel O, Keshet J, Shalev-Shwartz S, Singer Y. Online passive-aggressive algorithms. Journal of Machine Learning Research, 2006, 7(Mar): 551−585
    [84] 84 Mairal J, Bach F, Ponce J, Sapiro G. Online learning for matrix factorization and sparse coding. Journal of Machine Learning Research, 2010, 11(Jan): 19−60
    [85] 85 Guan N, Tao D, Luo Z, Yuan B. Online nonnegative matrix factorization with robust stochastic approximation. IEEE Transactions on Neural Networks and Learning Systems, 2012, 23(7): 1087−1099 doi:  10.1109/TNNLS.2012.2197827
    [86] 86 Duchi J, Hazan E, Singer Y. Adaptive subgradient methods for online learning and stochastic optimization. Journal of Machine Learning Research, 2011, 12(Jul): 2121−2159
    [87] 87 Zhao P, Hoi S C H, Jin R. Double updating online learning. Journal of Machine Learning Research, 2011, 12(May): 1587−1615
    [88] 88 Wang Z, Crammer K, Vucetic S. Breaking the curse of kernelization: Budgeted stochastic gradient descent for large-scale svm training. Journal of Machine Learning Research, 2012, 13(Oct): 3103−3131
    [89] 89 Le T, Nguyen T D, Nguyen V, Phung D. Approximation vector machines for large-scale online learning. The Journal of Machine Learning Research, 2017, 18(1): 3962−4016
    [90] 90 Hoi S C H, Wang J, Zhao P. Libol: A library for online learning algorithms. The Journal of Machine Learning Research, 2014, 15(1): 495−499
    [91] Bottou L, Cun Y L. Large scale online learning. In: Proceeding of Advances in neural information processing systems(NIPS). Vancouver, British, Columbia, 2004. 217−224
    [92] 92 Dieuleveut A, Flammarion N, Bach F. Harder, better, faster, stronger convergence rates for least-squares regression. The Journal of Machine Learning Research, 2017, 18(1): 3520−3570
    [93] 93 Lin J, Zhou D X. Online learning algorithms can converge comparably fast as batch learning. IEEE Transactions on Neural Networks and Learning Systems, 2018, 29(6): 2367−2378 doi:  10.1109/TNNLS.2017.2677970
    [94] 94 Flores A, de Lamare R C. Set-membership adaptive kernel NLMS algorithms: Design and analysis. Signal Processing, 2019, 154: 1−14 doi:  10.1016/j.sigpro.2018.07.007
    [95] 95 Liu Y, Sun C, Jiang S. Kernel filtered-x LMS algorithm for active noise control system with nonlinear primary path. Circuits, Systems, and Signal Processing, 2018: 1−19
    [96] 96 Lei Y, Shi L, Guo Z C. Convergence of unregularized online learning algorithms. The Journal of Machine Learning Research, 2017, 18(1): 6269−6301
    [97] 97 Ma Y, Zheng T. Stabilized sparse online learning for sparse data. The Journal of Machine Learning Research, 2017, 18(1): 4773−4808
    [98] Wada T, Fukumori K, Tanaka T. Dictionary learning for gaussian kernel adaptive filtering with variablekernel center and width. In: Proceeding of IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). Calgary, AB, Canada: IEEE, 2018. 2766−2770
    [99] 99 Wang S, Dang L, Chen B, Ling C, Wang L, Duan S. Kernel online learning algorithm with scale adaptation. IEEE Transactions on Circuits and Systems Ⅱ: Express Briefs, 2018, 65(11): 1788−1792 doi:  10.1109/TCSII.2017.2765523
    [100] Ohnishi M, Yukawa M. Online nonlinear estimation via iterative L2-space projections: reproducing kernel of subspace. arXiv preprint arXiv: 1712.04573, 2017
    [101] Shin B S, Yukawa M, Cavalcante R L G, Dekorsy A. Distributed adaptive learning with multiple kernels in diffusion networks. arXiv preprint arXiv: 1801.07087, 2018
  • [1] 马跃峰, 梁循, 周小平. 一种基于全局代表点的快速最小二乘支持向量机稀疏化算法[J]. 自动化学报, doi: 10.16383/j.aas.2017.c150720
    [2] 王琴, 沈远彤. 基于压缩感知的多尺度最小二乘支持向量机[J]. 自动化学报, doi: 10.16383/j.aas.2016.c150296
    [3] 陶剑文, 王士同. 核分布一致局部领域适应学习[J]. 自动化学报, doi: 10.3724/SP.J.1004.2013.01295
    [4] 陶剑文, 王士同. 领域适应核支持向量机[J]. 自动化学报, doi: 10.3724/SP.J.1004.2012.00797
    [5] 孙明轩, 毕宏博. 学习辨识:最小二乘算法及其重复一致性[J]. 自动化学报, doi: 10.3724/SP.J.1004.2012.00698
    [6] 吴枫, 仲妍, 吴泉源. 基于增量核主成分分析的数据流在线分类框架[J]. 自动化学报, doi: 10.3724/SP.J.1004.2010.00534
    [7] 李妍, 毛志忠, 王琰. 基于偏差补偿递推最小二乘的Hammerstein-Wiener模型辨识[J]. 自动化学报, doi: 10.3724/SP.J.1004.2010.00163
    [8] 吴秀永, 徐科, 徐金梧. 基于Gabor小波和核保局投影算法的表面缺陷自动识别方法[J]. 自动化学报, doi: 10.3724/SP.J.1004.2010.00438
    [9] 王雪松, 田西兰, 程玉虎, 易建强. 基于协同最小二乘支持向量机的Q学习[J]. 自动化学报, doi: 10.3724/SP.J.1004.2009.00214
    [10] 徐东彬, 黄磊, 刘昌平. 自适应核密度估计运动检测方法[J]. 自动化学报, doi: 10.3724/SP.J.1004.2009.00379
    [11] 王永忠, 梁彦, 赵春晖, 潘泉. 基于多特征自适应融合的核跟踪方法[J]. 自动化学报, doi: 10.3724/SP.J.1004.2008.00393
    [12] 郝燕玲, 王众. 基于SNN核的景象匹配算法[J]. 自动化学报, doi: 10.3724/SP.J.1004.2008.01475
    [13] 颜学峰. 基于径基函数-加权偏最小二乘回归的干点软测量[J]. 自动化学报, doi: 10.1360/aas-007-0193
    [14] 李丽娟, 苏宏业, 褚健. 基于在线最小二乘支持向量机的广义预测控制[J]. 自动化学报, doi: 10.1360/aas-007-1182
    [15] 许建化, 张学工, 李衍达. 最小平方误差算法的正则化核形式[J]. 自动化学报
    [16] 赵龙, 陈哲. 新型联邦最小二乘滤波算法及应用[J]. 自动化学报
    [17] 李松涛, 张长水, 荣钢, 边肇祺, Dongming Zhao. 一种基于最小二乘估计的深度图像曲面拟合方法[J]. 自动化学报
    [18] 王晓, 韩崇昭, 万百五. 两种新的有效的非线性系统最小二乘辨识算法[J]. 自动化学报
    [19] 罗贵明. 基于最小二乘算法的最优适应控制器[J]. 自动化学报
    [20] 孟晓风, 王行仁, 黄俊钦. 最小二乘估计的HOUSEHOLDER变换快速递推算法[J]. 自动化学报
  • 加载中
图(2) / 表(2)
计量
  • 文章访问数:  400
  • HTML全文浏览量:  317
  • PDF下载量:  46
  • 被引次数: 0
出版历程
  • 收稿日期:  2019-01-21
  • 录用日期:  2019-09-24
  • 网络出版日期:  2020-01-02

基于核自适应滤波器的时间序列在线预测研究综述

doi: 10.16383/j.aas.c190051
    基金项目:  国家自然科学基金(61773087)资助
    作者简介:

    大连理工大学电子信息与电气工程学部教授. 主要研究方向为模式识别, 复杂系统建模及时间序列预测. 本文通信作者.E-mail: minhan@dlut.edu.cn

    大连理工大学电子信息与电气工程学部硕士研究生. 主要研究方向为时间序列在线建模, 预测.E-mail: majunzhu@mail.dlut.edu.cn

    大连理工大学电子信息与电气工程学部博士研究生. 主要研究方向为时间序列分析和特征选择.E-mail: renweijie@mail.dlut.edu.cn

    大连理工大学电子信息与电气工程学部博士研究生. 主要研究方向为工业过程监控, 故障诊断.E-mail: zhongkai0402@mail. dlut.edu.cn

摘要: 核自适应滤波器是时间序列在线预测的重点研究领域之一, 本文对核自适应滤波器的最新进展及未来研究方向进行了分析和总结. 基于核自适应滤波器的时间序列在线预测方法, 能较好的解决预测、跟踪问题. 本文首先概述了三类核自适应滤波器的基本模型, 包括核最小均方算法, 核递归最小二乘算法和核仿射投影算法. 在此基础上, 从核自适应滤波器在线预测的内容和机理入手, 综述基于核自适应滤波器的时间序列在线预测方法. 最后, 本文将介绍这一领域潜在的研究方向和发展趋势, 并展望未来的挑战.

English Abstract

韩敏, 马俊珠, 任伟杰, 钟凯. 基于核自适应滤波器的时间序列在线预测研究综述. 自动化学报, 2019, 45(x): 1−17. doi: 10.16383/j.aas.c190051
引用本文: 韩敏, 马俊珠, 任伟杰, 钟凯. 基于核自适应滤波器的时间序列在线预测研究综述. 自动化学报, 2019, 45(x): 1−17. doi: 10.16383/j.aas.c190051
Han Min, Ma Jun-Zhu, Ren Wei-Jie, Zhong Kai. A survey of time series online prediction based on kernel adaptive filters. Acta Automatica Sinica, 2019, 45(x): 1−17. doi: 10.16383/j.aas.c190051
Citation: Han Min, Ma Jun-Zhu, Ren Wei-Jie, Zhong Kai. A survey of time series online prediction based on kernel adaptive filters. Acta Automatica Sinica, 2019, 45(x): 1−17. doi: 10.16383/j.aas.c190051
  • 气象、水文、金融、医学以及工程等领域, 其数据多以时间序列的形式进行存储. 时间序列是某种变量或统计指标的数值随时间排序所形成的序列集合, 其中既含有全部变量的历史信息, 又含有参与系统动态演化的变量信息, 例如在气象数据中, 温度、湿度、风速、风向、气压、降雨量、日照时数、紫外线强度的变化等. 从时间序列数据的历史信息中预测未来的变化, 以提前做好防护措施, 对保障人类生命财产安全具有重要意义[1-6].

    近年来, 随着对时间序列研究的深入化, 传统的线性自适应滤波算法[7], 例如最小均方(least mean squares, LMS)算法, 递归最小二乘(recursive least squares, RLS)算法等都不满足预测要求. LMS 收敛过程缓慢, 步长与收敛速度、失调之间也存在矛盾. RLS具有计算复杂度较高、所需存储量较大的缺陷. 同时, 它们的应用实时性也较差, 在处理非线性、非平稳、高复杂性等问题时效果并不理想. 所以对非线性、非平稳、复杂系统的研究已经引起了许多国内外专家学者的广泛关注, 并取得了一定的研究成果.

    对于上述问题, 出现的建模方法主要包括: 人工神经网络(artificial neural networks, ANN)[8-10]、支持向量机(support vector machines, SVM)[11]、核自适应滤波器(kernel adaptive filter, KAF)[12,13]以及一些其它非线性方法. ANN和SVM都属于离线方法, 不满足在线实时性要求. 而KAF是指线性自适应滤波器在核空间(kernel space, KS)的扩展[14,15], 该过程满足在线预测要求, 对复杂时间序列预测具有实时输出的特点. 其中“核技巧”操作不需被显式地知道训练样本在特征空间内的映射[16], 它直接通过核函数计算来完成特征空间的内积计算, 整个计算过程被简化, 该映射过程如图1.

    图  1  从输入空间到特征空间的非线性映射f(·)

    Figure 1.  Nonlinear mapping f(·) from input space to feature space

    目前, 国内外学者使用最多的是高斯核函数. 核函数是先将输入数据映射到高维空间, 再在高维空间进行线性操作.该过程对解决非线性问题具有明显的优势[17,18]. 随着对核函数[15-18]研究的深入, 学者们相继提出了应用于时间序列的计算复杂度较低、跟踪时变能力较强的KAF在线预测算法.

    近年来, 由于时间序列组成的非线性系统越来越复杂, 简单的离线预测已经不能满足用户的要求. 对于上述问题, 多种时间序列在线预测方法相继出现. 目前, 时间序列在线预测方法主要分为以下几类: 重新建模方法、动态神经网络方法、在线支持向量回归方法、递归贝叶斯估计方法和KAF方法.

    KAF使用核方法实现非线性传递函数. 在KAF中, 信号被映射到高维线性特征空间, 并且非线性函数被近似为核的总和, 其域是特征空间. 如果这是在再生核希尔伯特空间(Reproducing kernel Hilbert space, RKHS) 中完成的, 则核方法可以是非线性函数的通用逼近器. 内核方法具有凸损函数的优点, 同时没有局部最小值[13]. 近年来, 随着环境的不断复杂化, 其预测、跟踪问题也日趋复杂化. 在线预测作为一种实时预测、跟踪时变的有效方法, 在时间序列预测方面展现出较好的能效结果, 并满足用户的实时监测与控制的要求[19-21]. 基于KAF 的在线预测方法在许多实际应用领域中都已展现出较好的预测性能, 其中主要包括三类, 核最小均方(kernel least mean squares, KLMS)[19]算法, 核递归最小二乘(kernel recursive least squares, KRLS)[20]算法和核仿射投影算法(kernel affine projection algorithm, KAPA)[21]. 在此基础上, 许多学者也提出相应的改进算法, 根据KAF的发展进程, KAF在线预测模型的研究进展具体如图2 所示, 它详细的概括了文章的整体研究脉络.

    图  2  KAF方法分类框图

    Figure 2.  Classification diagram of the KAF method

    然而, KAF方法在时间序列在线预测过程中还存在以下的问题: 随着新样本的加入, 系统所占用的内存不断增加(主要表现为核矩阵维度的增加), 计算复杂度会随样本量的增加而增长. 针对该问题, 学者们对以上三类KAF方法进行了相应的改进[22-36].在一定程度上, 在线预测帮助研究者实现了对非线性、非平稳、复杂时间序列系统的实时预测, 对进一步将要发生的变化做出更科学、合理的决策.

    本文的贡献主要集中在: 总结基于KAF的时间序列在线预测研究进展, 重点介绍基于KAF的时间序列在线预测方法, 主要包括KLMS, KRLS和KAPA三类, 在本文还介绍了这一研究领域的研究趋势和发展延伸, 并展望未来的挑战, 即充分理解基于KAF的时间序列在线预测的发展趋势, 以供进一步研究.

    • 对于KLMS中存在的计算复杂度和核矩阵的增长问题, 文献[22]提出一种量化核最小均方(quantization kernel least mean square, QKLMS)算法, 其量化操作限制了核函数维数的无限增长, 基本思想是通过量化操作压缩输入数据, 而不像其他稀疏化方法那样直接丢弃冗余数据. 文献[23] 提出了单反馈核最小均方((single feedback kernel least mean square, SF-KLMS)算法, 它使用单个延迟输出以循环方式更新权重, 过去信息的使用也显著加快了收敛速度. 文献[24] 提出了改进的量化核最小均方(modification quantization kernel least mean square, M-QKLMS)算法, 它在使用预测误差的同时还用梯度下降方法来更新滤波器系数. 不同于QKLMS 只考虑预测误差, M-QKLMS 采用新的训练数据和预测误差来调整字典中最接近中心的系数. 文献[25]提出了一种基于随机特征网络的KLMS算法(kernel least mean square base on random feature networks, KLMS-RFN), 它与理论上隐式地将输入映射到无限维空间高斯核相反, 随机特征映射是将样本输入到相对低维的特征空间, 并使变换后的样本与使用移位不变内核的特征空间中近似等效.

      KAF作为在线预测模型, 已经在时间序列预测领域展现出较好的性能[18]. 以下将详细说明基于KLMS及其改进方法的时间序列在线预测机理.

    • 目前, 对于复杂难预测环境, LMS与核方法结合的应用方式随之出现. 2008年, Liu等将LMS嵌入KS提出KLMS[19]. KLMS是指在RKHS中进行的自适应过程, 它结合核技巧和LMS来实现样本到样本的更新[37].

      对于一个有限的训练数据集, KLMS可通过未知映射将输入样本由低维的原始空间映射到高维特征空间, 再在高维特征空间执行简单的线性计算. 其中涉及步进参数的预设置, 主要有两种方法实现: 1) 根据经验设置步进参. 2) 随着新样本的到来, 自适应更新权重$ {{w}}\left( i \right) $ 的同时实时改变步进参数.

      $$ \begin{array}{l} {{w}}\left( i \right) = {{w}}\left( {i - 1} \right) + \mu {{e}}\left( i \right){{\varphi}} \left( i \right) \end{array} $$ (1)

      其中, $ \mu $是步进参数. $ {{e}}\left( i \right) $表示预测误差, $ {{\varphi}} \left( i \right) $表示在特征空间映射后的输入样本.

      $$ \begin{array}{l} {{e}}\left( i \right) = {{d}}\left( i \right) - {{w}}{\left( {i - 1} \right)^{\rm{T}}}{{\varphi}} \left( i \right) \end{array} $$ (2)

      其中, $ {{d}}\left( i \right) = {{\varphi}} {\left( i \right)^{\rm{T}}}w\left( i \right) $.

      上述过程在增加较少运算量的情况下加快了模型收敛速度, 可较快跟踪到自适应参数, 减少训练序列的预处理时间, 从而提高自适应参数的利用效率. 通过以上过程, 得到KLMS模型的预测输出$ {{y}}\left( i \right) $.

      $$ \begin{array}{l} {{y}}\left( i \right) = \displaystyle\sum\limits_{j = 1}^i {{{{\alpha}} _j}\left( i \right)k\left( {{{u}}\left( i \right),{{u}}\left( j \right)} \right)} \end{array} $$ (3)

      其中, $ {{{\alpha}} _j}\left( i \right) = \eta {{e}}\left( j \right) $, $ \eta $ 表示学习率. $ k\left( { \cdot , \cdot } \right) $表示核函数, 该计算过程也被称为核技巧.

      总的来说, KAF在时间序列预测中是一个记忆强化操作. 同时KAF还属于在线操作范畴, 它通过使用之前的样本和预测误差来逐步构造出KAF的输出.

      随着KLMS不断应用于时间序列预测, 其预测也出现了许多亟待解决的问题[38]. 随着预测样本的不断增多, 预测过程中出现计算复杂度较大的问题, 即随着新样本的不断到来, 核矩阵维数不断增大, 模型内存消耗也不断增大, 从而出现预测时间长、效率低、精度低等问题. 对于上述问题, 本章第2节到第5节对给出的多种解决方案进行详细说明.

    • 2012年Chen等在KLMS的基础上提出矢量量化(vector quantization, VQ)操作, 得到量化核最小均方算法. VQ 方法不同于近似依赖准则(approximate linear dependence, ALD)[20], 惊奇准则(surprise criterion, SC), 固定预算准则(fixed budget, FB)[39,40] 和新奇准则(novel criterion, NC)等稀疏方法. VQ 作为稀疏[41,42]的一种替代方法, 其基本思想是矢量量化并以此压缩输入或特征空间, 用以遏制自适应滤波器中高斯核结构的增长. QKLMS 中权重$ {{\Omega}} \left( i \right) $ 的更新过程如下所示:

      $$ \begin{array}{l} {{\Omega}} \left( i \right) = {{\Omega}} \left( {i - 1} \right) + {{\eta}} e\left( i \right)Q\left[ {{{\varphi}} \left( i \right)} \right] \end{array} $$ (4)

      其中, $ Q\left[ \cdot \right] $是量化算子. 与稀疏方法不同, VQ操作是使用“冗余”数据来更新最接近中心的系数, 该过程提高了数据的利用效率[22].

      QKLMS的预测输出$ {{y}}\left( i \right) $如下式所示:

      $$ \begin{array}{l} {{y}}\left( i \right) = \displaystyle\sum\limits_{j = 1}^{size\left( {C\left( {i - 1} \right)} \right)} {{{{\alpha}} _j}\left( i \right)k\left( {{{{C}}_j}\left( {i - 1} \right),{{u}}\left( i \right)} \right)} \end{array} $$ (5)

      其中, $ {{{C}}_j}\left( \cdot \right) $表示字典$ {{C}} $中的第$ j $个元素.

      QKLMS已经应用于短时混沌时间序列预测[22]. 同时VQ利用“冗余”数据来更新最接近的中心系数, 以产生更紧凑的网络, 最终在时间序列在线预测上得到更高的预测精度和预测效率.

    • 前述的KLMS和QKLMS都是前馈网络, 2015年Zhao等首次提出具有单反馈结构的单反馈核最小均方(SF-KLMS)算法. 在SF-KLMS中只有一个延迟输出被用于以循环方式更新权重, 过去信息的使用显著地加快了模型的收敛速度. SF-KLMS 具有更紧凑、更高效的循环结构.

      在SF-KLMS中包含两个权重更新过程: 1) 前馈权重$ {{w}}\left( i \right) $; 2) 反馈权重$ \gamma \left( i \right) $.

      $$ \begin{split} {{w}}\left( {i + 1} \right) =& {{w}}\left( i \right){\rm{ + }}\frac{{{\eta _w}\left( i \right)}}{{{\rho _w}\left( i \right)}}e\left( i \right){{k}}\left( i \right) {\rm{ + }}\\[-5pt] &\frac{{{\eta _w}\left( i \right)}}{{{\rho _w}\left( i \right)}}e\left( i \right){\beta _w}\left( i \right)\gamma \left( i \right){{{D}}_w}\left( {i - 1} \right) \end{split} $$ (6)
      $$ \begin{split} \gamma \left( {i + 1} \right) =& \gamma \left( i \right){\rm{ + }}\frac{{{\eta _\gamma }\left( i \right)}}{{{\rho _\gamma }\left( i \right)}}e\left( i \right)y\left( {i - 1} \right)+ \\[-3pt] &\frac{{{\eta _\gamma }\left( i \right)}}{{{\rho _\gamma }\left( i \right)}}e\left( i \right){\beta _\gamma }\left( i \right)\gamma \left( i \right){D_\gamma }\left( {i - 1} \right) \end{split}$$ (7)

      其中, $ {\eta _w} $$ {\eta _w} $是学习率, $ {\rho _w} $$ {\rho _\gamma } $ 是归一化参数, $ {\beta _w} $$ {\beta _\gamma } $是调整最新梯度信息的参数, ${{{D}}_w}\left( i \right) = {{k}}\left( i \right) + $$ {\beta _w}\left( i \right)\gamma \left( i \right){{{D}}_w}\left( {i - 1} \right) $是当前梯度信息, ${D_\gamma }\left( i \right){\rm{ = }} $$ y\left( {i - 1} \right) + {\beta _\gamma }\left( i \right)\gamma \left( i \right){D_\gamma }\left( {i - 1} \right) $.

      SF-KLMS具有以下优势: 1) SF-KLMS利用延迟输出的先前梯度信息$ {{{D}}_w}\left( {i - 1} \right) $ 来更新当前梯度$ {{{D}}_w}\left( i \right) $; 2) 与无反馈的KAF(如KLMS)和含多反馈的KAF(如LRKOL)相比, SF-KLMS具有更紧凑的结构, 更快的收敛速度和更好的预测性能.

      根据上述分析, 得到SF-KLMS模型的输出$ {{y}}\left( i \right) $.

      $$ \begin{array}{l} {{y}}\left( i \right) = \displaystyle\sum\limits_{l = 1}^m {k\left( {{{u}}\left( i \right),{{u}}\left( {{C_l}} \right)} \right){w_l} + \gamma \left( i \right)y\left( {i - 1} \right)} \end{array} $$ (8)

      其中, $ {{u}}\left( {{C_l}} \right) $表示字典的第$ l $个信号.

      在短时时间序列预测中, 调节因子$ {\beta _w} $被设置成较小值, 而$ {\beta _\gamma } $ 可被设置为相对较大的值用以提高反馈的效果[43].

    • KAF在线预测算法已经在解决复杂系统的预测、跟踪方面展现出强大的能力. 改进的量化核最小均方(M-QKLMS)算法于2016年被Zheng等提出, 该方法是在QKLMS方法的基础上进行的改进[24]. M-QKLMS 采用梯度下降方法来更新核自适应滤波器系数, 不同于QKLMS只考虑预测误差, 该方法还采用新训练数据与预测误差来共同调整字典最接近中心的系数.

      计算新样本与现存字典之间的距离.

      $$ \begin{array}{l} \begin{array}{l} dis\left( {{{u}}\left( i \right),D\left( {i - 1} \right)} \right)=\\ \mathop {\min }\limits_{1 \text{≤} l \text{≤} \left( {D\left( {i - 1} \right)} \right)} \left\| {{{u}}\left( i \right) - {D_l}\left( {i - 1} \right)} \right\| > \gamma \end{array} \end{array} $$ (9)

      其中, $ \gamma $是量化参数. 如果$ dis\left( {{{u}}\left( i \right),D\left( {i - 1} \right)} \right) \text{≤} \gamma $, 那么权重矩阵为$ {{w}}_{{l^ * }}\left( i \right) = {{\bf{{{w}}}}_{{l^ * }}}\left( {i - 1} \right) + \eta \kappa ( {D_{{l^ * }}}\left( {i - 1} \right),$${{u}}\left( i \right) )e\left( i \right) $. 否则, 权重矩阵为$ {{w}}\left( i \right) = [ {{w}}\left( {i - 1} \right),$$\eta e\left( i \right) ] $.

      根据上述判断结果, 得到输出$ {{y}}\left( i \right) $.

      $$ \begin{array}{l} {{y}}\left( i \right) = \displaystyle\sum\limits_{j = 1}^i {{{{w}}_j}\left( {i - 1} \right)k\left( {{{{D}}_j}\left( {i - 1} \right),{{u}}\left( i \right)} \right)} \end{array} $$ (10)

      M-QKLMS先执行VQ操作, 再利用梯度下降方法与预测误差共同作用, 从而有效地降低网络结构复杂度. 该过程提高了历史信息的利用效率[24]. 总之, M-QKLMS利用新训练数据隐藏的信息, 达到了更好的预测精度.

    • 为了在非静态环境中构建在线KAF, Liu等于2018年提出了基于随机特征网络的核最小均方算法[25]. KLMS-RFN与将输入映射到高维特征空间的高斯核相比, 随机特征映射变换是将样本输入到相对低维的特征空间, 其中变换后的样本近似等于在特征空间中使用一个移位不变核, 如下所示:

      $$ \begin{array}{l} {{k}} \left( {{{{x}}_1},{{{x}}_2}} \right) = \left\langle {\Phi \left( {{{{x}}_1}} \right),\Phi \left( {{{{x}}_2}} \right)} \right\rangle \approx \varphi {\left( {{{{x}}_1}} \right)^{\rm T}}\varphi \left( {{{{x}}_2}} \right) \end{array} $$ (11)

      其中, $ \varphi \left( {{x}} \right):{\rm{R}^m} \to {\rm{R}^M} $, 表示特征映射后的输入矩阵.

      然后, KLMS-RFN模型的预测过程可总结为: (1)计算随机傅立叶特征向量$ \varphi \left( {{{x}}\left( n \right)} \right) $

      $$ \begin{array}{l} \varphi \left( {{{x}}\left( n \right)} \right) = {\left[ \begin{array}{l} \cos \left( {{{w}}_1^{\rm{T}}{{{x}}_n}} \right)\\ \cdot \cdot \cdot \\ \cos \left( {{{w}}_M^{\rm{T}}{{{x}}_n}} \right)\\ \sin \left( {{{w}}_1^{\rm{T}}{{{x}}_n}} \right)\\ \cdot \cdot \cdot \\ \sin \left( {{{w}}_M^{\rm{T}}{{{x}}_n}} \right) \end{array} \right]^{\rm{T}}} \end{array} $$ (12)

      (2)得到自适应滤波器的输出$ {{y}}\left( n \right) $

      $$ \begin{array}{l} {{y}}\left( n \right) = {{{w}}^{\rm T}}\left( {n - 1} \right)\varphi \left( {{{x}}\left( n \right)} \right) \end{array} $$ (13)

      (3)得到权重更新矩阵$ {{w}}\left( n \right) $

      $$ \begin{array}{l} {{w}}\left( n \right) = {{w}}\left( {n - 1} \right){\rm{ + }}\eta e\left( n \right)\varphi \left( {{{x}}\left( n \right)} \right) \end{array} $$ (14)

      其中, $ e\left( n \right) = d\left( n \right) - y\left( n \right) $表示预测误差.

      KLMS-RFN不需要存储重要样本, 可节省大量存储成本. 当所选样本较多时, KLMS-RFN的计算g'>$\eta e\left( i \right) ] $.

      根据上述判断结果, 得到输出$ {{y}}\left( i \right) $