2.793

2018影响因子

(CJCR)

  • 中文核心
  • EI
  • 中国科技核心
  • Scopus
  • CSCD
  • 英国科学文摘

留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

一种基于L1范数正则化的回声状态网络

韩敏 任伟杰 许美玲

韩敏, 任伟杰, 许美玲. 一种基于L1范数正则化的回声状态网络. 自动化学报, 2014, 40(11): 2428-2435. doi: 10.3724/SP.J.1004.2014.02428
引用本文: 韩敏, 任伟杰, 许美玲. 一种基于L1范数正则化的回声状态网络. 自动化学报, 2014, 40(11): 2428-2435. doi: 10.3724/SP.J.1004.2014.02428
HAN Min, REN Wei-Jie, XU Mei-Ling. An Improved Echo State Network via L1-Norm Regularization. ACTA AUTOMATICA SINICA, 2014, 40(11): 2428-2435. doi: 10.3724/SP.J.1004.2014.02428
Citation: HAN Min, REN Wei-Jie, XU Mei-Ling. An Improved Echo State Network via L1-Norm Regularization. ACTA AUTOMATICA SINICA, 2014, 40(11): 2428-2435. doi: 10.3724/SP.J.1004.2014.02428

一种基于L1范数正则化的回声状态网络


DOI: 10.3724/SP.J.1004.2014.02428
详细信息
    作者简介:

    任伟杰 大连理工大学电子信息与电气工程学部博士研究生. 主要研究方向为变量选择, 多元时间序列预测.E-mail: renweijie@mail.dlut.edu.cn

    通讯作者: 韩敏, 大连理工大学电子信息与电气工程学部教授. 主要研究方向为神经网络, 模式识别, 混沌时间序列预测. 本文通信作者.E-mail: minhan@dlut.edu.cn
  • 基金项目:

    国家重点基础研究发展计划(973计划) (2013CB430403),国家自然科学基金(61374154)资助

An Improved Echo State Network via L1-Norm Regularization

More Information
  • Fund Project:

    Supported by National Basic Research Program of China (973 Program) (2013CB430403) and National Natural Science Foundation of China (61374154)

  • 摘要: 针对回声状态网络存在的病态解以及模型规模控制问题,本文提出一种基于L1范数正则化的改进回声状态网络.该方法通过在目标函数中添加L1范数惩罚项,提高模型求解的数值稳定性,同时借助于L1范数正则化的特征选择能力,控制网络的复杂程度,防止出现过拟合.对于L1范数正则化的求解,采用最小角回归算法计算正则化路径,通过贝叶斯信息准则进行模型选择,避免估计正则化参数.将模型应用于人造数据和实际数据的时间序列预测中,仿真结果证明了本文方法的有效性和实用性.
  • [1] Jaeger H, Hass H. Harnessing nonlinearity: predicting chaotic systems and saving energy in wireless communication. Science, 2004, 304(5667): 78-80
    [2] Qiao Jun-Fei, Bo Ying-Chun, Han Guang. Application of ESN-based multi indices dual heuristic dynamic programming on wastewater treatment process. Acta Automatica Sinica, 2013, 39(7): 1146-1151 (乔俊飞, 薄迎春, 韩广. 基于ESN的多指标DHP控制策略在污水处理过程中的应用. 自动化学报, 2013, 39(7): 1146-1151)
    [3] Ongenae F, Van Looy S, Verstraeten D, Verplancke T, Benoit D, De Turck F, Dhaene T, Schrauwen B, Decruyenaere J. Time series classification for the prediction of dialysis in critically ill patients using echo state networks. Engineering Applications of Artificial Intelligence, 2013, 26(3): 984-996
    [4] Li G Q, Niu P F, Zhang W P, Zhang Y. Control of discrete chaotic systems based on echo state network modeling with an adaptive noise canceler. Knowledge-Based Systems, 2012, 35: 35-40
    [5] Peng Yu, Wang Jian-Min, Peng Xi-Yuan. Researches on time series prediction with echo state networks. Acta Electronica Sinica, 2010, 38(2A): 148-154 (彭宇, 王建民, 彭喜元. 基于回声状态网络的时间序列预测方法研究. 电子学报, 2010, 38(2A): 148-154)
    [6] Lukosevicius M, Jaeger H. Reservoir computing approaches to recurrent neural network training. Computer Science Review, 2009, 3(3): 127-149
    [7] Rong H J, Ong Y S, Tan A H, Zhu Z. A fast pruned-extreme learning machine for classification problem. Neurocomputing, 2008, 72(1-3): 359-366
    [8] Dutoit X, Schrauwen B, Van Campenhout J, Stroobandt D, Van Brussel H, Nuttin M. Pruning and regularization in reservoir computing. Neurocomputing, 2009, 72(7-9): 1534-1546
    [9] Miche Y, Sorjamaa A, Bas P, Simula O, Jutten C, Lendasse A. OP-ELM: optimally pruned extreme learning machine. IEEE Transactions on Neural Networks, 2010, 21(1): 158-162
    [10] Kump P, Bai E W, Chan K S, Eichinger B, Li K. Variable selection via RIVAL (removing irrelevant variables amidst LASSO iterations) and its application to nuclear material detection. Automatica, 2012, 48(9): 2107-2115
    [11] Liu Qiao, Qin Zhi-Guang, Chen Wei, Zhang Feng-Li. Zero-norm penalized feature selection support vector machine. Acta Automatica Sinica, 2011, 37(2): 252-256 (刘峤, 秦志光, 陈伟, 张凤荔. 基于零范数特征选择的支持向量机模型. 自动化学报, 2011, 37(2): 252-256)
    [12] Han Min, Li De-Cai. An norm 1 regularization term ELM algorithm based on surrogate function and Bayesian framework. Acta Automatica Sinica, 2011, 37(11): 1344-1350 (韩敏, 李德才. 基于替代函数及贝叶斯框架的1范数ELM算法. 自动化学报, 2011, 37(11): 1344-1350)
    [13] Liu Jian-Wei, Li Shuang-Cheng, Luo Xiong-Lin. Classification algorithm of support vector machine via p-norm regularization. Acta Automatica Sinica, 2012, 38(1): 76-87 (刘建伟, 李双成, 罗雄麟. p范数正则化支持向量机分类算法. 自动化学报, 2012, 38(1): 76-87)
    [14] Miche Y, Van Heeswijk M, Bas P, Simula O, Lendasse A. TROP-ELM: a double-regularized ELM using LARS and Tikhonov regularization. Neurocomputing, 2011, 74(16): 2413-2421
    [15] Friedman J H. Fast sparse regression and classification. International Journal of Forecasting, 2012, 28(3): 722-738
    [16] Tibshirani R. Regression shrinkage and selection via the lasso. Journal of the Royal Statistical Society: Series B (Methodological), 1996, 58(1): 267-288
    [17] Peng Yi-Gang, Suo Jin-Li, Dai Qiong-Hai, Xu Wen-Li. From compressed sensing to low-rank matrix recovery: theory and applications. Acta Automatica Sinica, 2013, 39(7): 981-994(彭义刚, 索津莉, 戴琼海, 徐文立. 从压缩传感到低秩矩阵恢复: 理论与应用. 自动化学报, 2013, 39(7): 981-994)
    [18] Efron B, Hastie T, Johnstone I, Tibshirani R. Least angle regression. The Annals of Statistics, 2004, 32(2): 407-499
    [19] Stoica P, Selen Y. Model-order selection: a review of information criterion rules. IEEE Signal Processing Magazine, 2004, 21(4): 36-47
    [20] Watanabe S. A widely applicable Bayesian information criterion. Journal of Machine Learning Research, 2013, 14(1): 867-897
    [21] Wu C L, Chau K W. Prediction of rainfall time series using modular soft computing methods. Engineering Applications of Artificial Intelligence, 2013, 26(3): 997-1007
    [22] Box G E P, Jenkins G M, Reinsel G C. Time Series Analysis: Forecasting and Control. New Jersey, USA: John Wiley & Sons, 2008. 677-678
  • [1] 李温鹏, 周平. 高炉铁水质量鲁棒正则化随机权神经网络建模[J]. 自动化学报, 2020, 46(4): 721-733. doi: 10.16383/j.aas.2018.c170670
    [2] 贺敏, 汤健, 郭旭琦, 阎高伟. 基于流形正则化域适应随机权神经网络的湿式球磨机负荷参数软测量[J]. 自动化学报, 2019, 45(2): 398-406. doi: 10.16383/j.aas.2018.c170289
    [3] 王磊, 乔俊飞, 杨翠丽, 朱心新. 基于灵敏度分析的模块化回声状态网络修剪算法[J]. 自动化学报, 2019, 45(6): 1136-1145. doi: 10.16383/j.aas.c180288
    [4] 许美玲, 王依雯. 基于改进差分进化和回声状态网络的时间序列预测研究[J]. 自动化学报, 2019, 45(): 1-9. doi: 10.16383/j.aas.c180549
    [5] 许夙晖, 慕晓冬, 柴栋, 罗畅. 基于极限学习机参数迁移的域适应算法[J]. 自动化学报, 2018, 44(2): 311-317. doi: 10.16383/j.aas.2018.c160818
    [6] 李慧, 马小平, 施珺, 李存华, 仲兆满, 蔡虹. 复杂网络环境下基于信任传递的推荐模型研究[J]. 自动化学报, 2018, 44(2): 363-376. doi: 10.16383/j.aas.2018.c160395
    [7] 伦淑娴, 林健, 姚显双. 基于小世界回声状态网的时间序列预测[J]. 自动化学报, 2015, 41(9): 1669-1679. doi: 10.16383/j.aas.2015.c150049
    [8] 许美玲, 韩敏. 多元混沌时间序列的因子回声状态网络预测模型[J]. 自动化学报, 2015, 41(5): 1042-1046. doi: 10.16383/j.aas.2015.c140604
    [9] 韩敏, 许美玲, 任伟杰. 多元混沌时间序列的相关状态机预测模型研究[J]. 自动化学报, 2014, 40(5): 822-829. doi: 10.3724/SP.J.1004.2014.00822
    [10] 乔俊飞, 薄迎春, 韩广. 基于ESN的多指标DHP控制策略在污水处理过程中的应用[J]. 自动化学报, 2013, 39(7): 1146-1151. doi: 10.3724/SP.J.1004.2013.01146
    [11] 张文林, 张连海, 牛铜, 屈丹, 李弼程. 基于正则化的本征音说话人自适应方法[J]. 自动化学报, 2012, 38(12): 1950-1957. doi: 10.3724/SP.J.1004.2012.01950
    [12] 刘峤, 秦志光, 陈伟, 张凤荔. 基于零范数特征选择的支持向量机模型[J]. 自动化学报, 2011, 37(2): 252-256. doi: 10.3724/SP.J.1004.2011.00252
    [13] 武征鹏, 张学工. 弹性多核学习[J]. 自动化学报, 2011, 37(6): 693-699. doi: 10.3724/SP.J.1004.2011.00693
    [14] 韩敏, 王新迎. 一种有效的储备池在线稀疏学习算法[J]. 自动化学报, 2011, 37(12): 1536-1540. doi: 10.3724/SP.J.1004.2011.01536
    [15] 李钧涛, 贾英民. 用于癌症分类与基因选择的一种改进的弹性网络[J]. 自动化学报, 2010, 36(7): 976-981. doi: 10.3724/SP.J.1004.2010.00976
    [16] 韩敏, 王亚楠. 基于Kalman滤波的储备池多元时间序列在线预报器[J]. 自动化学报, 2010, 36(1): 169-173. doi: 10.3724/SP.J.1004.2010.00169
    [17] 刘颖, 赵珺, 王伟, 吴毅平, 陈伟昌. 基于数据的改进回声状态网络在高炉煤气发生量预测中的应用[J]. 自动化学报, 2009, 35(6): 731-738. doi: 10.3724/SP.J.1004.2009.00731
    [18] 许建化, 张学工, 李衍达. 最小平方误差算法的正则化核形式[J]. 自动化学报, 2004, 30(1): 27-36.
    [19] 张永平, 郑南宁, 赵荣椿. 基于变分的图像恢复算法及收敛性[J]. 自动化学报, 2002, 28(5): 673-680.
    [20] 李文彪, 潘士先. 弱正则化边缘检测[J]. 自动化学报, 1996, 22(5): 545-553.
  • 加载中
计量
  • 文章访问数:  1149
  • HTML全文浏览量:  33
  • PDF下载量:  990
  • 被引次数: 0
出版历程
  • 收稿日期:  2013-11-06
  • 修回日期:  2014-05-02
  • 刊出日期:  2014-11-20

一种基于L1范数正则化的回声状态网络

doi: 10.3724/SP.J.1004.2014.02428
    基金项目:

    国家重点基础研究发展计划(973计划) (2013CB430403),国家自然科学基金(61374154)资助

    作者简介:

    任伟杰 大连理工大学电子信息与电气工程学部博士研究生. 主要研究方向为变量选择, 多元时间序列预测.E-mail: renweijie@mail.dlut.edu.cn

    通讯作者: 韩敏, 大连理工大学电子信息与电气工程学部教授. 主要研究方向为神经网络, 模式识别, 混沌时间序列预测. 本文通信作者.E-mail: minhan@dlut.edu.cn

摘要: 针对回声状态网络存在的病态解以及模型规模控制问题,本文提出一种基于L1范数正则化的改进回声状态网络.该方法通过在目标函数中添加L1范数惩罚项,提高模型求解的数值稳定性,同时借助于L1范数正则化的特征选择能力,控制网络的复杂程度,防止出现过拟合.对于L1范数正则化的求解,采用最小角回归算法计算正则化路径,通过贝叶斯信息准则进行模型选择,避免估计正则化参数.将模型应用于人造数据和实际数据的时间序列预测中,仿真结果证明了本文方法的有效性和实用性.

English Abstract

韩敏, 任伟杰, 许美玲. 一种基于L1范数正则化的回声状态网络. 自动化学报, 2014, 40(11): 2428-2435. doi: 10.3724/SP.J.1004.2014.02428
引用本文: 韩敏, 任伟杰, 许美玲. 一种基于L1范数正则化的回声状态网络. 自动化学报, 2014, 40(11): 2428-2435. doi: 10.3724/SP.J.1004.2014.02428
HAN Min, REN Wei-Jie, XU Mei-Ling. An Improved Echo State Network via L1-Norm Regularization. ACTA AUTOMATICA SINICA, 2014, 40(11): 2428-2435. doi: 10.3724/SP.J.1004.2014.02428
Citation: HAN Min, REN Wei-Jie, XU Mei-Ling. An Improved Echo State Network via L1-Norm Regularization. ACTA AUTOMATICA SINICA, 2014, 40(11): 2428-2435. doi: 10.3724/SP.J.1004.2014.02428
参考文献 (22)

目录

    /

    返回文章
    返回