主通风机切换过程(Main fan switchover process, MFSP)被广泛用来保证矿井的持续安全生产^[1]. 矿井必须配有成对的主通风机, 采用轮流运行的工作模式. 其中, 运行的一台叫工作主通风机, 另一台叫备用主通风机. 井下供给风量作为主通风机切换过程的关键运行指标, 对井下作业影响很大, 因此有必要对其进行实时监测, 保证主通风机切换过程的平稳运行以提供充足的井下供给风量. 然而, 由于恶劣的井下工作环境, 取压孔容易出现堵塞现象, 导致无法实时准确地监测井下供给风量状态. 另外, 堵塞的取压孔必须等到大周期(一般半年或一年一次) 的主通风机检修才能进行取压孔的清理. 因此有必要建立井下供给风量的准确可靠性模型, 为矿井值守人员提供井下工作状况和供给风量信息.

目前井下供给风量模型主要分为两大类: 机理模型和数据驱动模型. 主通风机切换过程涉及到两大动力源的过渡, 涉及到$ {4} $个风门的切换, 涉及到井下供给风流的控制等. 因此, 井下供给风量机理模型包括: 主通风机模型可用其特性曲线来表示^[2]; 对于风门支路, 首先通过数据拟合方法建立风门风阻与风门开度之间的非线性关系, 再采用定常^[3-4]或非定常^[5-6]不可压缩Navier-Stokes方程来建模; 对于地下矿井, 由于复杂多变的井下工作环境和错综复杂的网络布局以及频繁变化的设备状态, 难以建立模型. 通常首先将其近似为一个长度确定的风流支路, 再采用类似于风门支路的建模方法来建模. 井下供给风量模型是由上述主要结构的子模型组成, 通过基尔霍夫风压和风流定律来建立. 然而, 由于机理模型一般是基于一定的理论假设而建立的, 如地下矿井的近似化处理, 实际主通风机切换过程要远远复杂于机理模型, 因此机理模型在实际主通风机切换过程中往往难以应用. 数据驱动的井下供给风量建模方法, 不需要掌握切换过程的复杂变化, 仅利用数据就可以建立井下供给风量的估计模型, 因此数据驱动井下供给风量建模是目前主通风机切换过程建模研究的热点. 如, 文献[7]利用静态工况下的井下供给风量和风门分支风门风阻的数据, 建立了基于RBF神经网络的井下供给风量模型.

近年, 由于具有极快的学习速度, 且能有效地解决传统神经网络收敛速度慢、易陷入局部极小的问题, 增量式随机权网络(Incremental random weight network, IRWN)已被广泛用于复杂工业过程的建模^[8-10]. IRWN本质上是一种采用构造算法得到的单隐层前馈神经网络(Single layer feedforward neural network, SLFNN), 比传统神经网络具有更简单的结构和更高的计算效率^[11]. 针对IRWN收敛性问题, 文献[12]通过对一类IRWN进行理论分析和仿真研究, 得出一个结论: IRWN的万能逼近能力只有在一定的约束条件下才能得到保证. 因此, 寻找保证IRWN收敛性的约束条件是建立IRWN的关键. 如, 文献[13]提出了一种基于不等式约束条件的随机配置网络(Stochastic configuration network, SCN), 其不仅具有万能逼近能力, 而且具有较快的学习速度. 与标准IRWN相比, SCN算法具有较快的学习速度和较高的模型精度, 但是SCN算法依然存在如下的问题:

问题. 随着隐含层节点数目的增加, SCN算法可能存在过拟合和泛化性能差的问题. 由于隐含层节点的增加, 使得模型学习时结构较复杂, 致使模型对已知训练数据表现较好, 而对未知数据具有较差的测试效果, 造成过拟合的问题. 由于过拟合的存在, 使得模型鲁棒性不足、泛化能力差, 难以实际应用.

另外, PLC控制系统已广泛应用于主通风机切换过程^[14]. 由于受PLC存储空间、运行效率等的限制, 需要建立一个先进的小尺寸网络来减轻计算和存储压力. 因此有必要建立高质量、小尺寸的井下供给风量估计模型.

针对上述问题, 在SCN算法的基础上, 结合正则化(Regularization, R)技术, 本文提出一种新型的改进SCN算法, 即RSC算法. 该算法包含两个版本: RSC-I和RSC-II. 两个版本的算法在相同的不等式约束条件下随机分配隐性参数, 但采用不同的方式计算输出权重. RSC-I算法通过求解局部正则化最小二乘问题来确定输出权重, 而RSC-II算法采用全局正则化最小二乘法计算输出权重. 基准回归分析和工业实验表明: 相比SCN算法, 本文方法不仅具有较高的建模精度和较好的泛化能力, 而且还减轻了PLC存储和计算的压力.

1.   主通风机切换过程与特性分析

1.1   主通风机切换过程及井下供给风量建模的必要性

主通风机切换过程如图1所示, 由两大动力源的过渡、4个风门的切换2部分组成. 假设当前工作主通风机为一号主通风机, 备用主通风机为二号主通风机, 那么一号主通风机、完全关闭的一号水平风门与二号垂直风门、完全打开的一号垂直风门和地下矿井共同构成一个典型的矿井通风系统. 主通风机切换过程就是切断一号主通风机与地下矿井的连接, 同时建立二号主通风机与地下矿井的连接. 矿井通常采用的主通风机切换过程可描述如下: 首先, 启动二号主通风机, 再打开二号垂直风门和一号水平风门; 同时, 关闭二号水平风门和一号垂直风门; 最后, 直到4个风门完全到位后, 才关闭一号主通风机.

图 1  主通风机切换过程示意图

Fig. 1  Diagram of a main fan switchover process

下载: 全尺寸图片 幻灯片

主通风机切换时, 井下供给风量是由两台主通风机共同提供的, 同时又受井下工作环境的影响, 对实现主通风机切换过程闭环优化控制起着重要作用. 井下供给风量不仅是表征能耗水平和运行状况的重要指标, 而且决定地下矿井工作环境质量、采煤效率和矿井安全生产. 目前, 国内外对主通风机切换过程闭环控制和运行优化的研究较少^[15-17], 并且这些研究成果严重依赖井下供给风量的实时测量. 但是在实际应用中, 由于井下供给风流含有成分复杂的气、液、固三相混合杂质, 致使取压孔容易发生堵塞, 造成风量测量装置的测量效果不理想. 因此, 对井下供给风量进行有效估计, 不仅能为矿井值守人员提供信息来判断主通风机切换过程运行状态和井下工作状况, 而且有益于实现井下供给风量的控制和运行优化.

1.2   建模复杂性及特性分析

主通风机切换过程是一个极其复杂的过程. 其中, 包含气、液、固三相混合杂质的井下供给风流耦合交错, 同时井下工作环境极其恶劣; 地下矿井局部通风机的启停和井下控制气流的风门状态以及作业人员的变动, 运行工况不稳定; 各类采矿活动(回采工作面、电池和燃料充电站、矿石破碎站等)中, 污染物产生的速度及其质量的变化, 运行工况动态时变. 这些导致了难以建立准确可靠的主通风机切换过程模型.

表1列出了主通风机切换过程的相关变量. 从图1可知, 影响井下供给风量指标的关键过程变量为: $ H_{\rm 1d} $、$ H_{\rm 2d} $、$ R_{\rm 1c} $、$ R_{\rm 1s} $、$ R_{\rm 2c} $、$ R_{\rm 2s} $、$R_{0}$. 下面对上述7个变量进行具体地分析.

表 1  主通风机切换过程相关变量

Table 1  Related variables in the MFSP

变量	符号	单位
井下供给风量	$Q_{\rm 0}$	${\rm m^3/s}$
井下风阻	$R_{\rm 0}$	${\rm kg/m^7}$
一号垂直风门风量	$Q_{\rm 1c}$	${\rm m^3/s}$
一号垂直风门风阻	$R_{\rm 1c}$	${ \rm kg/m^7}$
一号水平风门风量	$Q_{\rm 1s}$	${\rm m^3/s}$
一号水平风门风阻	$R_{\rm 1s}$	${\rm kg/m^7}$
一号主通风机风量	$Q_{\rm 1m}$	${\rm m^3/s}$
一号主通风机压头	$H_{\rm 1d}$	${\rm Pa}$
二号垂直风门风量	$Q_{\rm 2c}$	${\rm m^3/s}$
二号垂直风门风阻	$R_{\rm 2c}$	${\rm kg/m^7}$
二号水平风门风量	$Q_{\rm 2s}$	${\rm m^3/s}$
二号水平风门风阻	$R_{\rm 2s}$	${\rm kg/m^7}$
二号主通风机风量	$Q_{\rm 2m}$	${\rm m^3/s}$
二号主通风机压头	$H_{\rm 2d}$	${\rm Pa}$

下载: 导出CSV 

| 显示表格

1)一号主通风机压头$ H_{\rm 1d} $和二号主通风机压头$ H_{\rm 2d} $对井下供给风量$ Q_{\rm 0} $的影响

对于主通风机, 在额定转速下, 其风压$ H_{\rm f} $可描述为主通风机风量$ Q_{\rm f} $的函数. 根据该主通风机特性曲线^[18], 一般将这个函数描述为如下二次多项式:

式中, $ a_0, $ $ a_1 $和$ a_2 $为待定常数, 根据风机特性曲线进行确定.

根据风机定律^[19], 转速$ N $所对应的主通风机风压$ H $可以写成:

式中, $ N_{\rm f} $为额定转速, $ Q $为转速$ N $所对应的主通风机风量.

从式(2)可知, 当转速已知时, 通过主通风机风压可以得到对应的主通风机风量. 因此, 对于转速可测的两台主通风机, 可得:

式中, $ f_1(\cdot) $和$ f_2(\cdot) $为确定的非线性函数.

根据基尔霍夫风流定律^[20], 从图1可得:

由式(3), (4)和式(5)可知, $ H_{\rm 1d} $的变化会引起$ Q_{\rm 1c} $的变化; 同时当$ H_{\rm 2d} $发生变化时, $ Q_{\rm 2c} $也将随之发生改变. 另外, 由式(6)可知, $ Q_0 $是由$ Q_{\rm 1c} $和$ Q_{\rm 2c} $共同决定的. 因此, $ H_{\rm 1d} $和$ H_{\rm 2d} $对井下供给风量$ Q_0 $产生重要影响.

2)风门支路风门风阻$ R_{\rm 1c} $, $ R_{\rm 1s} $, $ R_{\rm 2c} $和$ R_{\rm 2s} $对井下供给风量$ Q_{\rm 0} $的影响

由Darcy-Weisbach方程可知, 风道压降与通过风道的风量之间的函数关系是非线性的^[2]. 根据文献[21-22], 可将这个函数关系写成:

式中, $ H_{i{\rm c}} $和$ H_{i{\rm s}} $分别为主通风机垂直风门和水平风门压降, $ i $为主通风机.

由于$ H_{i{\rm c}} $和$ H_{i{\rm s}} $可看作$ i $号主通风机的负载, 因此它们是由$ H_{i{ \rm d}} $提供的. 另外, 由式(7)可知, 风量和风阻之间呈现非线性关系. 那么上式可写成:

式中, $ \eta(\cdot) $为非线性函数.

由式(4), (5)和式(8)可知, 风门风阻$ R_{\rm 1s} $, $ R_{\rm 1c} $, $ R_{\rm 2c} $和$ R_{\rm 2s} $是影响风量$ Q_{\rm 1s} $, $ Q_{\rm 1c} $, $ Q_{\rm 2c} $和$ Q_{\rm 2s} $的重要因素. 再结合式(6)可知, 上述风阻是影响井下供给风量$ Q_0 $的关键过程变量.

3)井下风阻$ R_{\rm 0} $对井下供给风量$ Q_{\rm 0} $的影响

对于地下矿井, 压降$ H_0 $与风阻$ R_0 $之间呈现出明显的非线性特征. 用公式描述为:

$ H_0 $可视为两台主通风机的负载, 其数值由$ H_{\rm 1d} $和$ H_{\rm 2d} $共同决定. 主通风机切换过程中, $ R_0 $是不需要进行调节的, 但会受到一些因素的影响. 例如, 井下工作人员的变动, 井下控制气流的风门状态, 井下作业状况等. 上述这些因素都会引起$ R_0 $的变化. 根据式(9)可知, $ R_0 $的变化会引起井下供给风量$ Q_0 $的改变.

综上所述, 将主通风机压头$ H_{\rm 1d} $和$ H_{\rm 2d} $、风门风阻$ R_{\rm 1s} $, $ R_{\rm 1c} $, $ R_{\rm 2c} $和$ R_{\rm 2s} $、井下风阻$ R_0 $作为建模输入变量, 就可以实现井下供给风量$ Q_0 $的估计. 这个非线性映射可描述为:

式中, $ \varphi(\cdot) $为未知的非线性函数.

2.   相关算法

2.1   随机配置网络

SCN开始于一个小尺寸的SLFNN, 首先在一个不等式约束条件下, 逐个选取隐含层节点, 同时自适应地选择隐性参数的范围; 然后, 利用全局最小二乘法确定当前网络的输出权重; 最后, 直到达到设定的最大隐含层节点数目或期望的网络精度时结束隐含层节点的增加.

令${\boldsymbol{ \Gamma}}: = \{{\boldsymbol{g}}_1,\ {\boldsymbol{g}}_2,\ {\boldsymbol g}_3,\cdots\}$表示一组实值函数, span($ {\boldsymbol{ \Gamma}} $)表示$ {\boldsymbol{ \Gamma}} $张成的函数空间; 令$ L_2(D) $表示定义在$D\subset{{\bf{R}}}^d$上的所有勒贝格可测函数${\boldsymbol{f}} = [{\boldsymbol{f}}_1, {\boldsymbol{f}}_2, \cdots,$${\boldsymbol{f}}_m]:{\bf{R}}^d\rightarrow{\bf{R}}^m$的空间.

给定一个目标函数${\boldsymbol{f}}:{\bf{R}}^d\rightarrow{\bf{R}}^m$, 假设存在一个建立好的带有$ L-1 $个隐含层节点的SLFNN, 那么SLFNN的输出可表示为:

式中, $ L = 1,2,\cdots, $ $ {\boldsymbol{w}}_j $和$ b_j $分别为第$ j $个隐含层节点的输入权值和偏置, $ {\boldsymbol{\beta}}_j = [\beta_{j1},\beta_{j2},\cdots,\beta_{jm}]^{{\rm T}} $为连接第$ j $个隐含层节点与输出层节点的输出权值, $ {\boldsymbol{g}}_j $为第$ j $个隐含层节点的激活函数.

根据式(11), 可以得到当前网络残差$ {\boldsymbol{e}}_{L-1} $:

SCN算法构造一个不等式约束条件来增加第$ L $个隐含层节点, 其不等式约束的形式如下:

式中, $ \forall {\boldsymbol{g}} \in {\boldsymbol{ \Gamma}}, $ $b_g \in \bf{R}^+,$ 使得$ 0<||{\boldsymbol{g}}||<b_g $成立, $ \delta_{L} $的形式为:

式中, $ 0<r<1 $, $ {u_L} $ 满足 $ \lim_{L\rightarrow+\infty}u_L = 0 $ 和 $0 < $$ u_L\leq$$(1-r). $

SCN中表现最好的SCN-III算法采用全局最小二乘法来计算输出权重:

SCN中表现最好的SCN-III算法采用上述方式进行隐含层节点的逐个增加, 直到满足设定的条件.

2.2   正则化随机权神经网络

与标准随机权神经网络(Random vector functional-link networks, RVFLNs)相比, 正则化RVFLNs不仅能有效避免过拟合问题, 而且能通过减小输出权重来降低模型复杂性.

对于给定的神经网络训练样本$ ({\boldsymbol{x}}_i,{\boldsymbol{t}}_i)^N_{i = 1}, $ 正则化RVFLNs的目标代价函数为:

式中, $ {\boldsymbol{\epsilon}}_i $为网络残差, $ C $为正则化系数.

通过正则化最小二乘法直接计算输出权重$ {\boldsymbol{\beta}} $, 具体结果如下:

式中, $ {\boldsymbol{H}} = [{\boldsymbol{g}}_1,{\boldsymbol{g}}_2,\cdots,{\boldsymbol{g}}_L], \; {\boldsymbol{Y}} = [{\boldsymbol{t}}_1,{\boldsymbol{t}}_2,\cdots,{\boldsymbol{t}}_N]^{{\rm T}} $.

3.   RSC算法

3.1   RSC算法的收敛性分析和证明

给定神经网络训练样本$ ({\boldsymbol{x}},{\boldsymbol{t}}) $, 其中, ${\boldsymbol{x}} = \{{\boldsymbol{x}}_1, $${\boldsymbol{x}}_2,\cdots,{\boldsymbol{x}}_N\},\ {\boldsymbol{x}}_i = [x_{i,1},x_{i,2},\cdots,x_{i,d}]^{{\rm T}}\in {\bf{R}}^d,$ ${\boldsymbol{t}} = \{{\boldsymbol{t}}_1,$${\boldsymbol{t}}_2,\cdots,{\boldsymbol{t}}_N\},\ {\boldsymbol{t}}_i = [t_{i,1},t_{i,2},\cdots,t_{i,m}]^{{\rm T}}\in {\bf{R}}^m,$ 假设已经搭建一个带有$ L-1 $个隐含层节点的SLFNN, 那么可以得到当前网络的输出权重:

接下来, 需要构造一个方案来分配隐性参数, 并计算输出权重$ {\boldsymbol{\beta}}_L $, 使得建立的带有$ L $个隐含层节点的SLFNN具有更高的模型精度. 因此, 引入如下目标代价函数:

将式(19)两边同时对$ {\boldsymbol{\beta}}_L $求导, 再结合${\boldsymbol{e}}_L = $$ {\boldsymbol{e}}_{L-1}-{\boldsymbol{\beta}}_L{\boldsymbol{g}}_L, $可得:

令式(20)等于0, 可得:

定理 1. 假设span$ ({\boldsymbol{ \Gamma}}) $在$ L_2 $空间中稠密, 且$ \forall {\boldsymbol{g}} \in {\boldsymbol{ \Gamma}}, $ $ 0<||{\boldsymbol{g}}||<b_g, $ 其中, $ b_g \in \bf{R}^+. $ 对于一个给定的正实数$ C $, 记$ \varepsilon = \dfrac{||b_g||^2}{\Big(||b_g||^2+\dfrac{1}{C}\Big)^2/\Big(||b_g||^2+\dfrac{2}{C}\Big)}. $给定$ 1-\varepsilon<r<1 $, 一个非负实数序列$ {u_L} $满足$ 1- $$\varepsilon-r\;\leq\; u_L\;\leq\;(1-r).$ 对于 $ \!L = 1,2,\cdots $ 和 $q = 1, $$ 2,\cdots,$$m $, 做出如下定义:

若生成的随机基函数$ {\boldsymbol{g}}_L $使得下式成立:

输出权重$ \beta_{L,q} $由如下公式获取:

那么, $ \sqrt{\xi}||{\boldsymbol{f}}||\leq\lim_{L\rightarrow+\infty}||{\boldsymbol{f}}-{\boldsymbol{f}}_L||\leq\sqrt{\gamma}||{\boldsymbol{f}}||, $ 其中, ${\boldsymbol{f}}_L = \displaystyle\sum\nolimits_{j = 1}^{L}{\boldsymbol{\beta}}_j^{}{\boldsymbol{g}}_j,$ $ {\boldsymbol{\beta}}_j^{} = [\beta_{j,1}^{},\beta_{j,2}^{},\cdots,\beta_{j,m}^{}]^{{\rm T}} $.

证明. 由式(26)可得:

整理式(27)得到:

上式可写成:

根据式(22), (25)和式(26)可得:

式(30)可写成:

由式(31)可得:

结合式(29)和式(32) 可得:

由式(23), (24)和式(33)可得$ \xi||{\boldsymbol{f}}||^2\leq $$\lim_{L\rightarrow\infty}||{\boldsymbol{e}}_L||^2\leq\gamma||{\boldsymbol{f}}||^2.$ 因此可得 $\sqrt{\xi}||{\boldsymbol{f}}||\leq $$ \lim_{L\rightarrow\infty}||{\boldsymbol{e}}_L||\leq\sqrt{\gamma}||{\boldsymbol{f}}||. $ □

注 1. 从式(19)可知, 正则化系数$ C $起到平衡$ ||{\boldsymbol{\beta}}_{L}||_2^2 $和$ ||{\boldsymbol{e}}_{L}||_2^2 $的作用, 在保证模型精度的同时, 降低了复杂度, 因此需要对其进行适当选择. 本文通过简单的一维搜索程序来确定合适的正则化系数$ C $. 从定理$ 1 $可知, 对于给定合适的$ C $, RSC算法不仅保留了SCN算法收敛速度快的优点, 而且能有效地克服过拟合问题.

从定理$ 1 $可知, $ {\boldsymbol{\beta}}_L = [\beta_{L,1},\beta_{L,2},\cdots,\beta_{L,m}]^{{\rm T}} $是通过计算${\beta}_{L,q} = {\langle {\boldsymbol{e}}_{L-1,q},{\boldsymbol{g}}_L\rangle}/({||{\boldsymbol{g}}_L||^2+\dfrac{1}{C})}$而得到的, 并且在增加下一个隐含层节点时保持不变. 但是, 这种构造方法会导致RSC算法收敛速度变慢. 因此, 本文给出输出权重的重新计算方法. 具体过程是首先根据式(25) 确定${\boldsymbol{g}}_j\;(j = 1,2,\cdots,L),$ 再采用全局正则化最小二乘法计算输出权重$ {\boldsymbol{\beta}}_1, $ $ {\boldsymbol{\beta}}_2,\cdots, $ $ {\boldsymbol{\beta}}_L $. 令$[{\boldsymbol{\beta}}_{1}^\star, $${\boldsymbol{\beta}}_{2}^\star,\cdots,{\boldsymbol{\beta}}_{L}^\star] \!=\! \arg \min_{{\boldsymbol{\beta}}} \dfrac{C}{2}\left\|{\boldsymbol{f}}-\!\displaystyle\sum\nolimits_{j = 1}^{L}\!{\boldsymbol{\beta}}_j{\boldsymbol{g}}_j\right\|^2\!+ $$ \dfrac{1}{2}||{\boldsymbol{\beta}}||_2^2$, ${\boldsymbol{e}}_L^\star = {\boldsymbol{f}}\!-\!\displaystyle\sum\nolimits_{j = 1}^{L}{\boldsymbol{\beta}}_j^\star {\boldsymbol{g}}_j = [{\boldsymbol{e}}_{L,1}^\star,{\boldsymbol{e}}_{L,2}^\star,\cdots, {\boldsymbol{e}}_{L,m}^\star].$ 定义中间变量 $\widetilde{\beta}_{L,q} = \langle {\boldsymbol{e}}_{L-1,q}^\star,{\boldsymbol{g}}_L\rangle/\left(||{\boldsymbol{g}}_L||^2+\dfrac{1}{C}\right)$, $\widetilde{{\boldsymbol{e}}}_L \!=\! {\boldsymbol{e}}_{L-1}^\star-$$ \widetilde{{\boldsymbol{\beta}}}_L{\boldsymbol{g}}_L, $ 其中, $q \!=\! 1,2,\cdots,m,$ $\widetilde{{\boldsymbol{\beta_L}}} = [\widetilde{\beta}_{L,1}, $$ \widetilde{\beta}_{L,2},\cdots,$$\widetilde{\beta}_{L,m}]^{{\rm T}} $, $ {\boldsymbol{e}}_0^\star = {\boldsymbol{f}}. $

定理 2. 假设span$ ({\boldsymbol{ \Gamma}}) $在$ L_2 $空间中稠密, 且$ \forall {\boldsymbol{g}} \in {\boldsymbol{ \Gamma}}, $ $ 0<||{\boldsymbol{g}}||<b_g, $ 其中, $b_g \in \bf{R}^+.$ 对于一个给定的正实数$ C $, 存在一个足够小的正实数$\varepsilon (C).$ 给定$ 1-\varepsilon<r<1 $, 一个非负实数序列 $ {u_L} $满足 $1- $$\varepsilon-r\;\leq \;u_L\;\leq\;(1-r).$ 对于 $ L = 1,2,\cdots $ 和 $q = 1, $$ 2,\cdots,$$m $, 做出如下定义:

若生成的随机基函数$ {\boldsymbol{g}}_L $满足下式:

输出权重$ \beta_{L,q} $由如下公式计算:

那么, $ \sqrt{\xi}||{\boldsymbol{f}}||\leq\lim_{L\rightarrow+\infty}||{\boldsymbol{f}}-{\boldsymbol{f}}_L^\star||\leq\sqrt{\gamma}||{\boldsymbol{f}}||, $ 其中, ${\boldsymbol{f}}_L^\star = \!\!\displaystyle\sum\nolimits_{j = 1}^{L}{\boldsymbol{\beta}}_j^{\star}{\boldsymbol{g}}_j,$ $ {\boldsymbol{\beta}}_j^{\star} = [\beta_{j,1}^{\star},\beta_{j,2}^{\star},\cdots,\beta_{j,m}^{\star}]^{{\rm T}}. $

证明. 容易可知, $||{\boldsymbol{e}}_L^\star||^2\leq||\widetilde{{\boldsymbol{e}}}_L||^2 = ||{\boldsymbol{e}}_{L-1}^\star- $$||{\boldsymbol{e}}_{L-1}^\star||^2\leq||\widetilde{{\boldsymbol{e}}}_{L-1}||^2. $那么可以得到:

由于$L_2$范数会产生有偏估计, 存在一个充分小的正实数$\theta $, 使得$||{\boldsymbol{e}}_{L}^\star||^2 >\theta$成立. 那么可得:

令$||{\boldsymbol{e}}_{L-1}^\star||^2- \theta =\varepsilon||{\boldsymbol{e}}_{L-1}^\star||^2,\ 0 < \varepsilon< 1 $

通过式$ (40) $可得:

由式(34), (37)和(39)可得:

类似于定理1的证明可得$\sqrt{\xi}||{\boldsymbol{f}}||\!\leq \! \lim_{L\rightarrow\infty}||{\boldsymbol{e}}_L^\star||\!\leq\!$$\sqrt{\gamma}||{\boldsymbol{f}}||. $

注 2. 从式(38)可知, 正则化系数$ C $控制$ ||{\boldsymbol{\beta}}||_2^2 $和$ ||{\boldsymbol{e}}_{L}||_2^2 $之间的平衡. 另外, 不等式约束(37)的作用是增大网络残差函数$ ||{\boldsymbol{e}}_{L}||_2^2 $的下降量, 从而加快算法的收敛速度. 因此, 定理2所对应的RSC算法不仅能有效抑制过拟合现象, 而且具有较快的收敛速度.

3.2   算法描述

定理$ 1 $和定理2分别对应本文提出的RSC算法的两个版本, 即RSC-I算法和RSC-II算法. 由于RSC-II算法比RSC-I算法具有更快的收敛速度, 因此本文着重给出RSC-II算法的实现步骤.

令${\boldsymbol{e}}_{L-1}({\boldsymbol{x}}) \!=\! [{\boldsymbol{e}}_{L-1,1}({\boldsymbol{x}}),\ {\boldsymbol{e}}_{L-1,2}({\boldsymbol{x}}),\ \cdots, \ {\boldsymbol{e}}_{L-1,m}$$({\boldsymbol{x}})]\in {\bf{R}}^{N\times m}$为带有$ L-1 $个隐含层节点的SLFNN残差, 其中, ${\boldsymbol{e}}_{L-1,q}({\boldsymbol{x}}) = [e_{L-1,q}({\boldsymbol{x}}_1),e_{L-1,q}({\boldsymbol{x}}_2),\cdots,$$e_{L-1,q}({\boldsymbol{x}}_N)]^{\rm{T}}\in {\bf{R}}^{N},\; q = 1,2,\cdots,m.$ 做出如下定义:

式中, $ {\boldsymbol{h}}_L({\boldsymbol{x}}) $为第$ L $个隐含层节点输出. 那么当前网络的隐含层输出矩阵可写为${\boldsymbol{H}}_L = [{\boldsymbol{h}}_1,{\boldsymbol{h}}_2,\cdots, $$ {\boldsymbol{h}}_L].$

事实上, $\beta_{L,q} = \langle {\boldsymbol{e}}_{L-1,q},{\boldsymbol{g}}_L\rangle/\Big(||{\boldsymbol{g}}_L||^2+ \dfrac{1}{C}\Big)(q = 1,$$2,\cdots,m) $可写成如下形式:

为简单起见, 引入一组变量 $ \xi_{L,q},q = 1,2,\cdots,m $. 其表达式如下:

式中, $\Upsilon = \Big({\boldsymbol{h}}_L^{{\rm T}}({\boldsymbol{x}})\cdot {\boldsymbol{h}}_L({\boldsymbol{x}})+\dfrac{1}{C}\Big)^2\bigg/\Big({\boldsymbol{h}}_L^{{\rm T}}({\boldsymbol{x}})\times$${\boldsymbol{h}}_L({\boldsymbol{x}})+\dfrac{2}{C}\Big).$

RSC-II算法流程:

给定神经网络的训练样本$ ({\boldsymbol{x}},{\boldsymbol{t}}), $ 其中, ${\boldsymbol{x}} = $$\{{\boldsymbol{x}}_1,{\boldsymbol{x}}_2,\cdots,{\boldsymbol{x}}_N\},\ x_i\in {\bf{R}}^d$, ${\boldsymbol{t}} = \{{\boldsymbol{t}}_1,{\boldsymbol{t}}_2,\cdots,{\boldsymbol{t}}_N\}, \ {\boldsymbol{t}}_i\in$${\bf{R}}^m$; 最大隐含层节点数为$ L_{\max} $, 期望精度为$ \epsilon, $ 随机配置的最大次数为$ T_{\max}; $选择一组正的标量$ \Upsilon = $$ \{\lambda_{\min}:\Delta\lambda:\lambda_{\max}\}. $

步骤 1. 神经网络的初始化阶段: 令$ {\boldsymbol{e}}_0: = [{\boldsymbol{t}}_1, $${\boldsymbol{t}}_2,\cdots,{\boldsymbol{t}}_N]^{{\rm T}}, $给定 $ C>0, $ 一个充分小的正实数 $\varepsilon$给定$ 1-\varepsilon<r<1 $, 两个空集: $ {\boldsymbol{\Omega}} $ and $ {\boldsymbol{W}} $;

步骤 2. 神经网络的训练阶段: 随机参数配置和输出权重计算.

当$ L\leq L_{\max} $和$ ||{\boldsymbol{e}}_0||_F>\epsilon $时,

随机参数配置:

$ 1) $ For $ \lambda\in \Upsilon, $

$ 2) $　For $ k = 1,2,\cdots,T_{\max}, $

$ 3) $　　　分别从$[-\lambda,\lambda]^d $和$[-\lambda,\lambda]$中随机选取$ {\boldsymbol{w}}_L $和$ b_L $;

$ 4) $　　　分别由式(43)和式(45)得到$ {\boldsymbol{h}}_L $和$ \xi_{L,q} $, 并令$ u_L = (1-r)/(L+1); $

$ 5) $　　　If $ \min{\xi_{L,1},\xi_{L,2},\cdots,\xi_{L,m}}\geq0 $

$ 6) $　　　　将$ {\boldsymbol{w}}_L $ 和 $ b_L $ 存储在 $ {\boldsymbol{W}} $ 中, $\xi_L = $$ \displaystyle\sum\nolimits_{q = 1}^{m} \xi_{L,q}$存储在$ {\boldsymbol{\Omega}} $ 中;

$ 7) $　　　Else 返回$ 2) $

$ 8) $　　　End If

$ 9)$　End For

$ 10)$　${\bf{If}} \; {\boldsymbol{W}} $ 不为空集

$ 11) $　　　在$ {\boldsymbol{\Omega}} $中找到最大$ \xi_L $所对应的$ {\boldsymbol{w}}_L^\star $和$ b_L^\star, $ 并令$ {\boldsymbol{H}}_L = [{\boldsymbol{h}}_1^\star,{\boldsymbol{h}}_2^\star,\cdots,{\boldsymbol{h}}_L^\star]; $

$ 12) $　　　Break(返回$ 16) $);

$ 13) $　Else 在$ \tau\in(0,1-r) $中随机产生$ \tau $, 并更新$ r: = r+\tau, $ 再返回$ 2) $;

$ 14)$　End If

$ 15) $　End For

输出权重计算:

$ 16) $　计算$ {\boldsymbol{\beta}}_{}^\star = [{\boldsymbol{\beta}}_{1}^\star,{\boldsymbol{\beta}}_{2}^\star,\cdots,{\boldsymbol{\beta}}_{L}^\star]^{{\rm T}}: =\Big({\boldsymbol{H}}_L^{{\rm T}}{\boldsymbol{H}}_L +$$\dfrac{{\boldsymbol{I}}}{C}\Big)^{-1}\times {\boldsymbol{H}}_L^{{\rm T}}t; $

$ 17) $　计算$ {\boldsymbol{e}}_L = {\boldsymbol{t}}-{\boldsymbol{H}}_L{\boldsymbol{\beta}}^\star; $

$ 18) $　令$ {\boldsymbol{e}}_0: = {\boldsymbol{e}}_L, $ $ L: = L+1; $

算法结束, 并得到最优的$ {\boldsymbol{\beta}}_1^\star,{\boldsymbol{\beta}}_2^\star,\cdots,{\boldsymbol{\beta}}_L^\star, $ ${\boldsymbol{w}}^\star = $$ [{\boldsymbol{w}}_1^\star,{\boldsymbol{w}}_2^\star,\cdots,{\boldsymbol{w}}_L^\star]$和$ b^\star = [b_1^\star,b_2^\star,\cdots,b_L^\star]. $

4.   实验分析

为验证所提RSC-II算法的有效性, 与SCN-III^[13]算法进行比较分析. 为保证实验结果的可靠性, 选择一个函数近似、四个基准数据集和一组主通风机切换过程数据作为仿真对象. 所有仿真实验在MATLAB 2016a中进行, 使用CPU为i5, 3.4 GHz, 内存为8 GB RAM的PC机. 选择Sigmoid函数$ {\boldsymbol{g}}({\boldsymbol{x}}) = 1/(1+\exp(-{\boldsymbol{x}})) $作为两种算法隐含层节点的激活函数. 将神经网络的输入输出数据归一化到区间[0, 1].

在一定的噪声水平下对两种算法进行评价. 选择均方根误差(Root mean square error, RMSE)作为评价算法泛化能力的指标. 每组进行20次试验, 选择20次试验的平均值(Mean)和标准差(Standard deviation, STD)作为最终结果. 随机参数的最大配置次数为$ L_{\max} = 200, $ 网络精度取值为$ \epsilon = 0.01. $ 其他相关参数的设定将在具体的仿真实验中给出.

4.1   函数近似

考虑一个函数近似^[23]问题:

式中, $ x\in[0,1]. $

由rand(0, 1)随机产生1 000个数据作为训练样本, 由linspace(0, 1, 300)等间隔生成300个数据组成测试样本. 为验证所提RSC-II算法能有效克服过拟合问题, 需要对训练数据进行预处理, 即在训练样本中添加一定比例的异常值. 训练样本中异常值的比例为$ 5\,{\text{%}}$, 其形式为:

式中, $ y_i\in [0,1]$为归一化训练样本的第$ i $个输出, $ i $从$[1,2,\cdots,N]$中随机选取, $ {\rm rand}(0,1) $为$ (0,1) $之间的随机数.

由式$ (37) $和式(38)可知, 正则化系数$ C $严重影响算法的学习精度, $ C $的选择可以提高精度, 也可以降低精度. 为显示$ C $对网络性能的影响, 针对不同的$ C $, 对RSC-II算法进行仿真.$ C $在集合$\{2^{-20}, $$ 2^{-19},\cdots,2^0,\cdots,2^{19},2^{20}\} $中依次取值, 一共有41个数值. 同时设定$\lambda_{\min} = 100,\ \Delta \lambda = 1,$ $ L_{\max} = 50. $从图2可以看出, $ C $越小, RSC-II算法的训练能力越差, 对测试能力亦是如此. 当$ C $大于$ 2^0 $时, 与SCN-III算法相比, RSC-II算法显示出更好的测试性能. 另外, 对于一个合适的正则化系数$ C $, 在相同的训练精度下, RSC-II算法比SCN-III算法具有更高的测试精度. 因此, 在建立网络时, 需要确定合适的系数$ C $. 那么在下面的仿真实验中, RSC-II算法使用合适的正则化系数$ C $.

图 2  不同$C$下RSC-II和SCN-III算法对函数近似的训练与测试精度结果对比

Fig. 2  The result comparison of training and testing accuracy of RSC-II and SCN-III on function approximation with varying $C$

下载: 全尺寸图片 幻灯片

图3 (a)为包含$ 5\,{\text{%}} $异常值的1 000个训练样本, 图3 (b)为两种算法对测试数据集的测试性能. 可以看出, 相比于SCN-III算法, RSC-II算法具有更好的拟合能力. 从图4可知, RSC-II算法总是获得比SCN-III算法更低的测试RMSE. 随着隐含层节点数目的增加, RSC-II的泛化能力得到提高或者基本保持不变, 而SCN-III的性能变差. 这是因为SCN-III算法始终存在过拟合问题, 并且随着隐含层节点的增加, 过拟合问题更加严重. RSC-II算法通过引入正则化系数用于平衡近似精度和模型复杂度, 可有效避免过拟合问题. 表2 给出了两种算法的具体实验结果.

图 3  (a)包含5 %异常值的1 000个函数近似训练样本和目标函数; (b)两种算法对测试数据的近似性能

Fig. 3  (a) 1 000 training samples containing 5 % outliers for function approximation and target function; (b) Approximation performance on the test dataset by two learning algorithms

下载: 全尺寸图片 幻灯片

图 4  平均两种算法在测试数据集上的测试RMSE

Fig. 4  Average testing RMSE of the two algorithms on the test dataset

下载: 全尺寸图片 幻灯片

表 2  函数近似的性能比较

Table 2  Performance comparisons on the function approximation

算法	不同$L_{\max}$所对应的测试性能 (Mean, STD)
	50	70	90	110	130	150	170	190
SCN-III	0.0315, 0.0032	0.0329, 0.0033	0.0388, 0.0048	0.0396, 0.0032	0.0459, 0.0043	0.0512, 0.0058	0.0526, 0.0048	0.0557, 0.0095
RSC-II	0.0229, 0.0019	0.0209, 0.0013	0.0209, 0.0008	0.0209, 0.0003	0.0210, 0.0005	0.0211, 0.0004	0.0213, 0.0004	0.0218, 0.0003

下载: 导出CSV 

| 显示表格

4.2   基准数据

为进一步验证所提RSC-II算法的有效性, 选取UCI数据库^[24]中的四个数据集进行实验. 相关数据集的信息和参数设置如表3所示. 采用类似于函数近似问题中的策略进行训练数据预处理. 首先, 从归一化训练数据中随机选取$ 5 \,{\text{%}} $的样本; 然后, 通过式$ (47) $对选中的数据进行预处理.

表 3  回归数据集与参数设置

Table 3  Specifications of benchmark problems and some parameter settings

数据集	属性	输出	训练数据	测试数据	${\lambda_{\min}}$	${\Delta\lambda}$
Wine Quality	12	1	3918	980	1	0.1
Concrete	9	1	772	258	1	0.1
Yacht	7	1	227	81	1	1
Airfoil Self-noise	6	1	1352	151	1	0.1

下载: 导出CSV 

| 显示表格

从图5可以看出, 随着隐含层节点数的增加, SCN-III算法的测试集RMSE呈现明显上升趋势, 而RSC-II算法的测试集RMSE趋于平稳, 因此SCN-III算法出现过拟合现象, 而RSC-II算法未出现过拟合问题. 这是因为随着隐含层节点数的增加, 神经网络结构变得过于复杂, 使得SCN-III算法出现过拟合问题, 对测试数据表现较差. 由于RSC-III算法引入的正则化系数$ C $起到了平衡模型复杂度与拟合精度的作用, 避免了过拟合问题, 对测试数据具有较好的测试效果. 两种算法的具体实验结果如表4所示, 其中, (a)、(b)、(c)、(d)分别为Wine Quality、Concrete、Yacht、Airfoil Self-noise数据集.

图 5  不同$L_{\max}$下RSC-II和SCN-III算法对基准数据集的测试RMSE对比

Fig. 5  Test RMSE comparison of the RSC-II and SCN-III algorithms on four benchmark datasets with different $L_{\max}$

下载: 全尺寸图片 幻灯片

表 4  对基准数据集的性能对比

Table 4  Performance comparisons on benchmark datasets

数据集	算法	不同$L_{\max}$所对应的测试性能 (Mean, STD)
		50	70	90	110	130	150	170	190
(a)	SCN-III	0.2476, 0.0233	0.2546, 0.0531	0.2543, 0.0492	0.2559, 0.0464	0.2908, 0.0612	0.2997, 0.0841	0.3480, 0.1484	0.3934, 0.1886
	RSC-II	0.2232, 0.0011	0.2229, 0.0014	0.2229, 0.0016	0.2225, 0.0016	0.2231, 0.0017	0.2235, 0.0022	0.2236, 0.0021	0.2238, 0.0021
(b)	SCN-III	0.4017, 0.1060	0.5209, 0.1587	0.7120, 0.2247	0.7739, 0.2010	0.8640, 0.2324	1.3580, 0.7945	1.4025, 0.4526	1.6700, 0.5415
	RSC-II	0.2248, 0.0068	0.2277, 0.0059	0.2295, 0.0094	0.2295, 0.0076	0.2323, 0.0089	0.2341, 0.0090	0.2384, 0.0063	0.2416, 0.0056
(c)	SCN-III	0.3167, 0.2289	0.3528, 0.1436	0.3820, 0.1781	0.6620, 0.2900	0.9062, 0.5600	1.2226, 0.3571	2.7450, 1.1718	4.0242, 1.0377
	RSC-II	0.1308, 0.0209	0.1216, 0.0107	0.1197, 0.0152	0.1168, 0.0111	0.1164, 0.0118	0.1113, 0.0117	0.1056, 0.0112	0.1066, 0.0113
(d)	SCN-III	0.2607, 0.0313	0.3489, 0.1007	0.4332, 0.1219	0.6615, 0.2487	1.2668, 0.4213	1.4295, 0.5883	1.8264, 0.5194	2.0539, 0.9744
	RSC-II	0.2281, 0.0091	0.2378, 0.0147	0.2332, 0.0153	0.2395, 0.0214	0.2443, 0.0279	0.2615, 0.0402	0.2437, 0.0234	0.2848, 0.0512

下载: 导出CSV 

| 显示表格

4.3   井下供给风量估计

前面两个小节的实验仿真验证了所提RSC-II算法的有效性, 本小节将其在实际主通风机切换过程进行井下供给风量估计. 在实际工业现场采集1 500个样本作为建模的输入输出数据, 其中选择1 400个样本作为训练数据, 其余100个样本作为测试数据. 采用前面两个小节中类似的方式对训练数据进行预处理, $ \lambda_{\min} $值设定为1, $ \Delta\lambda $也取值为1.

从图6可以看出, RSC-II算法的泛化能力始终优于SCN-III算法的泛化能力. 当隐含层节点数为50时, 两种算法的性能比较相近. 随着隐含层节点数的增加, RSC-II算法测试集的RMSE始终保持在较低的水平, 而SCN-III算法测试集的RMSE上升趋势明显. 因此, 相对于RSC-II算法, SCN-III算法出现了较为明显的过拟合现象. 其原因在于当神经网络结构变得尤为复杂时, SCN-III缺乏应对的能力, 从而导致泛化能力差、鲁棒性不足的问题. 引入了正则化系数$ C $的RSC-II算法对模型精度和复杂度进行折中, 在保证精度的同时, 降低了模型复杂度. 表5列出了两种算法实现的具体实验结果.

图 6  平均两种算法在实际MFSP数据集上的测试RMSE

Fig. 6  Average testing RMSE of the two algorithms on the actual MFSP dataset

下载: 全尺寸图片 幻灯片

表 5  在实际MFSP数据集上的性能对比

Table 5  Performance comparisons on the actual MFSP dataset

算法	不同$L_{\max}$所对应的测试性能 (Mean, STD)
	50	110	170	230	270	330	370	410
SCN-III	0.0287, 0.0029	0.0494, 0.0039	0.0623, 0.0069	0.0758, 0.0063	0.0837, 0.0059	0.0983, 0.0107	0.1033, 0.0096	0.1146, 0.0095
RSC-II	0.0269, 0.0021	0.0316, 0.0017	0.0372, 0.0035	0.0411, 0.0046	0.0424, 0.0047	0.0454, 0.0066	0.0460, 0.0054	0.0509, 0.0077

下载: 导出CSV 

| 显示表格

图7给出了在$ L_{\max} = 50 $时两种算法的测试性能. 可以看出, 相比于SCN-III算法, RSC-II算法的估计值能很好地拟合实际值, 模型精度较高. 综上, 采用RSC-II方法建立的井下供给风量估计模型可以以很高的精度对建模数据进行拟合, 尤其是可以避免过拟合问题. 另外, 随着主通风机切换过程样本数据的增多, 需要适当地增加隐含层节点数. 结果表明, 基于RSC-II的建模算法在隐含层节点数为170时仍表现出良好的泛化性能和预测精度. 因此, 本文所提方法能够用于主通风机切换过程实现井下供给风量的建模.

图 7  $L_{\max} = 50$所对应的MFSP数据集的测试性能: (a) SCN-III; (b) RSC-II

Fig. 7  Test performance at $L_{\max} = 50$ on the actual MFSP dataset: (a) SCN-III; (b) RSC-II

下载: 全尺寸图片 幻灯片

5.   结论

针对SCN算法建模时存在过拟合和泛化能力差的问题, 本文结合正则化技术, 提出一种新型的RSC算法, 用于建立主通风机切换过程井下供给风量的估计模型. 与SCN算法相比, 建立的RSC-II模型不仅具有更高的模型精度, 而且具有更好的泛化能力. 尤为重要的是RSC-II算法可以有效避免SCN算法存在的过拟合问题. 同时, RSC-II算法具有与SCN算法相同的小尺寸特性. 因此, 基于所提算法建立的模型具有尺寸小、鲁棒性强、泛化性能好的优点, 能够应用到实际主通风机切换过程进行井下供给风量估计.