Structure Design for Recurrent Fuzzy Neural Network Based on Wavelet Transform Fuzzy Markov Chain
-
摘要: 针对递归模糊神经网络(Recurrent fuzzy neural network, RFNN)的递归量难以自适应的问题, 提出一种基于小波变换–模糊马尔科夫链(Wavelet transform fuzzy Markov chain, WTFMC)算法的RFNN模型.首先, 在时间维度上记录隐含层神经元的模糊隶属度, 并采用小波变换将该时间序列进行分解, 通过模糊马尔科夫链对子序列的未来时段进行预测, 之后将各预测量合并后代入递归函数中得到具有自适应性的递归量.其次, 利用梯度下降算法更新RFNN的参数来保证神经网络的精度.最后, 通过非线性系统建模中几个基准问题和实际污水处理中关键水质参数的预测实验, 证明了该神经网络模型的可行性和有效性.Abstract: Aiming to solve the problem that the recursive variable in the recurrent fuzzy neural network (RFNN) is difficult to be self-adaptive, this paper proposes an RFNN structure model based on wavelet transform fuzzy Markov chain (WTFMC). Firstly, it records the fuzzy membership degree of hidden layer neurons in time dimension, and decomposes the time series by wavelet transform. The future period of the subsequence is predicted by fuzzy Markov chain, and the adaptive recursive variables are obtained by combining the predictors into the recursive function. Secondly, the gradient descent algorithm is utilized to update the parameters of RFNN in order to ensure the accuracy of neural network. Finally, the feasibility and validity of the neural network model are demonstrated by several benchmark problems in nonlinear system modeling and the prediction of key water quality parameters in the practical wastewater treatment.
-
Key words:
- Recurrent fuzzy neural network /
- wavelet transform /
- fuzzy Markov chain /
- dynamic modeling /
- wastewater treatment
-
模糊神经网络(Fuzzy neural network, FNN)是模糊理论[1]同神经网络[2]相结合的产物, 具有模糊系统的模糊推理能力, 该模型不仅能自动更新, 而且能不断修正模糊子集的隶属函数[3].但是FNN作为一种前馈网络对非线性系统建模的能力有限, 并且无法适应较复杂的动态环境[4-5].为了解决这个问题, 一些专家学者在FNN的基础上, 通过构建反馈通道建立了递归模糊神经网络(Recurrent fuzzy neural network, RFNN) [6-11]. RFNN兼具模糊系统的模糊推理能力与状态反馈的动力学特性, 可以良好地解决大时变、过拟合等问题, 从而增强了网络描述非线性动态系统的能力.因此, 对RFNN的深入研究具有重要的意义.
RFNN的研究重点之一是递归通道的构建. Juang等[12]设计了一种局部递归模糊神经网络(Locally recurrent fuzzy neural network, LRFNN), 该网络在规则层上建立了自反馈连接, 将每个模糊规则的激活强度代入到下一次网络计算中, 实验表明其有效地解决了网络在无噪声和有噪声情况下的动态系统预测和辨识问题. Wai等[13]在FNN的隶属函数层构建了递归通道, 增加了网络的动态控制性能和稳态交互作用, 减少了不确定边界选择引起的抖振现象. Lin等[14]通过在输出层和输入层之间建立反馈连接, 将网络上一时刻的输出代入到当前的输入, 增强了网络的鲁棒性. Wu等[15]提出了一种改进的可辨识RFNN, 将模糊神经网络的反馈拓扑完全连接起来以处理时态模式行为, 实验表明该RFNN在噪声环境下具有良好的分类性能.尽管以上构建的RFNN能够记忆历史信息以适应较复杂的动态环境[16-17], 但是, 仅采用前一时刻的历史信息用于指导当前时刻的网络变化具有一定的局限性, 在处理强非线性问题时可能会因为极值或异常值的输入, 引起网络的波动.网络的递归量无法根据神经元的变化趋势及时调整, 对数据的学习缺乏自适应性.因此, 构建一种能够指导递归量变化的自适应RFNN具有重要的意义.
鉴于以上存在的问题, 对于历史信息的存储不应局限于一个时刻, 但同样也不能简单地将多个时刻数据进行递归, 这样不利于样本非线性特征的表现, 违背了递归的本质也会增加网络的计算负担. Zhang等[18]设计了一种卷积长短期记忆(Long short-term memory, LSTM)网络用于多模态的手势识别, 该网络能够更好地学习手势的长期特征, 提高了模型的识别准确率, 与传统递归神经网络不同, LSTM网络能够较好地预测时间序列中间隔和延迟相对较长的事件, 然而其训练复杂度较高、解码延时长, 无法良好地适用于低维度、非线性强的小样本序列.因此, 若立足于RFNN本身采用合适的自适应递归算法既可增强网络的逼近能力也可减小网络设计的复杂程度. RFNN的输入通常是按照时间顺序进行的, 因而网络内部的变化也呈现一定的时间规律.若将规则层在连续时间的变化记录下来, 通过挖掘时间序列的内部规律以探知样本空间, 将加快网络初期的收敛速度, 进而减小网络计算的复杂度, 因此, 构建分析时间序列的方法对于增强递归量的自适应性尤为关键. Kam等[19]采用了一种自回归综合滑动平均法用于时间序列的分析, 该算法可以有效地用于在短期波动中的预测.虽然滑动平均法能较好地反映序列发展变化的规律, 但是后期会在序列的尾部产生一定的滞后误差, 无法完全描述序列中包含的函数关系. Joo等[20]采用一种小波变换的算法将原始时间序列分解为趋势部分和变异部分, 并对每个部分分别建立预测模型, 小波变换分解对于分析瞬时时变信号具有明显的优势, 它能有效地从时间序列中提取信息, 通过伸缩和平移等运算功能对时间序列进行多尺度细化分析, 通过对子序列分析能够更好地挖掘在原始序列中较难分析出的特点.仿真结果表明, 通过小波变换的时间序列可以更好地反映时间序列的变化趋势并能减小滞后误差, 但是各个子序列的预测模型仍需要简洁并实用的算法支撑以减少计算负荷. Sun等[21]在小波变换的基础上又提出了一种灰色马尔科夫链算法, 该算法引入了模糊理论和新陈代谢原理, 即渐进转移概率矩阵, 既减小了计算负担也保证了预测精度.
根据以上分析, 本文构建了一种基于小波变换-模糊马尔科夫链算法的递归模糊神经网络(Wavelet transform fuzzy Markov chain RFNN, WTFMC-RFNN).该网络以模糊推理性强的T-S型FNN为基础, 在规则层后建立自反馈通道以增加网络的动态性能, 采用小波变换并结合模糊马尔科夫链以引导递归量的自适应调整, 使用梯度下降算法以保证网络的收敛精度.实验选取了几个基准问题和污水处理的关键参数进行预测, 验证了该神经网络的有效性.
1. WTFMC-RFNN预测模型
RFNN由输入层、隶属函数层、规则层、递归层、后件层和输出层共6层组成, 其中, 递归层的递归量由WTFMC算法计算得出. RFNN的结构如图 1所示:
输入层:该层共有$ n $个神经元, 每个节点代表一个输入变量, 目的是将输入值直接传送到下一层.
$$ \begin{align} &{ x}_i(t), \ i = 1, 2, \cdots, n \end{align} $$ (1) 隶属函数层:该层共有$ m $个神经元, 每个节点代表一个隶属度函数, 采用高斯型隶属度函数.
$$ \begin{align} &{ u}_{ij}(t) = \exp\left[-\frac{({ x}_i(t)-{ c}_{ij}(t))^{\rm 2}}{{\sigma}_{ij}(t)}\right], \ j = 1, 2, \cdots, m \end{align} $$ (2) 其中, $ c_{ij}(t) $与$ \sigma_{ij}(t) $分别为隶属度函数的中心和宽度.
规则层:该层共有$ m $个神经元, 每个节点代表一个模糊逻辑规则, 采用模糊算子为连乘算子.
$$ \begin{align} &{ w}_j(t) = \prod\limits_{i = 1}^n{ u}_{ij}(t) \end{align} $$ (3) 递归层:该层在规则层后建立反馈连接, 将经过WTFMC算法得到的递归量$ w^*_j(t) $代入到当前网络的计算中.
$$ \begin{align} &{ o}_j(t) = (1-\lambda_j(t))w_j(t)+\lambda_j(t)w^*_j(t) \end{align} $$ (4) 其中, $ \lambda_j(t) $为递归权值.
后件层:该层的每个节点执行T-S型模糊规则的线性求和, 该层的作用是计算每条规则的后件参数.即: $ p_{0j}(t)+p_{1j}(t)x_{1}(t)+\cdots+p_{nj}(t)x_{n}(t) $.其中, 输入向量为[1, $ x_{1}(t) $, $ \cdots $, $ x_{n}(t) $], 可调模糊系统参数向量为[$ p_{0j}(t) $, $ p_{1j}(t) $, $ \cdots $, $ p_{nj}(t) $].
$$ \begin{align} &{ \theta}_j(t) = o_j(t)(p_{0j}(t)+p_{1j}(t)x_1(t)+\cdots+\\ &\quad \quad \quad \quad p_{nj}(t)x_n(t)) \end{align} $$ (5) 输出层:该层有一个输出节点, 对其输入量进行求和实现去模糊化.
$$ \begin{align} &{ y}(t) = \frac{\sum\limits_{j = 1}^m\theta_j(t)}{\sum\limits_{j = 1}^mo_j(t)} \end{align} $$ (6) 2. WTFMC-RFNN递归机制
本文提出的WTFMC-RFNN利用小波变换(Wavelet transform, WT)将记录的规则层时间序列分解成子序列, 以此挖掘序列的内部信息; 之后采用模糊马尔科夫链(Fuzzy Markov chain, FMC)预测出下一时刻各个子序列的变化趋势, 以此保证时间序列的预测精度; 最后将各子序列预测值求和得到递归量, 并将递归量代入到递归层进行计算, 有效地解决了RFNN的递归量难以自适应的问题.本节详细介绍WTFMC-RFNN的递归机制设计.
2.1 小波变换
小波变换[22]是一种变换分析方法, 它继承和发展了短时傅立叶变换局部化的思想, 同时又克服了窗口大小不随频率变化等缺点, 能够提供一个随频率改变的"时间–频率"窗口, 是进行时频分析和处理的理想工具.它的主要特点是通过变换能够充分突出问题某些方面的特征, 能对时间频率的局部化分析, 通过伸缩平移运算对序列逐步进行多尺度细化, 最终达到高频处时间细分, 低频处频率细分, 能自动适应时频分析的要求, 从而可聚焦到信号的任意细节.
首先, 将前$ k $时刻至当前时刻的模糊规则记为序列$ {\pmb W_j(T)} $, $ k $为样本总数的0.5$ \% $ $ \sim $ 2 $ \% $.
$$ \begin{align} { \pmb W}_j(T) = &[w_j(t-k), w_j(t-k+1), \cdots, \\&w_j(t-1), w_j(t)] \end{align} $$ (7) 对时间序列$ {\pmb W_j(T)} $进行多尺度一维离散小波变换, 之后对其进行单支重构得到1个近似部分序列$ {\pmb A_j(T)} $与$ r $个细节部分序列$ {\pmb D1_j(T)} $, $ {\pmb D2_j(T)}, \cdots, $ $ {\pmb Dr_j(T)} $.
$$ \begin{align} { \pmb W}_j(T) = & \pmb A_j(T)+\pmb D1_j(T)+\\&\pmb D2_j(T)+\cdots+\pmb Dr_j(T) \end{align} $$ (8) 2.2 模糊马尔科夫链
模糊马尔科夫链是在马尔科夫链(Markov chain, MC)分析预测方法基础上提出来的一种能够更好地适应实际工程中状态划分模糊特点的分析方法[23]. MC针对系统状态转移规律, 分析随机事件未来发展变化趋势及可能结果, 为决策者提供决策信息的分析方法[23-24].
$$ \begin{equation} \mu^s(a_j(z)) = \begin{cases} 0, \quad{a_j(z)<\min(A^s_j(T))}&\\ \frac{a_j(z)-\min(A^s_j(T))} {\overline{A^s_j(T)}-\min(A^s_j(T))}, &\\ \qquad {\min(A^s_j(T))\le a_j(z)\le \overline{A^s_j(T)}}\\ \frac{\max(A^s_j(T))-a_j(z)} {\max(A^s_j(T))-\overline{A^s_j(T)}}, &\\ \qquad{\overline{A^s_j(T)} < a_j(z)\le \max(A^s_j(T))}\\ 0, \quad {a_j(z)>\max(A^s_j(T))}& \end{cases} \end{equation} $$ (9) $$ \begin{align} &M^{t-1}_{t-k}(A^s_j(T)) = \sum\limits_{z = t-k}^{t-1}(A^s_j(T)) \end{align} $$ (10) $$ \begin{align} &M^t_{t-k}(A^{s1}_j(T) \rightarrow A^{s2}_j(T)) = \\&\quad\sum\limits_{z = t-k}^{t-1}(\mu^{s1} (a_j(z))\mu^{s2}(a_j(z+1))) \end{align} $$ (11) $$ \begin{align} &g^t_{t-k}(A^{s1}_j(T) \rightarrow A^{s2}_j(T)) = \\&\quad\frac{M^t_{t-k}(A^{s1}_j(T) \rightarrow A^{s2}_j(T))}{M^{t-1}_{t-k}(A^{s1}_j(T))} \end{align} $$ (12) $$ \begin{align} &G^t_{t-k}(\pmb A_j(T)) = \\&\quad\begin{subarray}{l}\begin{bmatrix} g^t_{t-k}(A^1_j(T) \rightarrow A^1_j(T)) & \cdots & g^t_{t-k}(A^1_j(T) \rightarrow A^h_j(T))\\ \vdots & \ddots & \vdots\\ g^t_{t-k}(A^h_j(T) \rightarrow A^1_j(T)) & \cdots & g^t_{t-k}(A^h_j(T) \rightarrow A^h_j(T)) \end{bmatrix} \end{subarray} \end{align} $$ (13) 将小波变换后的近似部分序列$ {\pmb A_j(T)} $的各项记为$ a_j(z), z = t-k, t-k+1, \cdots, t-1, t $, 根据$ {\pmb A_j(T)} $的值域, 将其各划分为h个模糊状态, 即$ {A^s_j(T)}, s = 1, $ $ 2, \cdots, h $, h为k的20 $ \% $ $ \sim $ 25 $ \% $, 采用三角形隶属函数定义序列$ {\pmb A_j(T)} $各项对应的模糊状态的隶属函数为$ \mu^s(a_j(z)), s = 1, 2, \cdots, h, z = t-k, t-k+1, \cdots, t-1, t $, 其隶属函数的计算方法如式(9)所示, 其中$ \min({A^s_j(T)}) $、$ \overline{{A^s_j(T)}} $、$ \max({A^s_j(T)}) $分别为模糊状态$ {A^s_j(T)}, s = 1, 2, \cdots, h $的最小值、平均值和最大值.
构建状态转移矩阵, 定义序列$ {\pmb A_j(T)} $中从$ {t}-{k} $时刻至$ {t}-1 $时刻的序列$ a_j(z) $, $ z = t-k, t-k+1, \cdots, t-1 $落入状态$ {A^s_j(T)} $中的"个数"为$ M^{t-1}_{t-k}({A^s_j(T)}) $, 由式(10)得出.
定义序列$ {\pmb A_j(T)} $从模糊状态$ {A^{s1}_j(T)}, s1 = 1, 2, $ $ \cdots, h $转移到模糊状态$ {A^{s2}_j(T)}, s2 = 1, 2, \cdots, h $的"个数"为$ M^{t}_{t-k}({A^{s1}_j(T)} $$ \rightarrow $$ {A^{s2}_j(T)}) $, 由式(11)得出, 其中, $ \mu^{s1}(a_j(z)), \mu^{s2}(a_j(z+1)), z = t-k, t-k+1, \cdots, t-1 $为模糊状态$ {A^{s1}_j(T)} $与模糊状态$ {A^{s2}_j(T)} $的隶属函数.
由式(10) $ \sim $ (11), 定义序列$ {\pmb A_j(T)} $从模糊状态$ {A^{s1}_j(T)} $到$ {A^{s2}_j(T)} $的转移概率为: $ g^t_{t-k}({A^{s1}_j(T)} $$ \rightarrow $$ {A^{s2}_j(T)}) $, 概率转移矩阵如式(12)所示.
因此, 由式(12)定义序列$ {\pmb A_j(T)} $的一阶马尔科夫状态转移概率矩阵$ G^t_{t-k}(\pmb A_j(T)) $如式(13)所示.其中, $ h1 = 1, 2, \cdots, h, h2 = 1, 2, \cdots, h $, 为模糊状态$ {A^{h1}_j(T)} $到$ {A^{h2}_j(T)} $的状态转移概率.
时刻$ t $时的序列点为$ a_j(t) $, 由式(9)可以计算出该时刻点对于各状态的隶属度分别为$ \mu^s(a_j(t)) $, $ s = 1, 2, \cdots, h $, 将其表示为向量$ {\pmb \mu}(a_j(t)) $, 则:
$$ \begin{align} &{{\pmb \mu}}(a_j(t)) = [{\mu}^1(a_j(t)), {\mu}^2(a_j(t)), \cdots, {\mu}^h(a_j(t))] \end{align} $$ (14) 则时间序列在t+1时刻的状态向量$ {\pmb \mu}(a_j(t+1)) $为:
$$ \begin{align} &{{\pmb \mu}}(a_j(t+1)) = {\pmb \mu}(a_j(t))G^t_{t-k}(\pmb A_j(T)) \end{align} $$ (15) 其中$ {\pmb \mu}(a_j(t+1)) $可记为$ \mu^s(a_j(t+1)) $, $ s = 1, 2, $ $ \cdots, h $.
采用权重均值法, 对得到的模糊状态向量进行去模糊化, 进而得到预测值$ a^*_j(t+1) $:
$$ \begin{align} &{ a}^*_j(t+1) = \frac{\sum\limits_{s = 1}^h(\mu^s(a_j(t+1))\hat{a}^s_j(T))}{\sum\limits_{s = 1}^h\mu^s(a_j(t+1))} \end{align} $$ (16) 其中, $ \hat{a}^s_j(T) $为模糊状态$ {A^s_j(T)} $对应的特征值, 即该序列中具有最大隶属度的值.
同理, 可得到细节部分序列$ ({\pmb D1_j} $、$ {\pmb D2_j} $、$ \cdots $、$ {\pmb Dr_j)} $的预测值$ (d1^*_j(t+1) $、$ d2^*_j(t+1) $、$ \cdots $、$ dr^*_j(t+1)) $.
重构序列后, 得到模糊规则$ w_j $在第t+1时刻的预测值为:
$$ \begin{align} w^*_j(t+1) = &a^*_j(t+1)+d1^*_j(t+1)+\\&d2^*_j(t+1)+\cdots+dr^*_j(t+1) \end{align} $$ (17) 将WTFMC算法得到的递归量$ w^*_j(t) $代入到式(4)中, 完成递归层的计算.
3. WTFMC-RFNN学习算法
WTFMC-RFNN采用梯度下降算法并结合自适应学习率来调节网络参数, 梯度下降算法是一种常用的经典学习算法, 具有通用性强、泛化能力好、计算复杂度低和相对稳定等特点.本文将其与一种自适应学习率相结合, 利于节省快速寻优的时间, 进一步保证了网络的稳定性.该算法利于控制变量, 更便于与其他同类网络进行对比试验.式(19) $ \sim $ (21)正是利用梯度下降算法定义的, 由于梯度方向是函数值变大的最快的方向, 因此负梯度方向则是函数值变小的最快的方向.沿着负梯度方向一步一步迭代, 便能快速地收敛到函数最小值.相关算法定义如下.
误差计算:
$$ \begin{align} &{ e}(t) = \frac{1}{2}(y_d(t)-y_c(t))^2 \end{align} $$ (18) 其中, $ y_d(t) $是网络在t时刻的期望输出, $ y_c(t) $是网络在t时刻的实际输出, $ e(t) $表示期望输出与实际输出的误差.
模糊系统参数修正算法:
$$ \begin{align} &{ p}_{ij}(t) = p_{ij}(t-1)-\eta\frac{\partial e(t)}{\partial p_{ij}(t)} \end{align} $$ (19) 因为非线性系统辨识具有强非线性的特点, 本文采用时变隶属度函数, 其可以根据不同时刻的输入数据更改其中心与宽度以适应不同时刻的预测, 从而达到更好的全局逼近效果.中心、宽度修正算法如下:
$$ \begin{align} &{ c}_{ij}(t) = c_{ij}(t-1)-\eta\frac{\partial e(t)}{\partial c_{ij}(t)} \end{align} $$ (20) $$ \begin{align} &{ \sigma}_{ij}(t) = \sigma_{ij}(t-1)-\eta\frac{\partial e(t)}{\partial \sigma_{ij}(t)} \end{align} $$ (21) 递归权值修正:
$$ \begin{align} &{ \lambda}_j(t) = \lambda_j(t-1)-\eta\frac{\partial e(t)}{\partial \lambda_j(t)} \end{align} $$ (22) 为了更好地提高收敛精度, 本文使用了一种自适应学习率[25].
$$ \begin{align} &{ \eta} = \eta_{\max}-\frac{d(\eta_{\max}-\eta_{\min})}{D} \end{align} $$ (23) 其中, $ \eta $为网络学习率, $ \eta_{\max} $和$ \eta_{\min} $分别是最大学习速率和最小学习速率, $ d $是当前的迭代次数, $ D $是迭代总数. $ \eta_{\max} $和$ \eta_{\min} $是根据专家经验设定的, 学习率过大可能会使网络的每次修正量过大, 导致不规则跳跃甚至不收敛.学习率过小将会导致学习时间过长, 却能保证其收敛于某个极小值.我们根据专家经验与实际实验得到, $ \eta $通常在0.1 $ \sim $ 0.5之间选择较为合适, 因而本文中的$ \eta_{\max} $选取为0.5, $ \eta_{\min} $选取为0.1, 随着训练步数的增加, 学习率逐渐降低.训练初期参数调整步长大, 适合快速收敛, 训练后期, 步长变小, 从而防止神经网络的不稳定.
WTFMC-RFNN的学习过程如下:
创建初始FNN, 初始化中心、宽度、模糊系统参数和递归权重.
for $ d = 1:D $
for $ t = 1:T $
计算隶属函数层的输出; %式(2)
计算规则层的输出; %式(3)
记录规则层的输出; %式(7)
if $ t\ge k $
采用小波变换算法将记录的规则层输出进行变换, 将其分解成子序列; %式(8)
用模糊马尔科夫链算法对变换后的子序列进行预测; %式(9)$ \sim $(16)
通过合并所有子序列预测规则层的当前输出; %式(17)
end
将经过WTFMC算法得到的递归量引入到当前网络的计算中; %式(4)
计算后件参数并将其代入到输出层; %式(5)
通过解模糊化计算输出; %式(6)
计算误差; %式(18)
采用自适应学习速率结合梯度下降算法更新中心、宽度、模糊系统参数和递归权重; %式(19)$ \sim $(23)
end
end
4. 仿真实验
本文提出的WTFMC-RFNN能够根据研究对象的数据关联程度自适应地调整网络的递归量, 增强网络的泛化性能, 提高模型的逼近精度.利用WTFMC-RFNN对Henon混沌系统辨识、动态系统辨识、Mackey-Glass时间序列预测、非线性系统辨识和污水处理过程中关键水质参数进行动态建模, 证明该结构设计方法的有效性.采用均方根误差(Root mean squared error, RMSE)评估预测模型的结果, 如式(24)所示.
$$ \begin{align} &{\rm RMSE}(t) = \sqrt{\frac{\sum\limits_{t = 1}^N(y_d(t)-y_c(t))^2}{N}} \end{align} $$ (24) 4.1 Henon混沌系统辨识
本实验中, 通过对Henon混沌系统时间序列预测来验证WTFMC-RFNN的有效性, 其表达式如下:
$$ \begin{align} &{ y}(t+1) = -Hy^2(t)+Qy(t-1)+1.0 \end{align} $$ (25) 式中$ H = 1.4 $, $ Q = 0.3 $, $ y $的初始值为$ [y(1), y(0)] $ = $ [0.4, 0.4 $].选取样本2 000组, 其中1 000组用来训练, 剩余1 000组用来测试.神经网络的输入层神经元个数为2, 隶属度函数层神经元个数为2×3个, 规则层、递归层与后件层神经元个数为3, 输出层神经元为1.
WTFMC-RFNN对Henon混沌系统时间序列的训练RMSE如图 2所示, 在采用相同的结构时, WTFMC-RFNN因为计算了数据集的关联程度, 因而比RFNN具有更快的初期收敛速度.对测试样本的预测效果及误差如图 3、图 4所示.
图 2 Henon混沌系统训练样本RMSEFig. 2 RMSE values in the training process of the Henon chaotic system
图 3 Henon混沌系统测试样本拟合效果Fig. 3 Desired and predicted outputs of the Henon chaotic system
图 4 Henon混沌系统测试样本的预测误差Fig. 4 Prediction error in the testing process of the Henon chaotic system为了测试该网络模型的有效性, 对比实验选取了交互式递归自进化模糊神经网络(Interactively recurrent self-evolving fuzzy neural network, IRSFNN) [26]、局部递归自进化模糊神经网络(Recurrent self-evolving FNN with local feedback, RSEFNN-LF) [27]、有监督学习的TSK型递归模糊网络(TSK-type recurrent fuzzy network with supervised learning, TRFN-S) [28]、小波变换递归模糊神经网络(Wavelet-based recurrent fuzzy neural network, WRFNN) [29]和RFNN进行比较, 从表 1可以看出WTFMC-RFNN具有最少的隐含层神经元个数(3)和最小的训练RMSE (0.0030)和测试RMSE (0.0057).因此, 与以上几种方法对比, WTFMC-RFNN更适合于Henon混沌时间序列的非线性系统建模.
表 1 不同网络对Henon混沌时间序列的预测结果Table 1 Prediction results of Henon chaotic time series with different networks4.2 动态系统辨识
本实验中, 通过对带有时滞的动态系统辨识来验证WTFMC-RFNN的有效性, 其表达式如下:
$$ \begin{align} y(t+1) = &0.72y(t)+0.025y(t-1)u_1(t-1)+\\ &0.01u^2_1(t-2)+0.2u_1(t-3) \end{align} $$ (26) 其中, $ y $的初始值为$ y(1) = y(2) = y(3) = y(4) = 0, $ $ u(t) = 1.05{\rm sin}({t}/45) $.选取样本2 000组, 其中1 000组用来训练, 剩余1 000组用来测试.其中测试样本的$ u(t) $表达式如下:
$$ \begin{equation} \begin{split} u(t) = \begin{cases} \sin\left(\frac{\pi t}{25}\right), &{t<250}\\ 1.0, &{250 \le t< 500}\\ -1.0, &{500 \le t< 750}\\ 0.3\sin\left(\frac{\pi t}{25}\right)+0.1\left(\frac{\pi t}{32}\right)+&\\ \quad 0.6\left(\frac{\pi t}{10}\right), &{750 \le t\le 1 000}\\ \end{cases} \end{split} \end{equation} $$ (27) 神经网络的输入层神经元个数为5, 隶属度函数层神经元个数为5×4个, 规则层、递归层与后件层神经元个数为4, 输出层神经元为1.
WTFMC-RFNN与RFNN对动态辨识系统的训练RMSE如图 5所示, 在采用相同的结构时, WTFMC-RFNN因为计算了数据集的关联程度, 因而比RFNN具有更快的初期收敛速度.对测试样本的预测效果及误差如图 6、图 7所示.
为了测试该网络模型的有效性, 对比实验选取了IRSFNN [26]、RSEFNN-LF [27]、TRFN-S [28]、WRFNN [29]、递归自组织模糊推理神经网络(Recurrent self-organizing neural fuzzy inference network, RSONFIN) [30]、高阶递归神经模糊系统(High-order recurrent neuro-fuzzy system, HO-RNFS) [31]和RFNN进行了比较, 根据表 2可以看出WTFMC-RFNN具有最小的训练RMSE (0.0021)和最小的测试RMSE (0.011).因此, 与以上几种方法对比, WTFMC-RFNN更适合于动态系统的建模.
表 2 不同网络对动态系统的预测结果Table 2 Prediction results of dynamic network with different networks4.3 Mackey-Glass时间序列预测
本实验中, 通过对Mackey-Glass时间序列预测来验证WTFMC-RFNN的有效性, 其表达式如下:
$$ \begin{align} &{ x}(t+1) = (1-a)x(t)+\frac{bx(t-\tau)}{1+x^{10}(t-\tau)} \end{align} $$ (28) 式中, a = 0.1, b = 0.2, $ \tau = 17, $ x(0) = 1.2.预测模型由式(29)所示, 其中, $ \Delta t = 6 $.
$$ \begin{align} &{x}(t+\Delta t) = \\& \qquad f[x(t), x(t-\Delta t), x(t-2\Delta t), x(t-3\Delta t)] \end{align} $$ (29) 选取样本1 000组, 其中500组用来训练, 剩余500组用来测试.神经网络的输入层神经元个数为4, 隶属度函数层神经元个数为4×6个, 规则层、递归层与后件层神经元个数为6, 输出层神经元为1.
WTFMC-RFNN对Mackey-Glass时间序列的训练RMSE如图 8所示, 可看出在采用相同的结构时, WTFMC-RFNN因为计算了数据集的关联程度, 因而比RFNN具有更快的初期收敛速度.对测试样本的预测效果及误差如图 9、图 10所示.为了测试该网络模型的有效性, 对比实验选取了TRFN-S [28]、动态模糊神经网络(Dynamic fuzzy neural network, D-FNN) [32]、基于支持向量回归的局部递归模糊神经网络(Locally recurrent fuzzy neural network with support vector regression, LRFNN-SVR) [12]、基于功能链接的文化协同粒子群模糊神经网络(Functional-link-based neural fuzzy network with cultural cooperative particle swarm optimization, FLNFN-CCPSO) [33]、快速在线自组织简约模糊神经网络(Fast and accurate online self-organizing scheme for parsimonious fuzzy neural networks, FAOS-PFNN) [34]和RFNN进行了比较, 从表 3可以看出WTFMC-RFNN具有最小的训练RMSE (0.0070)和测试RMSE (0.0079).因此, 与以上几种方法对比, WTFMC-RFNN更适合于Mackey-Glass时间序列的建模.
图 8 Mackey-Glass时间序列训练样本RMSEFig. 8 RMSE values in the training process of Mackey-Glass time series
图 10 Mackey-Glass时间序列测试样本的预测误差Fig. 10 Prediction error in the testing process of Mackey-Glass time series表 3 不同网络对Mackey-Glass时间序列的预测结果Table 3 Prediction results of Mackey-Glass time series with different networks4.4 非线性系统辨识
本实验中, 通过对典型非线性系统预测来验证WTFMC-RFNN的有效性, 其表达式如下:
$$ \begin{align} &{ y}(t+1) = \frac{y(t)y(t-1)[y(t)+2.5]}{1+y^2(t)+y^2(t-1)}+u(t) \end{align} $$ (30) 式中, $ u(t) = \sin(2\pi/25), t\in[1, 600]; y(0) = y(1) = 0. $由式(30)可知, 该模型由3个输入$ y(t), y(t-1), u(t) $和1个输出$ y(t+1) $组成.选取样本600组, 其中500组用来训练, 剩余100组用来测试.神经网络的输入层神经元个数为3, 隶属度函数层神经元个数为3×6个, 规则层、递归层与后件层神经元个数为6, 输出层神经元为1.
WTFMC-RFNN与RFNN对非线性系统的训练RMSE如图 11所示, 在采用相同的结构时, WTFMC-RFNN因为计算了数据集的关联程度, 因而比RFNN具有更快的初期收敛速度.对测试样本的预测效果及误差如图 12、图 13所示.
图 13 非线性系统测试样本的预测误差Fig. 13 Prediction error in the testing process of nonlinear system为了测试该网络模型的有效性, 对比实验选取了IRSFNN (TSK)、RSEFNN-LF、TRFN-S、WRFNN、HO-RNFS、FAOS-PFNN [34]、动态模糊神经网络(Dynamic fuzzy neural networks, DFNN) [35]、广义动态模糊神经网络(Generalized dynamic fuzzy neural networks, G-DFNN) [36]和RFNN进行比较实验, 从表 4可以看出WTFMC-RFNN具有最小的训练RMSE (0.0023)和最小的测试RMSE (0.0048).因此, 与以上几种方法对比, WTFMC-RFNN更适合于非线性系统辨识的建模.
表 4 不同网络对非线性系统的预测结果Table 4 Prediction results of nonlinear system identification with different networks4.5 污水处理–出水氨氮浓度预测
出水氨氮(NH$ _4 $-N)是污水处理中评价水质的重要指标之一, 具有高度的非线性、大时变的特征, 导致很难及时准确地预测其浓度.本文利用WTFMC-RFNN对污水处理过程中出水氨氮进行建模, 选取出水总氮(Total nitrogen, TN)、硝态氮(NO$ _3 $-N)、亚硝态氮(NO$ _2 $-N)、有机氮、总磷(Total phosphorus, TP)、混合液悬浮固体浓度(Mixed liquid susp-ended solids, MLSS)以及曝气池污泥沉降比(Settling velocity, SV)作为WTFMC-RFNN的输入变量, WTFMC-RFNN的输出变量为出水氨氮.选取北京市某污水厂全年的数据进行仿真, 共得到300组数据按照时间顺序进行排列, 选取前200组作为训练样本, 剩余的100组作为测试样本.神经网络的输入层神经元个数为7, 隶属度函数层神经元个数为7×12个, 规则层、递归层与后件层神经元个数为12, 输出层神经元为1.
WTFMC-RFNN对出水氨氮的训练RMSE如图 14所示, 在采用相同的结构时, WTFMC-RFNN因为计算了数据集的关联程度, 因而比RFNN具有更快的初期收敛速度.对测试样本的预测效果及误差如图 15、图 16所示.为了测试该网络模型的有效性, 对比实验选取了TRFN-S、WR-FNN、HO-RNFS和RFNN进行比较, IRSFNN (TSK)、RSEFNN-LF、从表 5可以看出WTFMC-RFNN具有最少的隐含层神经元个数(12)、最小的训练RMSE (0.0041)和最小的测试RMSE (0.0351).因此, 与以上几种方法对比, WTFMC-RFNN更适合于污水处理中预测出水氨氮的建模.
图 16 出水氨氮测试样本的预测误差Fig. 16 Prediction error in the testing process of effluent NH$_4$-N表 5 不同网络对出水氨氮的预测结果Table 5 Prediction results of effluent NH$_4$-N with different networks with different networks网络 规则数 训练RMSE 测试RMSE WTFMC-RFNN 12 0.0041 0.0351 IRSFNN (TSK) 16 0.0052 0.0468 RSEFNN-LF 12 0.0048 0.0404 TRFN-S 14 0.0045 0.0394 WRFNN 15 0.0053 0.0529 HO-RNFS 15 0.0047 0.0458 RFNN 12 0.0041 0.0437 5. 结论
针对递归模糊神经网络的递归量难以自适应调整的问题, 提出了一种基于WTFMC的递归模糊神经网络的预测模型, 具有以下特点.
通过挖掘神经网络在时序数据输入过程中内部的变化规律, 实现了网络的快速收敛; 与传统递归神经网络对比, 该模型分析了网络在多个连续时刻的变化趋势, 具有更强的处理动态信息的能力; 通过对基准时间序列和污水处理关键水质参数的预测, 证明了网络的有效性.
-
图 2 Henon混沌系统训练样本RMSE
Fig. 2 RMSE values in the training process of the Henon chaotic system
图 3 Henon混沌系统测试样本拟合效果
Fig. 3 Desired and predicted outputs of the Henon chaotic system
图 4 Henon混沌系统测试样本的预测误差
Fig. 4 Prediction error in the testing process of the Henon chaotic system
图 8 Mackey-Glass时间序列训练样本RMSE
Fig. 8 RMSE values in the training process of Mackey-Glass time series
图 10 Mackey-Glass时间序列测试样本的预测误差
Fig. 10 Prediction error in the testing process of Mackey-Glass time series
图 13 非线性系统测试样本的预测误差
Fig. 13 Prediction error in the testing process of nonlinear system
图 16 出水氨氮测试样本的预测误差
Fig. 16 Prediction error in the testing process of effluent NH$_4$-N
表 1 不同网络对Henon混沌时间序列的预测结果
Table 1 Prediction results of Henon chaotic time series with different networks
下载: 导出CSV
表 3 不同网络对Mackey-Glass时间序列的预测结果
Table 3 Prediction results of Mackey-Glass time series with different networks
下载: 导出CSV
表 4 不同网络对非线性系统的预测结果
Table 4 Prediction results of nonlinear system identification with different networks
下载: 导出CSV
表 5 不同网络对出水氨氮的预测结果
Table 5 Prediction results of effluent NH$_4$-N with different networks with different networks
网络 规则数 训练RMSE 测试RMSE WTFMC-RFNN 12 0.0041 0.0351 IRSFNN (TSK) 16 0.0052 0.0468 RSEFNN-LF 12 0.0048 0.0404 TRFN-S 14 0.0045 0.0394 WRFNN 15 0.0053 0.0529 HO-RNFS 15 0.0047 0.0458 RFNN 12 0.0041 0.0437
下载: 导出CSV
-
[1] Shihabudheen K V, Pillai G N. Recent advances in neuro-fuzzy system:a survey. Knowledge-Based Systems, 2018, 152: 136-162 doi: 10.1016/j.knosys.2018.04.014 [2] Wang J J. A new type of fuzzy membership function designed for interval type-2 fuzzy neural network. Acta Automatica Sinica, 2017, 43(8): 1425-1433 http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=zdhxb201708014 [3] Ebadzadeh M M, Salimibadr A. IC-FNN: A novel fuzzy neural network with interpretable intuitive and correlated-contours fuzzy rules for function approximation. IEEE Transactions on Fuzzy Systems, 2018, 26(3): 1288-1302 doi: 10.1109/TFUZZ.2017.2718497 [4] Tang J J, Liu F, Zhang W H, Ke R M, Zou Y J. Lane-changes prediction based on adaptive fuzzy neural network. Expert Systems with Applications, 2018, 91: 452-463 doi: 10.1016/j.eswa.2017.09.025 [5] Qiao J F, Cai J, Han H G, Cai J X. Predicting PM2.5 concentrations at a regional background station using second order self-organizing fuzzy neural network. Atmosphere, 2017, 8(12): 10-26 doi: 10.3390/atmos8010010 [6] Premkumar K, Manikandan B V, Kumar C A. Antlion algorithm optimized fuzzy PID supervised on-line recurrent fuzzy neural network based controller for brushless DC motor. Electric Power Components and Systems, 2017, 45(20): 2304-2317 doi: 10.1080/15325008.2017.1402395 [7] Zhu Q D, Yu H, Cai C T, Xiao Y. Robust optimal navigation using nonlinear model predictive control method combined with recurrent fuzzy neural network. Mathematical Problems in Engineering, 2018, 2018: 1-19 http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=fbcd788ee3726c5ee9168a9b36271452 [8] El-sousy F F M. Adaptive hybrid control system using a recurrent RBFN-based self-evolving fuzzy-neural-network for PMSM servo drives. Applied Soft Computing, 2014, 21(8): 509-532 http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=0d4fc69ba07453caac6b4cc5ad1850b0 [9] Xue A, Peng D, Guo Y. Modeling of pH neutralization process using fuzzy recurrent neural network and DNA based NSGA-Ⅱ. Journal of the Franklin Institute, 2014, 351(7): 3847-3864 doi: 10.1016/j.jfranklin.2013.03.014 [10] Pratama M, Lu J, Lughofer E. An incremental learning of concept drifts using evolving type-2 recurrent fuzzy neural networks. IEEE Transactions on Fuzzy Systems, 2017, 25(5): 1175-1192 doi: 10.1109/TFUZZ.2016.2599855 [11] Han S I, Lee J M. Recurrent fuzzy neural network backstepping control for the prescribed output tracking performance of nonlinear dynamic systems. ISA Transactions, 2014, 53(1): 33-43 http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=9e529f262e1341efe49530c467cd74c7 [12] Juang C F, Hsieh C D. A Locally Recurrent fuzzy neural network with support vector regression for dynamic-system modeling. IEEE Transactions on Fuzzy Systems, 2010, 18(2): 261-273 http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=90839892df2adf02ac77881e12a73ba6 [13] Wai R J, Lin Y W. Adaptive moving-target tracking xontrol of a vision-based mobile robot via a dynamic petri recurrent fuzzy neural network. IEEE Transactions on Fuzzy Systems, 2013, 21(4): 688-701 doi: 10.1109/TFUZZ.2012.2227974 [14] Lin F J, Shyu K K, Wai R J. Recurrent-fuzzy-neural-network sliding-mode controlled motor-toggle servome-chanism. IEEE/ASME Transactions on Mechatronics, 2010, 6(4): 453-466 http://ieeexplore.ieee.org/document/974859 [15] Wu G D, Zhu Z W. An enhanced discriminability recurrent fuzzy neural network for temporal classification problems. Fuzzy Sets and Systems, 2014, 237(2): 47-62 http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=a602f825b73d4d2f559367279b270377 [16] Qiao J F, Han G T, Han H G. Wastewater treatment control method based on a rule adaptive recurrent fuzzy neural network. International Journal of Intelligent Computing and Cybernetics, 2017, 10(2): 94-110. doi: 10.1108/IJICC-12-2016-0069 [17] Jang J S R. ANFIS: Adaptive-network-based fuzzy inference system. IEEE Transactions on Vehicular Technology, 1993, 23(3): 665-685 http://psycnet.apa.org/psycinfo/1994-15814-001 [18] Zhang Y, Xiong R, He H, Pecht M G. Long short-term memory recurrent neural network for remaining useful life prediction of lithium-ion batteries. IEEE Transactions on Vehicular Technology, 2018, 67(7): 5695-5705 doi: 10.1109/TVT.2018.2805189 [19] Kam H J, Jin O S, Park R W. Prediction of daily patient numbers for a regional emergency medical center using time series analysis. Healthcare Informatics Research, 2010, 16(3): 158-165 doi: 10.4258/hir.2010.16.3.158 [20] Joo T W, Kim S B. Time series forecasting based on wavelet filtering. Expert Systems with Applications, 2015, 42(8): 3868-3874 doi: 10.1016/j.eswa.2015.01.026 [21] Sun W, Xu Y. Research on China's energy supply and demand using an improved Grey-Markov chain model based on wavelet transform. Energy, 2017, 118: 969-984 doi: 10.1016/j.energy.2016.10.120 [22] 薛婷, 钟麦英.基于SWT与等价空间的LDTV系统故障检测.自动化学报, 2017, 43(11): 1920-1930 doi: 10.16383/j.aas.2017.c160479Xue Ting, Zhong Mai-Ying. SWT and parity space based fault detection for linear discrete time-varying systems. Acta Automatica Sinica, 2017, 43(11): 1920-1930 doi: 10.16383/j.aas.2017.c160479 [23] Bardenet R, Doucet A, Holmes C. On Markov chain Monte Carlo methods for tall data. The Journal of Machine Learning Research, 2017, 18(1): 1515-1557 http://www.oalib.com/paper/4116218 [24] 张熙来, 赵俭辉, 蔡波.针对PM2.5单时间序列数据的动态调整预测模型.自动化学报, 2018, 44(10): 1790-1798 doi: 10.16383/j.aas.2017.c170026Zhang Xi-Lai, Zhao Jian-Hui, Cai Bo. Prediction model with dynamic adjustment for single time series of PM2.5. Acta Automatica Sinica, 2018, 44(10): 1790-1798 doi: 10.16383/j.aas.2017.c170026 [25] 周杉杉, 李文静, 乔俊飞.基于自组织递归模糊神经网络的PM2.5浓度预测.智能系统学报, 2018, 13(4): 509-516 http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=xdkjyc201804003Zhou Shan-Shan, Li Wen-Jing, Qiao Jun-Fei. Prediction of PM2.5 concentration based on self-organizing recurrent fuzzy neural network. CAAI Transactions on Intelligent Systems, 2018, 13(4): 509-516 http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=xdkjyc201804003 [26] Lin Y Y, Chang J Y, Lin C T. Identification and prediction of dynamic systems using an interactively recurrent self-evolving fuzzy neural network. IEEE Transactions on Neural Networks and Learning Systems, 2013, 24(2): 310-321 doi: 10.1109/TNNLS.2012.2231436 [27] Juang C F, Lin Y Y, Tu C C. A recurrent self-evolving fuzzy neural network with local feedbacks and its application to dynamic system processing. Fuzzy Sets and Systems, 2010, 161(19): 2552-2568 doi: 10.1016/j.fss.2010.04.006 [28] Juang C F. A TSK-type recurrent fuzzy network for dynamic systems processing by neural network and genetic algorithms. IEEE Transactions on Fuzzy Systems, 2002, 10(2): 155-170 doi: 10.1109/91.995118 [29] Lin C J, Chin C C. Prediction and identification using wavelet-based recurrent fuzzy neural networks. IEEE Transactions on Systems, Man, and Cybernetics, Part B (Cybernetics), 2004, 34(5): 2144-2154 doi: 10.1109/TSMCB.2004.833330 [30] Juang C F, Lin C T. A recurrent self-organizing neural fuzzy inference network. IEEE Transactions on Neural Networks, 1999, 10(4): 828-845 doi: 10.1109/72.774232 [31] Theocharis J B. A high-order recurrent neuro-fuzzy system with internal dynamics:application to the adaptive noise cancellation. Fuzzy Sets and Systems, 2006, 157(4): 471-500 doi: 10.1016/j.fss.2005.07.008 [32] Mastorocostas P A, Theocharis J B. A recurrent fuzzy-neural model for dynamic system identification. IEEE Transactions on Systems, Man, and Cybernetics, Part B (Cybernetics), 2002, 32(2): 176-190 doi: 10.1109/3477.990874 [33] Lin C J, Chen C H, Lin C T. A hybrid of cooperative particle swarm optimization and cultural algorithm for neural fuzzy networks and its prediction applications. IEEE Transactions on Systems, Man, and Cybernetics, Part C (Applications and Reviews), 2009, 39(1): 55-68 doi: 10.1109/TSMCC.2008.2002333 [34] Wang N, Er M J, Meng X. A fast and accurate online self-organizing scheme for parsimonious fuzzy neural networks. Neurocomputing, 2009, 72(16-18): 3818-3829 doi: 10.1016/j.neucom.2009.05.006 [35] Wu S, Er M J. Dynamic fuzzy neural networks-a novel approach to function approximation. IEEE Transactions on Systems, Man, and Cybernetics, Part B (Cybernetics), 2000, 30(2): 358-364 doi: 10.1109/3477.836384 [36] Wu S, Er M J, Gao Y. A fast approach for automatic generation of fuzzy rules by generalized dynamic fuzzy neural networks. IEEE Transactions on Fuzzy Systems, 2001, 9(4): 578-594 doi: 10.1109/91.940970 期刊类型引用(6)
1. 傅卫沁，刘彬，徐长瑜. 基于多传感器的工业机械臂精细化操作远程控制方法. 机械与电子. 2023(05): 62-66+71 . 
百度学术2. 张玉泽，姚立忠，罗海军. 基于量子加权最小门限单元网络的出水COD预测. 环境工程技术学报. 2023(05): 1857-1864 . 百度学术3. 李文静，李治港，乔俊飞. 基于突触巩固机制的前馈小世界神经网络设计. 自动化学报. 2023(10): 2145-2158 . 本站查看4. 陈雨点. 模糊神经网络理论下的外贸出口量预测模型. 现代商业. 2022(17): 60-62 . 百度学术5. 丁海旭 ，汤健 ，夏恒 ，乔俊飞 . 基于TS-FNN的城市固废焚烧过程MIMO被控对象建模. 控制理论与应用. 2022(08): 1529-1540 . 百度学术6. 李浩楠，刘勇. 模糊神经网络的优化及其应用. 哈尔滨理工大学学报. 2020(06): 142-149 . 百度学术其他类型引用(12)
-
下载:
计量
- 文章访问数: 1191
- HTML全文浏览量: 245
- PDF下载量: 172
- 被引次数: 18
