-
摘要: 现有数据建模方法大多依赖于定量的数值信息，而对于数值与分类混合输入的数据建模问题往往根据分类变量组合建立多个子模型，当有多个分类变量输入时易出现子模型数据分布不均匀、训练耗时长等问题.针对上述问题，提出一种具有混合数据输入的自适应模糊神经推理系统模型，在自适应模糊推理系统的基础上，引入激励强度转移矩阵和结论影响矩阵，采用基于高氏距离的减法聚类辨识模型结构，通过混合学习算法训练模型参数，使数值与分类混合数据对模糊规则的前后件参数同时产生作用，共同影响模型输出.仿真实验分析了分类数据对模型规则后件的作用以及结构辨识算法对模糊规则数的影响，与其他几种混合数据建模方法对比表明本文所提出的模型具有较高的预测精度和计算效率.Abstract: The available data modeling methods mostly depend on quantitative numerical information. But the data modeling with both numerical and categorical data input often has to build multiple sub-models on the basic of combination of categorical variables. It is likely to present unevenly data distribution of sub-models, time-consuming training process and other problems when the multiple categorical variables are input. For the above problems, an adaptive network-based fuzzy inference system with mixed data inputs is proposed. Based on the structure of the adaptive network-based fuzzy inference system, a firing-strength transform matrix and a consequent influence matrix are introduced. The subtractive clustering based on the Gaussian distance is adapted to identify structure of model, and a hybrid learning algorithm is used to train parameters of model. The numerical and categorical data play an important role on the antecedent and consequent parameters of fuzzy rules, and jointly affect the output of model. The simulation experiment analyzes the effect on categorical data to the consequent rules and structure identification to number of fuzzy rules. Comparing with others data modeling with mixed data inputs, the proposed model in this paper has higher prediction accuracy and computational efficiency.
-
随着全球数据量出现爆炸式增长, 数据成了当今社会增长最快的资源之一.如何对大量复杂数据进行分析和挖掘, 从中提取有价值的知识用于决策, 已经成为学术界和产业界广泛关注的问题[1-2].在各行业中数据分析与数据建模仍有许多核心技术问题有待解决[3-4].如商业金融领域, 电子商务企业通过对所销售产品的类别以及客户的浏览行为进行数据分析, 进而精准把握客户的购买意图, 其中数据信息中既包含数量、单价这样的数值信息, 又包含商品种类、属性这样的非数值信息.银行金融企业对储户分类进行分析, 根据客户特点对其设计不同的金融管理方案, 其中数据信息中既包含账户余额、资金流量这样的数值信息, 也包含储户年龄区间、职业、性别等非数值信息.又如工业生产领域, 钢铁行业炼钢过程通过生产工艺参数建立生产过程数据模型对产量、产品质量、能耗等指标进行估计, 其中工艺参数中既包含氧气压力、流量等数值数据, 也包含造渣原料种类(如石灰、白云石和萤石等)带有分类性质的非数值数据.汽车行业电动汽车电池管理系统通过电池组运行数据对电池组状态和汽车续航里程进行估计, 其中既包含电流、电压、内阻、温度等数值数据, 也包含电池结构、电池类型等非数值数据.再如医疗领域中, 医疗辅助诊断借助医院综合管理信息系统数据进行大数据挖掘给出患者的诊断和治疗方案建议, 其中医学数据中既包含化验结果、基因数据等数值数据, 同时也包含波形信号、图像、文字等非数值数据.上述领域中普遍存在一个共同特点, 即数据信息中同时包含数值/非数值两类数据(这里我们将非数值数据统称为分类数据).
然而, 现有数据建模方法大多依赖于定量的数值信息, 难以加入定性的分类信息.对此国内外学者进行了大胆的尝试, 并取得了一些进展. Jacobs等[5]利用多个独立网络子模型构建组合模型, 采用有监督学习对模型参数进行训练.其子模型中仅包含数值变量, 各子模型由分类变量组合成完整数据模型.但当分类属性值较多时, 不同分类变量的组合排序将呈几何倍数增长. Lee等[6]构建了多个参数的组合模型, 每个子模型输入仅有数值数据.该方法采用1-out-of-n编码, 把子模型中分类数据编码为一个数值向量, 然后把该向量导入神经网络.然而当训练数据分布不均匀时无法精确描述模型. Brouwer [7-8]提出基于多层感知机(Multi layer perception, MLP)结构的改进神经网络模型, 该模型由多感知机和多输出编码器单元组成.模型输入为数值变量, 由分类变量决定最终模型输出, 即每一个输出单元对应一个分类输入变量组合.该方法适用于分类变量较少的数据建模问题, 当分类变量数量较大时该方法训练结构参数的时间较长. Rey-del-Castillo等[9]提出一种模糊极小极大神经网络, 由模糊超立方体聚集形成的集合体定义模糊集, 模糊超立方体的极大点作为模糊操作算子, 并利用改进模糊极小极大神经网络模型结构实现数值/分类混合属性数据建模.但由于神经网络的黑箱结构, 模型的输入输出映射关系难以解释. Hsu [10]采用自组织神经网络(Self-organizing map, SOM)结构, 通过定义分类数据之间的距离把分类数据转化为数值数据.张宇献等[11]以自组织映射神经网络为框架, 采用基于样本概率的异构值差度量混合属性数据的相异性.利用分类特征项在Voronoi集合中出现频率作为分类属性数据参考向量更新规则的基础, 通过混合更新规则实现数值属性和分类属性数据规则的更新.
尽管上述研究工作在数值/分类混合的数据建模中做出了积极贡献, 但对于数值/分类混合的数据建模研究中仍有一些难点问题尚未得到很好的解决, 具体体现在以下几方面: 1)多个分类变量采用排列组合方式参与数值数据计算时, 不同分类变量的组合排序将呈几何倍数增长; 2)按分类变量建立多个子模型, 各子模型训练数据分布不均匀; 3)将分类变量转化为二进制数或定义成数值变量, 参与计算时易出现大数吃小数现象; 4)分类数据转化为数值数据的过程, 忽略了各变量值之间内在的分类或约束关系.
针对上述问题, Liu等[12]提出带分类输入的自适应模糊推理系统(Adaptive network-based fuzzy inference system with categorical inputs, C-ANFIS)结构, 将激励强度转移矩阵(Firing-strength transform matrix, FTM)引入自适应模糊推理系统(Adaptive network-based fuzzy inference system, ANFIS)中, 把分类数据对规则的影响作用到规则前件的激励强度上.该方法一定程度上取得了不错的效果, 但它却存在自身不足: C-ANFIS只考虑分类数据对规则前件的影响, 而对规则后件并未做任何处理.基于以上分析, 本文提出了一种具有混合数据输入的自适应模糊推理系统(Adaptive network-based fuzzy inference system with mixed data inputs, MDI-ANFIS)模型.该模型在标准ANFIS结构基础上, 引入激励强度转移矩阵和后件影响矩阵(Consequent influence matrix, CIM), 通过后件影响矩阵把分类数据对模糊规则后件的影响作用到ANFIS上, 使分类数据对整个模糊规则产生影响, 并提出适应MDI-ANFIS结构的参数学习算法.同时, 针对MDI-ANFIS结构辨识问题, 给出了基于高氏距离的减法聚类算法, 通过在减法聚类中引入混合型数据的高氏距离来确定MDI-ANFIS的模糊规则数和规则前后件的初始参数.
1. MDI-ANFIS模型
1.1 MDI-ANFIS的网络结构
学者Jang于1993年提出了ANFIS[13], 它融合了神经网络的学习机制和模糊系统的语言推理能力等优点, 弥补各自不足, 属于神经模糊系统的一种. ANFIS能够以任意精度逼近非线性函数, 具有便捷高效的特点, 并已在多个领域取得了成功应用[14-18].
然而, 标准的ANFIS结构只针对数值数据输入, 当输入有分类数据时利用标准ANFIS建模将变得不再适合.例如, 针对混合数据的自适应神经模糊推理建模问题, 假设ANFIS中的第l条规则有2个数值输入和1个分类输入, 其规则描述如下:
$ \begin{split} R_l : &~ \text{If}~ x_1 ~ \mbox{is} ~ A_1^l ~ \mbox{and} ~x_2 ~ \mbox{is} ~ A_2^l ~ \mbox{and}~ x^C ~\mbox{is} ~ A_3^l \\ & ~ \text{Then}~ y_l =c_0^l +c_1^l · x_1 +c_2^l · x_2 +c_3^l · x^C \\ \end{split} $
其中, $x_{1}$和$x_{2}$是数值数据输入, $x^{C}$是分类数据输入, $A_{1}^{l}$、$A_{2}^{l}$和$A_{3}^{l}$是第$l$条规则对应的模糊子集, $y_{l}$是第$l$条规则的后件输出.
因为$x^{C}$是分类数据, 在规则中的${\{}x^{C}$ is $A_{3}^{l}{\}}$和{不能直接计算.
针对这个问题, 本文提出一种具有混合数据输入的自适应模糊推理系统(MDI-ANFIS)模型, 它在C-ANFIS的基础上, 引入后件影响矩阵, 使分类数据对规则前件和后件同时产生影响, 使得其对混合数据输入作用更加完善.
图 1是一个多输入单输出的MDI-ANFIS结构图, 其对应的第l条模糊规则为:
$ \begin{split} R_l\!:&~ \text{ If $x_1$ is $A_{1j}^l$ and $x_2$ is $A_{2j}^l$ and $\cdots x_n$ is $A_{nj}^l$ }\\ &~~ \text{ and $x^C$ is $s$} \\ &~~ \text{Then $y_l =c_0^l +c_1^l x_1 +\cdots +c_n^l \cdot x_n +p_l$} \end{split} $
其中, 为数值数据输入, 为分类数据输入, $n$为数值输入变量个数, $m$为分类输入变量个数. 为第$i$个数值输入对应的第$j$个模糊子集(为了表述方便在图 1中取$j=1,2$), $s$为分类数据的编码向量, , 为第$l$条规则的后件参数, 为分类数据对第$l$条规则的后件影响, $y_l $为第$l$条规则的后件输出, $l=1,2,{\cdots},L$, $L$为规则数.
MDI-ANFIS网络结构分为6层:输入层、规则层、正规化层、混合激励层、结论层和输出层, 具体各层的输出为:
第1层:输入层, 该层的节点执行模糊化操作, 把数值输入转化为模糊子集的隶属度值.各节点的输出可表示为
$ \begin{equation} O_{ij}^1 =μ _{A_{ij}} \left( {x_i } \right), i=1, 2, ..., n, j=1, 2 \end{equation} $
(1) 其中, 为输入变量$x_{i}$的第$j$个模糊子集的隶属度函数, 当取高斯隶属度函数时, 其表达式为：
$ \begin{align} &μ _{A_{ij} } \left( {x_i } \right)=\exp\left[-{\frac{\left( {x_i -c_{ij}} \right)^2}{2σ _{ij}^2 }} \right], \nonumber\\& i=1, 2, ... , n, j=1, 2\end{align} $
(2) 其中, 为模糊规则的前件参数集.
第2层:规则层, 该层节点执行规则前件数值变量的模糊与运算, 计算出第l条规则数值变量的激励强度:
$ \begin{align} O_l^2 =w_l = &\prod\limits_{i=1}^n {μ _{A_{ij}^l } \left( {x_i } \right)}, \nonumber\\& l=1, 2, ... , L\end{align} $
(3) 其中, 是第$l$个规则层节点上的输入, 它由经结构辨识得到.
第3层:正规化层, 正规化规则层的激励强度.该层节点的输出为:
$ \begin{equation} O_l^3=\overline {w}_l =\frac{w_l}{\sum\limits_{l=1}^L {w_l } }, ~l=1,2,\cdots ,L \end{equation} $
(4) 第4层:混合激励层, 该层节点计算分类数据和数值数据对每条规则的激励强度.各节点在该层的输出为:
$ \begin{equation} O_l^4 =h_l =\overline {w}_l \cdot f_l , \quad l=1,2,\cdots ,L \end{equation} $
(5) 其中, $f_{l}$为分类数据的编码向量经激励强度转移矩阵$T$得到的第$l$条规则上的分类激励值, $f_l =s\cdot T^l$, $s$为分类数据的编码向量, $T^{l}$为激励强度转移矩阵$T$的第$l$列.
第5层:结论层, 该层计算每条规则的输出.各节点函数是一个线性函数, 各节点输出为:
$ \begin{align} O_l^5 = &h_l · y_l =\nonumber\\& h_l · \left( {c_0^l +c_1^l · x_1 +... +c_n^l · x_n +p_l } \right), \nonumber\\& ~l=1, 2, ... , L \end{align} $
(6) 其中, $p_{l}$为分类数据通过后件影响矩阵$I$得到的分类数据对每条规则的后件影响值, $p_l =s\cdot I^l$, $I^{l}$为后件影响矩阵$I$的第$l$列.
第6层:输出层, 计算整个MDI-ANFIS的输出:
$ \begin{equation} O^6=Y=\sum\limits_{l=1}^L {O_l^5 }, ~{\kern 1pt}l=1, 2, ... , L \end{equation} $
(7) 1.2 MDI-ANFIS的参数学习
假设有$K$个训练样本点$x^{k}$和分别为第$k$个样本点的数值输入向量和分类编码向量, 其中 $\cdots, x_{ik} ,$ $\cdots, x_{nk} )$, 为第$i$个数值变量在第$k$个样本上的取值. 为第$k$个样本点的训练输出值, 为第$k$个样本点的期望输出值.对于单个样本点的MDI-ANFIS的输出误差为
$ \begin{equation} e_k =\frac{{1}}{2}\left( {Y_k -\overline {Y_k } } \right)^2,~k=1,2,\cdots,K \end{equation} $
(8) 整个训练样本集的输出误差为:
$ \begin{equation} \label{eq2} E=\sum\limits_{k=1}^K {e_k } =\frac{1}{2}\sum\limits_{k=1}^K {\left( {Y_k -\overline {Y_k } } \right)^2} \end{equation} $
(9) 参数学习的目的是通过训练MDI-ANFIS中的参数使总误差E达到最小.假定系统输入为第k个样本点, 其输出为:
$ \begin{align} \label{eq3} Y_k =\,&\sum\limits_{l=1}^L {\overline {w}_l (x^k)\cdot f_l (s^k) \cdot y_l(x^k,s^k)}= \nonumber\\ &\sum\limits_{l=1}^L \overline {w}_l (x^k)\cdot f_l (s^k)\cdot(c_0^l +c_1^l \cdot x_{1k} +\cdots +\nonumber\\ &c_n^l \cdot x_{nk} +p_l )= \nonumber\\ &\sum\limits_{l=1}^L {\overline {w}_l (x^k)\cdot f_l (s^k)\cdot (\bar {x}^k \cdot C^l+s^k\cdot I^l)}= \nonumber\\ &\sum\limits_{l=1}^L {\overline {w}_l (x^k)\cdot f_l (s^k)\cdot z^k\cdot Q_l }= \nonumber\\ &z^k\cdot Q\cdot H(x^k,s^k), \quad k=1,2,\cdots,K\end{align} $
(10) 其中, , , , , $Q=[ Q_1 $, $Q_2 $, $\cdots $, $Q_l $, $\cdots$, $Q_L ]$, , $\overline {w}_L (x^k)\cdot f_L (s^k) ]^\text{T}$, $C^{l}$为第$l$条规则后件的参数向量, $I^{l}$为后件影响矩阵$I$的第$l$列参数向量.
这里把所有由$C^{l}$元素组成的参数集合称为后件参数集$P^{c}$, 所有由$I^{l}$元素组成的参数集合称为后件影响矩阵参数集$P^{i}$.将式(10)两边同时乘以, 可以得到:
$ \begin{equation} \label{eq4} [(z^k)^\text{T}· z^k]^{-1}· (z^k)^\text{T}· Y_k =Q· H(x^k, s^k) \end{equation} $
(11) 式(11)表明通过$Q$与$H(x^k,s^k)$成线性关系, 而$Q$包含后件参数和后件影响矩阵参数, 因此$P^{c}$和$P^{i}$可以通过最小二乘估计(Least squares estimation, LSE)得到.
同理, 在第k个样本点下的输出:
$ \begin{align} \label{eq5} Y_k=&\sum\limits_{l=1}^L {\overline {w}_l \left({x^k}\right)\cdot f_l \left({s^k}\right)\cdot y_l \left( {x^k,s^k} \right)}=\nonumber\\ &\sum\limits_{l=1}^L {\left( {s^k\cdot T^l} \right)\cdot\overline {w}_l \left({x^k}\right)\cdot y_l\left({x^k,s^k}\right)}=\nonumber\\ &s^k\cdot T\cdot M\left({x^k,s^k}\right), \quad k=1,2,\cdots ,K\end{align} $
(12) 其中, , $T^{l}$为激励强度转移矩阵$T$的第$l$列参数向量.
这里称由所有$T^{l}$元素组成的参数集合为激励强度转移矩阵参数集$P^{t}$.
将式(12)两边同时乘以, 可以得到:
$ \begin{equation} \label{eq6} [(s^k)^\text{T}· s^k]^{-1}· (s^k)^\text{T}· Y_k =T· M\left( {x^k, s^k} \right) \end{equation} $
(13) 式(13)表明通过$T$与\linebreak 成线性关系, 因此激励强度转移矩阵参数集$P^{t}$也可由LSE得到.
以上有关$Y^k$的所有推导中为MDI-ANFIS正规化层的第$l$个输出, 这里把所有中的参数组成的集合称为前件参数集$P^{p}$, 它可以通过预先固定参数集$P^{t}$、$P^{c}$和$P^{i}$, 然后由反向传播算法(Back propagation, BP)求得. MDI-ANFIS的参数学习步骤如表 1所示.
表 1 MDI-ANFIS混合学习算法Table 1 Hybrid learning algorithm of MDI-ANFIS参数集 算法 Pc, Pi LSE Pt LSE Pp BP 1.3 MDI-ANFIS的结构辨识
当输入ANFIS的维度不断增大时, 采用传统的网格划分会使规则数目呈指数增大, 这将不可避免导致维度灾难.本文提出了基于高氏距离的减法聚类算法(Gower distance-based subtractive cluster, GDSC)对其进行结构辨识.减法聚类(Subtractive cluster, SC)是一种无需预先确定聚类数和快速单次的聚类算法, 克服了其他聚类算法的计算量随着输入维数的增加而呈指数增长的不足.然而, 减法聚类只适用于对数值数据进行聚类, 而对于混合数据就显得无能为力了, 同时仅对混合数据的数值部分聚类产生的模糊推理结构也不完备, 因为它没有考虑混合数据的分类部分对结构辨识产生的影响.基于以上减法聚类的优缺点, GDSC算法把高氏距离引入到减法聚类公式中.这样GDSC算法既充分利用了SC的优势, 又充分考虑到分类数据对结构辨识的影响.
结合文献[19]和[20], 本文定义样本点$X_{k}$和$X_{r}$的高氏距离为:
$ \begin{align} \label{eq7} d_{kr}^G = &\sqrt {\sum\limits_{i=1}^n {\left( {X_{ik} -X_{ir} } \right)^2} } +\sum\limits_{i=n+1}^{n+m} {δ \left( {X_{ik} , X_{ir} } \right)}, \nonumber\\& \hfill k=1, 2, ... , K, r=1, 2, ... , K\end{align} $
(14) 其中, , $X_{ik} $为$X_{k}$的第$i$个元素, , 为$X_{r}$的第$i$个元素.
$ \delta \left( {X_{ik} ,X_{rk} } \right)=\left\{ {{\begin{array}{*{20}c} {0,{\kern 1pt}{\kern 1pt}X_{ik} =X_{rk} } \hfill \\ {1,{\kern 1pt}{\kern 1pt}X_{ik} \ne X_{rk} } \hfill \\ \end{array} }}\!\! \right.,~~{i\ge n+1} $
将式(14)代入到减法聚类公式中得到样本点的高氏密度
$ \begin{align} \label{eq8} DD_k^G = &\sum\limits_{r=1}^K {\exp \left[ {-\frac{\left( {d_{kr}^G } \right)^2}{\left( {\frac{β _a } {2}} \right)^2}} \right], } {\kern 1pt} \nonumber\\& \hfill k=1, 2, ... , K \end{align} $
(15) 为排除已被选为聚类中心的附近数据作为下一个聚类中心的可能性, 将式(15)的减法聚类密度修正为:
$ \begin{align} \label{eq9} D_k^G \left( {v+1} \right)= &D_k^G \left( v \right)- D_{c_v }^G \exp \left[{-\frac{\left( {d_{kc_v }^G } \right)^2}{\left( {\frac{β _b } {2}} \right)^2}} \right], \nonumber\\& \hfill k=1, 2, ... , K \end{align} $
(16) 式(15)和(16)中, $DD_k^G $表示混合属性样本点$X_{k}$的高氏密度值, 表示第$v$次迭代修正后的样本点$X_{k}$的高氏密度值, , $v=1,2,\cdots, V$, 其中$V$为最大迭代次数. 表示第$v$个聚类中心$c_{v}$的高氏密度值, 定义了样本点的邻域半径, $\beta _b $是一个密度显著减小的邻域半径, 一般取$\beta _a =1.5\beta _b $. GDSC算法根据迭代式(16)寻找具有高氏密度值最大的样本点并把它作为下一个聚类中心$c_{v+1}$.然后再次把$c_{v+1}$的高氏密度值带入到迭代公式中计算所有样本点的高氏密度修正值, 当聚类满足$\left\| {D_{{c_{v + 1}}}^G} \right\|/\left\| {D_{{c_1}}^G} \right\| < \varepsilon $或$v>V$时聚类终止, 输出聚类中心矩阵$X_c $. GDSC算法的伪代码如下:
算法1. GDSC算法
Input: $X = \left\{ {X_1 ,X_2 ,\cdots ,X_K } \right\}$, neighborhood radius $\gamma _a $, threshold $\varepsilon $, maximum number of iterations $V$.
Output: cluster center matrix $X_c $
1) Initialize: $X_c \leftarrow \left[~~ \right]$ and $v\leftarrow 1$.
2) for $k\leftarrow 1$ to $K$
3) calculate Gower density $DD_k^G $ of $X_k $ according to equation (15);
4) end for
5) find the first cluster center $X_{c_1 } $ which has maximum Gower density in $DD^G$, then $X_c\leftarrow X_{c_1 } $;
6) while $ \|D_{c_{v+1} }^G \| /\| {D_{c_1 }^G } \|<\varepsilon $ or $v>V$
7) update the Gower density $D_k^G \left( v \right)$ of in $X$ according to equation (16);
8) find next cluster center $ X_{c_{{v+}1} } $ which has max-imum Gower density in $D^{G'}\left( {v+1} \right)$, then ${\mathit{X}_\mathit{c}} \leftarrow {\mathit{X}_{{\mathit{c}_{{\rm{v + 1}}}}}}$;
9) $v\leftarrow v+1$;
10) end while
11) Output cluster center $X_c $.
1.4 MDI-ANFIS收敛性分析
本文针对基于MDI-ANFIS网络结构的T-S模糊系统, 给出收敛性证明[21-22].基于MDI-ANFIS的T-S模糊系统规则为:
$ \begin{split} R_l\!\!: &~ \text{If $x_1$ is $A_{1j}^l$ and $x_2$ is $A_{2j}^l$ and $\cdots x_n $ is $A_{nj}^l$} \\ &~ \text{and $x^C$ is $s$} \\ &~\text{Then $y=c_0^l +c_1^l x_1 +c_2^l x_2 +\cdots +c_n^l x_n +p_l$} \\ \end{split} $
其中, 为数值输入, 为分类输入, $s$为分类数据的编码向量, $s\in \{ s_1 ,s_2 ,\cdots ,s_G \}$, $l=1,2,{\cdots},L$, $j=1,2,{\cdots},n_{i}$, 此处$n_{i}$为第$i$个变量的模糊子集个数, $L$为规则数, $n$为数值输入变量个数, $m$为分类输入变量个数.
其模糊子系统的规则为:
$ \begin{array}{l} {R_{{l_g}}}:{\rm{If}}\;{\mathit{x}_{\rm{1}}}\;{\rm{is}}\;\mathit{A}_{{\rm{1}}\mathit{j}}^{{\mathit{l}_\mathit{g}}}\;{\rm{and}}\;{\mathit{x}_{\rm{2}}}\;{\rm{is}}\;\mathit{A}_{{\rm{2}}\mathit{j}}^{{\mathit{l}_\mathit{g}}}\;\\ \;\;\;\;\;{\rm{and}}\; \cdots \;{\mathit{x}_\mathit{n}}\;{\rm{is}}\;\mathit{A}_{\mathit{nj}}^{{\mathit{l}_\mathit{g}}}\;{\rm{and}}\;{\mathit{x}^\mathit{C}}{\rm{is}}\;\;{\mathit{s}_\mathit{g}}\\ \;\;\;\;\;\;{\rm{Then}}\;\mathit{y}{\rm{ = }}c_0^{{l_g}} + c_1^{{l_g}}{x_1} + c_2^{{l_g}}{x_2} + \cdots + \\ \;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;c_n^{{l_g}}{x_n} + {p_{{l_g}}} \end{array} $
其中, $R_{l_g } $为分类编码向量$s=s_g $确定的模糊规则, $l_{g}=1,2,\cdots,L_{g}$.
由子系统的数值数据激励强度, 容易求得整个T-S模糊系统的输出为:
$ \begin{equation} \label{eq10} \begin{split} &f_{TS} \left( {x^N\!,x^C} \right)=\sum\limits_{g=1}^G {f_{TS} \left( {x^N\!,s_g } \right)}=\\ &\qquad\sum\limits_{g=1}^G {\left\{ {\frac{\sum\limits_{l_g =1}^{L_g } {\left[ {w_{l_g } \left( {x^N} \right)\cdot f_{l_g } \cdot \left( {\sum\limits_{i=0}^n {c_i^{l_g } x_i +p_{l_g } } } \right)} \right]} }{\sum\limits_{l_g =1}^{L_g } {w_{l_g } \left( {x^N} \right)} }} \right\}} \end{split} \end{equation} $
(17) 这里, $f_{l_g } $为子系统第$l_{g}$条规则分类数据的激励强度, $p_{l_g } $为子系统第$l_{g}$条规则分类数据的后件影响值, 为子系统第$l_{g}$条规则的后件参数.
定义1.数值数据取值$C^{n}$ [0, 1], 分类数据取值${\{}s_{1}$, $s_{2}$, $\cdots$, $s_{G}{\}}$的次$n$+1元多项式函数可以写为:
$ \begin{align} \label{eq11} &P_ϕ (x^N , x^C)=\sum\limits_{g=1}^G \left[{ \sum\limits_{z_1 =0}^{r_1 } \sum\limits_{z_2 =0}^{r_2 } ...}\right. \nonumber\\& {\sum\limits_{z_n =0}^{r_n } β_{z_1 z_2 ... z_n }} (x_1 )^{z_1 }(x_2 )^{z_2 }... (x_n )^{z_n }+s_g· t \bigg] \end{align} $
(18) 其中, $\sum\nolimits_{i=1}^n {r_i } =\phi $, ~~, , $t$为$T$的某个列向量.
定义2.称论域$U$上的一组模糊集是一致的, 如果对某些$x_{i0} \in U$存在$A_{ij}$ 使得, 且对任意$\upsilon =1,2,\cdots, n_i $, 以及, 都有$\mu _{A_{i\upsilon } }\!\left( {x_{i0} } \right)=0$.
假设1.所研究的T-S模糊系统的每一个数值输入变量的模糊子集都是一致的.
假设2.所研究的T-S模糊系统采用的隶属度函数都是连续且分段可微的.
假设3.所研究的T-S模糊系统的每一个分类输入$s_{g}$, $s_g \cdot T^{l_g }=1$, 其余$l\ne l_g $, $s_g \cdot T^l=0$.
基于上述假设, 证明基于MDI-ANFIS网络结构的T-S模糊系统具有通用逼近性.
定理1.基于MDI-ANFIS网络结构的T-S模糊系统能够以任意精度一致逼近数值数据取值$C^{n}$ [0, 1]上, 分类数据取值${\{}s_{1}$, 的$\phi $次$n+1$元多项式函数, 即, 存在T-S模糊系统使得:
$ \begin{equation} \label{eq12} \left\| {f_{TS} \left( {x^N , x^C} \right)-P_ϕ \left( {x^N , x^C} \right)} \right\|_∈fty <γ \end{equation} $
(19) 这里$\left\| \cdot \right\|_\infty $定义为:对任意定义在紧致集$U\subset {\bf R}^n$的函数$a(x)$, .
证明.假设T-S模糊子系统的每一条规则$R_{l_g } $, $l_{g}=1,2,\cdots,L_{g}$, 它决定了一个特殊数值输入矢量, 每个分量的取值恰好等于对应的模糊子集$A_{ij}^{l_g } $的中心点, 即
$ \begin{equation} \label{eq13} x_i =C_{ij}^i, {i=1, 2, ... , n} , ~~j=1, 2, ... , n_i \end{equation} $
(20) 显然, 对应一个T-S模糊子系统, 全部输入矢量共有Lg个, 并且与子系统模糊规则一一对应的关系, 记它们的集合为
$ \begin{align} \label{eq14} S_g =\,&\left\{ {x_{l_g } =\left( {C_{1j}^1,C_{2j}^2 ,\cdots ,C_{nj}^n } \right)} \right\}, \nonumber\\& \qquad \hfill l_g =1,2,\cdots, L_g ,~ i=1,2,\cdots ,n \end{align} $
(21) , 根据假设1有, , 而对任意$l_{gg} \in \left\{ {1,2,\cdots ,L_g } \right\}$, $l_{gg} \ne l_g $, 都有, $\mu _{_{l_g } } $和为对应子系统规则的隶属度向量函数; 根据假设3有, , 而对任意$l\ne l_g $, 都有$s_g \cdot T^l=0$, 由公式得:
$ \begin{equation} \label{eq15} f_{TS} \left( {x_{l_g } , s_g } \right)=\sum\limits_{i=0}^n {c_i^{l_g } x_i +p_{l_g } } =P_ϕ \left( {x_{l_g } , s_g } \right) \end{equation} $
(22) 在$f_{TS} \left( {x^N\!,x^C} \right)$中, 并且令$x_0 \equiv 1$.设数值输入变量的第$j$个模糊子集的中心点为$C_{ij}^i ,j=1,2,\cdots ,n_i $, 归一化$x_i ~~\left( {i=1,2,\cdots ,n} \right)$有$0 \le C_{i1}^i < C_{i2}^i < \cdots < C_{i{n_i}}^i \le 1$.不失一般性, 设每个中心点处的隶属度为1, 对每一个数值输入变量定义模糊分割间距:
$ \begin{equation} \label{eq16} Ω _j^i =C_{ij}^i -C_{i, j-1}^i , j=1, 2, ... , n_i +1 \end{equation} $
(23) 其中, $C_{i0}^i \equiv 0,C_{i,n_i +1}^i \equiv 1$.
在此基础上可以对每个数值输入变量定义最大模糊分割间距:
$ \begin{equation} \label{eq17} \Omega _{\max }^i =\mathop {\max }\limits_{j=1}^{n_i +1} \Omega _j^i \end{equation} $
(24) 注意$x^N$的任意分量$x_i ~\left( {i=1,2,\cdots ,n} \right)$, 总可以找到下标$j\in \left\{ {1,2,\cdots ,n_i \text{+}1} \right\}$, 使得$C_{i,j-1}^i \le x_i \le C_{ij}^i $, 从而.
根据假设2可知连续且分段可微, 由, 利用多元泰勒公式有:
$ \begin{align*} &\left| {f_{TS} \left( {x^N\!,x^C} \right)-P_\phi \left( {x^N\!,x^C} \right)} \right|= \\ &\qquad\left| {\sum\limits_{g=1}^G {f_{TS} \left( {x^N\!,s_g } \right)} -\sum\limits_{g=1}^G {P_\phi \left( {x^N\!,s_g } \right)} } \right| \le\\ &\qquad \sum\limits_{g=1}^G {\left| {f_{TS} \left( {x^N\!,s_g } \right)-P_\phi \left( {x^N\!,s_g } \right)} \right|}= \\ &\qquad\sum\limits_{g=1}^G \left| f_{TS} \left( {x^N\!,s_g } \right)-f_{TS} \left( {x_{l_g } ,s_g } \right)+\right.\\ &\qquad P_\phi \left( {x_{l_g } ,s_g } \right)-P_\phi \left( {x^N\!,s_g } \right) |\le \\ &\qquad \sum\limits_{g=1}^G \left[ \left| {f_{TS} \left( {x^N\!,s_g } \right)-f_{TS} \left( {x_{l_g } ,s_g } \right)} \right|+\right.\\ &\qquad \left.\left| {P_\phi \left( {x_{l_g } ,s_g } \right)-P_\phi \left( {x^N\!,s_g } \right)} \right| \right]\le \\ &\qquad \sum\limits_{g=1}^G \left\{ \sum\limits_{i=1}^n \left[ \left( \left\| {\frac{\partial f_{TS} \left( {x^N\!,s_g } \right)}{\partial x_i }} \right\|_\infty +\right.\right.\right.\\ &\qquad \left.\left.\left. \left\| \frac{\partial P_\phi \left( {x^N\!,s_g } \right)}{\partial x_i } \right\|_\infty \right)\cdot \left| {x_i - C_{ij}^i } \right| \right] \right\}\le\\ &\qquad \sum\limits_{g=1}^G \left\{ \sum\limits_{i=1}^n \left[ \left( \left\| {\frac{\partial f_{TS} \left( {x^N\!,s_g } \right)}{\partial x_i }} \right\|_\infty +\right.\right.\right.\\ &\qquad \left.\left.\left.\left\| {\frac{\partial P_\phi \left( {x^N\!,s_g } \right)}{\partial x_i }} \right\|_\infty \right)\cdot \Omega _{\max }^i \right] \right\}\le \\ &\qquad \sum\limits_{g=1}^G \left\{ \mathop {\max }\limits_{i=1}^n \Omega _{\max }^i \cdot \sum\limits_{i=1}^n \left( \left\| \frac{\partial f_{TS} \left( {x^N\!,s_g } \right)}{\partial x_i } \right\|_\infty +\right.\right.\\ &\qquad \left.\left.\left\| \frac{\partial P_\phi \left( {x^N\!,s_g } \right)}{\partial x_i } \right\|_\infty \right) \right\}<\sum\limits_{g=1}^G {\gamma _g } =\gamma \end{align*} $
上式是有限数, 函数连续且分段可微, 因此也是有限数, 当充分小时, 存在一个极小的正数使得基于MDI-ANFIS网络结构的T-S模糊系统无限逼近于一个多项式函数.
引理1. $\forall \zeta >0$, 存在多项式$P(x)$, 使得对一切$x\in \left[ {a,b} \right]$的$f(x)$成立:
$ \begin{equation} \label{eq18} \left| {P\left( x \right)-f\left( x \right)} \right|<ζ \end{equation} $
(25) 定理2.基于MDI-ANFIS网络结构的T-S模糊系统能够以任意精度一致逼近数值输入在紧致集上的任意实函数$\Psi \left( {x^N\!,x^C} \right)$, 即, 存在基于MDI-ANFIS网络结构的T-S模糊系统使得:
$ \begin{equation} \label{eq19} \left\| {f_{TS} \left( {x^N , x^C} \right)-Ψ \left( {x^N , x^C} \right)} \right\|_∈fty <δ \end{equation} $
(26) 证明.根据引理, 在$U\subset {\bf R}^n$上存在次多项式函数$P_\phi ( {x^N\!,s_g } )$, 一致逼近任意连续实函数$\psi ( x^N\!, s_g )$, 即存在$P_\phi ( x^N\!,s_g )$使得, 另一方面, , 根据定理1, 存在.
$ \begin{align*} &\left\| {f_{TS} \left( {x^N , x^C} \right)-Ψ \left( {x^N , x^C} \right)} \right\|_∈fty= \\ & \sum\limits_{g=1}^G {\left( {\left\| {f_{TS} \left( {x^N , s_g } \right)-ψ \left( {x^N , s_g } \right)} \right\|_∈fty } \right)}= \\ & \sum\limits_{g=1}^G ( \| f_{TS} ( {x^N , s_g } )-P_ϕ ( {x^N , s_g } )+\\ & P_ϕ ( {x^N , s_g } )-ψ ( {x^N , s_g } ) \|_∈fty )\le \\ & \sum\limits_{g=1}^G ( \| {f_{TS} ( {x^N , s_g } )-P_ϕ ( {x^N , s_g } )} \|_∈fty +\\ & \| P_ϕ ( {x^N , s_g } )-ψ ( {x^N , s_g } ) \|_∈fty ) <\\ & \sum\limits_{g=1}^G {\left( {γ _g +ζ _g } \right)}= \sum\limits_{g=1}^G {δ _g } =δ \end{align*} $
即.
2. 仿真实验及结果分析
为了验证所建模型的性能, 我们将从规则后件参数影响分析、结构辨识方法比较以及几种混合数据建模方法预测精度对比几方面来说明本文所提出的MDI-ANFIS的优越性.
实验操作系统为Windows 8.1, 仿真软件为MATLAB 2009b.硬件条件: CPU为Intel Core I5 2.5 GHz, 内存为4 GB.
2.1 后件参数影响分析
对于参数预测问题, 文献[12]提出的C-ANFIS算法把分类数据对规则的影响作用到规则前件上, 但并未考虑其对后件的影响.本文在C-ANFIS结构上做了改进, 提出适用于混合数据参数预测的算法MDI-ANFIS, 使混合数据中的分类数据对规则的前后件均产生影响.
这里采用UCI机器学习库中的Abalone数据集来训练C-ANFIS和MDI-ANFIS参数, 然后预测鲍鱼的年龄. Abalone数据集包含4 177个样本点, 分别记录了鲍鱼的性别、长度、直径、高度、整体重量、脱皮重量、内脏重量、壳重量和年龄属性值, 其中鲍鱼的性别是分类属性数据, 其他变量是数值属性数据.
表 2给出了两种算法对比结果, 其中平均规则后件值反映了C-ANFIS与MDI-ANFIS对规则后件结论的影响大小, 预测误差选取均方根误差作为误差指标.为了更加体现分类数据对规则后件的影响, 我们选取表 2第1组实验产生的平均规则后件值数据制作对比柱状图见图 2, 横坐标表示本组实验一共产生9条规则, 纵坐标记录了每条规则的平均输出值. 图 2非常直观地显示出考虑分类数据对规则后件的影响将极大地改变规则后件大小. 表 2同时体现出MDI-ANFIS相较C-ANFIS能够有一个更好的预测精度. 图 3是两种算法的训练误差对比, 从图上可以看出随着训练周期的增加, 两者的误差距离正在逐渐拉大. 图 4是训练后的C-ANFIS模型和MDI-ANFIS模型对测试样本点做预测的结果.对比结果显示相对于C-ANFIS模型, 本文所提出的MDI-ANFIS模型在后件参数的影响和预测精度上更具优势.
表 2 两种算法的平均规则后件影响和误差Table 2 Average consequent influences and errors of two algorithms组号 样本点个数 平均规则后件值 预测误差 C-ANFIS MDI-ANFIS C-ANFIS MDI-ANFIS 1 200 19.659 17.735 2.040 1.519 2 200 18.905 36.270 1.690 1.463 3 200 21.323 27.297 2.980 1.881 4 400 34.202 66.760 3.230 1.604 5 400 14.050 39.905 2.330 2.145 6 400 16.385 35.070 2.510 2.002 7 500 18.901 17.804 3.680 2.194 8 600 21.659 30.857 2.290 2.395 9 600 16.299 22.267 2.800 2.242 10 600 18.426 34.818 3.730 2.187 平均值 410 19.981 32.878 2.728 1.963 2.2 结构辨识对比分析
MDI-ANFIS的结构辨识问题对具有高维输入数据的网络性能具有重要影响, 本文提出的GDSC算法, 将高氏距离引入到减法聚类中, 实现数值数据和分类数据同时对初始规则产生影响, 从而完成混合属性数据的ANFIS结构辨识.实验采用UCI中的Boston Housing数据集, 它包含506个样本点, 其中11个数值属性和2个分类属性, 这里把数值属性记为NA1 ~ NA11, 分类属性记为CA1和CA2.实验首先利用SC算法和GDSC算法对Boston Housing数据集聚类, 然后利用聚类结果产生的规则作为MDI-ANFIS的网络结构, 再通过对MDI-ANFIS进行训练得出模型来预测波士顿的房价.为了可视化方便, 我们选取CA1 = 1, CA2 = {1, 2, 3}的样本点且使用平行坐标系显示(其结果见图 5), 图 5通过平行坐标系实现高维混合属性数据的可视化, 从图中我们可以看出减法聚类得到的聚类中心数是12, 聚类中心相对集中, 存在一致性的问题.而基于高氏距离减法聚类得到的聚类中心数是4, 且聚类中心位置分布相对比较合理.我们可以发现, GDSC算法得出的聚类中心数比SC算法得到的聚类中心数显著减小, 且GDSC算法得到的聚类中心更具代表性.
表 3从Boston Housing数据集中随机选取10组样本集作训练对结构辨识性能对比, 其中规则数反映出利用两种算法做辨识得到的规则数目多少, 预测误差反映采用两种算法作结构辨识时模型的预测精度.通过10组样本预测结果比较可以看出, 两种辨识算法的预测误差平均值较为接近, 但GDSC算法在结构辨识中产生的规则较少, 降低了需要训练的规则参数个数, 因此模型的参数辨识速度相对较快. 图 6是MDI-ANFIS在第1组数据下采用两种辨识算法做训练的模型训练误差, 图 7是MDI-ANFIS模型预测波士顿房价的结果.
表 3 结构辨识性能对比Table 3 Performance comparison of structure identification组号 样本点个数 规则数 预测误差 SC GDSC SC GDSC 1 100 50 13 0.452 0.356 2 100 32 14 0.575 0.466 3 200 37 21 0.517 0.709 4 200 25 14 0.908 0.613 5 300 40 18 0.586 0.690 6 300 34 16 0.661 0.705 7 400 31 16 0.642 0.459 8 400 32 14 0.630 0.747 9 500 30 13 0.788 0.836 10 506 30 14 0.726 0.827 平均值 300 34 15 0.648 0.641 2.3 模型误差对比分析
为了比较分析MDI-ANFIS模型在混合属性数据建模上的性能, 现选取几种已有混合属性数据建模方法与之对比, 对比建模方法说明如下:
1) ANFIS模型:采用标准的ANFIS算法, 其中混合属性数据只考虑数值输入, 而不考虑分类输入.
2) 带有数值转化的自适应模糊推理系统(Adaptive network-based fuzzy inference system with numeric conversion, N-ANFIS)模型:将分类数据转化为数值数据(如1, 2, 3, {...}), 然后和数值输入一起导入标准的ANFIS网络中.
3) 带有频率转化的自适应模糊推理系统(Adaptive network-based fuzzy inference system with frequency conversion, F-ANFIS)模型:通过频率给分类数据赋值, 之后与数值输入导入ANFIS网络.
4) 分离多层感知机(Multi-layer perception with separation method, S-MLP)模型:是由Brouwer提出的混合属性数据预测模型, 分类数据经编码后与以数值数据做输入的MLP的输出作点乘, 产生预测输出.
5) C-ANFIS模型:是由Liu等提出的C-ANFIS混合属性数据预测模型, 其分类数据经激励强度转移矩阵作用到ANFIS结构上.
6) MDI-ANFIS模型:本文所提出的混合属性数据预测模型, 分类数据经激励强度转移矩阵和后件影响矩阵作用到ANFIS上.
对比实验选取UCI数据库中的Abalone、Boston Housing、Auto MPG、Servo、TAE、Zoo和Heart Disease数据集, 验证本文提出的算法对不同数据集的性能.
这里对ANFIS、N-ANFIS、F-ANFIS和C-ANFIS模型的结构辨识采用SC算法; 对MDI-ANFIS模型的结构辨识采用GDSC算法, 其初始参数设置为:邻域半径, 表示样本点$X_{k}$和$X_{r}$的高氏距离, 阈值$\varepsilon \text{ = }0.06$, 最大迭代次数$L = 100,$训练周期epoch = 50, 初始化步长step = 0.01, 惯性因子gamma = 0.75, 激励强度转移矩阵FTM和后件影响矩阵CIM初始化为0~1区间的随机矩阵.而S-MLP模型设置学习率deta = 0.001, 训练周期epoch = 1 000, 权值矩阵初始化为0~1区间的随机矩阵.
对比实验采用十折交叉验证, 选取均方根误差(Root mean squared error, RMSE)为模型预测误差的评价指标.
$ \begin{equation} RMSE = \sqrt {\frac{1}{K}\sum\limits_{k = 1}^K {\left( {Y_k -\overline {Y}_k } \right)^2} } \end{equation} $
(27) 其中, $Y_k $为第$k$个样本点的预测输出值, 为第$k$个样本点的期望输出值, $K$为样本点总数.
实验过程, 记录每次测试集的RMSE, 然后对十次测试得到的RMSE求其平均值, 以此来判断模型对一种数据集的预测精度.
同时, 本文还通过误差降低率(Error reduction rate, ERR)对各模型进行比较, 其反映了各模型的RMSE相对原有模型下降的大小, 误差降低率定义为:
$ \begin{equation} ERR = \frac{RMSE_{\rm other} -RMSE_{\rm M }}{RMSE_{\rm other} } \end{equation} $
(28) 其中, RMSE$_{\rm M}$是MDI-ANFIS模型的预测误差, RMSE是本文对比的其他混合属性数据建模方法的预测误差.
表 4给出UCI数据库中7个数据集对应不同建模方法的预测误差以及误差降低率.通过几种建模方法的预测误差和误差降低率结果对比可以看出, 对于不同数据集本文所提出的MDI-ANFIS相对ANFIS、F-ANFIS、S-MLP和C-ANFIS具有相对较高的预测精度, 仅相对于N-ANFIS误差降低率较小.当对比7个数据集的误差降低率平均值时, N-ANFIS相对MDI-ANFIS高出0.203.
表 4 UCI数据集模型误差对比Table 4 Model error comparison on UCI dataset数据集 样本
个数混合属性
(N, C)预测误差 误差降低率 ANFIS N-ANFIS F-ANFIS S-MLP C-ANFIS MDI-ANFIS ANFIS N-ANFIS F-ANFIS S-MLP C-ANFIS Abalone 4 177 7, 1 2.608 1.842 1.997 3.985 2.632 1.951 0.336 -0.056 0.023 1.04 0.349 Boston
Housing506 11, 2 0.779 0.631 0.657 7.096 0.824 0.638 0.221 -0.011 0.029 10.1 0.291 Auto
MPG398 4, 3 2.072 0.912 0.871 6.969 0.963 0.605 2.42 0.507 0.439 10.5 0.591 Servo 167 2, 2 1.012 0.060 0.051 3.119 0.362 0.025 39.4 1.40 1.04 123 13.4 TAE 151 1, 4 2.972 0.196 0.385 0.849 0.192 0.225 12.2 -0.128 0.711 2.77 -0.146 Zoo 101 1, 15 1.276 0.062 0.059 2.542 0.126 0.072 16.7 -0.138 -0.181 34.3 0.750 Heart
Disease303 6, 7 0.255 0.073 0.062 1.483 0.108 0.086 1.96 -0.151 -0.279 16.2 0.255 平均值 - - 1.568 0.539 0.583 3.720 0.744 0.515 10.462 0.203 0.255 28.273 2.213 进一步我们对比N-ANFIS和MDI-ANFIS的计算时间复杂度, 这里我们假设$W$为训练周期, $K$为样本点个数, $n$为数值属性个数, $m$为分类属性个数, $L$为规则数, 则N-ANFIS和MDI-ANFIS的时间复杂度分别为和$\text{O}( W\times K\times n\times L^3 )$, 因此, 在输入是高维混合属性数据时, MDI-ANFIS的程序运行效率要高于N-ANFIS.
3. 结论
本文针对已有混合数据模型存在的模型组合随分类变量呈几何增长以及子模型训练数据分布不均匀问题, 提出一种具有混合数据输入的自适应模糊神经推理系统模型.该模型引入激励强度转移矩阵和后件影响矩阵, 构建新型模糊神经网络结构, 使混合属性数据对模糊规则的前后件同时产生影响.在模型的结构辨识中, 将高氏混合距离引入减法聚类, 计算混合型样本点的密度值, 克服了经典ANFIS网络仅适用于数值数据不适用分类数据的缺陷.在模型的参数学习中, 使用BP和LSE混合学习算法来训练前件参数、激励强度转移矩阵、后件参数以及后件影响矩阵.仿真实验验证了后件规则对模型的影响作用, 并验证了结构辨识中采用GDSC算法能够以更少的规则数达到模型精度要求.最后, 选取UCI数据库中7组数据进行对比实验, 结果表明所提出的具有混合数据输入的自适应模糊神经推理系统模型相比其他模型具有更高的预测精度.
-
表 1 MDI-ANFIS混合学习算法
Table 1 Hybrid learning algorithm of MDI-ANFIS
参数集 算法 Pc, Pi LSE Pt LSE Pp BP 
下载: 导出CSV
表 2 两种算法的平均规则后件影响和误差
Table 2 Average consequent influences and errors of two algorithms
组号 样本点个数 平均规则后件值 预测误差 C-ANFIS MDI-ANFIS C-ANFIS MDI-ANFIS 1 200 19.659 17.735 2.040 1.519 2 200 18.905 36.270 1.690 1.463 3 200 21.323 27.297 2.980 1.881 4 400 34.202 66.760 3.230 1.604 5 400 14.050 39.905 2.330 2.145 6 400 16.385 35.070 2.510 2.002 7 500 18.901 17.804 3.680 2.194 8 600 21.659 30.857 2.290 2.395 9 600 16.299 22.267 2.800 2.242 10 600 18.426 34.818 3.730 2.187 平均值 410 19.981 32.878 2.728 1.963
下载: 导出CSV
表 3 结构辨识性能对比
Table 3 Performance comparison of structure identification
组号 样本点个数 规则数 预测误差 SC GDSC SC GDSC 1 100 50 13 0.452 0.356 2 100 32 14 0.575 0.466 3 200 37 21 0.517 0.709 4 200 25 14 0.908 0.613 5 300 40 18 0.586 0.690 6 300 34 16 0.661 0.705 7 400 31 16 0.642 0.459 8 400 32 14 0.630 0.747 9 500 30 13 0.788 0.836 10 506 30 14 0.726 0.827 平均值 300 34 15 0.648 0.641
下载: 导出CSV
表 4 UCI数据集模型误差对比
Table 4 Model error comparison on UCI dataset
数据集 样本
个数混合属性
(N, C)预测误差 误差降低率 ANFIS N-ANFIS F-ANFIS S-MLP C-ANFIS MDI-ANFIS ANFIS N-ANFIS F-ANFIS S-MLP C-ANFIS Abalone 4 177 7, 1 2.608 1.842 1.997 3.985 2.632 1.951 0.336 -0.056 0.023 1.04 0.349 Boston
Housing506 11, 2 0.779 0.631 0.657 7.096 0.824 0.638 0.221 -0.011 0.029 10.1 0.291 Auto
MPG398 4, 3 2.072 0.912 0.871 6.969 0.963 0.605 2.42 0.507 0.439 10.5 0.591 Servo 167 2, 2 1.012 0.060 0.051 3.119 0.362 0.025 39.4 1.40 1.04 123 13.4 TAE 151 1, 4 2.972 0.196 0.385 0.849 0.192 0.225 12.2 -0.128 0.711 2.77 -0.146 Zoo 101 1, 15 1.276 0.062 0.059 2.542 0.126 0.072 16.7 -0.138 -0.181 34.3 0.750 Heart
Disease303 6, 7 0.255 0.073 0.062 1.483 0.108 0.086 1.96 -0.151 -0.279 16.2 0.255 平均值 - - 1.568 0.539 0.583 3.720 0.744 0.515 10.462 0.203 0.255 28.273 2.213
下载: 导出CSV
-
[1] Alexander F J, Hoisie A, Szalay A. Big data. Computing in Science & Engineering, 2011, 13(6):10-13 http://d.old.wanfangdata.com.cn/Periodical/dlxtzdh201601001 [2] Provost F, Fawcett T. Data science and its relationship to big data and data-driven decision making. Big Data, 2013, 1(1):51-59 https://www.ncbi.nlm.nih.gov/pubmed/27447038 [3] Wu X D, Zhu X Q, Wu G Q, Ding W. Data mining with big data. IEEE Transactions on Knowledge and Data Engineering, 2014, 26(1):97-107 doi: 10.1109/TKDE.2013.109 [4] 陈晋音, 何辉豪.基于密度的聚类中心自动确定的混合属性数据聚类算法研究.自动化学报, 2015, 41(10):1798-1813 http://www.aas.net.cn/CN/abstract/abstract18754.shtmlChen Jin-Yin, He Hui-Hao. Research on density-based clustering algorithm for mixed data with determine cluster centers automatically. Acta Automatica Sinica, 2015, 41(10):1798-1813 http://www.aas.net.cn/CN/abstract/abstract18754.shtml [5] Jacobs R A, Jordan M I, Nowlan S J, Hinton G E. Adaptive mixtures of local experts. Neural Computation, 1991, 3(1):79-87 doi: 10.1162-neco.1991.3.1.79/ [6] Lee K W, Lee T. Design of neural networks for multi-value regression. In:Proceedings of the 2001 International Joint Conference on Neural Networks. Washington DC, USA:IEEE, 2001. 93-98 http://d.old.wanfangdata.com.cn/OAPaper/oai_arXiv.org_0705.1309 [7] Brouwer R K. A feed-forward network for input that is both categorical and quantitative. Neural Networks, 2002, 15(7):881-890 doi: 10.1016/S0893-6080(02)00090-4 [8] Brouwer R K. A hybrid neural network for input that is both categorical and quantitative. International Journal of Intelligent Systems, 2004, 19(10):979-1001 doi: 10.1002/int.20032 [9] Rey-del-Castillo P, Cardeñosa J. Fuzzy min-max neural networks for categorical data:application to missing data imputation. Neural Computing and Applications, 2012, 21(6):1349-1362 doi: 10.1007/s00521-011-0574-x [10] Hsu C C. Generalizing self-organizing map for categorical data. IEEE Transactions on Neural Networks, 2006, 17(2):294-304 doi: 10.1109/TNN.2005.863415 [11] 张宇献, 彭辉灯, 王建辉.基于异构值差度量的SOM混合属性数据聚类算法.仪器仪表学报, 2016, 37(11):2555-2562 doi: 10.3969/j.issn.0254-3087.2016.11.019Zhang Yu-Xian, Peng Hui-Deng, Wang Jian-Hui. Self-organizing mapping clustering algorithm based on heterogeneous value difference metric for mixed attribute data. Chinese Journal of Scientific Instrument, 2016, 37(11):2555-2562 doi: 10.3969/j.issn.0254-3087.2016.11.019 [12] Liu M, Dong M Y, Wu C. A new ANFIS for parameter prediction with numeric and categorical inputs. IEEE Transactions on Automation Science and Engineering, 2010, 7(3):645-653 doi: 10.1109/TASE.2010.2045499 [13] Jang J S R. ANFIS:adaptive-network-based fuzzy inference system. IEEE Transactions on Systems, Man, and Cybernetics, 1993, 23(3):665-685 doi: 10.1109/21.256541 [14] Abdelrahim E M, Yahagi T. A new transformed input-domain ANFIS for highly nonlinear system modeling and prediction. In:Proceedings of the 2001 Canadian Conference on Electrical and Computer Engineering. Toronto, Canada:IEEE, 2001. 655-660 https://ieeexplore.ieee.org/document/933761 [15] Mar J, Lin F J. An ANFIS controller for the car-following collision prevention system. IEEE Transactions on Vehicular Technology, 2001, 50(4):1106-1113 doi: 10.1109/25.938584 [16] Lima C A M, Coelho A L V, Von Zuben F J. Fuzzy systems design via ensembles of ANFIS. In:Proceedings of the 2002 IEEE International Conference on Fuzzy Systems. Honolulu, USA:IEEE, 2002. 506-511 https://ieeexplore.ieee.org/document/1005042 [17] Paramasivam S, Arumugan R, Umamaheswari B, Vijayan S, Balamurugan S, Venkatesan G. Accurate rotor position estimation for switched reluctance motor using ANFIS. In:Proceedings of the 2001 Conference on Convergent Technologies for the Asia-Pacific Region. Bangalore, India:IEEE, 2003. 1493-1497 http://ieeexplore.ieee.org/xpls/icp.jsp?arnumber=1273168 [18] Lih W C, Bukkapatnam S T S, Rao P, Chandrasekharan N, Komanduri R. Adaptive neuro-fuzzy inference system modeling of MRR and WIWNU in CMP process with sparse experimental data. IEEE Transactions on Automation Science and Engineering, 2008, 5(1):71-83 doi: 10.1109/TASE.2007.911683 [19] Chiu S L. Fuzzy model identification based on cluster estimation. Journal of Intelligent and Fuzzy Systems:Applications in Engineering and Technology, 1994, 2(3):267-278 https://dl.acm.org/citation.cfm?id=2656640 [20] Tuerhong G, Kim S B. Gower distance-based multivariate control charts for a mixture of continuous and categorical variables. Expert Systems with Applications, 2014, 41(4):1701-1707 http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=efe4850a38e280a7baffd18ce342e4e3 [21] 曾珂, 张乃尧, 徐文立.线性T-S模糊系统作为通用逼近器的充分条件.自动化学报, 2001, 27(5):606-612 http://d.old.wanfangdata.com.cn/Periodical/zdhxb200105002Zeng Ke, Zhang Nai-Yao, Xu Wen-Li. Sufficient condition for linear T-S fuzzy systems as universal approximators. Acta Automatica Sinica, 2001, 27(5):606-612 http://d.old.wanfangdata.com.cn/Periodical/zdhxb200105002 [22] 刘慧林, 冯汝鹏, 胡瑞栋, 刘春华.模糊系统作为通用逼近器的10年历程.控制与决策, 2004, 19(4):367-371 doi: 10.3321/j.issn:1001-0920.2004.04.002Liu Hui-Lin, Feng Ru-Peng, Hu Rui-Dong, Liu Chun-Hua. Decennary development of fuzzy systems as universal approximators. Control and Decision, 2004, 19(4):367-371 doi: 10.3321/j.issn:1001-0920.2004.04.002 期刊类型引用(4)
1. 李占龙，张亚斌，张正，高山铁，李虹，郭北军. 工程车辆座椅悬架ANFIS控制策略研究. 机械强度. 2023(04): 785-792 . 
百度学术2. 徐博，李盛新，王连钊，王权达. 基于ANFIS的多AUV协同定位系统量测异常检测方法. 自动化学报. 2023(09): 1951-1966 . 本站查看3. 林伟锋. 基于深度挖掘的体检信息智能管存平台研究. 信息技术. 2023(10): 157-162 . 百度学术4. 李勇，韩非非，张昕喆. 基于自适应神经模糊推理算法的无人机电推进燃料电池供气系统性能优化. 推进技术. 2021(06): 1395-1409 . 百度学术其他类型引用(3)
-
下载:
计量
- 文章访问数: 2119
- HTML全文浏览量: 310
- PDF下载量: 118
- 被引次数: 7
