-
摘要: 模糊认知图(Fuzzy cognitive map, FCM)是建立在认知图和模糊集理论上的一类代表性的软计算理论, 兼具神经网络和模糊决策两者的优势, 已成功地应用于复杂系统建模和时间序列分析等众多领域. 学习权重矩阵是基于模糊认知图建模的首要任务, 是模糊认知图研究领域的焦点. 针对这一核心问题, 首先, 全面综述模糊认知图的基本理论框架, 系统地总结近年来模糊认知图的拓展模型. 其次, 归纳、总结和分析模糊认知图学习算法的最新研究进展, 对学习算法进行重新定义和划分, 深度阐述各类学习算法的时间复杂度和优缺点. 然后, 对比分析各类学习算法在不同科学领域的应用特点以及现有的模糊认知图建模软件工具. 最后, 讨论学习算法未来潜在的研究方向和发展趋势.Abstract: Fuzzy cognitive maps (FCM) are a representative soft computing theory based on cognitive maps and fuzzy set theory. They combine the advantages of both neural networks and fuzzy decision-making and have been successfully applied in many fields, including complex system modeling and time series analysis. Learning the weight matrix is the primary task of modeling based on fuzzy cognitive maps and is the focus of research in this field. To address this core issue, we first comprehensively review the basic theoretical framework of fuzzy cognitive maps and systematically summarize the extended models developed in recent years. Next, the most recent advancements in fuzzy cognitive map learning algorithms are reviewed, analyzed, and summarized. The algorithms are redefined and categorized, with a detailed exploration of their time complexity, strengths, and weaknesses. Additionally, the application properties of various learning algorithms in various scientific domains are also compared and analyzed in this research, along with the software tools that are now available for creating fuzzy cognitive maps. Finally, potential research directions and development trends for learning algorithms are discussed.
-
模糊认知图(Fuzzy cognitive map, FCM)作为一种强有力的软计算方法, 兼具神经网络和模糊逻辑的优势, 是不确定性人工智能理论核心工具之一[1–4]. 由于FCM在抽象性、灵活性、适应性、可解释性和模糊推理等方面的优势, 目前已广泛应用于众多领域, 如时间序列分析[5]、决策支持[6–8]、模式识别[9]、医疗诊断[10–12]等.
从拓扑结构上来看, FCM是表示因果关系的模糊有向图, 图中的节点可以表示真实世界中的概念(事件、动作、值、目标等), 加权边则表示概念节点之间的因果连接. 从功能上来看, FCM 是模糊逻辑和神经网络结合而来的产物, 具有知识表示和模糊推理的优势. FCM通过强调结构化的因果关系, 观测概念节点随时间的演化状态, 以一种接近人类认知的方式建模高度非线性系统中的不确定性. 更准确地说, FCM 可以通过对原始观测数据的学习与挖掘, 抽象出更高级的数据表示和演化模式, 模拟特定场景, 支持决策过程和预测模拟系统的未来状态, 为复杂系统的静态和动态分析提供必要的手段. FCM通常具有如下特点:
1)对不确定和不完全信息的强大的语义表示和解释能力;
2)概念间的动态的、可组合的、可调的和潜在的表示关系的捕获能力[13];
3)面向复杂系统和时间序列分析等不确定性人工智能模型的建模能力[4].
FCM在给定初始状态向量和初始权重矩阵的情况下, 能够模拟复杂动态系统随时间的演化过程或状态, 从而为因果“假设”问题提供直接的推理结果. 然而, 推理结果的稳健性和准确性高度依赖于给定FCM的权重矩阵. 因此, FCM的权重矩阵学习问题是FCM理论和应用研究的焦点之一. 早期从学习范式的角度, 权重矩阵学习方法主要分为赫布(Hebbian)学习算法、进化学习算法以及混合学习算法[14]. 在上述学习算法分类基础上, Stach等[15]梳理和总结2012年之前的研究工作, 将其分为基于专家的方法和计算方法. Felix等[16]在2019年总结和分析FCM在学习算法方面的研究成果, 其分类模式类似于早期基于学习范式的分类. 2020年, Shen等[17]从专家和数据驱动的角度概述近期的一系列从不同角度提出的FCM学习算法.
以上文献从不同角度归纳和总结FCM的相关研究工作, 但目前缺乏对FCM变体及其最新研究进展的学术文献. 为更全面地掌握FCM的发展现状及其面临的挑战, 本文重点梳理、归纳和总结其近年来的研究成果, 为开展相关理论和应用研究提供支持. 从理论和应用角度而言, FCM研究框架如图1 所示. 本文的主要贡献概括如下:
1)系统总结FCM的拓展模型, 比较分析各类模型的特点及优缺点.
2)依据FCM现有学习范式, 将FCM学习算法划分为3类: 专家知识驱动的学习算法、自动学习算法和半自动学习算法. 归纳总结每类算法的时间复杂度及优缺点. 此外, 本文从图节点规模的角度, 讨论不同规模下的学习算法.
3)从FCM学习算法分类的角度, 总结各类算法的应用场景.
4)系统地归纳和总结用于实施、测试和验证FCM建模性能的软件工具.
5)讨论当前FCM学习算法及应用研究面临的挑战以及未来的发展方向.
本文的结构安排如下: 第1节回顾FCM的基本理论和概念; 第2节系统地阐述FCM的学习算法, 并对各类算法的原理、特点、优缺点及发展现状进行了深入讨论和分析; 第3节给出FCM学习算法的相关应用场景, 并对应用研究进行分类总结; 第4节总结目前现有的FCM建模工具; 第5节给出FCM学习算法的未来发展趋势.
1. 模糊认知图
FCM是一种融合模糊逻辑和神经网络的概念推理图, 提供一种灵活、强有力的框架来表示人类知识和推理. 与传统的专家系统相比, FCM能够明确地描述“If-Then”规则, 利用概念推理图实现复杂系统的静态和动态分析, 具有两类显著特征[3]:
1) FCM可表示节点间更为灵活的因果关系;
2) FCM推理过程具有动态性和反馈性, 导致其面临时间复杂度高的挑战.
下面从FCM的拓扑结构、推理机制、转换函数和结构拓展4个方面展开详细介绍.
1.1 拓扑结构
FCM是一个4元组 $ (C, W, A, f) $. $ C=\{C_1, C_2, \cdots, C_N\} $表示图的$ N $个概念(节点). $ W: C\times C \rightarrow [-1, 1] $, 表示概念节点之间的因果权重矩阵. $ w_{ij} $表示节点$ C_i $对节点$ C_j $的影响程度. 状态向量$ A: C\rightarrow A_i^{(t)} $表示每个概念节点$ C_i $在每个离散时间点$ t\; (t\in\{1, 2, \cdots, T\}) $的激活程度, $ A_i^{(t)}\in {\bf{R}} $. 最后, 转换函数(传递函数)$ f: {\bf{R}} \rightarrow I $将多个因果事件对目标概念的影响聚合起来, 并将结果映射到预定义的取值区间. 图2 是一个6节点模糊认知图及其权重矩阵.
节点$ C_i $和节点$ C_j $的因果权重解释如下:
1)如果$ w_{ij}> 0 $, 则表示概念节点$ C_i $对$ C_j $产生积极的影响, 节点$ C_j $的值会随着$ C_i $值增加(减少)而增加(减少);
2)如果$ w_{ij}< 0 $, 则表示概念节点$ C_i $对$ C_j $产生消极的影响, 节点$ C_j $的值随着$ C_i $值增加(减少)而减少(增加);
3)如果$ w_{ij}=0 $, 则表示概念节点$ C_i $和节点$ C_j $之间不存在因果关系.
1.2 推理机制
推理机制是指从已知的事实和规则中推导出新结论的过程. 在FCM中, 推理规则(激活规则)用一种简单而直观的方式来描述模糊概念之间的关系, 并支持基于这些关系推理出新的知识, 帮助人们解决各种模糊性和不确定性的问题. 从本质上来看, FCM的推理过程是一个“What-If”问题的回答过程[18]. 对于一个输入到FCM 中的状态向量, 等价于生成这样一个问答事件, 即如果该事件(输入这个状态向量)发生, 将会产生什么样的影响. 输出则为这个状态向量更新后的值即对该问题的回答, 而做出这个回答的过程即为推理过程. 如图3所示, FCM的推理是用前向节点对后向节点的递推作用实现推理. 节点在$ t+1 $时刻的状态值由权重矩阵和$ t $时刻迭代后所有概念节点的状态向量决定. 整个推理过程体现FCM的动态特性, 反映系统的演化过程, 且随着时间的推移FCM能够对系统的状态进行实时建模和更新. 在实际工程应用中, 推理规则的选择取决于问题本身, 并且通常需要对所研究的模拟系统有深入的了解. 下面将介绍一些典型的模糊认知图推理规则.
式 (1) 描述FCM的Koskos激活规则[3], 目前广泛应用于基于FCM 的相关方法中. FCM 根据Koskos激活规则不断地迭代重复, 在每个离散时间步上生成一个包含所有概念的状态向量, 直到满足停止条件. 该激活规则定义为
$$ A_i^{\left(t+1\right)}=f\left(\sum\limits_{j=1, j\neq i}^{N} w_{ji}A_j^{\left(t\right)}\right) $$ (1) 其中, $ A^{(0)} $表示概念节点的初始状态(激活向量), $ w_{ji} $为概念$ C_j $和节点$ C_i $之间因果关系的值, $ A_i^{(t+1)} $为概念$ C_i $在第$ t+1 $时刻的激活值. $ f $为转换函数, 一般为sigmoid函数, 其作用是将概念的状态值约束在范围[0, 1].
Stylios等[19]对Koskos激活规则做出修正, 删除Koskos激活规则中$ i \neq j $的约束. 当前概念节点除了考虑其对应的因果权重及来自其他概念节点的激活值外, 还受其自身过去状态值的影响. 当更新不受其他概念影响的节点时, 改进后的推理机制更能体现FCM的特性. 式 (2) 给出该规则的数学描述, 即
$$ A_i^{\left(t+1\right)}=f\left(\sum\limits_{j=1, j\neq i}^{N} w_{ji}A_j^{\left(t\right)}+A_i^{\left(t\right)}\right) $$ (2) Papageorgiou[20]在式 (2) 的基础上, 在转换函数中引入适当的参数设置, 解决在没有概念节点的初始状态信息的情况下如何进行后续状态演化的问题. 推理规则描述如下:
$$ A_i^{\left(t+1\right)}=f\left(\sum\limits_{j=1, j\neq i}^{N} w_{ji}(2A_{j}^{(t)})+2A_i^{(t-1)}\right) $$ (3) Nápoles等[21]提出拟非线性推理规则(Quasi nonlinear reasoning rule, QNRR), 利用类似标准化的传递函数防止神经元饱和. 在每次迭代中更新神经元的激活值时, 可以很容易地通过调节非线性程度来控制它. 此外, 基于该推理机制的FCM 模型能够量化结构化数据集中的隐式偏差, 即
$$ A_i^{\left(t+1\right)}=\phi f\left(\sum\limits_{j=1}^{N}A_{j}^{(t)}w_{ji}\right)+(1-\phi)A_i^{(0)}, \phi \in (0, 1) $$ (4) FCM根据推理机制不断地迭代更新复杂系统中概念节点的状态向量, 直到其收敛于一个定点吸引子或达到最大迭代次数. 前者意味着节点状态达到一个平衡状态. 而后者则表明, FCM 是不稳定的且输出处于有限循环或者完全混乱的状态. 以上状态的数学描述如下:
1) 定点. $(\exists t_\alpha \in \{1, 2, \cdots, T-1\}: A^{(t+1)}= A^{(t)}, \forall t \geq t_\alpha)$: 在$ t_\alpha $次迭代后, FCM 生成相同的状态向量, 即$ A^{t_\alpha}=A^{t_\alpha+1}=A^{t_\alpha+2}=\cdots=A^{t} $.
2) 有限环. $(\exists t_\alpha, P\; \in \;\{1, 2, \cdots, T-1\}: A^{(t+P)} = A^{(t)}, \forall t \geq t_\alpha)$: 在$ t_\alpha $次迭代后, FCM 定期产生相同的状态向量. 表明$A^{t_\alpha}=A^{t_\alpha+P}=A^{t_\alpha+2P} = \cdots=A^{t_\alpha +jP}$, 其中, $ t_\alpha +jP \leq T $ 且 $ j \in \{1, 2, \cdots, $ $ T-1\} $.
3)混沌状态. FCM在后续迭代过程中继续产生不同的状态向量. 表明此时系统并没有处于一个稳定的状态或者循环稳定的状态.
FCM最终的收敛状态反映状态演化趋势和图的推理性能. 因此, 对FCM的动力学特性和稳定性问题的探讨具有十分重要的研究意义. 研究者提出广义模糊认知图(Generalised fuzzy cognitive maps, GFCM)[22]用于解决FCM 中原因和结果之间的时间差而产生的滞后问题. 研究表明, 包含时间滞后的GFCM能够提高FCM对复杂系统动力学定量建模手段的可靠性. $ k $值模糊认知图$( k $-valued fuzzy cognitive maps, $ k $-valued FCM)[23] 在广义模糊认知图的基础上进行时间上的扩展, 利用半张量乘积建立带控制的数学表示, 并提出控制依赖网络过渡矩阵的广义公式. 2021 年, Harmati 等[24]证明FCM 达到全局渐进稳定性的新条件, 即从每个初始向量迭代到相同点的条件. 如果模型是全局渐进稳定的, 则定点是唯一的, 即FCM 的每个初始状态都将收敛到这个点. 然而, 并不是对于所有的FCM 模型, 全局稳定都是必要的. 对于一些复杂的FCM应用场景, 收敛到多个定点可能是最佳选择. 因此, 在这两种情况下应该根据实际场景优先考虑或避免对应的参数集, 以使FCM达到最佳平衡状态. 此外, FCM模型中传递函数的动态行为决定FCM模型在可行激活空间的覆盖和接近度, 对其最终的收敛状态同样具有重要影响. 因为, 任何配备传递函数的FCM模型的状态空间都会无限缩小, 且不能保证FCM 收敛到一个定点, 而是收敛到其极限状态空间[25].
综上, 选择合适的概念节点和推理规则是FCM建模动态系统的一个关键因素. 这些因素都会影响网络产生有意义和准确结果的能力. 因此, 在FCM建模过程中根据系统的特性、拟解决问题的需求、模型的应用场景等, 有反馈的进行特征提取, 构建合理的推理规则具有重要研究意义.
1.3 转换函数
转换函数的选择对FCM建模的准确性至关重要. 常见的转换函数主要有二值函数、三值函数、双曲正切函数和$ \rm sigmoid $函数. 其表达形式如下所述.
1)二值函数. 离散函数, 仅产生两种状态的响应. 被二值函数激活的FCM将收敛到一个定点吸引子或进入有限环模式, 即
$$ f(x)= \left\{ \begin{aligned} & 0, \; \; x \leq 0\\ & 1, \; \; x > 0 \end{aligned} \right. $$ (5) 2)三值函数. 离散函数, 能够产生有限数目的状态响应. 与二值函数类似, 三值函数同样收敛于一个定点吸引子或者进入有限环模式. 二值函数和三值函数的缺点均在于表示能力有限.
$$ \begin{array}{l} f(x)= \left\{ \begin{aligned} & -1, & & x \leq -0.5\\ & 0,& & -0.5 < x < 0.5\\ & 1, & & x \geq 0.5 \end{aligned} \right. \end{array} $$ (6) 3)双曲正切函数. 连续函数, 能产生无限个自由分布在$ {[0, 1]}^N $超立方体的状态. 可用于定性和定量场景建模.
$$ f(x) = \frac{\mathrm{e}^{2x}-1}{\mathrm{e}^{2x}+1} $$ (7) 4) $ \rm sigmoid $函数. 连续函数, 能产生无限个不同的状态, 这些状态在$ {[0, 1]}^N $超立方体中自由分布[16]. 在$ \rm sigmoid $函数中, $ \lambda> 0 $, 用来控制函数的斜率. $ \lambda $值越高, 坡度越陡峭, $ x $的波动更加敏感. 因此, 随着激活值的增大, 导数也随之增大.
$$ f(x) = \frac{1}{1 + \mathrm{e}^{-\lambda x}} $$ (8) Bueno等[26]基于相同的决策模型对比分析了FCM中的各类激活函数的推理性能, 证明sigmoid函数功能比其他函数具有更大的优势. 因此, 与其他函数相比, $ \rm sigmoid $函数的使用范围更广泛.
1.4 结构拓展
FCM在将近40年的发展历程中, 已经成功地应用于众多领域. 但随着信息社会的蓬勃发展, 经典FCM仍面临以下局限性[27]:
1) FCM模型未考虑概念之间交互的时间滞后性;
2) FCM不能表示多语义(灰色)环境, 难以处理概念之间多对一的语义映射关系;
3) FCM未能准确地表征不确定的信息;
4) FCM未能有效地描述概念间复杂因果关系;
5) FCM未考虑现实应用问题存在的长期时间依赖性;
6) FCM未能有效地解决状态的随机动态性;
7) FCM及其变体缺乏多图有效集成方法.
以上局限性导致FCM在某些特定领域中无法实现有效建模. FCM的扩展旨在增强其在复杂系统建模时的灵活性以及对环境的适应性. 已有的扩展认知图在知识表示、不确定性建模、动态性等方面做出有效的改进. 根据模型应用领域环境的不同, 本文将拓展认知图模型分为以下两类:
第1类是基于不同模糊理论提出的一系列拓展认知图模型, 代表性的模型归纳如下.
1)基于规则的模糊认知图(Rule-based fuzzy cognitive maps, RBFCM)[28]. RBFCM基于模糊累积算子在定性挖掘模糊因果关系的同时保持FCM 的多功能性和简单性. 该模型涵盖多种概念关系(因果、推断、选择、概率、相反、连接等), 以处理动态系统的复杂性. 此外, RBFCM 利用隐含时间和时间延迟等重要概念, 保证建模系统时的时间细节被模拟, 以形成完整的认知表示关系.
2)模糊灰色认知图(Fuzzy grey cognitive maps, FGCM)[29]. FGCM 基于灰色系统理论处理多语义(灰色)环境下的复杂系统建模问题, 利用不精确的概念表示因果关系, 以及概念之间的灰色加权关系来表示非结构化知识. 该模型中因果关系的强度由灰色数来衡量(灰色数指已知数值取值范围但是准确值未知), 以信息粒的形式表示关系权重, 相比传统的FCM 更能表达概念之间不明确的关系和不完整的信息, 容忍专家对判断的不确定性.
3)直觉模糊认知图(Intuitionistic fuzzy cognitive maps, IFCM)[30]. IFCM考虑专家在描述概念之间关系时的犹豫程度, 引入直觉模糊集加强直觉推理, 提高FCM的适应性. 直觉模糊集作为模糊集的一种拓展形式, 将隶属度和非隶属度推广为隶属度、非隶属度和犹豫度, 更准确地衡量节点间因果关系的不确定程度.
4)区间值模糊认知图(Interval-valued fuzzy cognitive maps, IVFCM)[31]. IVFCM考虑非结构化环境相关的不确定性、语言的不确定性、专家之间的分歧或数据中的噪声, 在概念及其因果关系的设计中提供理想的额外自由度, 最大限度地减少上述不确定性的影响, 使决策者能够对高度复杂的业务决策制定问题进行建模.
5)证据认知图(Evidential cognitive maps, ECM)[32]. ECM通过结合认知图和Dempster-Shafer证据理论来表示因果推理. 不仅保留表示不确定性的能力, 而且有助于聚合来自不同来源(专家)的知识.
6)粗糙认知网络(Rough cognitive networks, RCN)[33]. RCN 以粗糙集为基础构建因果关系的信息粒表示, 解决不确定(由不一致引起)情况下的决策问题. 该模型不像以往的方法根据可能的决策类对新实例进行分类, 而是尝试计算每个决策的偏好程度. 在决策者必须评估额外的外部因素(如成本、可靠性、可用性等)的决策场景中更能凸显出模型的优越性.
7)灰色粗糙认知网络(Fuzzy-rough cognitive networks, FRCN)[34]. FRCN 利用递归神经网络将属性空间转化为模糊粗糙空间. 可用信息首先被划分为具有软边界的信息粒. 然后, 使用所得的模糊粗糙结构来构建神经网络. 与RCN模型相似, 输入神经元表示正或负的模糊粗糙区域, 而输出神经元则包括针对当前问题的决策类. 值得注意的是, 在初步模拟过程中, 将模糊粗糙边界区域纳入模型并不能显著地提高分类器的辨别能力. 因为在脆性粗糙的环境中, 与来自模糊粗糙粒子的证据相比, 犹豫的证据更具有决定性.
8)基于$ z $切片的二型模糊认知图(Fuzzy cognitive maps of type 2 fuzzy sets based on z slices, zT2FSs-FCM)[35]. 在不确定数据存在的情况下, 传统FCM 依赖于一型模糊集, 建模和推理能力受到限制. zT2FSs-FCM 使用基于$ z $切片的二型模糊集来建模连接FCM概念的不确定权重, 同时引入一种新的推理算法, 扩展FCM的能力, 以捕捉模型化概念之间更大的不确定性. 此外, 算法在推理过程结束时实现FCM取值的去模糊化, 尽可能地保留值的不确定性.
第2类是针对复杂系统动态性[36]提出的一系列拓展认知图, 归纳如下:
1)动态认知网络(Dynamic cognitive network, DCN)[37]. 该模型通过量化概念和引入非线性动态函数来改进FCM, 定义概念之间的动态因果关系, 支持与时间相关的特性, 能够处理复杂的动态因果系统. 每个DCN中的概念都有自己的值集且取决于它在网络中需要描述的精确程度. 在结构上, DCN比FCM具有更强的可扩展性和灵活性.但是, 由于DCN依赖于拉普拉斯框架来描述因果关系. 模糊知识与拉普拉斯函数之间的转换给系统设计者带来更多的建模工作. 因此, 后续研究在此基础上通过简化DCN, 进一步扩展建模FCM的功能[38].
2)动态随机模糊认知图(Dynamic random fuzzy cognitive maps, DRFCM)[39]. DRFCM通过量化概念激活的概率并在推理过程中加入非线性动态函数来改进FCM. DRFCM的贡献集中在学习动态因果关系上. 在FCM运行期间, 根据因果模型中的反馈机制, 边的值被更新以适应新的条件. 因此, DRFCM可以像现实生活中以问题驱动的模型一样在线适应程序.
3)模糊时间认知图(Fuzzy time cognitive maps, FTCM)[40]. FTCM 是在FCM的基础上考虑节点关系中的时间性. 该模型建立一个突触前节点对突触后节点影响的延迟模型, 每条边都有两种相对权重: 强度和时间滞后. FTCM和FCM模型动态结果分析说明FTCM 可以根据时间的推移来分析系统的行为.
4)进化模糊认知图(Evolutionary fuzzy cognitive maps, E-FCM)[41]. 该模型采用检查机制模拟动态复杂的因果相关的环境变量, 将每个时间状态建模为概念值的集合. 概念状态则取决于其内部状态、外部分配以及实时演变的外部因果关系. 此外, E-FCM针对每个概念节点设置对应的更新时间表, 概念节点以变异概率异步更新其内部状态, 以便它们能以动态和随机的方式演变. E-FCM 使上下文概念的自我变异成为不断发展的行为, 反映不同概念之间的现实世界关系.
5)高阶模糊认知图(Higher-order fuzzy cognitive maps, HFCM)[42]. FCM 的一阶动态性限制其对复杂系统建模的能力, 尤其是对于一些不能用模型准确描述的系统. 因为在这些模型中, 当前的状态只根据先前的状态来计算. HFCM将FCM拓展到多阶动态, 提高建模能力.
6)基于时间自动机的模糊认知图(Time automara-based fuzzy cognitive maps, TAFCM)[43]. TAFCM引入定时自动机理论使FCM能够有效地应对双层的时间粒度, 通过扩展B-Time 的标准思想, 提供检查技术来评估设计框架的认知能力. 一个FCM 只是代表一个认知系统的静态视图, TAFCM利用一个能够转换认知结构的操作符集合构建认知/动态模型. 通过遵循添加/删除概念和因果关系的规则, 以及放大/缩小因果关系的强度和系统概念的水平, 来改变特定代理的FCM的认知配置.
7)深度模糊认知图(Deep fuzzy cognitive maps, DFCM)[44]. DFCM 将深度神经网络模型在高性能预测方面的优势引入到可解释性FCM框架中, 利用全连接神经网络来建模系统概念之间的非线性和非单调影响, 引入循环神经网络(Recurrent neural network, RNN) 来建模对系统动力学具有潜在影响的未知外生因素. DFCM 在时间序列预测方面比基本FCM具有更大的功效.
8)自适应模糊认知图(Adaptive fuzzy cognitive maps, AFCM)[45]. 在原始的基于FCM的预测模型中, 概念之间的因果关系在整个数据集的训练过程中保持不变, 但在现实中, 这种因果关系可能会随着概念的状态而改变. AFCM 利用粒计算方法建立具有时变性的因果关系来预测不同状态的概念, 预测时间序列的总体趋势、波动幅度和趋势持续性, 大幅降低累积误差.
表1归纳总结以上两类拓展认知图的特点和应用领域. 可以看出, 虽然现有的拓展认知图利用灰色数、直觉模糊集、区间模糊集等信息粒建模节点间的因果关系, 一定程度上捕获信息的不确定性, 但由于当前大数据时代背景下的数据往往呈现多源、多模态、非线性、非平稳性、噪声等特征, 如何改进图结构, 合理有效地表示这些信息中所包含的知识, 仍然是目前FCM 研究面临的主要挑战. 此外, 由于FCM的网络结构和单层神经网络类似, 非线性映射能力有限, 如何从理论层面扩展其网络结构, 克服其局限性, 提升知识表示和推理能力同样是值得探究的研究方向.
表 1 拓展认知图模型对比Table 1 Comparison of extension cognitive map models类别 名称 特点 优点 缺点 应用领域 基于不同
模糊理论
的拓展
认知图RBFCM[28] 引入模糊进位累加器计算因果权重 涵盖多种概念关系并具有
多功能性和简单性建模要求高 决策支持 FGCM[29] 引入灰色数衡量因果强度 建模概念之间的不确定信息 推理复杂 可靠性工程 IFCM[30] 利用直觉模糊集建模因果关系 衡量了因果关系中的不确定性 推理复杂 时间序列预测 IVFCM[31] 利用区间值描述因果关系的强度 考虑了非结构化环境相关的不确定性 依赖专家知识 决策支持, 时间序列
预测模型ECM[32] 在因果推理中融入了证据理论 既能表示不确定性又能进行知识融合 依赖专家知识,
推理复杂决策支持 RCN[33] 利用粗糙集表示因果关系 解决了不确定情况下的决策问题 依赖专家知识 决策支持软件,
可靠性评估FRCN[34] 利用模糊粗糙结构构建神经网络 建模了因果关系的不确定性 推理复杂 决策支持 zT2FSs-FCM[35] 引入二型模糊集建模节点间的
因果权重捕获了概念间的不确定性关系 推理复杂 系统评估 面向动态
系统建模
的拓展
认知图DCN[37] 考虑了因果关系的时变性 结构上具有更高的可扩展性和灵活性 依赖拉普拉斯框架,
建模复杂度高决策支持 DRFCM[39] 推理过程中引入非线性动态函数 能够捕获动态因果关系,
具有自适应性建模要求高 风险评估, 决策支持 FTCM[40] 考虑了因果关系强度和时间滞后性 能够随时间推移分析系统的动态行为 建模复杂 时间序列预测 E-FCM[41] 采用检查机制模拟动态因果关系 能够自我进化适应不断发展的行为 计算耗时 动态场景建模 HFCM[42] 考虑了复杂系统建模过程中的
多阶动态性准确地描述了系统行为 随着阶数增加,
计算复杂度增加时间序列预测 TAFCM[43] 引入了定时自动机理论建模
系统的时间粒度推理过程具有动态性和自适应性 建模要求高 人类情绪建模 DFCM[44] 嵌入在深度神经网络的框架中 构建可解释预测器, 挖掘隐藏的
因果关系训练耗时, 容易面临
“数据饥饿”问题时间序列预测 AFCM[45] 构建基于趋势的信息粒引入
自适应更新机制自适应权重长期预测 计算耗时 时间序列预测 2. 学习算法分类
FCM的学习目标是选择一个能精确描述节点因果关联关系的权重矩阵. 学习算法可以像神经网络的突触一样调整概念之间的连接强度(权重). 根据学习范式(知识类型)的不同, 本文将学习算法归纳为3类: 专家知识驱动的学习算法、自动学习算法和半自动学习算法. 此外, 从图规模的角度, 提出一种学习算法分类方式.
2.1 专家知识驱动的学习算法
专家知识驱动的学习算法是一种无监督学习算法, 基于Hebbian规则[46] 自适应地学习专家知识生成的FCM 权重矩阵, 促使FCM收敛到给定的决策状态或特定目标问题的可接受区域. 图4 给出专家知识驱动的学习算法的基本流程. 首先, 由领域专家根据经验和专业知识给出初始权重矩阵. 其次, 输入初始状态向量并根据式 (1) 计算该状态向量下一时刻的取值. 然后, 依据基于Hebbian规则的专家知识驱动学习算法更新FCM 权重矩阵. 最后, 判断当前状态是否满足预定义的终止条件来确定是否进行上述过程的迭代, 最后得到目标权重矩阵.
图 4 专家知识驱动的学习算法的基本流程Fig. 4 The basic process of expert knowledge-driven learning algorithms微分Hebbian学习算法(Differential Hebbian learning, DHL)[47] 是由Dickerson等最早提出的一种专家知识驱动的学习算法. DHL算法假设, 如果原因概念$ C_i $和结果概念$ C_j $同时改变激活值, 则这两个概念连接边上的权重就会增加. 否则, 因果关系不会在该次迭代中被修改. 式(9) 是该算法的权重更新规则, $ \Delta A^{(t)}_i =A^{(t)}_i - A^{(t-1)}_i $, $ A^{(t)}_i $表示概念$ C_i $在第$ t $次迭代时的激活值, 参数$ \eta_t $表示学习率, 是一个非常小的非负学习因子, 在每次迭代时利用实验试错法调整.
$$ \begin{split} & w_{ij}^{(t+1)}= \\ & \; \; \; \; \left\{ \begin{aligned} & w_{ij}^{(t)} + \eta_t (\Delta A_i^{(t)} \Delta A_j^{(t)}-w_{ij}^{(t)}), & & \Delta A_i^{(t)} \ne 0\\ & w_{ij}^{(t)}, & & \Delta A_i^{(t)} = 0 \end{aligned} \right. \end{split} $$ (9) 在DHL学习过程中, 权重值会迭代更新, 直到找到符合条件的权重矩阵. 然而该方法在每一次权重更新时只考虑当前两个概念, 忽略了其他概念对当前概念产生的影响.
平衡微分算法(Balanced differential algorithm, BDA)[48]是一种改进的DHL 学习算法, 在权重更新的同时改变所有的概念值, 消除DHL方法的局限性. 具体来说, 该方法考虑在同一时间步长内产生的具有相同方向性的所有概念的变化. 权重更新规则表示如下:
$$ \begin{array}{l} w_{ij}^{(t+1)}= \left\{ \begin{aligned} & w_{ij}^{(t)} + \eta_t \Biggr[\frac{\Delta A_i^{(t)} \Delta A_j^{(t)}}{\sum\limits_{k=1}^m \Delta A_i^{(t)} \Delta A_j^{(t)}}\;- \\ & \; \;\; \; \; \; \; \; \; w_{ij}^{(t)}\Biggr],\quad \Delta A_i^{(t)}\Delta A_j^{(t)} > 0\\ & w_{ij}^{(t)} + \eta_t \Biggr[\frac{-\Delta A_i^{(t)} \Delta A_j^{(t)}}{\sum\limits_{k=1}^m \Delta A_i^{(t)} \Delta A_j^{(t)}}\;- \\ & \; \; \;\; \; \; \; \; \; w_{ij}^{(t)}\Biggr], \quad\Delta A_i^{(t)}\Delta A_j^{(t)} \leq 0 \end{aligned} \right. \end{array} $$ (10) 但是由于其更改后的结构限制, BDA只适用于二进制编码的模式识别问题, 无法广泛应用.
Papageorgiou等[49]提出激活Hebbian学习算法 (Active Hebbian learning, AHL), 利用人工干预来修改每个迭代步骤的所有权值, 并通过保持Hebbian规则的主要原则来确定激活概念的序列.所需的概念、概念的初始结构和相互连接, 以及激活概念的顺序都是由专家确定的. 与仅更新非零权重的算法不同, 在AHL 方法中所有权重(与自连接相关的权重除外)都会被更新. 式(11) 是AHL 的权重更新规则, $ \hat A_j^{(t)} $表示第$ j $个概念的激活值, $ \gamma^{(t)} $是第$ t $次迭代的衰减权重. 随着时间的推移, 权重衰减和学习率都呈指数下降趋势.
$$ \begin{array}{l} w_{ij}^{(t+1)} = \left[1-\gamma^{(t)} \right]w_{ij}^{(t)}+\eta_{t}A_i^{(t)}\left[A_j^{(t)}-w_{ij}^{(t)}\hat A_j^{(t)}\right] \end{array} $$ (11) 非线性Hebbian学习算法(Non-linear Hebbian learning, NHL)[50] 进一步对基本Hebbian 规则进行扩展. NHL方法需要专家进行初步的干预, 如输入和输出概念的确定, 概念取值范围的说明以及每条加权边的符号表示. 引入这3个特征是为了在保留初始符号的同时, 更新相应的连接权重. 在NHL 学习过程中, 保留最初由专家设定的图形结构, 使得最终学习到的FCM 保持合理的物理解释. NHL的权重更新规则如式(12) 所示
$$ \begin{array}{l} w_{ij}^{(t+1)} = w_{ij}^{(t)}+\eta_t A_j^{(t)}\left[A_i^{(t)}- A_j^{(t)}w_{ij}^{(t)}\right] \end{array} $$ (12) 当满足以下两个标准, 权重停止更新: 1)已达到与预定义满意解足够接近的解决方案; 2) 收敛到稳定状态(定点). NHL方法不涉及计算量大的操作, 因此其优势在于速度快. 但是对专家标准的依赖仍然是该算法的主要缺点.
Li等[51]提出改进后的NHL算法(Improved nonlinear Hebbian learning, INHL), 在更新规则中添加一个称为脉冲的术语, 以避免陷入误差表面平稳区域的局部最小值. 式(13) 是改进后的更新规则.
$$ \begin{split} w_{ij}^{(t+1)} =\; & \alpha^{(t+1)}\Delta w_{ij}^{(t)}+\eta_{t+1}\left(z^{(2t)}\right)\times\\ \\ &\left[1-z^{(t)}\right]\left[A_j^{(t)}- A_i^{(t)}w_{ij}^{(t)}\right] \end{split} $$ (13) 其中, $ \alpha \in (0, 1] $表示误差下降表面时的加速度, 且
$$ z^{(t)} = \frac{1}{1+\mathrm{e}^{-A_i^{(t)}}} $$ (14) 数据驱动的非线性Hebbian学习算法(Data-driven non-linear Hebbian learning, DDNHL)[52] 与NHL 的学习原理相同, 但其基于历史观测数据来提高学习质量. 与NHL 方法相比, 如果有历史数据可用, DDNHL 方法能够生成更好的FCM模型. 带终端约束的NHL 算法[53] 将系统反馈引入到权值迭代过程中, 使权值的迭代有监督地向系统真实值不断靠近, 以此提高学习质量. Carvalho 等[54]基于模糊布尔网络(Fuzzy Boolean nets, FBN) 的学习和推理能力更新FCM权重矩阵. 由于模糊布尔网络具有从原始定量数据中自动提取隶属度函数的能力, 因此将模糊布尔网络用于模糊因果规则(Fuzzy causal rule, FCR) 的优化. FBN基于每个神经元随机输入样本, 其学习是一个概率过程. 每个后端神经元的内部二进制记忆是根据输入(每个前端)的神经元数量和后端神经元的激活状态而修改的. 因为突触前和突触后的活动是由激活率决定的, 所以这种类型的FBN学习也被认为是基于Hebbian的学习方法.
除以上基学习器外, Papageorgiou等[55]受集成思想的启发, 提出基于bagging增强的非线性Hebbian学习算法, 使用NHL算法作为基础分类器训练模型, 最后将NHL学习产生的FCM集成, 以提高分类精度.
总体来说, 专家知识驱动的学习算法能够在有限的迭代次数下对权重矩阵实现微调, 与专家初始提供的经验知识有很小的偏差. 调整后的权重能够尽可能保留其因果意义, 符合人类认知和系统真实情况. 此类方法的不足之处在于需要专家对概念和权重矩阵进行初步干预, 在专家知识缺乏的情况学习比较困难. 另外, 该类算法的泛化能力较差, 不适合包括两个或更多类别的预测问题[16].
2.2 自动学习算法
针对专家知识驱动的学习算法的局限性, 自动学习算法相继被引入量化权重矩阵. 自动学习方法利用历史数据替代专家知识, 根据系统输入的状态向量或模式序列的历史数据来训练FCM. 图5给出自动学习算法的基本流程. 针对不同的研究问题, 自动学习算法采用相应的目标函数最小化输入序列与响应序列之间的误差, 迭代优化FCM权重矩阵. 最后, 利用学习到的FCM最优权重矩阵指导复杂系统的动态分析, 获取特定概念所需的激活状态值. 本文将自动学习算法分为3类: 基于进化的学习方法、基于传统约束优化的学习方法和基于回归的学习方法.
2.2.1 基于进化的学习方法
基于进化的学习算法将FCM权重矩阵转化为生物种群, 并应用多种进化技术来优化FCM, 使其收敛到稳定状态. 该类算法的具体流程如下: 首先, 随机初始化预定义数量个FCM权重矩阵, 并将这些二维权重矩阵通过行拼接的方式转换为一维权重向量即进化过程中的个体. 然后, 利用进化算子如选择、交叉、变异等, 通过优化适应度函数来迭代优化这些个体. 适应度函数在预测任务中为预测误差, 分类任务中则为分类准确率. 最后, 当满足最大迭代次数时, 输出适应度最好的个体. 将该个体转换为二维矩阵即可得到学习到的FCM权重矩阵. 2005年二进制编码的遗传算法(Genetic algorithm, GA)[56]首次被用来生成和搜素最佳FCM权重矩阵. 该方法随机选择初始个体构成种群, 采用二进制编码的形式迭代更新个体, 在参与的概念节点中搜索满足两个或多个激活水平的最优权重矩阵. 随后, Stach等[57]在此基础上提出实数编码遗传算法(Real code genetic algorithm, RCGA) 来模拟给定的输入历史数据, 搜索优化FCM结构. RCGA可以在连续迭代中使用一组或多组概念值, 与一次性使用整个数据集的方法相比, 具有更好的收敛性. 继遗传算法之后, 粒子群优化算法(Particle swarm optimization, PSO)[58] 也应用于学习FCM. PSO的学习过程需要专家知识来指定适当的约束, 限制搜索空间, 以此来确保FCM模型中的关系保留专家定义的物理意义[59]. 自组织迁移算法(Self-organizing migrating algorithm, SOMA)[60]在每一次循环中对FCM的候选解决方案进行填充, 基于目标函数来搜索和优化FCM权重矩阵. 类似的基于进化的FCM学习算法还有蚁群优化(Ant colony optimization, ACO)算法[61]、人工蜂群(Artificial bee colony, ABC) 算法[62]、帝国主义竞争算法(Imperialist competitive algorithm, ICA)[63]、差分进化算法(Differential evolution, DE)[64]、模拟退火算法(Simulated annealing, SA)[65-66]、大爆炸−大紧缩算法(Big bang-big crunch, BB-BC)[67]以及文化算法(Cultural algorithm, CA)[68] 等. 胡运杰等[69]提出利用蚁群优化算法建立FCM 模型, 并引入变异算子对算法进行改进, 以提高算法的全局和局部搜索能力. 基于互信息的模因算法分两个阶段来学习FCM[70]. 在第1阶段, 算法检测系统的概念之间是否存在因果交互, 将系统的密度保持在较低的水平. 在第2阶段, 利用模因算法优化边的权重, 得到最终的FCM权重矩阵. Salmeron等[71]提出无性繁殖优化(Modified asexual reproduction optimization, MARO)算法, 根据规则对个体进行变异和选择, 并引入模拟退火的原理, 扩大对个体更新的容忍度来解决局部收敛问题.
上述学习算法由于受到编码形式、计算能力等限制, 适用于解决节点数量较少的FCM的学习. 然而, 随着人工智能、大数据技术的发展, 复杂网络节点不断扩增、数据呈指数型爆炸增长, FCM的学习效率面临严峻的挑战. 于是, 分解和并行的思想被引入FCM的学习过程来减缓模型的计算压力. Chen等引入修正的误差函数, 使用分解的RCGA 执行优化过程, 学习多达300个概念的大规模网络[72]. Stach等[73]基于并行计算来加速FCM 的学习即分治RCGA (Divided and conquer RCGA, D&C RCGA), 通过8 个处理器并行优化FCM, 缓解算法的可扩展性问题. 当图的大小和处理器数量增加时, 由分治方法生成的FCM权重矩阵的总体质量会下降. 学习时间随着网络规模的增加而增加, 而当使用更多处理器时则减少. 因此, 分治RCGA算法虽然在原来的RCGA 上有一些改进, 但仍存在一些问题需要克服[74]. Liu等[75]基于动态多智能体遗传算法 (Dynamic multiagent genetic algorithm, dMAGA)从时间序列中学习FCM. Chi等[76]结合模因算法(Memetic algorithm, MA)和神经网络(Neural network, NN)来学习大规模FCM. MA用于确定基因调控网络(Gene regulatory networks, GRN) 中的连接, NN 用于确定连接的因果强度. Liu等[77]结合集成策略和多目标进化算法(Multi-objective evolutionary algorithm, MOEA) 学习FCM权重矩阵, 从而重构GRN. 该模型首先利用MOEA分析历史数据来学习一系列具有不同结构的网络, 获得具有不同最优局部信息的目标网络. 然后, 从Pareto 前沿选择在训练集上获得最小模拟误差的FCM, 并提供有效的集成策略将选择的子图组合成最终的FCM. Liang等[78]提出基于改进多因子粒子群优化算法(Improved multifactorial particle swarm optimization, IMFPSO) 学习FCM, 将一个完整的FCM 分解为多个节点的局部连接(子FCM). FCM的学习问题被建模为多任务优化问题, 通过同时优化这些子FCM 共享不同任务间有价值的信息. 该算法不仅对传统粒子群优化算法的参数设置和搜索过程进行改进, 而且考虑到不同任务间可能会出现知识的负迁移, 加入特殊的任务选择机制来选择合适的任务, 从而减少负迁移的影响.
FCM的结构同样是研究者关注的重点. 因为自动学习算法产生的FCM在结构上与专家知识确定的FCM 有很大不同. Stach 等[15]证明从数据中学习的FCM密度更高(密度超过 90%, 而专家定义的FCM密度约为40%). 而图结构的稀疏性与可解释性息息相关: FCM中的连接数越少, 说明图的透明度越高、复杂性越低. 稀疏实数编码遗传算法利用密度参数来指导训练过程, 从而形成某个预定义密度的FCM[15]. 当密度估计未知时, 稀疏实数编码遗传算法可以使用默认值以自动化方式生成性能超过或等于其他方法的模型. Poczeta等[79]设计一种遗传算法, 可以在考虑系统密度的同时优化系统的性能, 通过这种方式只保留节点之间最重要的边, 自动构建密度较小的FCM. Chi等[80]将FCM学习问题建模为多目标优化问题, 从输入的历史数据中学习不同密度的FCM, 为决策者提供具有不同属性的候选解. 该方法不仅可以在没有专家知识的情况下高精度地重建FCM, 而且可以创建由不同密度的FCM组成的多样化Pareto最优前沿. 多任务多目标模因算法(Multitasking multiobjective memetic algorithm, MMMA)在学习过程中考虑FCM 的测量误差和稀疏性[17], 基于模因算法和Lasso 初始化算子的进化多任务框架提高算法性能并加速收敛. MMMA方法不仅可以学习种群中的单一FCM, 还可以利用相似模式的基因转移来提高相似任务的准确性.
综上所述, 在数据驱动下基于进化的学习算法利用元启发式思想, 不受专家知识的约束, 是目前FCM 研究领域发展最深远、应用最广泛的学习方法. 然而这类方法在克服专家知识驱动类学习算法的局限性的同时, 仍存在容易陷入局部收敛、需要选择合适的参数、执行速度慢等缺点, 导致算法在准确率和速度上仍达不到理想的状态.
2.2.2 基于传统约束优化的学习算法
基于进化的学习算法已经在许多应用中表现出良好的性能. 然而, 随着FCM的节点数量的增加, 权重矩阵学习面临指数级复杂度的严峻挑战. 当学习具有数百个节点的大规模FCM时, 算法则需要在高维超立方体空间中搜索合适的权重值, 这个过程极其耗时且具有很高的计算负荷. 因此, 基于传统约束优化的学习算法将FCM 权重矩阵学习问题转换成凸优化问题, 以一种简单直观的方式从历史数据中快速高效地学习权重矩阵, 以此解决上述局限性. 对于一个含有$ N $个变量, $ M $个初始状态向量(其中每个序列包含$ k $个状态值)的系统, 首先将这些初始状态向量和对应的响应序列表示为矩阵的形式, 得到$ M $个大小为$ ( k+1)\times N $的响应矩阵. 然后将每个节点的局部连接学习问题建模为一个线性方程, 最终形成一个含有$ N $个未知变量和$ M\times k $个线性方程组的约束线性方程组. 权重通过迭代求解该约束凸优化问题确定. Wu 等[81]基于压缩感知(Compressed sensing, CS) 的框架, 将大规模稀疏FCM学习问题建模为凸优化问题. 首先将FCM 学习任务分解为多个稀疏信号重构的子任务, 然后利用CS恢复稀疏信号的能力学习FCM. 该方法能够从少量数据中学习到具有良好性能的模型, 可以有效地学习1 000个甚至更多节点的稀疏FCM. Lu 等[82]将FCM的学习问题转化为带约束的凸优化问题, 调用经典的内点法求解优化问题, 快速有效地从带噪声的历史数据学习和优化FCM 权重矩阵. Feng等[83]同样将FCM的学习问题等价地转化为经典约束凸优化问题, 并在优化目标函数中引入最小二乘项和最大熵项, 前者用以确保FCM 的鲁棒性, 后者则规范FCM权重矩阵的分布. 为解决FCM 学习过程中的结构化稀疏问题, 基于迭代平滑算法的大规模FCM鲁棒学习方法引入弹性和全变分(Total variation, TV) 惩罚项构建目标函数, 捕捉FCM 的稀疏结构信息, 提高网络重构的鲁棒性[84]. 针对基于FCM的预测模型在长期、多步预测中的性能不足, Vanhoenshoven等[85]提出一种基于Moore-Penrose逆的FCM 学习算法, 减少训练FCM 所需的处理时间.
总体来说, 基于传统约束优化的学习算法的优势在于能够在训练过程中快速收敛到固定点, 但是不能保证得到的结果是全局最优. 此外, 需要强调的是这类算法能够执行的前提是问题结构必须可导可微, 否则无法求解.
2.2.3 基于回归的学习算法
基于回归的学习算法通过最小化输入数据和输出数据之间的拟合误差, 迭代更新FCM权重矩阵. 这类算法的核心是回归算法, 如基于 Lasso 回归[86]、岭回归[87]的学习算法, 增加 L1正则化项或 L2 正则化项来构建目标函数, 通过最小化拟合误差来学习FCM的权重矩阵. 针对多变量非平稳时间序列的预测问题, 基于弹性网络回归的学习算法被用来训练HFCM[88]. 为进一步增强HFCM 对异常值的鲁棒性, 支持向量回归的思想被引入训练HFCM来模拟生成的所有子序列与原始时间序列之间的关系[89]. 基于贝叶斯岭回归的HFCM 学习算法, 能够从数据中估计常规参数, 模型对超参数更加鲁棒和不敏感且不需要人为手动设置[90]. Wu等将FCM学习扩展到实时在线复杂系统分析, 基于跟随正则化领导者(Follow the regularized leader, FTRL)的有效算法, 解决FCM 的在线学习问题[91].
2.3 半自动学习算法
半自动学习方法结合上文提到的两种FCM学习机制: 专家知识驱动的学习方法和自动学习算法. 在半自动学习方法中, 学习目标是在专家初始知识和历史数据的基础上, 分两阶段修改或者更新权重矩阵. 图6 展示半自动学习算法的基本流程. 首先由领域专家定义FCM 的输入节点和初始拓扑结构(权重矩阵). 在第1阶段, 采用专家知识驱动的学习算法学习当前FCM 权重矩阵, 使其收敛到定点吸引子或者达到最大迭代次数. 在第2阶段, 自动学习算法根据输入数据在每个时间步长更新初始权重矩阵. 下一时刻状态向量的取值由第1阶段生成的权重矩阵和第2阶段生成的权重矩阵共同决定.
半自动模糊认知图学习方法研究工作相对较少, 本文尽可能详尽地归纳和总结相关研究成果. Papageorgiou等[92]利用进化算法的全局搜索能力和NHL的有效性提出基于差分进化算法和NHL算法的半自动学习方法. 这种混合学习技术能够有效地训练FCM, 从而使系统达到期望的状态, 并为每个具体问题确定合适的权重矩阵, 已成功地应用于现实的决策问题. Zhu等[93]利用随机遗传算法的群体学习能力和NHL算法的学习效率优势, 将专家知识和数据特征相结合学习FCM, 避免因人为因素而导致的训练偏差[94]. 基于NHL和扩展大洪水算法(Extended great deluge algorithm, EGDA)的FCM学习方法[95] 利用这两种算法的优点来创建更精确的FCM 模型. EGDA的优点在于能够实现全局搜索, 较少依赖于参数. 而NHL则工作效率更高, 速度更快, 可以处理连续范围的概念值. Natarajan等[96]结合DDNHL 和遗传算法提出一种新的FCM 混合学习算法. 提高了基于FCM 的分类器的分类精度和推理能力, 准确建模影响甘蔗产量预测的各种土壤和气候参数. 不同于算法中提出的进化算法与Hebbian 学习机制的混合模式, Madeiro等[97]将实数编码遗传算法和差分进化相结合, 利用梯度信息自动构建FCM, 建模太阳能发电问题. 这种混合学习方法既结合梯度方法的开发能力又利用进化算法的探索能力.
综上所述, 在正确选择一种合理的FCM学习方法时, 需要考虑可用数据的类型、领域知识和应用场景等. 专家知识驱动的学习算法适用于特定类型的数据, 并且在专家的知识可用时速度更快. 然而该类算法由于受到专家经验的限制, 模型的泛化能力较差. 当系统中存在大量概念时, 该类算法无法在模糊认知图学习中有效应用. 自动学习算法在复杂系统动态行为相似的情况下能够提供更高质量的学习模型. 李慧等[98]指出FCM 的自动学习方式注重权重的自动调整和模型的自动构建, 减少FCM对于专家的依赖性. 研究表明, 自动学习方法, 例如RCGA, 在处理一些涉及FCM静态和动态特性的问题中比专家知识驱动的学习算法更具有可行性[73]. 因此, 在以建模系统动态行为的质量为唯一评价标准或者在专家的知识和技能有限时, 自动学习算法相比其他算法更具有优势. 然而, 自动 学习方法的关键缺陷在于, 提供难以解释的解决方案可能导致不正确的静态分析, 且由于进化算子、参数设计等因素无法保证解决方案的最优性. 半自动学习算法既利用专家知识学习的有效性, 又引入基于种群的算法的全局搜索能力, 一定程度上平衡两者的缺陷. 但考虑到仍旧需要使用专家知识, 这类算法的发展可能会受到知识工程师有限的知识和技能的显著影响, 因此在处理真实数据和大量变量时无法应用. 表 2中归纳和总结了上述3 类学习算法的主要文献及对应算法的特点及优缺点.
表 2 基于学习范式的模糊认知图学习算法分类Table 2 Classification of fuzzy cognitive map learning algorithms based on the learning paradigm类别 学习方法 时间复杂度 优点 缺点 作者 发表年份 专家知识
驱动的方法DHL[47] ${\rm{O}}(N^2)$ 简单, 易操作 只考虑了当前的一对概念 Dickerson等 1994 BDA[48] ${\rm{O}}(N^2)$ 考虑多个概念的影响 只适用于二进制计算 Huerga 2002 AHL[49] ${\rm{O}}(N^2)$ 考虑了所有概念的影响 训练耗时 Papageorgiou等 2004 NHL[50] ${\rm{O}}(N^2)$ 保留了原始的图结构, 具有合理的物理解释性 依赖专家标准 Papageorgiou等 2003 INHL[51] ${\rm{O}}(N^2)$ 避免陷入局部最小值 需要先验知识 Li等 2004 DDNHL[52] ${\rm{O}}(N^2)$ 数据驱动 依赖专家知识 Stach 等 2008 带终端约束的
NHL算法[53]${\rm{O}}(N^2)$ 提高结果的可行性 需要先验知识 陈宁等 2016 FBN[54] ${\rm{O}}(N^2)$ 利用模糊因果规则推理 性能受激活参数的影响 Carvalho等 2007 基于bagging增强的NHL算法[55] ${\rm{O}}(N^2)$ 泛化性能较好 依赖专家知识 Papageorgiou等 2012 自动学习
算法GA[56] ${\rm{O}}(N^2)$ 数据驱动 受限于二进制编码 Mateou等 2005 RCGA[57] ${\rm{O}}(N^2)$ 数据驱动, 实数编码 参数寻优耗时 Stach 等 2005 PSO[58−59] ${\rm{O}}(N!)$ 数据驱动, 元启发式算法 依赖专家知识 Parsopoulos 等Oikonomou 等 2003
2013SOMA[60] ${\rm{O}}(N^2)$ 数据驱动 计算耗时 Vaščák 2010 ACO[61] ${\rm{O}}(N^2)$ 概率型算法鲁棒性强 计算耗时, 容易早熟收敛 Chen等 2012 ABC[62] ${\rm{O}}(N^2)$ 数据驱动 参数寻优耗时 Yesil等 2013 ICA[63] ${\rm{O}}(N^3)$ 数据驱动 计算复杂, 耗时 Ahmadi 等 2015 DE[64] ${\rm{O}}(N^2)$ 容易理解, 计算简单 易局部收敛 Juszczuk等 2009 SA[65−66] ${\rm{O}}(N^2)$ 计算简单 参数寻优耗时 Ghazanfari 等
Alizadeh等2007
2009BB-BC[67] ${\rm{O}}(N^2)$ 算法简单, 泛化能力较好 不适用于解决高维问题 Yesil等 2010 CA[68] ${\rm{O}}(N^2)$ 全局搜索与局部搜索结合 参数寻优耗时, 对问题的依赖性强 Ahmadi等 2014 基于互信息的
模因算法[70]${\rm{O}}(N^2)$ 适用于大规模图学习 无法在搜索过程中
关注图的稀疏性Zou等 2018 MARO[71] ${\rm{O}}(N^2)$ 只需调用一次目标
函数, 无需设置参数计算复杂, 易陷入局部最优 Salmeron等 2019 分解RCGA[72−73] ${\rm{O}}(N^2)$ 分解并行计算 计算复杂 Chen等, Stach等 2015, 2010 D&C RCGA[74] ${\rm{O}}(N^2)$ 可并行计算并具有可扩展性 随着图的大小和处理器数量增加, 算法性能下降 Stach等 2007 dMAGA[75] ${\rm{O}}(N^2)$ 适用于大规模图学习
具有鲁棒性受 FCM 节点的取值范围限制, 需在算法执行前进行数据归一化 Liu等 2015 MA-NN[76] ${\rm{O}}(N^2)$ 分布式计算框架适用于
大规模网络重建受FCM节点的取值范围限制, 需在算法执行前进行数据归一化 Chi等 2019 MOEA[77, 79−80] ${\rm{O}}(N^2)$ 多目标进化考虑了图的稀疏性 不适用于大规模图学习 Liu等, Poczeta 等,
Chi等2019, 2018, 2016 IMFPSO[78] ${\rm{O}}(N!)$ 优化过程考虑了知识迁移 算法易早熟, 过早收敛 Liang等 2022 SRCGA[15] ${\rm{O}}(N^2)$ 考虑了图的稀疏性 不适用于处理大规模数据 Stach等 2012 MMMA[17] ${\rm{O}}(N^2)$ 多图优化知识转移 有可能发生负信息迁移, 导致收敛速度缓慢 Shen等 2020 CS[81] ${\rm{O}}(N^3)$ 适用于大规模稀疏图学习 参数寻优耗时 Wu等 2017 内点法[82] ${\rm{O}}(N^4)$ 精度高, 可扩展性好 对初值敏感, 难以处理
不等式约束问题Lu等 2020 约束优化[83] ${\rm{O}}(N^3)$ 考虑了矩阵分布具有抗噪能力 仅适用于有监督学习 Feng等 2021 近似梯度下降[84] ${\rm{O}}(N^3)$ 适用于解决大规模数据问题 对初始点敏感, 可能
陷入局部最优Ding等 2021 Moore-Penrose逆[85] ${\rm{O}}(N^3)$ 参数较少 计算复杂 Vanhoenshoven等 2020 Lasso回归[86] ${\rm{O}}(N^3)$ 考虑了图的稀疏性, 适用于
大规模图学习可能出现过拟合 Wu等 2016 岭回归[87] ${\rm{O}}(N^3)$ 泛化性能较好, 适用于
大规模图学习对特征的缩放敏感 Yang等 2018 弹性网络回归[88] ${\rm{O}}(N^3)$ 增加了L1 和L2 正则化, 适用于大规模图学习 参数调节困难 Shen等 2020 支持向量回归[89] ${\rm{O}}(N^4)$ 适用于高维非线性数据 对缺失数据敏感 Gao等 2020 贝叶斯岭回归[90] ${\rm{O}}(N^4)$ 简单、模型适应性较强 对模型的假设较多依赖先验分布 Liu等 2020 FTRL[91] ${\rm{O}}(N^3)$ 在线学习 计算、推理过程复杂 Wu 等 2021 半自动学习算法 DE+NHL[92] ${\rm{O}}(N^2)$ 进化过程中保留了图的物理意义 依赖专家知识 Papageorgiou等 2005 RCGA+NHL[93] ${\rm{O}}(N^2)$ 利用了遗传算法的全局优化能力 受限于专家经验 Zhu等 2008 PSO+NHL[94] ${\rm{O}}(N!)$ 避免人为因素产生的训练误差 受限于专家经验 Yazdi等 2008 EGDA+NHL[95] ${\rm{O}}(N^2)$ 全局搜索, 参数少 受限于专家经验 Ren 2012 DDNHL+GA[96] ${\rm{O}}(N^3)$ 数据驱动分类推理能力强 受限于专家经验 Natarajan等 2016 RCGA+DE+
梯度下降[97]${\rm{O}}(N^2)$ 全局搜索 参数寻优耗时 Madeiro 等 2012 注: 时间复杂度为该算法更新一次FCM权重矩阵所需时间开销, 未考虑数据量大小及最大迭代次数. N表示节点个数. 2.4 基于图规模的学习算法分类方式
在前文中基于学习范式的不同, 学习算法划分为专家知识驱动的学习算法、自动学习算法、半自动学习算法三大类. 本文从图规模的角度提出一种新的划分方式, 即小规模图学习算法和大规模图学习算法, 供读者们研究探讨. 需要注意的是这里的规模大小表示FCM中节点数量的多少, 与实际问题的数据量无关. 当然, 这两种分类方式也存在交叉. 专家知识驱动的学习算法、基于进化的学习方法、半自动学习算法大多适用于解决小规模FCM 学习问题, 基于传统约束优化和基于回归的学习方法则更适用于解决大规模FCM 学习问题.
大规模图学习算法又可以分为基于暴力求解的方法、基于维度缩减的方法和基于分解策略的方法. 基于暴力求解的方法利用高维优化方法直接求解大规模FCM优化问题(Large-scale FCM learning problems, LSFCMP), 其局限性在于未考虑图的任何特性. 虽然该类方法也能从历史数据中自动学习FCM, 但由于搜索空间的高维度, 使得其在LSFCMP上的性能表现不佳. 此外, 由于搜索空间充足, 这些方法仅用于学习不超过40 个节点的FCM[99]. 如对于具有400个节点的FCM, 则需要优化160 000 个权重值. 基于维度缩减的方法[70, 100-101]可从概念缩减和边缩减的角度继续细分. 概念缩减是指将相似的概念合并到集群中来减少概念的数量. 边缩减则是通过调整图中连接边的密度来实现. 该类算法的优势在于简单易实现, 但是由于维度缩减需要具备一定的先验知识, 因此图的物理意义可能在缩减过程中被破坏. 基于分解的学习方法[102-104] 将高维复杂问题分解为多个低维子任务进行求解. 最常用的分解方式是将FCM分解为多个节点的局部连接, 然后利用自动学习算法中的优化器分别优化求解, 最后将局部连接拼接为完整的图结构, 从而得到最终的优化结果. 这类方法可解释性强但是时间复杂度高. 表3 归纳和总结现有大规模FCM学习算法的分类现状.
表 3 大规模模糊认知图学习算法分类Table 3 Large-scale fuzzy cognitive map learning algorithm classification类别 方法 转换函数 最大FCM规模 发表年份 基于暴力求解的方法 D&C RCGA[73] sigmoid 40 2010 并行RCGA[74] sigmoid 80 2007 dMAGA[75] sigmoid 200 2015 MA-NN[76] sigmoid 100 2019 MOEA[80] sigmoid 40 2015 SRCGA[15] sigmoid 40 2012 基于维度缩减的方法 MIMA[70] sigmoid 500 2018 文献[100] sigmoid/tanh 25 2015 文献[101] sigmoid 10 2018 基于分解的方法 CS[81] sigmoid 1 000 2017 MMMA[17] sigmoid/tanh 600 2020 内点法[82] sigmoid/tanh 200 2020 约束优化[83] sigmoid/tanh 200 2021 近似梯度下降[84] sigmoid 200 2021 Lasso回归[86] sigmoid 500 2016 弹性网络回归[88] sigmoid 200 2020 HTMA-DRA[99] sigmoid 200 2022 dMAGA-FCM$_D$[102] sigmoid 500 2017 NMMMAGA[103] sigmoid 200 2019 Parallel FCM[104] sigmoid 1 000 2023 3. 学习算法的应用
3.1 专家知识驱动的学习算法的应用
专家知识驱动的学习算法在模式分类、疾病诊断(前列腺癌、乳腺癌、帕金森病等)、风险评估、结构损伤预测等场景中应用较多. 例如, Douali 等[105]利用前列腺癌的临床诊断数据构建FCM, 并基于构建的模型预测病人的健康情况. Zhai等[106]在AHL 算法的基础上研究如何利用FCM对上市公司信用风险评估问题进行建模和模拟. 类似地, 基于NHL的决策系统训练的FCM用于解决自闭症预测问题[107]. NHL的预测结果可作为确定预防和规划特殊儿童适当治疗的指南. Beena等[108] 开发一种基于FCM的结构损伤检测算法, 使用连续介质力学方法将结构损坏建模为损坏位置的刚度损失. 悬臂梁的有限元模型用于计算由于结构损坏导致的前6个梁的频率变化, 其中FCM的输入概念是频率偏差, 输出是沿梁的5个可能损坏位置. Anninou等[109]基于FCM建立帕金森病的数学模型, 并利用专家知识和NHL 算法训练该模型, 为帕金森病的预防和治疗提供参考数据[110]. Sivabalaselvamani 等[111]提出自适应NHL 算法训练FCM 模型, 开发新的基于知识的系统应用, 提高FCM建模和预测事故成因的效率. Senniappan等[112]基于FCM 构建裂缝严重程度分级模型来评估支撑柱中裂纹的严重程度. 然后利用NHL 和DDNHL 学习方法提高模型在结构健康监测应用中的分类和预测能力. 所提出的裂纹严重程度分级模型将支撑柱中的裂纹分为3类, 即细裂纹、中裂纹和重裂纹, 可帮助非专业研究人员分析裂缝产生的可能原因并将其报告给结构工程师, 以便在适当的阶段使用各种裂缝控制技术进行维护. Subramanian等[113]基于FCM构建乳腺癌风险评估模型, 将给定女性的初始筛查乳房X光片的结果与其人口统计学风险因素相结合, 以预测发生乳腺癌的风险.
3.2 自动学习算法的应用
自动学习算法在时间序列预测和分类中应用最为广泛, 同时也拓展应用在其他领域, 如复杂网络重构、病情趋势预测、能耗预测、操作评估、情景意识评估[114]等. Orang等[115]系统地综述FCM在时间序列预测领域的应用. 根据特征维数的不同, 时间序列可以分为多变量时间序列和单变量时间序列. 同样, 不同类型时间序列的建模和预测方法也因结构差异而具有不同的针对性. 利用FCM进行时间序列预测的相关方法通常具有类似的思路: 首先, 需要确定多个概念节点, 用于构建基本的FCM 预测框架. 其次利用学习算法训练FCM权重矩阵. 最后利用FCM推理机制得到预测结果. 对于多变量时间序列预测, 变量通常可认为是FCM中的概念节点. 例如, Froelich 等[116]基于遗传算法和FCM构建预测模型, 以提高多变量时间序列预测的效果. Luo等[117]基于IFCM构建时间序列预测模型并利用PSO 算法训练模型. 针对时间序列的多样性, 该算法直接从原始时序数据构建认知图和权重矩阵的概念结构, 通过减少人为参与有效扩大应用范围. Wang 等[44]基于FCM 的拓展模型DFCM来提高模型对多变量时间序列的预测能力. Liu等[118]从时空融合的角度, 提出一种基于FCM和证据推理理论的多源多变量臭氧预测模型. 该方法将多变量臭氧预测问题建模为通过RCGA学习的FCM, 其中每个节点表示一类污染物. 所构建的FCM预测既能反映臭氧的复杂演化趋势, 又能反映交叉干扰现象.
基于FCM的单变量时间序列预测方法类似于多变量时间序列预测[119], 不同之处在于首先需要将一维时间序列映射到多维空间或将其分解为多频子序列, 然后建立基于FCM的预测模型. 目前, 已有一些信号处理方法和函数映射方法应用于单变量时间序列的分解. 例如, Yang 等[87]提出一种基于HFCM 和冗余小波变换的时间序列预测模型, 应用冗余Haar 小波变换将原始非平稳时间序列分解为多元时间序列. Liu 等[90]应用经验模态分解对原始序列进行特征提取, 得到多个序列来表示HFCM的节点. Homenda等[120]提出一种时间序列建模技术, 该技术通过移动窗口方法将基于FCM设计的概念连接在一起. 将模糊化后的时间序列按照移动窗口方案传递到FCM 上. 此外, 提出基于核映射和HFCM 的框架用来预测单变量时间序列, 其中核映射方法将原始一维时间序列映射为多维特征时间序列[121]. 类似地, Gao等[89]提出基于FCM和经验小波变换的单变量时间序列预测模型. 利用经验小波变换将原始时间序列分解成不同的层次, 从而捕获不同频率的信息. 然后, 利用支持向量回归算法训练HFCM, 对生成的所有子序列与原始时间序列之间的关系进行建模. 以上方法虽然能够捕捉时间序列的变化规律和趋势, 获得比模糊时间序列更好的性能, 但是没有考虑时间序列的本质特征和潜在表征, 导致预测精度不高. 因此, Feng等[122] 提出一种将模糊C 均值聚类、时间序列分割和FCM相结合的单变量时间序列长期预测方法. 引入动态时间规整来评估线段间的距离, 将时间序列划分为合适且内部同质的片段. 然后, 利用动态时间规整的改进模糊C均值算法对这些片段进行模糊化, 从而将片段转化为模糊时间序列和语义向量. 最后, 基于凸优化的方法快速鲁棒地学习FCM. Wu 等[123]基于稀疏自动编码器和HFCM学习原始时间序列的良好表示, 更好地利用潜在特征的重要信息. Feng等[124]提出一种基于划分策略的FCM预测模型来描述时间序列的变化特征[125]. 该模型首先采用模糊C均值聚类将时间序列划分为若干子序列, 随后利用这些子序列分别构建FCM模型并利用最小二乘法训练. 最后, 通过模糊规则对FCM 模型进行融合. 构建的模型不仅在数值预测上表现良好, 而且具有可解释性. 此外, 考虑到在传统的基于FCM的预测模型中, FCM 的概念之间的因果关系保持不变. 然而, 在现实生活中因果关系可能在时间上发生变化. Wang等[126]提出一种基于知识引导学习机制和PSO相结合的方法更新FCM, 预测大规模单变量时间序列. 当新数据不断产生时, 依据知识引导规则更新基于旧数据建立的预测模型, 从而避免从头开始重新训练FCM 的额外计算开销. Salmeron等[127]提出FCM结构的动态优化方法即在每次预测之前选择FCM 模型中涉及的概念. 整个FCM 模型在训练过程中需要不断适应预测时间序列的当前局部特征.
除时间序列预测之外, 基于FCM的模型也可以被用于分类任务. 因为FCM分类器的拓扑结构(即概念和因果关系)必须包含被建模系统的连贯含义, 所以构建基于FCM的分类器时面临的挑战之一在于如何连接输入和输出概念[128]. 基于FCM的时间序列分类器通过比较基于同一组概念的权重矩阵来区分属于不同类别的时间序列映射并评估FCM的相似性, 时间序列的每个数据点都与每个概念相关. 其中权重矩阵描述图中概念之间的关系, 隶属度函数则评估关系的强度[5]. Szwed等[129]提出一种基于全连接图结构的FCM分类器. 与期望在推理过程中达到稳定系统状态的方法不同, 该方法选择在收集输出标签之前执行几个FCM迭代(步骤), 然后使用对数损失或交叉熵作为代价函数通过梯度算法学习权重. Wu等[130]开发由基于稀疏自动编码器的特征提取块、基于HFCM 的时空信息聚合块以及一个基于多层感知机的预测层组成的FCM系统来解决时间序列分类问题. 特征提取块旨在捕获底层核心演化模式, 时空信息聚合块旨在对底层因果关系和上下文依赖性进行建模, 多层感知机则将特征表示映射到时间序列的输出标签. Jastrzebska 等[131]使用移动窗口技术分阶段捕获训练过程中的时间序列数据流, 并基于反向误差传播算法来计算模型的超参数, 最后将训练好的FCM 用于分类决策. Zhou等[132]在基于相似度的粗糙集和FCM的基础上提出一种文本分类方法, 用FCM 权重矩阵表达的因果关系代替相关关系生成文本分类器. Kannappan等[133]提出一种基于人工免疫系统(Artificial immune systems, AIS)的智能方法学习FCM 来解决自闭症分类任务.
此外, 自动学习算法在除时间序列预测和分类之外的其他领域也具有丰富的应用前景. Froelich 等[134]使用自适应学习算法挖掘时态医学数据. 该算法考虑两种类型的简单概念, 即医疗干预(如开药)和由病人病情变化表达的健康状况, 挖掘医学概念之间的时间依赖性. 在之后的研究中, 该作者又利用真实的临床数据构建前列腺癌的FCM模型, 提出一种改进的RCGA用于FCM模型的学习, 并将该模型应用于患者健康状态的长期预测[135]. Papageorgiou等[136]基于结构优化遗传算法自动构建应用于需水量预测的FCM. 所提出的方法对历史需水量相关的5个变量, 即平均气温、高温、降水、风速和旅游活动进行多元分析与预测. Poczeta等[137]构建一个基于FCM的嵌套结构来解决电器能耗预测的决策任务. 通过结构优化遗传算法学习这种嵌套结构, 推导每个嵌套级别的图概念之间的重要关系, 并根据可用时间序列确定这些关系的权重, 发现和描述图中重要概念之间的隐藏关系. Trappey 等[138]使用FCM和遗传算法研究一种混合定性和定量方法, 对支持射频识别的逆向物流操作的性能进行建模和评估.
3.3 半自动学习算法的应用
半自动学习方法由于受到专家知识的限制, 在解决现实问题中没有自动学习算法应用广泛. 本文在前文中已经尽可能地列举该类算法的应用, 故在此只做简单介绍. Georgopoulos等[139]提出用于鉴别医学诊断任务中的诊断支持的半自动学习算法, 有助于医护人员调整预期的决策. Natarajan 等[96]结合DDNHL和遗传算法提高基于FCM的分类器的分类精度和推理能力, 准确建模影响甘蔗产量预测的各种土壤和气候参数之间的因果关系. 表4 归纳总结各类学习算法的应用场景.
表 4 模糊认知图学习算法的应用文献总结Table 4 Literature review on the application of fuzzy cognitive map learning algorithms类别 应用领域 文献 专家知识驱动的方法 模式分类 [55] 前列腺癌诊断 [105] 公司信用风险评估 [106] 自闭症预测 [107] 结构损伤检测 [108] 帕金森病预测 [110] 事故成因预测 [111] 裂纹严重程度分级 [112] 乳腺癌风险评估 [113] 自动学习算法 基因调控网络重建 [17, 75–77, 82, 84, 86] 多变量时间序列预测 [44−45, 78, 85, 116–119] 单变量时间序列预测 [83, 87, 89−91, 120−127, 140–143] 情景意识评估 [114] 病情趋势预测 [134] 前列腺癌预测 [135] 日需水量预测 [136] 电器能耗预测 [137] RFID物流操作评估 [138] 分类 [5, 128–133, 140] 半自动学习算法 医学诊断 [139] 甘蔗产量预测 [96] 决策支持 [92] 化学控制 [94] 太阳能发电 [97] 综上所述, 根据FCM学习算法的特点以及其在各类实际场景中的应用效果, 可以得出专家知识驱动的学习算法凭借其简单、快速的优势, 适用于小规模复杂系统建模, 特别是建模过程中专业性要求高, 对结果的稳定性有需求的场景. 自动学习算法以数据驱动, 应用范围广、普适性高, 在实际应用中限制较少, 根据实际问题的需求可以有偏好(精度、速度、计算能力等)地选择合适的学习算法应用于预测、决策、分类等任务. 半自动学习算法适用于在领域知识工程师存在的前提下, 利用FCM研究系统控制或性能因素之间的因果关系, 如工业过程控制问题、作业车间仿真控制问题等. 因此, 半自动学习算法类似于专家知识驱动的学习算法, 其也适用于小规模的工程问题, 应用场景有限.
4. 模糊认知图建模工具总结
目前FCM研究领域缺乏一个完整且系统的建模工具的总结, 存在软件工具不健全、编程语言差异化以及多平台交互困难等问题, 使得大部分研究者花费太多精力于重复的建模工作, 甚至有时所有工作需要推倒重建. 这样既浪费时间和资源, 还导致众多工作难以集成, 无法相互比较. 本文详细总结用于创建和测试FCM的软件工具, 完善各类建模工具的使用说明, 以便于研究者使用, 旨在缩小基于FCM 的系统发展与科学理论进步之间的差距.
FCM Modeler是由Mohr[144]开发的用于设计基于FCM的系统的通用性建模软件. 该软件由一个简单的界面组成, 支持在定性静态模型上实现群体决策. 其主要功能包括直观的用户界面, 基于FCM的系统的设计和存储, 以及基于FCM 对观测概念和连续状态向量进行推断. FCM Modeler是FCM研究领域的一个开创性成果, 为后续建模工作提供思路.
FCMappers.net是面向对FCM及其网络分析和系统建模感兴趣的研究者而开发的网站[145]. 该网站基于Microsoft Excel实现一个名为FCMapper的复杂工具, 可用于对FCM 的建模、模拟和分析. 由于它完全基于Excel 和应用程序视觉基础元素(Visual basic for applications, VBA), 因此可以检查、修改和增强其源代码. 该工具目前仍在积极开发中, 并定期发布新版本. 此外, 作为一个非商业项目, 其使用是免费的.
FCM Tool是León等[146]建模比利时公共交通真实决策问题时开发的. 该软件能够通过交互式图形可视化地设计基于FCM的复杂模型, 能够通过选择要使用的传递函数和停止标准的种类来自定义更新规则, 还能分析场景及其对系统整体的影响. FCM Tool 提供一种基于进化的学习算法, 用于从历史数据中自动学习因果权重. 其另一个相关功能是利用聚合算子将几种基于FCM 的系统组合成一个具有单一知识表示的系统.
FCM Designer[147]在FCM Modeler的基础上拓展一些新的功能, 包括交互式图形可视化, 设计FCM 模型的图形支持, 能够使用可用因果知识模拟新场景. 虽然相比于FCM Modeler具有更好的图像界面和功能, 但是该软件仍然很难与用户友好交互且学习算法也无法添加预定义的参数. Aguilar等[148]在2016年扩展FCM Designer工具的功能, 支持创建多层FCM, 称为FCM Designer Version 2.0. 该软件考虑到对于同一个问题可以有若干个FCM, 每个FCM都表达对所研究系统的不同层次但又相互关联的知识. 因此, 可以先对具有特定信息的系统进行详细的抽象, 然后再进行更一般的建模. 此外, 开发者认为FCM可以有不同的层次, 其中一个层次的变量依赖于另一个层次的变量. 也就是说, 多层方法通过层与层之间的信息流来丰富所建模的系统, 从其他层的概念中推导出当前层所涉及概念的信息. 在多层方法中, 不同层次的认知图之间的关系可以通过多种方式进行, 如模糊规则、权重连接以及数学方程. 作为FCM Designer 工具的扩展, 该软件还开展不同领域的测试用例: 用于分析维基百科紧急属性的FCM, 用于医学诊断分析的FCM, 以及一个类似推荐系统的FCM.
Mental Modeler[149]是面向非IT人员的一款软件, 能够基于Web建模并支持群体决策. 该软件将给定领域的利益相关者纳入模型构建和分析过程中, 设计一个简单的认知图(具有符号和加权关系)并模拟其在某些场景下的行为, 使决策者能够理解正在管理的环境系统中的重要概念组成部分. 此外, 它能够在不同的竞争群体之间建立信任和共识, 并通过挖掘可能不属于环境系统的一部分信息来减少不确定性, 从而允许专家协作验证和测试他们对系统的假设. 由于Mental Modeler是基于Web实现的方法, 方便用户访问和实施, 特别是被该领域的不熟练用户使用. 该工具的不足之处在于缺乏FCM 学习算法以及可行实验方案的选择性.
Java模糊认知图(Java fuzzy cognitive maps, JFCM)[150] 是一个用Java 编写的用于FCM建模的开源库. 该库小而简单, 可用于创建各种基于FCM的模型. JFCM对其他库的依赖性很小, 可直接从XML 文件中加载网络, 且无需更改便可以在许多操作系统上运行. JFCM是从面向对象编程的角度构想的, 如果标准组件集不足以满足更复杂的项目或理论建议, 则可以相应地扩展源代码. 但是由于需要直接解读源代码, 对于没有编程技能的研究者来说, 软件利用率有限. JFCM在软件发布时也强调, 它的目标用户是: 愿意学习FCM的学生, 可以试验新的学习算法和FCM变体的研究人员, 需要简单、经过测试和可扩展的库的应用程序开发人员, 以及开发基于FCM技术的应用程序的公司.
基于认知图的智能专家系统(Intelligent expert system based on cognitive maps, ISEMK) 是一种基于FCM 和人工神经网络的决策支持系统建模软件[151]. ISEMK由4个基本块组成, 即: 知识处理、FCM运算分析、神经网络工具和图形用户界面[152]. 它具有以下功能: 初始化FCM 模型历史数据, 可视化FCM模型, 基于多步梯度法和历史数据学习FCM模型, 使用基于进化的学习算法(RCGA, SOGA)和历史数据学习FCM模型, 根据历史数据测试FCM学习的准确性, 将学习和测试结果导出到 .csv 文件, 以图表形式可视化学习和测试结果. 此外, 神经网络模块还能够实现用于时间序列预测的多层神经网络以及两种学习算法: Levenberg-Marquardt方法[153]和带动量的反向传播方法.
FCM Expert[154]是一个Java软件工具, 拓展FCM Tool的功能, 为基于FCM 的系统建模提供一个通用且更完整的软件平台. FCM Expert继承FCM Tool 中最强的特性(决策), 并增加几种用于调整权重矩阵的无监督和有监督学习算法. 该软件工具包括用于优化网络拓扑[155] 和改进系统融合[156]而不丢失相关信息的技术. 此外, 用户可以配置模型参数(例如传递函数、推理规则或停止标准)并具有友好的图形界面设计[157].
FCMpy是一个用于构建和分析FCM的开源Python模块[158]. 该模块能够从定性数据或模拟系统行为中得出模糊因果权重, 为涉及FCM的端到端项目提供工具. 它嵌入NHL、ANL、遗传算法等方法来调整FCM的因果权重矩阵并解决分类问题. 用户可以通过模拟假设干预(即分析假设场景)轻松实现场景分析. 该模块的目的是使来自不同领域(如心理学、认知科学或工程学)的研究人员能够在不深入了解编程知识的情况下, 轻松高效地开发和测试所提出的FCM 模型.
表5总结现有FCM建模软件, 并从受众定位、适用场景、应用形式、是否包含图形页面等多个维度进行系统的分析. 由表5 及以上分析可以得出, FCM Designer、Mental Modeler 和 FCM Tool 在分析场景和试验新情况时为专家提供合适的图形支持, 而JFCM适合开发可在更复杂的解决方案中重复使用的FCM模块. 然而, 这些软件仍然缺乏实验选项或不允许处理机器学习问题. 这大大阻碍它们在面对现实情况时的可用性. 相比之下, FCM Expert和FCMpy 是开发基于FCM的系统最便捷的软件工具. FCM Expert优化基于FCM的稠密系统中的网络拓扑结构并在不丢失相关信息的情况下提高学习算法的收敛性, 应用于模拟和模式分类场景. FCMpy提供开发FCM 所需的开源功能模块, 研究者只需要调用相关程序包便可以实现相关FCM 学习算法, 具有强大的可移植性和可用性.
表 5 模糊认知图建模工具对比Table 5 Comparison of fuzzy cognitive map modeling tools工具名称 受众定位 适用场景 应用形式 学习算法数量 图形页面 年份 FCM Modeler[144] 学术研究 静态建模, 群体决策 Java Applet 1 √ 1997 FCMappers.net[145] 学术研究 网络分析, 系统建模 网站 — — 2009 FCM Tool[146] 商业产品, 学术研究 决策支持, 系统建模 软件 1 √ 2011 FCM Designer[147] 学术研究 系统建模 Java Applet — √ 2010 FCM Designer Version 2.0[148] 学术研究 医学诊断, 推荐系统建模 Java Applet — √ 2016 Mental Modeler[149] 商业产品, 学术研究 群体决策, 系统建模 Web 页面 — √ 2013 JFCM[150] 教学工具, 学术研究 系统建模 Java开源库 — — 2014 ISEMK[152] 商业产品, 学术研究 决策支持, 时间序列预测 — 6 √ 2015 FCM Expert[154] 学术研究 决策支持, 系统建模 Java软件 4 √ 2017 FCMpy[158] 学术研究 系统建模 开源Python模块 5 √ 2022 注: “—”表示“无”或者未查询到. 综上所述, 现有的面向FCM开发的软件工具, 存在学习能力不足、FCM结构单一、功能模块耦合性低等局限性, 难以弥补FCM领域的理论进展与良好的实际应用之间的差距. 因此, 开发一款功能丰富、图形界面友好、可操作性强的FCM 建模工具有利于改善FCM 相关领域研究者的用户体验, 进一步推动模糊认知图技术的应用和发展, 为各个领域提供更加准确和可靠的决策支持和智能化解决方案. 一款科学有效的FCM软件建模工具需支持以下功能:
1)支持调用多种学习算法优化FCM结构并保证算法效率和精度. 目前的FCM软件开发工具最多只嵌入6 种学习算法, 学习能力不足, 难以满足复杂系统建模、多模态数据挖掘的处理需求. 同时, 可引入并行计算和分布式计算等技术, 提高模糊认知图软件开发工具的算法效率和精度, 以满足各种实际应用需求.
2)支持多种数据格式. FCM建模工具需支持多种数据格式, 例如时序数据、文本、图像等, 以将FCM更加灵活地应用于多个领域, 满足用户的多样化需求.
3)具有可视化展示和用户交互功能. 建模工具需提供图形用户界面和可视化编辑器等功能, 以方便用户构建和调整FCM模型.
5. 结束语
FCM学习算法是不确定性人工智能领域一个具有重要研究意义的研究分支, 致力于分析FCM 及其特性, 旨在从先验知识或数据中学习FCM, 从而为复杂系统建模和动态分析提供参考依据. 本文系统地梳理、归纳和分析FCM理论和学习算法的发展现状. 1)介绍FCM的拓扑结构和推理机制的发展, 分析FCM的转换函数和动态特性, 并总结和分析近年来FCM结构的拓展模型. 2)提出FCM 学习方法可以根据学习范式的不同分为3类: 专家知识驱动学习算法、自动学习算法和半自动学习算法. 并详细阐述这3类算法的研究现状, 探讨每类算法优缺点. 此外, 从图规模的角度为读者提供一个FCM学习算法分类的新方式. 3)归纳近年来每类学习算法的应用领域. 4)总结用于FCM 构建和学习的软件工具.
通过对已有FCM学习算法及应用进行全面调研与综述, 学习算法的发展对FCM在知识表示和推理、复杂系统的建模和决策、时间序列预测和分类等方面的性能提升均已取得一定的成效. 本文从FCM 与其他研究领域交叉融合发展的角度出发, 总结FCM学习算法在理论框架和应用领域方面的探索方向和发展趋势:
1)学习算法
a)专家知识驱动的学习算法受限于专家经验和先验知识, 利用集成学习、强化学习等策略降低人类决策过程中的不确定性是一个具有潜力的研究思路.
b)基于进化的学习算法是目前FCM研究领域最广泛使用的自动学习方法, 但仍存在参数优化耗时、计算代价高、局部收敛等共性问题且在处理高维稀疏问题时具有局限性. 利用启发式算法、分布式计算方法以及偏好优化、约束多目标优化、进化多任务等技术, 探索科学高效的进化学习方法是当前FCM 研究的焦点之一.
c)半自动学习算法能够平衡专家知识驱动的学习算法和自动学习算法之间的局限性, 既考虑图结构的物理特性又保证学习结果的最优性. 然而其依然受专家知识的限制, 难以在现实领域中广泛应用. 因此, 如何自动获取专家知识是专家知识驱动的学习算法和半自动学习算法需要解决的核心问题. 自然语言处理技术、迁移学习和深度强化学习等技术为这一核心问题提供可能的解决思路. 如自然语言处理技术能够通过对文本数据的理解和分析, 构建模型所需专家知识. 迁移学习技术可将源域的知识迁移至目标域以解决专家知识有限的问题. 深度强化学习则可通过算法与专家交互, 逐步获得专家知识.
d)现有的FCM学习算法大多聚焦于单一视图的学习, 比如独立的复杂系统建模或从单个角度(时间维度或者空间维度)的时间序列分析, 然而在现实生活中复杂系统常常是由多个具有相互作用的子系统组成. 因此, 从多视图的角度学习FCM将成为未来FCM研究领域的发展趋势之一.
e)有向无环图(Directed acyclic graph, DAG)、回声状态网络(Echo state network, ESN) 和FCM 的网络结构类似, DAG 和ESN的网络更新方式能够为FCM的学习提供一种新颖的研究思路. 例如, 引入反向传播算法、动态调整机制和深度学习方法等技术, 来优化模糊系统的输出, 提高其适应性和泛化能力.
2)应用领域
a)目前FCM已成功应用于健康医疗、工业过程与控制、环境、农业和交通运输等领域, 然而作为一种智能工具其应用仍存在发展空间. 与其他技术的有机融合, 能够使FCM 在分布式智能、数据挖掘、智能决策与控制等领域实现更深入和更广泛的应用.
b)由于当前基于FCM的模型训练过程大部分采用离线数据驱动模式, 难以满足流数据的实时更新需求, 限制了FCM 的多样化发展和应用. 因此, 如何引入代理模型, 建立合理的数据转换方式, 将FCM的学习拓展为在线模式, 增强FCM的数据处理能力, 对拓展FCM 应用至更多领域至关重要.
-
图 4 专家知识驱动的学习算法的基本流程
Fig. 4 The basic process of expert knowledge-driven learning algorithms
表 1 拓展认知图模型对比
Table 1 Comparison of extension cognitive map models
类别 名称 特点 优点 缺点 应用领域 基于不同
模糊理论
的拓展
认知图RBFCM[28] 引入模糊进位累加器计算因果权重 涵盖多种概念关系并具有
多功能性和简单性建模要求高 决策支持 FGCM[29] 引入灰色数衡量因果强度 建模概念之间的不确定信息 推理复杂 可靠性工程 IFCM[30] 利用直觉模糊集建模因果关系 衡量了因果关系中的不确定性 推理复杂 时间序列预测 IVFCM[31] 利用区间值描述因果关系的强度 考虑了非结构化环境相关的不确定性 依赖专家知识 决策支持, 时间序列
预测模型ECM[32] 在因果推理中融入了证据理论 既能表示不确定性又能进行知识融合 依赖专家知识,
推理复杂决策支持 RCN[33] 利用粗糙集表示因果关系 解决了不确定情况下的决策问题 依赖专家知识 决策支持软件,
可靠性评估FRCN[34] 利用模糊粗糙结构构建神经网络 建模了因果关系的不确定性 推理复杂 决策支持 zT2FSs-FCM[35] 引入二型模糊集建模节点间的
因果权重捕获了概念间的不确定性关系 推理复杂 系统评估 面向动态
系统建模
的拓展
认知图DCN[37] 考虑了因果关系的时变性 结构上具有更高的可扩展性和灵活性 依赖拉普拉斯框架,
建模复杂度高决策支持 DRFCM[39] 推理过程中引入非线性动态函数 能够捕获动态因果关系,
具有自适应性建模要求高 风险评估, 决策支持 FTCM[40] 考虑了因果关系强度和时间滞后性 能够随时间推移分析系统的动态行为 建模复杂 时间序列预测 E-FCM[41] 采用检查机制模拟动态因果关系 能够自我进化适应不断发展的行为 计算耗时 动态场景建模 HFCM[42] 考虑了复杂系统建模过程中的
多阶动态性准确地描述了系统行为 随着阶数增加,
计算复杂度增加时间序列预测 TAFCM[43] 引入了定时自动机理论建模
系统的时间粒度推理过程具有动态性和自适应性 建模要求高 人类情绪建模 DFCM[44] 嵌入在深度神经网络的框架中 构建可解释预测器, 挖掘隐藏的
因果关系训练耗时, 容易面临
“数据饥饿”问题时间序列预测 AFCM[45] 构建基于趋势的信息粒引入
自适应更新机制自适应权重长期预测 计算耗时 时间序列预测 
下载: 导出CSV
表 2 基于学习范式的模糊认知图学习算法分类
Table 2 Classification of fuzzy cognitive map learning algorithms based on the learning paradigm
类别 学习方法 时间复杂度 优点 缺点 作者 发表年份 专家知识
驱动的方法DHL[47] ${\rm{O}}(N^2)$ 简单, 易操作 只考虑了当前的一对概念 Dickerson等 1994 BDA[48] ${\rm{O}}(N^2)$ 考虑多个概念的影响 只适用于二进制计算 Huerga 2002 AHL[49] ${\rm{O}}(N^2)$ 考虑了所有概念的影响 训练耗时 Papageorgiou等 2004 NHL[50] ${\rm{O}}(N^2)$ 保留了原始的图结构, 具有合理的物理解释性 依赖专家标准 Papageorgiou等 2003 INHL[51] ${\rm{O}}(N^2)$ 避免陷入局部最小值 需要先验知识 Li等 2004 DDNHL[52] ${\rm{O}}(N^2)$ 数据驱动 依赖专家知识 Stach 等 2008 带终端约束的
NHL算法[53]${\rm{O}}(N^2)$ 提高结果的可行性 需要先验知识 陈宁等 2016 FBN[54] ${\rm{O}}(N^2)$ 利用模糊因果规则推理 性能受激活参数的影响 Carvalho等 2007 基于bagging增强的NHL算法[55] ${\rm{O}}(N^2)$ 泛化性能较好 依赖专家知识 Papageorgiou等 2012 自动学习
算法GA[56] ${\rm{O}}(N^2)$ 数据驱动 受限于二进制编码 Mateou等 2005 RCGA[57] ${\rm{O}}(N^2)$ 数据驱动, 实数编码 参数寻优耗时 Stach 等 2005 PSO[58−59] ${\rm{O}}(N!)$ 数据驱动, 元启发式算法 依赖专家知识 Parsopoulos 等Oikonomou 等 2003
2013SOMA[60] ${\rm{O}}(N^2)$ 数据驱动 计算耗时 Vaščák 2010 ACO[61] ${\rm{O}}(N^2)$ 概率型算法鲁棒性强 计算耗时, 容易早熟收敛 Chen等 2012 ABC[62] ${\rm{O}}(N^2)$ 数据驱动 参数寻优耗时 Yesil等 2013 ICA[63] ${\rm{O}}(N^3)$ 数据驱动 计算复杂, 耗时 Ahmadi 等 2015 DE[64] ${\rm{O}}(N^2)$ 容易理解, 计算简单 易局部收敛 Juszczuk等 2009 SA[65−66] ${\rm{O}}(N^2)$ 计算简单 参数寻优耗时 Ghazanfari 等
Alizadeh等2007
2009BB-BC[67] ${\rm{O}}(N^2)$ 算法简单, 泛化能力较好 不适用于解决高维问题 Yesil等 2010 CA[68] ${\rm{O}}(N^2)$ 全局搜索与局部搜索结合 参数寻优耗时, 对问题的依赖性强 Ahmadi等 2014 基于互信息的
模因算法[70]${\rm{O}}(N^2)$ 适用于大规模图学习 无法在搜索过程中
关注图的稀疏性Zou等 2018 MARO[71] ${\rm{O}}(N^2)$ 只需调用一次目标
函数, 无需设置参数计算复杂, 易陷入局部最优 Salmeron等 2019 分解RCGA[72−73] ${\rm{O}}(N^2)$ 分解并行计算 计算复杂 Chen等, Stach等 2015, 2010 D&C RCGA[74] ${\rm{O}}(N^2)$ 可并行计算并具有可扩展性 随着图的大小和处理器数量增加, 算法性能下降 Stach等 2007 dMAGA[75] ${\rm{O}}(N^2)$ 适用于大规模图学习
具有鲁棒性受 FCM 节点的取值范围限制, 需在算法执行前进行数据归一化 Liu等 2015 MA-NN[76] ${\rm{O}}(N^2)$ 分布式计算框架适用于
大规模网络重建受FCM节点的取值范围限制, 需在算法执行前进行数据归一化 Chi等 2019 MOEA[77, 79−80] ${\rm{O}}(N^2)$ 多目标进化考虑了图的稀疏性 不适用于大规模图学习 Liu等, Poczeta 等,
Chi等2019, 2018, 2016 IMFPSO[78] ${\rm{O}}(N!)$ 优化过程考虑了知识迁移 算法易早熟, 过早收敛 Liang等 2022 SRCGA[15] ${\rm{O}}(N^2)$ 考虑了图的稀疏性 不适用于处理大规模数据 Stach等 2012 MMMA[17] ${\rm{O}}(N^2)$ 多图优化知识转移 有可能发生负信息迁移, 导致收敛速度缓慢 Shen等 2020 CS[81] ${\rm{O}}(N^3)$ 适用于大规模稀疏图学习 参数寻优耗时 Wu等 2017 内点法[82] ${\rm{O}}(N^4)$ 精度高, 可扩展性好 对初值敏感, 难以处理
不等式约束问题Lu等 2020 约束优化[83] ${\rm{O}}(N^3)$ 考虑了矩阵分布具有抗噪能力 仅适用于有监督学习 Feng等 2021 近似梯度下降[84] ${\rm{O}}(N^3)$ 适用于解决大规模数据问题 对初始点敏感, 可能
陷入局部最优Ding等 2021 Moore-Penrose逆[85] ${\rm{O}}(N^3)$ 参数较少 计算复杂 Vanhoenshoven等 2020 Lasso回归[86] ${\rm{O}}(N^3)$ 考虑了图的稀疏性, 适用于
大规模图学习可能出现过拟合 Wu等 2016 岭回归[87] ${\rm{O}}(N^3)$ 泛化性能较好, 适用于
大规模图学习对特征的缩放敏感 Yang等 2018 弹性网络回归[88] ${\rm{O}}(N^3)$ 增加了L1 和L2 正则化, 适用于大规模图学习 参数调节困难 Shen等 2020 支持向量回归[89] ${\rm{O}}(N^4)$ 适用于高维非线性数据 对缺失数据敏感 Gao等 2020 贝叶斯岭回归[90] ${\rm{O}}(N^4)$ 简单、模型适应性较强 对模型的假设较多依赖先验分布 Liu等 2020 FTRL[91] ${\rm{O}}(N^3)$ 在线学习 计算、推理过程复杂 Wu 等 2021 半自动学习算法 DE+NHL[92] ${\rm{O}}(N^2)$ 进化过程中保留了图的物理意义 依赖专家知识 Papageorgiou等 2005 RCGA+NHL[93] ${\rm{O}}(N^2)$ 利用了遗传算法的全局优化能力 受限于专家经验 Zhu等 2008 PSO+NHL[94] ${\rm{O}}(N!)$ 避免人为因素产生的训练误差 受限于专家经验 Yazdi等 2008 EGDA+NHL[95] ${\rm{O}}(N^2)$ 全局搜索, 参数少 受限于专家经验 Ren 2012 DDNHL+GA[96] ${\rm{O}}(N^3)$ 数据驱动分类推理能力强 受限于专家经验 Natarajan等 2016 RCGA+DE+
梯度下降[97]${\rm{O}}(N^2)$ 全局搜索 参数寻优耗时 Madeiro 等 2012 注: 时间复杂度为该算法更新一次FCM权重矩阵所需时间开销, 未考虑数据量大小及最大迭代次数. N表示节点个数.
下载: 导出CSV
表 3 大规模模糊认知图学习算法分类
Table 3 Large-scale fuzzy cognitive map learning algorithm classification
类别 方法 转换函数 最大FCM规模 发表年份 基于暴力求解的方法 D&C RCGA[73] sigmoid 40 2010 并行RCGA[74] sigmoid 80 2007 dMAGA[75] sigmoid 200 2015 MA-NN[76] sigmoid 100 2019 MOEA[80] sigmoid 40 2015 SRCGA[15] sigmoid 40 2012 基于维度缩减的方法 MIMA[70] sigmoid 500 2018 文献[100] sigmoid/tanh 25 2015 文献[101] sigmoid 10 2018 基于分解的方法 CS[81] sigmoid 1 000 2017 MMMA[17] sigmoid/tanh 600 2020 内点法[82] sigmoid/tanh 200 2020 约束优化[83] sigmoid/tanh 200 2021 近似梯度下降[84] sigmoid 200 2021 Lasso回归[86] sigmoid 500 2016 弹性网络回归[88] sigmoid 200 2020 HTMA-DRA[99] sigmoid 200 2022 dMAGA-FCM$_D$[102] sigmoid 500 2017 NMMMAGA[103] sigmoid 200 2019 Parallel FCM[104] sigmoid 1 000 2023
下载: 导出CSV
表 4 模糊认知图学习算法的应用文献总结
Table 4 Literature review on the application of fuzzy cognitive map learning algorithms
类别 应用领域 文献 专家知识驱动的方法 模式分类 [55] 前列腺癌诊断 [105] 公司信用风险评估 [106] 自闭症预测 [107] 结构损伤检测 [108] 帕金森病预测 [110] 事故成因预测 [111] 裂纹严重程度分级 [112] 乳腺癌风险评估 [113] 自动学习算法 基因调控网络重建 [17, 75–77, 82, 84, 86] 多变量时间序列预测 [44−45, 78, 85, 116–119] 单变量时间序列预测 [83, 87, 89−91, 120−127, 140–143] 情景意识评估 [114] 病情趋势预测 [134] 前列腺癌预测 [135] 日需水量预测 [136] 电器能耗预测 [137] RFID物流操作评估 [138] 分类 [5, 128–133, 140] 半自动学习算法 医学诊断 [139] 甘蔗产量预测 [96] 决策支持 [92] 化学控制 [94] 太阳能发电 [97]
下载: 导出CSV
表 5 模糊认知图建模工具对比
Table 5 Comparison of fuzzy cognitive map modeling tools
工具名称 受众定位 适用场景 应用形式 学习算法数量 图形页面 年份 FCM Modeler[144] 学术研究 静态建模, 群体决策 Java Applet 1 √ 1997 FCMappers.net[145] 学术研究 网络分析, 系统建模 网站 — — 2009 FCM Tool[146] 商业产品, 学术研究 决策支持, 系统建模 软件 1 √ 2011 FCM Designer[147] 学术研究 系统建模 Java Applet — √ 2010 FCM Designer Version 2.0[148] 学术研究 医学诊断, 推荐系统建模 Java Applet — √ 2016 Mental Modeler[149] 商业产品, 学术研究 群体决策, 系统建模 Web 页面 — √ 2013 JFCM[150] 教学工具, 学术研究 系统建模 Java开源库 — — 2014 ISEMK[152] 商业产品, 学术研究 决策支持, 时间序列预测 — 6 √ 2015 FCM Expert[154] 学术研究 决策支持, 系统建模 Java软件 4 √ 2017 FCMpy[158] 学术研究 系统建模 开源Python模块 5 √ 2022 注: “—”表示“无”或者未查询到.
下载: 导出CSV
-
[1] 杨博帆, 张琳, 汪文峰, 唐冬丽, 丁尔启, 项阳. 复杂装备系统弹性度量方法研究. 自动化学报, 2023, 49(7): 1498-1507Yang Fu-Fan, Zhang Lin, Wang Wen-Feng, Tang Dong-Li, Ding Er-Qi, Xiang Yang. Research on resilience measurement method of complex equipment system. Acta Automatica Sinica, 2023, 49(7): 1498-1507 [2] 杨炳儒, 李晋宏, 宋威, 李欣. 面向复杂系统的知识发现过程模型KD(D&K)及其应用. 自动化学报, 2007, 33(2): 151-155 doi: 10.1360/aas-007-0151Liang Bing-Ru, Li Jin-Hong, Song Wei, Li Xin. KD(D&K): A new knowledge discovery process model for complex system. Acta Automatica Sinica, 2007, 33(2): 151-155 doi: 10.1360/aas-007-0151 [3] Kosko B. Fuzzy cognitive maps. International Journal of Man-Machine Studies, 1986, 24(1): 65-75 doi: 10.1016/S0020-7373(86)80040-2 [4] Mls K, Cimler R, Vaščák J, Puheim M. Interactive evolutionary optimization of fuzzy cognitive maps. Neurocomputing, 2017, 232: 58-68 doi: 10.1016/j.neucom.2016.10.068 [5] Homenda W, Jastrzebska A. Time-series classification using fuzzy cognitive maps. IEEE Transactions on Fuzzy Systems, 2020, 28(7): 1383-1394 [6] Hajek P, Froelich W. Integrating TOPSIS with interval-valued intuitionistic fuzzy cognitive maps for effective group decision making. Information Sciences, 2019, 485: 394-412 doi: 10.1016/j.ins.2019.02.035 [7] Hoyos W, Aguilar J, Toro M. PRV-FCM: An extension of fuzzy cognitive maps for prescriptive modeling. Expert Systems with Applications, 2023, 231: Article No. 120729 doi: 10.1016/j.eswa.2023.120729 [8] Borrero-Domínguez C, Escobar-Rodríguez T. Decision support systems in crowdfunding: a fuzzy cognitive maps (FCM) approach. Decision Support Systems, 2023, 173: Article No. 114000 doi: 10.1016/j.dss.2023.114000 [9] Nápoles G, Papageorgiou E, Bello R, Vanhoof K. Learning and convergence of fuzzy cognitive maps used in pattern recognition. Neural Processing Letters, 2017, 45(2): 431-444 doi: 10.1007/s11063-016-9534-x [10] Hoyos W, Aguilar J, Toro M. Federated learning approaches for fuzzy cognitive maps to support clinical decision-making in dengue. Engineering Applications of Artificial Intelligence, 2023, 123: Article No. 106371 doi: 10.1016/j.engappai.2023.106371 [11] Ameli M, Esfandabadi Z S, Sadeghi S, Ranjbari M, Zanetti M C. COVID-19 and sustainable development goals (SDGs): Scenario analysis through fuzzy cognitive map modeling. Gondwana Research, 2023, 114: 138-155 doi: 10.1016/j.gr.2021.12.014 [12] Pérez Y F, Corona C C, Estrada A F. Fuzzy cognitive maps for evaluating software usability. Uncertainty Management With Fuzzy and Rough Sets: Recent Advances and Applications. Cham: Springer, 2019. 141−155 [13] Bertolini M, Bevilacqua M. Fuzzy cognitive maps for human reliability analysis in production systems. Production Engineering and Management Under Fuzziness. Berlin: Springer, 2010. 381−415 [14] Papageorgiou E I. Learning algorithms for fuzzy cognitive maps—a review study. IEEE Transactions on Systems, Man, and Cybernetics, Part C (Applications and Reviews), 2012, 42(2): 150-163 doi: 10.1109/TSMCC.2011.2138694 [15] Stach W, Pedrycz W, Kurgan L A. Learning of fuzzy cognitive maps using density estimate. IEEE Transactions on Systems, Man, and Cybernetics, Part B (Cybernetics), 2012, 42(3): 900-912 doi: 10.1109/TSMCB.2011.2182646 [16] Felix G, Nápoles G, Falcon R, Froelich W, Vanhoof K, Bello R. A review on methods and software for fuzzy cognitive maps. Artificial Intelligence Review, 2019, 52(3): 1707-1737 doi: 10.1007/s10462-017-9575-1 [17] Shen F, Liu J, Wu K. Evolutionary multitasking fuzzy cognitive map learning. Knowledge-Based Systems, 2020, 192: Article No. 105294 doi: 10.1016/j.knosys.2019.105294 [18] 林春梅. 模糊认知图模型方法及其应用研究[博士学位论文], 东华大学, 中国, 2006.Lin Chun-Mei. Model Method and Application Study of Fuzzy Cognitive Map [Ph.D. dissertation], Donghua University, China, 2006. [19] Stylios C D, Groumpos P P. Modeling complex systems using fuzzy cognitive maps. IEEE Transactions on Systems, Man, and Cybernetics-Part A: Systems and Humans, 2004, 34(1): 155-162 doi: 10.1109/TSMCA.2003.818878 [20] Papageorgiou E I. A new methodology for decisions in medical informatics using fuzzy cognitive maps based on fuzzy rule-extraction techniques. Applied Soft Computing, 2011, 11(1): 500-513 doi: 10.1016/j.asoc.2009.12.010 [21] Nápoles G, Grau I, Concepción L, Koumeri L K, Papa J P. Modeling implicit bias with fuzzy cognitive maps. Neurocomputing, 2022, 481: 33-45 doi: 10.1016/j.neucom.2022.01.070 [22] Nair A, Reckien D, van Maarseveen M F A M. Generalised fuzzy cognitive maps: Considering the time dynamics between a cause and an effect. Applied Soft Computing, 2020, 92: Article No. 106309 doi: 10.1016/j.asoc.2020.106309 [23] Luo C, Wang H Y, Zheng Y J. Controllability of k-valued fuzzy cognitive maps. IEEE Transactions on Fuzzy Systems, 2020, 28(8): 1694-1707 doi: 10.1109/TFUZZ.2019.2921263 [24] Harmati I Á, Hatwágner M F, Kóczy L T. Global stability of fuzzy cognitive maps. Neural Computing and Application, 2023, 35(10): 7283-7295 doi: 10.1007/s00521-021-06742-9 [25] Concepción L, Nápoles G, Falcon R, Vanhoof K, Bello R. Unveiling the dynamic behavior of fuzzy cognitive maps. IEEE Transactions on Fuzzy Systems, 2021, 29(5): 1252-1261 doi: 10.1109/TFUZZ.2020.2973853 [26] Bueno S, Salmeron J L. Benchmarking main activation functions in fuzzy cognitive maps. Expert systems with Applications, 2009, 36(3): 5221-5229 doi: 10.1016/j.eswa.2008.06.072 [27] Papageorgiou E I, Salmeron J L. A review of fuzzy cognitive maps research during the last decade. IEEE Transactions on Fuzzy Systems, 2013, 21(1): 66-79 doi: 10.1109/TFUZZ.2012.2201727 [28] Carvalho J P, Tome J A B. Rule based fuzzy cognitive maps-expressing time in qualitative system dynamics. In: Proceedings of the 10th IEEE International Conference on Fuzzy Systems. Melbourne, Australia: IEEE, 2001. 280−283 [29] Salmeron J L. Modelling grey uncertainty with fuzzy grey cognitive maps. Expert Systems with Applications, 2010, 37(12): 7581-7588 doi: 10.1016/j.eswa.2010.04.085 [30] Iakovidis D K, Papageorgiou E. Intuitionistic fuzzy cognitive maps for medical decision making. IEEE Transactions on Information Technology in Biomedicine, 2011, 15(1): 100-107 doi: 10.1109/TITB.2010.2093603 [31] Hajek P, Prochazka O. Interval-valued fuzzy cognitive maps for supporting business decisions. In: Proceedings of the IEEE International Conference on Fuzzy Systems (FUZZ-IEEE). Vancouver, Canada: IEEE, 2016. 531−536 [32] Kang B Y, Deng Y, Sadiq R, Mahadevan S. Evidential cognitive maps. Knowledge-Based Systems, 2012, 35: 77-86 doi: 10.1016/j.knosys.2012.04.007 [33] Nápoles G, Grau I, Papageorgiou E, Bello R, Vanhoof K. Rough cognitive networks. Knowledge-Based Systems, 2016, 91: 46-61 doi: 10.1016/j.knosys.2015.10.015 [34] Nápoles G, Mosquera C, Falcon R, Grau I, Bello R, Vanhoof K. Fuzzy-rough cognitive networks. Neural Networks, 2018, 97: 19-27 doi: 10.1016/j.neunet.2017.08.007 [35] Al Farsi A, Petrovic D, Doctor F. A non-iterative reasoning algorithm for fuzzy cognitive maps based on type 2 fuzzy sets. Information Sciences, 2023, 622: 319-336 doi: 10.1016/j.ins.2022.11.152 [36] Li H J, Xu W Z, Qiu C Y, Pei J. Fast Markov clustering algorithm based on belief dynamics. IEEE Transactions on Cybernetics, 2023, 53(6): 3716-3725 doi: 10.1109/TCYB.2022.3141598 [37] Miao Y, Liu Z Q, Siew C K, Miao C Y. Dynamical cognitive network-an extension of fuzzy cognitive map. IEEE Transactions on Fuzzy Systems, 2001, 9(5): 760-770 doi: 10.1109/91.963762 [38] Miao Y, Miao C Y, Tao X H, Shen Z Q, Liu Z Q. Transformation of cognitive maps. IEEE Transactions on Fuzzy Systems, 2010, 18(1): 114-124 doi: 10.1109/TFUZZ.2009.2037218 [39] Aguilar J. A dynamic fuzzy-cognitive-map approach based on random neural networks. International Journal of Computational Cognition, 2004, 1(4): 91-107 [40] Zhang W, Liu L, Zhu Y C. Using fuzzy cognitive time maps for modeling and evaluating trust dynamics in the virtual enterprises. Expert Systems with Applications, 2008, 35(4): 1583-1592 doi: 10.1016/j.eswa.2007.08.071 [41] Andreou A S, Mateou N H, Zombanakis G A. Evolutionary fuzzy cognitive maps: A hybrid system for crisis management and political decision making. In: Proceedings of the Conference on Computational Intelligence for Modelling Control and Automation. Vienna, Austria: 2003. 732−743 [42] Stach W, Kurgan L, Pedrycz W. Higher-order fuzzy cognitive maps. In: Proceedings of the NAFIPS 2006——2006 Annual Meeting of the North American Fuzzy Information Processing Society. Montreal, Canada: IEEE, 2006. 166−171 [43] Acampora G, Loia V, Vitiello A. Distributing emotional services in ambient intelligence through cognitive agents. Service Oriented Computing and Applications, 2011, 5(1): 17-35 doi: 10.1007/s11761-011-0078-7 [44] Wang J Y, Peng Z, Wang X D, Li C, Wu J J. Deep fuzzy cognitive maps for interpretable multivariate time series prediction. IEEE Transactions on Fuzzy Systems, 2020, 29(9): 2647-2660 [45] Wang Y H, Yu F S, Homenda W, Pedrycz W, Tang Y Q, Jastrzebska A, et al. The trend-fuzzy-granulation-based adaptive fuzzy cognitive map for long-term time series forecasting. IEEE Transactions on Fuzzy Systems, 2022, 30(12): 5166-5180 doi: 10.1109/TFUZZ.2022.3169624 [46] Hebb D O. The Organization of Behavior: A Neuropsychological Theory. New York: Psychology Press, 2002. [47] Dickerson J A, Kosko B. Virtual worlds as fuzzy cognitive maps. Presence: Teleoperators and Virtual Environments, 1994, 3(2): 173-189 doi: 10.1162/pres.1994.3.2.173 [48] Huerga A V. A balanced differential learning algorithm in fuzzy cognitive maps. In: Proceedings of the 16th International Workshop on Qualitative Reasoning. 2002. 1−7 [49] Papageorgiou E I, Stylios C D, Groumpos P P. Active Hebbian learning algorithm to train fuzzy cognitive maps. International Journal of Approximate Reasoning, 2004, 37(3): 219-249 doi: 10.1016/j.ijar.2004.01.001 [50] Papageorgiou E, Stylios C, Groumpos P. Fuzzy cognitive map learning based on nonlinear Hebbian rule. In: Proceedings of the 16th Australasian Joint Conference on Artificial Intelligence. Perth, Australia: Springer, 2003. 256−268 [51] Li S J, Shen R M. Fuzzy cognitive map learning based on improved nonlinear Hebbian rule. In: Proceedings of the IEEE International Conference on Machine Learning and Cybernetics. Shanghai, China: IEEE, 2004. 2301−2306 [52] Stach W, Kurgan L, Pedrycz W. Data-driven nonlinear Hebbian learning method for fuzzy cognitive maps. In: Proceedings of the IEEE International Conference on Fuzzy Systems (IEEE World Congress on Computational Intelligence). Hong Kong, China: IEEE, 2008. 1975−1981 [53] 陈宁, 王磊, 彭俊洁, 刘波, 桂卫华. 基于模糊认知网络的改进非线性Hebbian算法. 控制理论与应用, 2016, 33(10): 1273-1280 doi: 10.7641/CTA.2016.50799Chen Ning, Wang Lei, Peng Jun-Jie, Liu Bo, Gui Wei-Hua. Improved nonlinear Hebbian learning algorithm based on fuzzy cognitive networks model. Control Theory & Applications, 2016, 33(10): 1273-1280 doi: 10.7641/CTA.2016.50799 [54] Carvalho J P, Tomé J. Qualitative optimization of fuzzy causal rule bases using fuzzy Boolean nets. Fuzzy Sets and Systems, 2007, 158(17): 1931-1946 doi: 10.1016/j.fss.2007.04.018 [55] Papageorgiou E I, Oikonomou P, Kannappan A. Bagged nonlinear Hebbian learning algorithm for fuzzy cognitive maps working on classification tasks. In: Proceedings of the 7th Hellenic Conference on Artificial Intelligence. Lamia, Greece: Springer, 2012. 157−164 [56] Mateou N H, Moiseos M, Andreou A S. Multi-objective evolutionary fuzzy cognitive maps for decision support. In: Proceedings of the IEEE Congress on Evolutionary Computation. Edinburgh, UK: IEEE, 2005. 824−830 [57] Stach W, Kurgan L, Pedrycz W, Reformat M. Genetic learning of fuzzy cognitive maps. Fuzzy Sets and Systems, 2005, 153(3): 371-401 doi: 10.1016/j.fss.2005.01.009 [58] Parsopoulos K E, Papageorgiou E I, Groumpos P P, Vrahatis M N. A first study of fuzzy cognitive maps learning using particle swarm optimization. In: Proceedings of the Congress on Evolutionary Computation, 2003. CEC＇03. Canberra, Australia: IEEE, 2003. 1440−1447 [59] Oikonomou P, Papageorgiou E I. Particle swarm optimization approach for fuzzy cognitive maps applied to autism classification. In: Proceedings of the 9th IFIP International Conference on Artificial Intelligence Applications and Innovations. Paphos, Cyprus: Springer, 2013. 516−526 [60] Vaščák J. Approaches in adaptation of fuzzy cognitive maps for navigation purposes. In: Proceedings of the IEEE 8th International Symposium on Applied Machine Intelligence and Informatics (SAMI). Herlany, Slovakia: IEEE, 2010. 31−36 [61] Chen Y, Mazlack L, Lu L. Learning fuzzy cognitive maps from data by ant colony optimization. In: Proceedings of the 14th Annual Conference on Genetic and Evolutionary Computation. Philadelphia, USA: ACM, 2012. 9−16 [62] Yesil E, Ozturk C, Dodurka M F, Sakalli A. Fuzzy cognitive maps learning using artificial bee colony optimization. In: Proceedings of the IEEE International Conference on Fuzzy Systems (FUZZ-IEEE). Hyderabad, India: IEEE, 2013. 1−8 [63] Ahmadi S, Forouzideh N, Alizadeh S, Papageorgiou E. Learning fuzzy cognitive maps using imperialist competitive algorithm. Neural Computing and Applications, 2015, 26(6): 1333-1354 doi: 10.1007/s00521-014-1797-4 [64] Juszczuk P, Froelich W. Learning fuzzy cognitive maps using a differential evolution algorithm. Polish Journal of Environmental Studies, 2009, 12(3B): Article No. 108 [65] Ghazanfari M, Alizadeh S, Fathian M, Koulouriotis D E. Comparing simulated annealing and genetic algorithm in learning FCM. Applied Mathematics and Computation, 2007, 192(1): 56-68 doi: 10.1016/j.amc.2007.02.144 [66] Alizadeh S, Ghazanfari M. Learning FCM by chaotic simulated annealing. Chaos, Solitons & Fractals, 2009, 41(3): 1182-1190 [67] Yesil E, Urbas L. Big bang-big crunch learning method for fuzzy cognitive maps. International Journal of Computer and Information Engineering, 2010, 4(11): 1756-1765 [68] Ahmadi S, Forouzideh N, Yeh C H, Martin R, Papageorgiou E. A first study of fuzzy cognitive maps learning using cultural algorithm. In: Proceedings of the 9th IEEE Conference on Industrial Electronics and Applications. Hangzhou, China: IEEE, 2014. 2023−2028 [69] 胡运杰, 邓燕妮. 基于变异算子改进蚁群算法学习的模糊认知图. 科学技术与工程, 2018, 18(7): 203-207 doi: 10.3969/j.issn.1671-1815.2018.07.036Hu Yun-Jie, Deng Yan-Ni. Learning fuzzy cognitive maps by ant colony algorithm improved by mutation operator. Science Technology and Engineering, 2018, 18(7): 203-207 doi: 10.3969/j.issn.1671-1815.2018.07.036 [70] Zou X M, Liu J. A mutual information-based two-phase memetic algorithm for large-scale fuzzy cognitive map learning. IEEE Transactions on Fuzzy Systems, 2018, 26(4): 2120-2134 doi: 10.1109/TFUZZ.2017.2764445 [71] Salmeron J L, Mansouri T, Moghadam M R S, Mardani A. Learning fuzzy cognitive maps with modified asexual reproduction optimisation algorithm. Knowledge-Based Systems, 2019, 163: 723-735 doi: 10.1016/j.knosys.2018.09.034 [72] Chen Y, Mazlack L J, Minai A A, Lu L J. Inferring causal networks using fuzzy cognitive maps and evolutionary algorithms with application to gene regulatory network reconstruction. Applied Soft Computing, 2015, 37: 667-679 doi: 10.1016/j.asoc.2015.08.039 [73] Stach W, Kurgan L, Pedrycz W. A divide and conquer method for learning large fuzzy cognitive maps. Fuzzy Sets and Systems, 2010, 161(19): 2515-2532 doi: 10.1016/j.fss.2010.04.008 [74] Stach W, Kurgan L, Pedrycz W. Parallel learning of large fuzzy cognitive maps. In: Proceedings of the International Joint Conference on Neural Networks. Orlando, USA: 2007. 1584−1589 [75] Liu J, Chi Y X, Zhu C. A dynamic multiagent genetic algorithm for gene regulatory network reconstruction based on fuzzy cognitive maps. IEEE Transactions on Fuzzy Systems, 2016, 24(2): 419-431 doi: 10.1109/TFUZZ.2015.2459756 [76] Chi Y X, Liu J. Reconstructing gene regulatory networks with a memetic-neural hybrid based on fuzzy cognitive maps. Natural Computing, 2019, 18(2): 301-312 doi: 10.1007/s11047-016-9547-4 [77] Liu J, Chi Y X, Liu Z D, He S. Ensemble multi-objective evolutionary algorithm for gene regulatory network reconstruction based on fuzzy cognitive maps. CAAI Transactions on Intelligence Technology, 2019, 4(1): 24-36 doi: 10.1049/trit.2018.1059 [78] Liang W L, Zhang Y J, Liu X Q, Yin H, Wang J P, Yang Y Y. Towards improved multifactorial particle swarm optimization learning of fuzzy cognitive maps: a case study on air quality prediction. Applied Soft Computing, 2022, 130: Article No. 109708 doi: 10.1016/j.asoc.2022.109708 [79] Poczeta K, Kubuś Ł, Yastrebov A, Papageorgiou E I. Application of fuzzy cognitive maps with evolutionary learning algorithm to model decision support systems based on real-life and historical data. Recent Advances in Computational Optimization. Cham: Springer, 2018. 153−175 [80] Chi Y X, Liu J. Learning of fuzzy cognitive maps with varying densities using a multiobjective evolutionary algorithm. IEEE Transactions on Fuzzy Systems, 2016, 24(1): 71-81 doi: 10.1109/TFUZZ.2015.2426314 [81] Wu K, Liu J. Learning large-scale fuzzy cognitive maps based on compressed sensing and application in reconstructing gene regulatory networks. IEEE Transactions on Fuzzy Systems, 2017, 25(6): 1546-1560 doi: 10.1109/TFUZZ.2017.2741444 [82] Lu W, Feng G L, Liu X D, Pedrycz W, Zhang L Y, Yang J H. Fast and effective learning for fuzzy cognitive maps: a method based on solving constrained convex optimization problems. IEEE Transactions on Fuzzy Systems, 2020, 28(11): 2958-2971 doi: 10.1109/TFUZZ.2019.2946119 [83] Feng G L, Lu W, Pedrycz W, Yang J H, Liu X D. The learning of fuzzy cognitive maps with noisy data: a rapid and robust learning method with maximum entropy. IEEE Transactions on Cybernetics, 2021, 51(4): 2080-2092 doi: 10.1109/TCYB.2019.2933438 [84] Ding F Q, Luo C. Structured sparsity learning for large-scale fuzzy cognitive maps. Engineering Applications of Artificial Intelligence, 2021, 105: Article No. 104444 doi: 10.1016/j.engappai.2021.104444 [85] Vanhoenshoven F, Nápoles G, Froelich W, Salmeron J L, Vanhoof K. Pseudoinverse learning of fuzzy cognitive maps for multivariate time series forecasting. Applied Soft Computing, 2020, 95: Article No. 106461 doi: 10.1016/j.asoc.2020.106461 [86] Wu K, Liu J. Robust learning of large-scale fuzzy cognitive maps via the lasso from noisy time series. Knowledge-Based Systems, 2016, 113: 23-38 doi: 10.1016/j.knosys.2016.09.010 [87] Yang S C, Liu J. Time-series forecasting based on high-order fuzzy cognitive maps and wavelet transform. IEEE Transactions on Fuzzy Systems, 2018, 26(6): 3391-3402 doi: 10.1109/TFUZZ.2018.2831640 [88] Shen F, Liu J, Wu K. Multivariate time series forecasting based on elastic net and high-order fuzzy cognitive maps: a case study on human action prediction through EEG signals. IEEE Transactions on Fuzzy Systems, 2021, 29(8): 2336-2348 doi: 10.1109/TFUZZ.2020.2998513 [89] Gao R B, Du L, Yuen K F. Robust empirical wavelet fuzzy cognitive map for time series forecasting. Engineering Applications of Artificial Intelligence, 2020, 96: Article No. 103978 doi: 10.1016/j.engappai.2020.103978 [90] Liu Z D, Liu J. A robust time series prediction method based on empirical mode decomposition and high-order fuzzy cognitive maps. Knowledge-Based Systems, 2020, 203: Article No. 106105 doi: 10.1016/j.knosys.2020.106105 [91] Wu K, Liu J, Liu P H, Shen F. Online fuzzy cognitive map learning. IEEE Transactions on Fuzzy Systems, 2021, 29(7): 1885-1898 doi: 10.1109/TFUZZ.2020.2988845 [92] Papageorgiou E I, Groumpos P P. A new hybrid method using evolutionary algorithms to train fuzzy cognitive maps. Applied Soft Computing, 2005, 5(4): 409-431 doi: 10.1016/j.asoc.2004.08.008 [93] Zhu Y C, Zhang W. An integrated framework for learning fuzzy cognitive map using RCGA and NHL algorithm. In: Proceedings of the 4th International Conference on Wireless Communications, Networking and Mobile Computing. Dalian, China: IEEE, 2008. 1−5 [94] Yazdi M N, Lucas C. A hybrid method using PSO and NHL algorithms to train fuzzy cognitive maps. In: Proceedings of the 4th International IEEE Conference Intelligent Systems. Varna, Bulgaria: IEEE, 2008. 8−13 [95] Ren Z. Learning fuzzy cognitive maps by a hybrid method using nonlinear Hebbian learning and extended great deluge algorithm. In: Proceedings of the CEUR Workshop Proceedings, Proceedings of the 23rd Midwest Artificial Intelligence and Cognitive Science Conference. Cincinnati, USA: MAICS, 2012. 159−163 [96] Natarajan R, Subramanian J, Papageorgiou E I. Hybrid learning of fuzzy cognitive maps for sugarcane yield classification. Computers and Electronics in Agriculture, 2016, 127: 147-157 doi: 10.1016/j.compag.2016.05.016 [97] Madeiro S S, Von Zuben F J. Gradient-based algorithms for the automatic construction of fuzzy cognitive maps. In: Proceedings of the 11th International Conference on Machine Learning and Applications. Boca Raton, USA: IEEE, 2012. 344−349 [98] 李慧, 陈红倩, 马丽仪, 梁磊, 孙旸. 模糊认知图的算法改进与应用综述. 南京大学学报(自然科学), 2016, 52(4): 746-761Li Hui, Chen Hong-Qian, Ma Li-Yi, Liang Lei, Sun Yang. A review of algorithm improvement and application of fuzzy cognitive map. Journal of Nanjing University (Natural Sciences), 2016, 52(4): 746-761 [99] Wu K, Liu J. Learning large-scale fuzzy cognitive maps under limited resources. Engineering Applications of Artificial Intelligence, 2022, 116: Article No. 105376 doi: 10.1016/j.engappai.2022.105376 [100] Hatwágner M F, Kóczy L T. Parameterization and concept optimization of FCM models. In: Proceedings of the IEEE International Conference on Fuzzy Systems (FUZZ-IEEE). Istanbul, Turkey: IEEE, 2015. 1−8 [101] Hatwágner M F, Yesil E, Dodurka M F, Papageorgiou E, Urbas L, Kóczy L T. Two-stage learning based fuzzy cognitive maps reduction approach. IEEE Transactions on Fuzzy Systems, 2018, 26(5): 2938-2952 doi: 10.1109/TFUZZ.2018.2793904 [102] Liu J, Chi Y X, Zhu C, Jin Y C. A time series driven decomposed evolutionary optimization approach for reconstructing large-scale gene regulatory networks based on fuzzy cognitive maps. BMC Bioinformatics, 2017, 18(1): Article No. 241 doi: 10.1186/s12859-017-1657-1 [103] Yang Z, Liu J. Learning of fuzzy cognitive maps using a niching-based multi-modal multi-agent genetic algorithm. Applied Soft Computing, 2019, 74: 356-367 doi: 10.1016/j.asoc.2018.10.038 [104] Haritha K, Judy M V, Papageorgiou K, Papageorgiou E. Distributed genetic algorithm for community detection in large graphs with a parallel fuzzy cognitive map for focal node identification. Applied Sciences, 2023, 13(15): Article No. 8735 doi: 10.3390/app13158735 [105] Douali N, Papageorgiou E I, De Roo J, Cools H, Jaulent M C. Clinical decision support system based on fuzzy cognitive maps. Journal of Computer Science & Systems Biology, 2015, 8(1): 112-120 [106] Zhai D S, Chang Y N, Zhang J. An application of fuzzy cognitive map based on active Hebbian learning algorithm in credit risk evaluation of listed companies. In: Proceedings of the International Conference on Artificial Intelligence and Computational Intelligence. Shanghai, China: IEEE, 2009. 89−93 [107] Kannappan A, Tamilarasi A, Papageorgiou E I. Analyzing the performance of fuzzy cognitive maps with non-linear Hebbian learning algorithm in predicting autistic disorder. Expert Systems with Applications, 2011, 38(3): 1282-1292 doi: 10.1016/j.eswa.2010.06.069 [108] Beena P, Ganguli R. Structural damage detection using fuzzy cognitive maps and Hebbian learning. Applied Soft Computing, 2011, 11(1): 1014-1020 doi: 10.1016/j.asoc.2010.01.023 [109] Anninou A P, Groumpos P P. Modeling of Parkinson's disease using fuzzy cognitive maps and non-linear Hebbian learning. International Journal on Artificial Intelligence Tools, 2014, 23(5): Article No. 1450010 doi: 10.1142/S0218213014500109 [110] Antigoni A P, Peter G P. Non linear Hebbian learning techniques and fuzzy cognitive maps in modeling the Parkinson＇s disease. In: Proceedings of the 21st Mediterranean Conference on Control and Automation. Platanias, Greece: IEEE, 2013. 709−715 [111] Sivabalaselvamani D, Harishankher A S, Rahunathan L, Tamilarasi A. Accident identification using fuzzy cognitive maps with adaptive non-linear Hebbian learning algorithm. In: Proceedings of the International Conference on Intelligent Computing Systems (ICICS 2017-Dec 15th-16th 2017) Organized by Sona College of Technology. Salem, India: 2017. [112] Senniappan V, Subramanian J, Papageorgiou E I, Mohan S. Application of fuzzy cognitive maps for crack categorization in columns of reinforced concrete structures. Neural Computing & Applications, 2017, 28: 107-117 [113] Subramanian J, Karmegam A, Papageorgiou E, Papandrianos N, Vasukie A. An integrated breast cancer risk assessment and management model based on fuzzy cognitive maps. Computer Methods and Programs in Biomedicine, 2015, 118(3): 280-297 doi: 10.1016/j.cmpb.2015.01.001 [114] Chen J, Gao X D, Rong J, Gao X G. A situation awareness assessment method based on fuzzy cognitive maps. Journal of Systems Engineering and Electronics, 2022, 33(5): 1108-1122 doi: 10.23919/JSEE.2022.000108 [115] Orang O, de Lima e Silva P C, Guimarães F G. Time series forecasting using fuzzy cognitive maps: A survey. Artificial Intelligence Review, 2023, 56(8): 7733-7794 doi: 10.1007/s10462-022-10319-w [116] Froelich W, Papageorgiou E I. Extended evolutionary learning of fuzzy cognitive maps for the prediction of multivariate time-series. Fuzzy Cognitive Maps for Applied Sciences and Engineering. Berlin, Heidelberg: Springer, 2014. 121−131 [117] Luo C, Zhang N N, Wang X Y. Time series prediction based on intuitionistic fuzzy cognitive map. Soft Computing, 2020, 24(9): 6835-6850 doi: 10.1007/s00500-019-04321-8 [118] Liu X Q, Zhang Y J, Wang J P, Huang H, Yin H. Multi-source and multivariate ozone prediction based on fuzzy cognitive maps and evidential reasoning theory. Applied Soft Computing, 2022, 119: Article No. 108600 doi: 10.1016/j.asoc.2022.108600 [119] Qin D W, Peng Z, Wu L F. Deep attention fuzzy cognitive maps for interpretable multivariate time series prediction. Knowledge-Based Systems, 2023, 275: Article No. 110700 doi: 10.1016/j.knosys.2023.110700 [120] Homenda W, Jastrzebska A, Pedrycz W. Joining concept＇s based fuzzy cognitive map model with moving window technique for time series modeling. In: Proceedings of the 13th IFIP International Conference on Computer Information Systems and Industrial Management. Ho Chi Minh City, Vietnam: Springer, 2014. 397−408 [121] Yuan K X, Liu J, Yang S C, Wu K, Shen F. Time series forecasting based on kernel mapping and high-order fuzzy cognitive maps. Knowledge-Based Systems, 2020, 206: Article No. 106359 doi: 10.1016/j.knosys.2020.106359 [122] Feng G L, Zhang L Y, Yang J H, Lu W. Long-term prediction of time series using fuzzy cognitive maps. Engineering Applications of Artificial Intelligence, 2021, 102: Article No. 104274 doi: 10.1016/j.engappai.2021.104274 [123] Wu K, Liu J, Liu P H, Yang S C. Time series prediction using sparse autoencoder and high-order fuzzy cognitive maps. IEEE Transactions on Fuzzy Systems, 2020, 28(12): 3110-3121 [124] Feng G L, Lu W, Yang J H. Time series modeling with fuzzy cognitive maps based on partitioning strategies. In: Proceedings of the IEEE International Conference on Fuzzy Systems (FUZZ-IEEE). Luxembourg: IEEE, 2021. 1−6 [125] Feng G L, Lu W, Yang J H. The modeling of time series based on least square fuzzy cognitive map. Algorithms, 2021, 14(3): Article No. 69 doi: 10.3390/a14030069 [126] Wang Y H, Yu F S, Homenda W, Pedrycz W, Jastrzebska A, Wang X. Training novel adaptive fuzzy cognitive map by knowledge-guidance learning mechanism for large-scale time-series forecasting. IEEE Transactions on Cybernetics, 2023, 53(7): 4665-4676 doi: 10.1109/TCYB.2021.3132704 [127] Salmeron J L, Froelich W. Dynamic optimization of fuzzy cognitive maps for time series forecasting. Knowledge-Based Systems, 2016, 105: 29-37 doi: 10.1016/j.knosys.2016.04.023 [128] Homenda W, Jastrzebska A. Clustering techniques for fuzzy cognitive map design for time series modeling. Neurocomput- ing, 2017, 232: 3−15 [129] Szwed P. Classification and feature transformation with fuzzy cognitive maps. Applied Soft Computing, 2021, 105: Article No. 107271 doi: 10.1016/j.asoc.2021.107271 [130] Wu K, Yuan K X, Teng Y Z, Liu J, Jiao L C. Broad fuzzy cognitive map systems for time series classification. Applied Soft Computing, 2022, 128: Article No. 109458 doi: 10.1016/j.asoc.2022.109458 [131] Jastrzebska A, Nápoles G, Homenda W, Vanhoof K. Fuzzy cognitive map-driven comprehensive time-series classification. IEEE Transactions on Cybernetics, 2023, 128(2): 1348-1359 [132] Zhou X, Zhang H X. An algorithm of text categorization based on similar rough set and fuzzy cognitive map. In: Proceedings of the Fifth International Conference on Fuzzy Systems and Knowledge Discovery. Jinan, China: IEEE, 2008. 127−131 [133] Kannappan A, Papageorgiou E I. A new classification scheme using artificial immune systems learning for fuzzy cognitive mapping. In: Proceedings of the IEEE International Conference on Fuzzy Systems (FUZZ-IEEE). Hyderabad, India: IEEE, 2013. 1−8 [134] Froelich W, Wakulicz-Deja A. Mining temporal medical data using adaptive fuzzy cognitive maps. In: Proceedings of the 2nd Conference on Human System Interactions. Catania, Italy: IEEE, 2009. 16−23 [135] Froelich W, Papageorgiou E I, Samarinas M, Skriapas K. Application of evolutionary fuzzy cognitive maps to the long-term prediction of prostate cancer. Applied Soft Computing, 2012, 12(12): 3810-3817 doi: 10.1016/j.asoc.2012.02.005 [136] Papageorgiou E I, Poczȩta K, Laspidou C. Application of fuzzy cognitive maps to water demand prediction. In: Proceedings of the IEEE International Conference on Fuzzy Systems (FUZZ-IEEE). Istanbul, Turkey: IEEE, 2015. 1−8 [137] Poczeta K, Papageorgiou E I, Gerogiannis V C. Fuzzy cognitive maps optimization for decision making and prediction. Mathematics, 2020, 8(11): Article No. 2059 doi: 10.3390/math8112059 [138] Trappey A J C, Trappey C V, Wu C R. Genetic algorithm dynamic performance evaluation for rfid reverse logistic management. Expert Systems with Applications, 2010, 37(11): 7329-7335 doi: 10.1016/j.eswa.2010.04.026 [139] Georgopoulos V C, Stylios C D. Diagnosis support using fuzzy cognitive maps combined with genetic algorithms. In: Proceedings of the Annual International Conference of the IEEE Engineering in Medicine and Biology Society. Minneapolis, USA: IEEE, 2009. 6226−6229 [140] Homenda W, Jastrzebska A. Clustering techniques for fuzzy cognitive map design for time series modeling. Neurocomputing, 2017, 232: 3−15 [141] Qiao B H, Liu J, Wu P, Teng Y Z. Wind power forecasting based on variational mode decomposition and high-order fuzzy cognitive maps. Applied Soft Computing, 2022, 129: Article No. 109586 doi: 10.1016/j.asoc.2022.109586 [142] Li Y F, Liu J, Teng Y Z. A decomposition-based memetic neural architecture search algorithm for univariate time series forecasting. Applied Soft Computing, 2022, 130: Article No. 109714 doi: 10.1016/j.asoc.2022.109714 [143] Xia Y R, Wang J Z, Zhang Z Y, Wei D X, Yin L. Short-term PV power forecasting based on time series expansion and high- order fuzzy cognitive maps. Applied Soft Computing, 2023, 135: Article No. 110037 [144] Mohr S T. Software Design for a Fuzzy Cognitive Map Modeling Tool, Technical Report 66.698 Master＇s Project, Rensselaer Polytechnic Institute, USA, 1997. [145] The website of FCMappers. Net [Online], available: http://www.fcmappers.net/joomla/, June 19, 2023 [146] León M, Nápoles G, Rodriguez C, García M M, Bello R, Vanhoof K. A fuzzy cognitive maps modeling, learning and simulation framework for studying complex system. In: Proceedings of the 4th International Work-Conference on the Interplay Between Natural and Artificial Computation. La Palma, Spain: Springer, 2011. 243−256 [147] Jose A, Contreras J. The FCM designer tool. Fuzzy Cognitive Maps. Berlin, Heidelberg: Springer, 2010. 71−87 [148] Aguilar J. Multilayer cognitive maps in the resolution of problems using the FCM designer tool. Applied Artificial Intelligence, 2016, 30(7): 720-743 doi: 10.1080/08839514.2016.1214422 [149] Gray S A, Gray S, Cox L J, Henly-Shepard S. Mental modeler: A fuzzy-logic cognitive mapping modeling tool for adaptive environmental management. In: Proceedings of the 46th Hawaii International Conference on System Sciences. Wailea, USA: IEEE, 2013. 965−973 [150] De Franciscis D. JFCM: A Java library for FuzzyCognitive maps. Fuzzy Cognitive Maps for Applied Sciences and Engineering. Berlin, Heidelberg: Springer, 2014. 199−220 [151] Poczta K, Yastrebov A, Papageorgiou E I. Learning fuzzy cognitive maps using structure optimization genetic algorithm. In: Proceedings of the Federated Conference on Computer Science and Information Systems (FedCSIS). Lodz, Poland: IEEE, 2015. 547−554 [152] Papageorgiou E I, Poczeta K, Laspidou C. Hybrid model for water demand prediction based on fuzzy cognitive maps and artificial neural networks. In: Proceedings of the IEEE International Conference on Fuzzy Systems (FUZZ-IEEE). Vancouver, Canada: IEEE, 2016. 1523−1530 [153] Hagan M T, Menhaj M B. Training feedforward networks with the marquardt algorithm. IEEE Transactions on Neural Networks, 1994, 5(6): 989-993 doi: 10.1109/72.329697 [154] Nápoles G, Leon M, Grau I, Vanhoof K. Fuzzy cognitive maps tool for scenario analysis and pattern classification. In: Proceedings of the IEEE 29th International Conference on Tools With Artificial Intelligence (ICTAI). Boston, USA: IEEE, 2017. 644−651 [155] Nápoles G, Grau I, Bello R, Grau R. Two-steps learning of fuzzy cognitive maps for prediction and knowledge discovery on the hiv-1 drug resistance. Expert Systems with Applications, 2014, 41(3): 821-830 doi: 10.1016/j.eswa.2013.08.012 [156] Nápoles G, Bello R, Vanhoof K. How to improve the convergence on sigmoid fuzzy cognitive maps?. Intelligent Data Analysis, 2014, 18(6S): S77-S88 doi: 10.3233/IDA-140710 [157] Nápoles G, Papageorgiou E, Bello R, Vanhoof K. On the convergence of sigmoid fuzzy cognitive maps. Information Sciences, 2016, 349-350: 154-171 doi: 10.1016/j.ins.2016.02.040 [158] Mkhitaryan S, Giabbanelli P, Wozniak M K, Nápoles G, De Vries N, Crutzen R. FCMpy: A python module for constructing and analyzing fuzzy cognitive maps. PeerJ Computer Science, 2022, 8: Article No. e1078 doi: 10.7717/peerj-cs.1078 期刊类型引用(2)
1. 王春艳，金鹏，桂琪皓. 区间二型模糊神经网络遥感图像分割方法. 测绘科学. 2024(05): 84-98 . 
百度学术2. 李满江，鞠传森，任鹏. 智能多语种新闻采编系统的多模态数据融合研究. 信息技术与信息化. 2024(08): 202-206 . 百度学术其他类型引用(1)
-
下载:
计量
- 文章访问数: 1017
- HTML全文浏览量: 556
- PDF下载量: 410
- 被引次数: 3
