-
摘要: 网络入侵样本数据特征间存在未知的非欧氏空间图结构关系, 深入挖掘并利用该关系可有效提升网络入侵检测方法的检测效能. 对此, 设计一种元图神经网络(Meta graph neural network, MGNN), MGNN能够对样本数据特征内部隐藏的图结构关系进行挖掘与利用, 在应对入侵检测问题时优势明显. 首先, 设计元图网络层(Meta graph network layer, MGNL), 挖掘出样本数据特征内部隐藏的图结构关系, 并利用该关系对样本数据的原始特征进行更新; 然后, 针对MGNN存在的图信息传播过程中父代信息湮灭现象提出反信息湮灭策略, 并设计了注意力损失函数, 简化MGNN中实现注意力机制的运算过程. KDD-NSL、UNSW-NB15、CICDoS2019数据集上的实验表明, 与经典深度学习算法深度神经网络 (Deep neural network, DNN)、卷积神经网络(Convolutional neural network, CNN)、循环神经网络(Recurrent neural network, RNN)、长短期记忆(Long short-term memory, LSTM)和传统机器学习算法支持向量机(Support vector machine, SVM)、决策树(Decision tree, DT)、随机森林(Random forest, RF)、K-最近邻(K-nearest neighbor, KNN)、逻辑回归(Logistic regression, LR)相比, MGNN在准确率、F1值、精确率、召回率评价指标上均具有良好效果.Abstract: There is an unknown non-European spatial graph structure relationship among network intrusion sample data characteristics. Deeply digging and using this relationship can effectively improve the detection efficiency of network intrusion detection methods. In this regard, this paper designs a meta graph neural network (MGNN). MGNN can mine and utilize the hidden graph structure relationships within the sample data features, which has obvious advantages in dealing with intrusion detection problems. First, the meta graph network layer (MGNL) meta graph network layer (MGNL) is designed to mine the hidden graph structure relationship within the sample data features, and use this relationship to update the original features of the sample data; then, the parental information is annihilated in the process of dissemination of graph information that exists in MGNN phenomenon proposes an anti-information annihilation strategy, and designs an attention loss function to simplify the calculation process of the attention mechanism in MGNN. Experiments on the KDD-NSL, UNSW-NB15, and CICDoS2019 datasets show that compared with the classic deep learning algorithms DNN (deep neural network), CNN (convolutional neural network), RNN (recurrent neural network), LSTM (long short-term memory) and traditional machine learning algorithms SVM (support vector machine), DT (decision tree), RF (random forest), KNN (K-nearest neighbor), LR (logistic regression), MGNN has an accuracy rate, F1 value, accuracy rate, recall rate evaluation indicators have good results.
-
Key words:
- Intrusion detection /
- meta graph neural network (MGNN) /
- deep learning /
- graph structure
-
同步(一致)行为是生物、生态、工程和社会科学等领域中最普遍的群聚现象之一. 在过去十几年里, 耦合系统中仅由局部交互引起的同步问题引起了大量研究者的关注[1-5]. 在自然和工程系统中, 合作、竞争关系普遍存在, 且很多实际系统同时存在合作与竞争关系, 例如社会网络[6]、存在合作与竞争的种群[7]、竞争性细胞神经元[8]和个性化推荐[9]. 为了描述系统中的合作与竞争关系, 研究者们引入了符号图, 其中正数边表示合作关系, 负数边表示竞争关系.
目前, 越来越多的研究人员开始利用符号图来研究网络中的各种群聚现象[10-16]. 在文献[10]中, Altafini研究了定义在符号图上的一个积分器网络, 并得到了关于双向一致的一些定理. 这里的双向一致表示所有的智能体都收敛到一个模量相等、符号不同的值. 其中, 作者假设符号图是结构平衡的, 即所有节点可以被分为两个阵营, 每个阵营内部是合作关系, 两个阵营之间是竞争关系. 这个假设对双向一致性结论的得出至关重要. 文献[10]的结论推广到了更一般的线性多智能体系统[11-13], 其中每个智能体都由一个线性时不变系统表示. 例如对于有向图上的积分器网络, 文献[13] 在符号图含有生成树的情况下得到了达到双向一致的一些充分条件. 很多研究者陆续对各种特定网络展开了双向同步问题研究, 例如双向聚集[14]、区间双向一致[15]、含有时滞的双向一致[16]等. 基于压缩性分析, 文献[17] 研究了耦合非线性网络的双向同步问题. 对于耦合离散系统构成的网络, 其双向同步问题也受到了很多研究者的关注[18-19]. 对于更多的关于双向同步的研究, 可以参见综述文献[20-21].
在实际系统中, 随着时间的推移, 网络的拓扑结构可能会发生变化. 而且, 网络所形成的符号图可能不满足结构平衡特性. 例如, 在社会网络中, 个体之间的关系可能会由合作(友谊)到竞争(敌意)变化, 反之亦然; 在多党制的国家, 很多成员经常会从一个党派转向另一个党派. 当符号图不满足结构平衡性时, 网络不能达到双向同步. 在文献[22]中, 作者利用矩阵的最终为正性质, 分别研究了连续和离散时间舆论动力学模型的动力学行为. 当符号图随着时间变化的时候, 网络构成一个切换系统. 文献[23-24]考虑了所有符号图在结构上都是平衡的, 且敌对阵营的成员随着时间的推移是不变的情况. 具体地, 在文献[23]中, 作者得到了使非线性系统达到模同步的充分条件; 在文献[24]中, 作者设计了一种牵引控制, 使闭环系统实现双向同步. 如果这些符号图中的节点随着时间变化, 那么双向同步将不可能达到.
本文将研究含有对抗性关系和时变拓扑的耦合离散系统的有界双向同步(Bounded bipartite synchronization, BBS)问题. 考虑以下情形: 1)在某些时刻, 所有个体不能被分为两个敌对阵营; 2)虽然所有个体可以被划分为两个阵营. 但所形成敌对阵营中的成员会随时间改变. 当情形1)和2)出现时, 将这种耦合离散系统看成是一个特定网络的扰动, 在这个特定网络中, 所有的个体都可以被分成两个敌对阵营, 且二者中的成员随着时间的推移会保持不变. 在该特定网络的所有符号图都是连通的条件下, 本文得到了使系统达到有界双向同步的一些充分条件. 最后, 利用一个数值例子来说明所得结论的有效性.
本文符号说明如下:
$ \vert x \vert $ 表示实数$ x $ 的绝对值,$ {\bf Z}^+ $ 表示正整数域,$ \vert\vert {\boldsymbol y}\vert\vert $ 表示向量$ {\boldsymbol y} $ 的范数,$ I_N $ 表示$ N $ 维单位矩阵,$ {\boldsymbol 1}_N $ 表示元素都为$ 1 $ 的$ N $ 维列向量, 运算符$ \otimes $ 表示Kronecker积. 对于矩阵$ A $ , 符号$ \lambda _{\min}(A) $ ,$ \lambda_{\max}(A) $ 分别表示矩阵$ A $ 的最小特征值和最大特征值.${\rm diag}\{{\cdot}\}$ 表示一个对角矩阵,$ {\rm sgn}(\cdot ) $ 代表符号函数. 如果对于每个固定的$ s $ , 函数$ \beta \left( {r,\;s} \right) $ 是严格递增的且$ \beta \left( {\rm{0},\;s} \right)\equiv \rm{0} $ , 对于每个固定的$ r, $ 函数$ \beta \left( {r,\;s} \right) $ 是严格递减的且$\lim\nolimits_{s\to \infty } \beta \left( {r,\;s} \right) = 0, $ 那么函数$ \beta \left( {r,\;s} \right) $ 称为 KL类函数.1. 问题描述
考虑包含
$ N $ 个离散系统的网络$$ x_i (k+1) = Ax_i (k)+Bu_i (k) $$ (1) 其中,
$ i = 1,2,\cdots ,N. $ $ x_i \in {\bf R}^n $ 是第$ i $ 个节点的状态, A, B 是常数矩阵,$ u_i(k) $ 是控制输入. 假设网络的拓扑在$ p $ 个无向符号图$G\left( {E^k}\right)$ (符号图定义见附录A),$k = 1,2,\cdots ,p$ 之间切换, 其中切换信号是$\sigma (k):{\bf Z}^+\to $ $ P: = \{1,\;2,\;\cdots \;,\rm{}p\}$ , 它是一个分段右连续的函数. 控制输入$ u_i (k) $ 设计为$$\begin{split} u_i (k) = K\sum\limits_{i = 1}^N {\left| {e_{ij}^{\sigma (k)} } \right|} \left( {{\rm sgn}\left( {e_{ij}^{\sigma (k)} } \right)x_j (k)-x_i (k)} \right)\;\;\; \\[-20pt]\end{split}$$ (2) 其中,
$ K $ 是一个需要设计的增益矩阵,$ e_{ij} $ 是图$ G({E^k} ) $ 的边值. 令$x = [{x_1^{\rm T} \;\cdots\;x_N^{\rm T}} ]^{\rm T}$ ,$\{k_i:i = 0,1,\cdots\}$ 是$ \sigma (k) $ 的切换时刻. 存在正常数$ T>1 $ , 使得$ k_{i+1} -k_i \ge T , $ $ \forall i\ge 0. $ 注1. 网络在切换信号下构成一个切换系统. 本文中要求存在正常数
$ T>1 $ , 使得$ k_{i+1} -k_i \ge T $ ,$ \forall i\ge 0 $ . 这里的$ T>1 $ 可以看成是驻留时间. 如果没有驻留时间, 那么在有限时间内可能会有无限次切换, 对于系统的收敛性会有很大影响.通常来说, 如果符号图结构平衡, 那么其所有节点可以划分为两个敌对阵营, 其中每个阵营中的个体之间的关系是合作的, 属于不同阵营的个体之间的关系是对立的. 对于符号图
$ G({E^k} ),\,k = 1,2,\cdots,p $ , 可能存在以下情况: 1)虽然每一个符号图都满足结构平衡, 即每个符号图都可以划分为两个敌对阵营, 但是每一个符号图的两个敌对阵营中的个体是不一样的, 例如在多党派执政的国家, 一些个体随着时间变化从一个阵营转移到另一个阵营; 2)可能存在某些不满足结构平衡的符号图. 在这些情况下, 网络很难达到双向同步. 为了研究这两种情况下的网络的同步问题, 将这些符号图看成是某些特定结构平衡符号图的扰动. 具体地, 假设符号图$ G( {E^k} ) $ 的邻接矩阵可以分为两个邻接矩阵, 即$ E^k = \bar{E}^k+w^k $ , 其中,$ \bar {E}^k $ 是关于符号图$ G({\bar{E}^k}) $ 的一个邻接矩阵. 把控制输入(2)中的符号图改为$ G( {\bar {E}^k} ) $ 可以得到一个新的输入$$\begin{split} \bar {u}_i (k) = K\sum\limits_{i = 1}^N {\left| {\bar {e}_{ij}^{\sigma (k)} } \right|} \left( {{\rm sgn}\left( {\bar {e}_{ij}^{\sigma (k)} } \right)x_j (k)-x_i (k)} \right) \\[-12pt]\end{split}$$ (3) 因此, 由符号图
$ G\left( {E^k}\right) $ 形成的耦合系统(1)和(2)可以看成是由符号图$ G( {\bar {E}^k}) $ 形成的耦合系统(1)和(3)的扰动. 而且, 假设符号图$ G( {\bar{E}^k} ) $ ,$ k = 1,2, \cdots , $ $ p $ 的节点$ \{1,2,\cdots ,N\} $ 可以划分为两个敌对阵营$ V_1 $ ,$ V_2 $ , 且存在一个符号矩阵$ \Psi\; (\Psi = {\rm diag}\{\sigma _1 ,\cdots ,\sigma _N \},$ $ \,\sigma _i \in \{\pm 1\}) $ , 使得矩阵$ \Psi \bar {E}^k\Psi $ ,$ k = 1,2,\cdots ,p $ 都是非负矩阵.接下来, 本文将研究当控制输入为式(2)时, 网络(1)将在何种条件下达到有界双向同步. 双向同步和有界双向同步的定义分别如下.
定义1. 如果存在依赖于非零初始条件的函数
$ \zeta(k)\ne 0, $ 使得以下条件成立:$\lim\nolimits_{k\to \infty }( {x_i(k)-\zeta(k)} ) = $ $ 0 ,$ $ \forall i\in V_1, \lim\nolimits_{k\to \infty } \left({x_i (k)+\zeta(k)}\right) = 0, \forall i\in V_2, $ 那么控制输入为式(3)的网络(1)达到双向同步.定义2. 如果满足以下两个条件, 那么控制输入为式(2)的网络(1)达到有界双向同步: 1)网络(1)在形式为式(3)的控制输入下达到双向同步; 2)存在一个正常数
$ \xi $ (依赖于非零初始条件), 一个KL类函数$ \beta (\cdot ,\cdot ) $ (依赖于图$ G( {E^k}) $ ,$ k = 1,2,\cdots ,p )$ , 使得${\vert \vert }\delta (k){\vert \vert }\le \beta $ $ \left(\vert \vert \delta(0)\vert \vert , t\right)+\xi $ 成立, 其中$ \delta (k) = \;x(k)-$ $\frac{1}{N}{\rm {\bf 1}}_N \otimes {\rm {\bf 1}}_N^{\rm T} \otimes I_n x(k). $ 2. 主要结论
本节将研究以下两种情形: 1)在某些时刻, 所有个体不能划分为两个敌对阵营; 2)虽然所有个体可以划分为两个阵营, 但形成的敌对阵营中的成员会随时间改变. 如果符号图
$ G( {\bar {E}^k} ) $ ,$ k = 1,2,\cdots ,\;p $ 都是连通的, 那么可以得到条件使得控制输入为式(2)的网络(1)达到有界双向同步. 为此, 给出以下假设:假设1. 假设矩阵
$ A $ 的所有特征值是模为1的半单特征值, 即所有约当块都是一维的.进而, 针对存在对抗关系和时变拓扑的耦合离散系统, 可以得到定理1.
定理1. 考虑网络(1), 假定假设1成立且符号图
$G( {\bar {E}^k})$ ,$ k = 1,2,\cdots ,p $ 连通. 如果存在$ \mu $ 使得不等式(4)成立(其中$ \Delta ^j = L^j-\bar {L}^j $ ),$$\begin{split} 0<\mu \le \mathop {\min }\limits_{\forall j\in P} \left\{ {\frac{1}{\left ( {\left\| {\Psi \bar {L}^j\Psi } \right\|+\left\| {\Delta ^j} \right\|} \right)\left\| {\left( {\bar {A}^{\rm T}\bar {B}\bar {B}^{\rm T}\bar {A}} \right)} \right\|}} \right\}\;\; \;\\[-20pt]\end{split}$$ (4) 那么控制输入为式(2)的网络(1)在
$ K = \mu B^{\rm T}P^{\rm T}PA $ 时可以达到有界双向同步, 其中,$ \bar {A} = PAP^{-1} $ ,$ \bar {B} = $ $ PB $ , 可逆矩阵$ P $ 使得$ \bar {A} $ 是$ A $ 的约当标准型. 而且, 其最终界为$ \xi = \sqrt {\frac{\sigma _2 }{\sigma _1 }} \frac{\left\| {x(0)} \right\|( {\rm{1+}\sqrt {\rm{1+}\theta \alpha } } )}{\theta \alpha } ,$ 其中$ 0< \theta < $ $ 1 ,\; \alpha =\frac{\mu \lambda _2 \lambda _{\min } ( {\bar {A}^{\rm T}\bar {B}\bar {B}^{\rm T}\bar {A}} )}{2},\; \sigma _1 = \lambda _{\min },\; \sigma _2 = \lambda _{\max }\; (P^{\rm{T}}P), $ $ \lambda _2 = $ $ \min _{k = 1,2,\cdots ,p} \lambda _2( {\bar {L}^k}). $ 证明. 选择
$ K = \mu B^{\rm T}P^{\rm T}PA $ , 则控制输入为式(2)的网络(1)变为$$ \begin{split} x_i (k+1) =\;& Ax_i (k)+\mu BB^{\rm T}P^{\rm T}PA\times\\[2.5pt] &\sum\limits_{j = 1}^N {\left| {e_{ij}^{\sigma (k)} } \right|} \left[ {{\rm sgn}\left( {e_{ij}^{\sigma (k)} } \right)x_j (k)-x_i (k)} \right] \\[-14pt]\end{split} $$ (5) 其中,
$ i = 1,2,\cdots ,N $ . 式(5)可以写成如下所示的紧凑形式.$$ \begin{split}&x(k+1)= \\[2.5pt] &\qquad\left[{\left( {I_N \otimes A} \right)-L^{\sigma (k)}\otimes\left( {\mu BB^{\rm T}P^{\rm T}PA} \right)}\right]x(k) \end{split} $$ (6) 令
$ \bar {x}(k) = \left( {I_N \otimes P} \right)x(k) $ , 那么$$\begin{split} \bar {x}(k+1) = \left( {\left( {I_N \otimes \bar {A}} \right)-L^{\sigma (k)}\otimes \left( {\mu \bar {B}\bar {B}^{\rm T}\bar {A}} \right)} \right)\bar {x}(k)\;\; \\[-15pt]\end{split}$$ (7) 令
$ V_1 \left( {\bar {x}(k)} \right) = \frac{1}{2}\bar {x}^{\rm T}(k)\bar {x}(k) $ , 那么$ V_1 $ 沿着式(7)的差分满足$$ \begin{split} &V_1\left( {\bar {x}(k+1)} \right)-V_1 \left( {\bar {x}(k)} \right)= \\[2.5pt] &\qquad-\frac{\mu }{2}\bar {x}^{\rm T}(k)\left( {L^{\sigma (k)}\otimes \left( {\bar {A}^{\rm T}\bar {B}\bar {B}^{\rm T}\bar {A}} \right)} \right)\times\\[2.5pt] &\qquad\left( {2I_N \otimes I_n -\mu L^{\sigma (k)} \otimes \left( {\bar {A}^{\rm T}\bar {B}\bar {B}^{\rm T}\bar {A}} \right)} \right)\bar {x}(k) \end{split} $$ (8) 基于条件(4), 可得
$$ \begin{split} &\left\| {\left( {2I_N \otimes I_n -\mu L^{\sigma (k)}\otimes \left( {\bar {A}^{\rm T}\bar {B}\bar {B}^{\rm T}\bar {A}} \right)} \right)} \right\|\ge\\[2.5pt] &\qquad 2-\left\| {\mu L^{\sigma (k)} \otimes \left( {\bar {A}^{\rm T}\bar {B}\bar {B}^{\rm T}\bar {A}} \right)} \right\|\ge 2-1 = 1\\[2.5pt] &V_1 \left( {\bar {x}(k+1)} \right)-V_1 \left( {\bar {x}(k)} \right)\le\\[2.5pt] &\qquad-\frac{\mu }{2}\bar {x}^{\rm T}(k)\left( {L^{\sigma (k)}\otimes \left( {\bar {A}^{\rm T}\bar {B}\bar {B}^{\rm T}\bar {A}} \right)} \right)\bar {x}(k)\le 0 \end{split} $$ (9) 即得
$ V_1 \left( {\bar {x}(k)} \right) $ 是非递增的, 且有$ \left\| {\bar {x}(k)} \right\|\le \left\| {\bar {x}(0)} \right\| $ . 令$ \bar {y}(k) = \left( {\Psi \otimes P} \right)x(k) $ , 在控制输入为式(3)时, 形成的闭环系统可表示为$$ \begin{split} &\bar {y}(k+1)=\\ & \qquad \left( {\left( {I_N \otimes \bar {A}} \right) - \left( {\Psi \bar {L}^{\sigma (k)}\Psi } \right) \otimes \left( {\mu \bar {B}\bar {B}^{\rm T}\bar {A}} \right)} \right)\bar {y}(k) \end{split} $$ (10) 由于图
$ G( {\bar {E}^k} ) , $ $k = 1,2,\cdots ,p$ 的节点$\{i = 1,2, \cdots , $ $ N\}$ 可划分为两个敌对阵营$ V_1 $ 和$ V_2 $ , 且图$ G( {\bar {E}^k}), $ $ k = 1,$ $ 2,\cdots ,p $ 是连通的, 基于定理1[25], 可知网络(1)和(3)在任意切换信号下达到双向同步.令
$ z(k) = \left( {\Psi \otimes P} \right)x(k) $ , 则控制输入为式(2)的网络(1)可表示为$$ \begin{split} &z(k+1)=\\ &\qquad \left( {\left( {I_N \otimes \bar {A}} \right)-\left( {\Psi L^{\sigma (k)}\Psi } \right)\otimes \left( {\mu \bar {B}\bar {B}^{\rm T}\bar {A}} \right)} \right)z(k) \end{split} $$ (11) 令
$ z_c (k) = \frac{1}{N}\sum\nolimits_{j = 1}^N {z_j (k)}, \bar {\delta }_i = z_i (k)-z_c (k) $ , 则有$ \bar {\delta }(k) = $ $ \left( {\Psi \otimes P} \right)\delta (k), $ 其中$\bar {\delta } =[ {\bar {\delta }_1^{\rm T}\, \cdots \,\bar {\delta }_N^{\rm T} } ]^{\rm{T}},$ 易得$$ \begin{split}\bar {\delta }(k+1) =& \left( {\left( {I_N \otimes A} \right)-\left( {\Psi \bar {L}^{\sigma (k)}\Psi } \right)\otimes \left( {\mu \bar {B}\bar {B}^{\rm T}\bar {A}} \right)} \right)\times\\ &\bar{\delta}(k)-\left( {\Psi \Delta ^{\sigma (k)}\Psi } \right)\otimes \left( {\mu \bar {B}\bar {B}^{\rm T}\bar {A}} \right)z(k) \\[-15pt]\end{split} $$ (12) 令
$ V_2( {\bar {\delta }(k)}) = \frac{1}{2}\bar {\delta }^{\rm T}(k)\bar {\delta }(k) $ , 那么$ V_2 $ 沿着式(12)的差分满足$$ \begin{split} &V_2 \left( {\bar {\delta }(k+1)} \right)-V_2 \left( {\bar {\delta }(k)} \right)= \\ &\qquad-\frac{\mu }{2}\bar {\delta }^{\rm T}(k)\left( {\Psi \bar {L}^{\sigma (k)}\Psi \otimes \left( {\bar {A}^{\rm T}\bar {B}\bar {B}^{\rm T}\bar {A}} \right)} \right)\times\\ &\qquad\left({2I_N \otimes I_n -\mu \Psi \bar {L}^{\sigma (k)}\Psi \otimes \left( {\bar {A}^{\rm T}\bar {B}\bar {B}^{\rm T}\bar {A}} \right)} \right)\bar {\delta }(k) -\quad\\ &\qquad\bar {\delta }^T(k)\left( {\left( {I_N \otimes \bar {A}^{\rm T}} \right) -\left( {\Psi \bar {L}^{\sigma (k)}\Psi } \right)\otimes \left( {\mu \bar {A}^{\rm T}\bar {B}\bar {B}^{\rm T}} \right)} \right)\times\\ &\qquad\left( {\Psi \Delta ^{\sigma (k)}\Psi } \right)\otimes \left( {\mu \bar {B}\bar {B}^{\rm T}\bar {A}} \right)z(k) +\\ &\qquad z^{\rm T}(k)\left( {\Psi \Delta ^{\sigma (k)}\Psi } \right)^2\otimes \left({\mu \bar {B}\bar {B}^{\rm T}\bar {A}} \right)^2z(k)\le \\ &\qquad-\frac{\mu }{2}\bar {\delta }^{\rm T}\left( k \right)\left( {\Psi \bar {L}^{\sigma \left( k \right)}\Psi \otimes \left( {\bar {A}^{\rm T}\bar {B}\bar {B}^{\rm T}\bar {A}} \right)} \right)\bar {\delta }\left( k \right)+\\ &\qquad2\left\| {\bar {\delta }\left( k \right)} \right\|\left\| {z\left( k \right)} \right\|+\left\| {z\left( k \right)} \right\|^2 \\ \end{split} $$ 其中, 不等式第1部分可由条件(4)得到. 由于图
$ G( {\bar {E}^k} ) $ ,$ k = 1,2,\cdots ,p $ 是连通的, 因而存在正交矩阵$ Q^{\sigma \left( k \right)}\in$ $ {\bf R}^{N\times N} $ , 使得$$ \begin{split} &\left( {Q^{\sigma (k)}} \right)^{\rm T}\left( {\Psi \bar {L}^{\sigma (k)}\Psi } \right)Q^{\sigma (k)}=\\ & \qquad {\rm diag}\left\{ {\lambda _1^{\sigma (k)} ,\lambda _2^{\sigma (k)} ,\cdots ,\lambda _N^{\sigma (k)} } \right\} \end{split} $$ 其中,
$0 = \lambda _1^{\sigma (k)} < \lambda _2^{\sigma (k)}\,\le\,\cdots \,\le\, \lambda _N^{\sigma (k)}, Q^{\sigma (k)} = [q_1^{\sigma (k)} ,$ $ q_2^{\sigma (k)} ,\cdots, q_N^{\sigma (k)}] $ ,$ q_1^{\sigma (k)} = \frac{{\rm {\bf 1}}_N }{\sqrt N } $ 是特征值$ \lambda _1^{\sigma (k)} \rm{ = 0} $ 对应的特征向量. 令$\bar {\delta }(k) = ( Q^{\sigma (k)}\otimes I_n )\hat {\delta }(k)$ , 由$(( {Q^{\sigma (k)}} )^{\rm T}\otimes $ $ I_n ) ( Q^{\sigma (k)}\otimes I_n )= I_{nN}$ , 可得$ \bar {\delta }^{\rm T}\bar {\delta } = \hat {\delta }^{\rm T}\hat {\delta } $ . 又由于$ \bar {\delta }_1 = $ $ ( q_1^{\sigma (k)} \otimes I_n ) \hat {\delta }(k) = 0 $ , 则可得$$ \begin{split} &\frac{\mu }{2}\bar {\delta }^{\rm T}(k)\left( {\Psi \bar {L}^{\sigma (k)}\Psi \otimes \left( {\bar {A}^{\rm T}\bar {B}\bar {B}^{\rm T}\bar {A}} \right)} \right)\bar {\delta }(k)= \\ &\qquad\frac{\mu }{2}\hat {\delta }^{\rm T}(k)\left( {\left( {Q^{\sigma (k)}} \right)^{\rm T}\Psi \bar {L}^{\sigma (k)}\Psi Q^{\sigma (k)}\otimes \left( {\bar {A}^{\rm T}\bar {B}\bar {B}^{\rm T}\bar {A}} \right)} \right)\times\\ &\qquad\hat {\delta }(k)= \frac{\mu }{2}\hat {\delta }^{\rm T}(k)\times\\ &\qquad\left({{\rm diag}\left\{ {\lambda _1^{\sigma (k)} ,\lambda _2^{\sigma (k)} ,\cdots ,\lambda _N^{\sigma (k)} } \right\}\otimes\left( {\bar {A}^{\rm T}\bar {B}\bar {B}^{\rm T}\bar {A}} \right)} \right)\times\\ &\qquad \hat {\delta }(k) \ge \frac{\mu \lambda _2 }{2}\hat {\delta }^T(k)\left( {\bar {A}^{\rm T}\bar {B}\bar {B}^{\rm T}\bar {A}} \right)\hat {\delta }(k)\ge\\ &\qquad\frac{\mu \lambda _2 \lambda _{\min } \left( {\bar {A}^{\rm T}\bar {B}\bar {B}^{\rm T}\bar {A}} \right)}{2}\left\| {\bar {\delta }(k)} \right\|^2 =\\ &\qquad\alpha \left\| {\bar {\delta }(k)} \right\|^2 \end{split} $$ 因此,
$$ \begin{split} & V\left( {\bar {\delta }(k+1)} \right)-V\left( {\bar {\delta }(k)} \right) \le\\ &\qquad\;\;\;\;\;\;\;-\frac{\mu }{2}\bar {\delta }^{\rm T}(k)\left( {\Psi \bar {L}^{\sigma (k)}\Psi \otimes \left( {\bar {A}^{\rm T}\bar {B}\bar {B}^{\rm T}\bar {A}} \right)} \right)\bar {\delta }(k)+\\ &\qquad\;\;\;\;\;\;\; 2\left\| {\bar {\delta }(k)} \right\|\left\| {z(k)} \right\|+\left\| {z(k)} \right\|^2= \\ &\qquad\;\;\;\;\;\;\; -\left( {1-\theta } \right)\alpha \left\| {\bar {\delta }(k)} \right\|^2-\theta \alpha \left\| {\bar {\delta }(k)} \right\|^2+\\ &\qquad\;\;\;\;\;\;\; 2\left\| {\bar {\delta }(k)} \right\|\left\| {z(k)} \right\|+\left\| {z(k)} \right\|^2 \\[-10pt] \end{split} $$ (13) 其中,
$ 0<\theta <1 $ . 所以下面的关系成立:$$ \begin{split} &-\theta \alpha \left\| {\bar {\delta }(k)} \right\|^2+2\left\| {\bar {\delta }(k)} \right\|\left\| {z(k)} \right\|+\left\| {z(k)} \right\|^2\le 0\Rightarrow \quad\\ &\qquad V_2 \left({\bar {\delta }(k+1)} \right)-V_2 \left( {\bar {\delta }(k)} \right)\le -\left( {1-\theta } \right)\alpha \left\| {\bar {\delta }(k)} \right\|^2 \;\;\;\; \\[-12pt]\end{split} $$ (14) 由
$\delta (k) = ({\Psi \otimes P^{-1}})\bar {\delta }(k)z(k) = \left( {\Psi \otimes I_n } \right)\bar {x}(k) = $ $\left(\Psi \;\otimes\; P \right) x(k) ,\;\left\| {\bar {x}(k)} \right\|\;\le \;\left\| {\bar {x}(0)} \right\|$ , 可得$\lambda _{\min }( {P^{\rm T}P})\times $ $ \left\| {\delta (k)} \right\|^2\le$ $ \| {\bar {\delta }(k)} \|^2 \le \lambda _{\max }( {P^{\rm T}P} )\left\|{\delta (k)}\right\|^2 $ 以及$\left\|{z(k)} \right\|^2\le $ $ \lambda _{\max } ( {P^{\rm T}P} )\left\| {x(0)} \right\|^2$ . 若不等式条件(15)成立, 则式(14)的左边部分成立.$$\begin{split} &-\theta \alpha \left\| {\bar {\delta }(k)} \right\|^2+2\sqrt {\sigma _2 } \left\| {x(0)} \right\|\left\| {\bar {\delta }(k)} \right\|+\\ &\qquad\sigma _2 \left\| {x(0)} \right\|^2\le 0 \end{split}$$ (15) 当式(16)成立时, 式(15)成立.
$$ \left\| {\bar {\delta }(k)} \right\|\ge \frac{\sqrt {\sigma _2 } \left\| {x(0)} \right\|\left( {1+\sqrt {1+\theta \alpha } } \right)}{\theta \alpha } $$ (16) 因此, 对于
$ \forall \left\| {\bar {\delta }(k)} \right\|\ge \frac{\sqrt {\sigma _2 } \left\| {x(0)} \right\|\left( {1+\sqrt {1+\theta \alpha } } \right)}{\theta \alpha } $ ,$$ V_2 \left( {\bar {\delta }(k+1)} \right)-V_2 \left( {\bar {\delta }(k)} \right)\le -\left( {1-\theta } \right)\alpha \left\| {\bar {\delta }(k)} \right\|^2 $$ (17) 为了应用引理1 (证明见附录B), 取
$c_1 = c_2 = $ $ {1}/{2},$ $ c_3 = -\left( {1-\theta } \right)\alpha, $ $ c = \frac{\sqrt {\sigma _2 } \left\| {x(0)} \right\|\left( {1+\sqrt {1+\theta \alpha } } \right)}{\theta \alpha } $ . 因此, 存在正常数$ \rho \ge 1, $ $ 0<\gamma <1, $ 使得对于每个初始状态$ x(0) $ , 网络(1)和(2)的解满足$$ \begin{split} \left\| {\overline \delta (k)} \right\|\le \rho \left\| {\overline \delta (0)} \right\|\gamma ^k+\frac{\sqrt {\sigma _2 } \left\| {x(0)} \right\|\left( {1+\sqrt {1+\theta \alpha } } \right)}{\theta \alpha },\\ \forall k\ge 0\\\end{split} $$ (18) 由于
$ \sigma _1 \left\| {\delta (0)} \right\|^2\le \left\| {\bar {\delta }(0)} \right\|^2\le \sigma _2 \left\| {\delta (0)} \right\|^2 $ , 可得$$ \begin{split} &\left\| {\delta (k)} \right\|\le \rho \sqrt {\frac{\sigma _2 }{\sigma _1 }} \left\| {\delta (0)} \right\|\gamma ^k+\\ &\qquad\sqrt {\frac{\sigma _2 }{\sigma _1 }} \frac{\left\| {x(0)} \right\|\left( {1+\sqrt {1+\theta \alpha } } \right)}{\theta \alpha },\\ &\qquad\qquad\qquad\qquad\qquad\;\;\,\forall k\ge 0 \end{split} $$ (19) 从而得到控制输入为式(2)的网络(1)达到有界双向同步. □
注2. 由定理1的证明过程可以看出, 最终界为
$\sqrt \frac{\sigma _2 }{\sigma _1 }\frac{\left\| {x(0)} \right\|\left( {1+\sqrt {1+\theta \alpha } } \right)}{\theta \alpha }.$ 因此, 为了使最终界比较小, 可以选择使$ \left\| {x(0)} \right\| $ 很小或者$ \alpha $ 很大的初始条件.注3. 在定理1中, 假设矩阵
$ A $ 的所有特征值是模为1的半单特征值, 即所有约当块都是一维的. 在这种假设条件下, 矩阵$ A $ 是正交矩阵, 即$ A^{\rm T}A = I. $ 这时矩阵$ A $ 是中立稳定的.3. 数值例子
本节将给出一个数值例子来验证所得结论的有效性.
例1. 对于网络(1), 令
$ N = 4 $ , 其中矩阵$ A, B $ 为$$ A = \left[{{\begin{array}{*{20}c} {\frac{\sqrt 2 }{2}} & {\frac{\sqrt 2 }{2}} \\ {-\frac{\sqrt 2 }{2}} & {\frac{\sqrt 2 }{2}} \\ \end{array} }} \right],\;\;B = \left[ {{\begin{array}{*{20}c} {-1} & 2 \\ 2 & {0.5} \\[2.5pt] \end{array} }} \right] $$ (20) 因为矩阵
$ A $ 是正交的, 所以假设1成立. 定义切换信号$ \sigma(k) $ 如式(21), 其中$ s\in {\bf Z}^+. $ $$ \sigma (k) = \left\{ {{ \begin{aligned} &{1,\qquad\;k = 4s+1\;{\text{或}}\;4s+2} \\[2.5pt] &{2,\qquad\;k = 4s+3\;{\text{或}}\;4s+4} \\ \end{aligned}}} \right. $$ (21) 假设有两个无向图
$ G({E^i}) $ ,$ i = 1,2, $ 如图1所示, 图$ G( {E^2}) $ 的节点不能划分为两个敌对阵营$ V_1 $ 和$ V_2 $ . 假设$ G( {\bar{E}^1}) $ 和$ G({\bar{E}^2}) $ 分别对应于图2(a)和图2(b). 可知图$ G( {\bar {E}^i} ) $ ,$ i = 1,2 $ 的节点能划分为两个敌对阵营$ V_1 = \{1,2\} $ ,$ V_2 = \{3,4\} $ .
图 2 无向图$G( {\bar {E}^i} )$ ,$i = 1,2$ Fig. 2 The undirected signed graph$G( {\bar {E}^i} )$ ,$i = 1,2$ 对于图
$ G({\bar{E}^i}), $ $ i \;=\; 1,\;2, $ 可选择符号矩阵$\Psi = $ $ {\rm diag}\{1,1,-1,-1\} $ 使得$ \Psi\bar{E}^k\Psi $ ,$ k = 1,2 $ 是非负矩阵, 根据其拉普拉斯矩阵$ \bar{L}^1 $ 和$ \bar{L}^2 $ $$ \begin{split} \begin{smallmatrix} &\bar{L}^1 = \left[{{\begin{array}{*{20}c} {1.7} & {-1} & 0 & {0.7} \\[2.5pt] {-1} & 2 & 1 & 0 \\[2.5pt] 0 & 1 & 3 & {-2} \\[2.5pt] {0.7} & 0 & {-2} & {2.7} \\[2.5pt] \end{array}}}\right]&\end{smallmatrix} \end{split} $$ $$ \begin{smallmatrix} &\bar{L}^2\; = \left[{{\begin{array}{*{20}c} {2.5} & {-1} & 0 & {1.5} \\[2.5pt] {-1} & {1.5} & {0.5} & 0 \\[2.5pt] 0 & {0.5} & {1.5} & {-1} \\[2.5pt] {1.5} & 0 & {-1} & {2.5} \\[2.5pt] \end{array} }}\right] \end{smallmatrix} $$ 可得
$ \lambda _2 = \min _{k = 1,2} \lambda _2( {\bar {L}^k} ) = 1.5858 $ . 又由于$ \sigma _1 =$ $ \sigma _2 = $ $1 , \lambda _{\min } ({\bar {A}^{\rm T}\bar {B}\bar{B}^{\rm T}\bar{A}}) = 3.5570 $ . 如果选择$ \mu = \rm{0.}1, \theta = 0.9,$ $ \alpha = 0.2820, \xi = 0.6272, $ 那么图$ G({\bar {E}^i}) $ ,$ i = 1,2 $ 描述的网络(1)和(3)在切换信号$ \sigma (k) $ 下的状态演变如图3所示, 可知该网络达到双向同步. 对于网络(1), 在图$ G({E^i}) $ ,$ i = 1,2 $ 和切换信号$ \sigma (k) $ 下的时间演变图如图4所示, 根据定理1, 控制输入为式(2)的网络(1)能达到有界双向同步, 且终值为$ \xi = 0.6272 $ . 在图5中, 明确地描述了范数误差和最终界.
图 5 四智能体网络在切换信号$ \sigma(k) $ 下的范数误差和终值Fig. 5 Norm error of the 4-agent network with switching signal$ \sigma(k) $ 4. 结论
当存在对抗关系和切换拓扑时, 本文研究了耦合离散线性系统的同步问题. 针对实际中可能存在的两种情形, 研究了耦合离散系统的有界双向同步问题, 得到了使闭环系统在任意切换信号下达到有界双向同步的充分条件. 数值仿真验证了本文所得理论的正确性. 本文的结论对于系统矩阵有一定的要求, 后续工作将考虑更一般的情况.
附录 A. 符号图
符号图
$ G\left( {V,\varepsilon } \right) $ 由一个有限节点集和一个边集组成, 节点集记为$ V = \{1,2,\cdots ,N\} $ , 边集记为$\varepsilon = \{ \left( {i,j} \right):i\ne j, i, j\in $ $ V \}\subseteq V\times V$ . 令$ E = ( {e_{ij} } ) $ 是图$ G $ 的一个邻接矩阵, 利用$ G\left( E \right) $ 来表示邻接矩阵为E 的符号图, 图$ G\left( E \right) $ 的拉普拉斯矩阵定义为$ L= C_r-E , $ 其中$C_r = {\rm diag}\{ \sum\nolimits_{j = 1}^N{| {e_{1j} } |, \cdots , \sum\nolimits_{j = 1}^N {| {e_{Nj} }|} } \}$ . 由 i到j 的边$ \left( {i,j} \right)\in \varepsilon $ 是有向边, 其中节点$ i ,j$ 分别称为父节点和子节点. 如果$ \left( {j,i} \right),\left( {i,j} \right)\in \varepsilon, $ 那么图$ G\left( E \right) $ 是无向图. 文中定义$\varepsilon ^+ \,=\, \{ \left( {i,j} \right)\vert e_{ij} \, > \,0\},\ \varepsilon ^- = \{ \left( {i,j} \right) \vert e_{ij} < 0\} , \varepsilon = $ $ \varepsilon ^+\cup\varepsilon^-.$ 由不同节点$ \left( {i_1 ,i_2 } \right), \left( {i_2 ,i_3 } \right), \cdots, $ $ \left( i_{l-1} , \right. $ $ \left. i_l \right) $ 所组成的边的一个序列称为路径(路径长度为$ l-1 )$ . 若符号图中的任意两个不同节点之间存在路径, 则该图称为是强连通的. 已知包含相同节点集的$ p $ 个符号图$ G\left( {E^k} \right) = $ $ ( {V,\varepsilon _k ,E^k}) $ ,$ k = 1,2,\cdots, p $ , 则在切换信号$ \sigma(k) $ 下, 可以定义一个时变符号图, 即$G( {E^{\sigma (k)}} ) = $ $ ( {V,\varepsilon ^{\sigma (k)},E^{\sigma(k)}} ) $ .附录 B. 预备引理
考虑如下差分方程
$$ x(k+1) = f\left( {x(k)} \right) \tag{B1}$$ 其中,
$ x\in {\bf R}^n $ ,$ f:{\bf R}^n\to {\bf R}^n $ 是连续的,$ f(0) = 0 $ .引理1. 令
$ V:{\bf R}^n\to {\bf R}^n $ 是一个连续函数, 且满足$$ c_1 \left\| {x(k)} \right\|^2\le V\left( {x(k)} \right)\le c_2 \left\| {x(k)} \right\|^2 \qquad\qquad \tag{B2}$$ $$ \Delta V\left( {x(k)} \right)\le -c_3 \left\| {x(k)} \right\|^2,\;\;\forall \left\| {x(k)} \right\|\ge c\ge 0 \tag{B3}$$ 其中,
$ \forall k\ge 0 $ ,$ \forall x\in {\bf R}^n $ ,$ c,c_1 ,c_2 ,c_3 $ 是正常数. 那么, 对每个初始状态$ x(0) $ , 存在正常数$ \rho \ge 1 $ ,$ 0<\gamma <1 $ , 有$ T\ge 0 $ (取决于$ x(0) $ 和$ c) $ , 使得系统(B1)的解满足$$ \left\| {x(k)} \right\|\le \rho \left\| {x(0)} \right\|\gamma ^k,\;\;\forall 0\le k\le T \tag{B4}$$ $$ \left\| {x(k)} \right\|\le \frac{cc_2 }{c_1 },\;\;\forall t\ge T \qquad\qquad\;\;\;\; \tag{B5}$$ 证明. 本引理证明类似于定理4.18[26]的证明. 令
$\Omega _c = $ $ \{ x\in {\bf R}^n\vert V(x)\le $ $ c \},$ 若初始$ x(0)\in \Omega $ , 则系统 (B1) 的解依赖于$\Omega _c $ , 这是因为$ V(x(k)) $ 在边界上是负的. 对于$ {\bf R}^n-\Omega _c $ 内部的某个解, 令$ T $ 是它进入$ \Omega _c $ 的起始时刻, 则对于所有的$ k\in \left[ {0,T} \right]\cap {\bf Z}^+ $ , 有下式成立:$$ \Delta V\left( {x(k)} \right)\le -c_3 \left\| {x(k)} \right\|^2\le -\frac{c_3 }{c_2 }V\left( {x(k)} \right) $$ 因此,
$$ \begin{split} V\left( {x(k+1)} \right)\le& \left( {1-\frac{c_3 }{c_2 }} \right)V\left( {x(k)} \right)\le \cdots \le\\ &\left( {1-\frac{c_3 }{c_2 }} \right)^kV\left( {x(0)} \right) \end{split} $$ 又由于
$ V\left( {x(k)} \right)\ge 0, $ 易得${c_3 }/{c_2 } < 1.$ 所以$( {1-{c_3 }/{c_2 }} ) < 1 .$ 可以得到$$ \begin{split} \left\| {x(k)} \right\|\le& \left( {\frac{V\left( {x(k)} \right)}{c_1 }} \right)^{\frac{1}{2}}\le \left[ {\frac{1}{c_1 }\left( {1-\frac{c_3 }{c_2 }} \right)^kc_2 \left\| {x(0)} \right\|^2} \right]^{\frac{1}{2}}=\\ &\sqrt {\frac{c_2 }{c_1 }} \sqrt {\left( {1-\frac{c_3 }{c_2 }} \right)^k} \left\| {x(0)} \right\| \end{split} $$ 令
$\rho = \sqrt {{c_2 }/{c_1 }}$ ,$\gamma = \sqrt {1-{c_3 }/{c_2 }}$ , 则可以得到$$ \qquad\qquad\quad\quad\left\| {x(k)} \right\|\le \rho \left\| {x(0)} \right\|\gamma ^k,\;\;\forall 0\le k\le T \qquad\qquad\quad\square $$ -
图 2 MGNL中单代父子结点间信息传递结构
Fig. 2 Information transfer process of parent-child node between single generation in MGNL
图 3 MGNN祖孙结点间信息传递结构
Fig. 3 Information transfer process between grandparents and grandchildren in MGNN
图 6 各神经网络对UNSW_NB15进行二分类
Fig. 6 Each neural network performs a binary classification experiment on the UNSW_NB15
图 7 各神经网络对NSL_KDD进行二分类
Fig. 7 Each neural network performs a binary classification experiment on the NSL_KDD
图 8 各神经网络对UNSW_NB15进行多分类
Fig. 8 Each neural network performs multi-classification experiments on the UNSW_NB15
图 9 各神经网络对NSL_KDD进行多分类
Fig. 9 Each neural network performs multi-classification experiments on the NSL_KDD
图 10 MGNN与最新入侵检测算法对比
Fig. 10 Performance comparison between MGNN and the latest intrusion detection algorithms on different datasets
图 11 各神经网络对UNSW_NB15进行二分类
Fig. 11 Each neural network performs a binary classification experiment on the UNSW_NB15
图 12 各神经网络对NSL_KDD进行二分类
Fig. 12 Each neural network performs a binary classification experiment on the NSL_KDD
图 13 各神经网络对UNSW_NB15进行多分类
Fig. 13 Each neural network performs multi-classification experiments on the UNSW_NB15
图 14 各神经网络对NSL_KDD进行多分类
Fig. 14 Each neural network performs multi-classification experiments on the NSL_KDD
表 1 MGNN1 ~ MGNN9网络各参数设置
Table 1 Various parameter settings in the MGNN1 ~ MGNN9 networks
网络类别 MGNNSB Nn Pn Units $\alpha $ Activation 参数量 MGNN1 1 42 1 64 1 tanh 287509 2 64 1 128 1 tanh 3 128 1 268 1 tanh 4 268 1 268 1 tanh MGNN3 1 42 3 64 1 tanh 287509 2 64 3 128 1 tanh 3 128 3 268 1 tanh 4 268 3 268 1 tanh MGNN5 1 42 5 64 1 tanh 287509 2 64 5 128 1 tanh 3 128 5 268 1 tanh 4 268 5 268 1 tanh MGNN7 1 42 7 64 1 tanh 287509 2 64 7 128 1 tanh 3 128 7 268 1 tanh 4 268 7 268 1 tanh MGNN9 1 42 9 64 1 tanh 287509 2 64 9 128 1 tanh 3 128 9 268 1 tanh 4 268 9 268 1 tanh 
下载: 导出CSV
表 2 各算法对UNSW_NB15数据集二分类测试的结果
Table 2 The experimental results of the binary classification test of each algorithm on the UNSW_NB15 dataset
算法 Accuracy Precision Recall F1-score MGNN1 0.902 0.910 0.912 0.911 MGNN3 0.929 0.947 0.924 0.935 MGNN5 0.940 0.959 0.931 0.945 MGNN7 0.943 0.961 0.933 0.947 MGNN9 0.945 0.964 0.935 0.949 DNN 0.890 0.901 0.898 0.900 CNN 0.853 0.898 0.827 0.861 RNN 0.709 0.722 0.766 0.744 LSTM 0.813 0.877 0.768 0.819 RF 0.903 0.988 0.867 0.924 LR 0.743 0.955 0.653 0.775 KNN 0.810 0.932 0.778 0.848 DT 0.897 0.982 0.864 0.919 SVM_RBF 0.653 0.998 0.492 0.659
下载: 导出CSV
表 3 各算法对UNSW_NB15数据集多分类测试的结果
Table 3 The experimental results of the multi-classification test of each algorithm on the UNSW_NB15 dataset
算法 Accuracy Precision Recall F1-score MGNN1 0.772 0.735 0.772 0.743 MGNN3 0.816 0.787 0.816 0.797 MGNN5 0.826 0.801 0.826 0.812 MGNN7 0.840 0.824 0.840 0.829 MGNN9 0.836 0.815 0.836 0.824 DNN 0.762 0.718 0.762 0.724 CNN 0.616 0.530 0.616 0.501 RNN 0.640 0.443 0.640 0.521 LSTM 0.660 0.561 0.660 0.566 RF 0.755 0.755 0.755 0.724 LR 0.538 0.414 0.538 0.397 KNN 0.622 0.578 0.622 0.576 DT 0.733 0.721 0.733 0.705 SVM_RBF 0.581 0.586 0.581 0.496
下载: 导出CSV
表 4 各算法对NSL_KDD数据集二分类测试的结果
Table 4 The experimental results of the binary classification test of each algorithm on the NSL_KDD dataset
算法 Accuracy Precision Recall F1-score MGNN1 0.985 0.985 0.982 0.984 MGNN3 0.986 0.989 0.981 0.985 MGNN5 0.986 0.988 0.981 0.985 MGNN7 0.990 0.995 0.985 0.990 MGNN9 0.972 0.971 0.970 0.970 DNN 0.979 0.975 0.980 0.978 CNN 0.979 0.988 0.967 0.977 RNN 0.927 0.925 0.919 0.922 LSTM 0.910 0.895 0.915 0.905 RF 0.929 0.946 0.919 0.933 LR 0.826 0.915 0.744 0.820 KNN 0.910 0.926 0.905 0.915 DT 0.930 0.928 0.943 0.935 SVM_RBF 0.837 0.769 0.993 0.867
下载: 导出CSV
表 5 各算法对NSL_KDD数据集多分类测试的结果
Table 5 The experimental results of the multi-classification test of each algorithm on the NSL_KDD dataset
算法 Accuracy Precision Recall F1-score MGNN1 0.986 0.985 0.986 0.985 MGNN3 0.987 0.987 0.987 0.987 MGNN5 0.986 0.985 0.986 0.985 MGNN7 0.975 0.967 0.975 0.971 MGNN9 0.533 0.284 0.533 0.371 DNN 0.957 0.955 0.957 0.955 CNN 0.970 0.969 0.970 0.968 RNN 0.893 0.884 0.893 0.887 LSTM 0.865 0.866 0.865 0.838 RF 0.753 0.814 0.753 0.715 LR 0.612 0.509 0.612 0.530 KNN 0.731 0.720 0.731 0.684 DT 0.763 0.767 0.763 0.728 SVM_RBF 0.702 0.689 0.702 0.656
下载: 导出CSV
表 6 各算法对CICDoS2019数据集测试
Table 6 Test results of each algorithm on the CICDoS2019 dataset
算法 Accuracy Precision Recall F1-score Attack Benign Attack Benign Attack Benign MGNN12 0.87 0.99 1.00 0.79 0.93 0.88 0.96 NB 0.57 1.00 0.53 0.17 1.00 0.29 0.69 DT 0.77 0.70 0.98 0.99 0.54 0.82 0.70 LR 0.95 0.93 0.99 0.99 0.91 0.96 0.95 RF 0.86 1.00 0.78 0.74 1.00 0.85 0.88 Booster 0.84 0.76 0.99 0.99 0.67 0.86 0.80 SVM 0.93 0.99 0.88 0.88 0.99 0.93 0.93 DDoSNet 0.99 0.99 1.00 0.99 0.99 0.99 0.99
下载: 导出CSV
表 7 MGNN9、MGNN9_alpha网络对UNSW_NB15数据集二分类测试的结果
Table 7 MGNN9, MGNN9_alpha networks on the UNSW_NB15 dataset binary classification test results
算法 Accuracy Precision Recall F1-score MGNN9 0.945 0.964 0.935 0.949 MGNN9_alpha 0.951 0.972 0.939 0.955
下载: 导出CSV
表 8 MGNN9、MGNN9_alpha网络对UNSW_NB15数据集多分类测试的结果
Table 8 MGNN9, MGNN9_alpha networks on the UNSW_NB15 dataset multi-classification test results
算法 Accuracy Precision Recall F1-score MGNN9 0.836 0.815 0.836 0.824 MGNN9_alpha 0.846 0.831 0.846 0.837
下载: 导出CSV
表 9 MGNN9、MGNN9_alpha网络对NSL_KDD数据集二分类测试的结果
Table 9 MGNN9, MGNN9_alpha networks on the NSL_KDD dataset binary classification test results
算法 Accuracy Precision Recall F1-score MGNN9 0.972 0.971 0.970 0.970 MGNN9_alpha 0.992 0.993 0.990 0.991
下载: 导出CSV
表 10 MGNN9、MGNN9_alpha网络对NSL_KDD数据集多分类测试的结果
Table 10 MGNN9, MGNN9_alpha networks on the NSL_KDD dataset multi-classification test results
算法 Accuracy Precision Recall F1-score MGNN9 0.533 0.284 0.533 0.371 MGNN9_alpha 0.987 0.987 0.987 0.986
下载: 导出CSV
-
[1] Tsai C F, Hsu Y F, Lin C Y, Lin W Y. Intrusion detection by machine learning: A review. Expert Systems With Applications, 2009, 36(10): 11994-12000 doi: 10.1016/j.eswa.2009.05.029 [2] 任家东, 刘新倩, 王倩, 何海涛, 赵小林. 基于KNN离群点检测和随机森林的多层入侵检测方法. 计算机研究与发展, 2019, 56(3): 566-575Ren Jia-Dong, Liu Xin-Qian, Wang Qian, He Hai-Tao, Zhao Xiao-Lin. An multi-level intrusion detection method based on KNN outlier detection and random forests. Journal of Computer Research and Development, 2019, 56(3): 566-575 [3] Ahmad I, Basheri M, Iqbal M J, Rahim A. Performance comparison of support vector machine, random forest, and extreme learning machine for intrusion detection. IEEE Access, 2018, 6: 33789-33795 doi: 10.1109/ACCESS.2018.2841987 [4] Mabu S, Gotoh S, Obayashi M, Kuremoto T. A random-forests-based classifier using class association rules and its application to an intrusion detection system. Artificial Life and Robotics, 2016, 21(3): 371-377 doi: 10.1007/s10015-016-0281-x [5] 缪祥华, 单小撤. 基于密集连接卷积神经网络的入侵检测技术研究. 电子与信息学报, 2020, 42(11): 2706-2712Miao Xiang-Hua, Shan Xiao-Che. Research on intrusion detection technology based on densely connected convolutional neural networks. Journal of Electronics & Information Technology, 2020, 42(11): 2706-2712 [6] 王振东, 刘尧迪, 杨书新, 王俊岭, 李大海. 基于天牛群优化与改进正则化极限学习机的网络入侵检测. 自动化学报, 2022, 48(12): 3024-3041Wang Zhen-Dong, Liu Yao-Di, Yang Shu-Xin, Wang Jun-Ling, Li Da-Hai. Network intrusion detection based BSO and improved RELM. Acta Automatica Sinica, 2022, 48(12): 3024-3041 [7] 张颐康, 张恒, 刘永革, 刘成林. 基于跨模态深度度量学习的甲骨文字识别. 自动化学报, 2021, 47(4): 791-800Zhang Yi-Kang, Zhang Heng, Liu Yong-Ge, Liu Cheng-Lin. Oracle character recognition based on cross-modal deep metric learning. Acta Automatica Sinica, 2021, 47(4): 791-800 [8] 徐鹏斌, 瞿安国, 王坤峰, 李大字. 全景分割研究综述. 自动化学报, 2021, 47(3): 549-568Xu Peng-Bin, Qu An-Guo, Wang Kun-Feng, Li Da-Zi. A survey of panoptic segmentation methods. Acta Automatica Sinica, 2021, 47(3): 549-568 [9] 徐聪, 李擎, 张德政, 陈鹏, 崔家瑞. 文本生成领域的深度强化学习研究进展. 工程科学学报, 2020, 42(4): 399-411Xu Cong, Li Qing, Zhang De-Zheng, Chen Peng, Cui Jia-Rui. Research progress of deep reinforcement learning applied to text generation. Chinese Journal of Engineering, 2020, 42(4): 399-411 [10] 宋勇, 侯冰楠, 蔡志平. 基于深度学习特征提取的网络入侵检测方法. 华中科技大学学报(自然科学版), 2021, 49(2): 115-120Song Yong, Hou Bing-Nan, Cai Zhi-Ping. Network intrusion detection method based on deep learning feature extraction. Journal of Huazhong University of Science and Technology (Natural Science Edition), 2021, 49(2): 115-120 [11] Gao L G, Chen P Y, Yu S M. Demonstration of convolution kernel operation on resistive cross-point array. IEEE Electron Device Letters, 2016, 37(7): 870-873 doi: 10.1109/LED.2016.2573140 [12] Li Y, Zhang B. An intrusion detection model based on multi-scale CNN. In: Proceedings of the 3rd Information Technology, Networking, Electronic and Automation Control Conference (ITNEC). Chengdu, China: IEEE, 2019. 214−218 [13] Lin W H, Lin H C, Wang P, Wu B H, Tsai J Y. Using convolutional neural networks to network intrusion detection for cyber threats. In: Proceedings of the IEEE International Conference on Applied System Invention (ICASI). Chiba, Japan: IEEE, 2018. 1107−1110 [14] Simonyan K, Zisserman A. Very deep convolutional networks for large-scale image recognition. In: Proceedings of the 3rd International Conference on Learning Representations (ICLR). San Diego, USA: ICLR, 2015. 1−14 [15] Szegedy C, Liu W, Jia Y Q, Sermanet P, Reed S, Anguelov D, et al. Going deeper with convolutions. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Boston, USA: IEEE, 2015. 1−9 [16] He K M, Zhang X Y, Ren S Q, Sun J. Deep residual learning for image recognition. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Las Vegas, USA: IEEE, 2016. 770−778 [17] Yang S. Research on network behavior anomaly analysis based on bidirectional LSTM. In: Proceedings of the 3rd Information Technology, Networking, Electronic and Automation Control Conference (ITNEC). Chengdu, China: IEEE, 2019. 798−802 [18] Hossain D, Ochiai H, Fall D, Kadobayashi Y. LSTM-based network attack detection: Performance comparison by hyper-parameter values tuning. In: Proceedings of the 7th IEEE International Conference on Cyber Security and Cloud Computing (CSCloud)/the 6th IEEE International Conference on Edge Computing and Scalable Cloud (EdgeCom). New York, USA: IEEE, 2020. 62−69 [19] 陈红松, 陈京九. 基于循环神经网络的无线网络入侵检测分类模型构建与优化研究. 电子与信息学报, 2019, 41(6): 1427-1433Chen Hong-Song, Chen Jing-Jiu. Recurrent neural networks based wireless network intrusion detection and classification model construction and optimization. Journal of Electronics & Information Technology, 2019, 41(6): 1427-1433 [20] Studer L, Wallau J, Ingold R, Fischer A. Effects of graph pooling layers on classification with graph neural networks. In: Proceedings of the 7th Swiss Conference on Data Science (SDS). Luzern, Switzerland: IEEE, 2020. 57−58 [21] Hamilton W L, Ying Z, Leskovec J. Inductive representation learning on large graphs. In: Proceedings of the 31st Annual Conference on Neural Information Processing Systems. Long Beach, USA: Curran Associates Inc., 2017. 1025−1035 [22] Chaudhary A, Mittal H, Arora A. Anomaly detection using graph neural networks. In: Proceedings of the International Conference on Machine Learning, Big Data, Cloud and Parallel Computing (COMITCon). Faridabad, India: IEEE, 2019. 346−350 [23] 刘颖, 雷研博, 范九伦, 王富平, 公衍超, 田奇. 基于小样本学习的图像分类技术综述. 自动化学报, 2021, 47(2): 297-315Liu Ying, Lei Yan-Bo, Fan Jiu-Lun, Wang Fu-Ping, Gong Yan-Chao, Tian Qi. Survey on image classification technology based on small sample learning. Acta Automatica Sinica, 2021, 47(2): 297-315 [24] Li Q Y, Shang Y L, Qiao X Q, Dai W. Heterogeneous dynamic graph attention network. In: Proceedings of the IEEE International Conference on Knowledge Graph (ICKG). Nanjing, China: IEEE, 2020. 404−411 [25] Shanthamallu U S, Thiagarajan J J, Spanias A. A regularized attention mechanism for graph attention networks. In: Proceedings of the IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). Barcelona, Spain: IEEE, 2020. 3372−3376 [26] Avelar P H C, Tavares A R, da Silveira T L T, Jung C R, Lamb L C. Superpixel image classification with graph attention networks. In: Proceedings of the 33rd SIBGRAPI Conference on Graphics, Patterns and Images (SIBGRAPI). Porto de Galinhas, Brazil: IEEE, 2020. 203−209 [27] Vinayakumar R, Alazab M, Soman K P, Poornachandran P, Al-Nemrat A, Venkatraman S. Deep learning approach for intelligent intrusion detection system. IEEE Access, 2019, 7: 41525-41550 doi: 10.1109/ACCESS.2019.2895334 [28] 杨印根, 王忠洋. 基于深度神经网络的入侵检测技术. 网络安全技术与应用, 2019(4): 37-41Yang Yin-Gen, Wang Zhong-Yang. Intrusion detection technology based on deep neural network. Network Security Technology & Application, 2019(4): 37-41 [29] Shone N, Ngoc T N, Phai V D, Shi Q. A deep learning approach to network intrusion detection. IEEE Transactions on Emerging Topics in Computational Intelligence, 2018, 2(1): 41-50 doi: 10.1109/TETCI.2017.2772792 [30] Liang W, Li K C, Long J, Kui X Y, Zomaya A Y. An industrial network intrusion detection algorithm based on multifeature data clustering optimization model. IEEE Transactions on Industrial Informatics, 2020, 16(3): 2063-2071 doi: 10.1109/TII.2019.2946791 [31] Huang S K, Lei K. IGAN-IDS: An imbalanced generative adversarial network towards intrusion detection system in ad-hoc networks. Ad Hoc Networks, 2020, 105: 102177 doi: 10.1016/j.adhoc.2020.102177 [32] Kozik R, Choraś M, Ficco M, Palmieri F. A scalable distributed machine learning approach for attack detection in edge computing environments. Journal of Parallel and Distributed Computing, 2018, 119: 18-26 doi: 10.1016/j.jpdc.2018.03.006 [33] Prabavathy S, Sundarakantham K, Shalinie S M. Design of cognitive fog computing for intrusion detection in Internet of Things. Journal of Communications and Networks, 2018, 20(3): 291-298 doi: 10.1109/JCN.2018.000041 [34] Fu Y S, Lou F, Meng F Z, Tian Z H, Zhang H, Jiang F. An intelligent network attack detection method based on RNN. In: Proceedings of the 3rd IEEE International Conference on Data Science in Cyberspace (DSC). Guangzhou, China: IEEE, 2018. 483−489 [35] Khan F A, Gumaei A, Derhab A, Hussain A. A novel two-stage deep learning model for efficient network intrusion detection. IEEE Access, 2019, 7: 30373-30385 doi: 10.1109/ACCESS.2019.2899721 [36] Elsayed M S, Le-Khac N A, Dev S, Jurcut A D. DDoSNet: A deep-learning model for detecting network attacks. In: Proceedings of the 21st International Symposium on a World of Wireless, Mobile and Multimedia Networks (WoWMoM). Cork, Ireland: IEEE, 2020. 391−396 [37] 陈晋音, 章燕, 王雪柯, 蔡鸿斌, 王珏, 纪守领. 深度强化学习的攻防与安全性分析综述. 自动化学报, 2022, 48(1): 21-39Chen Jin-Yin, Zhang Yan, Wang Xue-Ke, Cai Hong-Bin, Wang Jue, Ji Shou-Ling. A survey of attack, defense and related security analysis for deep reinforcement learning. Acta Automatica Sinica, 2022, 48(1): 21-39 [38] Suwannalai E, Polprasert C. Network intrusion detection systems using adversarial reinforcement learning with deep Q-network. In: Proceedings of the 18th International Conference on ICT and Knowledge Engineering (ICT&KE). Bangkok, Thailand: IEEE, 2020. 1−7 期刊类型引用(1)
1. 陈世明，姜根兰，张正. 通信受限的多智能体系统二分实用一致性. 自动化学报. 2022(05): 1318-1326 . 
本站查看其他类型引用(1)
-
下载:
计量
- 文章访问数: 1876
- HTML全文浏览量: 758
- PDF下载量: 167
- 被引次数: 2
