Bifurcation Dynamics of Large-scale Neural Networks Composed of Super Multi-ring Networks
-
摘要: 目前绝大多数神经网络分岔动力学局限于结构简单、低维少节点模型, 这与真实的大规模神经网络系统相去甚远. 因此, 研究大量神经元耦合的高维神经网络模型更具实际应用价值. 环状及辐射状结构在神经网络中普遍存在, 提出了一类大规模超环时滞神经网络模型, 结构包含一个大环和任意多个小环, 并且每个环上拥有任意多个神经元. 运用特征值法和分岔理论, 选取时滞为分岔参数, 给出了该超环神经网络模型的稳定性条件和Hopf分岔判据. 数值仿真结果, 验证该理论结果的正确性.Abstract: At present, most bifurcation dynamics of neural networks are limited to simple structure, low dimension and few nodes, which are far from the real large-scale neural network system. Therefore, it is more practical to study the high-dimensional neural network model with a large number of neurons coupling. Ring and radial structures are ubiquitous in neural networks. This paper presents a class of large-scale neural networks with super-ring structure and delays, which consists of a large ring and any number of small rings, and each ring has any number of neurons. By using the eigenvalue method and bifurcation theory, the stability condition and Hopf bifurcation criterion of the super-ring neural network model are obtained by taking the time delay as bifurcation parameter. The correctness of the theoretical results is verified by numerical simulation.
-
Key words:
- Neural network /
- super-ring structure /
- time delay /
- stability /
- Hopf bifurcation
-
众所周知, 神经网络在信号处理、自动控制、联想记忆、人工智能[1]、生物医学治疗等领域有着广阔的应用前景, 这些基本应用在很大程度上依赖于神经网络的动力学特性. 由于神经网络动力学是生物生理学和非线性动力学的交叉学科, 研究其稳定性、振荡、分岔、混沌和同步等多种动力学行为具有生物学和动力学意义[2]. 一般来说, 神经网络具有大规模的非线性动力学性质和复杂的行为, 为进一步把握神经网络的动力学本质, 大批研究者将研究重点放在简单的神经网络模型上[3-5], 为寻求大型复杂神经网络的研究方案做铺垫. 例如, 在文献[3]中, 作者提出了3个神经元的神经网络模型; 文献[4]研究了7个神经元的神经网络模型; 文献[5]研究了具有双向联想记忆五维神经网络. 显然, 如果仅仅研究一个简单的网络, 一些复杂问题可能会被忽略, 并且在现实生物学中神经网络以及网络的构建模型都是错综复杂, 多种多样的. 因此, 本文提出一类大型神经网络的研究是极具理论价值和实践价值.
在如神经网络、生物模型和进化生态学等大多数实际的动态网络中, 时间延迟的存在是难以避免的. 然而, 由于时滞的存在, 系统可能变得不稳定, 系统的动态行为变得更加复杂. 在神经网络中, 由于突触中信号传播速度和处理时间的有限性, 不同相邻神经元之间的通信存在时滞差异. 人们对研究具有时延的神经网络的动力学越来越感兴趣, 理论成果也相继发表. 因此, 以时滞(离散时滞[6]、分布式时滞[7]、多时滞[8]、泄露时滞[9-11]等)作为研究对象, 分析神经网络的特性和动力学以及控制时滞系统的动态行为是十分必要和重要的.
在动力系统中, 可通过分岔方法获得某些丰富的动力特性, 这是无可争辩的. 分岔方法的优越性在于能捕捉复杂系统的内在性质, 涉及振荡行为出现的分岔可以帮助理解网络中观察到的参数敏感性, 并提供有利于网络的信息[12-14]. 例如, 对于带有抑制的环结构遗传模型, 其渐近行为得到广泛的检验. 大肠杆菌循环抑制网络模型的建立[15]就是很好的体现. 分岔的种类也有很多种, 其中随着参数的变化, 系统在稳定与不稳定之间切换的平衡点被称为Hopf分岔点[16]. 近年来, 对神经网络有关Hopf分岔分析进行了大量的数学研究, 人们可以通过Hopf分岔的深入而清晰的认识某个网络, 可以提供有用的网络信息, 为网络的应用提供更多的可能性. 因此, 研究神经网络的Hopf分岔具有重要意义. 此外, Hopf分岔可以由延迟诱导的生物系统是如何表现出周期性响应, 更准确地说, 由时间延迟引起的Hopf分岔可以得到一些有趣的结果, 如延迟与振荡幅度的关系. 还有研究表明, 这些Hopf分岔分析有助于生物视觉信息的快速处理, 并可用于预测大脑的病理状态.
显然, 具有时滞依赖的高维神经网络的动力学特性是值得研究的, 但影响其动力学的因素很多, 其中网络结构也是关注的因素之一. 众所周知, 约有1000亿个神经细胞组成了人的大脑, 每个神经细胞可长出2000至数万个树突与其他神经细胞连接. 然而人脑的开发仅有1%, 倘若能进一步的开发或者未来通过人工神经网络来学习生物神经网络将是极具意义和价值的. 在人脑和脊柱中, 大量的神经元构成一个大型的复杂神经网络, 通过网络的结构特性也可以简单地剖析成放射状网络、链状网络和环状网络等. 因此, 以结构作为研究点是极具代表性和研究价值的. 例如Xiao等[17]提出了具有辐射状的神经网络模型; Bootan等[7]和Huang等[18]研究了具有单环状的神经网络模型. 其次, 科研者更多提出的是形式单一且结构简单的网络, 依旧缺少具有多类网络结构组合的大型网络. 为此, 本文提出一类融合多种结构的超环神经网络模型. 如图1示, 由超多环形网络组合的大型神经网络图, 即体现了神经网络的环状、辐射状, 也可简化到链状形态. 此外, 研究这些简化的连通性结构的目的是进一步理解具有更复杂连通性的递归网络行为的机制, 以及研究复杂网络中相互连接的模式, 即网络基序[19], 对于了解整个网络的动态行为是非常重要的.
在上述研究基础上, 本文提出一类基于时滞诱导且融合了多种结构和高维性的超环神经网络, 对该类网络的稳定分析及分岔现象问题进行研究. 本文的主要贡献如下:
1)提出一类高维超环神经网络,该网络不仅融合了多类结构, 也体现了一般性.
2)针对大型神经网络, 选用离散时滞作为分岔参数, 讨论其网络所带来的新型稳定性及分岔理论.
3)引用矩阵与线性方程组的图解法, 解决一类规则性高维复杂网络模型的特征方程问题.
1. 建立结构型高维神经网络模型
本文研究了多时滞诱导的具有
$ n^2$ 个神经元组成的一类复杂的神经网络. 针对该网络,首先绘制出简化的神经网络模型图(见图1), 对应的数学表达式如下:$$\left\{ \begin{array}{l} \dot \psi _1^{(1)}(t) = - \rho \psi _1^{(1)}(t) + \nu _{{n}}^{(1)}f_{{n}}^{(1)}\left(\psi _n^{(1)}\left(t - \tau _n^{(1)}\right)\right) + \\ \begin{array}{*{20}{c}} {}&{}&{} \end{array} \;\;\;\;\; \nu _{\rm{1}}^{(n)}f_{\rm{1}}^{(n)}\left(\psi _{\rm{1}}^{(n)}\left(t - {\sigma _n}\right)\right) \\ \dot \psi _1^{(2)}(t) = - \rho \psi _1^{(2)}(t) + \nu _{{n}}^{(2)}f_{{n}}^{(2)}\left(\psi _n^{(2)}\left(t - \tau _n^{(2)}\right)\right)+ \\ \begin{array}{*{20}{c}} {}&{}&{} \end{array} \;\;\;\;\; \nu _1^{(1)}f_1^{(1)}\left(\psi _1^{(1)}\left(t - {\sigma _1}\right)\right) \\ \qquad\qquad\qquad\qquad\qquad\vdots \\ \dot \psi _1^{(n)}(t) = - \rho \psi _1^{(n)}(t) + \nu _{{n}}^{(n)}f_{{n}}^{(n)}\left(\psi _n^{(n)}\left(t - \tau _n^{(n)}\right)\right) + \\ \begin{array}{*{20}{c}} {}&{}&{} \end{array} \;\;\;\;\; \nu _1^{(n - 1)}f_1^{(n - 1)}\left(\psi _1^{(n - 1)}\left(t - {\sigma _{n - 1}}\right)\right) \\ \dot \psi _2^{(k)}(t) = - \rho \psi _2^{(k)}(t) + \nu _1^{(k)}f_1^{(k)}\left(\psi _1^{(k)}\left(t - \tau _1^{(k)}\right)\right) \\ \dot \psi _3^{(k)}(t) = - \rho \psi _3^{(k)}(t) + \nu _2^{(k)}f_2^{(k)}\left(\psi _2^{(k)}\left(t - \tau _2^{(k)}\right)\right) \\ \qquad\qquad\qquad\qquad\qquad\vdots \\ \dot \psi _n^{(k)}(t) = - \rho \psi _n^{(k)}(t) + \nu _{n - 1}^{(k)}f_{n - 1}^{(k)}\left(\psi _{n - 1}^{(k)}\left(t - \tau _{n - 1}^{(k)}\right)\right), \\ \begin{array}{*{20}{c}} {}&{}&{} \end{array}\;\;\;\;k = 1,2, \cdots ,n \end{array} \right.$$ (1) 显然, 该网络是单向连接的, 其中
$\psi _j^{({{k}})}(t)$ ($\forall j, $ $ k = 1,2,\cdots, n$ )代表网络(1)第$ k$ 个神经网环上第$ j$ 个神经元在$ t$ 时刻的兴奋状态, 该神经元的兴奋程度取决于自身反馈和连接上一个神经元的反馈效应. 本文定义了自反馈系数为正数$ \rho $ , 神经元间的连接权重是$v_j^{({{k}})}(t)$ ($ \forall j,k = {1,2,\cdots, n} $ ). 神经元网络中的激活函数用$f_j^{({{k}})}( \cdot )$ 表示, 神经元间传递信息所带来的时滞用$\tau _j^{({{k}})}$ 和$ {\sigma _i}$ ($ \forall i = {1,2,\cdots, n} $ )体现.注 1. 生物神经网络具有多姿多态、复杂多变的特性, 仅对辐射状或环状网络模型的研究与实际神经网络还有一定差距. 因此, 有必要构建一类有机复合多种结构的一般性网络. 网络(1)的提出融合了环型和辐射状的结构, 并将低维扩展到高维, 使其能更准确地描述真实神经网络.
本文主要研究大型神经网络(1)的稳定性和分岔问题. 建立网络(1)的分岔条件, 并讨论时滞、结构对网络(1)分岔的影响. 为推论出网络(1)的有关稳定性和分岔现象的基本结果, 需要并可以作以下假设.
假设 1.
$$\begin{split} &{f_j^{(i)} \in {C^1}(R),}\quad{f_j^{(i)} = 0,} \\ &{i = 1,2, \cdots ,n,} \quad {j = 1,2, \cdots ,n} \end{split} $$ 显然, 由假设1可得, 网络(1)具有平衡点
${\rm{O}}{\left( {0,0, \cdots ,0} \right)_{1 \times {n^2}}}$ .注 2. 网络(1)是高维多时滞系统, 拥有不唯一的平衡点. 即, 除了平凡平衡点
$ {\rm{O}}{\left( {0,0, \cdots ,0} \right)_{1 \times {n^2}}}$ 外, 可能还有其他平衡点. 本文重点研究原点${\rm{O}}( 0,0, \cdots , $ $ 0 )_{1 \times {n^2}}$ 邻近的局部动力学行为, 比如局部稳定性和Hopf分岔. 关于其他平衡点的动态演化行为, 可以通过坐标变换将平衡点平移到原点, 之后的处理方法类似. 因此, 仅讨论原点的局部动力学特征是具有代表性的.假设 2.
$$\begin{split} \tau & = \tau _1^{(k)} + \tau _2^{(k)} + \cdots + \tau _n^{(k)} = \\ \begin{array}{*{20}{c}} {} \end{array} &\qquad {\sigma _1} + {\sigma _2} + \cdots + {\sigma _n},\begin{array}{*{20}{c}} {} \end{array}\begin{array}{*{20}{c}} {k = 1,2, \cdots ,n} \end{array} \\ \end{split} $$ 注 3. 由于神经元间连接强度、突触等因素的影响, 信息传输的时间延迟不同. 网络(1)很好地体现了信息传输时滞的相异性. 本文重点研究神经网络的环状结构. 因此, 假设2展现了外环和中心环的时滞和是相等的. 这样既可以简化模型分析,又可以很好地保留环状特性.
2. 局部稳定性和Hopf分岔
本节研究时滞对网络(1)稳定性和分岔的影响, 并从数值分析上准确地确定分岔点与时滞的关系式. 针对网络(1), 基于假设1可得到在平衡点处线性化模型为
$$\left\{ \begin{array}{l} \dot \psi _1^{(1)}(t) = - \rho \psi _1^{(1)}(t) + \nu _{{n}}^{(1)}f_{{n}}^{(1)'}(0)\psi _n^{(1)}\left(t - \tau _n^{(1)}\right)+\\ \begin{array}{*{20}{c}} {}&{}&{} \end{array} \;\;\;\;\;\nu _{\rm{1}}^{(n)}f_{\rm{1}}^{(n)'}(0)\psi _{\rm{1}}^{(n)}(t - {\sigma _n})\\ \dot \psi _1^{(2)}(t) = - \rho \psi _1^{(2)}(t) + \nu _{{n}}^{(2)}f_{{n}}^{(2)'}(0)\psi _n^{(2)}\left(t - \tau _n^{(2)}\right)+\\ \begin{array}{*{20}{c}} {}&{}&{} \end{array} \;\;\;\;\; \nu _1^{(1)}f_1^{(1)'}(0)\psi _1^{(1)}(t - {\sigma _1})\\ \qquad\qquad\qquad\qquad\qquad\vdots \\ \dot \psi _1^{(n)}(t) = - \rho \psi _1^{(n)}(t) + \nu _{{n}}^{(n)}f_{{n}}^{(n)'}(0)\psi _n^{(n)}\left(t - \tau _n^{(n)}\right)+\\ \begin{array}{*{20}{c}} {}&{}&{} \end{array} \;\;\;\;\; \nu _1^{(n - 1)}f_1^{(n - 1)'}(0)\psi _1^{(n - 1)}(t - {\sigma _{n - 1}})\\ \dot \psi _2^{(k)}(t) = - \rho \psi _2^{(k)}(t) + \nu _1^{(k)}f_1^{(k)'}(0)\psi _1^{(k)}\left(t - \tau _1^{(k)}\right)\\ \dot \psi _3^{(k)}(t) = - \rho \psi _3^{(k)}(t) + \nu _2^{(k)}f_2^{(k)'}(0)\psi _2^{(k)}\left(t - \tau _2^{(k)}\right)\\ \qquad\qquad\qquad\qquad\qquad\vdots \\ \dot \psi _n^{(k)}(t) = - \rho \psi _n^{(k)}(t) + \nu _{n - 1}^{(k)}f_{n - 1}^{(k)'}(0)\psi _{n - 1}^{(k)}\left(t - \tau _{n - 1}^{(k)}\right),\\ \begin{array}{*{20}{c}} {}&{}&{} \end{array}\;\;\;\;\;k = 2,3, \cdots ,n \end{array} \right.$$ (2) 注 4. 已知系统的局部稳定性和Hopf分岔阈值取决于系统的一次项部分. 因此, 对网络(1)进行线性化处理, 期望得到其稳定性条件和分岔判据.
令
$\eta _{\rm{j}}^{(i)} = \nu _{\rm{j}}^{(i)}f{_{\rm{j}}^{(i)'} }(0)$ ,$ \forall i,j = {1,2,\cdots, n} $ , 基于线性化的网络(2)可以得到其对应的雅可比矩阵:$$\left[ {\begin{array}{*{20}{c}} {{G^{(1)}}}&0&0& \cdots &{{D^{(n)}}} \\ {{D^{(1)}}}&{{G^{(2)}}}&0& \cdots &0 \\ 0&{{D^{(2)}}}&{{G^{(3)}}}& \cdots &0 \\ \vdots & \vdots & \vdots & \ddots & \vdots \\ 0&0&0& \cdots &{{G^{(n)}}} \end{array}} \right]$$ 其中
$$ \begin{array}{l} {G^{({\rm{j}})}}{\rm{ = }}\left[ {\begin{array}{*{20}{c}} { - \rho }&0&0& \cdots &{\eta _n^{(j)}{{\rm e}^{ - \lambda \tau _n^{(j)}}}} \\ {\eta _1^{(j)}{{\rm e}^{ - \lambda \tau _1^{(j)}}}}&{ - \rho }&0& \cdots &0 \\ 0&{\eta _2^{(j)}{{\rm e}^{ - \lambda \tau _2^{(j)}}}}&{ - \rho }& \cdots &0 \\ \vdots & \vdots & \vdots & \ddots & \vdots \\ 0&0&0& \cdots &{ - \rho } \end{array}} \right]\\ {D^{({\rm{j}})}}{\rm{ = }}\left[ {\begin{array}{*{20}{c}} {\eta _1^{(j)}{{\rm e}^{ - \lambda \tau _1^{(j)}}}}&0& \cdots &0 \\ 0&0& \cdots &0 \\ \vdots & \vdots & \ddots & \vdots \\ 0&0& \cdots &0 \end{array}} \right] \end{array} $$ 针对该雅可比矩阵, 利用矩阵与线性方程组的图解法[20]并给出如下引理.
引理 1. 定义
$m \times n$ 阶矩阵P及对应的Coate流图${W_C}(P)$ , 矩阵P行列式展开的图解公式有$\det (P) = {( - 1)^n}\sum\nolimits_{i = 1}^k {{{( - 1)}^{{n_i}}}} {\vartriangle _i}$ , 其中k是流图中过$n$ 个顶点形成子图的个数,${\vartriangle _i}$ 是子图中各边权的积.由引理1可知网络(2)的特征多项式, 具有如下形式:
$$\begin{split} &{(\lambda + \rho )^{{n^2}}} + (C_n^1 + 1){\eta ^n}{(\lambda + \rho )^{(n - 1) \times n}}{{\rm e}^{ - \lambda \tau }} + \cdots + \\ &\qquad C_n^{n - 1}{\eta ^{(n - 1) \times n}}(\lambda + \rho ){{\rm e}^{ - (n - 1)\lambda \tau }} + {\eta ^{{n^2}}}{{\rm e}^{ - n\lambda \tau }} = 0 \end{split} $$ (3) 式(3)左右两边同乘
${{\rm{e}}^{n\lambda \tau }}$ 可得:$$\begin{split} & {\left[ {{{(\lambda + \rho )}^n}{{\rm e}^{\lambda \tau }}} \right]^n} + (C_n^1 + 1){\eta ^n}{\left[ {{{(\lambda + \rho )}^n}{{\rm e}^{\lambda \tau }}} \right]^{n - 1}} + \cdots + \\ &\qquad C_n^{n - 1}{\eta ^{(n - 1) \times n}}{(\lambda + \rho )^n}{{\rm e}^{\lambda \tau }} + {\eta ^{{n^2}}} = 0 \\[-10pt] \end{split} $$ (4) 2.1 无时滞状态
当
$\tau = 0$ 时为无时滞状态, 在此状态下判断系统的初始稳定情况. 因此, 特征方程(3)可退化为:$$\begin{split} & {(\lambda + \rho )^{{n^2}}} + (C_n^1 + 1){\eta ^n}{(\lambda + \rho )^{(n - 1) \times n}} + \cdots + \\ &\qquad C_n^{n - 1}{\eta ^{(n - 1) \times n}}(\lambda + \rho ) + {\eta ^{{n^2}}} = 0 \\[-5pt] \end{split} $$ (5) 即
$$\begin{split} &{\lambda ^{{n^2}}} + {N_1}{\lambda ^{{n^2} - 1}} + {N_2}{\lambda ^{{n^2} - 2}} + \cdots +\qquad\qquad\qquad\\ &\qquad {N_{{n^2} - 1}}\lambda + {N_{{n^2}}} = 0 \\[-15pt] \end{split} $$ (6) 其中,
${N_k}$ ,$ \forall k = {1,2,\cdots, {n^2}} $ 为式(6)中$\lambda $ 各幂次的系数.进一步定义:
$$ \begin{array}{l} {\Delta _1} = {N_1},{\Delta _2} = \left| {\begin{array}{*{20}{c}} {{N_1}}&{{N_3}} \\ 1&{{N_2}} \end{array}} \right|{\rm{ }}\\ {\Delta _3} = \left| {\begin{array}{*{20}{c}} {{N_1}}&{{N_3}}&{{N_5}} \\ 1&{{N_2}}&{{N_4}} \\ 0&{{N_1}}&{{N_3}} \end{array}} \right|{\rm{ }}, \cdots {\rm{}}\\ {\Delta _{{n^2}}} = \left| {\begin{array}{*{20}{c}} {{N_1}}&{{N_3}}&{{N_5}}& \cdots &0 \\ 1&{{N_2}}&{{N_4}}& \cdots &0 \\ 0&{{N_1}}&{{N_3}}& \cdots &0 \\ \vdots & \vdots & \vdots & \ddots & \vdots \\ 0&0&0& \cdots &{{N_{{n^2}}}} \end{array}} \right|{\rm{ }} \end{array} $$ 引理 2. 当满足条件
${\Delta _{ I}} > 0{\rm{,}}({ I} = 1,2{\rm{,}} \cdots ,{n^2})$ 时, 式(5)的所有根都分布在坐标轴的左半平面.证明. 由赫尔维茨判据[21]可知, 若某特征方程各项系数所构成的主行列式及其顺序主子式都为正, 则该特征方程的解都是具有负实部的解. 因此, 利用赫尔维茨判据, 由
${\Delta _{ I}} > 0{{,}}({ I} = 1,2{\rm{,}} \cdots ,{n^2})$ 易得式(5)的所有根都分布在坐标轴的左半平面.2.2 有时滞状态
由第2.1节可知,在无时滞状态下可以判断出网络的初始状态是否稳定, 进而随着时滞的引入, 分析总结出网络稳定性及分岔的条件. 首先, 在时滞状态下令
$\xi (\lambda ) = $ $ {(\lambda + \rho )^n}{{\rm{e}}^{\lambda \tau }}$ 对式(4)进行简化, 可得:$$\begin{split} {\left[ {\xi (\lambda )} \right]^n} + (C_n^1 + 1){\eta ^n}{\left[ {\xi (\lambda )} \right]^{n - 1}} + \cdots + \\ C_n^{n - 1}{\eta ^{(n - 1) \times n}}\xi (\lambda ) + {\eta ^{n \times n}} = 0 \end{split} $$ (7) 由于
$\xi (\lambda )$ 前的系数是已知常数, 所以可定义${\xi _j}(\lambda ), $ $j = 1,2, \cdots ,n$ 为式(7)所对应的$n$ 个解. 其次, 为寻找临界值(分岔点), 需找取式(7)的纯虚根, 进而假设$\lambda = {\rm i}\omega$ . 令${\xi _j}(\lambda ) = {\alpha _j} + {\rm i}{\beta _j}, \forall j =$ ${1,2,\cdots, n}$ 代入式(7), 整理可得:$${({\rm i}\omega + \rho )^n}(\cos (\omega \tau ) - {\rm i}\sin (\omega \tau )) = {\alpha _j} + {\rm i}{\beta _j}$$ (8) 令
${({\rm i}\omega + \rho )^n} = X + {\rm i}Y$ , 当$\{ n\left| {n = 2j,j \in {\bf N^*}} \right.\}$ 时,$$\begin{split} &X = {({\rm i}\omega )^n} + C_n^2{\rho ^2}{({\rm i}\omega )^{n - 2}} + C_n^4{\rho ^4}{({\rm i}\omega )^{n - 4}} + \cdots + {\rho ^n} \\ &{\rm i}Y = C_n^1\rho {({\rm i}\omega )^{n - 1}} + C_n^3{\rho ^3}{({\rm i}\omega )^{n - 3}} + \cdots + {\rm i}C_n^{n - 1}{\rho ^{n - 1}}\omega \end{split} $$ 当
$\{ n\left| {n = 2j - 1,j \in {\bf N^*}} \right.\}$ 时,$$\begin{split} X =& C_n^1\rho {({\rm{i}}\omega )^{n - 1}} + C_n^3{\rho ^3}{({\rm{i}}\omega )^{n - 3}} + \cdots + {\rho ^n} \\ {\rm i}Y =& {({\rm i}\omega )^n} + C_n^2{\rho ^2}{({\rm i}\omega )^{n - 2}} + C_n^4{\rho ^4}{({\rm i}\omega )^{n - 4}} + \cdots + \\ &{\rm i}C_n^{n - 1}{\rho ^{n - 1}}\omega \end{split} $$ 显然, 式(8)是一个
$\omega $ 的复值等式, 为了解决未知变量$\omega $ 和$\tau $ 的问题, 可以将式(8)分解成实部部分和虚部部分, 拆分的等式如下:$$\left\{ \begin{array}{l} X\cos (\omega \tau ) - Y\sin (\omega \tau ) = {\alpha _j} \\ \\ Y\cos (\omega \tau ) + X\sin (\omega \tau ) = {\beta _j} \\ \end{array} \right.$$ (9) 针对式(9), 利用克拉默法则容易推得:
$$\left\{ \begin{array}{l} \cos (\omega \tau ) = \dfrac{{X{\alpha _j} + Y{\beta _j}}}{{{X^2} + {Y^2}}} \\ \\ \sin (\omega \tau ) = \dfrac{{X{\beta _j} - Y{\alpha _j}}}{{{X^2} + {Y^2}}} \\ \end{array} \right.$$ (10) 由
${\cos ^2}(\omega \tau ){\rm{ + }}{\sin ^2}(\omega \tau ) = 1$ 可推得:$$ {X^2} + {Y^2} - {\alpha _j}^2 - {\beta _j}^2 = 0,\forall j = {1,2,\cdots, n} $$ (11) 取
$\varepsilon = {\omega ^2}$ , 对式(11)进行展开整理得:$$\begin{split} {\varepsilon ^n} + {A_1}{\varepsilon ^{n - 1}} + \cdots + {A_{n - 1}}\varepsilon +\\ {\rho ^{n \times n}} - {\alpha _j}^2 - {\beta _j}^2 = 0 \end{split} $$ (12) 其中,
${A_k}$ ,$ \forall k = {1,2,\cdots, n - 1} $ 为式(11)展开式有关$\varepsilon $ 的系数. 在此, 定义h(·)函数 :$$\begin{split} h(\varepsilon ) =& {\varepsilon ^n} + {A_1}{\varepsilon ^{n - 1}} + \cdots + {A_{n - 1}}\varepsilon + \\ & {\rho ^{n \times n}} - {\alpha _j}^2 - {\beta _j}^2 \end{split} $$ 进一步讨论式(12)的正实根.
引理 3. 对于式(12), 可以得到以下结果:
1)如果
${A_k} > 0$ 且${\rho ^{n \times n}} > {\alpha _j}^2 + {\beta _j}^2$ , 则式(12)不存在正实根.2)如果
${\rho ^{n \times n}} < {\alpha _j}^2 + {\beta _j}^2$ , 则式(12)至少存在$n$ 个正实根.证明. 1)由条件
${A_k} > 0$ ,$ \forall k = {1,2,\cdots, n - 1} $ 易知$h'(\varepsilon ) > 0$ , 显然函数$h(\varepsilon )$ 是单调递增函数. 此外, 由${\rho ^{n \times n}} > {\alpha _j}^2 + {\beta _j}^2$ 易知$h(0) > 0$ . 因此, 不存在正实部解$\varepsilon $ 满足$h(\varepsilon ){\rm{ = }}0$ , 即式(12)不存在正实根.2)由条件
${\rho ^{n \times n}} < {\alpha _j}^2 + {\beta _j}^2$ 易知$h(0) < 0$ , 值得注意的是${\lim _{\varepsilon \to + \infty }}h(\varepsilon ) = + \infty $ , 所以函数$h(\varepsilon )$ 至少存在$n$ 个解${\varepsilon _j}$ ,$ \forall j = {1,2,\cdots, n} $ 使得$h({\varepsilon _j}) = 0$ 成立. 显然, 引理3成立.因此, 由式(10)可得:
$$ \begin{split} \tau _k^{(j)} =& \dfrac{1}{{{\omega _j}}}\left\{ {\arccos \left( {\dfrac{{X{\alpha _j} + Y{\beta _j}}}{{{X^2} + {Y^2}}}} \right) + 2k\pi } \right\},\\ & j = 1,2, \cdots ,n, \;\;k = 0,1,2, \cdots \end{split} $$ 定义
$$ {\tau _0} = \tau _0^{({j_0})} = \min \left\{ {\tau _0^{(j)}\left| {j = 1,2, \cdots ,n} \right.} \right\},{\omega _0} = {\omega _{{j_0}}} $$ 显然, 在
${ \tau} = {\tau _0}$ 时$\pm {\rm{i}}{\omega _0}$ 是式(7)的一对纯虚根.为了验证临界点(
${\tau} = {\tau _0}$ )是否为分岔点, 还需证明在该点处满足Hopf分岔的穿越条件. 为此, 取${n} = {3}$ 进行举例证明并引入假设3.假设 3.
$\left( {{F_1}{E_1} + {F_2}{E_2}} \right)\Big|_{\tau = {\tau _0},\omega = {\omega _0}}\Big.\ne 0$ 其中
$$\begin{split} {F_1} =& - {c_2}\omega \cos (\omega \tau ) + {b_2}\omega \sin (\omega \tau ) - 2{c_3}\omega \cos (\omega \tau ) + \\ &2\omega \sin (2\omega \tau ) + 3\omega {A_3}\sin (3\omega \tau ) \\ {F_2} =& - {c_2}\omega \sin (\omega \tau ) + {b_2}\omega \cos (\omega \tau ) - 2{c_3}\omega \sin (\omega \tau ) + \\ & 2\omega \cos (2\omega \tau ) + 3\omega {A_3}\sin (3\omega \tau ) \end{split} $$ $$\begin{split} {E_1}=\;& {b_4} + ({b_5} + {b_2}\tau )\cos (\omega \tau ) + ({c_5} + {c_2}\tau )\sin (\omega \tau ) +\\ & ({b_6} - 2{b_3}\tau )\cos (2\omega \tau ) + ({c_6} - 2{c_3}\tau )\sin (2\omega \tau ) -\\ & 3\tau {A_3}\cos (3\omega \tau ) \end{split} $$ $$ \begin{split} {E_2} =\;& {c_4} + ({c_5} + {c_2}\tau )\cos (\omega \tau ) - ({b_5} + {b_2}\tau )\sin (\omega \tau ) + \\ &({c_6} - 2{c_3}\tau )\cos (2\omega \tau ) - ({b_6} - 2{b_3}\tau )\sin (2\omega \tau ) + \\ & 3\tau {A_3}\sin (3\omega \tau ) \end{split} $$ 引理 4. 假设
$\lambda (\tau ) = \gamma (\tau ) + {\rm{i}}\vartheta (\tau )$ 是式(3)的解. 当$\tau = {\tau _0}$ 时, 将满足$\gamma (\tau ) = 0$ ,$\vartheta (\tau ) = {\omega _0}$ . 那么, 穿越条件成立:$${\rm{Re}} \left( {\frac{{{\rm{d}}\lambda (\tau )}}{{{\rm{d}}\tau }}\left| \begin{array}{l} \\ \tau {\rm{ = }}{\tau _{\rm{0}}} \\ \end{array} \right.} \right) \ne {\rm{0}}$$ 证明. 当取
$n\;{\rm{ =\; }}3$ 时, 式(3)可转化为$$\begin{split} {B_1}(\lambda ) + {B_2}(\lambda ){{\rm e}^{ - \lambda \tau }} + {B_3}(\lambda ){{\rm e}^{ - 2\lambda \tau }} + {A_3}{{\rm e}^{ - 3\lambda \tau }} = 0 \end{split} $$ (13) 其中
$$\begin{split} {B_1}(\lambda ) &= {(\lambda + \rho )^9},{B_2}(\lambda ) = {A_1}{(\lambda + \rho )^6}{\rm{,}} \\ {B_3}(\lambda )& = {A_2}{(\lambda + \rho )^3} \end{split} $$ 首先, 对式(13)的两端同时进行有关时滞
$\tau $ 的导数, 可得:$$\dfrac{{{\rm{d}}\lambda (\tau )}}{{{\rm{d}}\tau }} = \dfrac{{\lambda {B_2}(\lambda ){{\rm{e}}^{ - \lambda \tau }} + 2\lambda {B_3}(\lambda ){{\rm{e}}^{ - 2\lambda \tau }} + 3\lambda {A_3}{{\rm{e}}^{ - 3\lambda \tau }}}}{{H - \tau {B_2}(\lambda ){{\rm{e}}^{ - \lambda \tau }} - 2\tau {B_3}(\lambda ){{\rm{e}}^{ - 2\lambda \tau }} - 3\tau {A_3}{{\rm{e}}^{ - 3\lambda \tau }}}}$$ (14) 其中,
$H = {B_1}^\prime (\lambda ) + {B_2}^\prime (\lambda ){{\rm{e}}^{ - \lambda \tau }} + {B_3}^\prime (\lambda ){{\rm{e}}^{ - 2\lambda \tau }}$ .当
$ \tau = {\tau _0}$ 时, 可令${\left. {{B_2}(\lambda )} \right|_{\lambda {\rm{ = i}}{\omega _0}}} = {b_2} + {\rm{i}}{c_2}$ ,${\left. {{B_3}(\lambda )} \right|_{\lambda {\rm{ = i}}{\omega _0}}} = {b_3} + {\rm{i}}{c_3}$ ,${\left. {{B_1}^\prime (\lambda )} \right|_{\lambda {\rm{ = i}}{\omega _0}}} = {b_4} + {\rm{i}}{c_4}$ ,${\left. {{B_2}^\prime (\lambda )} \right|_{\lambda {\rm{ = i}}{\omega _0}}} = {b_5} + {\rm{i}}{c_5}$ ,$\left. {{B_3}^\prime (\lambda )} \right|_\lambda = $ $ {\rm{i}}{\omega _0} = {b_6} + {\rm{i}}{c_6}$ , 式(14)可转化为:$$\dfrac{{{\rm{d}}\lambda (\tau )}}{{{\rm{d}}\tau }}\left| \begin{array}{l} \\ \tau = {\tau _0} \\ \end{array} \right. = \dfrac{{{F_1} + {\rm{i}}{F_2}}}{{{E_1} + {\rm{i}}{E_2}}}\left|, \begin{array}{l} \\ \tau = {\tau _0},\omega = {\omega _0} \end{array} \right.$$ 又因为
${{{\rm{d}}\lambda (\tau )}}/{{{\rm{d}}\tau }}|_{ \tau = {\tau _0} } \\ \bigg.$ 的实部为:$${\rm{Re}} \left\{ {\dfrac{{{\rm{d}}\lambda (\tau )}}{{{\rm{d}}\tau }}\left| \begin{array}{l} \\ \tau = {\tau _0} \\ \end{array} \right.} \right\} = \dfrac{{{F_1}{E_1} + {F_2}{E_2}}}{{{E_1}^2 + {E_2}^2}}\left| \begin{array}{l} \\ \tau = {\tau _0},\omega = {\omega _0} \\ \end{array} \right.$$ 显然,
$$ {\rm{sign}}\left\{ {{\rm{Re}} \left( {\frac{{{\rm{d}}\lambda (\tau )}}{{{\rm{d}}\tau }}\left| \begin{array}{l} \\ \tau {\rm{ = }}{\tau _{\rm{0}}} \\ \end{array} \right.} \right)} \right\} = {\rm sign}\left( {{F_1}{E_1} + {F_2}{E_2}} \right) $$ 由假设3的
$\left( {{F_1}{E_1} + {F_2}{E_2}} \right) \ne 0$ 易得穿越条件${\rm{Re}} ( {{{{\rm{d}}\lambda (\tau )}}/{{{\rm{d}}\tau }}|_ {\tau {\rm{ = }}{\tau _{\rm{0}}} } \\ } ) \ne {\rm{0}}$ 成立.基于假设1 ~ 3和引理2 ~ 4, 可得:
定理 1. 由网络(1)可得:
1)如果
${\Delta _{ I}} > 0$ ,${\rho ^{n \times n}} > {\alpha _j}^2 + {\beta _j}^2$ 和${A_k} > 0$ , 对于任意$\tau \in [0, + \infty )$ , 网络(1)是渐近稳定的.2)如果
${\Delta _{ I}} > 0$ 且${\rho ^{n \times n}} < {\alpha _j}^2 + {\beta _j}^2$ , 当$\tau \in [0,{\tau _0})$ 时, 网络(1)是渐近稳定的; 当$\tau \in ({\tau _0}, + \infty )$ 时, 网络(1)处于不稳定状态; 显然在$\tau = {\tau _0}$ 处网络(1)发生Hopf分岔现象.3. 数值算例与仿真
本节使用一个数值例子来仿真验证所得到的理论推导. 神经网络中激活函数常用
$\tanh ( \cdot )$ 表示. 考虑以下系统:$$\left\{ \begin{array}{l} \dot \psi _1^{(1)}(t) = - \rho \psi _1^{(1)}(t) + \nu _{\rm{3}}^{(1)}f_{\rm{3}}^{(1)}\left(\psi _3^{(1)}\left(t - \tau _3^{(1)}\right)\right) + \\ \begin{array}{*{20}{c}} {}&{}&{} \end{array} \;\;\;\;\; \nu _{\rm{1}}^{(3)}f_{\rm{1}}^{(3)}\left(\psi _{\rm{1}}^{(3)}\left(t - {\sigma _3}\right)\right) \\ \dot \psi _1^{(2)}(t) = - \rho \psi _1^{(2)}(t) + \nu _{\rm{3}}^{(2)}f_{\rm{3}}^{(2)}\left(\psi _3^{(2)}\left(t - \tau _3^{(2)}\right)\right) + \\ \begin{array}{*{20}{c}} {}&{}&{} \end{array} \;\;\;\;\;\nu _1^{(1)}f_1^{(1)}\left(\psi _1^{(1)}\left(t - {\sigma _1}\right)\right) \\ \dot \psi _1^{(3)}(t) = - \rho \psi _1^{(3)}(t) + \nu _{\rm{3}}^{(3)}f_{\rm{3}}^{(3)}\left(\psi _3^{(3)}\left(t - \tau _3^{(3)}\right)\right) + \\ \begin{array}{*{20}{c}} {}&{}&{} \end{array} \;\;\;\;\;\nu _1^{(2)}f_1^{(2)}\left(\psi _1^{(2)}\left(t - {\sigma _2}\right)\right) \\ \dot \psi _2^{(1)}(t) = - \rho \psi _2^{(1)}(t) + \nu _1^{(1)}f_1^{(1)}\left(\psi _1^{(1)}\left(t - \tau _1^{(1)}\right)\right) \\ \dot \psi _3^{(1)}(t) = - \rho \psi _3^{(1)}(t) + \nu _2^{(1)}f_2^{(1)}\left(\psi _2^{(1)}\left(t - \tau _2^{(1)}\right)\right) \\ \dot \psi _2^{(2)}(t) = - \rho \psi _2^{(2)}(t) + \nu _1^{(2)}f_1^{(2)}\left(\psi _1^{(2)}\left(t - \tau _1^{(2)}\right)\right) \\ \dot \psi _3^{(2)}(t) = - \rho \psi _3^{(2)}(t) + \nu _2^{(2)}f_2^{(2)}\left(\psi _2^{(2)}\left(t - \tau _2^{(2)}\right)\right) \\ \dot \psi _2^{(3)}(t) = - \rho \psi _2^{(3)}(t) + \nu _1^{(3)}f_1^{(3)}\left(\psi _1^{(3)}\left(t - \tau _1^{(3)}\right)\right) \\ \dot \psi _3^{(3)}(t) = - \rho \psi _3^{(3)}(t) + \nu _2^{(3)}f_2^{(3)}\left(\psi _2^{(3)}\left(t - \tau _2^{(3)}\right)\right) \\ \end{array} \right.$$ (15) 然后, 给出数值仿真所需的初始参数(见表1).
本节讨论时滞对网络(15)稳定性和分岔的影响. 首先, 根据第2节理论推导出分岔点
${\tau _{\rm{0}\;}}{\rm{ = 3}}{\rm{.22 \; s}}$ ,其次, 验证无时滞时网络(15)的特征方程子行列式的值是满足引理1的假设. 最后, 根据定理1可知, 当选取时滞为$\tau = 3.15\;{\rm{s}} < {\tau _0}$ 时, 网络(15)是稳定的, 显然图2的仿真图是对应的, 可以看到网络在平衡点附近是渐近稳定的. 当$\tau = 3.3 \;{\rm{s}} > {\tau _0}$ 时, 仿真结果见图3, 网络的平衡点不稳定, 并且明显地可以观测到相图中出现了极限环. 显然, 数值仿真的结果本文的结论是相统一. 说明所得的分岔结果是非常精确和有效的.表 1 网络(15)的初始参数设定表Table 1 Initial parameter setting table for network (15)参数 $\rho $ $v_j^{(k)},\forall j,k = {1,2,3}$ 初始值 0.75 -0.6 本文研究大规模超环神经网络的动力学演化行为. 进一步, 通过数值仿真给出环的个数和神经元数量对神经网络分岔的影响规律. 选取表1中的自反馈系数
$ \rho $ 和耦合连接权重$v_j^{({{k}})}(t)$ , 并假设外环神经元个数为3. 表2展现了网络结构对稳定性和分岔的影响. 显然, 随着环数和神经元数量的增加, 分岔点逐渐减小, 即稳定阈值变小, Hopf分岔将提前发生. 这意味着网络规模越大, 环状结构越多, 系统的稳定性越差.表 2 结构变化影响分岔点位置情况表Table 2 Table of the influence of structural change on the location of bifurcation points环的个数 结构简图 神经元个数 分岔点 3 6 16.2 4 9 3.22 5 12 2.08 4. 结论
本文选取时滞作分岔参数, 研究了一类大规模超环神经网络的稳定性与分岔动力学. 研究重点主要包括以下3个方面: 1)将简单的单环神经网络模型推广到一般的大规模多环网络模型; 2)通过分析特征方程根的分布情况, 给出了网络的稳定性及产生分岔现象的条件; 3)揭示了网络规模和环的个数对网络动力学的影响规律.
超环神经网络模型的提出及研究是具有前瞻性的, 此外, 未来研究工作的延伸和方向性的指导将更有助于实际神经网络的应用. 为此, 后续将开展以下工作: 1)考虑双向连接及多类型时滞融合的大规模神经网络的分岔动力学; 2)将整数阶神经网络推广到分数阶神经网络, 研究阶次对动力学的影响; 3)设计可行控制策略, 优化神经网络的动态演化过程.
-
表 1 网络(15)的初始参数设定表
Table 1 Initial parameter setting table for network (15)
参数 $\rho $ $v_j^{(k)},\forall j,k = {1,2,3}$ 初始值 0.75 -0.6 表 2 结构变化影响分岔点位置情况表
Table 2 Table of the influence of structural change on the location of bifurcation points
环的个数 结构简图 神经元个数 分岔点 3 6 16.2 4 9 3.22 5 12 2.08 -
[1] 张耀中, 胡小方, 周跃, 段书凯. 基于多层忆阻脉冲神经网络的强化学习及应用. 自动化学报, 2019, 45(8): 1536-1547.Zhang Yao-Zhong, Hu Xiao-Fang, Zhou Yue, Duan Shu-Kai. A novel reinforcement learning algorithm based on multilayer memristive spiking neural network with applications. Acta Automatica Sinica, 2019, 45(8): 1536-1547. [2] 杨刚, 王乐, 戴丽珍, 杨辉. 基于连接自组织发育的稀疏跨越-侧抑制神经网络设计. 自动化学报, 2019, 45(4): 808-818.Yang Gang, Wang Le, Dai Li-Zhen, Yang Hui. Design of sparse span-lateral inhibition neural network based on connection self-organization development. Acta Automatica Sinica, 2019, 45(4): 808-818. [3] Zhen W, Li L, Li Y, Cheng Z. Stability and Hopf bifurcation of a three-neuron network with multiple discrete and distributed delays. Neural Processing Letters, 2018, 48(5): 1481-1502. [4] Cheng Z, Xie K, Wang T, Cao J. Stability and Hopf bifurcation of three-triangle neural networks with delays. Neurocomputing, 2018, 322: 206-215. doi: 10.1016/j.neucom.2018.09.063 [5] Xu C, Liao M, Li P, Guo Y. Bifurcation analysis for simplified five-neuron bidirectional associative memory neural networks with four delays. Neural Processing Letters, 2019, 50: 2219–2245. doi: 10.1007/s11063-019-10006-y [6] Wang T, Cheng Z, Bu R, Ma R. Stability and Hopf bifurcation analysis of a simplified six-neuron tridiagonal two-layer neural network model with delays. Neurocomputing, 2019, 332: 203-214. doi: 10.1016/j.neucom.2018.12.005 [7] Bootan R, Yuliya N, Konstantin B. Dynamics of unidirectionally-coupled ring neural network with discrete and distributed delays. Journal of Mathematical Biology, 2020, 80: 1617-1653. doi: 10.1007/s00285-020-01475-0 [8] Xu C J, Liao M X, Li P L, Guo Y, Xiao Q M, Yuan S. Influence of multiple time delays on bifurcation of fractional-order neural networks. Applied Mathematics and Computation, 2019, 361: 565-582. doi: 10.1016/j.amc.2019.05.057 [9] Ali M S, Narayanan G, Shekher V, Alsulami H, Saeed T. Dynamic stability analysis of stochastic fractional-order memristor fuzzy BAM neural networks with delay and leakage terms. Applied Mathematics and Computation, 2020, 369: 124896 [10] Li Z, Huang C, Zhang Y. Comparative analysis on bifurcation of four-neuron fractional ring networks without or with leakage delays. Advances in Difference Equations, 2019, 179: 1-22. [11] Yao Y, Xiao M, Cao J. Stability switches and Hopf bifurcation of a neuron system with both leakage and distributed delays. Neural Processing Letters, 2019, 50(2): 341-355. [12] Zhang Z Z, Yuan H Z. Hopf bifurcation in a delayed predator-prey system with modified Leslie-Gower and Holling-type III schemes. Acta Automatica Sinica, 2013, 5: 610-616. [13] Wang H P, Li J, Zhang K. Stability and Hopf bifurcation of the maglev system with delayed speed feedback control. Acta Automatica Sinica, 2007, 8: 829-834. [14] Dong T, Bai J Q, Yang L. Bifurcation analysis of delayed complex-valued neural Network with diffusions. Neural Processing Letters, 2019, 50(2): 1019-1033. doi: 10.1007/s11063-018-9899-0 [15] Elowitz M B, Leibler S. A synthetic oscillatory network of transcriptional regulators, Nature, 2000, 403(6767): 335−338 [16] Hassard B D, Kazarinoff N D, Wan Y H. Theory and applications of Hopf Bifurcation. Cambridge: Cambridge University Press, 1981. [17] Xiao M, Zheng W X, Cao J. Hopf bifurcation of an (n+1)-neuron bidirectional associative memory neural network model with delays. IEEE Transactions on Neural Networks and Learning Systems, 2013, 24(1): 118-132. doi: 10.1109/TNNLS.2012.2224123 [18] Huang C, Cao J, Xiao M, Alsaedi A, Hayat T. Effects of time delays on stability and Hopf bifurcation in a fractional ring-structured network with arbitrary neurons. Communications in Nonlinear Science and Numerical Simulation, 2018, 57: 1-13. doi: 10.1016/j.cnsns.2017.09.005 [19] Milo R, Shen O S, Itzkovitz S, Kashtan N, Chklovskii D, Alon U. Network motifs: Simple building blocks of complex networks, Science, 2002, 298 [20] 杨华. 矩阵与线性方程组的图解法. 天津: 南开大学, 2007.Yang Hua. A Graphical Method for Matrices and Systems of Linear Equations. Tianjin: Nankai University, 2007. [21] 胡寿松. 自动控制原理. 北京: 科学出版社, 2013. 95−97Hu Shou-Song. Automatic Control Theory. Beijing: Science Press, 2013. 95−97 期刊类型引用(2)
1. 肖敏,陆云翔,虞文武,郑卫新. 神经网络分岔动力学综述. 自动化学报. 2025(01): 72-89 . 本站查看
2. 陶斌斌,肖敏,蒋国平. 链式神经网络动力学及其与环状结构、星型结构对比分析. 控制理论与应用. 2024(09): 1588-1597 . 百度学术
其他类型引用(3)
-