Design of Sparse Span-lateral Inhibition Neural Network Based on Connection Self-organization Development
-
摘要: 针对跨越——侧抑制神经网络（Span-lateral inhibition neural network，S-LINN）的结构调整及参数学习问题，结合生物神经系统中神经元的稀疏连接特性，依据儿童及青少年智力发展水平与大脑皮层发育之间的相互关系，提出以小世界网络连接模式进行初始稀疏化的连接自组织发育稀疏跨越——侧抑制神经网络设计方法.定义网络连接稀疏度及神经元输出贡献率，设计网络连接增长——修剪规则，根据智力超常组皮层发育与智力水平的对应关系调整和控制网络连接权值，动态调整网络连接实现网络智力的自组织发育.通过非线性动力学系统辨识及函数逼近基准问题的求解，证明在同等连接复杂度的情况下，稀疏连接的跨越——侧抑制神经网络具有更好的泛化能力.
-
关键词:
- 跨越-侧抑制神经网络 /
- 稀疏 /
- 小世界网络 /
- 智力发展
Abstract: Inspired by the sparse connection of neurons in biological nervous system and the relationship between children and adolescents' intellectual ability and cortical development, a connection self-organization development-based sparse span-lateral inhibition neural network (sS-LINN) is developed to solve the structure adjustment and parameter learning problem, which adopts the small-world network connection mode as the initial sparse network architecture. A growing-pruning rule of network connection is designed to adjust and control the sparseness of network connections based on the definitions of connection sparseness and neuron output contribution rate. Performance of the proposed sparse S-LINN is evaluated successfully through simulation using nonlinear dynamic system identification and function approximation benchmark problems. It is shown that the proposed sS-LINN can produce a very compact structure with good generalization ability in comparison with other methods. -
20 世纪 50 年代以来,基于模型的控制理论得到了快速发展与完善.其建立控制系统的过程要经历三个阶段,依次是建立模型、分析模型和依靠模型设计控制律[1].但随着受控对象越来越复杂,如何有效地对受控对象进行建模已成为一个棘手的问题.原因是对于一个系统,如果所建数学模型过于复杂,则难以设计控制律或所得控制律工程上难以实现[2-3].如果过于简单,则难以反映实际系统的动态特性,基于该模型设计的控制律在实际应用中难以取得理想的控制效果. 其次,建立系统模型的方法主要有机理建模和系统辨识两种方法,无论哪种方法,所建模型都是对真实系统的逼近,实际系统一定会存在影响控制系统鲁棒性的未建模动态和其他不确定性因素[4-5].
目前,主要存在两大类方法用以解决上述问题.第一大类方法是基于数据驱动的控制方法. 较为典型的有虚拟参考反馈整定(Virtual reference feedback tuning,VRFT)、同步扰动随机逼近(Simultaneous perturbation stochastic approximation,SPSA)和无模型自适应控制 (Model free adaptive control,MFAC)三种方法. VRFT 是 Guardabassi等 在 2000 年提出的,其特点是根据离线数据设计控制律. 该方法基于模型参考自适应,通过参数辨识直接得到控制器参数,使闭环系统动态特性逼近参考模型[6]. 由于实际系统的动态信息无法通过一次激励完全得到,所以运用该方法设计所得的控制器很难保证闭环系统的稳定性. SPSA 是Spall在 1993 年提出的,其特点是迭代辨识系统参数,控制效果易受系统结构变化或参数变化的影响.使用该方法同样难以保证闭环系统的稳定性[7]. MFAC 方法是侯忠生在 1994年提出的一种无模型自适应控制方法[8], 其特点是控制器的设计不需要系统的模型信息,而是基于输入输出数据直接计算得到控制量.文献[5, 9-10]证明了紧格式和偏格式动态线性化控制方法闭环系统的稳定性.第二大类方法是吴宏鑫等提出的特征建模方法.特征建模方法广泛应用于航天器和工业控制中,是一种综合考虑对象动力学特征和控制性能要求的建模方法[2].该方法与文献[5]提出的全格式动态线 性化模型有异曲同工之处.不同的是,特征建模方法强调在采样周期足够小的情况下,特征模型与原模型的输入输出具有等价性[2],而基于全格式的动态线性化方法则考虑存在时变线性系统与原系统等价[5, 9-10].
侯忠生提出的无模型自适应控制,因其理论严密和计算量较小,在工程上有广阔的应用前景. 经过多年的发展,侯忠生分别针对单输入单输出系统和多输入多输出系统设计了基于紧格式、偏格式、全格式的无模型自适应控制. 在文献[11] 中,提出了控制器的动态线性化方法.在文献[12]1中,提出了一种新的PPD(Pseudo-partial derivative)参数估计方法.但以上方法均未考虑实际物理系统中可能出现的执行器饱和问题.由于执行器的执行能力都是有限的,而执行器饱和这种非线性环节可能会导致控制效果严重恶化甚至丧失闭环稳定性[13].具体来讲,忽略可能出现的执行器饱和,将无法发挥其最大的控制能力.同时在执行器饱和后,作用在系统上的实际控制量并不取决于控制器计算的数值,故用于模型参数辨识的输入输出就可能出现明显偏差,严重时会造成系统的不稳定.文献[12]虽设置了控制量的速率饱和,但没有对可能出现的饱和做任何优化,同时未考虑执行器的幅值饱和.
借鉴文献[5] 中 PJM（Pseudo Jacobian matrix）辨识技术,本文针对执行器饱和问题,提出了基于紧格式改进无 模型自适应控制方法,并证明了该控制方法的闭环稳定性. 进一步,对蒸馏塔 Wood/Berry的仿真实验表明了该方法具有更强的跟踪能力 且对初始值不敏感.本文对执行器同时设置了速率饱和和位置饱和并进行了优化.
1本文与文献[12]的区别主要在于本文提出的方法考虑了位置饱和对系统造成的影响,并对可能出现的执行器饱和问题进行了优化.在仿真时,文献[12]并没有考虑不同初始参数对系统造成的影响.而本文用仿真结果说明改进后的无模型自适应方法具有初值不敏感性.
1. 问题描述
本节简述文献[5]提出的无模型自适应控制方法的相关概念以及计算思路. 在此基础上,分析已有方法的不足并提出本文要解决的问题.
考虑如下多输入多输出离散系统:
$\begin{array}{*{35}{l}} y(k+1)= & \ f(y(k),\cdots ,y(k-{{n}_{y}}), \\ {} & \ u(k),\cdots ,u(k-{{n}_{u}})) \\ \end{array}$
(1) 其中, ${{ u}(k)\in{\bf R}^m}$ , ${{ y}(k)\in{\bf R}^n}$ ,它们分别是系统 ${k}$ 时刻的输入和输出向量. ${n_y}$ 和 ${n_u}$ 是未知整数. ${{ f}(\cdot)}$ 是一个未知非线性函数. 假设 ${{f}(\cdot)}$ 关于 ${{ u}(k)}$ 的偏导数连续,且系统 (1) 满足广义Lipschitz 假设. 则可以得到定理1[5].
定理1. 对满足广义Lipschitz假设且 ${{ f}(\cdot)}$ 关于 ${{ u}(k)}$ 偏导数连续的非线性系统(1),当 ${\|\Delta{ u}(k)\|}\neq0$ 时,一定会存在一个被称为PJM (Pseudo Jacobian matrix) 的时变参数 ${\Phi_c(k)\in{\bf R}^{n× m}}$ ,使系统(1) 可转化为如下紧格式动态线性化数据模型(Compact form dynamic linearization,CFDL):
$align\Delta y(k+1)={{\Phi }_{c}}(k)\Delta u(k)$
(2) 其中
$\begin{align} & {{\Phi }_{c}}(k)= \\ & \qquad \left[ \begin{matrix} {{\phi }_{11}}(k) & {{\phi }_{12}}(k) & \cdots & {{\phi }_{1m}}(k) \\ {{\phi }_{21}}(k) & {{\phi }_{22}}(k) & \cdots & {{\phi }_{2m}}(k) \\ \vdots & \vdots & \ddots & \vdots \\ {{\phi }_{n1}}(k) & {{\phi }_{n2}}(k) & \cdots & {{\phi }_{mm}}(k) \\ \end{matrix} \right]\in {{\mathbf{R}}^{n\times m}} \\ \end{align}$
(3) 且对任意时刻 $k$, $\|{\Phi}_c(k)\|$ 有界.
基于紧格式动态线性化的无模型自适应控制是运用参数辨识的方法,动态计算 PJM 时变参数的数值,并在此基础上进行控制的算法.详细的计算步骤可参见文献 [9-14]. 在现有的方法中,仅文献 [12]考虑了不完全的执行器饱和问题. 对于实际的物理系统,执行器的执行能力都是有限的,具体体现在控制量的幅度与变化速率的有界性.执行器的执行能力可完整表示为
$\left\{ \begin{array}{*{35}{l}} \Delta {{u}_{\min }}(k)\le \Delta u(k)\le \Delta {{u}_{\max }}(k) \\ {{u}_{L}}\le u(k)\le {{u}_{U}} \\ \end{array} \right.$
(4) 其中, $\Delta{ u}_{\min}$ 和 $\Delta{ u}_{\max}$ 分别表示控制量变化速率的最小和最大值, ${ u}_L$ 和 ${ u}_U$ 分别表示控制幅度的最小和最大值.
2. 无模型自适应控制的执行器饱和优化
本节提出基于紧格式的优化无模型自适应控制,通过综合分析执行器的执行能力给出控制算法.
2.1 改进控制器设计
在辨识 PJM 参数时,采用如下计算方法[5]:
$\begin{align} & {{{\hat{\Phi }}}_{c}}(k)={{{\hat{\Phi }}}_{c}}(k-1)+ \\ & \frac{\eta (\Delta y(k)-{{{\hat{\Phi }}}_{c}}(k-1)\Delta u(k-1))\Delta {{u}^{\text{T}}}(k-1)}{\mu +\|\Delta u(k-1){{\|}^{2}}} \\ \end{align}$
(5) 其中, $\mu>0$ , $\eta\in(0,2]$ . 则可知 PJM时变参数 $\hat{\Phi}_c(k)$ 有界.
进一步对 $y(k+1) $ 进行滤波[12]
$\left\{ \begin{array}{*{35}{l}} \overline{y}(k+1)=\widehat{y}(k)+{{{\hat{\Phi }}}_{c}}(k)\Delta -u(k) \\ \widehat{y}(k+1)=\overline{y}(k+1)+K(-y(k+1)-\overline{y}(k+1)) \\ \end{array} \right.$
(6) 其中, $K\in[0,1]$ 为常数, $\bar{{ y}}(k+1) $ 为 ${ y}(k+1) $ 的预报值, $\hat{{ y}}(k+1) $ 为 ${ y}(k+1) $ 的滤波值.滤波值是控制量 ${ u}(k)$ 作用于控制对象后,测量得到 ${ y}(k+1) $ ,然后再进行计算得到的.
控制算法的设计目标是让预报值 $\bar{{ y}}(k+1) $ 尽可能地跟踪参考输入 ${ y}^*(k)$ ,同时控制量符合实际要求. 为达成此目标,考虑如下控制输入准则函数
$\begin{align} & J(\Delta u(k))= \\ & \qquad \|{{y}^{*}}(k+1)-\overline{y}(k+1){{\|}^{2}}+\lambda \|\Delta u(k){{\|}^{2}} \\ \end{align}$
(7) 其中,λ>0 是一个权重因子,用来限制控制量的变化幅度.
对于执行器执行能力(4),设
$\left\{ \begin{array}{*{35}{l}} {{u}_{LB}}(k)=\max \{\Delta {{u}_{\min }}(k),{{u}_{L}}-u(k-1)\} \\ {{u}_{UB}}(k)=\min \{\Delta {{u}_{\max }}(k),{{u}_{U}}-u(k-1)\} \\ \end{array} \right.$
(8) 则在 $k$ 时刻控制量增量范围可表示为
$\left[ \begin{matrix} -I \\ I \\ \end{matrix} \right]\Delta u(k)\le \left[ \begin{matrix} -{{u}_{LB}}(k) \\ {{u}_{UB}}(k) \\ \end{matrix} \right]$
(9) 联立式 (7) 和式 (9),并做如下变换:
$\left\{ \begin{array}{*{35}{l}} x=\Delta u(k) \\ E=2({{{\hat{\Phi }}}_{c}}(k)\hat{\Phi }_{c}^{\text{T}}(k)+\lambda I) \\ F=-2\hat{\Phi }_{c}^{\text{T}}(k)({{y}^{*}}(k+1)-\overline{y}(k)) \\ G=\|{{y}^{*}}(k+1)-\widehat{y}(k){{\|}^{2}} \\ M=\left[ \begin{matrix} -I \\ I \\ \end{matrix} \right] \\ [4mm]\gamma =\left[ \begin{matrix} -{{u}_{LB}}(k) \\ {{u}_{UB}}(k) \\ \end{matrix} \right] \\ \end{array} \right.$
(10) 忽略常量 $G$ ,其等价于求解:
$\left\{ \begin{array}{*{35}{l}} J(x)=\frac{1}{2}{{x}^{\text{T}}}Ex+{{x}^{\text{T}}}F \\ Mx\le \gamma \\ \end{array} \right.$
(11) 当x取何值时,J的数值最小. 对于极值问题(11),采用比较成熟的 Hildreth 二次编程方法求解[15].
定义 ${H}$ 、 ${K}$ 矩阵和 ${ \chi}$ 向量如下:
$\left\{ \begin{array}{*{35}{l}} H=M{{E}^{-1}}{{M}^{\text{T}}} \\ K=\gamma +M{{E}^{-1}}F \\ \chi \le 0 \\ \end{array} \right.$
(12) 其中, $\chi \in {{\mathbf{R}}^{n\times 1}}$ 是拉格朗日乘子.采用如下步骤迭代求改进解:
$\begin{align} & \chi \leftarrow 0 \\ & iter\leftarrow 1 \\ & ite{{r}_{\max }}\leftarrow 20 \\ & \epsilon \leftarrow {{\epsilon }_{0}} \\ & \text{while}(\|{{\chi }^{iter}}-{{\chi }^{iter-1}}\|＜\epsilon \ \text{or}\ iter＜ite{{r}_{\max }})\ \\ & \{\text{for}\ i=1:n \\ & \{\omega \leftarrow -\frac{K(i)+\sum\limits_{j=1}^{i-1}{H}(i,j)\chi (j)+\sum\limits_{j=i+1}^{n}{H}(i,j)\chi (j)}{H(i,i)} \\ & \chi (i)\leftarrow \max (0,\omega ) \\ & \ iter\leftarrow iter+1 \\ & \ \} \\ & \ \} \\ & x=-{{E}^{-1}}(F+{{M}^{\text{T}}}\chi ) \\ \end{align}$
(13) 其中,迭代次数 $iter_{\max}$ 可变.从以上的计算过程中可以看出,该方法基于求解原问题的对偶问题,通过迭代逼近拉格朗日乘子来得到最终解.在整个运算过程中没有矩阵求逆运算,因而计算量小、易于编程实现.由文献[15]可知,当不等式可行解不为空时,该算法收敛.同时易知没有约束式(9) 时,式(7) 的最优解为 ${ x}=-E^{-1}F$ .结合式 $(\ref{xiuci})$ 可知,增加约束后的最优解相当于在原有的基础上添加了一个修正项,以满足不等式约束(9) .
2.2 改进控制算法闭环稳定性证明
为了严格分析改进算法的闭环稳定性,做如下假设:
假设1.存在充分大的 λ使得 $\Phi{E}^{-1}({F}+{M}^{\rm T}{ \chi})$ 正定.
如果假设 1 不能满足,则说明该改进算法无法保证此系统在遇到执行器饱和问题时的闭环稳定性,需要更复杂的控制算法才能进行有效控制.
基于假设 1可以证明定理2.
定理2. 对于非线性系统 $(1)$ ,当 $\Delta{ u}(k)$ 幅值有界时,在满足假设 1条件下,由辨识方案(1)和本文提出的迭代算法具有如下性质: 当 ${ y}^*(k+1) $ $=$ ${ y}^*$ $=$ ${\rm {const}}$ 时,存在一个正数 ${{\lambda }_{\min }}>0$ ,使得当 $\lambda \ge {{\lambda }_{\min }}$ 时,有:
1) 系统跟踪误差序列是有界的,即 $\|{ y}(k+1) -{ y}^*\|$ 有界.
2) 闭环系统是 BIBO (Bounded-input bounded-output)稳定的,即输出序列 $\{{ y}(k)\}$ 和输入序列 $\{{ u}(k)\}$ 是有界的.
证明.
1) 证明 $\|\tilde{{ y}}(k)\|=\|{ y}(k)-\hat{{ y}}(k)\|$ 有界. 由文献[15]中的定理, $\|\Phi_c(k)-\hat{\Phi}_c(k)\|$ 有界,且 $\Delta{ u}(k)$ 有界,不妨设
$\|{{\Phi }_{c}}(k)-{{\hat{\Phi }}_{c}}(k)\|\|\Delta u(k)\|\le b$
(14) 则有
$\begin{align} & \|\widetilde{y}(k+1)\|=\|y(k+1)-\widehat{y}(k+1)\|= \\ & (1-K)\|\widetilde{y}(k)+{{{\tilde{\Phi }}}_{c}}(k)\Delta u(k)\|\le \\ & (1-K)(\|\widetilde{y}(k)\|+\|{{{\tilde{\Phi }}}_{c}}(k)\Delta u(k)\|)\le \\ & (1-K)\|\widetilde{y}(k)\|+(1-K)b\le \cdots \le \\ & {{(1-K)}^{k}}\|\widetilde{y}(1)\|+\frac{(1-k)b(1-{{(1-K)}^{k}})}{K} \\ \end{align}$
(15) 故 $\|\tilde{{ y}}(k)\|$ 有界,设为 $c$ ,即 $\|\tilde{{ y}}(k)\|\leq{c}$ .
2) 证明存在 λ,使得:
$I-{{\Phi }_{c}}(k)S(k){{({{\hat{\Phi }}_{c}}(k)\hat{\Phi }_{c}^{\text{T}}(k)+\lambda I)}^{-1}}\hat{\Phi }_{c}^{\text{T}}(k)$
(16) 的特征根的绝对值都小于1.其中, ${S}(k)$ 为一个对角矩阵, $S_i(k)$ 表示矩阵 $S(k)$ 中第 $k$ 个对角元.另记 ${\delta}(k)$ 为 $m$ 维列向量, $\epsilon_0$ 为某一大于0的正数.且 $S(k)$ , ${ \delta}(k)$ 满足
$\begin{align} & \text{for}\ i=1:m \\ & \text{if}\ {{({{E}^{-1}}F)}_{i}}\le {{\epsilon }_{0}}\ \text{then}\ \\ & {{S}_{i}}(k)\leftarrow \frac{{{({{E}^{-1}}(F+{{M}^{\text{T}}}\chi ))}_{i}}}{{{\epsilon }_{0}}} \\ & \ {{\delta }_{i}}(k)\leftarrow \frac{{{(\mathbf{x})}_{i}}}{{{S}_{i}}}-{{({{E}^{-1}}F)}_{i}}\ \\ & \text{else}\ \ \\ & {{S}_{i}}(k)\leftarrow \frac{{{({{E}^{-1}}(F+{{M}^{\text{T}}}\chi ))}_{i}}}{{{({{E}^{-1}}F)}_{i}}} \\ & \ \ {{\delta }_{i}}(k)\leftarrow 0 \\ \end{align}$
则易知
$x=S(k){{E}^{-1}}F+S(k)\delta (k)$
(17) 用 $\|\cdot\|_2$ 表示矩阵的谱范数,用 $\rho(\cdot)$ 表示矩阵的谱.由于 $\Phi_c(k)$ , ${S}(k)$ , $\hat{\Phi}_c^{\rm T}(k)$ , ${\delta}(k)$ 均有界,则不妨设
$\begin{align} & \|{{\Phi }_{c}}(k){{\|}_{2}}\|S(k){{\|}_{2}}\|\hat{\Phi }_{c}^{\text{T}}(k){{\|}_{2}}\le {{e}_{1}} \\ & \|S(k){{\|}_{2}}\|\hat{\Phi }_{c}^{\text{T}}(k){{\|}_{2}}\le {{e}_{2}} \\ & \|{{\Phi }_{c}}(k){{\|}_{2}}\|S(k)\delta (k){{\|}_{2}}\le {{e}_{3}} \\ \end{align}$
(18) 取 $e_0\!=\!\max\{e_1,e_2\}$ , $λ_{\min}\!=\!e_0+\rho(\hat{\Phi}_c(k)\hat{\Phi}_c^{\rm T}(k))$ ,因为 $(\hat{\Phi}_c\hat{\Phi}_c^{\rm T}(k)+λ{I})^{-1}$ 为对称矩阵,且当 $λ>λ_{\min}$ 时有
$\begin{align} & \|{{({{{\hat{\Phi }}}_{c}}\hat{\Phi }_{c}^{\text{T}}(k)+\lambda I)}^{-1}}{{\|}_{2}}= \\ & \qquad \rho ({{({{{\hat{\Phi }}}_{c}}\hat{\Phi }_{c}^{\text{T}}(k)+\lambda I)}^{-1}})＜\frac{1}{{{e}_{0}}} \\ \end{align}$
(19) 则进一步有
$\begin{align} & \rho ({{\Phi }_{c}}(k)S(k){{({{{\hat{\Phi }}}_{c}}(k)\hat{\Phi }_{c}^{\text{T}}(k)+\lambda I)}^{-1}}\hat{\Phi }_{c}^{\text{T}}(k))\le \\ & \qquad \|{{\Phi }_{c}}(k){{\|}_{2}}\|S(k){{\|}_{2}}\|{{({{{\hat{\Phi }}}_{c}}(k)\hat{\Phi }_{c}^{\text{T}}(k)+\lambda I)}^{-1}}{{\|}_{2}}\times \\ & \qquad \|\hat{\Phi }_{c}^{\text{T}}(k){{\|}_{2}}＜1 \\ \end{align}$
(20) 由假设1可知,当 $\lambda >{{\lambda }_{\min }}$ 时,式 (16) 的特征根的绝对值均小于1.
3) 证明跟踪误差有界.由步骤2知
$\rho (I-{{\Phi }_{c}}(k)S(k){{({{\hat{\Phi }}_{c}}(k)\hat{\Phi }_{c}^{\text{T}}(k)+\lambda I)}^{-1}}\hat{\Phi }_{c}^{\text{T}}(k))＜1$
(21) 则存在足够小 $\epsilon$ 和范数 $\|\cdot\|$ ,使得
$\begin{align} & \|I-{{\Phi }_{c}}(k)S(k){{({{{\hat{\Phi }}}_{c}}(k)\hat{\Phi }_{c}^{\text{T}}(k)+\lambda I)}^{-1}}\hat{\Phi }_{c}^{\text{T}}(k)\|\le \\ & \qquad \epsilon +\rho (I-{{\Phi }_{c}}(k)S(k)\text{ }\lambda \\ & \qquad {{({{{\hat{\Phi }}}_{c}}(k)\hat{\Phi }_{c}^{\text{T}}(k)+\lambda I)}^{-1}}\hat{\Phi }_{c}^{\text{T}}(k))＜1 \\ \end{align}$
(22) 对任意 $k$ 取
$\begin{align} & \|I-{{\Phi }_{c}}(k)S(k){{({{{\hat{\Phi }}}_{c}}(k)\hat{\Phi }_{c}^{\text{T}}(k)+\lambda I)}^{-1}}\hat{\Phi }_{c}^{\text{T}}(k)\|＜ \\ & {{d}_{1}}＜1 \\ & \|{{\Phi }_{c}}(k)S(k){{({{{\hat{\Phi }}}_{c}}(k)\hat{\Phi }_{c}^{\text{T}}(k)+\lambda I)}^{-1}}\hat{\Phi }_{c}^{\text{T}}(k)\|＜{{d}_{2}} \\ \end{align}$
(23) 则
$\begin{align} & \|e(k+1)\|= \\ & \|{{y}^{*}}(k+1)-y(k+1)\|= \\ & \|{{y}^{*}}(k+1)-y(k)-{{\Phi }_{c}}(k)S(k)\times \\ & {{({{{\hat{\Phi }}}_{c}}(k)\hat{\Phi }_{c}^{\text{T}}(k)+\lambda I)}^{-1}}\hat{\Phi }_{c}^{\text{T}}(k)({{y}^{*}}(k)- \\ & \widehat{y}(k))-{{\Phi }_{c}}(k)S(k)\delta (k)\|\le \| \\ & I-{{\Phi }_{c}}(k)S(k){{({{{\hat{\Phi }}}_{c}}(k)\hat{\Phi }_{c}^{\text{T}}(k)+\lambda I)}^{-1}} \\ & \hat{\Phi }_{c}^{\text{T}}(k)\|+\|{{y}^{*}}(k)-y(k)\|+\|{{\Phi }_{c}}(k)S(k)\times \\ & {{({{{\hat{\Phi }}}_{c}}(k)\hat{\Phi }_{c}^{\text{T}}(k)+\lambda I)}^{-1}}\hat{\Phi }_{c}^{\text{T}}(k)\|\|\widetilde{y}(k)\|+\| \\ & {{\Phi }_{c}}(k)S(k)\delta (k)\|\le \\ & {{d}_{1}}\|e(k)\|+{{d}_{2}}c+{{e}_{3}}\le \cdots \le \\ & d_{1}^{k}\|e(1)\|+\frac{({{d}_{2}}c+{{e}_{3}})(1-d_{1}^{k})}{1-{{d}_{1}}} \\ \end{align}$
则 $\|{ e}(k)\|$ 有界,设其界为 $f_0$ ,即 $\|{ e}(k)\|\leq{f_0}$ .
4) 由 ${ y}^*(k)$ 有界知 ${ y}(k)$ 有界.又因为在求解 ${ x}$ 的过程中,加入了控制量位置饱和限制,所以 $\|{ u}\|$ 满足约束条件,故有界.进而可知 ${ u}(k)$ 有界. $\Box$
推论1. 如果不使用滤波器,即 $\hat{{ y}}(k)={ y}(k)$ .且当 ${ \delta}(k)\equiv 0$ 成立时,定理2中的结论可加强为:
1) 系统跟踪误差序列收敛, ${{\lim }_{k \to \infty } }\|{ y}(k+1) -{ y}^*\|=0$ ;
2) 闭环系统是 BIBO 稳定的,即输出序列 $\{{ y}(k)\}$ 和输入序列 $\{{ u}(k)\}$ 是有界的.
证明.
$\begin{align} & \|e(k+1)\|\le \ \\ & \|{{y}^{*}}(k+1)-y(k)-{{\Phi }_{c}}(k)S(k) \\ & \times \ {{({{{\hat{\Phi }}}_{c}}(k)\hat{\Phi }_{c}^{\text{T}}(k)+\lambda I)}^{-1}}\hat{\Phi }_{c}^{\text{T}}(k)({{y}^{*}}(k)-\widehat{y}(k))\|\le \ \\ & \|I-{{\Phi }_{c}}(k)S(k){{({{{\hat{\Phi }}}_{c}}(k)\hat{\Phi }_{c}^{\text{T}}(k)+\lambda I)}^{-1}}\hat{\Phi }_{c}^{\text{T}}(k)\|\times \\ & \|{{y}^{*}}(k)-y(k)\|\le \\ & \ {{d}_{1}}\|e(k)\|\cdots \le {{d}_{1}}^{k}\left\| e(1) \right\| \\ \end{align}$
(24) 故知 ${{\lim }_{k \to \infty } }\|{ y}(k+1) -{ y}^*\|=0$ ,结论1) 得证. 结论2) 的证明类似于定理2中结论2) 的证明. $\square$
推论1中 ${ \delta}(k)\equiv0$ 的物理含义是在没有式(9) 约束的前提下,仅根据式(7) 计算所得的 ${\Delta{ u}}$ 不为零.在实际系统中,由于噪声和数值计算误差的存在,求解式(7) 所得的数值将很少为零,所以该假设在实际系统中有一定意义.
3. 仿真实验
蒸馏塔被广泛应用于化学工业.但在蒸馏塔内出现的延迟给控制律设计造成了很大困难.采用无模型自适应控制可进行有效的跟踪控制[12].在本仿真中,使用了 Wood/Berry蒸馏塔模型,如图 1所示[16].其中 $u_1$ 代表回流速率(IB/ $\min$ ), $u_2$ 代表蒸汽流量 (IB/ $\min$ ), $y_1$ 代表上部成份 (mol $%$ methanol), $y_2$ 代表底层成份 (mol $%$ methanol).选择如下离散系统作为 Wood/Berry 蒸馏塔模型.
$\left\{ \begin{array}{*{35}{l}} {{y}_{1}}(z)=\frac{0.7665}{z-0.9419}{{u}_{1}}(z)+\frac{0.9{{z}^{-2}}}{z-0.9535}{{u}_{2}}(z) \\ [4mm]{{y}_{2}}(z)=\frac{0.6055{{z}^{-6}}}{z-0.9124}{{u}_{1}}(z)+\frac{1.3472{{z}^{-2}}}{z-0.90311}{{u}_{2}}(z) \\ \end{array} \right.$
期望输出信号为
$\begin{align} & y_{1}^{*}(k)=\left\{ \begin{array}{*{35}{l}} 40, & k\le 1000 \\ 90, & k>1000 \\ \end{array} \right. \\ & y_{2}^{*}(k)=\left\{ \begin{array}{*{35}{l}} 40, & k\le 1000 \\ 85, & k>1000 \\ \end{array} \right. \\ \end{align}$
(25) 为了对比在出现执行器饱和时原方法与改进后方法的控制效果,现描述改进前 ${\hat\Phi_c (k)}$ 的计算方法如下[12]:
${{{\hat{y}}}_{i}}(k+1)={{{\hat{y}}}_{i}}(k)+\Delta {{u}^{\text{T}}}(k)\hat{\phi }_{i}^{\text{T}}(k)+{{k}_{i}}{{{\tilde{y}}}_{i}}(k)$
(26) $\begin{align} & \hat{\phi }_{i}^{\text{T}}(k+1)=\hat{\phi }_{i}^{\text{T}}(k)+2\Delta u(k){{({{\left\| \Delta u(k) \right\|}^{2}}+{{\mu }_{i}})}^{-1}}\times \\ & \ ({{{\tilde{y}}}_{i}}(k+1)-{{F}_{i}}{{{\tilde{y}}}_{i}}(k)) \\ \end{align}$
(27) 其中, ${{\hat y}_i}(k)$ 为第 $i$ 个输出分量的估计值, ${{\tilde y}_i}(k)=$ ${y_i}(k)-{{\hat y}_i}(k)$ 为相应的估计误差. ${F_i} = 1 -{k_i}$ , ${k_i}$ 是 $K$ 矩阵对角线上相应的元素. $ {{\hat {\phi}}_i}^{\rm T}(k)$ 为 ${\hat \Phi_c(k)}$ 矩阵的第 $i$ 个行向量.改进前 ${ u}(k)$ 的计算方法如下[12]:
$\begin{align} & u(k)=u(k-1)+{{{\hat{\Phi }}}_{c}}^{\text{T}}(k){{\left[ {{{\hat{\Phi }}}_{c}}(k){{{\hat{\Phi }}}_{c}}^{\text{T}}(k)+\alpha \right]}^{-1}}\times \\ & \ [{{y}^{*}}(k+1)-\hat{y}(k)-K\tilde{y}(k),\ \ \left\| \Delta u(k) \right\|\le \delta \\ \end{align}$
(28) $u(k)=u(k-1)+\delta \text{sgn}(\Delta u(k)),\ \Delta u(k)$
(29) 在本文仿真过程中, $\alpha={\rm{diag}}\{0.003,0.0015\}$ 且 $\delta =0.02$ .改进前与改进后算法共用以下参数并取相同数值:采样周期为 $T_s=1$ s, $K = {\rm{diag}}\{0.9$ , $0.9\}$ , $\mu_1=\mu_2=9$ ,PJM 参数初始值为 ${{\hat{\Phi }}_{c}}(0)=\left[ {matrix} 910 & 750 \\ 450 & 520 \\ {matrix} \right]$.
同时限定被控系统执行器执行能力为
$\left\{ \begin{array}{*{35}{l}} 0\le {{u}_{1}}\le 1, & -0.02\le \Delta {{u}_{1}}\le 0.02 \\ 0\le {{u}_{2}}\le 4, & -0.02\le \Delta {{u}_{2}}\le 0.02 \\ \end{array} \right.$
(30) 在此基础上,分别对改进前后的算法进行仿真可得图 2.
2原控制方法之所以会出现一个控制输入饱和,而另一个却接近于0,是因为进入稳态后,该控制算法不断地试图通过增加 ${u_2}$ 来消除误差.但受执行器饱和的影响,系统的状态并没有改变,最终导致了净差的产生.
为了对比优化前后控制算法对初始参数的敏感度,设初始参数 $\hat{\Phi}_c(0) ={bmatrix}1000& 1000\\1000& 1000{bmatrix}$ .再进行仿真后可得图 3.在没有限制执行能力时,无模型自适应控制可以较好地跟踪信号[12].但对比图 3可以发现,改进前无模型自适应控制在遇到执行器饱和后出现了明显的静差.这是由于控制器在计算控制输出时并没有考虑执行器的执行能力,导致两个执行器中有一个饱和,而另一个却没有发挥应有的控制能力.进一步分析图 3可知,在初始参数有摄动的情况下,改进前的控制算法出现了剧烈的抖动,并基本失去了跟踪参考输入的能力.这是由于在原算法的计算过程中,没有考虑执行器的实际情况,间接导致了系统无法校正PJM参数的误差,最终引起系统剧烈抖动并产生了较大的净差. 相比之下,改进后无模型自适应控制算法充分考虑了执行器的执行能力,可有效地跟踪参考输入,显示了算法的有效性.
图 3 改变初始参数后控制性能对比图Fig. 3 After changing the initial parameters,the control performance comparison charts4. 结论
本文针对传统无模型自适应控制算法无法应对执行器饱和的问题,提出了一种改进无模型自适应控制算法.并对该算法的闭环稳定性进行了严格证明.该算法具有实现简单、计算量小的优点. 结合蒸馏塔 Wood/Berry模型对比了算法改进前后的控制效果.仿真结果说明,改进算法相比传统方法具有跟踪能力强和对初始参数依赖弱的优点,能有效处理执行器饱和问题.
-
图 1 全连接网络及稀疏连接网络
Fig. 1 Structural diagram of fully connected network and sparse connected network
图 5 CaseA:网络测试输出及学习误差曲线
Fig. 5 CaseA: Network output for test samples and the learning error curve
图 6 CaseB:网络测试输出及学习误差曲线
Fig. 6 CaseB: Network output for test samples and the learning error curve
图 7 CaseC:网络测试输出及学习误差曲线
Fig. 7 CaseC: Network output for test samples and the learning error curve
图 8 三次独立实验中前200次迭代中网络性能对比
Fig. 8 The comparison of network performance for the 3 independent runs (the first 200 iterations)
表 1 三次独立实验中网络性能及其权值连接变化情况
Table 1 Network performance and the dynamic adjustment process of connected weight
Method
(# Total connections)Training
MSETraining
RMSETesting
MSETesting
RMSECaseA: 43-50-39 2.06 $\times 10^{-5}$ 0.0045 1.96 $\times 10^{-5}$ 0.0044 CaseB: 43-51-39 1.05 $\times 10^{-5}$ 0.0032 4.01 $\times 10^{-5}$ 0.0063 CaseC: 43-51-38 4.88 $\times 10^{-6}$ 0.0022 3.67 $\times 10^{-6}$ 0.0019 
下载: 导出CSV
表 2 sS-LINN与其他神经网络方法的性能对比
Table 2 Network performance and the dynamic adjustment process of connected weight
Method # Hidden neurons /connections Testing MSE Standard RBF[34] / 0.695 Standard SVR[33] / 0.445 SVR with prior knowledge[33] / 0.354 LCRBF[34] / 0.273 CP-NN[35] $2\to9$ 1.25 $\times 10^{-4}$ $20\to 10$ 1.04 $\times 10^{-4}$ AGPNNC[35] $2\to 10$ 1.71 $\times 10^{-4}$ $20\to10$ 1.23 $\times 10^{-4}$ S-LINN[25] 8 3.82 $\times 10^{-5}$ sS-LINN 39个连接权值 2.01 $\times 10^{-5}$
下载: 导出CSV
-
[1] Braitenberg V. Cortical architectonics:general and areal. Architectonics of the Cerebral Cortex. New York, USA:Raven Press, 1978. 443-465 [2] Paschke P, Möller R. Simulation of sparse random networks on a CNAPS SIMD neurocomputer. Neuromorphic Systems:Engineering Silicon from Neurobiology. Singapore:Scientific Press, 1998. 251-260 [3] Liu D R, Michel A N. Robustness analysis and design of a class of neural networks with sparse interconnecting structure. Neurocomputing, 1996, 12(1):59-76 doi: 10.1016/0925-2312(95)00040-2 [4] Gripon V, Berrou C. Sparse neural networks with large learning diversity. IEEE Transactions on Neural Networks, 2011, 22(7):1087-1096 doi: 10.1109/TNN.2011.2146789 [5] Guo Z X, Wong W K, Li M. Sparsely connected neural network-based time series forecasting. Information Sciences, 2012, 193:54-71 doi: 10.1016/j.ins.2012.01.011 [6] Wang J, Cai Q L, Chang Q Q, Zurada J M. Convergence analyses on sparse feedforward neural networks via group lasso regularization. Information Sciences, 2017, 381:250-269 doi: 10.1016/j.ins.2016.11.020 [7] Watts D J, Strogatz S H. Collective dynamics of "Small-World" networks. Nature, 1998, 393(6684):440-442 doi: 10.1038/30918 [8] Sporns O, Zwi J D. The small world of the cerebral cortex. Neuroinformatics, 2004, 2(2):145-162 doi: 10.1385/NI:2:2 [9] Bassett D S, Bullmore E. Small-world brain networks. The Neuroscientist, 2006, 12(6):512-523 doi: 10.1177/1073858406293182 [10] Ahn Y Y, Jeong H, Kim B J. Wiring cost in the organization of a biological neuronal network. Physica A:Statistical Mechanics and Its Applications, 2006, 367:531-537 doi: 10.1016/j.physa.2005.12.013 [11] Zheng P S, Tang W S, Zhang J X. A Simple method for designing efficient small-world neural networks. Neural Networks, 2010, 23(2):155-159 [12] Simard D, Nadeau L, Kröger H. Fastest learning in small-world neural networks. Physics Letters A, 2005, 336(1):8-15 doi: 10.1016/j.physleta.2004.12.078 [13] Lago-Fernández L F, Huerta R, Corbacho F, Sigüenza J A. Fast response and temporal coherent oscillations in small-world networks. Physical Review Letters, 2000, 84(12):2758-2761 doi: 10.1103/PhysRevLett.84.2758 [14] Morelli L G, Abramson G, Kuperman M N. Associative memory on a small-world neural network. The European Physical Journal B—Condensed Matter and Complex Systems, 2004, 38(3):495-500 [15] 王爽心, 杨成慧.基于层连优化的新型小世界神经网络.控制与决策, 2014, 29(1):77-82 http://d.old.wanfangdata.com.cn/Periodical/kzyjc201401012Wang Shuang-Xin, Yang Cheng-Hui. Novel small-world neural network based on topology optimization. Control and Decision, 2014, 29(1):77-82 http://d.old.wanfangdata.com.cn/Periodical/kzyjc201401012 [16] 伦淑娴, 林健, 姚显双.基于小世界回声状态网的时间序列预测.自动化学报, 2015, 41(9):1669-1679 http://www.aas.net.cn/CN/abstract/abstract18740.shtmlLun Shu-Xian, Lin Jian, Yao Xian-Shuang. Time series prediction with an improved echo state network using small world network. Acta Automatica Sinica, 2015, 41(9):1669-1679 http://www.aas.net.cn/CN/abstract/abstract18740.shtml [17] Erkaymaz O, Ozer M, Perc M. Performance of small-world feedforward neural networks for the diagnosis of diabetes. Applied Mathematics and Computation, 2017, 311:22-28 doi: 10.1016/j.amc.2017.05.010 [18] Peters A, Sethares C. Organization of pyramidal neurons in area 17 of monkey visual cortex. The Journal of Comparative Neurology, 1991, 306(1):1-23 doi: 10.1002/cne.903060102 [19] Markram H, Toledo-Rodriguez M, Wang Y, Gupta A, Silberberg G, Wu C Z. Interneurons of the neocortical inhibitory system. Nature Reviews Neuroscience, 2004, 5(10):793-807 doi: 10.1038/nrn1519 [20] Mountcastle V B. The columnar organization of the neocortex. Brain, 1997, 120(4):701-722 doi: 10.1093/brain/120.4.701 [21] Hubel D H, Wiesel T N. Sequence regularity and geometry of orientation columns in the monkey striate cortex. The Journal of Comparative Neurology, 1974, 158(3):267-293 doi: 10.1002-cne.901580304/ [22] Lübke J, Feldmeyer D. Excitatory signal flow and connectivity in a cortical column:focus on barrel cortex. Brain Structure and Function, 2007, 212(1):3-17 doi: 10.1007/s00429-007-0144-2 [23] Buxhoeveden D P, Casanova M F. The minicolumn hypothesis in neuroscience. Brain, 2002, 125(5):935-951 doi: 10.1093/brain/awf110 [24] Rockland K S, Ichinohe N. Some Thoughts on cortical minicolumns. Experimental Brain Research, 2004, 158(3):265-277 doi: 10.1007%2Fs00221-004-2024-9 [25] 杨刚, 乔俊飞, 薄迎春, 韩红桂.一种基于大脑皮层结构的侧抑制神经网络.控制与决策, 2013, 28(11):1702-1706 http://d.old.wanfangdata.com.cn/Periodical/kzyjc201311017Yang Gang, Qiao Jun-Fei, Bo Ying-Chun, Han Hong-Gui. A lateral inhibition neural network based on neocortex topology. Control and Decision, 2013, 28(11):1702-1706 http://d.old.wanfangdata.com.cn/Periodical/kzyjc201311017 [26] Yang G, Qiao J F. A fast and efficient two-phase sequential learning algorithm for spatial architecture neural network. Applied Soft Computing, 2014, 25:129-138 doi: 10.1016/j.asoc.2014.09.012 [27] Fiesler E. Comparative bibliography of ontogenic neural networks. In:Proceedings of the 1994 International Conference on Artificial Neural Networks. Sorrento, Italy:Springer, 1994. 793-796 [28] Elizondao D, Fiesler E, Korczak J. Non-ontogenic sparse neural networks. In:Proceedings of the 1995 IEEE International Conference on Neural Networks. Perth, WA, Australia:IEEE, 1995. 290-295 [29] Newman M E J, Watts D J. Renormalization group analysis of the small-world network model. Physics Letters A, 1999, 263(4-6):341-346 doi: 10.1016/S0375-9601(99)00757-4 [30] 王波, 王万良, 杨旭华. WS与NW两种小世界网络模型的建模及仿真研究.浙江工业大学学报, 2009, 37(2):179-182, 189 doi: 10.3969/j.issn.1006-4303.2009.02.014Wang Bo, Wang Wan-Liang, Yang Xu-Hua. Research of modeling and simulation on WS and NW small-world network model. Journal of Zhejiang University of Technology, 2009, 37(2):179-182, 189 doi: 10.3969/j.issn.1006-4303.2009.02.014 [31] Shaw P, Greenstein D, Lerch J, Clasen L, Lenroot R, Gogtay N, Evans A, Rapoport J, Giedd J. Intellectual ability and cortical development in children and adolescents. Nature, 2006, 440(7084):676-679 doi: 10.1038/nature04513 [32] Leng G, McGinnity T M, Prasad G. Design for self-organizing fuzzy neural networks based on genetic algorithms. IEEE Transactions on Fuzzy Systems, 2006, 14(6):755-766 doi: 10.1109/TFUZZ.2006.877361 [33] Lauer F, Bloch G. Incorporating prior knowledge in support vector regression. Machine Learning, 2008, 70(1):89-118 [34] Qu Y J, Hu B G. RBF networks for nonlinear models subject to linear constraints. In:Proceedings of the 2009 IEEE International Conference on Granular Computing. Nanchang, China:IEEE, 2009. 482-487 [35] Han H G, Qiao J F. A structure optimisation algorithm for feedforward neural network construction. Neurocomputing, 2013, 99:347-357 doi: 10.1016/j.neucom.2012.07.023 [36] Narendra K S, Parthasarathy K. Identification and control of dynamical systems using neural networks. IEEE Transactions on Neural Networks, 1990, 1(1):4-27 http://d.old.wanfangdata.com.cn/OAPaper/oai_doaj-articles_89fcbba67ed6200b6b18dc26ecde7431 [37] Manngard M, Kronqvist J, Böling J M. Structural learning in artificial neural networks using sparse optimization. Neurocomputing, 2018, 272:660-667 doi: 10.1016/j.neucom.2017.07.028 期刊类型引用(2)
1. 张跃中，肖敏，王璐，徐丰羽. 大规模超环神经网络分岔动力学. 自动化学报. 2022(04): 1129-1136 . 
本站查看2. 郭磊，吕欢，黄凤荣，石洪溢. 基于突触可塑性的无标度脉冲神经网络的动态特性研究. 生物医学工程学杂志. 2019(06): 902-910 . 百度学术其他类型引用(2)
-
下载:
计量
- 文章访问数: 2567
- HTML全文浏览量: 387
- PDF下载量: 430
- 被引次数: 4
