-
摘要: 生成式对抗网络(Generative adversarial networks, GAN)是主要的以无监督方式学习深度生成模型的方法之一.基于可微生成器网络的生成式建模方法, 是目前最热门的研究领域, 但由于真实样本分布的复杂性, 导致GAN生成模型在训练过程稳定性、生成质量等方面均存在不少问题.在生成式建模领域, 对网络结构的探索是重要的一个研究方向, 本文利用胶囊神经网络(Capsule networks, CapsNets)重构生成对抗网络模型结构, 在训练过程中使用了Wasserstein GAN (WGAN)中提出的基于Earth-mover距离的损失函数, 并在此基础上加以条件约束来稳定模型生成过程, 从而建立带条件约束的胶囊生成对抗网络(Conditional-CapsuleGAN, C-CapsGAN).通过在MNIST和CIFAR-10数据集上的多组实验, 结果表明将CapsNets应用到生成式建模领域是可行的, 相较于现有类似模型, C-CapsGAN不仅能在图像生成任务中稳定生成高质量图像, 同时还能更有效地抑制模式坍塌情况的发生.Abstract: Generative adversarial networks (GAN) is one of the main methods of learning deep generative models in an unsupervised fashion. The generative modeling method based on a network of differential generators is the hottest research field, but due to the complexity of the real sample distribution, the GAN has many problems in the stability of training process and the quality of generation. In the field of generative modeling, the exploration of network structure is an important research direction. And in this paper, we use the capsule networks (CapsNets) to reconstruct the structure of GAN, and the loss function based on Earth-mover distance proposed in Wasserstein GAN (WGAN) is used in the training process, and then we add the conditional constraints to stabilize the model generation process. According to the above, a conditional generative adversarial capsule networks (C-CapsGAN) is established. The results of multiple simulation experiments on the MINIST and CIFAR-10 datasets show that it is feasible to apply the CapsNets to the generative modeling field. Besides, compared with the existing similar model, C-CapsGAN can not only stably produce high-quality images in the image generation task, but also inhibit the occurrence of pattern collapse more effectively.
-
Key words:
- Generative adversarial networks (GAN) /
- Capsule networks (CapsNets) /
- image generation /
- conditional model
-
$ H_{\infty} $控制理论主要研究抑制干扰和不确定性问题[1].在$ H_{\infty} $控制理论中, 传递函数(或系统)的$ H_{\infty} $范数是一项重要的性能指标, 用于度量扰动输入对系统输出的影响, 反映了闭环系统的抗扰能力.在$ H_{\infty} $控制理论研究中, 长期存在一个挑战性议题:是否能够直接给出关于$ H_{\infty} $范数的通用解析表达式, 进而避免针对线性矩阵不等式(Linear matrix inequality, LMI)约束条件的繁琐的$ H_{\infty} $范数近似寻优方案.
在20世纪80年代, $ H_{\infty} $控制理论的研究由频域转换到时域, 开启了基于状态空间方程描述的系统鲁棒性能研究[2].总的来说, $ H_{\infty} $性能时域分析面临的核心问题是如何选择适当的李雅普诺夫函数.具体表现为基于李雅普诺夫方程[3-4]或参数化Riccati不等式[5]均难以得到用于精确分析系统$ H_{\infty} $性能的最优李雅普诺夫函数, 因此在早期的研究中结果的保守性是难以避免的.
为精确求解$ H_{\infty} $范数, 有学者提出了有界实引理[6], 并将求解$ H_{\infty} $范数问题转化为时域状态空间的约束优化问题.基于有界实引理给出的LMI约束条件, $ H_{\infty} $范数能够被近似寻优[7-14].在LMI方法中, $ H_{\infty} $范数的寻优一般包含以下步骤:
1) 给出一个充分大的初始$ H_{\infty} $范数估计$ \mit\gamma $;
2) 解LMI问题;
3) 递减$ H_{\infty} $范数估计$ \mit\gamma $, 直到获得满足LMI条件的最小$ H_{\infty} $范数估计$ \mit\gamma $.
显然, 一旦最小$ H_{\infty} $范数估计得到, 则通过解LMI, 可以得到相应的近似最优李雅普诺夫函数.不难发现, LMI方法存在一定不足, 表现为:
1) 对于每一个给定的$ \mit\gamma $, LMI条件需要被重复求解, 直到找到最小的$ H_{\infty} $范数估计, 过程过于繁琐;
2) 这种试凑逼近方法无法揭示系统结构和参数对$ H_{\infty} $性能的影响, 在一定程度上限制了控制器精细设计的研究.
为了克服目前关于$ H_{\infty} $范数问题研究的不足, 一个可替换的方法是直接优化李雅普诺夫函数, 进而得到关于$ H_{\infty} $范数的通用解析表达式.目前, 针对系统具体性能, 难以找到李雅普诺夫函数设计的充要条件, 因此这方面的研究并不多见.事实上, 在分析系统具体性能时, 存在最优的李雅普诺夫函数, 并且这一最优李雅普诺夫函数与系统结构和参数存在内在关系[15].因此本文尝试寻找一种李雅普诺夫函数的直接优化途径, 进而实现$ H_{\infty} $性能的精确分析.
由于多数高阶系统在一定的条件下可以近似(或分解)为二阶系统来研究, 并且二阶系统的分析方法是分析高阶系统的基础[16], 因此为有效展现最优李雅普诺夫函数与系统结构和参数存在内在关系, 本文针对一类二阶系统的$ H_{\infty} $范数问题, 构造和优化李雅普诺夫函数, 进而得到$ H_{\infty} $范数的通用解析表达式.本文的研究避免了LMI方法中繁琐的近似寻优过程, 并展示了系统矩阵特征值的实部和虚部对$ H_{\infty} $性能的影响.本文结构如下:第1节分析$ H_{\infty} $范数问题; 第2节分析Riccati不等式中李雅普诺夫函数的选择对求解$ H_{\infty} $范数的影响; 第3节展现李雅普诺夫函数的直接优化方法, 并给出$ H_{\infty} $范数的通用解析表达式; 第4节给出算例, 验证李雅普诺夫函数直接优化方法的有效性.
1. 问题的提出
1.1 问题描述
系统描述为
$ \begin{align} \dot{\boldsymbol{ x}} = A {\boldsymbol{ x}}+ {\boldsymbol{ w}} \end{align} $
(1) 其中, $ {\boldsymbol{ x}} \in \textbf{R}^{2} $, $ A $为Hurwitz矩阵, $ A $的特征值为复数, $ {\boldsymbol{ w}} $为扰动输入, $ \|{\boldsymbol{ w}}\| \leq \delta $, $ \delta $为常数, $ \|{\boldsymbol{ w}}\| = (\Sigma^{2}_{i = 1}w^{2}_{i})^{\frac{1}{2}} $.
研究的问题是如何得到系统(1)的状态上界.在数学意义上, 这一问题可转化为关于输入–输出系统的$ H_{\infty} $范数问题, 其中系统描述为
$ \begin{align} \begin{cases} \dot{\boldsymbol{ x}} = A {\boldsymbol{ x}} + {\boldsymbol{ w}} \\ {\boldsymbol{ y}} = {\boldsymbol{ x}} \end{cases} \end{align} $
(2) 在$ H_{\infty} $控制理论中, 系统的$ H_{\infty} $范数定义为$ S $右半平面上解析的有理函数阵的最大奇异值.在标量函数中就是幅频特性的极大值, 代表了系统对峰值有界信号的传递特性.
1.2 LMI方法分析
令李雅普诺夫函数为$ V = {\boldsymbol{ x}}^{\rm T}P{\boldsymbol{ x}} $, $ \gamma $为系统(2)的$ H_{\infty} $范数, 即$ \mit\gamma = \|G\|_{\infty} $, 其中$ G(s) = (sI-A)^{-1} $为系统(2)的传递函数.根据有界实引理, 可得
$ \begin{align} \left[ \begin{array}{ccc} PA+A^{\rm{T}}P & P & I \\ P & -\gamma^{2} I & 0_{2\times 2} \\ I & 0_{2\times 2} & -I \\ \end{array} \right] < 0 \end{align} $
(3) LMI方法是寻找式(3)中$ \mit\gamma $的最小值$ \mit\gamma_{\rm{min}} $.由于李雅普诺夫函数$ V = {\boldsymbol{ x}}^{\rm T}P {\boldsymbol{ x}} $可以任意构造, 因此对于每一个给定的$ \mit\gamma $, 需要重复求解LMI, 以判断式(3)的存在性, 直到$ \mit\gamma_{\rm{min}} $被找到.显然, 在LMI方法中复杂的优化过程是不可避免的.事实上, $ \mit\gamma_{\rm{min}} $与最优的$ P $矩阵是一一对应的.如果能够直接给出最优的$ P $矩阵, 则$ \mit\gamma_{\rm{min}} $的表达式就能够得到, 进而避免LMI方法中复杂的优化过程.本文的工作是尝试提供一种新的途径来直接给出$ \mit\gamma_{\rm{min}} $的表达式.
2. $ \pmb H_{\boldsymbol{ \infty}} $范数分析
根据特征值和奇异值分解原理, 可以得到下面的特性.
特性1. 对于系统(2)中特征矩阵$ A $, 存在可逆矩阵$ T $, 满足
$ \begin{align} D = -TAT^{-1} = \left[ \begin{array}{cc} \lambda & \nu \\ -\nu & \lambda \\ \end{array} \right] \end{align} $
(4) 其中, $ T = \Theta_{T1} \times \text{diag}\{t_{1}, t_{2}\} \times \Theta_{T2} $, $ \Theta_{T1} $和$ \Theta_{T2} $为正交矩阵, $ t_{2} \geq t_{1} > 0 $, $ \lambda > 0 $, $ \nu > 0 $. $ \text{diag}\{t_{1}, t_{2}\} $表示对角元素为$ t_{1} $, $ t_{2} $的对角阵.
令$ \alpha = {t_{2}}/{t_{1}} \geq 1 $, $ {\boldsymbol{ y}} = \Theta_{T2} \times {\boldsymbol{ x}} $, $ {\boldsymbol{ {\Delta}}} = \Theta_{T2}\times{\boldsymbol{ w}} $.由式(2)和特性1, 得
$ \begin{align} \begin{cases} \dot{\boldsymbol{ y}} = E {\boldsymbol{ y}} + B {\boldsymbol{ {\Delta}}} \\ {\boldsymbol{ x}} = C {\boldsymbol{ y}} \end{cases} \end{align} $
(5) 其中, $ B = I $为单位阵, $ C = \Theta_{T2}^{-1} $, $ E = - \left[ {array}{cc} \lambda & \alpha \nu \\ -\frac{1}{\alpha}\nu & \lambda \\ {array} \right], $并且系统(2)和(5)具有相同的$ H_{\infty} $范数.
根据文献[5]中引理2.1, 可以得到下面的特性.
特性2. 对于系统(5), 存在正定矩阵$ X $, 满足Riccati不等式
$ \begin{align} E^{\rm T}X+XE+(1+\varepsilon)C^{\rm T}C+ \rho^{-2} XBB^{\rm T}X \leq 0 \end{align} $
(6) 其中, $ \gamma < \rho $, $ \gamma = \|G\|_{\infty} $为系统$ H_{\infty} $范数, $ \varepsilon $为趋于零的正数.
注1. 应用Riccati不等式一般会得到具有很强保守性的结果, 但这种保守性并不是Riccati不等式本身导致的.研究表明:基于李雅普诺夫函数的准确选择, 可以将特性2中Riccati不等式转化为等式, 进而精确给出$ H_{\infty} $范数.因此, 导致这种保守性的原因是:在应用Riccati不等式时, 目前尚没有有效的方法找到最优的李雅普诺夫函数.这正是本文研究李雅普诺夫函数构造(或优化)的动机.
令
$ \begin{align} \Upsilon = \, &K^{-1} \Theta \begin{bmatrix} \lambda & -\frac{1}{\alpha} \nu \\ \alpha \nu & \lambda \end{bmatrix}\Theta^{\rm T}\; + \nonumber \\&\Theta \begin{bmatrix} \lambda & \alpha \nu \\ -\frac{1}{\alpha} \nu & \lambda \\ \end{bmatrix} \Theta^{\rm T}K^{-1} - K^{-1}K^{-1} \end{align} $
(7) 其中, $ \alpha \geq 1 $,
$ \begin{align} K = \iota \left[ \begin{array}{cc} 1 & 0 \\ 0 & k \\ \end{array} \right], \;\;\;\; \Theta = \left[ \begin{array}{cc} \cos \theta & \sin \theta \\ -\sin \theta & \cos \theta \\ \end{array} \right] \end{align} $
(8) $ \iota >0 $, $ k \geq 1 $, $ 0 \leq \theta \leq {\pi}/{4} $.
由式(8)构造的李雅普诺夫函数分解了"放缩"和"旋转"作用.这种功能的分解使李雅普诺夫函数的参数优化具有了可行性.
定理1. 对于系统(5), 系统$ H_{\infty} $范数$ \gamma $满足
$ \begin{align} \gamma < \rho_{\rm{min}} = \left[\sqrt{\lambda_{\rm{min}}(\Upsilon)} \right]^{-1} \end{align} $
(9) 其中, $ \lambda_{\rm{min}}(\Upsilon) $为矩阵$ \Upsilon $的最小特征值.
证明. 令$ X = \Theta^{\rm T} K \Theta $, 其中, $ K $和$ \Theta $由式(8)给出.根据特性2和式(7), 得
$ \begin{align} \rho^{-2} I \leq \Upsilon - \varepsilon K^{-1}K^{-1} \end{align} $
(10) 则$ \rho^{-2} \leq \lambda_{\rm{min}}(\Upsilon- \varepsilon K^{-1}K^{-1}) $, 由于$ \gamma < \rho $, 并且$ \varepsilon $为趋于零的正数, 则式(9)成立.
注2. 根据定理1, 可以优化李雅普诺夫函数的参数, 以最大化$ \lambda_{\rm{min}}(\Upsilon) $, 进而精确估计系统$ H_{\infty} $范数.因此, 定理1给出了一种新的途径以得到系统的$ H_{\infty} $范数.
3. 李雅普诺夫函数优化
考查式(7)给出的矩阵$ \Upsilon $.由式(7)和式(8), 可得
$ \begin{align} \Upsilon = \frac{1}{\iota} \left[ \begin{array}{cc} 2\lambda + \beta \nu - \frac{1}{\iota} & \frac{1}{k} \sigma \nu \\ \frac{1}{k} \sigma \nu & \frac{1}{k}(2 \lambda - \beta \nu) - \frac{1}{\iota k^{2}} \\ \end{array} \right] \end{align} $
(11) 其中,
$ \begin{align} \beta = &\ \left(\alpha-\frac{1}{\alpha}\right) \sin 2\theta \end{align} $
(12) $ \begin{align} \sigma = &\, \left[\alpha- (\alpha-\frac{1}{\alpha}) \sin^{2} \theta \right] -k \left[\frac{1}{\alpha} + (\alpha-\frac{1}{\alpha}) \sin^{2} \theta \right] = \\ &\ \frac{1}{2}(1-k)(\alpha+\frac{1}{\alpha}) +\frac{1}{2}(1+k) (\alpha-\frac{1}{\alpha}) \cos 2\theta \end{align} $
(13) 根据式(11), 以最大化$ \lambda_{\rm{min}}(\Upsilon) $为目标, 将给出一种李雅普诺夫函数的优化方法.
3.1 李雅普诺夫函数优化策略
令
$ \begin{align} \Upsilon_{1} = \Theta^{-1} \Upsilon \Theta, \; \; Y_{1} = X^{-1} \end{align} $
(14) 则由式(7)和$ X = \Theta^{\rm T}K\Theta $, 得
$ \begin{align} \Upsilon_{1} = EE^{\rm T}-(E+Y_{1})(E+Y_{1})^{\rm T} \end{align} $
(15) 令
$ \begin{align} &EE^{\rm T} = \Theta_{1}^{\rm T} \Lambda \Theta_{1}, \quad \Upsilon_{2} = \Theta_{1} \Upsilon_{1} \Theta_{1}^{\rm T} \end{align} $
(16) $ \begin{align} &E_{1} = \Theta_{1} E \Theta_{1}^{\rm T}, \qquad Y_{2} = \Theta_{1} Y_{1} \Theta_{1}^{\rm T} \end{align} $
(17) 其中, $ \Lambda = {\rm diag}\{\sigma_{1}, \sigma_{2}\} $, $ \sigma_{1} \geq \sigma_{2} $, 则
$ \begin{align} \Upsilon_{2} = \Lambda - (E_{1}+Y_{2})(E_{1}+Y_{2})^{\rm T} \end{align} $
(18) 令
$ \begin{align} E_{1} = E_{R}+E_{J}, \; \; Y_{3} = E_{R}+Y_{2} \end{align} $
(19) 其中, $ E_{R}^{\rm T} = E_{R} $, $ E_{J} = -E_{J}^{\rm T} $, 则
$ \begin{align} \Upsilon_{2} = \Lambda - (E_{J}+Y_{3})(E_{J}+Y_{3})^{\rm T} \end{align} $
(20) 令
$ \begin{align} Y_{3} = \left[ \begin{array}{cc} y_{1} & y_{3} \\ y_{3} & y_{2} \\ \end{array} \right], \; \; E_{J} = \left[ \begin{array}{cc} 0 & a \\ -a & 0 \\ \end{array} \right] \end{align} $
(21) 则根据$ \Lambda = \text{diag}\{\sigma_{1}, \sigma_{2}\} $, 有$ \sigma_{1} \geq \sigma_{2} $,
$ \begin{align} \Upsilon_{2} = & \left[ \begin{array}{cc} \sigma_{1}-(y_{3}+a)^{2}-y_{1}^{2} \\ -(y_{1}+y_{2})y_{3}-(y_{2}-y_{1})a \\ \end{array}\right.\\ &\qquad\qquad\qquad \left. \begin{array}{cc} & -(y_{1}+y_{2})y_{3}-(y_{2}-y_{1})a \\ & \sigma_{2} -(y_{3}-a)^{2}-y_{2}^{2} \\ \end{array} \right] \end{align} $
(22) 根据式(14), (16), (21), (22)和定理1, 存在$ Y_{3} $, 使$ \lambda_{\rm{min}}(\Upsilon_{2}) $ $ > $ $ 0 $, 即$ \Upsilon_{2} $正定.因此根据式(22), 为了最大化$ \Upsilon_{2} $的最小特征值, 应使下面两个条件成立.
1) $ (y_{1}+y_{2})y_{3}+ (y_{2}-y_{1})a = 0 $ (例如$ y_{2} = 0 $, $ y_{3} = a $; 或$ y_{1} = y_{2} = 0 $).
2) $ \Upsilon_{2} $的特征值相等(例如$ y_{1}^{2} = \sigma_{1}-\sigma_{2}-4a^{2} $; 或$ y_{3} $ $ = $ $ (\sigma_{1}-\sigma_{2})/{4a} $).
注意, $ \sqrt{\sigma_{2}} $为$ E $的最小奇异值, 因此$ \gamma \geq {1}/{\sqrt{\sigma_{2}}} $.令
$ \begin{align} \lambda_{1} = \frac{1}{\iota}\left( 2\lambda + \beta \nu - \frac{1}{\iota} \right), \; \; \lambda_{2} = \frac{1}{\iota}\left[ \frac{1}{k}(2 \lambda - \beta \nu) - \frac{1}{\iota k^{2}} \right] \end{align} $
(23) 基于以上分析, 并根据式(9), (11), (14), (16)和(23), 为了最大化$ \Upsilon $的最小特征值, 李雅普诺夫函数的优化策略设计为$ \sigma = 0 $和$ \lambda_{1} = \lambda_{2} $.
3.2 李雅普诺夫函数参数优化
基于所给李雅普诺夫函数优化策略, 进一步优化李雅普诺夫函数参数.
定理2. 对于系统(5), 系统$ H_{\infty} $范数$ \gamma $满足
$ \begin{align} \gamma < \rho(k, \iota) = \left[\min(\lambda_{1}, \lambda_{2}) \right]^{-\frac{1}{2}} \end{align} $
(24) 其中, $ \lambda_{1} $和$ \lambda_{2} $由式(23)给出, 式(23)中$ \beta $由下式给出.
$ \begin{align} \beta = \frac{2}{k+1}\sqrt{\left(k \alpha-\frac{1}{\alpha}\right)\left(\alpha- \frac{k}{\alpha}\right)} \end{align} $
(25) 证明. 考查式(11)给出的矩阵$ \Upsilon $.令$ \sigma = 0 $, 则
$ \begin{align} \cos 2\theta = \frac{(k-1)(\alpha+\frac{1}{\alpha})}{(k+1)(\alpha-\frac{1}{\alpha})} \end{align} $
(26) 因此根据式(11), (12), (23)和$ 0 \leq \theta \leq {\pi}/{4} $, 矩阵$ \Upsilon $的特征值为$ \lambda_{1} $和$ \lambda_{2} $, 其中$ \beta $由式(25)给出.根据定理1, 可得式(24).
注3. 基于李雅普诺夫函数参数矩阵$ \Theta $的优化策略, 定理2进一步给出系统$ H_{\infty} $范数的估计., 同时奠定了进一步优化李雅普诺夫函数参数$ k $和$ \iota $的基础.
定理3. 对于系统(5), 系统$ H_{\infty} $范数$ \gamma $满足
$ \begin{align} \gamma < \rho(k) = \begin{cases} \frac{1}{\lambda}, & \text{若}\; \alpha = 1\\ \left[ f(k)\right]^{-\frac{1}{2}}, & \text{若}\; \alpha >1 \end{cases} \end{align} $
(27) 其中,
$ \begin{align} f(k) = \frac{4k}{(k+1)^{2}} \left[ \lambda^{2} + \nu^{2} - \frac{k \nu^{2}}{(k-1)^{2}} \left(\alpha-\frac{1}{\alpha}\right)^{2} \right] \end{align} $
(28) 证明. 考查式(23)给出的矩阵$ \Upsilon $的特征值为$ \lambda_{1} $和$ \lambda_{2} $.令$ \lambda_{1} = \lambda_{2} $, 即
$ \begin{align} 2\lambda + \beta \nu - \frac{1}{\iota} = \frac{1}{k}(2 \lambda - \beta \nu) - \frac{1}{\iota k^{2}} \end{align} $
(29) 其中, $ \beta $由式(25)给出, $ \alpha \geq 1 $.
当$ \alpha > 1 $时, 由式(25)和式(29)可知$ k \neq 1 $, 并且得
$ \begin{align} \frac{1}{\iota} = \frac{2k \lambda}{k+1}+\frac{2k \nu}{k^{2}-1} \sqrt{\left(k \alpha- \frac{1}{\alpha}\right)\left(\alpha-\frac{k}{\alpha}\right)} \end{align} $
(30) 当$ \alpha = 1 $时, 由式(25)可知$ (k-1)^{2} \leq 0 $, 即$ k = 1 $.则根据式(23), (25), (29), $ \lambda_{1} = \lambda_{2} = \frac{1}{\iota} (2 \lambda-\frac{1}{\iota}) $.当$ \iota = \lambda $时, 得$ \max (\lambda_{1}) = \lambda^{2} $.
基于以上分析, 并根据定理2和式(23), (25), (29)以及(30), 可得结论.
注4. 通过给出李雅普诺夫函数参数$ \iota $的优化策略, 定理3进一步给出系统$ H_{\infty} $范数的估计.根据定理3, 可以直接优化李雅普诺夫函数参数$ k $, 进而得到系统$ H_{\infty} $范数的精确估计.
注5. 注意, 当$ \alpha > 1 $时, $ k \neq 1 $.因此定理3通过分别讨论$ \alpha > 1 $和$ \alpha = 1 $两种情况, 解决了$ f(k) $的奇异问题.
令
$ \begin{align} \kappa = k + \frac{1}{k} > 2 \end{align} $
(31) 则由式(28), 得
$ \begin{align} f(\kappa) = \frac{4(\lambda^{2} + \nu^{2})}{\kappa+2} - \frac{4\nu^{2}}{\kappa^{2}-4} \times \left(\alpha-\frac{1}{\alpha}\right)^{2} \end{align} $
(32) 定理4. 对于系统(5), 系统$ H_{\infty} $范数$ \gamma $满足
$ \begin{align} \gamma < \rho_{\text{opt}} = \begin{cases} \frac{1}{\lambda}, & \text{若}\; \alpha = 1\\ \frac{1}{2\lambda}\sqrt{\alpha^{2}+\frac{1}{\alpha^{2}}+2}, &\text{若}\; \kappa_{0} \geq \alpha^{2}+\frac{1}{\alpha^{2}}\\ \left[ f(\kappa_{0})\right]^{-\frac{1}{2}}, &\text{若}\; \kappa_{0} < \alpha^{2}+\frac{1}{\alpha^{2}} \end{cases} \end{align} $
(33) 其中
$ \begin{align} &f(\kappa_{0}) = \frac{4(\lambda^{2} + \nu^{2})}{\kappa_{0}+2} - \frac{4\nu^{2}}{\kappa_{0}^{2}-4} \times \left(\alpha-\frac{1}{\alpha}\right)^{2} \end{align} $
(34) $ \begin{align} &\kappa_{0} = 2 + \frac{\nu^{2} (\alpha-\frac{1}{\alpha})^{2}}{\lambda^{2} + \nu^{2}} \times \left[ 1+\sqrt{1+ \frac{4(\lambda^{2} + \nu^{2})}{\nu^{2} (\alpha-\frac{1}{\alpha})^{2}}} \right] \end{align} $
(35) 证明. 由式(32), 得
$ \begin{align} f'(\kappa) = \frac{{\rm d} f(\kappa)}{{\rm d} \kappa} = -\frac{4(\lambda^{2} + \nu^{2})}{(\kappa+2)^{2}} +\frac{8(\alpha-\frac{1}{\alpha})^{2} \nu^{2} \kappa}{(\kappa+2)^{2}(\kappa-2)^{2}} \end{align} $
(36) 令$ f'(\kappa) = 0 $, 即
$ \begin{align} \kappa^{2} - \left[ 4+ \frac{2(\alpha-\frac{1}{\alpha})^{2} \nu^{2}}{\lambda^{2} + \nu^{2}} \right] \kappa +4 = 0 \end{align} $
(37) 根据$ \kappa >2 $和式(35), 得$ \kappa = \kappa_{0} $.
根据式(35) $ \sim $ (37), 得
$ \begin{align} \lim \limits_{\varsigma \rightarrow 0} \frac{f'(\kappa_{0} + \varsigma)-f'(\kappa_{0})}{\varsigma} <0 \end{align} $
(38) 因此, 在$ 2 < \kappa < \infty $的条件下, $ \max f(\kappa) = f(\kappa_{0}) $, 如图 1 (a)和1 (b)所示.
注意, 定理2中李雅普诺夫函数参数矩阵$ \Theta $的优化策略为$ \sigma = 0 $, 则由式(13), 可得$ k \leq \alpha^{2} $.由于$ k >1 $, 因此根据式(31), 得
$ \begin{align} \Omega = \left\{ \kappa \in \textbf{R} | 2 < \kappa \leq \alpha^{2}+\frac{1}{\alpha^{2}} \right\} \end{align} $
(39) $ \begin{align} \max \limits_{k \in \Omega} f(\kappa) = \begin{cases} \frac{4\lambda^{2}}{\alpha^{2}+\frac{1}{\alpha^{2}}+2}, &\text{若}\; \kappa_{0} \geq \alpha^{2}+\frac{1}{\alpha^{2}}\\ f(\kappa_{0}), & \text{若}\; \kappa_{0} < \alpha^{2}+\frac{1}{\alpha^{2}} \end{cases} \end{align} $
(40) 因此由定理3可得结论.
注6. 通过对李雅普诺夫函数参数的直接优化, 定理4给出了系统$ H_{\infty} $范数上界的优化结果.应用定理4, 可以给出系统$ H_{\infty} $范数的精确估计.
注7. 不同于LMI方法, 本文提出的李雅普诺夫函数直接优化方法分析了李雅普诺夫函数的构造对系统性能分析的影响, 充分利用系统结构和参数以优化李雅普诺夫函数的设计.与LMI方法相比, 李雅普诺夫函数直接优化方法能够直接给出系统$ H_{\infty} $范数的精确结果, 进而避免了复杂的数值优化过程.因此本文的工作提供了一种新的途径以更为方便地分析系统动态性能.
4. 算例
考查系统
$ \begin{align} \dot{\boldsymbol{ x}} = -\left[ \begin{array}{cc} 1.25 & 1.25 \\ -1.25 & 2.75 \\ \end{array} \right]{\boldsymbol{ x}}+ {\boldsymbol{ w}} \end{align} $
(41) 其中, $ {\boldsymbol{ w}} $为扰动输入, $ \|{\boldsymbol{ w}}\| \leq 1 $, $ {\boldsymbol{ x}} $为状态输出.根据式(5), 得
$ \begin{align} \begin{cases} \dot{\boldsymbol{ y}} = - \left[ \begin{array}{cc} 2 & 2 \\ -0.5 & 2 \\ \end{array} \right] {\boldsymbol{ y}} + {\boldsymbol{ {\Delta}}} \\ {\boldsymbol{ x}} = \frac{\sqrt{2}}{2} \left[ \begin{array}{cc} 1 & -1 \\ 1 & 1 \\ \end{array} \right] {\boldsymbol{ y}} \end{cases} \end{align} $
(42) 因此, $ \lambda = 2 $, $ \nu = 1 $, $ \alpha = 2 $.
由式(34), 得$ \kappa_{0} = 3.8651< \alpha^{2}+\frac{1}{\alpha^{2}} = 4.25 $.则根据定理4, 得$ \gamma < \rho_{\text{opt}} = 0.622 $.因此$ \gamma \approx 0.622 $.应用MATLAB中$ H_{\infty} $范数求解函数hinfnorm (sys, 0.0000001)可得相同的结果.因此提出的李雅普诺夫函数直接优化方法能精确给出系统$ H_{\infty} $范数.
表 1进一步给出在不同参数条件下系统(5)的$ H_{\infty} $范数.表 1表明, 针对式(5)给出的具有不同参数的系统, 提出的李雅普诺夫函数直接优化方法都能精确给出系统$ H_{\infty} $范数.
表 1 $H_{\infty}$范数分析($\alpha = 2$)Table 1 $H_{\infty}$ norm analysis ($\alpha = 2$)$\lambda$ $\nu$ MATLAB 定理4 稳态误差$\|A^{-1}\|$ 状态上界 2 6 0.626 0.626 0.307 0.626 2 4 0.626 0.626 0.419 0.626 2 2 0.626 0.626 0.588 0.626 2 1.2 0.626 0.626 0.626 0.626 2 1 0.622 0.622 0.622 0.622 2 0 0.501 0.501 0.501 0.501 在$ \alpha $和系统特征值实部$ \lambda $确定(即$ \alpha = 2 $, $ \lambda = 2 $)的条件下, 表 1给出的结果表明, 随着系统特征值虚部$ \nu $变化, $ H_{\infty} $范数的变化具有一定规律性, 表现为:
1) 当$ \nu = \nu^{*} = 1.2 $ (即$ \kappa_{0} = \alpha^{2}+{1}/{\alpha^{2}} $)时, $ H_{\infty} $范数为$ \max \|A^{-1}\| $;
2) 当$ \nu < \nu^{*} $ (即$ \kappa_{0} < \alpha^{2}+{1}/{\alpha^{2}} $)时, $ H_{\infty} $范数与稳态指标$ \|A^{-1}\| $一致;
3) 当$ \nu > \nu^{*} $ (即$ \kappa_{0} > \alpha^{2}+{1}/{\alpha^{2}} $)时, $ H_{\infty} $范数为固定值(即$ H_{\infty} $范数的值与$ \nu $无关), 并且根据定理4, $ H_{\infty} $范数的表达式非常简洁.
由式(1), (3), (41), 得
$ \begin{align} \begin{bmatrix} -P \begin{bmatrix} 1.25 & 1.25 \\ -1.25 & 2.75 \\ \end{bmatrix} -\small{ \begin{bmatrix} 1.25 & -1.25 \\ 1.25 & 2.75 \\ \end{bmatrix}}P & P & I \\ P & -\gamma^{2} I & 0_{2\times 2} \\ I & 0_{2\times 2} & -I \end{bmatrix} < 0 \end{align} $
(43) 采用LMI方法求解$ H_{\infty} $范数的步骤为:
1) 选择足够大的$ \gamma $, 如$ \gamma = 10 $;
2) 应用MATLAB中LMI工具求解式(43), 可得$ P $存在;
3) 减小$ \gamma $取值, 如$ \gamma = 1 $, 应用LMI工具求解式(43), 可得$ P $存在;
4) 当$ \gamma = 0.622 $时, 应用LMI工具求解式(43), 可得$ P $存在;
5) 当$ \gamma = 0.621 $时, 应用LMI工具求解(43), 可得$ P $不存在.
基于以上步骤, LMI方法可给出$ H_{\infty} = 0.622 $.这一结果与定理4得到的结果一致, 如表 1所示.
事实上, LMI方法需要对$ \gamma $进行遍历寻找.当选$ \gamma $的间隔较大时, 保守的结果不可避免.与之相比, 本文的方法具有明显的优越性.
5. 结论
本文针对$ H_{\infty} $控制理论研究中难以精确求解系统$ H_{\infty} $范数的问题, 提出了一种李雅普诺夫函数的直接优化方法.通过优化Riccati不等式中的李雅普诺夫函数, 给出了$ H_{\infty} $范数的通用解析表达式, 进而提供了一个有效的途径以直接和精确求解系统$ H_{\infty} $范数.研究结果具有以下特点:
1) 与LMI方法相比, 本文所提方法避免了复杂的数值优化过程, 使求解系统$ H_{\infty} $范数简化.
2) 与早期关于李雅普诺夫方程和Riccati不等式的研究相比, 本文所提方法避免了由于李雅普诺夫函数选择的随意性导致的保守结果.
3) 本文所提方法能够展现系统矩阵特征值的实部和虚部对$ H_{\infty} $性能的影响, 为进一步精确(定量)控制系统$ H_{\infty} $性能提供借鉴.
在进一步的工作中, 将研究含有时滞及非线性项的系统.
-
图 7 MNIST上d_loss变化趋势(PrimaryCaps层胶囊个数为32)
Fig. 7 Trends of d_loss on MNIST (32 capslue in PrimaryCaps layer)
图 8 MNIST上g_loss变化趋势(PrimaryCaps层胶囊个数为32)
Fig. 8 Trends of g_loss on MNIST (32 capslue in PrimaryCaps layer)
图 9 C-CapsGAN-32在MNIST数据集训练生成结果(从左到右分别从Epoch1、5、10、15、20、24采样得到)
Fig. 9 Sample images generated by C-CapsGAN-32 in MNIST dataset (sampled from Epoch1, 5, 10, 15, 20, 24 from left to right)
图 10 MNIST上d_loss变化趋势(PrimaryCaps层胶囊个数为24)
Fig. 10 Trends of d_loss on MNIST (24 capslue in PrimaryCaps layer)
图 11 MNIST上g_loss变化趋势(PrimaryCaps层胶囊个数为24)
Fig. 11 Trends of g_loss on MNIST (24 capslue in PrimaryCaps layer)
图 12 C-CapsGAN-24在MNIST数据集训练生成结果(从左到右分别从Epoch1、5、10、15、20、24采样得到)
Fig. 12 Sample images generated by C-CapsGAN-24 in MNIST dataset (sampled from Epoch1, 5, 10, 15, 20, 24 from left to right)
图 13 MNIST上d_loss变化趋势(PrimaryCaps层胶囊个数为16)
Fig. 13 Trends of d_loss on MNIST (16 capslue in PrimaryCaps layer)
图 14 MNIST上g_loss变化趋势(PrimaryCaps层胶囊个数为16)
Fig. 14 Trends of g_loss on MNIST (16 capslue in PrimaryCaps layer)
图 15 C-CapsGAN-16在MNIST数据集训练生成结果(从左到右分别从Epoch1、5、10、15、20、24采样得到)
Fig. 15 Sample images generated by C-CapsGAN-16 in MNIST dataset (sampled from Epoch1, 5, 10, 15, 20, 24 from left to right)
图 16 传统GAN在MNIST数据集训练的生成结果(从左到右分别从Epoch1、5、10、15、20、24采样得到)
Fig. 16 Sample images generated by GAN in MNIST dataset (sampled from Epoch1, 5, 10, 15, 20, 24 from left to right)
图 17 DCGAN在MNIST数据集训练生成结果(从左到右分别从Epoch1、5、10、15、20、24采样得到)
Fig. 17 Sample images generated by DCGAN in MNIST dataset (sampled from Epoch1, 5, 10, 15, 20, 24 from left to right)
图 20 C-CapsGAN生成的样本图像
Fig. 20 Sample images generated by C-CapsGAN in CIFAR-10 dataset
图 23 C-CapsGAN在Epoch分别为55、65、75随机采样的样本
Fig. 23 Sample images generated by C-CapsGAN in CIFAR-10 dataset (sampled from Epoch55, 65, 75 from left to right)
-
[1] Goodfellow I J, Pouget-Abadie J, Mirza M, Xu B, Warde- Farley D, Ozair S, et al. Generative adversarial nets. In: Proceedings of the 27th International Conference on Neural Information Processing Systems. Montreal, Canada: MIT Press, 2014. 2672-2680 [2] Kurach K, Lucic M, Zhai X, et al. The GAN Landscape: Losses, Architectures, Regularization, and Normalization. arXiv preprint, arXiv: 1807.04720, 2018. [3] 王坤峰, 苟超, 段艳杰, 林懿伦, 郑心湖, 王飞跃.生成式对抗网络GAN的研究进展与展望.自动化学报, 2017, 43(3): 321-332 doi: 10.16383/j.aas.2017.y000003Wang Kun-Feng, Gou Chao, Duan Yan-Jie, Lin Yi-Lun, Zheng Xin-Hu, Wang Fei-Yue. Generative adversarial networks: the state of the art and beyond. Acta Electronica Sinica, 2017, 43(3): 321-332 doi: 10.16383/j.aas.2017.y000003 [4] Radford A, Metz L, Chintala S. Unsupervised representation learning with deep convolutional generative adversarial networks. arXiv preprint, arXiv: 1511.06434, 2015. [5] Mirza M, Osindero S. Conditional generative adversarial nets. arXiv preprint, arXiv: 1411.1784, 2014. [6] Arjovsky M, Bottou L. Towards principled methods for training generative adversarial networks. arXiv preprint, arXiv: 1701.04862, 2017. [7] Arjovsky M, Chintala S, Bottou L. Wasserstein gan. arXiv preprint, arXiv: 1701.07875, 2017. [8] 林懿伦, 戴星原, 李力, 王晓, 王飞跃.人工智能研究的新前线:生成式对抗网络.自动化学报, 2018, 44(5): 775-792 doi: 10.16383/j.aas.2018.y000002Lin Yi-Lun, Dai Xing-Yuan, Li Li, Wang Xiao, Wang Fei-Yue. The new frontier of AI research: generative adversarial networks. Acta Electronica Sinica, 2018, 44(5): 775-792 doi: 10.16383/j.aas.2018.y000002 [9] LeCun Y, Bottou L, Bengio Y, et al. Gradient-based learning applied to document recognition. Proceedings of the IEEE, 1998, 86(11): 2278-2324 doi: 10.1109/5.726791 [10] Krizhevsky A, Sutskever I, Hinton G E. ImageNet classification with deep convolutional neural networks. In: Proceedings of the 25th International Conference on Neural Information Processing Systems. Lake Tahoe, USA: Curran Associates, Inc., 2012. 1097-1105 [11] Sabour S, Frosst N, Hinton G E. Dynamic routing between capsules. In: Proceedings of the 30th International Conference on Neural Information Processing Systems. Long Beach, USA: Springer, 2017. 3856-3866 [12] Hinton G E, Krizhevsky A, Wang S D. Transforming auto-encoders. In: Proceedings of the 21st International Conference on Artificial Neural Networks. Espoo, Finland: Springer, 2011. 44-51 [13] Gulrajani I, Ahmed F, Arjovsky M, Dumoulin V, Courville A. Improved training of wasserstein GANs. arXiv preprint, arXiv: 1704.00028, 2017. [14] 王坤峰, 左旺孟, 谭营, 秦涛, 李力, 王飞跃.生成式对抗网络:从生成数据到创造智能.自动化学报, 2018, 44(5): 769-774 doi: 10.16383/j.aas.2018.y000001Wang Kun-Feng, Zuo Wang-Meng, Tan Ying, Qin Tao, Li Li, Wang Fei-Yue. Generative adversarial networks: from generating data to creating intelligence. Acta Electronica Sinica, 2018, 44(5): 769-774 doi: 10.16383/j.aas.2018.y000001 [15] Jaiswal A, AbdAlmageed W, Natarajan P. CapsuleGAN: Generative Adversarial Capsule Network. arXiv preprint, arXiv: 1802.06167, 2018. [16] Kussul E, Baidyk T. Improved method of handwritten digit recognition tested on MNIST database. Image and Vision Computing, 2004, 22(12): 971-981 doi: 10.1016/j.imavis.2004.03.008 [17] Ioffe S, Szegedy C. Batch normalization: Accelerating deep network training by reducing internal covariate shift. arXiv preprint, arXiv: 1502.03167, 2015. [18] Hinton G E, Srivastava N, Krizhevsky A, Sutskever I, Salakhutdinov R R. Improving neural networks by preventing co-adaptation of feature detectors. arXiv preprint arXiv: 1207.0580, 2012 期刊类型引用(3)
1. 吕芳芳，楼旭阳，叶倩. 具有死区非线性输入的柔性臂自适应边界控制. 扬州大学学报(自然科学版). 2024(05): 16-24 . 
百度学术2. 谢志勇，朱娟芬，胡小平. 考虑间隙特性的双机械臂模糊自适应鲁棒控制. 现代制造工程. 2022(02): 52-58 . 百度学术3. 马永浩，张爽，何修宇，刘志杰. 基于连续反演算法的时滞补偿控制综述. 工程科学学报. 2022(06): 1053-1061 . 百度学术其他类型引用(5)
-
下载:
下载:
计量
- 文章访问数: 3013
- HTML全文浏览量: 789
- PDF下载量: 370
- 被引次数: 8
