Generalized Manifold Learning for High Resolution Remote Sensing Image Object Classification
-
摘要: 针对传统的流形学习算法不能对位于黎曼流形上的协方差描述子进行有效降维这一问题，本文提出一种推广的流形学习算法，即基于Log-Euclidean黎曼核的自适应半监督正交局部保持投影（Log-Euclidean Riemannian kernel-based adaptive semi-supervised orthogonal locality preserving projection，LRK-ASOLPP），并将其成功用于高分辨率遥感影像目标分类问题.首先，提取图像每个像素点处的几何结构特征，计算图像特征的协方差描述子；其次，通过采用Log-Euclidean黎曼核将协方差描述子投影到再生核Hilbert空间；然后，基于流形学习理论，建立黎曼流形上半监督正交局部保持投影算法模型，利用交替迭代更新算法对目标函数进行优化求解，同时获得相似性权矩阵和低维投影矩阵；最后，利用求得的低维投影矩阵计算测试样本的低维投影，并用K—近邻、支持向量机（Support victor machine，SVM）等分类器对其进行分类.三个高分辨率遥感影像数据集上的实验结果说明了该算法的有效性与可行性.
-
关键词:
- 协方差矩阵 /
- Log-Euclidean黎曼核 /
- 流形学习 /
- 目标分类
Abstract: It is not adequate to use classical manifold learning techniques to reduce the dimension of covariance descriptors lied on Riemannian manifold. A generalized manifold learning method named Log-Euclidean Riemannian kernel-based adaptive semi-supervised orthogonal locality preserving projection (LRK-ASOLPP) is proposed, and successfully applied to the high resolution remote sensing image classification issue. Firstly, geometric features of each pixel in the image are extracted, and covariance descriptor of each image is calculated. Secondly, the covariance descriptors are mapped into the reproducing kernel Hilbert space by using the Log-Euclidean Riemann kernel. Thirdly, the model of semi-supervised orthogonal locality preserving projection algorithm on Riemannian manifold is constructed based on manifold learning theory. Fourthly, by using the alternating iteration optimization algorithm to solve the objective function, the similarity weight matrix and low dimensional projection matrix are obtained simultaneously. Finally, low dimensional projections of test samples are computed by using the low dimensional projection matrix, and then classifiers such as K-NN, support victor machine (SVM), etc. are used to classify them. Experiment results on three high-resolution satellite images datasets demonstrate the feasibility and effectiveness of the proposed algorithm. -
20 世纪 50 年代以来,基于模型的控制理论得到了快速发展与完善.其建立控制系统的过程要经历三个阶段,依次是建立模型、分析模型和依靠模型设计控制律[1].但随着受控对象越来越复杂,如何有效地对受控对象进行建模已成为一个棘手的问题.原因是对于一个系统,如果所建数学模型过于复杂,则难以设计控制律或所得控制律工程上难以实现[2-3].如果过于简单,则难以反映实际系统的动态特性,基于该模型设计的控制律在实际应用中难以取得理想的控制效果. 其次,建立系统模型的方法主要有机理建模和系统辨识两种方法,无论哪种方法,所建模型都是对真实系统的逼近,实际系统一定会存在影响控制系统鲁棒性的未建模动态和其他不确定性因素[4-5].
目前,主要存在两大类方法用以解决上述问题.第一大类方法是基于数据驱动的控制方法. 较为典型的有虚拟参考反馈整定(Virtual reference feedback tuning,VRFT)、同步扰动随机逼近(Simultaneous perturbation stochastic approximation,SPSA)和无模型自适应控制 (Model free adaptive control,MFAC)三种方法. VRFT 是 Guardabassi等 在 2000 年提出的,其特点是根据离线数据设计控制律. 该方法基于模型参考自适应,通过参数辨识直接得到控制器参数,使闭环系统动态特性逼近参考模型[6]. 由于实际系统的动态信息无法通过一次激励完全得到,所以运用该方法设计所得的控制器很难保证闭环系统的稳定性. SPSA 是Spall在 1993 年提出的,其特点是迭代辨识系统参数,控制效果易受系统结构变化或参数变化的影响.使用该方法同样难以保证闭环系统的稳定性[7]. MFAC 方法是侯忠生在 1994年提出的一种无模型自适应控制方法[8], 其特点是控制器的设计不需要系统的模型信息,而是基于输入输出数据直接计算得到控制量.文献[5, 9-10]证明了紧格式和偏格式动态线性化控制方法闭环系统的稳定性.第二大类方法是吴宏鑫等提出的特征建模方法.特征建模方法广泛应用于航天器和工业控制中,是一种综合考虑对象动力学特征和控制性能要求的建模方法[2].该方法与文献[5]提出的全格式动态线 性化模型有异曲同工之处.不同的是,特征建模方法强调在采样周期足够小的情况下,特征模型与原模型的输入输出具有等价性[2],而基于全格式的动态线性化方法则考虑存在时变线性系统与原系统等价[5, 9-10].
侯忠生提出的无模型自适应控制,因其理论严密和计算量较小,在工程上有广阔的应用前景. 经过多年的发展,侯忠生分别针对单输入单输出系统和多输入多输出系统设计了基于紧格式、偏格式、全格式的无模型自适应控制. 在文献[11] 中,提出了控制器的动态线性化方法.在文献[12]1中,提出了一种新的PPD(Pseudo-partial derivative)参数估计方法.但以上方法均未考虑实际物理系统中可能出现的执行器饱和问题.由于执行器的执行能力都是有限的,而执行器饱和这种非线性环节可能会导致控制效果严重恶化甚至丧失闭环稳定性[13].具体来讲,忽略可能出现的执行器饱和,将无法发挥其最大的控制能力.同时在执行器饱和后,作用在系统上的实际控制量并不取决于控制器计算的数值,故用于模型参数辨识的输入输出就可能出现明显偏差,严重时会造成系统的不稳定.文献[12]虽设置了控制量的速率饱和,但没有对可能出现的饱和做任何优化,同时未考虑执行器的幅值饱和.
借鉴文献[5] 中 PJM（Pseudo Jacobian matrix）辨识技术,本文针对执行器饱和问题,提出了基于紧格式改进无 模型自适应控制方法,并证明了该控制方法的闭环稳定性. 进一步,对蒸馏塔 Wood/Berry的仿真实验表明了该方法具有更强的跟踪能力 且对初始值不敏感.本文对执行器同时设置了速率饱和和位置饱和并进行了优化.
1本文与文献[12]的区别主要在于本文提出的方法考虑了位置饱和对系统造成的影响,并对可能出现的执行器饱和问题进行了优化.在仿真时,文献[12]并没有考虑不同初始参数对系统造成的影响.而本文用仿真结果说明改进后的无模型自适应方法具有初值不敏感性.
1. 问题描述
本节简述文献[5]提出的无模型自适应控制方法的相关概念以及计算思路. 在此基础上,分析已有方法的不足并提出本文要解决的问题.
考虑如下多输入多输出离散系统:
$\begin{array}{*{35}{l}} y(k+1)= & \ f(y(k),\cdots ,y(k-{{n}_{y}}), \\ {} & \ u(k),\cdots ,u(k-{{n}_{u}})) \\ \end{array}$
(1) 其中, ${{ u}(k)\in{\bf R}^m}$ , ${{ y}(k)\in{\bf R}^n}$ ,它们分别是系统 ${k}$ 时刻的输入和输出向量. ${n_y}$ 和 ${n_u}$ 是未知整数. ${{ f}(\cdot)}$ 是一个未知非线性函数. 假设 ${{f}(\cdot)}$ 关于 ${{ u}(k)}$ 的偏导数连续,且系统 (1) 满足广义Lipschitz 假设. 则可以得到定理1[5].
定理1. 对满足广义Lipschitz假设且 ${{ f}(\cdot)}$ 关于 ${{ u}(k)}$ 偏导数连续的非线性系统(1),当 ${\|\Delta{ u}(k)\|}\neq0$ 时,一定会存在一个被称为PJM (Pseudo Jacobian matrix) 的时变参数 ${\Phi_c(k)\in{\bf R}^{n× m}}$ ,使系统(1) 可转化为如下紧格式动态线性化数据模型(Compact form dynamic linearization,CFDL):
$align\Delta y(k+1)={{\Phi }_{c}}(k)\Delta u(k)$
(2) 其中
$\begin{align} & {{\Phi }_{c}}(k)= \\ & \qquad \left[ \begin{matrix} {{\phi }_{11}}(k) & {{\phi }_{12}}(k) & \cdots & {{\phi }_{1m}}(k) \\ {{\phi }_{21}}(k) & {{\phi }_{22}}(k) & \cdots & {{\phi }_{2m}}(k) \\ \vdots & \vdots & \ddots & \vdots \\ {{\phi }_{n1}}(k) & {{\phi }_{n2}}(k) & \cdots & {{\phi }_{mm}}(k) \\ \end{matrix} \right]\in {{\mathbf{R}}^{n\times m}} \\ \end{align}$
(3) 且对任意时刻 $k$, $\|{\Phi}_c(k)\|$ 有界.
基于紧格式动态线性化的无模型自适应控制是运用参数辨识的方法,动态计算 PJM 时变参数的数值,并在此基础上进行控制的算法.详细的计算步骤可参见文献 [9-14]. 在现有的方法中,仅文献 [12]考虑了不完全的执行器饱和问题. 对于实际的物理系统,执行器的执行能力都是有限的,具体体现在控制量的幅度与变化速率的有界性.执行器的执行能力可完整表示为
$\left\{ \begin{array}{*{35}{l}} \Delta {{u}_{\min }}(k)\le \Delta u(k)\le \Delta {{u}_{\max }}(k) \\ {{u}_{L}}\le u(k)\le {{u}_{U}} \\ \end{array} \right.$
(4) 其中, $\Delta{ u}_{\min}$ 和 $\Delta{ u}_{\max}$ 分别表示控制量变化速率的最小和最大值, ${ u}_L$ 和 ${ u}_U$ 分别表示控制幅度的最小和最大值.
2. 无模型自适应控制的执行器饱和优化
本节提出基于紧格式的优化无模型自适应控制,通过综合分析执行器的执行能力给出控制算法.
2.1 改进控制器设计
在辨识 PJM 参数时,采用如下计算方法[5]:
$\begin{align} & {{{\hat{\Phi }}}_{c}}(k)={{{\hat{\Phi }}}_{c}}(k-1)+ \\ & \frac{\eta (\Delta y(k)-{{{\hat{\Phi }}}_{c}}(k-1)\Delta u(k-1))\Delta {{u}^{\text{T}}}(k-1)}{\mu +\|\Delta u(k-1){{\|}^{2}}} \\ \end{align}$
(5) 其中, $\mu>0$ , $\eta\in(0,2]$ . 则可知 PJM时变参数 $\hat{\Phi}_c(k)$ 有界.
进一步对 $y(k+1) $ 进行滤波[12]
$\left\{ \begin{array}{*{35}{l}} \overline{y}(k+1)=\widehat{y}(k)+{{{\hat{\Phi }}}_{c}}(k)\Delta -u(k) \\ \widehat{y}(k+1)=\overline{y}(k+1)+K(-y(k+1)-\overline{y}(k+1)) \\ \end{array} \right.$
(6) 其中, $K\in[0,1]$ 为常数, $\bar{{ y}}(k+1) $ 为 ${ y}(k+1) $ 的预报值, $\hat{{ y}}(k+1) $ 为 ${ y}(k+1) $ 的滤波值.滤波值是控制量 ${ u}(k)$ 作用于控制对象后,测量得到 ${ y}(k+1) $ ,然后再进行计算得到的.
控制算法的设计目标是让预报值 $\bar{{ y}}(k+1) $ 尽可能地跟踪参考输入 ${ y}^*(k)$ ,同时控制量符合实际要求. 为达成此目标,考虑如下控制输入准则函数
$\begin{align} & J(\Delta u(k))= \\ & \qquad \|{{y}^{*}}(k+1)-\overline{y}(k+1){{\|}^{2}}+\lambda \|\Delta u(k){{\|}^{2}} \\ \end{align}$
(7) 其中,λ>0 是一个权重因子,用来限制控制量的变化幅度.
对于执行器执行能力(4),设
$\left\{ \begin{array}{*{35}{l}} {{u}_{LB}}(k)=\max \{\Delta {{u}_{\min }}(k),{{u}_{L}}-u(k-1)\} \\ {{u}_{UB}}(k)=\min \{\Delta {{u}_{\max }}(k),{{u}_{U}}-u(k-1)\} \\ \end{array} \right.$
(8) 则在 $k$ 时刻控制量增量范围可表示为
$\left[ \begin{matrix} -I \\ I \\ \end{matrix} \right]\Delta u(k)\le \left[ \begin{matrix} -{{u}_{LB}}(k) \\ {{u}_{UB}}(k) \\ \end{matrix} \right]$
(9) 联立式 (7) 和式 (9),并做如下变换:
$\left\{ \begin{array}{*{35}{l}} x=\Delta u(k) \\ E=2({{{\hat{\Phi }}}_{c}}(k)\hat{\Phi }_{c}^{\text{T}}(k)+\lambda I) \\ F=-2\hat{\Phi }_{c}^{\text{T}}(k)({{y}^{*}}(k+1)-\overline{y}(k)) \\ G=\|{{y}^{*}}(k+1)-\widehat{y}(k){{\|}^{2}} \\ M=\left[ \begin{matrix} -I \\ I \\ \end{matrix} \right] \\ [4mm]\gamma =\left[ \begin{matrix} -{{u}_{LB}}(k) \\ {{u}_{UB}}(k) \\ \end{matrix} \right] \\ \end{array} \right.$
(10) 忽略常量 $G$ ,其等价于求解:
$\left\{ \begin{array}{*{35}{l}} J(x)=\frac{1}{2}{{x}^{\text{T}}}Ex+{{x}^{\text{T}}}F \\ Mx\le \gamma \\ \end{array} \right.$
(11) 当x取何值时,J的数值最小. 对于极值问题(11),采用比较成熟的 Hildreth 二次编程方法求解[15].
定义 ${H}$ 、 ${K}$ 矩阵和 ${ \chi}$ 向量如下:
$\left\{ \begin{array}{*{35}{l}} H=M{{E}^{-1}}{{M}^{\text{T}}} \\ K=\gamma +M{{E}^{-1}}F \\ \chi \le 0 \\ \end{array} \right.$
(12) 其中, $\chi \in {{\mathbf{R}}^{n\times 1}}$ 是拉格朗日乘子.采用如下步骤迭代求改进解:
$\begin{align} & \chi \leftarrow 0 \\ & iter\leftarrow 1 \\ & ite{{r}_{\max }}\leftarrow 20 \\ & \epsilon \leftarrow {{\epsilon }_{0}} \\ & \text{while}(\|{{\chi }^{iter}}-{{\chi }^{iter-1}}\|＜\epsilon \ \text{or}\ iter＜ite{{r}_{\max }})\ \\ & \{\text{for}\ i=1:n \\ & \{\omega \leftarrow -\frac{K(i)+\sum\limits_{j=1}^{i-1}{H}(i,j)\chi (j)+\sum\limits_{j=i+1}^{n}{H}(i,j)\chi (j)}{H(i,i)} \\ & \chi (i)\leftarrow \max (0,\omega ) \\ & \ iter\leftarrow iter+1 \\ & \ \} \\ & \ \} \\ & x=-{{E}^{-1}}(F+{{M}^{\text{T}}}\chi ) \\ \end{align}$
(13) 其中,迭代次数 $iter_{\max}$ 可变.从以上的计算过程中可以看出,该方法基于求解原问题的对偶问题,通过迭代逼近拉格朗日乘子来得到最终解.在整个运算过程中没有矩阵求逆运算,因而计算量小、易于编程实现.由文献[15]可知,当不等式可行解不为空时,该算法收敛.同时易知没有约束式(9) 时,式(7) 的最优解为 ${ x}=-E^{-1}F$ .结合式 $(\ref{xiuci})$ 可知,增加约束后的最优解相当于在原有的基础上添加了一个修正项,以满足不等式约束(9) .
2.2 改进控制算法闭环稳定性证明
为了严格分析改进算法的闭环稳定性,做如下假设:
假设1.存在充分大的 λ使得 $\Phi{E}^{-1}({F}+{M}^{\rm T}{ \chi})$ 正定.
如果假设 1 不能满足,则说明该改进算法无法保证此系统在遇到执行器饱和问题时的闭环稳定性,需要更复杂的控制算法才能进行有效控制.
基于假设 1可以证明定理2.
定理2. 对于非线性系统 $(1)$ ,当 $\Delta{ u}(k)$ 幅值有界时,在满足假设 1条件下,由辨识方案(1)和本文提出的迭代算法具有如下性质: 当 ${ y}^*(k+1) $ $=$ ${ y}^*$ $=$ ${\rm {const}}$ 时,存在一个正数 ${{\lambda }_{\min }}>0$ ,使得当 $\lambda \ge {{\lambda }_{\min }}$ 时,有:
1) 系统跟踪误差序列是有界的,即 $\|{ y}(k+1) -{ y}^*\|$ 有界.
2) 闭环系统是 BIBO (Bounded-input bounded-output)稳定的,即输出序列 $\{{ y}(k)\}$ 和输入序列 $\{{ u}(k)\}$ 是有界的.
证明.
1) 证明 $\|\tilde{{ y}}(k)\|=\|{ y}(k)-\hat{{ y}}(k)\|$ 有界. 由文献[15]中的定理, $\|\Phi_c(k)-\hat{\Phi}_c(k)\|$ 有界,且 $\Delta{ u}(k)$ 有界,不妨设
$\|{{\Phi }_{c}}(k)-{{\hat{\Phi }}_{c}}(k)\|\|\Delta u(k)\|\le b$
(14) 则有
$\begin{align} & \|\widetilde{y}(k+1)\|=\|y(k+1)-\widehat{y}(k+1)\|= \\ & (1-K)\|\widetilde{y}(k)+{{{\tilde{\Phi }}}_{c}}(k)\Delta u(k)\|\le \\ & (1-K)(\|\widetilde{y}(k)\|+\|{{{\tilde{\Phi }}}_{c}}(k)\Delta u(k)\|)\le \\ & (1-K)\|\widetilde{y}(k)\|+(1-K)b\le \cdots \le \\ & {{(1-K)}^{k}}\|\widetilde{y}(1)\|+\frac{(1-k)b(1-{{(1-K)}^{k}})}{K} \\ \end{align}$
(15) 故 $\|\tilde{{ y}}(k)\|$ 有界,设为 $c$ ,即 $\|\tilde{{ y}}(k)\|\leq{c}$ .
2) 证明存在 λ,使得:
$I-{{\Phi }_{c}}(k)S(k){{({{\hat{\Phi }}_{c}}(k)\hat{\Phi }_{c}^{\text{T}}(k)+\lambda I)}^{-1}}\hat{\Phi }_{c}^{\text{T}}(k)$
(16) 的特征根的绝对值都小于1.其中, ${S}(k)$ 为一个对角矩阵, $S_i(k)$ 表示矩阵 $S(k)$ 中第 $k$ 个对角元.另记 ${\delta}(k)$ 为 $m$ 维列向量, $\epsilon_0$ 为某一大于0的正数.且 $S(k)$ , ${ \delta}(k)$ 满足
$\begin{align} & \text{for}\ i=1:m \\ & \text{if}\ {{({{E}^{-1}}F)}_{i}}\le {{\epsilon }_{0}}\ \text{then}\ \\ & {{S}_{i}}(k)\leftarrow \frac{{{({{E}^{-1}}(F+{{M}^{\text{T}}}\chi ))}_{i}}}{{{\epsilon }_{0}}} \\ & \ {{\delta }_{i}}(k)\leftarrow \frac{{{(\mathbf{x})}_{i}}}{{{S}_{i}}}-{{({{E}^{-1}}F)}_{i}}\ \\ & \text{else}\ \ \\ & {{S}_{i}}(k)\leftarrow \frac{{{({{E}^{-1}}(F+{{M}^{\text{T}}}\chi ))}_{i}}}{{{({{E}^{-1}}F)}_{i}}} \\ & \ \ {{\delta }_{i}}(k)\leftarrow 0 \\ \end{align}$
则易知
$x=S(k){{E}^{-1}}F+S(k)\delta (k)$
(17) 用 $\|\cdot\|_2$ 表示矩阵的谱范数,用 $\rho(\cdot)$ 表示矩阵的谱.由于 $\Phi_c(k)$ , ${S}(k)$ , $\hat{\Phi}_c^{\rm T}(k)$ , ${\delta}(k)$ 均有界,则不妨设
$\begin{align} & \|{{\Phi }_{c}}(k){{\|}_{2}}\|S(k){{\|}_{2}}\|\hat{\Phi }_{c}^{\text{T}}(k){{\|}_{2}}\le {{e}_{1}} \\ & \|S(k){{\|}_{2}}\|\hat{\Phi }_{c}^{\text{T}}(k){{\|}_{2}}\le {{e}_{2}} \\ & \|{{\Phi }_{c}}(k){{\|}_{2}}\|S(k)\delta (k){{\|}_{2}}\le {{e}_{3}} \\ \end{align}$
(18) 取 $e_0\!=\!\max\{e_1,e_2\}$ , $λ_{\min}\!=\!e_0+\rho(\hat{\Phi}_c(k)\hat{\Phi}_c^{\rm T}(k))$ ,因为 $(\hat{\Phi}_c\hat{\Phi}_c^{\rm T}(k)+λ{I})^{-1}$ 为对称矩阵,且当 $λ>λ_{\min}$ 时有
$\begin{align} & \|{{({{{\hat{\Phi }}}_{c}}\hat{\Phi }_{c}^{\text{T}}(k)+\lambda I)}^{-1}}{{\|}_{2}}= \\ & \qquad \rho ({{({{{\hat{\Phi }}}_{c}}\hat{\Phi }_{c}^{\text{T}}(k)+\lambda I)}^{-1}})＜\frac{1}{{{e}_{0}}} \\ \end{align}$
(19) 则进一步有
$\begin{align} & \rho ({{\Phi }_{c}}(k)S(k){{({{{\hat{\Phi }}}_{c}}(k)\hat{\Phi }_{c}^{\text{T}}(k)+\lambda I)}^{-1}}\hat{\Phi }_{c}^{\text{T}}(k))\le \\ & \qquad \|{{\Phi }_{c}}(k){{\|}_{2}}\|S(k){{\|}_{2}}\|{{({{{\hat{\Phi }}}_{c}}(k)\hat{\Phi }_{c}^{\text{T}}(k)+\lambda I)}^{-1}}{{\|}_{2}}\times \\ & \qquad \|\hat{\Phi }_{c}^{\text{T}}(k){{\|}_{2}}＜1 \\ \end{align}$
(20) 由假设1可知,当 $\lambda >{{\lambda }_{\min }}$ 时,式 (16) 的特征根的绝对值均小于1.
3) 证明跟踪误差有界.由步骤2知
$\rho (I-{{\Phi }_{c}}(k)S(k){{({{\hat{\Phi }}_{c}}(k)\hat{\Phi }_{c}^{\text{T}}(k)+\lambda I)}^{-1}}\hat{\Phi }_{c}^{\text{T}}(k))＜1$
(21) 则存在足够小 $\epsilon$ 和范数 $\|\cdot\|$ ,使得
$\begin{align} & \|I-{{\Phi }_{c}}(k)S(k){{({{{\hat{\Phi }}}_{c}}(k)\hat{\Phi }_{c}^{\text{T}}(k)+\lambda I)}^{-1}}\hat{\Phi }_{c}^{\text{T}}(k)\|\le \\ & \qquad \epsilon +\rho (I-{{\Phi }_{c}}(k)S(k)\text{ }\lambda \\ & \qquad {{({{{\hat{\Phi }}}_{c}}(k)\hat{\Phi }_{c}^{\text{T}}(k)+\lambda I)}^{-1}}\hat{\Phi }_{c}^{\text{T}}(k))＜1 \\ \end{align}$
(22) 对任意 $k$ 取
$\begin{align} & \|I-{{\Phi }_{c}}(k)S(k){{({{{\hat{\Phi }}}_{c}}(k)\hat{\Phi }_{c}^{\text{T}}(k)+\lambda I)}^{-1}}\hat{\Phi }_{c}^{\text{T}}(k)\|＜ \\ & {{d}_{1}}＜1 \\ & \|{{\Phi }_{c}}(k)S(k){{({{{\hat{\Phi }}}_{c}}(k)\hat{\Phi }_{c}^{\text{T}}(k)+\lambda I)}^{-1}}\hat{\Phi }_{c}^{\text{T}}(k)\|＜{{d}_{2}} \\ \end{align}$
(23) 则
$\begin{align} & \|e(k+1)\|= \\ & \|{{y}^{*}}(k+1)-y(k+1)\|= \\ & \|{{y}^{*}}(k+1)-y(k)-{{\Phi }_{c}}(k)S(k)\times \\ & {{({{{\hat{\Phi }}}_{c}}(k)\hat{\Phi }_{c}^{\text{T}}(k)+\lambda I)}^{-1}}\hat{\Phi }_{c}^{\text{T}}(k)({{y}^{*}}(k)- \\ & \widehat{y}(k))-{{\Phi }_{c}}(k)S(k)\delta (k)\|\le \| \\ & I-{{\Phi }_{c}}(k)S(k){{({{{\hat{\Phi }}}_{c}}(k)\hat{\Phi }_{c}^{\text{T}}(k)+\lambda I)}^{-1}} \\ & \hat{\Phi }_{c}^{\text{T}}(k)\|+\|{{y}^{*}}(k)-y(k)\|+\|{{\Phi }_{c}}(k)S(k)\times \\ & {{({{{\hat{\Phi }}}_{c}}(k)\hat{\Phi }_{c}^{\text{T}}(k)+\lambda I)}^{-1}}\hat{\Phi }_{c}^{\text{T}}(k)\|\|\widetilde{y}(k)\|+\| \\ & {{\Phi }_{c}}(k)S(k)\delta (k)\|\le \\ & {{d}_{1}}\|e(k)\|+{{d}_{2}}c+{{e}_{3}}\le \cdots \le \\ & d_{1}^{k}\|e(1)\|+\frac{({{d}_{2}}c+{{e}_{3}})(1-d_{1}^{k})}{1-{{d}_{1}}} \\ \end{align}$
则 $\|{ e}(k)\|$ 有界,设其界为 $f_0$ ,即 $\|{ e}(k)\|\leq{f_0}$ .
4) 由 ${ y}^*(k)$ 有界知 ${ y}(k)$ 有界.又因为在求解 ${ x}$ 的过程中,加入了控制量位置饱和限制,所以 $\|{ u}\|$ 满足约束条件,故有界.进而可知 ${ u}(k)$ 有界. $\Box$
推论1. 如果不使用滤波器,即 $\hat{{ y}}(k)={ y}(k)$ .且当 ${ \delta}(k)\equiv 0$ 成立时,定理2中的结论可加强为:
1) 系统跟踪误差序列收敛, ${{\lim }_{k \to \infty } }\|{ y}(k+1) -{ y}^*\|=0$ ;
2) 闭环系统是 BIBO 稳定的,即输出序列 $\{{ y}(k)\}$ 和输入序列 $\{{ u}(k)\}$ 是有界的.
证明.
$\begin{align} & \|e(k+1)\|\le \ \\ & \|{{y}^{*}}(k+1)-y(k)-{{\Phi }_{c}}(k)S(k) \\ & \times \ {{({{{\hat{\Phi }}}_{c}}(k)\hat{\Phi }_{c}^{\text{T}}(k)+\lambda I)}^{-1}}\hat{\Phi }_{c}^{\text{T}}(k)({{y}^{*}}(k)-\widehat{y}(k))\|\le \ \\ & \|I-{{\Phi }_{c}}(k)S(k){{({{{\hat{\Phi }}}_{c}}(k)\hat{\Phi }_{c}^{\text{T}}(k)+\lambda I)}^{-1}}\hat{\Phi }_{c}^{\text{T}}(k)\|\times \\ & \|{{y}^{*}}(k)-y(k)\|\le \\ & \ {{d}_{1}}\|e(k)\|\cdots \le {{d}_{1}}^{k}\left\| e(1) \right\| \\ \end{align}$
(24) 故知 ${{\lim }_{k \to \infty } }\|{ y}(k+1) -{ y}^*\|=0$ ,结论1) 得证. 结论2) 的证明类似于定理2中结论2) 的证明. $\square$
推论1中 ${ \delta}(k)\equiv0$ 的物理含义是在没有式(9) 约束的前提下,仅根据式(7) 计算所得的 ${\Delta{ u}}$ 不为零.在实际系统中,由于噪声和数值计算误差的存在,求解式(7) 所得的数值将很少为零,所以该假设在实际系统中有一定意义.
3. 仿真实验
蒸馏塔被广泛应用于化学工业.但在蒸馏塔内出现的延迟给控制律设计造成了很大困难.采用无模型自适应控制可进行有效的跟踪控制[12].在本仿真中,使用了 Wood/Berry蒸馏塔模型,如图 1所示[16].其中 $u_1$ 代表回流速率(IB/ $\min$ ), $u_2$ 代表蒸汽流量 (IB/ $\min$ ), $y_1$ 代表上部成份 (mol $%$ methanol), $y_2$ 代表底层成份 (mol $%$ methanol).选择如下离散系统作为 Wood/Berry 蒸馏塔模型.
$\left\{ \begin{array}{*{35}{l}} {{y}_{1}}(z)=\frac{0.7665}{z-0.9419}{{u}_{1}}(z)+\frac{0.9{{z}^{-2}}}{z-0.9535}{{u}_{2}}(z) \\ [4mm]{{y}_{2}}(z)=\frac{0.6055{{z}^{-6}}}{z-0.9124}{{u}_{1}}(z)+\frac{1.3472{{z}^{-2}}}{z-0.90311}{{u}_{2}}(z) \\ \end{array} \right.$
期望输出信号为
$\begin{align} & y_{1}^{*}(k)=\left\{ \begin{array}{*{35}{l}} 40, & k\le 1000 \\ 90, & k>1000 \\ \end{array} \right. \\ & y_{2}^{*}(k)=\left\{ \begin{array}{*{35}{l}} 40, & k\le 1000 \\ 85, & k>1000 \\ \end{array} \right. \\ \end{align}$
(25) 为了对比在出现执行器饱和时原方法与改进后方法的控制效果,现描述改进前 ${\hat\Phi_c (k)}$ 的计算方法如下[12]:
${{{\hat{y}}}_{i}}(k+1)={{{\hat{y}}}_{i}}(k)+\Delta {{u}^{\text{T}}}(k)\hat{\phi }_{i}^{\text{T}}(k)+{{k}_{i}}{{{\tilde{y}}}_{i}}(k)$
(26) $\begin{align} & \hat{\phi }_{i}^{\text{T}}(k+1)=\hat{\phi }_{i}^{\text{T}}(k)+2\Delta u(k){{({{\left\| \Delta u(k) \right\|}^{2}}+{{\mu }_{i}})}^{-1}}\times \\ & \ ({{{\tilde{y}}}_{i}}(k+1)-{{F}_{i}}{{{\tilde{y}}}_{i}}(k)) \\ \end{align}$
(27) 其中, ${{\hat y}_i}(k)$ 为第 $i$ 个输出分量的估计值, ${{\tilde y}_i}(k)=$ ${y_i}(k)-{{\hat y}_i}(k)$ 为相应的估计误差. ${F_i} = 1 -{k_i}$ , ${k_i}$ 是 $K$ 矩阵对角线上相应的元素. $ {{\hat {\phi}}_i}^{\rm T}(k)$ 为 ${\hat \Phi_c(k)}$ 矩阵的第 $i$ 个行向量.改进前 ${ u}(k)$ 的计算方法如下[12]:
$\begin{align} & u(k)=u(k-1)+{{{\hat{\Phi }}}_{c}}^{\text{T}}(k){{\left[ {{{\hat{\Phi }}}_{c}}(k){{{\hat{\Phi }}}_{c}}^{\text{T}}(k)+\alpha \right]}^{-1}}\times \\ & \ [{{y}^{*}}(k+1)-\hat{y}(k)-K\tilde{y}(k),\ \ \left\| \Delta u(k) \right\|\le \delta \\ \end{align}$
(28) $u(k)=u(k-1)+\delta \text{sgn}(\Delta u(k)),\ \Delta u(k)$
(29) 在本文仿真过程中, $\alpha={\rm{diag}}\{0.003,0.0015\}$ 且 $\delta =0.02$ .改进前与改进后算法共用以下参数并取相同数值:采样周期为 $T_s=1$ s, $K = {\rm{diag}}\{0.9$ , $0.9\}$ , $\mu_1=\mu_2=9$ ,PJM 参数初始值为 ${{\hat{\Phi }}_{c}}(0)=\left[ {matrix} 910 & 750 \\ 450 & 520 \\ {matrix} \right]$.
同时限定被控系统执行器执行能力为
$\left\{ \begin{array}{*{35}{l}} 0\le {{u}_{1}}\le 1, & -0.02\le \Delta {{u}_{1}}\le 0.02 \\ 0\le {{u}_{2}}\le 4, & -0.02\le \Delta {{u}_{2}}\le 0.02 \\ \end{array} \right.$
(30) 在此基础上,分别对改进前后的算法进行仿真可得图 2.
2原控制方法之所以会出现一个控制输入饱和,而另一个却接近于0,是因为进入稳态后,该控制算法不断地试图通过增加 ${u_2}$ 来消除误差.但受执行器饱和的影响,系统的状态并没有改变,最终导致了净差的产生.
为了对比优化前后控制算法对初始参数的敏感度,设初始参数 $\hat{\Phi}_c(0) ={bmatrix}1000& 1000\\1000& 1000{bmatrix}$ .再进行仿真后可得图 3.在没有限制执行能力时,无模型自适应控制可以较好地跟踪信号[12].但对比图 3可以发现,改进前无模型自适应控制在遇到执行器饱和后出现了明显的静差.这是由于控制器在计算控制输出时并没有考虑执行器的执行能力,导致两个执行器中有一个饱和,而另一个却没有发挥应有的控制能力.进一步分析图 3可知,在初始参数有摄动的情况下,改进前的控制算法出现了剧烈的抖动,并基本失去了跟踪参考输入的能力.这是由于在原算法的计算过程中,没有考虑执行器的实际情况,间接导致了系统无法校正PJM参数的误差,最终引起系统剧烈抖动并产生了较大的净差. 相比之下,改进后无模型自适应控制算法充分考虑了执行器的执行能力,可有效地跟踪参考输入,显示了算法的有效性.
图 3 改变初始参数后控制性能对比图Fig. 3 After changing the initial parameters,the control performance comparison charts4. 结论
本文针对传统无模型自适应控制算法无法应对执行器饱和的问题,提出了一种改进无模型自适应控制算法.并对该算法的闭环稳定性进行了严格证明.该算法具有实现简单、计算量小的优点. 结合蒸馏塔 Wood/Berry模型对比了算法改进前后的控制效果.仿真结果说明,改进算法相比传统方法具有跟踪能力强和对初始参数依赖弱的优点,能有效处理执行器饱和问题.
-
图 3 最佳分类精度随特征维数变化曲线图
Fig. 3 The varying curves of the optimal classiflcation accuracy with feature dimension
图 4 三个数据集上不同训练样本数算法最佳平均分类精度
Fig. 4 The average classification accuracy of different training sample number on three datasets
表 1 最佳分类精度(Ac)及对应特征维数($r$)
Table 1 The classification accuracy (Ac) and the corresponding feature dimension ($r$)
数据集 UCMerced WHU-RS Quick bird 算法 Ac (%) $r$ Ac (%) $r$ Ac (%) $r$ LRK-SOLPP 92.32 45 92.68 25 91.87 45 KLPP 93.15 20 93.64 50 92.84 25 LRK-ASOLPP 94.89 35 96.43 25 95.69 20 
下载: 导出CSV
表 2 UCMerced LandUse dataset上的最佳分类精度(Ac)及对应特征维数(r)
Table 2 The classiflcation accuracy (Ac) and the feature dimension (r) on UCMerced LandUse dataset
算法 LRK-SOLPP KLPP LRK-ASOLPP 分类器 Ac(%) $r$ Ac(%) $r$ Ac(%) $r$ K-NN 84.45 20 84.38 20 90.18 35 K-means 85.65 20 89.06 25 91.16 25 SVM 87.25 15 90.76 15 94.27 20 BP-ANN 89.82 20 91.64 20 95.34 25
下载: 导出CSV
表 3 WHU-RS dataset上的最佳分类精度(Ac)及对应特征维数(r)
Table 3 The classiflcation accuracy (Ac) and the feature dimension (r) on WHU-RS dataset
算法 LRK-SOLPP KLPP LRK-ASOLPP 分类器 Ac(%) $r$ Ac(%) $r$ Ac(%) $r$ K-NN 85.32 30 88.04 20 90.25 20 K-means 88.58 20 89.64 50 90.87 25 SVM 87.68 35 91.76 15 95.79 20 BP-ANN 90.47 20 90.43 20 96.18 25
下载: 导出CSV
表 4 Quick bird dataset上的最佳分类精度(Ac)及对应特征维数(r)
Table 4 The classiflcation accuracy (Ac) and the feature dimension (r) on Quick bird dataset
算法 LRK-SOLPP KLPP LRK-ASOLPP 分类器 Ac(%) $r$ Ac(%) $r$ Ac(%) $r$ K-NN 84.98 25 93.65 20 94.18 35 K-means 86.62 20 92.06 50 96.28 25 SVM 88.76 25 90.38 25 93.69 20 BP-ANN 89.45 20 92.56 30 95.89 25
下载: 导出CSV
-
[1] 明冬萍, 骆剑承, 沈占锋, 汪闽, 盛昊.高分辨率遥感影像信息提取与目标识别技术研究.测绘科学, 2005, 30(3):18-20 doi: 10.3771/j.issn.1009-2307.2005.03.004Ming Dong-Ping, Luo Jian-Cheng, Shen Zhan-Feng, Wang Min, Sheng Hao. Research on information extraction and target recognition from high resolution remote sensing image. Science of Surveying and Mapping, 2005, 30(3):18-20 doi: 10.3771/j.issn.1009-2307.2005.03.004 [2] 刘扬, 付征叶, 郑逢斌.高分辨率遥感影像目标分类与识别研究进展.地球信息科学学报, 2015, 17(9):1080-1091 http://d.old.wanfangdata.com.cn/Periodical/dqxxkx201509010Liu Yang, Fu Zheng-Ye, Zheng Feng-Bin. Review on high resolution remote sensing image classification and recognition. Journal of Geo-Information Science, 2015, 17(9):1080-1091 http://d.old.wanfangdata.com.cn/Periodical/dqxxkx201509010 [3] 汤玉奇. 面向对象的高分辨率影像城市多特征变化检测研究[博士学位论文], 武汉大学, 中国, 2013. http://cdmd.cnki.com.cn/Article/CDMD-10486-1013209584.htmTang Yu-Qi. Object-Oriented Change Detection with Multi-Feature in Urban High-Resolution Remote Sensing Imagery[Ph. D. dissertation], Wuhan University, China, 2013. http://cdmd.cnki.com.cn/Article/CDMD-10486-1013209584.htm [4] Dai D X, Yang W. Satellite image classification via two-layer sparse coding with biased image representation. IEEE Geoscience and Remote Sensing Letters, 2011, 8(1):173-176 doi: 10.1109/LGRS.2010.2055033 [5] 郭迎春, 袁浩杰, 吴鹏.基于Local特征和Regional特征的图像显著性检测.自动化学报, 2013, 39(8):1214-1224 http://www.aas.net.cn/CN/abstract/abstract18152.shtmlGuo Ying-Chun, Yuan Hao-Jie, Wu Peng. Image saliency detection based on local and regional features. Acta Automatica Sinica, 2013, 39(8):1214-1224 http://www.aas.net.cn/CN/abstract/abstract18152.shtml [6] 李擎, 唐欢, 迟健男, 邢永跃, 李华通.基于改进最大类间方差法的手势分割方法研究.自动化学报, 2017, 43(4):528-537 http://www.aas.net.cn/CN/abstract/abstract19031.shtmlLi Qing, Tang Huan, Chi Jian-Nan, Xing Yong-Yue, Li Hua-Tong. Gesture segmentation with improved maximum between-cluster variance algorithm. Acta Automatica Sinica, 2017, 43(4):528-537 http://www.aas.net.cn/CN/abstract/abstract19031.shtml [7] Tuzel O, Porikl F, Meer P. Human detection via classification on Riemannian manifolds. In:Proceedings of the 2007 IEEE Conference on Computer Vision and Pattern Recognition. Minneapolis, MN, USA:IEEE, 2007. [8] Jayasumana S, Hartley R, Salzmann M. Kernels on Riemannian manifolds. Turaga P, Srivastava A (eds). Riemannian Computing in Computer Vision. Cham:Springer, 2016. 45-67 [9] Lunga D, Prasad S, Crawfrd M M, Ersoy O. Manifold-learning-based feature extraction for classification of hyperspectral data:a review of advances in manifold learning. IEEE Signal Processing Magazine, 2014, 31(1):55-66 http://ieeexplore.ieee.org/xpls/icp.jsp?arnumber=6678226 [10] Zhou Y J, Bao L, Lin Y Q. Fast second-order orthogonal tensor subspace analysis for face recognition. Journal of Applied Mathematics, 2014, 2014:Article No. 871565 http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=Doaj000002867627 [11] Huang H B, Huo H, Fang T. Hierarchical manifold learning with applications to supervised classification for high-resolution remotely sensed images. IEEE Transactions on Geoscience and Remote Sensing, 2014, 52(3):1677-1692 http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=3b9bc444d224062d81838c870471f256 [12] 宗薇.一种新的视频流动态目标跟踪算法.计算机应用研究, 2015, 32(3):954-956 doi: 10.3969/j.issn.1001-3695.2015.03.073Zong Wei. New video stream dynamic target tracking algorithm. Application Research of Computers, 2015, 32(3):954-956 doi: 10.3969/j.issn.1001-3695.2015.03.073 [13] Ertan C H, Wright M J, Thompson P M, Vidal R. Segmentation of high angular resolution diffusion MRI using sparse Riemannian manifold clustering. IEEE Transactions on Medical Imaging, 2014, 33(2):301-317 http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=91770beb1865261b51d252a5d2c423d4 [14] Zhang Y Y, Wang Z P, Lv X D. Saliency detection via sparse reconstruction errors of covariance descriptors on Riemannian manifolds. Circuits, Systems, and Signal Processing, 2016, 35(12):4372-4389 doi: 10.1007/s00034-016-0267-x [15] Tenenbaum J B, de Silva V, Langford J C. A global geometric framework for nonlinear dimensionality reduction. Science, 2002, 290(5500):2319-2323 doi: 10.1126-science.290.5500.2319/ [16] Roweis S T, Saul L K. Nonlinear dimensionality reduction by locally linear embedding. Science, 2000, 290(5500):2323-2326 doi: 10.1126/science.290.5500.2323 [17] Belkin M, Niyogi P. Laplacian eigenmaps for dimensionality reduction and data representation. Neural Computation, 2003, 15(6):1373-1396 doi: 10.1162/089976603321780317 [18] Zhang Z Y, Zha H Y. Principal manifolds and nonlinear dimensionality reduction via tangent space alignment. SIAM Journal on Scientific Computing, 2005, 26(1):313-338 http://d.old.wanfangdata.com.cn/Periodical/shdxxb-e200404005 [19] Weiberger K Q, Sha F, Saul K L. Learning a kernel matrix for nonlinear dimensionality reduction. In:Proceedings of the 21st International Conference on Machine Learning. Banff, Alberta, Canada:ACM, 2004. [20] Donoho D L, Grimes C E. Hessian eigenmaps:locally linear embedding techniques for high-dimensional data. Proceedings of the National Academy of Sciences of the United States of America, 2003, 100(10):5591-5596 doi: 10.1073/pnas.1031596100 [21] Zhang T H, Li X L, Tao D C, Yang J. Local coordinates alignment and its linearization. Neural Information Processing. Berlin, Heidelberg:Springer-Verlag, 2008. 643-652 [22] He X F, Niyogi P. Locality preserving projections. In:Proceedings of the 2003 Conference on Advances in Neural Information Processing Systems. Chicago, IL, USA:MIT Press, 2003. 186-197 [23] Kokiopoulou E, Saad Y. Orthogonal neighborhood preserving projections:a projection-based dimensionality reduction technique. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2007, 29(12):2143-2156 doi: 10.1109/TPAMI.2007.1131 [24] He X F, Cai D, Yan S C, Zhan H J. Neighborhood preserving embedding. In:Proceedings of the 10th IEEE International Conference on Computer Vision. Beijing, China:IEEE, 2005. 1208-1213 [25] Lu G, Zuo J. Two-dimensional neighborhood preserving discriminant analysis for face recognition. Pattern Recognition Letters, 2010, 30(10):902-907 [26] Shen J F, Zuo X, Liu H, Wang H R, Yang W K, Qian C S. Supervised local high-order differential channel feature learning for pedestrian detection. Neural Processing Letters, 2017, 45(3):1025-1037 doi: 10.1007/s11063-016-9561-7 [27] Tuzel O, Porikli F, Meer P. Region covariance:a fast descriptor for detection and classification. In:Proceedings of the 2006 European Conference on Computer Vision. Berlin, Heidelberg, Germany:Springer, 2006. 589-600 [28] 王瑞霞, 彭国华.基于黎曼流形稀疏编码的图像检索算法.自动化学报, 2017, 43(5):778-788 http://www.aas.net.cn/CN/abstract/abstract19055.shtmlWang Rui-Xia, Peng Guo-Hua. An image retrieval method with sparse coding based on Riemannian manifold. Acta Automatica Sinica, 2017, 43(5):778-788 http://www.aas.net.cn/CN/abstract/abstract19055.shtml [29] Yang Y, Newsam S. Bag-of-visual-words and spatial extensions for land-use classification. In:Proceedings of the 18th SIGSPATIAL International Conference on Advances in Geographic Information Systems. San Jose, California, USA:ACM, 2010. 270-279 [30] Xia G S, Yang W, Delon J, Gousseau Y, Sun H, Maître H. Structural high-resolution satellite image indexing. In:Proceedings of the 2010 Symposium:100 Years-International Society for Photogrammetry and Remote Sensing-Advancing Remote Sensing Science. Vienna, Austria:ISPRS, 2010. 298-303 [31] Li P H, Wang Q L, Zuo W M, Zhang L. Log-Euclidean kernels for sparse representation and dictionary learning. In:Proceedings of the 2013 IEEE International Conference on Computer Vision (ICCV). Sydney, NSW, Australia:IEEE, 2013. 1601-1608 期刊类型引用(7)
1. 张学顶，张术昌，王红霞，王亚东. 多尺度小波池化协方差网络:对噪声鲁棒的病理学图像分类算法. 计算机辅助设计与图形学学报. 2023(04): 538-552 . 
百度学术2. 高迎彬，徐中英. 基于加权矩阵的多维广义特征值并行分解算法. 自动化学报. 2023(12): 2639-2644 . 本站查看3. 吴瑾，崔沂峰，姜紫阳，傅学振，孙齐，杨昆. 基于卫星遥感数据的恶劣气象监测预警系统设计. 计算机测量与控制. 2022(05): 1-5+12 . 百度学术4. 张朕通，单玉刚，袁杰. 联合多尺度和注意力机制的遥感影像检测. 计算机工程与应用. 2021(09): 212-216 . 百度学术5. 李馥利，金敏，王雨佳. 基于数据降维和SVM的大学生心理健康状态评价. 微型电脑应用. 2021(05): 79-81 . 百度学术6. 张云飞. 基于深度学习的遥感影像目标检测系统设计. 计算机测量与控制. 2021(10): 77-82 . 百度学术7. 张朕通，单玉刚，袁杰. 改进注意力机制的遥感地貌识别算法. 测绘通报. 2020(10): 93-96+100 . 百度学术其他类型引用(1)
-
下载:
计量
- 文章访问数: 2177
- HTML全文浏览量: 315
- PDF下载量: 526
- 被引次数: 8
