Connotation and Research of Reconfigurability for Spacecraft Control Systems:A Review
-
摘要: 可重构性设计是提高航天器在轨运行质量的有效途径，可以从系统层面克服航天器控制系统固有可靠性不足、星上资源受限以及在轨故障不可维修等缺陷，目前已引起控制理论和航天器控制工程等领域的高度重视与广泛关注.本文首先结合航天器控制系统的固有特点，具体介绍可重构性的研究意义与概念内涵.然后从评价与设计两方面，详细梳理航天器控制系统可重构性的研究内容与研究现状.最后对目前可重构性研究领域中存在的一些问题以及未来可能的发展方向进行深入探讨.Abstract: Since control reconfigurability design can overcome the inherent deficiency of reliability insufficiency, limitation of resource and unrepairability of fault for spacecraft control system, it is the fundamental approach to improve the operational quality of on-orbit spacecraft, which has attracted intensive attention from both control theory field and spacecraft control engineering field. First of all, the research significance, connotation and research range of reconfigurability for spacecraft control system are described in detail. Then, the current research status of control reconfigurability is summarized from the aspects of reconfigurability evaluation and reconfigurability design. Finally, problems to be solved are presented and some countermeasures and suggestions are put forward.
-
"辨识"概念起源于统计学, 并在控制科学中得到了巨大的发展.根据文献[1-2]记载, 上世纪20年代, 一些经济学家在统计推断模型中首次提出了"辨识"概念及其相关问题.从1934年到1975年, 一批经济学家对此做出了里程碑式的理论化奠基工作; 这其中包括多个诺贝尔经济学奖得主, 如1969年荷兰经济学家Jan Tinbergen与挪威经济学家Ragnar A. K. Frisch, 1975年美国经济学家Tjalling Koopmans, 1989年挪威经济学家Trygve M. Haavelmo, 以及2007年美国经济学家Leonid Hurwicz.在此期间, 以"辨识"为标题的论文有Koopmans于1949年针对经济模型发表的文献[3]; 而文献[4]认为Haavelmo是辨识问题中给出通用与准确数学公式化的首位研究者, 并明确指出它与估计问题的不同("Haavelmo was the first to give a general and precise mathematical formulation of the identification problem, and to distinguish it clearly from the estimation problem").
在此之后, 控制学界发展了基于控制理论的"辨识"研究.开创性工作有Zadeh于1956年针对黑箱系统建模问题[5]以及1962年针对"电阻－电感－电容"网络系统[6]提出的辨识问题.根据文献[4]评述, Zadeh与Kalman提出的辨识问题更强调(黑箱)模型的选择与估计("For Zadeh or Kalman, identification is the selection and estimation of a model"), 或者更侧重"从样本到总体(From sample to population)".这不同于当时已有经济模型中辨识问题更强调"可辨识性(Identifiability)", 即更侧重"从总体到结构(From population to structure)".在发展出状态空间表示方法之后, 控制学科为辨识理论体系产生出了许多独有的学术贡献和系统性研究工作[7-12].
从辨识研究的发展史可以看出, "辨识"是数学模型与控制系统中最核心和最基础的研究内容之一.虽然学界认为线性系统和模型辨识研究已经成熟("System identification for linear systems and models is a well-established and mature topic)", 然而, Ljung指出辨识非线性模型是"更加丰富且严苛的领域" ("Identifying nonlinear models is a much more rich and demanding problem area")[13].辨识概念及其研究主题不仅持续扩展其应用领域, 而且已经滋润了其他学科的迅速发展.本文正是在统计机器学习研究背景下进行关键问题讨论[14-15], 这不同于经典统计模型和控制模型[16-17].对于这样十分活跃且为当下最为"显学"的研究领域进行辨识主题的全面综述无疑是很大的挑战, 因此, 我们把范围限定为统计机器学习模型中的参数可辨识性.参数可辨识性是关于模型参数能否被唯一确定的性质, 也是系统辨识理论研究中不可或缺的子问题.
机器学习研究本质涉及到多种数学空间的学习.如果考察各个空间的关联(图 1), 可以把机器学习模型视为一个参数学习机; 这也说明可辨识性是机器学习理论研究中的核心内容之一.然而, 目前它并没有得到学术界的广泛重视和深入系统性研究.本文从新视角定义的模型类别开始讨论该专题, 研究其中的两个关键问题, 特别强调对未来发展轨迹提出新的见解.
我们主要讨论统计机器学习中有关参数可辨识性的关键问题.所以, 我们把机器学习模型置于统计框架下.按照Amari等信息几何的观点[18], 可以把参数化的统计分布族看作具有几何结构的统计流形, 每一个具体的统计分布被视为统计流形上的一个点.因此, 可辨识性问题考虑的是:对于给定的参数统计模型, 是否存在不同的参数值, 它们对应的统计分布是相同的.
在机器学习文献中, 与局部不可辨识等价的一个概念是奇异性(Singularity), 如果一个统计模型的Fisher信息矩阵不是处处严格正定的, 我们称此模型为奇异学习机[19].奇异学习机在机器学习理论和应用中具有重要的地位[20-23].如果一个学习机具有层次结构[24-26]、隐变量[27-28]、状态变量[29-31]、讨厌参数[32]、语法规则[23]、耦合的子模型 [15, 33]等, 那么这个学习机通常是奇异的.基于奇异学习机在机器学习领域普遍存在, Watanabe指出:几乎所有的学习机都是奇异的(Almost all learning machines are singular)[22].奇异学习机包括多层感知器、径向基函数、高斯混合模型、玻尔兹曼机、Bayes网络等.
在机器学习领域, 相对于各种各样具体的学习算法而言, 与可辨识性有关的研究则显得相对缺乏.长期以来, 此问题并没有得到广泛的关注.直到近几年, 随着日本学者Amari、Watanabe与Fukumizu等关于奇异学习理论的完善, 越来越多的学者开始关注这一理论; 这一点可以从近年来机器学习主流期刊和国际会议的文章数量看出来.这些理论成果主要得益于两个方面: 1) Amari的信息几何理论[18]; 2) Watanabe基于代数几何(Algebraic geometry)和代数分析的奇异学习理论[23].
针对机器学习领域中的可辨识性研究, 本文以机器学习和神经计算为应用背景, 主要讨论参数可辨识性研究在统计机器学习中的两大关键问题, 简述其研究进展和研究难点, 并提出若干瓶颈问题.第一个问题主要讨论与可辨识性准则相关的几个问题, 其中包括判断学习机器奇异的准则(因为模型奇异和模型局部不可辨识是等价的[34]), 也包括判断参数全局可辨识的准则(这对模型的可解释性和透明度有重要意义).第二个问题主要讨论奇异性对机器学习各个方面的影响; 这种影响包括机器学习理论、参数估计、模型选择、学习算法、学习过程动态分析、Bayesian推断等.
1. 新视角下机器学习模型研究框架
对于可辨识性理论的研究, 目前学界有不同的研究视角和问题侧重.研究视角的差异源于数学模型类型的不同, 或者由此限定的侧重范围, 比如基于非线性性质、静动态性质、统计性质、数据类型、应用领域范围等方式的传统划分.在本文中, 我们试图根据统计机器学习推理原理和极具发展前景的新模型(见图 2)视角进行考察.目前, 多数机器学习模型应用"归纳(Induction)"推理原理(图 3); 这包括当下流行的深度学习模型.由于该类模型依赖大量训练数据和很少的先验知识, 所以称为数据驱动模型.当完全没有先验知识时, 模型参数可以任意给定并且不对应真实物理系统的物理意义, 因此又称"非参模型(Nonparametric model)"或"黑箱模型".因此, 使用者无法直接理解并解释黑箱模型的物理内涵和刺激－响应行为.与此对应的另一类模型是基于"演绎(Deduction)"推理原理的知识驱动模型; 它通常根据第一性原理(First principle)或实际系统机理知识而构造, 其中模型参数个数不仅固定, 而且具有明确的物理意义.
本文讨论的模型对象是"基于知识与数据共同驱动的模型". 图 2以简化的方式示意了该类模型的结构原理, 并用如下函数形式表示:
$\begin{eqnarray} \pmb{y} = \pmb{f}(\pmb{x}, \theta)=\pmb{f}_k(\pmb{x}, \theta_k)\oplus \pmb{f}_d(\pmb{x}, \theta_d) \end{eqnarray} $
(1) $\begin{eqnarray} \theta = (\theta_k, \theta_d), \theta_k\cap \theta_d=\emptyset \end{eqnarray} $
(2) 其中, $\pmb{x}$与$\pmb{y}$分别是模型的输入和输出变量, $\pmb{f}$是整体(Complete)模型函数, 而$\pmb{f}_k$与$\pmb{f}_d$分别对应知识驱动(Knowledge-driven, KD)与数据驱动(Data-driven, DD)子模型函数, 它们相应的参数变量是$\theta_k$和$\theta_d$.由于$\theta_k$对应物理意义的参数, 我们将其称为物理参数变量.符号"$\oplus$"记为"耦合算子(Coupling operator)", 它表示两个子模型之间相互作用的运算.数据驱动子模型可以是机器学习中的决策树、神经元网络或支持向量机等.对于式(1), 如果模型函数$\pmb{f}$中包括时间变量t, 则模型是动态系统.
参数可辨识性研究在知识与数据共同驱动机器学习模型中具有重要的理论意义.知识驱动(子)模型参数变量$\theta_k$的可辨识性不仅是模型具有可解释性的必要前提, 也是参数获得正确估计的重要条件.数据驱动(子)模型参数变量$\theta_d$的可辨识性对机器学习诸多方面有着重要的影响(我们将在第4节详细讨论).本文在此模型中开展参数可辨识性研究主要基于以下三个方面的原因.
1) 新模型提供了更加统一而广义的建模框架, 因为传统的知识驱动或数据驱动模型将成为其特例.模糊系统与概率图模型等由单一结构化知识表达的模型也可以理解为是新模型中的某一种.新模型可以包容非结构化的先验知识、任意类型的动态模型等.
2) 不同于传统模型, 新模型中耦合方式及DD子模型选择为参数可辨识性提供了新的、特有的研究空间.调整耦合方式或DD子模型可以改变整体模型中参数可辨识性的实际状况, 这也为某些具有物理意义的不可辨识参数转变为可辨识参数提供了可能性[15].
3) 未来的机器学习模型或类人智能模型必然需要同时最大化利用知识与数据.人类有效结合"归纳"与"演绎"推理体系而实现的智能范式为新模型提供了参照依据.未来类人智能机器在利用已有知识与数据方面均会超过人类平均水平(图 4), 这也预示大数据(Big data)下成功发展的深度学习模型必将依赖利用大知识(Big knowledge)而产生突破性发展.
图 4 现有智能模型与未来类人机器在知识与数据利用中的相对关系示意图Fig. 4 The relationship between current intelligent models and the future human-like machines which is based on the use of knowledge and data2. 关键问题一:可辨识性准则
本节主要讨论与可辨识性准则相关的几个问题:可辨识性的判定, 参数冗余的判定和重参数化方法.
2.1 无约束参数模型的可辨识性准则
在此情况下, 我们假设可容许的参数空间是某个欧氏空间.早在1971年, Rothenberg[34]就推导了参数统计模型局部可辨识的充分必要条件, 正是该文献证明了模型局部不可辨识和模型奇异是等价的.特别地, 文献[34]还得到了结论:对于指数分布族, 此条件也是模型全局可辨识的充分必要条件.从信息论(Information theory)[35]的观点来看, 不可辨识的原因在于缺乏足够的"信息"把一个参数点和另外一个参数点区分开, 因此可以利用信息论的相关工具来研究可辨识性.在文献[36]中, Bowden利用信息论中的Kullback-Leibler (KL)散度, 将可辨识性问题等价地转化为求解非线性方程根的个数问题.文献[37]等利用KL散度, 把无约束参数模型的可辨识性问题等价地转化为一个无约束最优化(Unconstrained optimization)问题[38], 用最优化理论的观点研究了可辨识性问题.进而, 文献[39]利用辨识函数(Identifying function)的方法研究了可辨识性问题.通常, 这些方法的复杂度都很高(比如, 需要显式地求解Fisher信息矩阵或者KL散度), 或者所得结果只能用于具体的模型(比如, 文献[40]用复分析的方法研究了多元高斯分布的可辨识性问题), 或者对模型施加了某些限定(比如, 文献[39]假定模型辨识函数的维数是有限的).所以, 对于任意的参数统计模型, 缺乏一个简便高效的解决办法.
2.2 参数受限(Parameter-constrained)模型的可辨识性准则
如果无约束参数模型不可辨识, 我们可以改变建模方式使得模型参数变得可辨识.通常有两种方式实现这一目的:第一种方式是在模型中加入先验知识[41-42], 使得模型在受限的参数空间中可辨识.第二种方式是对参数引入先验分布, 把参数学习置于Bayes统计框架[43-44].在一些特殊情形下, 这两种方式具有等价性[43-44].
在第一种方式中, 目前学界研究最普遍的情形是:假设模型参数满足一族等式约束, 从而把可容许参数空间限制在其低维流形.文献[34]研究了参数受限统计模型的可辨识性问题.文献[39]利用KL散度, 把参数受限模型的可辨识性问题等价于一个约束最优化(Constrained optimization)问题, 用最优化理论的观点研究了可辨识性问题.
参数约束研究中的难点是不再局限于"刚性(即严格满足)"约束条件, 而是寻求广义约束.以包容各种"柔性(松弛满足)"约束条件, 如语义(Semantic)约束、概率约束、非精确约束等.关于此类问题的可辨识性准则, 学界至今还缺乏系统性研究.
2.3 全局可辨识性准则
学界关于可辨识性准则研究的另一难点是全局可辨识问题.目前只有很少的几个结论, 主要是关于线性模型, 前馈型神经网络等简单模型或者具有特殊结构的模型.两个常用的方法是:估计量方法[45-46]和特征量(Characteristic)方法[34].但是, 如何寻找(或构造)满足条件的估计量或者特征量, 统计学界也没有得到一个通用的方法.根据文献[37], 我们可以利用KL散度, 把全局可辨识性问题等价地转化为全局最优化问题.然而, 除了凸优化(Convex optimization)[47]问题之外, 在非线性最优化理论中还没有关于全局最小值(即唯一极小值)的有效而普适的理论(很多理论结果都需要各种约束规范[38], 或者结果不具有实用性).
2.4 参数冗余
模型不可辨识的最主要原因之一是参数冗余(Parameter redundancy).如果模型能用更少的参数$\beta=\pmb{g}(\theta)$等价地表达, 则称模型是参数冗余的[48-50].否则, 称模型是满秩的.从几何上看, 如果模型是参数冗余的, 那么对任何训练数据集而言, 似然函数具有完全平坦的岭线[50] (这个结论也可以从Amari研究奇异模型学习动态轨迹的实验中得到验证[51]).
对模型参数冗余的研究是参数可辨识性问题研究的重点之一.在文献[50]中, Catchpole等证明了:在指数分布族中, 模型局部不可辨识和模型参数冗余是完全等价的.但是, 对于一般的参数模型, 二者是否等价仍然没有得到证明.文献[52]首次推导了Bayesian分类器和代价敏感学习中代价矩阵的独立参数定理.该定理不仅为代价敏感学习中参数冗余提出新的理论见解(即代价矩阵中最大独立参数个数), 也为以泛函形式表达的机器学习目标函数中独立参数个数推导提供了范例.在参数冗余研究中, 主要的瓶颈问题如下:
1) 参数冗余的判定准则.参数冗余的判定最终可以归结为求辨识函数导矩阵(Derivative matrix)的符号秩(Symbolic rank)问题[39].由于导矩阵的每个元素都是参数的函数, 从而导矩阵是一个泛函矩阵.但是, 如何在模型中提取辨识函数, 则需要具体情况具体分析.目前, 只能对若干常用模型(比如线性模型、指数族、滑动平均模型等)提取其辨识函数[53].如果模型通过非线性状态－空间方程或者更复杂的微分方程(尤其是偏微分方程)表示, 学界没有求解模型辨识函数的通用方法.而在生物、医学或工程领域, 模型的输入输出关系常常不是以参数统计分布的形式显式地给出, 而是以泛函形式、时间序列、微分方程、积分方程、差分方程或者混合形式隐式地给出, 这都大大增加了研究的复杂度.
2) 机器证明.参数冗余研究中的一个重要内容是机器证明的应用.当冗余判定定理存在时, 人们希望应用计算机来自动推断模型是否参数冗余, 而非人工推断.目前主要的方法有解析计算法、符号计算法和数值计算法三大类.解析计算法和数值计算法自身的缺点使得符号计算法成为最主要的方法.
在计算导矩阵符号秩的时候, 通常需要利用符号计算软件(比如Maple、Mathematica、Maxima)求解.从理论上说, 只要辨识函数是有限维的, 我们都可以写出其导矩阵.但是, 在模型的参数结构比较复杂或参数数量非常多的情况下, 由于计算机计算能力和内存的限制, 计算导矩阵符号秩的任务往往很难实现.比如在文献[54]中, 作者研究了一个线性分室(Compartmental)模型, 该模型仅仅只有11个参数, 但计算机不能求出其导矩阵的秩.这就说明, 导矩阵符号秩计算的复杂度依赖于模型的非线性程度(包括模型关于输入、输出变量的非线性程度, 以及模型关于参数的非线性程度), 参数维数等.根据文献, 到目前为止, 唯一可以"全自动"判断模型参数冗余的符号计算方法只有基于微分代数的DAISY (Differential algebra for identifiability of SYstems)软件[55], 但是该方法只能解多项式或者有理型, 不能适用于任意非线性模型.所以, 对于复杂的参数模型, 如何发展高效、自动的计算方法也是可辨识性研究中需要解决的问题.当符号计算无法胜任时, 数值计算可能是必须的.
3) 重参数化(Reparametrization).如果模型已经被判定为参数冗余的, 我们可以对模型进行重参数化(即:把原参数$\theta$的函数$\pmb{r}(\theta)$作为模型新的参数, 从而把模型表示为$\pmb{r}(\theta)$的函数) [39, 56].通过重参数化, 我们可以减少模型"内在参数"的个数, 得到模型最精简的参数表示.重参数化的过程可以通过求解一个和导矩阵相关的一阶线性偏微分方程组实现[39].
重参数化可以理解为参数空间更新问题, 这也是未来机器学习中必不可少的智能进化方面的研究内容.从已有的文献数量来看, 关于重参数化的研究相对比较缺乏, 主要集中在一些相对简单的模型[57].目前, 更多的研究停留在判定模型是否可以辨识或模型是否冗余的层面, 而没有进一步很好地解决参数约束或重参数化问题.
4) 各种可辨识性概念之间的联系.在可辨识性研究中, 由于理论自身和实际应用的推动, 各种新的观点、概念和模型层出不穷, 其中很重要的一点是理清各种已有概念之间的联系.虽然已有大量文献(比如文献[11, 58-59])对此问题做了深入的研究, 但是, 仍然有很多问题没有得到圆满的解决.在文献[50]中, Catchpole研究了参数冗余和非$\delta$-辨识的关系, 即:如果模型是参数冗余的, 则模型一定是非$\delta$-可辨识的.如果更深入地研究满秩(非冗余)模型, 我们可以把满秩模型划分为本性满秩(Essentially full rank)和条件满秩(Conditionally full rank)两类, 即:如果模型导矩阵在整个参数空间处处满秩, 我们称此模型为本性满秩的; 否则, 称为条件满秩的.在文献[50]中, Catchpole等证明了一个重要事实, 即:如果一个模型是本性满秩的, 则此模型是$\delta$-可辨识的. Catchpole进而提出猜想:如果模型是本性满秩的, 则该模型一定是全局可辨识的.此猜想还是一个公开问题.
3. 关键问题二:可辨识性研究对机器学习各个方面的影响
在经典统计理论中, 可辨识性是一个基本假设, 很多重要统计性质的推导都依赖于此假设.比如, 极大似然估计和Bayes后验分布的渐近正态性, Cramér-Rao不等式等[51].可辨识性研究和机器学习领域的很多主题也有密切的联系, 比如概率主成分分析[27]、隐因子模型[28]、变分Bayesian矩阵分解[60]、低秩矩阵完备化[61]等.然而, 在机器学习领域, 几乎所有的学习机都是奇异的.这种奇异性将对机器学习的很多方面产生深刻的影响, 比如参数学习、模型选择、学习算法、学习动态分析、Bayes推断等.因此, 我们需要一种全新的统计理论来研究这类奇异学习机.直到现在, 仍然还有很多艰深的理论问题没有得到完全地解决.在本节中, 我们主要讨论奇异性对机器学习各个方面的影响.
3.1 奇异统计模型参数空间的几何结构
根据Amari信息几何的观点, 通过模型的一阶近似, 正则(Regular, 即非奇异)统计模型参数空间的局部结构可以用其统计流形的切空间表示, 高阶近似可以根据信息几何中的仿射连接(Affine connection)和相关的e-曲线和m-曲线得到[18].但是, 奇异模型的统计流形在奇异点处没有切空间, 而只能通过切锥表示. Dacunha等[62]以统一的方式研究了奇异统计模型的局部结构, 在奇异模型中, 所有观测等价的参数以锥(Cone)的形式嵌入到正则流形中.关于此问题的文献甚至可以追溯到1976年Brockett关于线性系统的研究[63].
在机器学习领域, 学界对此也有大量研究, 比如, Amari等[51]通过研究层次神经网络, 发现该模型的参数等价类并不是孤立集合, 而是形成一个连续统(Continuum).这些结果从理论上揭示了奇异模型参数空间的几何结构, 也表明此类模型的参数空间比正则模型更加困难.文献[56]研究了奇异统计模型参数空间的几何结构.总之, 奇异模型的代数结构和几何结构需要更系统深入的理论研究.
3.2 参数估计
奇异性对参数估计的影响体现在以下几个方面.
1) 极大似然估计.根据Vapnik的观点, 在传统统计理论的框架中, 函数估计都是基于极大似然方法的, 极大似然方法是传统体系下的一个归纳引擎[64-65].比如参数估计的极大似然法, 模式识别的判别分析法和回归估计的最小二乘法都可以纳入这个框架.从另一角度看, 根据Amari的信息几何理论, 在正则统计理论中, 分布族的Fisher信息矩阵处处正定, 从而在参数流形(神经网络文献里被称为神经流形(Neuromanifold))上确定了一个Riemann度量, 我们可以根据这个度量所确定的拓扑结构, 研究参数空间的各种几何性质.
如果一个参数分布族非奇异, 则Fisher信息矩阵处处正定, 并且被广泛地用来度量样本包含的总体信息.比如, 似然函数可以用参数的二次型逼近, 极大似然估计是渐近有效估计量(Asymptotically efficient estimator), 以速度$o({1}/{n})$渐近收敛到正态随机变量(n为样本数量), 著名的Cramér-Rao不等式成立等[51].
但是, 在奇异统计模型中, Fisher信息矩阵并非处处正定, 从而导致一系列截然不同的性质.比如, 极大似然估计不再收敛到正态变量, 著名的Cramér-Rao不等式不再成立.再比如, 在正则模型中, 极大似然估计通过极大化似然函数得出; 然而, 在奇异模型中, 求解极大似然估计需要随机场理论.总之, 这些奇异性使得参数空间的几何结构更加复杂, 从而需要一种全新的理论来处理这个问题.
2) 大样本性质.通常情况下, 我们很难推导出有限样本条件下估计量精确的概率分布.然而, 借助于经典统计的标准工具(比如大数定律和中心极限定律), 我们可以得到估计量的大样本性质.其中, 很关键的性质是一致性(Consistency).在正则模型中, 一致性表明估计量几乎必然(Almost surely, a. s.)收敛到最优参数.然而, 在奇异模型中, 一致性表明估计量a. s.收敛到一个参数集合(该集合中的参数都能使误差函数达到极小)[66].这意味着, 在奇异模型中, 误差函数可以在参数空间的某些曲线上取恒定不变的值.这个结论和Amari的观察[51]同样也是吻合的.
大样本性质中另一个重要的问题是极限分布(Limiting distribution).在正则模型中, 估计量的极限分布是高斯分布.然而, 在奇异模型中, 估计量的极限分布属于极限混合高斯分布族(Limiting mixed Gaussian family)[66].另外, 在假设检验问题中, 奇异模型也体现了和正则模型完全不一样的性质[51].所以, 对奇异统计模型而言, 经典数理统计领域几乎所有的结果都需要重新认识.
3.3 模型选择
模型选择是机器学习中的一个重要问题.在模型选择方面, 目前没有一般的方法可以推荐, 通常根据可辨识性、灵活性、吝啬性等原则进行统筹兼顾.经常使用的模型选择准则是Akaike information criterion (AIC), Bayesian information criterion (BIC), Minimum description length (MDL)等. Hagiwara等[67]最先注意到, 在神经网络建模时, 如果使用AIC作为模型选择标准, 其结果并不理想.后来, Hagiwara注意到这是由于神经网络模型的奇异性导致的.从而, 文献[68]提出了网络信息准则(Network information criterion, NIC), 由于NIC考虑到了奇异性的影响, 其理论和数值实验的结果都明显好于AIC.只是NIC的基本思想类似Vapnik的结构风险极小化归纳原则[64-65], 需要构造一个嵌套的函数集合, 从而实现起来很困难.
从奇异统计的角度来看, 因为AIC旨在极小化模型的泛化误差[69], 而在奇异模型中, 泛化误差较正则模型具有更复杂的性质.在奇异模型中, BIC、MDL的缺陷和AIC类似.另外, 在Bayes模型比较方面, 模型的奇异性也是一个必须要考虑的因素[44].所以, 如何在奇异模型中设计好的模型选择标准, 是机器学习领域的一个重要而困难的问题.
3.4 学习算法
随着学习模型中参数维数和非线性程度的急剧增加, 学习过程中的计算资源开销也越来越大.为了加快参数的学习过程, 与奇异性有关的学习算法问题也成了一个热点.学界很早就注意到, 多层感知器网络中的后向传播(Back propagation, BP)算法收敛速度非常慢.为了加快BP算法的收敛速度, 很多学者相继提出了大量的方法, 典型的方法有Duda等提出自适应步长和动量方法等[70], 但是这些方法本质上都是基于梯度下降的一阶算法, 所以无法从根本上克服平台现象(Plateau phenomenon).各种二阶方法, 比如牛顿法、共轭梯度法和拟牛顿法虽然利用了参数空间的曲率信息, 但这些算法计算开销极大, 只具备局部收敛性, 而且绝大部分算法只适合批量方式, 不适合大规模数据或在线学习的场景. Amari注意到导致此平台现象(或慢流形)的主要原因是模型的奇异性.为克服慢收敛现象, Amari提出自然梯度下降(Natural gradient descent)算法[71], 该算法考虑到了参数空间的流形结构, 从而获得了更快的收敛速度.文献[73]研究了自然梯度下降算法的计算复杂性问题.文献[73-74]研究了自然梯度下降算法的统计物理机理.然而, 由于自然梯度下降算法(包括其自适应形式[71])本身的复杂度也很高, 所以, 在奇异模型中, 期待有更高效(至少二阶收敛速度)的算法出现.
3.5 学习过程的动态轨迹分析
学习过程的动态轨迹分析对研究模型的奇异性有重要的意义.在奇异模型中, 由于参数不可辨识, 使得所有观测等价的参数具有同样的误差函数, 从而误差曲面在很多地方是平坦的(图 5), 正是这个原因使得学习过程非常缓慢, 并导致两个严重后果: 1) 学习过程非常缓慢, 通常学习轨迹会在平坦的低维流形上逗留很长时间, 随着训练数据中的随机噪声影响, 才可能继续下降[71]. 2) 最终结果陷入局部极小值.
从理论分析的角度看, 在奇异模型中, 批(Batch)学习方式会平滑掉训练数据中的随机噪声, 使得学习过程容易陷入平坦的低维流形和局部极小点, 而Online学习方式会使学习过程的动态轨迹更容易从平坦区域中逃离.因此, Online学习方式更适合奇异模型.为了揭示参数空间的学习轨迹, 文献[71, 75-76]分别研究了多层感知器网络、径向基函数网络和高斯混合模型中参数学习的动态过程, 并分析了参数空间中学习过程的动态向量场.然而, 对一般奇异模型中参数学习过程的动态轨迹分析, 则没有一个普适的结果.
3.6 泛化误差
迄今为止, 关于泛化误差的计算仍然是基于Cramér-Rao范例的.而在奇异统计模型中, 泛化误差的计算需要新的方法(需要奇异模型中对数似然比的特殊性质).人们很早就认识到在高斯混合模型中, 对数似然比呈现奇异的性质[77], 这主要是因为奇异统计模型对数似然比的性质与正则情况截然不同.在神经网络领域, Fukumizu[78]首先通过一个简单的线性模型揭示了多层感知器的泛化误差和一般正则模型的泛化误差明显不同, 进而利用高斯随机场理论得到多层感知器模型的对数似然比的渐近性质和泛化误差的准确结果.
目前, 学界所得到的结果非常有限[23, 79], 多数都是针对特殊模型来研究.至于一般奇异模型的通用结果, 还需要学界更加深入地研究.
3.7 Bayes推断
对于参数的学习, 如果我们不使用极大似然方法, 而改用Bayes学习方法, 那么, 由于Bayes方法引入了先验知识, 在很多场合会使过拟合问题得到大大的缓解, 显示卓越的泛化性能.但是在奇异学习机中, 我们将不可避免地遇到理论上的困难. Watanabe最先注意到在奇异统计模型中使用Bayes推理的理论问题[23], 比如, 如果我们使用的先验知识是"无信息先验(Non-informative prior)", 则光滑的先验密度在由奇异点构成的等价类上是无穷大, 这使得模型的后验分布将对奇异点有所偏好, 这又违背了"无信息先验"的原则, 这显然不合常理.另外, 在奇异模型中, Bayes后验分布也不再渐近地收敛于正态分布.
Watanabe最先研究了奇异性对Bayes推断的影响.通过利用Hironaka奇异性分解定理和Sato公式, Watanabe将代数几何和代数分析的工具引入奇异机器学习理论, 以此来研究各种层次奇异学习机中Bayes预测分布的渐近性能, 并得出了一系列结果, 部分结果总结在其专著[23]和网站http://watanabe-www.math.dis.titech.ac. jp/users/swatanab/singstat-intro.html.其主要理论结果可以总结为4个方面:对数似然比函数的标准型、随机复杂度的收敛问题、Bayes估计中的两个方程以及训练误差和泛化误差的对称关系[23].关于奇异性对学习理论各个方面的影响, 应该成为机器学习中的重要基础知识, 并有待理论研究上的突破.
4. 结论
本文试图说明参数可辨识性研究是统计机器学习中的基础理论内容, 并给出其中的两个关键问题.文献[80]主要讨论了统计框架下两个关键问题的技术解决, 本文则侧重研究框架的选择, 并将可辨识性问题纳入此框架下进行讨论, 期望加深对深度学习以及人工智能在方法论发展前景下的问题认知.同时, 我们也试图说明参数可辨识性研究的大背景是人类对生物智能与机器智能的深刻认知与理解.由于生物智能本质是非透明的, 我们必须借助机器智能仿真揭示生物智能的内在机理.这也表明机器智能不是简单地复制生物智能功能, 而是可以超越现有生物智能的知识与众多功能.目前深度学习网络在若干大数据应用中取得了卓越成功, 包括超出人类平均水平的模式识别精度[81].但是, 当下深度学习网络仍然属于黑箱模型范畴, 并缺乏理论解释的支撑.在文献[82]中, 作者指出:无论是基于"工具论(追求效率或预测)"或"认知论(追求解释或理解)"为导向的研究, 以人工神经元网络为代表的数据驱动模型必然要走向包容"增加模型透明度(或可理解性)"的学习目标.回到本文图 2中示意的机器学习模型, 在给定的参数集里, 哪些参数是可辨识的, 哪些参数是不可辨识的？对于不同的奇异机器学习模型, 它们各自的参数空间几何结构有何不同？这些问题都会指向参数可辨识性的研究内容.这些研究会带来对模型自身物理意义的解释, 以及对输入输出响应关系的解释, 它是导致我们对学习机器持续完善以及对人工智能深刻认知的必然路径.
因此, 本文侧重于从参数可辨识性研究角度为机器学习理论和实践带来新的研究视角, 希望能够引起不同学科领域中研究者的进一步思考和质疑.我们认为今后对各个层面问题给出完整而严谨的数学表达定义是必不可少的内容和挑战, 更大的挑战是如何将控制科学中的重要概念结合到其他学科领域研究中.比如, 在金融、经济、教育、社会发展中, 某些自变量的设定(如存贷款基准利率)或公共政策的调整(如发展指标)可以借鉴控制科学中提出的"调节"、"反馈"、"可控性"、"可观性"以及"平行管理与控制[83]"的概念而开展研究.对于这些典型的复杂巨系统[84-87]问题(它们的演变机理在本质上同样不透明, 并与智能及非智能人类行为相关), 知识与数据共同驱动的建模思想及其参数可辨识性研究会对深度学习、人工智能以及其他学科发展产生独到的贡献.
-
图 2 航天器控制系统可重构性的研究内容
Fig. 2 Research contents of reconfigurability of spacecraft control system
表 1 可靠性与可重构性的对比分析
Table 1 The comparative analysis of reliability and reconfigurability
可靠性 可重构性 研究范畴 系统运行质量特性 研究对象 统计特性 功能特性 研究目的 预防故障 处理故障 优化手段 提高冗余量 优化冗余分配 时间维度 $\surd$ 空间维度 2(逻辑关系) 3(空间构型) 限制因素 生产因素
(成本/重量/工艺)性能因素
(资源/时间/输出)
下载: 导出CSV
表 2 控制可重构性评价方法对比
Table 2 Comparison of different control reconfigurability evaluation methods
思路 优点 不足 基于系统
固有特性基于一般控制理论, 通用
性强, 物理意义明确未考虑实际限制约束 基于系统
性能约束考虑各项性能约束, 更具
工程实际意义各项约束综合方
法尚无统一标准基于系统
功能要求可用于大型复杂系统 运算量大、模型
复杂, 依靠经验
下载: 导出CSV
-
[1] 李文博, 王大轶, 刘成瑞.动态系统实际故障可诊断性的量化评价研究.自动化学报, 2014, 41(3):497-507 http://www.aas.net.cn/CN/abstract/abstract18628.shtmlLi Wen-Bo, Wang Da-Yi, Liu Cheng-Rui. Quantitative evaluation of actual fault diagnosability for dynamic systems. Acta Automatica Sinica, 2014, 41(3):497-507 http://www.aas.net.cn/CN/abstract/abstract18628.shtml [2] 段文杰, 王大轶, 刘成瑞.卫星控制系统离散积分滑模容错控制.控制理论与应用, 2015, 32(2):133-141 http://www.cnki.com.cn/Article/CJFDTOTAL-KZLY201502001.htmDuan Wen-Jie, Wang Da-Yi, Liu Cheng-Rui. Discrete-time integral sliding-mode fault-tolerant controller for satellite control system. Control Theory and Applications, 2015, 32(2):133-141 http://www.cnki.com.cn/Article/CJFDTOTAL-KZLY201502001.htm [3] Yin S, Xiao B, Ding S X, Zhou D H. A review on recent development of spacecraft attitude fault tolerant control system. IEEE Transactions on Industrial Electronics, 2016, 63(5):3311-3320 doi: 10.1109/TIE.2016.2530789 [4] Frei C W, Kraus F J, Blanket M. Recoverability viewed as a system property. In:Proceedings of the 1999 European Control Conference (ECC). Karlsruhe, Germany:IEEE, 1999. 2197-2202 [5] Wu N E, Zhou K M, Salomon G. Control reconfigurability of linear time-invariant systems. Automatica, 2000, 36(11):1767-1771 doi: 10.1016/S0005-1098(00)00080-7 [6] 何国伟.中国航天工程可靠性理论研究成果综述.系统工程与电子技术, 1991, (1):1-20 http://www.cnki.com.cn/Article/CJFDTOTAL-XTYD199101000.htmHe Guo-Wei. Progress in theoretical research on reliability for China's space engineering. Systems Engineering and Electronics, 1991, (1):1-20 http://www.cnki.com.cn/Article/CJFDTOTAL-XTYD199101000.htm [7] Goble W M. Control System Safety Evaluation and Reliability (2nd edition). North Carolina:Instrument Society of America, 1998. [8] Iagnemma K D, Rzepniewski A, Dubowsky S, Pirjanian P, Huntsberger T L, Schenker P S. Mobile robot kinematic reconfigurability for rough terrain. In:Proceedings of the SPIE 4196, Sensor Fusion and Decentralized Control in Robotic Systems Ⅲ. Boston, MA, USA:SPIE, 2000, 4196:413-420 [9] Lee G H. Reconfigurability consideration design of components and manufacturing systems. The International Journal of Advanced Manufacturing Technology, 1997, 13(5):376-386 doi: 10.1007/BF01178258 [10] Demestichas P, Vivier G, El-Khazen K, Theologou M. Evolution in wireless systems management concepts:from composite radio environments to reconfigurability. IEEE Communications Magazine, 2004, 42(5):90-98 doi: 10.1109/MCOM.2004.1299348 [11] Chaturvedi N A, McClamroch N H. Almost global attitude stabilization of an orbiting satellite including gravity gradient and control saturation effects. In:Proceedings of the 2006 American Control Conference. Minneapolis, MN, USA:IEEE, 2006. [12] Lim Y H, Ahn H S. Relative position keeping in satellite formation flying with input saturation. Journal of the Franklin Institute, 2014, 351(2):1112-1129 doi: 10.1016/j.jfranklin.2013.10.016 [13] 胡庆雷, 姜博严, 石忠.基于新型终端滑模的航天器执行器故障容错姿态控制.航空学报, 2014, 35(1):249-258 http://www.cnki.com.cn/Article/CJFDTOTAL-HKXB201401026.htmHu Qing-Lei, Jiang Bo-Yan, Shi Zhong. Novel terminal sliding mode based fault tolerant attitude control for spacecraft under actuator faults. Acta Aeronautica et Astronautica Sinica, 2014, 35(1):249-258 http://www.cnki.com.cn/Article/CJFDTOTAL-HKXB201401026.htm [14] 岳新成, 杨莹, 耿志勇.有限推力能量、燃料最优轨道转移控制.南京航空航天大学学报, 2009, 41(6):715-719 http://youxian.cnki.com.cn/yxdetail.aspx?filename=HEBX20171013002&dbname=CAPJ2015Yue Xin-Cheng, Yang Ying, Geng Zhi-Yong. Optimal control for minimizing energy or fuel in finite-thrust orbit transfer. Journal of Nanjing University of Aeronautics and Astronautics, 2009, 41(6):715-719 http://youxian.cnki.com.cn/yxdetail.aspx?filename=HEBX20171013002&dbname=CAPJ2015 [15] Zhang Y M, Jiang J. Issues on integration of fault diagnosis and reconfigurable control in active fault-tolerant control systems. IFAC Proceedings Volumes, 2006, 39(13):1437-1448 doi: 10.3182/20060829-4-CN-2909.00240 [16] Hamdaoui R, Abdelkrim M N. Conditions on diagnosis and accommodation delays for actuator fault recoverability. In:Proceedings of the 8th International Multi-Conference on Systems, Signals, and Devices (SSD). Sousse, Tunisia:IEEE, 2011. 1-6 [17] 蔡远文, 申功勋, 于小红.服务型航天器在轨机动窗口.北京航空航天大学学报, 2010, 36(6):663-666, 675 http://www.cnki.com.cn/Article/CJFDTOTAL-BJHK201006009.htmCai Yuan-Wen, Shen Gong-Xun, Yu Xiao-Hong. On orbital maneuver window for servicing spacecraft. Journal of Beijing University of Aeronautics and Astronautics, 2010, 36(6):663-666, 675 http://www.cnki.com.cn/Article/CJFDTOTAL-BJHK201006009.htm [18] Zhou J K, Hu Q L, Friswell M I. Decentralized finite time attitude synchronization control of satellite formation flying. Journal of Guidance, Control, and Dynamics, 2013, 36(1):185-195 doi: 10.2514/1.56740 [19] Hu Q L, Li B, Zhang A H. Robust finite-time control allocation in spacecraft attitude stabilization under actuator misalignment. Nonlinear Dynamics, 2013, 73(1-2):53-71 doi: 10.1007/s11071-013-0766-2 [20] Staroswiecki M. On reconfigurability with respect to actuator failures. In:Proceedings of the 15th Triennial World Congress. Barcelona, Spanish:IFAC, 2002. 775-780 [21] Du G X, Quan Q, Yang B X, Cai K Y. Controllability analysis for multirotor helicopter rotor degradation and failure. Journal of Guidance, Control, and Dynamics, 2015, 38(5):978-985 doi: 10.2514/1.G000731 [22] Xiao B, Hu Q L, Shi P. Attitude stabilization of spacecrafts under actuator saturation and partial loss of control effectiveness. IEEE Transactions on Control Systems Technology, 2013, 21(6):2251-2263 doi: 10.1109/TCST.2012.2236327 [23] 康宁. 航天测控优化调度模型及其拉格朗日松弛求解算法[博士学位论文], 国防科学技术大学, 中国, 2011. http://cdmd.cnki.com.cn/Article/CDMD-90002-1012020935.htmKang Ning. Optimal Scheduling Model of Space TT & C System and Its Lagrangean Relaxation Solution Algorithms[Ph. D. dissertation], National University of Defense Technology, China, 2011. http://cdmd.cnki.com.cn/Article/CDMD-90002-1012020935.htm [24] 霍星, 胡庆雷, 肖冰, 马广富.带有饱和受限的挠性卫星变结构姿态容错控制.控制理论与应用, 2011, 28(9):1063-1068 http://www.cnki.com.cn/Article/CJFDTOTAL-KZLY201109004.htmHuo Xing, Hu Qing-Lei, Xiao Bing, Ma Guang-Fu. Variable-structure fault-tolerant attitude control for flexible satellite with input saturation. Control Theory and Applications, 2011, 28(9):1063-1068 http://www.cnki.com.cn/Article/CJFDTOTAL-KZLY201109004.htm [25] Godard G, Kumar K D. Fault tolerant reconfigurable satellite formations using adaptive variable structure techniques. Journal of Guidance, Control, and Dynamics, 2010, 33(3):969-984 doi: 10.2514/1.38580 [26] Alwi H, Edwards C. Fault tolerant control using sliding modes with on-line control allocation. Automatica, 2008, 44(7):1859-1866 doi: 10.1016/j.automatica.2007.10.034 [27] 关守平, 杨飞生.面向重构目标的控制系统可重构性.信息与控制, 2010, 39(4):391-396 http://youxian.cnki.com.cn/yxdetail.aspx?filename=JSJJ2017092200H&dbname=CAPJ2015Guan Shou-Ping, Yang Fei-Sheng. Reconfiguration-goaloriented control system reconfigurability. Information and Control, 2010, 39(4):391-396 http://youxian.cnki.com.cn/yxdetail.aspx?filename=JSJJ2017092200H&dbname=CAPJ2015 [28] Sebek M, Bisiacco M, Fornasini E. Controllability and reconstructibility conditions for 2-D systems. IEEE Transactions on Automatic Control, 1988, 33(5):496-499 doi: 10.1109/9.1237 [29] Kaczorek T. Local controllability, reachability, and reconstructability of the general singular model of 2D systems. IEEE Transactions on Automatic Control, 1992, 37(10):1527-1530 doi: 10.1109/9.256375 [30] Gehin A L, Staroswiecki M. Reconfiguration analysis using generic component models. IEEE Transactions on Systems, Man, and Cybernetics, Part A:Systems and Humans, 2008, 38(3):575-583 doi: 10.1109/TSMCA.2008.918608 [31] 曾声奎, 赵廷弟, 张建国, 康锐.系统可靠性设计分析教程.北京:北京航空航天大学出版社, 2001.Zeng Sheng-Kui, Zhao Ting-Di, Zhang Jian-Guo, Kang Rui. Design and Analysis of System Reliability. Beijing:Beijing University of Aeronautics and Astronautics Press, 2001. [32] Vey D, Lunze J. Structural reconfigurability analysis of multirotor UAVs after actuator failures. In:Proceedings of the 54th Annual Conference on Decision and Control (CDC). Osaka, Japan:IEEE, 2015. 5097-5104 [33] Xu H Y, Wang D Y, Li W B. A reconfigurability evaluation method for satellite control system. Proceedings of the 2015 Chinese Intelligent Systems Conference. Berlin, Heidelberg:Springer, 2016. [34] 杜光勋, 全权.输入受限系统的可控度及其在飞行控制中的应用.系统科学与数学, 2014, 34(12):1578-1594 http://www.cnki.com.cn/Article/CJFDTOTAL-STYS201412015.htmDu Guang-Xun, Quan Quan. Degree of controllability and ITS application in aircraft flight control. Journal of Systems Science and Mathematical Sciences, 2014, 34(12):1578-1594 http://www.cnki.com.cn/Article/CJFDTOTAL-STYS201412015.htm [35] Kalman R E, Ho Y C, Narendra K S. Controllability of linear dynamical systems. Contributions to Differential Equations, 1962, 37(3):189-213 http://wydawnictwa.ptm.org.pl/index.php/matematyka-stosowana/article/view/1502/1427 [36] Johnson C D. Optimization of a certain quality of complete controllability and observability for linear dynamical systems. Journal of Basic Engineering, 1969, 91(2):228-237 doi: 10.1115/1.3571074 [37] Müller P C, Weber H I. Analysis and optimization of certain qualities of controllability and observability for linear dynamical systems. Automatica, 1972, 8(3):237-246 doi: 10.1016/0005-1098(72)90044-1 [38] 张明涛, 安锦文.控制面故障下的飞机运动建模与重构控制能力分析及设计.信息与控制, 2010, 39(5):588-595 http://www.cnki.com.cn/Article/CJFDTOTAL-XXYK201005016.htmZhang Ming-Tao, An Jin-Wen. Aircraft movement modelling under control surface failure and analysis and design of reconfigurable flight control. Information and Control, 2010, 39(5):588-595 http://www.cnki.com.cn/Article/CJFDTOTAL-XXYK201005016.htm [39] Moore B C. Principal component analysis in linear systems:controllability, observability, and model reduction. IEEE Transactions on Automatic Control, 1981, 26(1):17 -32 doi: 10.1109/TAC.1981.1102568 [40] Zhou K, Salomon G, Wu N E. Balanced realization and model reduction for unstable systems. International Journal of Robust and Nonlinear Control, 1999, 9(3):183-198 doi: 10.1002/(ISSN)1099-1239 [41] Huang J Z, Wu N E. Fault-tolerant placement of phasor measurement units based on control reconfigurability. Control Engineering Practice, 2013, 21(1):1-11 doi: 10.1016/j.conengprac.2012.09.001 [42] Huang J Z, Wu N E. Fault-tolerant sensor placement based on control reconfigurability. IFAC Proceedings Volumes, 2011, 44(1):14814-14819 doi: 10.3182/20110828-6-IT-1002.01748 [43] Qin Q, Wu N E. Control reconfigurability-based placement strategy for FACTS devices. In:Proceedings of the 2013 American Control Conference. Washington DC, USA:IEEE, 2013. 5056-5061 [44] Shaker H R. Frequency-interval control reconfigurability for automated processes. Natural Hazards, 2014, 72(2):1021-1027 doi: 10.1007/s11069-014-1050-6 [45] González-Contreras B M, Theilliol D, Sauter D. On-line reconfigurability evaluation for actuator faults using input/output data. IFAC Proceedings Volumes, 2009, 42(8):674-679 doi: 10.3182/20090630-4-ES-2003.00112 [46] González-Contreras B M, Checa N D, Aguilar M A C, Michcol B C, Lopez P E M. Using a realization technique for system reconfigurability evaluation:simulation application on a DC motor. In:Proceedings of the 2011 IEEE Electronics, Robotics, and Automotive Mechanics Conference (CERMA). Cuernavaca, Morelos, Mexico:IEEE, 2011. 277-282 [47] Hadman A M A, Nayfeh A H. Measures of modal controllability and observability for first-and second-order linear systems. Journal of Guidance, Control, and Dynamics, 1989, 12(3):421-428 doi: 10.2514/3.20424 [48] 郑大钟.线性控制理论.北京:清华大学出版社, 2002.Zheng Da-Zhong. Linear System Theory. Beijing:Tsinghua University Press, 2002. [49] Viswanathan C N, Longman R W, Likins P W. A definition of the degree of controllability-a criterion for actuator placement. In:Proceedings of the 2nd Symposium on Dynamics and Control of Large Flexible Spacecraft. Blacksburg, VA, USA:NASA, 1979. 369-381 [50] Lindberg Jr R, Longman R. Optimization of actuator placement via degree of controllability criteria including spillover considerations. In:Proceedings of the 1982 AIAA/AAS Astrodynamics Conference, Guidance, Navigation, and Control and Co-located Conferences. San Diego, CA, USA:AIAA, 1982. 82-1435 [51] Viswanathan C N, Longman R W. The determination of the degree of controllability for dynamic systems with repeated eigenvalues. Engineering Science and Mechanics, 1983, 1091-1111 doi: 10.1007/978-1-4757-1895-9_21 [52] Schmitendorf W E. An exact expression for computing the degree of controllability. Journal of Guidance, Control, and Dynamics, 1984, 7(4):502-504 doi: 10.2514/3.19886 [53] 张平, 陈宗基.非线性飞控系统的控制可重构性.飞机设计, 2001, (3):12-15, 21 http://www.cnki.com.cn/Article/CJFDTOTAL-FJSJ200103002.htmZhang Ping, Chen Zong-Ji. Control reconfiguration of nonlinear flight control systems. Aircraft Design, 2001, (3):12 -15, 21 http://www.cnki.com.cn/Article/CJFDTOTAL-FJSJ200103002.htm [54] Yang Z Y. Reconfigurability analysis for a class of linear hybrid systems. In:Proceedings of the 6th IFAC Symposium on Fault Detection, Supervision, and Safety of Technical Processes. Beijing, China:IFAC, 2006. 974-979 [55] Yang H, Jiang B, Marcel S. On fault recoverability of a class of switched systems. In:Proceedings of the 29th Chinese Control Conference (CCC). Beijing, China:IEEE, 2010. 4052-4056 [56] Yang H, Jiang B, Staroswiecki M. Fault recoverability analysis of switched systems. International Journal of Systems Science, 2012, 43(3):535-542 doi: 10.1080/00207721.2010.517861 [57] Ren W J, Yang H, Jiang B, Staroswiecki M. Fault recoverability analysis of switched nonlinear systems. International Journal of Systems Science, 2017, 48(3):471-484 doi: 10.1080/00207721.2016.1186246 [58] Jiang Z P, Wang Y. A generalization of the nonlinear smallgain theorem for large-scale complex systems. In:Proceedings of the 7th World Congress on Intelligent Control and Automation. Chongqing, China:IEEE, 2008. 1188-1193 [59] Liu T F, Hill D J, Jiang Z P. Lyapunov formulation of ISS cyclic-small-gain in continuous-time dynamical networks. Automatica, 2011, 47(9):2088-2093 doi: 10.1016/j.automatica.2011.06.018 [60] Yang H, Jiang B, Staroswiecki M, Zhang Y M. Fault recoverability and fault tolerant control for a class of interconnected nonlinear systems. Automatica, 2015, 54:49-55 doi: 10.1016/j.automatica.2015.01.037 [61] Tabatabaeipour S M, Gholami M, Bak T. Reconfigurability of piecewise affine systems against actuator faults. In:Proceedings of the 18th IFAC World Congress. Milano, Italy:IFAC, 2011. 4672-4677 [62] Richter J H, Heemels W P M H, van de Wouw N, Lunze J. Reconfigurable control of piecewise affine systems with actuator and sensor faults:stability and tracking. Automatica, 2011, 47(4):678-691 doi: 10.1016/j.automatica.2011.01.048 [63] Yang Z, Hua S, Qiu H Z, Liu C R. Control reconfigurability of nonlinear system based on control redundancy. In:Proceedings of the 10th IEEE International Conference on Industrial Informatics (INDIN). Beijing, China:IEEE, 2012. 815-820 [64] Shaker H R. Control reconfigurability of bilinear systems. Journal of Mechanical Science and Technology, 2013, 27(4):1117-1123 doi: 10.1007/s12206-013-0216-6 [65] Shaker H R, Tahavori M. Control reconfigurability of bilinear hydraulic drive systems. In:Proceedings of the 2011 International Conference on Fluid Power and Mechatronics (FPM). Beijing, China:IEEE, 2011. 477-480 [66] Shaker H R, Shaker F. Control configuration selection for linear stochastic systems. Journal of Process Control, 2014, 24(1):146-151 doi: 10.1016/j.jprocont.2013.11.008 [67] Shaker H R. Fault recoverability analysis via crossGramian. Mechatronics and Robotics Engineering for Advanced and Intelligent Manufacturing. Berlin:Springer, 2017. 377-386 [68] Shaker H R. Generalized cross-Gramian for linear systems. In:Proceedings of the 7th IEEE Conference on Industrial Electronics and Applications (ICIEA). Singapore, Singapore:IEEE, 2012. 749-751 [69] Cheng Y H, Jiang B, Ma Y J, Qi H M, Liu C R. Reconfiguration analysis for satellite attitude control system with double faults. In:Proceedings of the 10th IEEE International Conference on Control and Automation (ICCA). Hangzhou, China:IEEE, 2013. 83-88 [70] 樊雯, 程月华, 姜斌, 刘文静.卫星姿态控制系统的可重构性分析.宇航学报, 2014, 35(2):185-191 http://www.cnki.com.cn/Article/CJFDTOTAL-YHXB201402010.htmFan Wen, Cheng Yue-Hua, Jiang Bin, Liu Wen-Jing. Reconfigurability analysis for satellite attitude control systems. Journal of Astronautics, 2014, 35(2):185-191 http://www.cnki.com.cn/Article/CJFDTOTAL-YHXB201402010.htm [71] 徐赫屿, 王大轶, 李文博.卫星姿态控制系统的可重构性量化评价方法研究.航天控制, 2016, 34(4):29-35 http://www.cnki.com.cn/Article/CJFDTOTAL-HTKZ201604005.htmXu He-Yu, Wang Da-Yi, Li Wen-Bo. A reconfigurability evaluation method for satellite control system based on Gramian Matrix. Aerospace Control, 2016, 34(4):29-35 http://www.cnki.com.cn/Article/CJFDTOTAL-HTKZ201604005.htm [72] Yang H, Jiang B, Gong H. Fault recoverability of switched systems with application to longitudinal flight process. In:Proceedings of the 2010 AIAA Guidance, Navigation, and Control Conference. Toronto, Canada:AIAA, 2010. [73] Brammer R F. Controllability in linear autonomous systems with positive controllers. SIAM Journal on Control, 1972, 10(2):339-353 doi: 10.1137/0310026 [74] Hoblos G, Staroswiecki M, Aitouche A. Fault tolerance with respect to actuator failures in LTI system. In:Proceedings of the 2000 Fault Detection, Supervision, and Safety for Technical Processes of the 4th IFAC Symposium. Budapest, Hungary:IFAC, 2000. [75] Staroswiecki M, Cazaurang F. Fault recovery by nominal trajectory tracking. In:Proceedings of the 2008 American Control Conference. Seattle, WA, USA:IEEE, 2008. 1070-1075 [76] Hamdaoui R, Abdelkrim M N. Timely actuator fault diagnosis and accommodation. In:Proceedings of the 10th International Multi-Conference on Systems, Signals and Devices (SSD). Hammamet, Tunisia:IEEE, 2013. 1-8 [77] 胡志坤, 孙岩, 姜斌, 何静, 张昌凡.一种基于最优未知输入观测器的故障诊断方法.自动化学报, 2013, 39(8):1225-1230 http://www.aas.net.cn/CN/abstract/abstract18153.shtmlHu Zhi-Kun, Sun Yan, Jiang Bin, He Jing, Zhang ChangFan. An optimal unknown input observer based fault diagnosis method. Acta Automatica Sinica, 2013, 39(8):1225 -1230 http://www.aas.net.cn/CN/abstract/abstract18153.shtml [78] Khelassi A, Theilliol D, Weber P. On reconfigurability for actuator faults under reliability constraints. IFAC Proceedings Volumes, 2009, 42(23):106-111 doi: 10.3182/20091014-3-CL-4011.00020 [79] Khelassi A, Theilliol D, Weber P. Reconfigurability analysis for reliable fault-tolerant control design. International Journal of Applied Mathematics and Computer Science, 2011, 21(3):431-439 https://mathscinet.ams.org/mathscinet-getitem?mr=2883887 [80] Blanke M, Kinnaert M, Lunze J, Staroswiecki M. Diagnosis and Fault-Tolerant Control. Berlin Heidelberg:Springer, 2016. 343-387 [81] Ren W J, Yang H, Jiang B. Fault recoverability analysis of nonlinear systems:a piecewise affine system approach. In:Proceedings of the 27th Chinese Control and Decision Conference (CCDC). Qingdao, China:CCDC, 2015. 1682 -1687 [82] 胡宇桑, 王大轶, 刘成瑞.基于能耗与可靠性约束的动量轮可重构性评价.中国空间科学技术, 2014, 34(5):10-17 doi: 10.3780/j.issn.1000-758X.2014.05.002Hu Yu-Sang, Wang Da-Yi, Liu Cheng-Rui. Reconfigurability evaluation of momentum wheel control system under energy and reliability constraints. Chinese Space Science and Technology, 2014, 34(5):10-17 doi: 10.3780/j.issn.1000-758X.2014.05.002 [83] Liu C R, Wang D Y. Reconfigurability design for spacecraft control system based on reliability constraint. In:Proceedings of the 33rd Chinese Control Conference (CCC). Nanjing, China:IEEE, 2014. 3328-3333 [84] 胡宇桑, 王大轶, 刘成瑞.卫星姿控系统可重构性综合评价方法研究.宇航学报, 2015, 36(5):549-556 http://www.cnki.com.cn/Article/CJFDTOTAL-YHXB201505011.htmHu Yu-Sang, Wang Da-Yi, Liu Cheng-Rui. Reconfigurability comprehensive evaluation for satellite attitude control system. Journal of Astronautics, 2015, 36(5):549-556 http://www.cnki.com.cn/Article/CJFDTOTAL-YHXB201505011.htm [85] Wu N E, Busch T. Operational reconfigurability in command and control. In:Proceedings of the 2004 American Control Conference. Boston, MA, USA:IEEE, 2004, 5:4426-4431 [86] Gehin A L, Staroswiecki M. A formal approach to reconfigurability analysis application to the three tank benchmark. In:Proceedings of the 1999 European Control Conference (ECC). Karlsruhe, USA:IEEE, 1999. 4041-4046 [87] Izadi-Zamanabadi R, Staroswiecki M. A structural analysis method formulation for fault-tolerant control system design. In:Proceedings of the 39th IEEE Conference on Decision and Control. Sydney, NSW, Australia:IEEE, 2000, 5:4901-4902 [88] Staroswiecki M. Observability and the design of fault tolerant estimation using structural analysis. Advances in Control Theory and Applications. Berlin Heidelberg:Springer, 2007. 257-278 [89] 段文杰, 王大轶, 刘成瑞.一种线性系统可重构控制分析方法.自动化学报, 2014, 40(12):2726-2736 http://www.aas.net.cn/CN/abstract/abstract18552.shtmlDuan Wen-Jie, Wang Da-Yi, Liu Cheng-Rui. An analysis method for reconfigurable control of linear systems. Acta Automatica Sinica, 2014, 40(12):2726-2736 http://www.aas.net.cn/CN/abstract/abstract18552.shtml [90] Gehin A L, Hu H X, Bayart M. A self-updating model for analysing system reconfigurability. Engineering Applications of Artificial Intelligence, 2012, 25(1):20-30 doi: 10.1016/j.engappai.2011.08.001 [91] Loureiro R, Merzouki R, Bouamama B O. Bond graph model based on structural diagnosability and recoverability analysis:application to intelligent autonomous vehicles. IEEE Transactions on Vehicular Technology, 2012, 61(3):986-997 doi: 10.1109/TVT.2012.2186472 [92] Loureiro R, Merzouki R. Structural reconfiguration conditions based on bond graph approach:application to an intelligent autonomous vehicle. In:Proceedings of the 8th IFAC Symposlum on Fault Detection, Supervision, and Safety of Technical Processes. Mexico City, Mexico, Spain:IFAC, 2012. 970-975 [93] Staroswiecki M. On reconfiguration-based fault tolerance. In:Proceedings of the 18th Mediterranean Conference on Control and Automation (MED). Marrakech, Morocco:IEEE, 2010. 1681-1691 [94] Abdesselam I, Haffaf H. Hypergraph reconfigurability analysis. IERI Procedia, 2014, 6(6):22-32 https://core.ac.uk/download/pdf/82370228.pdf [95] Qi H M, Cheng Y H, Jiang B, Ma Y J, Liu C R. Reconfigurability analysis for redundant momentums control systems with single fault. In:Proceedings of the 25th Chinese Control and Decision Conference (CCDC). Guiyang, China:IEEE, 2013. 4898-4903 [96] 祁海铭, 程月华, 姜斌, 贺亮.功能模块故障下的卫星姿态控制系统硬件可重构性.航天控制, 2014, 32(4):62-68 http://www.cnki.com.cn/Article/CJFDTOTAL-HTKZ201404011.htmQi Hai-Ming, Cheng Yue-Hua, Jiang Bin, He Liang. Hardware reconfigurability of satellite attitude control system with function module faults. Aerospace Control, 2014, 32(4):62-68 http://www.cnki.com.cn/Article/CJFDTOTAL-HTKZ201404011.htm [97] Wang D Y, Liu C R. Reconfigurability analysis method for spacecraft autonomous control. Mathematical Problems in Engineering, 2014, 2014:Article No. 724235 http://www.hindawi.com/journals/mpe/2014/724235/citations/ [98] Schneider H. Failure mode and effect analysis:FMEA from theory to execution. Technometrics, 1996, 38(1):80-80 http://www.doc88.com/p-2741545706179.html [99] Xu K, Tang L C, Xie M, Ho S L, Zhu M L. Fuzzy assessment of FMEA for engine systems. Reliability Engineering and System Safety, 2002, 75(1):17-29 doi: 10.1016/S0951-8320(01)00101-6 [100] 王世新. 卫星姿态控制系统可重构性设计研究[博士学位论文], 中国空间技术研究院, 中国, 2015. http://www.cnki.com.cn/Article/CJFDTOTAL-HTKZ201604005.htmWang Shi-Xin. Research on Reconfigurability Design for Satellite Attitude Control System[Ph. D. dissertation], China Academy of Space Technology, China, 2015. http://www.cnki.com.cn/Article/CJFDTOTAL-HTKZ201604005.htm [101] Ferguson S, Lewis K. Investigating the interaction between reconfigurability and system mass using multidisciplinary design optimization. In:Proceedings of the 49th AIAA/ASME/ASCE/AHS/ASC Structures, Structural Dynamics, and Materials Conference. Schaumburg, IL, USA:AIAA, 2008. [102] Tabatabaeipour S M, Gholami M, Bak T. Configuration selection for reconfigurable control of piecewise affine systems. International Journal of Control, 2015, 88(6):1310-1323 doi: 10.1080/00207179.2015.1006684 [103] 王世新, 邢琰, 王大轶, 刘成瑞.基于能耗最优的卫星姿控系统推力器可重构性设计.航天控制, 2015, 33(5):46-53 http://www.cnki.com.cn/Article/CJFDTOTAL-HTKZ201505011.htmWang Shi-Xin, Xing Yan, Wang Da-Yi, Liu Cheng-Rui. Reconfigurability design for thrusters of satellite attitude control system based on optimal energy consumption. Aerospace Control, 2015, 33(5):46-53 http://www.cnki.com.cn/Article/CJFDTOTAL-HTKZ201505011.htm [104] 苏为华. 多指标综合评价理论与方法问题研究[博士学位论文], 厦门大学, 中国, 2000. http://cdmd.cnki.com.cn/Article/CDMD-10384-2002051199.htmSu Wei-Hua. Research on Comprehensive Evaluation Theories and Methods with Multiple Indicators[Ph. D. dissertation], Xiamen University, China, 2000. http://cdmd.cnki.com.cn/Article/CDMD-10384-2002051199.htm [105] 徐泽水, 达庆利.多属性决策的组合赋权方法研究.中国管理科学, 2002, 10(2):84-87 http://cdmd.cnki.com.cn/Article/CDMD-10674-2001002703.htmXu Ze-Shui, Da Qing-Li. Study on method of combination weighting. Chinese Journal of Management Science, 2002, 10(2):84-87 http://cdmd.cnki.com.cn/Article/CDMD-10674-2001002703.htm [106] 顾朋, 王大轶, 刘成瑞.零动量卫星轮控系统可重构性设计研究.中国空间科学技术, 2013, 33(1):7-14 doi: 10.3780/j.issn.1000-758X.2013.01.002Gu Peng, Wang Da-Yi, Liu Cheng-Rui. Research on momentum wheel reconfiguration design of zero-momentum satellite. Chinese Space Science and Technology, 2013, 33(1):7-14 doi: 10.3780/j.issn.1000-758X.2013.01.002 [107] 项昌毅, 杨浩, 程月华, 姜斌, 刘成瑞.卫星姿态控制系统的可重构性指标分配.航天控制, 2014, 32(2):46-52, 59 http://www.cnki.com.cn/Article/CJFDTOTAL-HTKZ201402009.htmXiang Chang-Yi, Yang Hao, Cheng Yue-Hua, Jiang Bin, Liu Cheng-Rui. Reconfigurable allocation of satellite attitude control system. Aerospace Control, 2014, 32(2):46-52, 59 http://www.cnki.com.cn/Article/CJFDTOTAL-HTKZ201402009.htm [108] Xiang C Y, Yang H, Cheng Y H, Jiang B. Reconfiguration allocation of satellite attitude control systems. In:Proceedings of the 25th Chinese Control and Decision Conference (CCDC). Guiyang, China:IEEE, 2013. 4101-4105 [109] 项昌毅, 杨浩, 程月华, 姜斌, 刘成瑞.基于启发式算法的可重构性指标分配.空间控制技术与应用, 2013, 39(5):7-12 http://www.cnki.com.cn/Article/CJFDTOTAL-KJKZ201305002.htmXiang Chang-Yi, Yang Hao, Cheng Yue-Hua, Jiang Bin, Liu Cheng-Rui. On heuristic algorithm for reconfigurability allocation. Aerospace Control and Application, 2013, 39(5):7-12 http://www.cnki.com.cn/Article/CJFDTOTAL-KJKZ201305002.htm [110] Wang D Y, Duan W J, Liu C R. An analysis method for control reconfigurability of linear systems. Advances in Space Research, 2016, 57(1):329-339 doi: 10.1016/j.asr.2015.08.028 [111] Zhang Y M, Jiang J. Bibliographical review on reconfigurable fault-tolerant control systems. Annual Reviews in Control, 2008, 32(2):229-252 doi: 10.1016/j.arcontrol.2008.03.008 [112] 王敏. 动态系统执行器故障的主动容错控制研究[博士学位论文], 清华大学, 中国, 2007. http://cdmd.cnki.com.cn/Article/CDMD-10003-2009055458.htmWang Min. Active Fault Tolerant Control of Dynamic Systems with Actuator Faults[Ph. D. dissertation], Tsinghua University, China, 2007. http://cdmd.cnki.com.cn/Article/CDMD-10003-2009055458.htm [113] Nijmeijer H. Controllability and observability of nonlinear systems. Control and Optimal Control Theories with Applications, 2004, 66(12):149-170 doi: 10.1007/978-0-8176-4733-9_6 -
下载:
计量
- 文章访问数: 3227
- HTML全文浏览量: 411
- PDF下载量: 963
- 被引次数: 0
