Two Degree Optimal Robust Steady-State Tracking Controller Design for Plant with Time-Varying Uncertainty
-
摘要: 研究了被控系统存在范数有界的时变模型摄动和未知外部干扰时鲁棒稳态跟踪问题. 利用二自由度控制结构和Youla参数化方法.提出了一个最坏情况稳态绝对误差的精确计算公 式,利用该公式最优稳态跟踪控制器设计问题可化为一个有限维l1优化问题.因此控制器设计 只需解一个标准线性规划问题.此外,还证明了所提出的控制器可同时保证系统的鲁棒稳定性 和最优跟踪性能.仿真结果表明了该方法的有效性和可行性.Abstract: This paper addresses the robust steady-state tracking problem when the system under consideration is subject to norm bounded time-varying uncertainty as well as unknown external bounded disturbances. With the help of two-degree control scheme and Youla parameterization, we propose an exact formula for computing the worst-possible steady-state absolute value of the control error. Using this formula, we show that the problem of designing a controller that minimizes the worst case steady-state controller error is reduced to a finite dimensional l1 optimization problem. Hence, the proposed controller can be obtained by solving a standard linear programming problem. We also demonstrate that the proposed controller ensures both optimal robust stability and optimal steady-state tracking performance. The experimental results have manifested the approach's effectiveness.
-
随着科学技术的飞速发展,图像识别技术已从简单的理论融入到了大众的日常生活之中[1-2].从手机、电脑、打卡机等使用指纹身份识别,到阿里巴巴发布的人脸识别支付技术,都离不开图像识别. 然而,在这个信息量爆炸的时代,如何能够提高识别率意义重大,直接关系到图像识别的实用性和安全性.
幸运的是,深度学习的出现解决了如何自动学习出“优质特征”的问题[2-3].它通过模仿人脑分析学习的机制,将分级信息处理过程引用到了特征表示上,通过逐层特征变换,将样本在原空间的特征表示变换到一个新特征空间,从而使分类识别更加容易. 相比于人工构造特征的方法,利用深度学习方法来学习特征,能够更为丰富地刻画数据的内在信息[4].
深度卷积神经网络(Convolutional neural networks,CNN)作为深度学习的常用模型,已成为众多科研领域的研究热点之一.受到Hubel-Wiesel生物视觉模型的启发,LeCun等于1989年首先提出了CNN模型,解决了小规模的图像识别问题[5-6].但对于大规模的图像无法得到较好的效果. 直至2012年,Krizhevsky等在传统的CNN模型上提出了深度的理念,取得了不错的识别结果,推进了图像识别技术[7].与传统识别算法相比,它的输入不使用任何的人工特征,避免了复杂繁琐的手动特征提取过程,可实现自动特征学习,在处理大规模的图像识别时同样具有优势. 目前,CNN模型被广泛应用于图像识别领域之中[4, 7-9].Ji等通过延伸数据的空间维度,提出一种3D CNNs模型[10],用于人体运动 \onecolumn\begin{multicols}{2}行为的识别之中,取得了不错的识别效果. 2013年,徐姗姗等[11]利用CNN模型对木材的缺陷进行识别,降低时间消耗的同时,获得了较高的缺陷识别精度. 2014年,贾世杰等将CNN模型用于商品图像分类中[12],为电子商务软件提供了一种快捷、高效的分类过滤手段. 这无不说明CNN模型在图像识别方面的优势,即高效特征抽取、权值共享、模型复杂度低的特点.故本文采用CNN模型作为图像特征提取的基础模型.
然而,在目标识别的初期阶段需要对目标对象进行定位(Candidate location,CL),这是CNN模型所忽略的. 近年来,神经科学方面的研究者发现,人类视觉系统具有快速定位兴趣目标的能力[13]. 显然,将这种能力引入CNN模型,无疑将提升目标识别的效率. 目前,最具代表的是Itti模型[14-15],它能模拟视觉注意机制,利用颜色、亮度和朝向特征获取感兴趣区.故采用Itti模型实现CL阶段.
同时,CNN模型常采用灰度图像作为图像的输入,缺失了对于颜色、亮度特征的理解.而颜色特征对于图像的旋转、尺度变换和平移具有不错的稳定性[16].亮度是人类视觉系统较为敏感的图像特征. 若融合颜色、亮度特征,能够更为完善地表达图像. 因此,采用多特征融合的方法来表示图像具有一定的必要性.
综上所述,为了能够使CNN模型更为快捷地实现CL阶段的目标定位,多特征信息的互补,本文以CNN模型为基础模型,添加Itti模型以及多特征融合思想,建立一种基于CLMF的深度卷积神经网络模型(Convolutional neural networks with candidate location and multi-feature fusion,CLMF-CNN),以便快速地获取目标区域,提高目标识别效率和准确度.
1. 深度卷积神经网络
深度卷积神经网络是第一个成功训练多层神经网络的学习算法.由于该网络有效地避免了复杂的图像预处理,可以自主学习图像特征,所以得到了广泛的应用. CNN模型通过对局部感受野卷积(Local connections)、权值共享、下采样和多网络层[17],实现NN(Neural network)结构的优化,不但减少了神经元和权值的个数. 同时,利用池化操作(Pooling)使特征具有位移、缩放和扭曲不变性[17].
典型的深度卷积网络结构如图 1所示. 第一层为图像输入层,然后由多个卷积层(Convolution,C层)和下采样层(Subsampling,S层)组成,最后一层为全连接层.
1.1 C层的学习
C层主要是利用卷积核抽取特征,实现对特征进行过滤和强化的效果.在每个卷积层中,将前一层输出的特征图与卷积核进行卷积操作[18],然后通过激活函数,即可输出该层的特征图 $y_{i}^{t}$ ,如式(1) 所示.
$y_{j}^{t}=f\left( \sum\limits_{i\in {{P}_{j}}}{k_{i,j}^{t}}*y_{i}^{t-1}+b_{j}^{t} \right)$
(1) 其中,f是激活函数,本文选用Sigmoid函数.t表示层数,ki,j是卷积核,*表示2D卷积操作,bj是偏置,Pj表示所选择的输入特征图的集合.
1.2 S层的学习
S层主要通过下采样减少C层的特征维数,对S层中每个大小为n× n的池进行“池平均”或“池最大”操作[19],以获取抽样特征,如式(2) 所示.
$y^{t}_{j}={f}({down}(y^{t-1}_{i})\cdot w^{t}_{j}+b^{t}_{j})$
(2) 其中,w为权重,down $(\cdot)$ 为下采样函数,本文采用“池最大”操作. 通过池化操作,不仅有效降低了C层的复杂度,抑制了过拟合现象,同时,提升了特征对微小畸变、旋转的容忍能力,增强了算法的性能和鲁棒性.
2. 基于CLMF的深度卷积神经网络
为了使CNN模型能够在图像中快速搜索到目标对象,模仿人脑视觉系统,在CL阶段添加视觉注意模型,旨在快速获取目标对象. 同时,从特征融合的角度,实现图像颜色、亮度的多特征表达.CLMF-CNN的模型结构图如图 2所示,由候选目标区获取和多特征融合两模块组成.
2.1 基于视觉显著性的候选目标获取
大量研究发现,人类的视觉系统能够快速搜索到兴趣目标,并进入视觉感知[20-21]. 受其启发,若在目标识别的CL阶段采用视觉显著性获取候选目标,能够有效地降低背景所带来的干扰.目前最具代表性的是Itti等于1998年提出的选择注意模型,该模型经过不断的改进,已经可以较好地应用于目标识别之中.其基本思想是采用自底向上的模式,通过构建不同尺度的高斯金字塔,并利用式(3) ~式(5) 获取亮度、颜色、朝向特征[15];然后,计算中央周边算子得到特征显著图; 最后,通过归一化组合得到显著图,从而模拟人类视觉系统选择出显著区域.
$I=\frac{r+g+b}{3}$
(3) $\left\{ \begin{array}{*{35}{l}} RG(c,s)=|(R(c)-G(c))\ominus (G(s)-R(s))| \\ BY(c,s)=|(B(c)-Y(c))\ominus (Y(s)-B(s))| \\ \end{array} \right.$
(4) $O(c,s,\theta )=|O(c,\theta )\ominus O(s,\theta )|$
(5) 其中,r、g、b为三个颜色分量. R=r-(g+b)/2;G=g-(r+g)/2; Y=(r+g)/2-|r-g|/2-b;c、s代表金字塔中央尺度和周边尺度. $\theta$ 为Gabor滤波器的方向; $\circleddash$ 代表“中央-周边”算子.
然而,Itti模型仅采用自底向上的机制,缺失了高级认知的指导[14-15]. 特别地,由其获取的显著图仅由各类特征叠加而成的,这违背了视觉系统的选择机制. 在不同的环境下,视觉系统搜索不同目标时,对于各个特征的倚重应有所不同.故综合考虑各类特征对于目标定位的贡献度,赋予权重,通过特征与权重的乘积和确定显著区,如式(6) 所示.
$Sali=\sum\limits_{j\in \{Co,In,Or\}}{{{\beta }^{j}}}\sum\limits_{k=1}^{N}{S}ali_{j}^{k}$
(6) 其中, {{\beta }^{j}}$ 为显著特征权重,由式(7) 获得.Sali代表显著值,SaliCo为颜色显著值、SaliIn为亮度显著值、SaliOr为朝向显著值,k代表不同的尺度.
目前,对于显著区域的提取多由目标知识驱动,忽略了背景特征对于目标检测的抑制作用. 而神经物理学实验表明,背景特征对于目标检测也具有重要意义[22].因此综合考虑目标和背景的概率知识,利用式(7) 确定显著特征权重 ${{\beta }^{r}}$ .
$\begin{array}{*{35}{l}} {{\beta }^{r}}= & \frac{P(O|Fsal{{i}^{r}})}{P(O|Bsal{{i}^{r}})}= \\ {} & \frac{P(Fsal{{i}^{r}}|O)P(O)}{P(Fsal{{i}^{r}})}\cdot \frac{P(Bsal{{i}^{r}})}{P(Bsal{{i}^{r}}|O)P(O)}= \\ {} & \frac{P(Fsal{{i}^{r}}|O)P(Bsal{{i}^{r}})}{P(Fsal{{i}^{r}})P(Bsal{{i}^{r}}|O)} \\ \end{array}$
(7) 其中, ${{\beta }^{r}}$ 表示显著特征权重,P(O)表示目标O出现的先验概率;P(O|Fsalir)表示给定前景区的某一图像度量Fsalir时,目标O出现的条件概率;P(O|Bsalir)表示给定背景区某一图像度量Bsalir时,目标O出现的条件概率;图像度量包括颜色特征值SaliCo、亮度特征值SaliIn和朝向特征值SaliOr.
2.2 多特征融合
由于CNN模型在特征提取过程中使用的特征单一,忽略了颜色、亮度特征的影响,如图 1所示.故本文在深度卷积神经网络的基础上,添加颜色、亮度特征提取的思想,使用B-Y颜色通道、R-G颜色通道以及亮度通道三通道对视觉图像进行特征提取.其中,B-Y和R-G颜色通道的图像表示可由式(8) 和(9) 获得.
${{P}_{RG}}=\frac{(r-g)}{max(r,g,b)}$
(8) ${{P}_{BY}}=\frac{b-min(r,g)}{max(r,g,b)}$
(9) 因此,CLMF-CNN模型不仅考虑了亮度特征,同时考虑了对象的颜色特征,使得特征向量更能表现目标对象的特性.
然而,多特征的融合方法对于特征的表达能力具有一定的影响. 目前,常用的多特征融合方法有简单叠加、串行连接等.但这些方法不仅较难体现各种特征的差异性,反而扩大了特征的维数,增加了计算量. 因此,引出权重的概念,根据不同的特征在识别过程中的贡献度,在CNN的全连接层后添加一层各类特征的权重计算层.
通常,特征的识别效果采用误差率表示,误差率越低则表示该类特征具有较强的区分能力. 受此启发,从误差率的角度定义权重,如式(10) 所示.
${{w}^{n}}=\frac{\frac{1}{{{e}^{n}}}}{\sum\limits_{i=1}^{N}{(\frac{1}{{{e}^{i}}})}}$
(10) 其中,wn为特征n的权重, $0\le w^{n}\le1$ 且 $sum^{N}_{n=1}w^{n}=1$ . en表示特征n的误差率.由此可以发现en越低的特征将获得越高的权重. 因此,每个目标融合后的特征向量 $\mathcal{T}$ 可表示为式(11).
$\mathcal{T}=\sum\limits_{n=1}^{N}{{{w}^{n}}}{{y}^{n}}$
(11) 其中,N为特征类别数,yn表示特征n相应的特征向量.
2.3 算法流程
CLMF-CNN模型由学习阶段以及目标识别阶段两部分组成. 具体步骤如下:
1) 学习阶段:
步骤 1. 根据学习样本,采用样本统计分析法计算样本图像内目标对象与背景的条件概率P(O|Fsalir)和P(O|Bsalir);
步骤 2. 根据式(7) 确定Itti模型内的权重 ${{\beta }^{j}}$
步骤 3. 利用CNN模型获取目标对象在B-Y颜色通道、R-G颜色通道以及亮度通道三通道的特征向量;
步骤 4. 训练不同特征向量,获取各类特征的误差率en;
步骤 5. 根据误差率en,利用式(10) 获取不同特征的权重.
2) 目标识别阶段:
步骤 1. 根据权重 ${{\beta }^{j}}$ ,利用加权Itti模型获取测试图像相应的候选目标区域;
步骤 2. 利用CNN模型对候选目标进行B-Y颜色通道、R-G颜色通道以及亮度通道三通道的特征提取;
步骤 3. 根据式(11) ,结合不同特征的权重wn进行加权融合,形成候选目标的特征表达;
步骤 4. 对候选目标进行识别,输出测试图像的类别.
3. 实验结果与分析
仿真实验平台配置为酷睿四核处理器2.8GHz,8GB内存,使用Caltech101数据集,该数据库包含101类,每类大约包含40到800张彩色图片. 然而,CNN模型需要建立在大量样本的基础上,故选取其中样本量较大的8类:飞机(Airplanes)、人脸(Faces)、钢琴(Piano)、帆船(Ketch)、摩托车(Motor)、手枪(Revolver)、手表(Watch)以及豹(Leopards),并利用Google对图库进行扩充,每种类别选用2000幅图像,本文方法的参数设置如表 1所示,其中,学习率初始值设为0.1,并在迭代过程中线性下降以寻找最优值. 同时,为了评估识别效果,采用十折交叉实验法进行验证,并利用识别精度作为评价标准,如式(12) 所示.
$PreVa{{l}_{i}}=\frac{P{{T}_{i}}}{P{{T}_{i}}+F{{T}_{i}}}$
(12) 层数 种类 特征图个数 卷积核大小 1 卷积层 100 7£7 2 下采样层 100 2£2 3 卷积层 150 4£4 4 下采样层 150 2£2 5 卷积层 250 4£4 6 下采样层 250 2£2 7 全连接层 300 1£1 8 全连接层 8 1£1 激活函数 Sigmoid 损失函数 Mean square error 其中,PreVali表示第i类图像的识别精度,PTi表示正确识别的样本数,FTi表示错误识别的样本数.
3.1 CL~阶段提取候选目标的作用
由图 3可以发现,利用改进的Itti模型可以有效地在CL阶段提取目标候选区,避免了背景的干扰,便于后续CLMF-CNN模型的特征提取. 实验结果表明,平均每幅图像的处理时间约为62.76ms. 显然,在目标候选区的提取上消耗了一定的计算时间,但是,相应地减少了30%~50%的伪目标区域,降低了识别干扰,反而提高了识别效率. 从图 4可以发现,利用Itti模型改进的CNN模型的确提升了目标的识别精度.
为了进一步分析CL阶段目标定位的有效性,选用覆盖率(Overlap value,OV)评价目标对象区界定的成功率,如式(13) 所示.
$OV=\underset{i=1,2,\cdots ,M}{\mathop{mean}}\,\left( {{\max }_{j=1,2,\cdots ,N}}\left( \frac{prebo{{x}_{ij}}\bigcap{o}bjbo{{x}_{i}}}{prebo{{x}_{ij}}\bigcup{o}bjbo{{x}_{i}}} \right) \right)$
(13) 其中,preboxij是图像i对应的第j个候选目标区域.objboxi是图像i对应的目标区域.
由图 5可以发现,由于文献[23]利用固定窗口遍历搜索的方法,所以对于脸、钢琴、手枪的定位效果较好. 然而,对于飞机、帆船、豹等大小多变的目标对象,界定的效果产生了一定的影响. 相反,本文方法充分考虑了各项特征的贡献率,能够较好地定位目标对象的区域,为后期的目标识别提供了一定的保证.
3.2 识别时间消耗对比
时间消耗无疑是对目标识别效果的一个重要评价指标.图 6从目标识别所需时耗的角度对比了文献[23]方法和CLMF-CNN模型.由于文献[23]方法需要以固定大小的窗口遍历图像来实现目标的定位,因此定位的时耗十分受滑动窗口大小以及图像大小的限制.若以30×30的窗口遍历一幅N× N的图像时,文献[23]方法在定位时将进行(N-29)2个操作.若图像为256×256,则单幅图像在定位时的操作将超过5万次,无疑增加了图像识别过程中的时间消耗. 相反,由于CLMF-CNN模型采用视觉显著性定位的方法,虽然在对单幅图像搜索目标时需要消耗时间用于定位显著区域,但可以快速滤除图像中的伪目标区域,大幅度地减少后期识别操作,反而降低了目标识别的时间消耗,十分有利于图像的快速识别.
3.3 特征融合的作用
在特征提取阶段,采用了多特征融合方法,利用各类特征的贡献度来分配权重. 为了验证权重的作用,实验将本文的多特征融合方法与各类单一特征方法以及目前流行的多特征乘性融合方法[24]、多特征加性融合方法[25]进行对比.
从图 7可以发现,采用单一特征的CNN模型识别效果明显不佳,且不稳定,易受光照等外界因素的干扰. 说明需要通过特征融合,使各类特征取长补短,才能实现更好的识别效果. 文献[24]方法,可实现各类特征的融合,但该方法易放大噪声的影响,导致融合结果对噪声较为敏感. 相反,文献[25]在一定程度能够抑制噪声,说明加性融合的确能较好地融合各类特征. 然而其识别效果仍不理想,说明权重的分配对融合后特征向量的识别效果具有一定的影响.本文的方法具有较好的识别结果,原因在于:CLMF-CNN模型充分考虑了各项特征对于识别效果的贡献度,从误差率的角度分配各项权重,降低了对于噪声的敏感度,且提升了识别效果,增强了识别方法的鲁棒性.
3.4 识别效果对比
为了验证本文方法的有效性,实验将CLMF-CNN模型和文献[26-28]的方法进行对比,如图 8所示.其中,对于人脸、摩托车和手表这些目标对象,CLMF-CNN模型具有一定的优势. 原因在于,这些目标较为显著,对于CLMF-CNN模型更易找到目标对象区域.而对于文献[26-28]方法,由于过多的依赖固定窗口滑动搜索的方法,导致对目标区域的定位有一定的偏差. 同时,本文的多特征融合方法能够充分地考虑各类特征的贡献度,合理地分配权重,使得各类特征扬长避短,更有效地表达目标对象. 由图 8可以发现,CLMF-CNN模型的识别效果基本优于其他方法,为目标识别提供了一种较为有效的方法.
同时,为了进一步验证本文方法的识别效果,实验将CLMF-CNN模型运用于图像标注中. 从表 2可以发现,本文方法基本可以标注出预先学习的目标对象,说明CLMF-CNN模型可以较好地解决图像的自动标注问题.
标识图像 标注信息 4. 结论
本文提出一种基于CLMF的卷积神经网络模型,并用于图像识别,取得了较为满意的实验结果. 与现有方法相比,CLMF-CNN具有以下几个突出的特点:1) 模仿人脑视觉认知的过程添加了CL阶段的候选目标区选取模块,确立了目标对象区,减少了由于伪目标区域所造成的计算时间消耗和识别干扰.2) 利用多特征的加权融合降低了由单一特征不充分所引起的歧义,丰富了图像的特征表达.
然而,图像质量对于目标识别具有一定影响.下一步工作的重点将从图像融合技术文献[29-30]的角度提高图像质量,进一步改善目标识别效果.
期刊类型引用(13)
1. 孙克雷,虞佳明,孙刚. 一种基于改进Softplus激活函数的卷积神经网络模型. 阜阳师范学院学报(自然科学版). 2020(01): 75-79 . 百度学术 2. 谢将剑,杨俊,邢照亮,张卓,陈新. 多特征融合的鸟类物种识别方法. 应用声学. 2020(02): 199-206 . 百度学术 3. 李倩倩,张恩宝,孙敏,余大为,李旸. 基于混合卷积神经网络的花卉种类识别研究. 洛阳理工学院学报(自然科学版). 2020(02): 77-82+93 . 百度学术 4. 王晓峰,杨亚东. 基于生态演化的通用智能系统结构模型研究. 自动化学报. 2020(05): 1017-1030 . 本站查看 5. 陈扬,李旦,张建秋. 互补色小波颜色恒常性/白平衡方法. 自动化学报. 2020(07): 1378-1389 . 本站查看 6. 沈同平,董尹,俞磊. 基于知识图谱的我国图像检索研究进展可视化分析. 通化师范学院学报. 2019(02): 134-141 . 百度学术 7. 徐阳,张忠伟,刘明. 利用信息交互最优权重改进神经网络的方法. 吉林大学学报(信息科学版). 2019(01): 107-112 . 百度学术 8. 王飞,张莹,卲豪,张东波,牟清萍. 多尺度残差网络模型的研究及其应用. 电子测量与仪器学报. 2019(04): 19-28 . 百度学术 9. 陈翔,唐俊勇. 基于模糊粗糙神经网络的用户个性化关联推荐方法. 重庆师范大学学报(自然科学版). 2018(03): 137-142 . 百度学术 10. 李勇,林小竹,蒋梦莹. 基于跨连接LeNet-5网络的面部表情识别. 自动化学报. 2018(01): 176-182 . 本站查看 11. 管德永,鞠铭,安连华. 基于卷积神经网络车身颜色识别技术研究. 山东建筑大学学报. 2018(01): 25-31 . 百度学术 12. 刘万军,梁雪剑,曲海成. 自适应增强卷积神经网络图像识别. 中国图象图形学报. 2017(12): 1723-1736 . 百度学术 13. 张婷,李玉鑑,胡海鹤,张亚红. 基于跨连卷积神经网络的性别分类模型. 自动化学报. 2016(06): 858-865 . 本站查看 其他类型引用(18)
计量
- 文章访问数: 2078
- HTML全文浏览量: 84
- PDF下载量: 988
- 被引次数: 31