Online Reinforcement Learning Control Algorithm for Concentration of Thickener Underflow
Author Bio:
YUAN Zhao-Lin Ph.D. candidate at the School of Computer and Communication Engineering, University of Science and Technology Beijing. He received his bachelor degree in computer science from University of Science and Technology Beijing in 2017. His research interest covers adaptive dynamic programming and reinforcement learning
HE Run-Zi Master student at the School of Computer and Communication Engineering, University of Science and Technology in Beijing. She received her bachelor degree from Beijing Science and Technology University in 2017. Her research interest covers fluid simulation and reinforcement learning
YAO Chao Assistant professor at University of Science Technology, Beijing (USTB), China. He received his bachelor degree in computer science from Beijing Jiaotong University (BJTU), Beijing, China in 2009 and the Ph.D. degree from the Institute of Information Science, BJTU in 2016. From 2014 to 2015, he served as a visiting Ph.D. student at the Ecole Polytechnique Federale de Lausanne, Switzerland. From 2016 to 2018, he served as a post-doctoral at the Institute of Sensing Technology and Business, Beijing University of Posts and Telecommunications, Beijing. His research interest covers image and video processing and computer vision
LI Jia Master student at the School of Computer and Communication Engineering, University of Science and Technology in Beijing. His research interest covers adaptive dynamic programming, adaptive control, and reinforcement learning
BAN Xiao-Juan Professor at University of Science and Technology Beijing and she is an executive council member in Chinese Association for Artificial Intelligence (CAAI). Her research interest covers artificial intelligence, natural human-computer interaction, and 3D visualization. Corresponding author of this paper
-
摘要:
复杂过程工业控制一直是控制应用领域研究的前沿问题. 浓密机作为一种复杂大型工业设备广泛用于冶金、采矿等领域. 由于其在运行过程中具有多变量、非线性、高时滞等特点, 浓密机的底流浓度控制技术一直是学界、工业界的研究难点与热点. 本文提出了一种基于强化学习技术的浓密机在线控制算法. 该算法在传统启发式动态规划 (Heuristic dynamic programming, HDP)算法的基础上, 设计融合了评价网络与模型网络的双网结构, 并提出了基于短期经验回放的方法用于增强评价网络的训练准确性, 实现了对浓密机底流浓度的稳定控制, 并保持控制输入稳定在设定范围之内. 最后, 通过浓密机仿真实验的方式验证了算法的有效性, 实验结果表明本文提出的方法在时间消耗、控制精度上优于其他算法.
Abstract:Complex process industrial control is a widely concerned problem in the field of control application. As a kind of complex huge industrial equipment, thickener has been widely used in metallurgy, mining and other applications. Due to its characteristics of complicated variables, nonlinear and long delay in the operational process, the control strategy of underflow concentration for thickener has always been a hot and difficult issue in the academia and industry. This paper proposes a novel online control algorithm for thickener which is based on reinforcement learning. Inspired by the traditional heuristic dynamic programming (Heuristic dynamic programming, HDP) algorithm. The proposed method designs a double net framework which is composed of the critic network and the model network. To achieve the stabilization of underflow concentration, an optimal method which is based on reviewing the history data in a short term is proposed in the training phase of critic network. Simulation experiments verify efficiency of the proposed method. The results show that the proposed method can maintain the concentration of underflow in a stable horizon and performs better than other algorithms in accuracy and time consuming.
-
随着信息技术的发展, 基于视觉的运动目标检测与跟踪, 已逐渐渗透到人们生活的方方面面, 其重要性日益突出, 吸引了越来越多的海内外学者及研究机构参与到此领域的研究.目前, 基于视觉的运动目标检测与跟踪已广泛应用于视频监控、虚拟现实、人机交互、行星探测、行为理解等领域, 实现了公共安全监控与管理, 意外事件防范、检测及处理, 应急推演, 老幼病残监护以及自主导航等功能, 其具体应用分类详见表 1.
表 1 基于视觉的目标检测与跟踪应用领域Table 1 Applications of vision-based object detection and tracking应用领域 具体应用 智能监控 公共安全监控(犯罪预防、人流密度检测)、停车场、超市、百货公司、自动售货机、ATM、小区(外来人员访问控制)、交通场景、家庭环境(老幼看护)等 虚拟现实 交互式虚拟世界、游戏控制、虚拟工作室、角色动画、远程会议等 高级人机交互 手语翻译、基于手势的控制、高噪声环境(机场、工厂等)下的信息传递等 动作分析 基于内容的运动视频检索, 高尔夫、网球等的个性化训练, 舞蹈等的编排, 骨科患者的临床研究等 自主导航 车辆导航、机器人导航、太空探测器的导航等 机器人视觉 工业机器人、家庭服务机器人、餐厅服务机器人、太空探测器等 早在60年代, 国外就已开展了对运动目标检测与跟踪的研究[1]. Papageorgiou等[2]提出了静态图像中用于目标检测的一般框架, 该框架直接从样本中学习特征, 不需要任何的先验知识、模型或者运动分割. Viola等[3]将积分图用于图像特征表达, 采用级联分类器实现了对目标的鲁棒实时检测. Lowe[4]通过获取图像关键点附近的梯度信息来描述运动目标, 提出了尺度不变特征(Scale invariant feature transform, SIFT). Dalal等[5]提出了梯度直方图特征(Histogram of oriented gradient, HOG), 将其用于解决静态图像的行人检测问题. Felzenszwalb等[6]将HOG与支持向量机(Support vector machine, SVM)相结合, 提出了可变形部件模型(Deformable part model, DPM), 逐渐成为近年来最受欢迎的目标检测模型之一, 该工作在2010年被授予了模式分析, 统计建模, 计算学习视觉目标分类(Pattern Analysis, Statistical Modelling and Computational Learning Visual Object Classes, PASCAL VOC)挑战赛[7] “终身成就奖”.
国内从2002年到2012年, 相继召开了3届全国智能视觉监控学术会议, 其内容主要涉及了智能视频监控、背景建模、图像分割、目标检测与跟踪、行为理解与分析、数据压缩与传输、系统构建与集成等内容.另外, 从2011年到2016年相继召开了6届视觉与学习青年研讨会(Vision and Learning Seminar, VALSE)也涉及了计算机视觉、图像处理、模式识别与机器学习等众多领域, 重点讨论了图像分类、目标检测、视觉跟踪等相关技术的进展.
随着对基于视觉的目标检测与跟踪研究的深入, 大量的相关成果不断涌现.为此, 众多学者逐渐展开了对目标检测与跟踪的综述工作, 对该领域进行了归纳与总结, 典型的综述文献及主要内容如表 2所示.在已有的综述文献中, 部分综述性工作只是面向某一类具体应用进行展开, 如文献[8]对手势识别中的目标跟踪进行了深入讨论, 文献[9]针对行星地形分类问题对目标检测方法展开了综述; 部分文献只是讨论了目标检测与跟踪的一个较小的组成部分, 如文献[10-12]讨论了目标表观建模方面的一些研究进展, 文献[13-14]讨论了目标检测中的背景建模方法, 文献[15]对多种跟踪算法进行了实验对比与分析; 部分文献在总结时, 对目标检测与跟踪部分只进行了简要概述, 如文献[16-17]分别综述了行为理解和智能监控的研究进展, 在其底层部分简要地介绍了目标的检测与跟踪, 没有给出针对该领域较全面的整理; 当然, 也有一些学者对运动目标检测与跟踪进行了较为全面的阐述、分析与整理, 如文献[18-22], 这部分工作极大地推动并促进了该领域的研究与发展.然而, 随着时代的发展, 目标检测与跟踪技术也在突飞猛进, 近几年来该领域的研究成果可谓日新月异, 各种优秀算法也是层出不穷, 特别是计算机视觉三大会议(CVPR (Computer Vision and Pattern Recognition), ICCV (International Conference on Computer Vision), ECCV (European Conference on Computer Vision))每年均有许多相关报道, 对这些工作及成果进行梳理与总结, 将会有效地推动和促进计算机视觉领域的发展.运动目标的检测和跟踪主要用于获取运动目标的位置、姿态、轨迹等基本运动信息, 是理解服务对象或对目标进行控制的前提和基础.本文试图对运动目标检测与跟踪, 在不同层面上的典型算法进行较为全面的梳理与总结, 将其整体结构归纳为如图 1所示的框架.其中, 目标检测可看作是目标跟踪的组成部分, 主要用于对目标状态的初始化, 目标跟踪则是在目标检测的基础上, 对目标的状态进行连续估计的过程.
图 1 基于视觉的目标检测与跟踪框架Fig. 1 General framework of vision-based object detection and tracking表 2 目标检测与跟踪相关综述文献Table 2 Related surveys about object detection and tracking文献 题目 主要内容 讨论主题 发表年限 不足之处 [8] Vision based hand gesture recognition for human computer interaction: a survey 从检测、跟踪与识别三方面对手势识别的发展现状进行了梳理与总结 检测、跟踪、识别 2015 只进行了某些具体应用方向上的梳理 [9] A survey on recent object detection techniques useful for monocular vision-based planetary terrain classification 对行星地形分类中的目标检测技术进行了总结 目标检测 2014 [10] Sparse coding based visual tracking: review and experimental comparison 对基于稀疏编码的目标跟踪进行了全面的梳理与总结, 给出了实验对比与分析 表观建模 2013 只讨论了目标检测与跟踪的组成部分 [11] A survey of appearance models in visual object tracking 从全局与局部信息描述的角度探讨了目标跟踪中的视觉表达问题 表观建模 2013 [12] 面向目标检测的稀疏表示方法研究进展 综述了稀疏表示方法在目标检测领域中的国内外重要研究进展 表观建模 2015 [13] Background subtraction techniques: a review 对几种常用的背景减除方法进行了总结 背景建模 2004 [14] Traditional and recent approaches in background modeling for foreground detection: an overview 对目标检测中背景建模方法进行了详细讨论 背景建模 2014 [15] Visual tracking: an experimental survey 对19种先进的跟踪器在315段视频序列上进行了对比实验与性能评估 目标跟踪 2014 [16] Automated human behavior analysis from surveillance videos: a survey 在人体行为理解的底层处理部分, 对目标检测、分类及其跟踪进行了详细阐述 人体行为理解 2014 没有展开讨论检测跟踪问题 [17] 智能视频监控技术综述 在智能视频监控的底层部分, 对目标检测与跟踪进行了讨论 智能监控 2015 [18] Object tracking: a survey 对目标跟踪中的目标表达、特征或运动模型选取等问题进行了分类归纳 目标跟踪 2006 发表年限比较久远, 不断更新的理论和方法亟需梳理总结 [19] 视觉跟踪技术综述 分类归纳了视觉跟踪, 并论述了其在视频监控、图像压缩和三维重构等的应用 目标跟踪 2006 [20] 运动目标检测算法的探讨 对2007年以前的主流运动目标检测方法进行了分类讨论 目标检测 2006 [21] 运动目标跟踪算法研究综述 将运动目标跟踪问题分为运动检测与目标跟踪, 并对跟踪算法进行了综述工作 目标跟踪 2009 [22] 微弱运动目标的检测与跟踪识别算法研究 对强噪声背景下的微弱运动目标检测与跟踪算法进行了探讨 目标检测与跟踪 2010 本文分别对运动目标检测及其跟踪两方面进行了梳理与总结.第1节按算法所处理的数据对象的不同, 将目标检测分为基于背景建模与基于目标建模的检测方法, 并分别阐述了目标检测技术的常用方法, 重点讨论了背景建模方法以及表观建模中的特征表达方法; 第2节将目标跟踪按其与目标检测的关系的不同, 分为生成式与判别式跟踪方法, 重点讨论了表观建模中的统计建模方法; 第3节综合目标检测、目标跟踪的研究现状, 对该领域未来的研究趋势进行了展望.
1. 目标检测
目标检测的目的是从不同复杂程度的背景中辨识出运动目标, 并分离背景, 从而完成跟踪、识别等后续任务.因此, 目标检测是高层理解与应用的基础任务, 其性能的好坏将直接影响后续的目标跟踪、动作识别以及行为理解等中高层任务的性能.
目标检测的任务是要分割“我们不关心”的背景从而获取“我们所关心”的前景目标.因此, 按算法处理对象的不同, 目标检测方法可以分为基于背景建模的目标检测方法和基于前景建模的目标检测方法.其中, 基于背景建模的方法通过对背景进行估计, 建立起背景模型与时间的关联关系, 将当前帧与所建背景模型进行对比作差, 间接地分离出运动前景, 最后经过前景分割得到跟踪目标; 基于前景目标建模的方法则是采用灰度、颜色、纹理等同质特征, 建立起跟踪目标的表观模型, 并设计适当的分类器对其进行分类与检测.
1.1 基于背景建模的目标检测
基于背景建模的方法将当前帧与背景参考模型进行比对, 再通过阈值法来判断各个像素是否属于运动前景, 最终对检测出的运动前景进行分割得到跟踪目标.基于背景建模的目标检测方法一般包含背景模型的初始化、模型维护及前景检测与分割等步骤, 其处理的一般流程如图 2所示, N表示用于背景模型初始化的视频帧数.
背景初始化(Background initialization)[23]指对背景模型的初始化工作.其中, 最简单的初始化方法是得到一帧不包含任何运动目标的背景图像.通常的初始化模型可以从一段较短且不包含前景目标的训练序列中获取.然而, 实际场景却较难满足不包含前景目标的纯背景特性, 这就要求我们使用包含前景目标的一组序列去获取背景初始模型. Wang等[24]对初始化背景模型Median进行改进, 提出了一种能容纳超过50 %前景目标或噪声的鲁棒初始化模型. Colombari等[25]提出了基于块的背景初始化方法, 能够处理前景目标在场景中静止一段时间的复杂情况.
实际场景中背景因受光照变化、场景中目标的进入或退出等因素的影响而时刻发生变化, 准确的背景模型变得难以获取.因此如何构造鲁棒、自适应的背景模型是基于背景建模的运动目标检测算法的关键.目前, 对于背景建模已有大量的研究工作. Lee等[26]将均值背景模型用于视频监控, McFarlane等[27]在对小猪的跟踪过程中采用了中值滤波模型.另外, 还有帧间差分、最大最小值滤波等其他早期常被使用的基本模型.随着对背景建模研究工作的推进, 又出现了统计模型[28-29]、聚类模型[30-31]、神经网络模型[32-33]、估计模型[34-35]、模糊模型[36]、鲁棒子空间模型[37]、稀疏模型[38]、变换域模型[39-40]等背景模型. Bouwmans等分别在2010年[28]、2011年[29]和2014年[14]对背景建模进行了综述工作, 对背景建模方法进行了详细的分类与总结, 有兴趣的读者可以参考相关文献.
背景模型中, 高斯模型[41]和支持向量模型[42]通常用于处理动态背景; 子空间学习模型[37]多用于处理光照变化问题; 模糊模型[36]能同时处理光照变化和动态背景; 鲁棒子空间模型[37]特别是鲁棒独立主成分分析(Robust principal components analysis, RPCA)能利用视频帧间的关联关系, 较好地处理时空约束, 在前背景的分离上潜力巨大, 但该类模型通常不能较好地满足实时性能, 需要更多的研究提升算法的时效性; 神经网络模型[33]在精确性能和计算成本上寻求了一个折中, 该类模型中的空间相干性自组织背景减除法(Spatially coherent selforganizing background subtraction, SC-SOBS)[43]与3D自组织背景减除改进算法(Enhanced 3D selforganizing background subtraction, 3dSOBS+)[44]在ChangeDetection.Net数据集[45]上取得领先的检测结果.此外, 在该数据集上检测结果较好的算法还有统计模型中的视觉背景提取器(Visual background extractor, ViBe)[46]、像素自适应分割(Pixel-based adaptive segmenter, PBAS)[47]算法等, 它们都使用了鲁棒更新模型, 能同时处理光照变化和背景动态变化等情况. Sobral等[48]基于OpenCV搭建了背景减除方法的通用框架(Background subtraction library, BGSLibrary), 提供了37种背景建模算法的实现1, 极大地促进了学术研究与工程实践.
1https://github.com/andrewssobral/bgslibrary
1.2 基于前景目标建模的目标检测
基于目标建模的目标检测方法通常分为离线训练与在线检测两个阶段.离线训练阶段对训练样本中的前景目标与背景分别进行特征表达, 建立起目标或背景表观模型, 再进行分类器训练得到分类器模型.在线检测阶段对测试样本在多个尺度上进行滑动窗口扫描后, 采用同样的特征表达方法建立起表观模型, 然后再用离线阶段训练得到的分类器模型对其进行分类, 从而判断各个窗口是否为前景目标.基于前景目标建模的目标检测方法的一般处理流程如图 3所示.与基于背景建模的方法不同, 该类方法不受场景限制, 应用范围相对较广泛, 且检测结果不需要进行再度分割.
事实上, 上述检测方法用到了目标检测、目标识别以及行为识别等任务的一个通用框架, 即“特征表达” + “分类器”的框架.因此, 如何高效准确地进行特征表达以及构造适当的分类器是此类方法的核心所在.如果所选取的表达特征能够有效地反映检测目标的本质, 那么目标检测与跟踪任务便会取得事半功倍的效果.
1.2.1 特征表达
图像的特征表达就是将原始图像像素映射到一个可区分维度空间数据的过程, 它是打破底层像素与高层语义之间的语义鸿沟至关重要的一步.图像特征按其能否通过自学习得到, 可以分为基于人工设计的特征与基于学习的特征.其中, 人工的设计特征是一种利用人类先验知识与智慧, 并将这类知识应用于目标检测、识别等任务的很好的方式.这类方法实现相对容易、计算也比较简单, 但其极大地依赖了人类知识、经验的总结, 且不能做到对图像或目标模型最本质的刻画.基于学习的特征表达主要是通过无监督学习的方式, 让机器自动地从样本中学习到表征这些样本更加本质的特征.
1)基于人工设计的特征表达
基于人工设计的特征是人们通过手动设计提取得到的特征, 即存在一个对输入信号“显式”的预处理过程.目前, 人工设计的特征按视觉特性与特征计算的不同可以大致分为四类:梯度特征、模式特征、形状特征以及颜色特征.
梯度特征通过计算空间区域上的梯度强度和方向等的分布来描述目标.其中, 使用最为广泛的梯度特征是Lowe[4]提出的尺度不变特征(SIFT), 其通过获取特定关键点附近的梯度信息来描述目标, 通常关键点在空间上分布相对较稀疏, 该类特征具有非常卓越的尺度、旋转不变特性, 其改进特征主要有PCA-SIFT[49]、梯度位置方向直方图(Gradient location-orientation histograms, GLOH)[50]、加速鲁棒特征(Speed-up robust features, SURF)[51]、雏菊花特征(DAISY)[52]等.另外, Dalal等[5]为解决静态图像中的行人检测问题而提出的梯度直方图特征(HOG), 也逐渐成为近年来最具影响的特征之一, 其改进特征主要有变尺寸梯度直方图(HOG with variable size, v-HOG)[53]、共生梯度直方图(Co-occurrence histogram of oriented gradients, CoHOG)[54]、GIST[55]等.
模式特征是通过分析图像局部区域的相对差异而得出的一种特征描述, 通常被用于对图像纹理信息的表示. 1997年, Jain等[56]将Gabor滤波器用于目标检测中, 取得了较好的检测结果. Ahonen等[57]将局部二值模式(Local binary patterns, LBP)用于人脸特征描述, 实现了对人脸的识别.其中, LBP的改进特征主要有中心对称局部二值模式(Center symmetric LBP, CS-LBP)[58]、无冗余局部二值模式(Non redundant LBP, NR-LBP)[59]等.此外, 比较常用的模式特征还有Haar-like[60]、统计变换直方图(Census transform histogram, CEN TRIST)[61]、姿态描述子(Poselets)[62]、稀疏表示目标描述(Sparselets)[63]、中层共享部分描述(Shared mid-level parts, Shufflets)[64]、局部区域描述(Re gionlets)[65]、局部组合二值(Locally assembled bi nary, LAB)[66]等.相对于梯度特征而言, 模式特征的数据维度较高, 因此, 在特征选择与分类学习时计算负担相对较大.
形状特征来源于基于模型的目标检测[67], 一般用于对目标轮廓的描述.文献[68]对形状特征提取进行了综述工作, 常见形状特征描述有形状上下文(Shape context)[69]、角矩阵[70]、k近邻分割(k adjacent segments, kAS)[71]、图形基元[72]、线描述子(Bunch of lines descriptor, BOLD)[73]、尺度不变形状特征[74]等.形状特征具有优良的尺度、旋转、平移不变特性, 可用于描述形变表观, 但其优良性能很大程度上依赖了如边界检测及分割等预处理步骤[75].另外, 许多不同类型的目标也可能会拥有相似的形状, 因此基于形状特征的检测方法在应用层面上受到了一定的限制.此外, 形状特征表达忽略了纹理和颜色等有用信息, 这在一定程度上降低了其目标检测的可靠性.
颜色特征是通过计算局部的图像属性(如灰度、颜色等)的概率分布而得到一种特征描述, 该类特征主要包括了颜色SIFT特征[76]、颜色属性(Color names)[77]、颜色共生矩阵(Color cooccurrence matrix, CCM)[78]、颜色自相似(Color self-similarity, CSS)[79]、局部自相似(Local selfsimilarity, LSS)[80]、全局自相似(Global selfsimilarity, GSS)[81]、协方差特征(Covariance feature)[82]、C-SIFT[83]、HSV颜色空间SIFT特征(HSV-SIFT)[84]、色调直方图SIFT特征(HueSIFT)[85]等.颜色特征能得到对光照不敏感的颜色表达, 近年来广泛地应用于目标检测[86]、目标跟踪[87]等任务, 取得了很好的应用效果.其中, 基于熵的显著性特征[88]通过熵值的计算来获取感兴趣区域; CCM[78]通过计算颜色的联合概率分布来获取对目标的局部表观描述; 颜色属性[77]通过将图像像素映射至相应的属性获取对目标的颜色描述, 一般需要融合梯度特征一起来对目标进行表观建模.颜色特征同时描述了视觉目标的亮度信息与彩色信息，能有效地描述颜色通道类内一致的目标, 极大地提高了视觉目标的检测精度.然而, 颜色信息及其不稳定性在一定程度上限制了颜色特征的应用, 如颜色特征不适用于对红外图像的处理.此外, 颜色特征的融合也会增加特征维数及其计算成本.总之, 颜色特征能很好地用于目标检测与跟踪任务中, 但在其使用的过程中需要适当地抑制其不稳定性.
基于人工设计的特征表达方法具有设计简单、实现容易、易于理解等优点, 受到科研人员的广泛研究与使用.近年来, 众多海内外学者以及研究机构在相关方面, 已经相继开展了许多研究工作, 取得了一系列显著的研究成果, 表 3对典型的基于人工设计的特征表达方法进行了归纳与总结.
表 3 基于人工设计的特征表达方法Table 3 Human-engineering-based feature representation methods序号 文献 典型算法 主要思想 提出年限 方法类别 1 [4] SIFT 通过获取特定关键点附近的梯度信息来描述运动目标, 具有旋转、尺度不变等优良特性, 其改进特征主要有PCA-SIFT[49]、GLOH[50]、SURF[51]、DAISY[52]等 2004 梯度特征 2 [5] HOG 通过计算空间分布区域的梯度强度及其方向信息来描述运动目标, 其改进特征主要有v-HOG[53]、CoHOG[54]、GIST[55]等 2005 3 [56] Gabor 利用Gabor滤波器对图像卷积得到, 在一定程度上模拟了人类视觉的细胞感受野机制 1997 模式特征 4 [57] LBP 通过计算像素点与周围像素的对比信息, 获得的一种对光照不变的局部描述, 其改进特征主要有CS-LBP[58]、NR-LBP[59]等 2004 5 [60] Haar-like 通过计算相邻矩形区域的像素和之差来描述线性、边缘、中心点以及对角线特征, 其改进特征主要有LAB[66]等 2001 6 [6] DPM 其实质是一种弹性形状模型, 是通过将梯度直方图(HOG)特征与Latent SVM相结合而训练得到的一种目标形状描述模型 2010 形状特征 7 [69] Shape context 通过获取形状上某一参考点与其余点的距离分布来描述目标轮廓 2002 8 [71] kAS 使用一组近似线性的线段对目标形状进行描述, 具有平移、尺度等不变特性 2008 9 [77] Color names 通过将图像像素值映射至相应的语义属性来对目标进行描述, 该特征通常包含11种语义属性, 一般需要结合梯度特征一起使用 2009 颜色特征 10 [88] 基于熵的显著性特征 通过计算图像像素的灰度概率分布来获取目标的感兴趣区域 2004 基于人工设计的特征表达充分利用了人类知识与智慧, 这类特征已经能够很好地应用于目标检测、识别等任务, 但它们对于目标的描述存在着一个“显式”的处理过程, 对目标的刻画不够本质.根据神经科学关于哺乳动物的信息表达的研究[89-90]表明, 哺乳动物大脑中关于执行识别等任务的大脑皮层并没有一个对信号进行“显式”预处理的过程, 而是将输入信号在一个大脑的复杂的层次结构中传播, 通过每一层次对输入信号进行重新提取和表达, 最终让哺乳动物感知世界.而基于学习的特征表达就是通过无监督学习的方式让机器自动地, 从样本中学习到表征样本更加本质的特征, 从而使计算机模拟人脑感知视觉信号的机制, 实现目标检测与跟踪等视觉功能.
2)基于学习的特征表达
基于学习的特征表达主要是采用无监督学习的方法, 使机器自动学习刻画样本更加本质的特征.其中, 该类方法中最常用的是基于深度学习的特征表达方法, 其通过逐层地构建一个多层网络, 使机器自动地学习隐含在数据内部的关系.基于深度学习的特征表达一直是目标检测的研究热点之一, 为了促进该领域的研究与发展, 相继出现了一系列的深度学习开源平台, 如2014年Jia等[91]使用C++搭建了用于快速特征提取的深度学习框架(Caffe), 并封装了Python和Matlab接口, 广泛用于计算机视觉、语义理解等应用中; Google在第一代深度学习系统(DistBelief)[92]的基础上对网络架构等进行优化, 推出了第二代深度学习系统(TensorFlow)[93]使其学习速度更快、精度更高, 并在2015年11月将该系统宣布开源, 支持卷积神经网络(Convolutional neural network, CNN)、递归神经网络(Recurrent neural network, RNN)以及长短期记忆单元(Long short-term memory, LSTM)等算法.此外, 使用较多的工具还有Torch7[94]、CudaConvNet[95]、MatConvNet[96]、Pylearn2[97]、Theano[98]等.
基于深度学习的特征表达按其构成单元的不同, 一般可以分为基于限制玻尔兹曼机(Restricted Boltzmann machine, RBM)[99]、基于自编码机(Auto encoder, AE)[100]和基于卷积神经网络(Convolutional neural network, CNN)[101]的特征表达方法.其中, RBM是深度置信网络(Deep belief nets, DBN)的基本单元, 基于玻尔兹曼机的特征表达通过使学习到的模型产生符合条件的样本的概率最大进行特征表达.基于自编码机的特征表达将输入信号进行编码得到表达特征, 将该特征输入解码器后得到的重构信号与原始信号满足最小残差的约束.基于卷积神经网络的特征表达通过应用不同的卷积核, 提取不同的观测特征, 同时引入了子采样过程进行特征降维.
a)基于限制玻尔兹曼机的特征表达
RBM是一个双层的无向图模型, 它是玻尔兹曼机的简化模型. RBM的示意图如图 4所示, 其中v是可见层单元, h是隐层单元, 其层内单元间没有连接关系, 层间单元呈全连接关系, 这种层间独立的条件使得RBM的训练显得十分高效[99].
将RBM逐层叠加, 就构成了DBN, 底层的输出特征作为上一层的输入信号, 对每层分别使用对比散度的方法单独进行训练. 2006年, Hinton等[99]提出了DBN的高效训练方法. Lee等[102]将卷积概念引入RBM, 提出了卷积深度置信网络(Convolutional deep belief network, CDBN)用于分层的特征表达, 得到很好的高层视觉特征.受Lee等[102]的启发, Nair等[103]将生成式梯度与判别式梯度相结合, 提出一种3阶RBM的高层模型, 用于对3D目标的识别中. Eslami等[104]将深度玻尔兹曼机(Deep Boltzmann machine, DBM)[105]引入对目标形状的描述, 提出形状玻尔兹曼机(Shape Boltzmann machine, SBM), 消除了背景中与目标形状相似的物体的干扰.
b)基于自编码机的特征表达
基于自编码机的特征表达方法通过对输入信号的自动编码, 能有效地去除冗余信息, 获取输入信号的主要信息, 使输入信号得以更加简洁的表达.自编码机的主要结构如图 5所示, 其中v是可见的输入层单元, h是特征隐层单元.将自编码机逐层堆叠, 就构成了深度自编码机(Stacked auto-encoder).与DBN一样, 深度自编码机的底层输出特征作为上一层的输入信号, 每一层单独地进行优化.
文献[106]将K均值聚类、稀疏编码、主成分分析也理解为一个自编码机. Xiong等[107]使用多堆叠自编码机(Multiple stack auto-encoders, MSAE)来模拟人类视觉, 从不同角度对识别目标进行深层特征表达. Yin等[108]采用单层的稀疏自编码机(Sparse auto-encoder, SAE)提取场景特征, 并结合SVM对场景进行分类. Bai等[109]对彩色与深度图像分别采用SAE特征表达, 并利用递归神经网络(Recurrent neural network, RNN)对学习特征进行降维, 最终学习到鲁棒的分层表达特征, 用于RGB-D图像的目标检测. Su等[110]将稀疏自编码用于深度图像中的人体检测, 学习到了能表征人体内在结构的特征.
c)基于卷积神经网络的特征表达
单层卷积神经网络包含了卷积与子采样2个过程, 其实现过程如图 6所示.其中, 卷积过程通过引入不同的卷积核提取信号的不同特征, 实现对输入信号特定模式的观测; 子采样过程主要用于对特征图的降维, 通常采用平均池化或最大值池化操作, 该过程虽然降低了特征图的分辨率, 但能较好地保持高分辨率特征图的特征描述.
为方便与前两种基本构成单元相对比, 将上述过程等价为图 7.其中, 每两个节点之间的连线, 表示从输入节点经历卷积、子采样变为输出节点的过程.根据Hubel等[111]对猫视觉皮层的研究表明, 视觉系统对外界的认知是局部感知的.受此生物学研究启发, CNN也采用了局部连接, 这与层间全连接的RBM有所不同. CNN采用这种局部连接与权值共享的思想, 极大地减少了网络参数, 加快了训练速度, 使其对网络的训练变得切实可行.
将单层卷积神经网络进行逐层堆叠, 就构成了CNN, 底层的输出特征作为上一层的输入信号. Donahue等[112]提出了深度卷积激活特征(Deep convolutional activation feature, DeCAF)用于通用的视觉识别. Girshick等[113]将大容量的卷积神经网络(CNN)应用于自下而上的区域方法, 提出了基于区域的卷积神经网络(Regions with CNN features, R-CNN), 并基于Caffe平台实现了对目标的精确检测与语义分割. Girshick等将空间金字塔池化网络(Spatial pyramid pooling based neural network, SPPNet)[114]用于R-CNN, 对其进行加速提出了Fast R-CNN[115], 在计算速度和准确度上均有所提高, 而后在此基础上又提出了Faster R-CNN[116]. Zhu等[117]将上下文信息引入深度卷积神经网络中提出了segDeepM模型, 在PASCAL VOC 2010数据集[7]上检测精度比R-CNN高4.1%. Han等[118]使用深度卷积神经网络提取特征成功用于MatchNet中.
基于学习的特征表达方法受到了广泛的关注和研究, 表 4对该类特征表达方法进行了归纳总结.与人工设计的特征相比, 由于深度学习特征是通过构建深层的网络结构, 直接从原始图像像素中提取得到, 故其将特征设计问题转换为了网络架构问题.这种自学习的方法极大地减少了不必要的特征设计细节, 同时深度神经网络的高层特征映射也显示出了一定的语义属性, 在PASCAL VOC[119]、ImageNet大规模视觉识别挑战赛(ImageNet Large Scale Visual Recognition Challenge, ILSVRC)[120]等相关国际赛事中, 基于深度学习的模型取得了最好的效果, 这都体现了深度学习的强大学习能力.虽然深度学习特征表达具有更本质的特征表现, 但由于学习深层神经网络涉及了大量的参数, 网络的训练需要大量的数据, 因此计算过程比较繁重, 需要进一步优化.
表 4 基于学习的特征表达方法Table 4 Learning-based feature representation methods1.2.2 分类器
文献[131]对现有的分类器进行了详细的阐述, 其中, 支持向量机(SVM)是使用最为广泛的分器之一.基于对本文篇幅的考量, 这里仅对SVM分类器进行简要的阐述, 对其他分类器将不作赘述, 有兴趣的读者可以参考相关文献.目前, SVM在数据分类任务上取得了很好的效果, 尤其是引入了核方法的SVM.其中, 合理的核函数选取将有效地改善分类器性能, 常用的核函数主要有Linear、Sigmoid、RBF、GussianRBF等[132].
随着时代的发展, 更多的核方法相继被提出, 如Lu等[133]将空间失配核(Spatial mismatch kernels, SMK)引入SVM对图像进行分类, Lazebnik等[134]提出了空间金字塔匹配核(Spatial pyramid matching, SPM)并将其用于自然场景分类问题. Yang等[135]通过学习过完备稀疏特征, 将稀疏编码(Sparse coding, SC)与SPM相结合提出了ScSPM方法, 使用线性SVM达到了当时最好的分类效果.然而, 稀疏编码对特征变化非常敏感[136], 且稀疏编码过程忽略了局部特征之间的相关性.针对上述问题, Gao等[137]通过引入正则化项, 保证了相似的局部特征之间稀疏编码的一致性, 提出了LScSPM方法, 使分类精度得以提升.核方法的使用使SVM分类性能得以极大提升, 然而, 其最大的优点也是其最致命的弱点, 分类器的分类性能也会极大地依赖核的选取.因此, 如何根据实际需求选取合适的核方法仍需进一步探索.
尽管基于核的SVM已广泛地应用于分类任务中, 但随着对图像分类的研究的进展, 目前所使用的视觉单词大小越来越大, 相应的图像表达数据维度与日俱增, 传统的单个分类器已经难以满足高维数据的分类要求.普遍的做法是将多个分类器集成在一起[138], 得到一个分类性能更优良的强分类器, 常用的方法主要有Bagging、Boosting以及随机森林等.然而, 集成分类器方法也存在一些问题尚未有定论, 如子分类器如何选取与组合、如何在不降低分类性能的情况下使分类器数量尽可能少等.因此, 研究子分类器模型的产生、调整以及整合, 将有助于适应高维数据的分类任务.
1.3 小结
目标检测的目的是从不同复杂程度的环境背景中分离出运动目标, 本小节按算法所处理的数据对象的不同, 将其分为基于背景建模和基于目标建模的检测方法.其中, 基于背景建模的检测方法一般具有实现简单、运算效率较高等优点, 但其适用范围比较狭小, 通常只能用在固定摄像机拍摄的场景下, 且固定场景也存在诸多干扰因素, 如光照变化、阴影、局部动态背景(摇晃的树枝、波动的水面)等, 这些因素都将极大地影响算法的性能, 给前景提取带来巨大的挑战.
基于目标建模的检测方法克服了基于背景建模的方法固定场景的缺点, 可以用于动态环境(如车载摄像头等)的目标检测, 且一般检测出的运动区域不需再度进行分割, 扩展了目标检测的应用范围.但其在应用过程中也存在诸多的挑战, 如较大的遮挡与光照变化, 较小的类间差与较大的类内差, 较大的目标形变与尺度变化, 较低的图像分辨率等.另外, 特征学习需要依赖大量的学习样本, 且不同场景需要训练不同的分类器, 在实际应用中一般较难满足实时要求.研究者仍然需要从特征表达与分类器设计上进行思考, 提高算法的精确度、鲁棒性, 同时也不能忽略算法的时效性能.目前, 在目标检测领域已经公开发布了许多可供算法评测的数据集, 表 5对典型的数据集及其特点进行了简要的归纳.
表 5 目标检测典型数据集Table 5 Typical data sets for object detection序号 参考文献 数据集名字 数据规模 是否标注 特点及描述 主页链接 发布时间 1 [139] MIT CBCL Pedestrian Database 共924张图片, 64 × 128, PPM格式 否 人体目标处于图像正中间, 且图像视角限定为正向或背向 http://cbcl.mit.edu/software-datasets/PedestrianData.html 2000 2 [140-141] USC Pedestrian Detection Test Set 共359张图片, 816个人 是 包含单视角下无遮挡、部分遮挡以及多视角下无遮挡的行人检测数据 http://iris.usc.edu/Vision-Users/OldUsers/bowu/DatasetWebpage/dataset.html 2005 / 2007 3 [5] INRIA Person Dataset 共1 805张图片, 64 × 128 是 包含了各种各样的应用背景, 对行人的姿势没有特别的要求 http://pascal.inrialpes.fr/data/human/ 2005 4 [45, 142] ChangeDetection.Net 共51段视频, 约140 000帧图片 是 包含了动态背景、目标运动、夜晚及阴影影响等多种挑战 http://changedetection.net/ 2012/2014 5 [143] Caltech Pedestrian Dataset 10小时视频, 640 × 480 是 视频为城市交通环境下驱车拍摄所得, 行人之间存在一定的遮挡 http://www.vision.caltech.edu/Image_Datasets/CaltechPedestrians/ 2009 6 [144] CVC Datasets 共9个数据集 部分标注 提供了多种应用场景, 如城市、红外等场景, 行人间存在部分遮挡 http://www.cvc.uab.es/adas/site/?q=node/7 2007/2010/2013～2015 7 [119] PASCAL VOC Datasets 共11540张图, 含20个类 是 该比赛包括分类、检测、分割、动作分类以及人体布局检测等任务 http://host.robots.ox.ac.uk/pascal/VOC/ 2005～2012 8 [120] ImageNet 共14197122张图片 是 大规模目标识别比赛, 包括目标检测、定位以及场景分类等任务 http://image-net.org/ 2010～2015 9 [145] Microsoft COCO 约328000张图片, 含91个类 是 自然场景下的图像分类、检测、场景理解等, 不仅标注了不同的类别, 还对类中个例进行了标注 http://mscoco.org/ 2014 2. 目标跟踪
运动目标跟踪问题可以等价为在连续的图像帧之间, 构建基于目标位置、速度、形状、纹理、色彩等有关特征的对应匹配问题.其一般处理流程如图 8所示, 由目标状态初始化、表观建模、运动估计及目标定位4部分组成, 其中N表示用于跟踪初始化的视频帧数.
目标状态的初始化一般采用人工标定或目标检测的方法进行实现.表观建模主要包括了对目标的视觉特征(颜色、纹理、边缘等)的描述, 以及如何度量视觉特征之间的相似性, 它是实现鲁棒跟踪的关键所在.运动估计则是采用某种运动假设来预估目标可能出现的位置, 常用的运动估计方法主要有线性回归[146]、均值漂移[147]、隐马尔科夫模型[148]、卡尔曼滤波[149]以及粒子滤波[150]等.最后, 在表观建模与运动估计的基础上, 采用某种最优化策略获取目标最可能的位置, 实现对跟踪目标的定位.
如图 8所示, 表观建模可以分为特征表达与统计建模, 关于特征表达在上一小节中已经作了详细的阐述, 这里将不再进行赘述.一般地, 目标跟踪按有无检测过程的参与, 可以分为生成式跟踪与判别式跟踪.其中, 生成式跟踪方法是在目标检测的基础上, 对前景目标进行表观建模后, 按照一定的跟踪策略估计跟踪目标的最优位置.判别式跟踪方法则是通过对每一帧图像进行目标检测来获取跟踪目标状态, 因此这类方法也常被称为基于检测的跟踪方法.
生成式跟踪方法采用一定的跟踪策略, 估计下一帧中跟踪目标的状态, 其跟踪过程与检测过程是相互独立的, 二者有一定的时间先后顺序.判别式跟踪方法将跟踪问题看作前景与背景的二分类问题, 通过学习分类器, 在当前帧中搜索与背景区分最大的前景区域, 其跟踪过程与检测过程彼此联系, 二者是同时进行的.
2.1 生成式跟踪方法
生成式跟踪方法假设跟踪目标可以由某种生成过程所描述, 其目标是从众多候选目标中寻找最优的候选目标.生成式跟踪方法的关键在于如何精确地对跟踪目标进行重构表达, 采用在线学习方法对跟踪目标进行表观建模以适应目标表观的变化, 实现对目标的跟踪.目前, 生成式表观模型的建立可以分为基于核的方法、基于子空间的方法以及基于稀疏表示的方法三类.
2.1.1 基于核的方法
基于核的方法通常采用核密度估计的方式构建表观模型, 并使用Mean shift方法[147]对运动目标位置进行估计. Comaniciu等[151]使用颜色直方图建立表观模型, 采用各向同性的核函数施加空间平滑, 通过Mean shift寻找局部极值对目标进行定位. Rahmati等[152]使用颜色直方图建立跟踪目标表观模型的同时, 对基于核的Mean shift方法进行改进, 实现了对婴儿四肢的跟踪以辅助其运动. Melzer等[153]对典型相关分析(Canonical correlation analysis, CCA)进行非线性扩展, 提出了基于核的典型相关分析(Kernel-CCA)方法用于表观模型的构建, 并将其应用于目标姿态估计与运动跟踪.
早期的基于核的方法虽然考虑了跟踪目标的颜色及灰度等信息, 但其忽略了如梯度、形状等其他重要的视觉信息, 在复杂的场景、目标的部分遮挡、快速运动以及尺度变化等情况下容易出现漂移问题.为了解决目标尺度的自适应问题, 研究者提出了一系列方法, 如Yilmaz[154]将非对称核引入Mean shift方法, 实现了对跟踪目标的尺度自适应以及方向的选择. Hu等[155]通过计算主成分的协方差矩阵来更新跟踪目标的方向, 并使用相关特征值检测目标的尺度变化, 实现了对跟踪目标尺度及方向的自适应估计.
2.1.2 基于子空间的方法
基于子空间的方法的关键在于如何构建相关的基以及它们所张成的子空间, 对目标表观进行表示. Levey等[156]与Brand[157]采用增量奇异值分解(Singular value decomposition, SVD)的方法获取子空间学习的解, 将其应用于计算机视觉处理以及音频特征提取中. De等[158]提出了一种鲁棒子空间学习(Robust subspace learning, RSL)的通用框架, 该框架适用于各类线性学习问题, 如特征分析、运动结构获取等. Li[159]结合子空间学习提出了一种增量PCA方法, 并将其推广到了鲁棒PCA方法, 极大地提高了算法效率. Skocaj等[160]将加权增量学习用于子空间学习中, 分别对人脸表观与动态背景进行建模, 均取得了较好的识别效果.
上述基于增量PCA的方法在子空间学习过程中, 样本均值不能及时地得到在线更新.针对该问题, Ross等[161]考虑了样本均值的在线更新, 其提出的跟踪算法能够增量地学习低维子空间, 在线地自适应目标表观的变化. Wang等[162]使用偏最小二乘(Partial least squares, PLS)分析来学习低维可区分的特征子空间, 通过表观模型的在线更新, 减轻了跟踪漂移问题. Li等[163]提出了一种高效的在线张量子空间学习算法, 其通过增量地学习一个低阶的张量特征子空间建立表观模型, 考虑了样本均值和特征基的自适应更新. Wen等[164]针对传统的张量表示方法易受光照变化影响的问题, 给出了一种加权张量子空间(Weighted tensor subspace, WTS)方法, 增量地学习光照变化, 适应了跟踪过程中目标表观的变化.
相对于训练数据处于同一线性子空间的子空间模型, 研究者还尝试了利用非线性子空间的方法对目标表观进行建模. Khan等[165]在Grassmann流形上对跟踪目标进行非线性动态建模, 解决了跟踪目标在部分遮挡情况下的表观模型更新问题. Chin等[166]使用核独立主成分分析(Kernel principal component analysis, KPCA)构建非线性子空间模型, 并在此基础上提出了增量计算方法, 解决了标准KPCA方法不能进行在线处理的问题.
2.1.3 基于稀疏表示的方法
基于稀疏表示的方法通常假设跟踪目标在一个由目标模板所构成的子空间内, 其跟踪结果是通过寻求与模板重构误差最小而得到的最佳候选目标. Mei等[167]通过对重构系数引入稀疏约束, 获取跟踪目标的表观模型, 实现了对目标的跟踪. Li等[168]为提高Mei等[167]的方法的时效性, 将压缩感知理论引入到跟踪目标的表观模型建立中, 极大地提高了算法速度, 达到了实时跟踪的性能要求.
在Mei等[167]的工作基础上, Jia等[169]将跟踪目标进行局部分块处理, 采用局部稀疏表示与对齐池化对目标表观建模, 其跟踪结果对局部遮挡和光照变化具有较好的鲁棒性, 极大地提高了跟踪精确. Dong等[170]将联合稀疏表示引入图像的多特征融合, 建立起对目标的多特征表观描述, 并在粒子滤波框架下进行视觉跟踪. Hu等[171]在全局模板集中引入稀疏权重约束动态选取相关模板, 将多特征联合稀疏表示用于遮挡情况下的多目标跟踪.
Zhang等[172]认为大多数基于稀疏表示的跟踪方法, 仅考虑了多特征融合或局部表观建模, 而忽略了候选目标的内在结构.为此他们提出了结构稀疏跟踪器(Structural sparse tracking, SST), 充分地利用了候选目标的内在结构及其局部分块间的空间布局信息, 极大地提高了跟踪精度. Zhong等[173]提出了基于稀疏表示混合模型的跟踪方法, 综合利用了全局模板和局部表达, 能高效地处理目标表观变化, 解决跟踪漂移问题. Bai等[174]采用块正交匹配追踪算法(Block orthogonal matching pursuit, BOMP)对结构稀疏表观模型进行求解, 降低了计算成本.
Zhang等[175]将在线学习引入稀疏表示, 分别处理跟踪过程中目标与背景的可区分性和目标表观变化的鲁棒性, 也取得了鲁棒的跟踪结果.另外, 基于字典学习的方法[176-177]也被广泛地运用于目标跟踪中.文献[10]对2013年以前的基于稀疏表示的目标跟踪方法进行了综述工作, 有兴趣的读者可以参考相关文献.
生成式跟踪方法使用了丰富的图像表示, 能精确地拟合目标的表观模型.然而, 由于实际应用中跟踪目标通常没有特定的表观形式, 因此对此类方法的正确性的验证显得极其困难.同时, 该类方法忽略了背景信息, 当场景中出现与目标表观相似的物体时, 跟踪算法极易受到干扰, 出现跟踪失败.为能充分地利用背景信息, 克服生成式跟踪方法的不足, 通常采用判别式跟踪方法.
2.2 判别式跟踪方法
判别式跟踪方法将视觉目标跟踪视为一个二分类问题, 其基本思路是寻求跟踪目标与背景间的决策边界.判别式跟踪方法通常采用在线增量学习的方法, 获取前景目标与背景的分界面, 降低计算成本, 提升计算效率.由于该方法通常是对每一帧图像进行目标检测来获取目标状态, 因此这类方法也常被称为基于检测的跟踪方法.目前, 判别式跟踪方法可以分为基于在线Boosting的方法、基于支持向量机的方法、基于随机学习的方法以及基于判别分析的方法4类.
2.2.1 基于在线Boosting的方法
基于在线Boosting的方法[178]来源于Valiant提出的PAC学习模型[179], 其基本思路是通过对弱分类器进行重新整合来提升分类性能.由于该类方法具有较强的判别学习能力, 因此其已广泛地应用于目标跟踪任务中[180].一般地, 此类算法通过自适应地选择区分性较强的特征, 根据目标的变化, 自适应地改变分类器完成跟踪任务.
Liu等[181]通过初始化一个弱分类器集合, 将梯度特征选择整合到了在线Boosting的学习框架下, 用于构建判别式表观模型, 极大地提升了算法的效率.然而, 该类方法没有考虑特征之间的相关性, 容易造成其所选特征具有极大的冗余性, 且该类方法不能较好地利用不同特征之间的互补性.解决此类问题的常见做法是为候选特征引入一个加权的策略, 对其特征进行不同程度的加权.
Avidan[182]通过对弱分类器的特征加权, 重新整合弱分类器对像素进行分类, 其最大的不足在于该方法需要对特征池中的所有特征进行计算和存储, 因此其具有较高的计算复杂度. Parag等[183]对弱分类器进行改进, 使其能自适应环境的变化, 提出了一种新的特征加权算法, 在实验中取得了较好的跟踪效果.然而, 这类特征加权的方法通常需要固定弱分类器的个数, 故其应用过程不够灵活.
实际应用中通常需要对弱分类器数量进行动态调整, 以适应表观变化下的自适应跟踪任务. Visentini等[184]将弱分类器进行动态整合, 打破了传统方法不能自适应表观变化的局限.随着研究的推进, 一些研究者开始将粒子滤波引入特征选择中, 以提高目标跟踪算法效率. Okuma等[185]将混合粒子滤波与Adaboost相结合, 提出了一种级联粒子滤波器用于多目标检测与跟踪. Wang等[186]通过在特征选择过程中嵌入粒子滤波, 同时引入Fisher判别准则在线地选取区分性强的特征, 对跟踪目标进行表观建模.
2.2.2 基于支持向量机的方法
基于SVM的方法通过引入最大化分类间隔约束, 学习到具有较强分类性能的SVM分类器, 对目标与非目标进行划分, 最终实现对运动目标的跟踪. Avidan[187]将SVM分类器与基于光流的跟踪方法相结合, 提出了支持向量跟踪器(Support vector tracking, SVT)对车辆目标进行跟踪, 并在分类阶段采用了由粗到精的方法, 解决了跟踪目标发生较大运动的问题. Williams等[188]将稀疏贝叶斯学习与基于核的SVM相结合, 提出一种概率表观模型用于目标定位. Tian等[189]通过对多个SVM分类器进行加权, 整合了多个线性SVM对目标表观进行建模, 实现了复杂场景下的目标跟踪.尽管该方法十分简单, 但由于其能高效地更新线性分类器, 且能较好地利用历史信息, 故其对较大的表观变化也具有良好的鲁棒性.
上述表观模型的更新, 通常是在上次跟踪结果附近, 启发式地获取正负样本数据进行训练得到的, 其训练样本的选取策略存在着极大的不确定性、随机性、不可靠性.为了尽可能地提高样本选取的可靠性, 研究者提出了一系列相应的策略, 可以分为基于结构化输出的策略[190]和基于Ranking SVM的策略[191]. Hare等[192]结合核SVM提出了一种基于结构化输出预测的框架(Struck), 该框架能够非常容易地整合其他附加特征以及不同的核最终提升跟踪性能. Yao等[190]针对目标形变与部分遮挡问题, 使用潜变量对未知部分进行建模, 避免了较复杂的初始化过程. Bai等[191]将跟踪问题看作弱分类器排序问题, 提出了在线拉普拉斯Ranking SVM跟踪器, 实现了对运动目标的鲁棒跟踪.
Tang等[193]提出了一种在线半监督学习框架, 使用协同训练方法进行新数据的分类以及分类器的更新, 充分地利用了无标记数据. Zhang等[194]为解决前背景分界线模糊问题, 使用了混合支持向量机(Hybrid SVMs)进行表观建模, 有效地避免了漂移问题. Zhang等[195]结合压缩感知理论与增量LS-SVM, 有效地获取了上下文信息, 提高了跟踪精度.
2.2.3 基于随机学习的方法
基于随机学习的方法[196]通过对随机特征与输入的选取建立跟踪目标的表观模型, 典型的方法主要有在线随机森林[197]、MIForests[198]与随机朴素贝叶斯[199]等.
Wang等[200]将随机森林同时用于在线学习分类与视觉目标跟踪中, 在UCI数据集2上进行实验取得了鲁棒的实验结果.与随机森林相比, 随机朴素贝叶斯在训练阶段实时性能更高. Godec等[199]利用随机朴素贝叶斯具有较低时间与空间复杂度的优点, 提出了基于随机朴素贝叶斯的目标跟踪方法, 提升了视频处理的时效性能. Leistner等[198]结合多示例学习(Multiple instance learning, MIL)分类器的优点, 提出了基于随机树的多示例学习算法(MIForests)用于表观建模.
2https://archive.ics.uci.edu/ml/datasets.html
由于随机学习的方法通常可以使用GPU实现并行加速计算, 故相比于基于在线Boosting和基于SVM的方法, 基于随机学习的方法处理速度更快、效率更高, 且易扩展到对多分类问题的处理.但由于该类方法的特征选取比较随机, 故在不同的应用环境下, 该类方法的跟踪性能不够稳定.
2.2.4 基于判别分析的方法
基于判别分析的方法的基本思路是通过寻找一个具有高类间差异的低维子空间对跟踪目标表观进行建模, 这类方法主要有线性判别分析、基于度量学习的判别分析以及基于图的判别分析方法.
线性判别分析是较简单、使用也较广泛的一种方法, Lin等[201]将目标与背景分别看作高斯分布, 提出了一种基于增量Fisher的线性判别分析的表观建模方法, 能较好地自适应目标外观及背景的变化. Nguyen等[202]对前景与背景分别进行局部纹理特征提取, 并采用线性判别分析(Linear discriminant analysis, LDA)对其进行判别跟踪, 实现了视角及光照变化下的鲁棒跟踪. Li等[203]将二维线性判别分析引入了跟踪目标的表观建模中, 并采用了矩阵形式进行计算, 极大地提高了跟踪效率.
基于度量学习的判别分析方法的基本思想是在满足样本类内距离最小、类间距离最大的约束下, 将图像原始特征空间映射至另一个可度量的空间来完成表观模型的构建. Wang等[204]将表观建模与视觉匹配看作是视觉跟踪的一个单目标优化问题, 基于度量学习提出了一种判别式表观模型用于视觉跟踪中. Tsagkatakis等[205]将在线距离度量学习(Distance metric learning, DML)与最近邻分类器相结合, 在缺少目标表观先验信息下, 实现了对运动目标的稳定跟踪.然而, 上述方法在目标或背景呈现多模态分布时, 不能很好地适用于目标跟踪任务, 解决此类问题的常用思路是首先对数据进行聚类分析, 然后在每个类上分别使用判别式分析方法进行表观模型构建. Xu等[206]采用最近邻聚类方法将数据进行了分类, 提出了自适应子类判别分析方法(Subclass discriminant analysis, SDA)解决了前背景的多模态分布问题.
基于图的判别学习方法可以分为基于图嵌入以及图直推学习的方法.其中, 基于图嵌入的方法通过将高维样本嵌入到一个具有判别能力的低维空间, 实现对运动目标的判别与跟踪. Zhang等[207]假设目标类样本近似于高斯分布, 背景类样本服从多模态分布, 使用基于图嵌入的判别分析方法来构造目标表观模型, 并结合增量学习自适应了目标表观以及光照的变化.基于图直推学习的方法通过估计候选样本属于目标类的似然概率对目标或背景进行分类.查宇飞等[208]将跟踪问题看作是一个基于图的直推学习问题, 并以正样本和候选样本为顶点建立了一张图, 同时学习目标所在的流形以及样本的聚类结构, 提出了一种基于图直推模型的跟踪方法, 对姿态、表情及光照的变化、部分遮挡等具有良好的鲁棒性.
2.3 算法评测
目前, 能用于目标跟踪评测的公开视频序列比较多3, 4, 5, 6, 表 6对比较常用的典型数据集进行了简要归纳, 并给出了相关数据集的下载链接.文献[217]在数据集VOT2015上对典型的跟踪算法进行了评测, 其评测结果如表 7所列出(性能前三的指标分别用粗体、粗体加斜体与花体显示), 所选取的评价指标共有4个, 即跟踪精度、平均失败数、重叠率以及跟踪速度.其中, 为了保证算法在不同实现平台上的速度等效, 跟踪速度指标采用文献[227]所给出的等效滤波运算(Equivalent filter operations, EFO)进行衡量.
表 6 目标跟踪典型数据集Table 6 Typical data sets for object tracking序号 参考文献 数据集 数据规模 是否标注 特点及描述 主页链接 发布时间 1 [209-210] Visual Tracker Benchmark 100段序列 是 来源于现有文献, 包括了光照及尺度变化、遮挡、形变等9种挑战 http://www.visual-tracking.net 2013 2 [211] VIVID 9段序列 是 主要任务为航拍视角下的车辆目标跟踪, 具有表观微小、相似等特点 http://vision.cse.psu.edu/data/vividEval/datasets/datasets.html 2005 3 [212] CAVIAR 28段序列 是 主要用于人体目标跟踪, 视频内容包含行走、会面、进出场景等行为 http://homepages.inf.ed.ac.uk/rbf/CAVIARDATA1/ 2003 / 2004 4 [213] BIWI Walking Pedestrians Dataset 1段序列 是 主要任务为鸟瞰视角下的行人跟踪, 可用于评测多目标跟踪算法 http://www.vision.ee.ethz.ch/datasets/ 2009 5 [214] “Central” Pedestrian Crossing Sequences 3段序列 是 行人过街序列, 每4帧标定一次 http://www.vision.ee.ethz.ch/datasets/ 2007 6 [215] MOT16 14段序列 是 无约束环境的多目标跟踪, 有不同视角、相机运动、天气影响等挑战 http://motchallenge.net/ 2016 7 [216] PETS2015 7段序列 是 关于停车场中车辆旁边不同活动序列, 可用于目标检测与跟踪、动作识别、场景分析等 http://www.pets2015.net/ 2015 8 [217] VOT Challenge 60段序列(2015年) 是 主要用于短视频跟踪算法的评测, 该比赛从2013年开始举办 http://votchallenge.net/ 2013～2015 表 7 典型跟踪算法的性能对比Table 7 Performance comparison of typical tracking algorithms序号 参考文献 跟踪器 准确度 平均失败数 平均覆盖率 速度(EFO) 时间 方法类别 1 [128] MDNet 0.60 0.69 0.38 0.87 2015 CNN 2 [129] DeepSRDCF 0.56 1.05 0.32 0.38 2015 3 [130] SODLT 0.56 1.78 0.23 0.83 2015 4 [218] SumShift 0.52 1.68 0.23 16.78 2011 核学习 5 [219] ASMS 0.51 1.85 0.21 115.09 2013 6 [217] S3Tracker 0.52 1.77 0.24 14.27 2015 7 [161] IVT 0.44 4.33 0.12 8.38 2008 子空间学习 8 [220] CT 0.39 4.09 0.11 12.90 2012 9 [221] L1APG 0.47 4.65 0.13 1.51 2012 稀疏表示 10 [222] OAB 0.45 4.19 0.13 8.00 2014 Online Boosting 11 [223] MCT 0.47 1.76 0.22 2.77 2011 12 [224] CMIL 0.43 2.47 0.19 5.14 2010 13 [225] Struck 0.47 1.61 0.25 2.44 2014 SVM 14 [217] RobStruck 0.48 1.47 0.22 1.89 2015 15 [226] MIL 0.42 3.11 0.17 5.99 2011 随机学习 3http://www.cvpapers.com/datasets.html
4http://homepages.inf.ed.ac.uk/cgi/rbf/CVONLINE/entries.pl?TAG363
5http://www.computervisiononline.com/datasets
6http://riemenschneider.hayko.at/vision/dataset/
从评测结果可以明显看到, MDNet[128]、DeepSRDCF[129]跟踪器在跟踪准确度、平均失败数以及重叠指标三个跟踪精度指标上, 分别取得了第一和第二的成绩, SODLT[130]跟踪器在跟踪准确度上与DeepSRDCF[129]跟踪器并居第二, 这三个跟踪器都采用了基于CNN的特征表达方法来对跟踪目标进行表观建模, 这说明基于学习的特征表达方法确实获得了刻画目标更加本质的特征.然而, 尽管它们个别使用了GPU进行加速, 其跟踪速度仍然是跟踪方法中最慢的一类, 其根本原因在于它们的网络架构的设计需要计算大量复杂的参数.相比而言, 基于核的跟踪方法在跟踪速度上具有较大的优势, 但其跟踪准确度稍逊于基于学习的方法.
2.4 小结
目标跟踪是在目标检测的基础上对运动目标的状态进行连续估计的过程.本小节将目标跟踪按其与检测的关系的不同分为了生成式与判别式跟踪方法, 分别对其典型方法进行了归纳与总结, 并给出了常用的评测数据集与典型算法的性能对比.其中, 生成式跟踪方法使用了丰富的图像表示, 在复杂环境中通常会得到更加精确的拟合结果.但其在参数估计上容易受到局部极值的影响, 且该类方法忽略了背景信息, 易受背景干扰, 场景中出现与目标相似的背景时容易出现跟踪漂移; 判别式跟踪方法克服了生成式跟踪方法的缺陷, 考虑了背景信息, 对较大的遮挡和变化具有更强的鲁棒性.然而, 判别式跟踪方法对训练样本的依赖程度相对较高, 样本的选取会极大地影响这类方法的性能表现.
3. 结束语
运动目标的检测和跟踪主要用于获取运动目标的位置、姿态、轨迹等基本运动信息, 是理解服务对象或对目标实施控制的前提和基础.在场景较固定、环境较简单时, 通常采用基于背景建模的方法, 就能够很好地进行运动目标的检测与跟踪任务.在动态背景下, 环境较复杂时, 一般需要对运动目标进行表观建模, 实现其检测与跟踪任务.
运动目标检测与跟踪的准确性与鲁棒性, 很大程度上依赖于精确的表观建模.传统的特征表达通常是依靠人类智慧、先验知识, 通过人工的总结设计用于视觉任务的特征, 这类特征能够较好地用于检测与跟踪任务, 且实现比较容易, 实时性能较强.近年来, 众多研究者针对人工特征的设计难度大、表现不够本质等特性, 纷纷提出了一系列基于自学习的特征, 集中体现为基于深度学习的特征.这类方法通过对样本的自学习, 获取更加本质的特征表达, 极大地提升了检测与跟踪的精度.
然而, 现有算法大多还只是停留在对特定场景下的运动目标的分析与建模, 较难实现对复杂自然环境下运动目标的精确检测与跟踪.同时, 其在算法实时性能上也较难保证.因此, 复杂自然场景下的运动目标检测与跟踪及其实时性能仍然是需要努力的目标.笔者在这里根据自己的理解总结一下目标检测与跟踪的研究热点以及发展趋势:
1)场景信息与目标状态的融合
场景信息包含了丰富的环境上下文信息, 对场景信息进行分析及充分利用, 能够有效地获取场景的先验知识, 降低复杂的背景环境以及场景中与目标相似的物体的干扰; 同样地, 对目标的准确描述有助于提升检测与跟踪算法的准确性与鲁棒性.总之, 尝试研究结合背景信息和前景目标信息的分析方法, 融合场景信息与目标状态, 将有助于提高算法的实用性能.
2)多维度、多层级信息融合
为了提高对运动目标表观描述的准确度与可信性, 现有的检测与跟踪算法通常对时域、空域、频域等不同特征信息进行融合, 综合利用各种冗余、互补信息提升算法的精确性与鲁棒性.然而, 目前大多算法还只是对单一时间、单一空间的多尺度信息进行融合, 研究者可以考虑从时间、推理等不同维度, 对特征、决策等不同层级的多源互补信息进行融合, 提升检测与跟踪的准确性.
3)基于深度学习的特征表达
基于深度学习的特征表达具有强大的分层自学习能力, 能深度地挖掘隐含在数据内部间的潜在关系.其中, 基于卷积神经网络的特征表达方法效果尤为突出, 近年来取得了显著的检测效果[126?128].同时, 深度学习框架相继开源[92?98], 为思想的碰撞与交融带来了更多可能.然而, 基于深度学习的特征表达方法也存在一些问题尚未定论, 如深度学习的层数以及隐层节点个数如何确定, 深度学习所学得特征的优劣如何评价等.因此, 对基于深度学习的特征表达方法的进一步研究可能会产生突破性成果, 最终将促进该领域的发展.
4)基于核的支持向量机分类方法
支持向量机(SVM)因其分类性能优良、操作实现简单等特性, 仍是目前倍受青睐的常用分类方法之一, 尤其是核方法的引入更使其性能得以极大提升.然而, 其最大的优点也是其最致命的弱点, 其分类性能也会极大地依赖于核的选取, 尽管目前已经开展了相当一部分的工作[133, 135, 137], 但对于不同分类任务下的核方法的选取, 仍然还没有一个普遍通用的定论.因此, 如何根据实际分类需求, 选取合适的核方法仍需进一步探索.
5)高维数据的分类方法
随着分类任务研究的发展, 分类中所使用的视觉单词的大小不断地增加, 其相应的图像表达数据维度也与日俱增, 传统的单个分类器已经难以满足高维数据的分类要求.目前, 普遍的做法是将多个分类器集成在一起, 以获取分类性能更好的强分类器.然而, 集成分类器方法也存在一些问题尚未定论, 如子分类器如何选取与组合, 如何在不降低分类性能的情况下使分类器数量尽可能少等.因此, 研究子分类器模型的产生、调整以及整合, 将有助于适应高维数据的分类任务.
- 1(Mean Square Error, MSE)=
$\frac{1}{T} \sum_{k=1}^{T}\left|(y(k)-y^*(k))\right|^{2}$ 2(Max Absolute Error, MAE)=$\max _{1 \leq k \leq T}\{|y(k)-y^*(k)|\}$ 3(Integral Absolute Error, IAE)=$\frac{1}{T} \sum_{k=1}^{T}\left|(y(k)-y^*(k))\right|$ - 1(Mean Square Error, MSE)=
-
图 5 短期经验回放对评价网络的输出值的影响
Fig. 5 The effect of short-term experience replay on critic network
图 7 HCNVI与其他ADP算法在恒定噪音输入下的对比
Fig. 7 HCNVI versu other ADP algorithms under stable noisy input
图 8 短期经验回放对HDP与HCNVI的影响
Fig. 8 The influence of short-term experience replay on HDP and HCNVI
图 9 实验一中HDP与HCNVI在时间消耗上的对比
Fig. 9 Comparison of time consuming in HDP and HCNVI in Experiment 1
图 11 HCNVI与其他ADP算法在波动噪声输入下的对比
Fig. 11 HCNVI versu other ADP algorithms under fluctuate noisy input
图 12 噪音持续变化下短期经验回放对HCNVI的影响
Fig. 12 The influence of short-term experience replay on HCNVI
图 13 实验二中HCNVI算法与HDP算法在时间消耗上的对比
Fig. 13 Comparison of time consuming in HDP and HCNVI in Experiment 2
表 1 参量定义
Table 1 Variables definition
变量 含义 量纲 初始值 补充说明 $f_{i}(t)$ 进料泵频 ${\rm Hz}$ 40 扰动量 $f_{u}(t)$ 底流泵频 ${\rm Hz}$ 85 控制量 $f_{f}(t)$ 絮凝剂泵频 ${\rm Hz}$ 40 控制量 $c _ { i } ( t )$ 进料浓度 ${\rm kg/m^3}$ 73 扰动量 $h(t)$ 泥层高度 ${\rm m}$ 1.48 状态量 $c_u(t)$ 底流浓度 ${\rm kg/m^3}$ 680 目标量 
下载: 导出CSV
表 2 仿真模型常量
Table 2 Definitions for constant variables
变量 含义 量纲 参考值 $\rho _s$ 干砂密度 ${\rm kg/m^3}$ 4150 $\rho _e$ 介质表观密度 ${\rm kg/m^3}$ 1803 $\mu _ { e }$ 悬浮体系的表观粘度 ${\rm Pa \cdot s}$ 1 $d_0$ 进料颗粒直径 ${\rm m}$ 0.00008 $p$ 平均浓度系数 无 0.5 $A$ 浓密机横截面积 ${\rm m^2}$ 300.5 $k_s$ 絮凝剂作用系数 ${\rm s/m^2}$ 0.157 $k_i$ 压缩层浓度系数 ${\rm m^3/s}$ 0.0005×3600 $K_i$ 进料流量与进料泵频的系数 ${\rm m^3/r}$ 50/3600 $K_u$ 底流流量与底流泵频的系数 ${\rm m^3/r}$ 2/3600 $K_f$ 絮凝剂流量与絮凝剂泵频的系数 ${\rm m^3/r}$ 0.75/3600 $\theta$ 压缩时间 ${\rm s}$ 2300
下载: 导出CSV
表 3 部分变量计算方法
Table 3 Definitions for part intermediate variables
变量 含义 公式 $q_i(t)$ 进料流量 $q _ { i } ( t ) = K _ { i } f _ { i } ( t )$ $q_u(t)$ 底流流量 $q _ { u } ( t ) = K _ { u } f _ { u } ( t )$ $q_f(t)$ 絮凝剂添加量 $q _ { f } ( t ) = K _ { f } f _ { f } ( t )$ $d(t)$ 絮凝作用后的颗粒直径 $d ( t ) = k _ { s } q _ { f } ( t ) + d _ { 0 }$ $u_t(t)$ 颗粒的干涉沉降速度 $u _ { t} ( t ) = \dfrac { d ^ { 2 } ( t ) \left( \rho _ { s } - \rho _ { e } \right) g } { 18 \mu _ { e } }$ $u_r(t)$ 底流导致的颗粒下沉速度 $u _ { r } ( t ) = \dfrac { q _ { u } ( t ) } { A }$ $c_l(t)$ 泥层高度处单位体积含固量 $c _ { l } ( t ) = k _ { i } q _ { i } ( t ) c _ { i } ( t )$ $c_a(t)$ 泥层界面内单位体积含固量 $c _ { a } ( t ) = p \left[ c _ { l } ( t ) + c _ { u } ( t ) \right]$ $r(t)$ 泥层内液固质量比 $r(t)=\rho_{l}\left(\dfrac{1}{c_ a(t)}-\frac{1}{\rho_s}\right)$ $W ( t )$ 单位时间进入浓密机内的固体质量 $W ( t ) = c _ { i } (t ) q _ { i } ( t )$
下载: 导出CSV
表 4 不同控制算法之间性能分析
Table 4 Performances analysis of different algorithms
实验组 实验1 实验2 对比指标 MSE1 MAE2 IAE3 MSE MAE IAE HDP 414.182 141.854 7.246 6 105.619 275.075 54.952 DHP 290.886 109.312 5.392 732.814 96.145 16.560 ILPL 364.397 135.474 8.289 2 473.661 211.615 35.222 HCNVI 44.445 66.604 3.867 307.618 76.176 12.998
下载: 导出CSV
-
[1] Shen Y, Hao L, Ding S X. Real-time implementation of fault tolerant control systems with performance optimization. IEEE Trans. Ind. Electron, 2014, 61(5): 2402−2411 doi: 10.1109/TIE.2013.2273477 [2] Kouro S, Cortes P, Vargas R, Ammann U, Rodriguez J. Model predictive control — A simple and powerful method to control power converters. IEEE Trans. Ind. Electron, 2009, 56(6): 1826−1838 doi: 10.1109/TIE.2008.2008349 [3] Dai W, Chai T, Yang S X. Data-driven optimization control for safety operation of hematite grinding process. IEEE Trans. Ind. Electron, 2015, 62(5): 2930−2941 doi: 10.1109/TIE.2014.2362093 [4] Wang D, Liu D, Zhang Q, Zhao D. Data-based adaptive critic designs for nonlinear robust optimal control with uncertain dynamics. IEEE Trans. Syst., Man, Cybern., Syst., 2016, 46(11): 1544−1555 doi: 10.1109/TSMC.2015.2492941 [5] Sutton S R, Barto G A. Reinforcement Learning: An Introduction. Cambridge: MIT Press, 2nd edition, 2018. [6] Lewis F L, Vrabie D, Syrmos V L. Optimal Control. New York, USA: John Wiley & Sons, Hoboken, 3rd Edition, 2012. [7] Prokhorov V D, Wunsch C D. Adaptive critic design. IEEE Transactions on Neural Networks, 1997, 8(5): 997−1007 doi: 10.1109/72.623201 [8] Werbos P J. Foreword - ADP: the key direction for future research in intelligent control and understanding brain intelligence. IEEE Transactions on Systems, Man, and Cybernetics, Part B (Cybernetics)., 2008, 38(4): 898−900 doi: 10.1109/TSMCB.2008.924139 [9] 段艳杰, 吕宜生, 张杰, 赵学亮, 王飞跃. 深度学习在控制领域的研究现状与展望. 自动化学报, 2016, 42(5): 643−654Duan Yan-Jie, Lv Yi-Sheng, Zhang Jie, Zhao Xue-Liang, Wang Fei-Yue. Deep learning for control: the state of the art and prospects. Acta Automatica Sinica, 2016, 42(5): 643−654 [10] Liu Y-J, Tang L, Tong S-C, Chen C L P, Li D-J. Reinforcement learning design-based adaptive tracking control with less learning parameters for nonlinear discrete-time MIMO systems. IEEE Transactions on Neural Networks and Learning Systems, 2015, 26(1): 165−176 doi: 10.1109/TNNLS.2014.2360724 [11] Liu L, Wang Z, Zhang H. Adaptive fault-tolerant tracking control for MIMO discrete-time systems via reinforcement learning algorithm with less learning parameters. IEEE Transactions on Automation Science and Engineering, 2017, 14(1): 299−313 doi: 10.1109/TASE.2016.2517155 [12] Xu X, Yang H, Lian C, Liu J. Self-learning control using dual heuristic programming with global laplacian eigenmaps. IEEE Transactions on Industrial Electronics, 2017, 64(12): 9517−9526 doi: 10.1109/TIE.2017.2708002 [13] Wei Q-L, Liu D-R. Adaptive dynamic programming for optimal tracking control of unknown nonlinear systems with application to coal gasification. IEEE Transactions on Automation Science and Engineering, 2014, 11(4): 1020−1036 doi: 10.1109/TASE.2013.2284545 [14] Jiang Y, Fan J-L, Chai T-Y, Li J-N, Lewis L F. Data-driven flotation industrial process operational optimal control based on reinforcement learning. IEEE Transactions on Industrial Informatics, 2017, 14(5): 1974−1989 [15] Jiang Y, Fan J-L, Chai T-Y, Lewis L F. Dual-rate operational optimal control for flotation industrial process with unknown operational model. IEEE Transactions on Industrial Electronics, 2019, 66(6): 4587−4599 doi: 10.1109/TIE.2018.2856198 [16] Modares H, Lewis F L. Automatica integral reinforcement learning and experience replay for adaptive optimal control of partiallyunknownconstrained-input. Automatica, 2014, 50(1): 193−202 doi: 10.1016/j.automatica.2013.09.043 [17] Mnih V, Silver D, Riedmiller M. Playing atari with deep reinforcement learning. In: Procedings of the NIPS Deep Learning Workshop 2013, Lake Tahoe, USA: NIPS 2013, 1−9 [18] Wang D, Liu D R, Wei Q L, Zhao D B, Jin N. Automatica optimal control of unknown nonaffine nonlinear discrete-time systems basedon adaptive dynamic programming. Automatica, 2012, 48(8): 1825−1832 doi: 10.1016/j.automatica.2012.05.049 [19] Chai T Y, Jia Y, Li H B, Wang H. An intelligent switching control for a mixed separation thickener process. Control Engineering Practice, 2016, 57: 61−71 doi: 10.1016/j.conengprac.2016.07.007 [20] Kim B H, Klima M S. Development and application of a dynamic model for hindered-settling column separations. Minerals Engineering, 2004, 17(3): 403−410 doi: 10.1016/j.mineng.2003.11.013 [21] Wang L Y, Jia Y, Chai T Y, Xie W F. Dual rate adaptive control for mixed separationthickening process using compensation signal basedapproach. IEEE Transactions on Industrial Electronics, 2017, PP: 1−1 [22] 王猛. 矿浆中和沉降分离过程模型软件的研发. 东北大学, 2011Wang Meng. Design and development of model software of processes of slurry neutralization, sedimentation and separation. Northeastern University, 2011 [23] 唐谟堂. 湿法冶金设备. 中南大学出版社, 2009Tang Mo-Tang. Hydrometallurgical equipment. Central South University, 2009 [24] 王琳岩, 李健, 贾瑶, 柴天佑. 混合选别浓密过程双速率智能切换控制. 自动化学报, 2018, 44(2): 330−343Wang Lin-Yan, Li Jian, Jia Yao, Chai Tian-You. Dual-rate intelligent switching control for mixed separation thickening process. Acta Automatica Sinica, 2018, 44(2): 330−343 [25] Luo B, Liu D R, Huang T W, Wang D. Model-free optimal tracking control via critic-only Q-learning. IEEE Transactions on Neural Networks and Learning Systems, 2016, 27(10): 2134−2144 doi: 10.1109/TNNLS.2016.2585520 [26] Padhi R, Unnikrishnan N, Wang X H, Balakrishnan S N. A single network adaptive critic (SNAC) architecture for optimal controlsynthesis for a class of nonlinear systems. Neural Networks, 2006, 19(10): 1648−1660 doi: 10.1016/j.neunet.2006.08.010 期刊类型引用(15)
1. 袁子淇，黄腾龙，林敏，杨双有，陈久吾. 基于PSO-SVM的尾砂仓储浓密机放砂稳定性分析. 矿业研究与开发. 2025(01): 95-102 . 
百度学术2. 贾润达，李志奇，张树磊，何大阔，李康，王福利. 基于混合整数线性规划的浓密脱水过程协调优化. 控制与决策. 2024(04): 1281-1287 . 百度学术3. 鲁剑波，梅洋洋. 基于强化学习的煤矿矿井通风系统设计与实现. 自动化应用. 2024(24): 73-75 . 百度学术4. 赵建国，杨春雨. 复杂工业过程非串级双速率组合分散运行优化控制. 自动化学报. 2023(01): 172-184 . 本站查看5. 李金娜，袁林，丁进良. 不确定工业过程运行指标异步更新强化学习决策算法. 自动化学报. 2023(02): 461-472 . 本站查看6. 王增加，寇云鹏，吴再海，盛宇航，王鹏涛. 浓密机耙架扭矩双重模糊PID控制系统研究与应用. 有色金属工程. 2023(07): 128-133 . 百度学术7. 杨加秀，李新凯，张宏立，王昊. 基于积分强化学习的四旋翼无人机鲁棒跟踪. 兵工学报. 2023(09): 2802-2813 . 百度学术8. 余运俊，龚海，龚汉城，陈敏，王忠阳，杨林锋. 基于Q-learning的碳-电联合套利策略. 实验室研究与探索. 2023(08): 93-98+110 . 百度学术9. 白涛，董勤浩，冯梓昆，李雪华. 基于强化学习的水下高速航行体纵向运动控制研究. 智能系统学报. 2023(05): 902-916 . 百度学术10. 王睿，孙秋野，张化光. 微电网的电流均衡/电压恢复自适应动态规划策略研究. 自动化学报. 2022(02): 479-491 . 本站查看11. 贺俊杰，张洁，张朋，汪俊亮，郑鹏，王明. 基于长短期记忆近端策略优化强化学习的等效并行机在线调度方法. 中国机械工程. 2022(03): 329-338 . 百度学术12. 杨莹，吴爱祥，王先成，王国立，刘伟涛. 基于GA-BP神经网络的尾砂浓密多目标精准预测. 采矿技术. 2022(02): 143-148 . 百度学术13. 李潇睿，班晓娟，袁兆麟，乔浩然. 工业场景下基于深度学习的时序预测方法及应用. 工程科学学报. 2022(04): 757-766 . 百度学术14. 严家政，专祥涛. 基于强化学习的参数自整定及优化算法. 智能系统学报. 2022(02): 341-347 . 百度学术15. 富月，陈威. 具有解耦性能的离散时间线性多变量系统最优跟踪控制. 自动化学报. 2022(08): 1931-1939 . 本站查看其他类型引用(6)
-
下载:
计量
- 文章访问数: 6486
- HTML全文浏览量: 1573
- PDF下载量: 471
- 被引次数: 21
