-
摘要: 深度学习在特征提取与模型拟合方面显示了其潜力和优势. 对于存在高维数据的控制系统, 引入深度学习具有一定的意义. 近年来, 已有一些研究关注深度学习在控制领域的应用. 本文介绍了深度学习在控制领域的研究方向和现状, 包括控制目标识别、状态特征提取、系统参数辨识和控制策略计算. 并对相关的深度控制以及自适应动态规划与平行控制的方法和思想进行了描述. 总结了深度学习在控制领域研究中的主要作用和存在的问题, 展望了未来值得研究的方向.Abstract: Deep learning has shown great potential and advantage in feature extraction and model fitting. It is significant to use deep learning for control problems involving high dimension data. Currently, there have been some investigations focusing on deep learning in control. This paper is a review of related work including control object recognition, state feature extraction, system parameter identification and control strategy calculation. Besides, this paper describes the approaches and ideas of deep control, adaptive dynamic programming and parallel control related to deep learning in control. Also, this paper summarizes the main functions and existing problems of deep learning in control, presents some prospects of future work.
-
Key words:
- Deep learning /
- control /
- feature /
- adaptive dynamic programming (ADP)
-
近年来,深度学习(Deeplearning)[1]在学术界和工业界发展迅猛.它在很多传统的识别任务上取得了识别率的显著提升[2],显示了其处理复杂识别任务的能力,吸引了大批学者研究其理论和应用.许多领域开始尝试利用深度学习解决本领域的一些问题. 在控制领域,关于深度学习的研究已初现端倪.本文在概述深度学习的主要思想和方法的基础上,阐述深度学习在控制领域的研究现状,回顾相关的深度网络与深度控制的研究内容,介绍深度学习在控制领域常用的结合方法:自适应动态规划及其拓展平行控制.综合以上内容提出深度学习在控制领域的研究展望.
1. 深度学习概述
深度学习源于神经网络的研究,可理解为深层的神经网络.通过它可以获得深层次的特征表示,免除人工选取特征的繁复冗杂和高维数据的维度灾难问题.目前较为公认的深度学习的基本模型包括基于受限玻尔兹曼机(RestrictedBoltzmann machine,RBM)的深度信念网络(Deep belief network,DBN)[3-4]、基于自动编码器(Autoencoder,AE)的堆叠自动编码器(Stacked autoencoders,SAE)[5]、卷积神经网络(Convolutional neural networks,CNN)[6]、递归神经网络(Recurrent neural networks,RNN)[7].为便于清楚地阐述深度学习在控制领域的研究现状,本节将概述以上四种深度学习模型的主要思想和方法.关于深度学习的更多内容,参见深度学习领域的综述[1, 8-11].
1.1 DBN
基于RBM的DBN由多个RBM堆叠而成,其结构如图 1所示. 网络前向运算时,输入数据从低层RBM输入网络,逐层向前运算,得到网络输出. 网络训练过程,不同于传统的人工神经网络(Artificial neural network),分为两个阶段:预训练(Pre-training)和全局微调(Fine tuning). 预训练阶段,从低层开始,每个RBM 单独训练,以最小化RBM的网络能量为训练目标.低层RBM训练完成后,其隐层输出作为高层RBM的输入,继续训练高层RBM.以此类推,逐层训练,直至将所有RBM 训练完成. 预训练阶段,只使用了输入数据,没有使用数据的标签,属于无监督学习(Unsupervisedlearning). 全局微调阶段,以训练好的RBM之间的权重和偏置作为深度信念网络的初始权重和偏置,以数据的标签作为监督信号计算网络误差,利用BP (Back propagation)算法计算各层误差,使用梯度下降法完成各层权重和偏置的调节. DBN可用于特征提取和数据分类等.
1.2 SAE
类似于DBN,SAE由多个AE堆叠而成,其结构如图 2所示. SAE 前向计算类似于DBN,其训练过程也分为预训练和全局微调两个阶段. 不同于RBM的是,AE之间的连接是不对称的. 每个AE 可视为一个单隐层的人工神经网络,其输出目标即此AE 的输入. 在预训练阶段,从低层开始,每个AE单独训练,以最小化其输出与输入之间的误差为目标. 低层AE 训练完成后,其隐层输出作为高层AE 的输入,继续训练高层AE. 以此类推,逐层训练,直至将所有AE训练完成. 同样地,SAE的预训练阶段也只使用了输入数据,属于无监督学习. 在全局微调阶段,以训练好的AE 的输入层和隐层之间的权重和偏置作为堆叠自动编码器的初始权重和偏置,以数据的标签作为监督信号计算网络误差,利用BP算法计算各层误差,使用梯度下降法完成各层权重和偏置的调节.
1.3 CNN
CNN由卷积层和次采样层(也叫Pooling层)交叉堆叠而成,其结构如图 3[6]所示. 网络前向计算时,在卷积层,可同时有多个卷积核对输入进行卷积运算,生成多个特征图,每个特征图的维度相对于输入的维度有所降低. 在次采样层,每个特征图经过池化(Pooling)得到维度进一步降低的对应图.多个卷积层和次采样层交叉堆叠后,经过全连接层到达网络输出.网络的训练类似于传统的人工神经网络训练方法,采用BP算法将误差逐层反向传递,使用梯度下降法调整各层之间的参数.CNN可提取输入数据的局部特征,并逐层组合抽象生成高层特征,可用于图像识别等问题.
1.4 RNN
无论是DBN和SAE还是CNN,都没有考虑样本之间的关联问题.RNN则考虑了样本之间的关联关系,将这种关联关系以神经网络之间的连接体现出来. 一般情况下,单向RNN[12] 中,如图 4所示,单个神经网络的隐层连接至下一个神经网络的隐层.这种连接方式考虑了前面样本对后面样本的影响.还有一种双向RNN[13]的连接方式,单个神经网络的隐层连接了其前后神经网络的隐层.这种连接方式考虑了前后样本对当前样本的影响.一般认为RNN的各个神经网络具有相同的权重和偏置. RNN 训练时,可使用RBM或者AE对其进行预训练来初始化网络参数,然后计算每个样本的输出误差,并以累计误差训练网络参数. RNN可用于处理时序数据或者前后关联数据. RNN 还可以和CNN 结合使用,处理考虑样本之间相关性的问题.
2. 深度学习在控制领域的研究现状
深度学习在控制领域的研究已初现端倪. 就已有的研究报道,目前的研究主要集中在控制目标识别、状态特征提取、系统参数辨识、控制策略计算等方面.尤其是深度学习和强化学习的结合已经产生了令人振奋的研究成果.如图 5所示,深度学习在控制系统的各环节均有应用研究,本节从控制系统的角度分类,从四个方面介绍深度学习在控制领域的研究现状.
2.1 控制目标识别
在传统的控制系统中,控制目标一般以给定量的形式直接给出.而在智能控制系统中,控制目标有时并不明确或者不能直接得到.就已有研究深度学习进行控制目标识别的报道,在先进机械手抓取系统[14]中,系统首先需要检测被抓取物的位置、识别被抓取物并估计其姿态以确定机械手需要到达的位置和角度.本节以此为例说明深度学习在控制目标识别中的作用.
图 6[14]显示了先进机械手抓取系统的流程.输入数据是颜色深度图. 在物体检测过程中,系统利用前景背景分割技术检测出物体位置.然后从图片中分割出包含物体的统一大小图片.在物体识别和姿态估计过程中,获取的统一大小图片输入CNN网络,经过前向计算在网络输出端获得物体的类别.该类别信息包含了物体的种类和姿态. 最后,机械手按照规划的路径到达物体上方,调整夹持器的姿态,使得其姿态符合物体的姿态,然后执行抓取动作.
从系统流程可以看出,深度学习作用于物体识别和姿态估计过程. 具体地,使用了CNN 网络进行分类.网络的输出类别按照选取的 $n$ 种物体不同角度的姿态进行区分,第 $i$ 种物体有 $c_i$ 种姿态,那么输出的类别总数为 $C = \sum\nolimits_{i = 1}^n {{c_i}} $ ,即CNN网络的输出层节点个数. 网络的输入是统一大小的图片,以二维矩阵的方式输入网络. 所使用的CNN通过卷积层和次采样层交叉堆叠的方式建立特征提取的网络,然后通过全连接层连接到输出层建立分类器. 网络结构建立后,收集一定数量具有类别标记的图片样本,一部分用于训练网络参数,剩余部分用于测试网络性能. 经过迭代训练,获取训练完成的CNN 网络.当有新的图片样本输入网络时,网络经过前向计算,输出图片中物体的类别,包括物体的种类和姿态. 机械手获取物体类别后,在执行抓取动作之前,将夹持器调整到和物体的姿态相一致的状态,以完成抓取动作. 在这个系统中,机械手抓取之前需要达到的姿态为机械手控制系统的控制目标,此控制目标由物体的种类和姿态决定,所以采用深度学习进行物体分类实质上在控制系统中起到了控制目标识别的作用.至于机械手如何达到控制目标则由系统的控制器决定.
2.2 状态特征提取
现代控制理论引入了状态空间的概念,以系统的状态为基础进行分析与综合. 在基于视觉的控制系统中,系统状态由图片体现,其维度高,不容易进行人工特征抽取,不利于系统的分析综合与控制.而深度学习十分适合对图片数据进行降维与特征抽取,所以深度学习在基于视觉的控制系统中研究较多. 基于视觉的控制系统中,深度学习多与强化学习方法结合,使得系统能够根据深度学习提取的特征给出控制策略.在深度学习用于控制系统状态特征提取的研究中,Lange等[15-16] 利用SAE进行特征提取; Mnih等[17]则利用CNN 进行特征提取. 无论采用哪种深度学习模型,其思想基本一致,以下以Atari游戏系统[17-18]为例介绍深度学习在状态特征提取中的作用.
Atari是一款计算机游戏,玩家通过计算机屏幕显示的游戏场景,决策执行的游戏动作,获得游戏得分的变化.在使用深度学习进行Atari游戏的系统中,游戏场景以图片的形式输入CNN网络,CNN网络和 $Q$ 网络连接,游戏动作的决策是最终的输出,系统结构如图 7所示. 其中, $Q$ 网络是用于获得系统预期回报函数的网络.在这个系统中,可执行的动作集合包含有限个游戏动作元素,而状态集合包含无限个场景状态元素.评价网络的输出层节点个数为可执行的游戏动作个数,每个节点的输出即在输入场景下采用该节点所代表动作的预期回报.系统选择评价网络输出节点中预期回报最高的节点所代表的游戏动作执行.Atari 游戏执行了游戏动作后,更新游戏场景图像并得到一个强化信号.
整个网络的权重参数根据强化学习的方法进行训练,具体的训练方法和技巧不在本文介绍的范围,这里仅说明其主要思想.当前时刻的预期回报一方面是当前时刻来自于游戏的强化信号与下一时刻来自于网络的最高预期回报之和,另一方面也是当前时刻来自于网络的最高预期回报,二者之间的差距即整个网络的损失函数,训练的目标是最小化该损失函数.由此,网络获得了可传递的误差用于网络参数的训练. 据报道,该系统在实验中的多个游戏任务上超越了人类的水平.
2.3 系统参数辨识
系统辨识是现代控制理论的重要研究内容,它根据系统输入输出来确定描述系统的模型. 对于复杂的非线性动态系统,其模型难以用线性函数或者根据先验知识建立.而神经网络具有拟合复杂非线性函数的能力,可以用于系统辨识.但浅层神经网络在训练中容易受到局部最优等问题的影响,有时并不能准确描述动态系统.深度学习的发展给解决这一问题带来了启发.已经有部分研究专注于利用深度学习的方法进行系统辨识.由于系统模型由深度神经网络代替,系统辨识任务就转变成深度神经网络的参数优化,故而称这类任务为系统参数辨识.
使用深度学习进行系统参数辨识的控制系统一般涉及模型预测控制.模型预测控制的主要思想是在每个时刻基于系统当前状态和预测模型,计算出系统未来一段时间的最优控制序列,并执行序列的首个控制策略.其中,预测模型使用深度学习实现. 这类研究中,直升机动态模型[19]使用深度ReLU 网络模型拟合,主要思想是利用历史一段时间的数据预测未来时刻的加速度.切割机器人[20]考虑了系统状态在时间序列上的相关性,使用RNN构建系统动态模型,利用历史时间窗的系统状态预测未来时间窗的系统状态.车杆摆动系统[21]使用深度神经网络拟合系统动态模型,利用当前时刻的状态和控制输入预测下一时刻状态与当前时刻状态的差值.
值得一提的是,在车杆摆动系统中,深度网络经过训练能够拟合系统动态模型后,在输出端引入一个新的节点代表预期回报函数. 这样,深度网络同时表达了系统动态模型和动作评价函数.如图 8[20]所示, $s_{t}$ 表示系统在 $t$ 时刻的状态, $a_{t}$ 表示系统在 $t$ 时刻采取的动作, $Q(s_{t},a_{t})$ 表示系统在状态 $s_{t}$ 下,执行动作 $a_{t}$ 所得的预期回报函数. 网络训练思路是,先忽略输出端的 $Q$ 函数,采用随机初始化的状态和任意动作产生一系列 $(s_{t},a_{t},s_{t+1}-s_{t})$ 用于拟合系统动态模型.然后忽略输出端的 $s_{t+1}-s_{t}$ ,按照强化学习的方法,每一步执行最优的动作并且根据每一步产生的回报训练 $Q$ 网络.这种训练方法基于一个基本假设,那就是对于状态预测有效的隐层特征有助于预期回报函数的预测.用深度网络拟合系统动态模型的步骤相当于对 $Q$ 网络的预训练,这一步不需要考虑回报. 实验证明,经过预训练的 $Q$ 网络能够比直接使用强化学习训练的 $Q$ 网络更快达到较好优化水平.
2.4 控制策略计算
在单输出控制系统中,控制策略指的是单一的控制量.而在智能控制系统中,控制策略除了指单一控制量之外,也可以指一串动作或一个决策. 对于传统的控制器而言,需要获取给定量和系统输出之间的差,从而计算控制策略.而对于智能控制系统而言,控制器获取系统状态进行控制策略计算.经典的PID控制从系统机理出发设计控制器,而深度神经网络是一个需要监督信号进行训练的模型.所以深度学习在控制策略计算方面的研究也主要集中在有监督信号的情形.
此类研究中,有利用深度学习模型拟合PID控制器的报道[22].其主要思想是对于一个线性定常系统,首先设计一个能够满足控制要求的PID控制器. 然后以DBN 网络替代PID控制器. DBN 网络的参数由PID 控制器的输入输出数据训练. 训练后的DBN网络的输入是原来PID 控制器的输入,经过前向计算的网络输出替代原来PID 的输出作为控制量.这项工作虽然没有说明深度学习用于此处的必要性和优势,但是却证明了深度学习可以用于控制策略计算.有研究比较单层网络、多层网络和RNN网络分别用于粗糙地形运动系统[23]. 在这项研究中,网络使用状态作为输入,动作作为输出. 而训练则采用引导策略搜索法,需要的监督信号来源于已有的范例.网络从已有的成功的运动范例中采样其状态动作样本,用于网络训练. 此研究的实验结果表明多层网络或RNN网络需要更多的训练样本才能达到比较好的性能,而随着样本数目的增加,二者的表现性能都有超越单层网络的趋势.训练好的网络对于新的状态输入,能够通过前向计算给出需要执行的动作,即本系统的控制策略. 在运动控制函数[24]的研究中,使用深度网络计算从初始状态到目标状态的控制指令序列和状态轨迹序列.其中,初始状态和目标状态作为网络的输入,控制指令序列和状态轨迹序列作为网络的输出.
比较特别的是,在运动控制函数的研究中,输入数据的维度远小于输出数据的维度. 研究中首先使用SAE对输出数据进行降维. 降维过程中逐层训练AE 的阶段,不同于一般的从底层开始逐层训练的方法,这项研究从最顶层开始逐层训练AE. 如图 9所示,高层AE 训练完后,其隐层输出作为低层AE 的输入,继续训练低层AE. SAE训练完成后,得到从低维特征到输出控制和轨迹序列的网络,这里需要注意的是此网络取自SAE 的上半部分.然后使用神经网络将系统输入端连接至已经训练好的网络.最后使用随机的到达样本对整个网络进行训练,每个到达样本包含运动的初始状态、目标状态和从初始状态到目标状态的轨迹.训练好的网络对于一个输入的初始状态和目标状态,经过前向计算输出控制指令和运动轨迹序列.
3. 深度网络与深度控制
早在深度学习出现之前,就有学者曾利用多层神经网络实现一种自适应模糊逻辑控制系统[25].从今天的角度看,可以称为深度模糊控制网络. 另外,Saridis及合作者在研究智能机控制理论的过程中,曾采用玻尔兹曼机的结构和最小化网络能量的方法用于智能机的“组织”阶段,即获取最优任务(动作)序列[26-27].这些方法、思想和当前的深度学习方法具有一定的相似性和不同之处.期望本节的介绍能够拓宽深度学习在控制领域的研究思路,激发深度学习在控制领域的研究灵感.
3.1 深度模糊控制网络
深度模糊控制网络系统的目标是开发一种基于模糊逻辑和神经网络实现拟人控制的方法,该方法主要针对这样一类系统:构建数学模型不可行或难以实行;熟练操作人员的知识可用于实现控制目的.因此人类控制涉及的知识表示和知识进化在此系统中均有体现. 如图 10所示,该系统包含3类子网络: SN、RN和CN,分别用于模式识别、模糊推理和控制合成.
模式识别神经网络实现输入信号的模糊化. 具体地,将输入信号通过隶属度函数映射为模糊语义项的隶属度. 图 10的示例中,有两个输入信号,每个信号分别对应三个模糊语义项.此处的模糊语义项描述了信号模式. 语义项的隶属度在0到1之间,表示输入信号符合语义项描述的程度. SN被训练以替代隶属度函数.输入信号的模糊化完成后,语义项及其隶属度作为输入进入模糊推理神经网络.该子网络运用规则集(知识库)进行模糊推理. 具体地,利用满足输入信号模糊语义项的规则进行推理,计算出每条决策规则的耦合强度. 图 10的示例中,有九条决策规则,每条规则遵循if-then的决策模式. 每条规则对应一个RN.对于一个输入信号,每条规则的条件只含有其一个模糊语义项.所以对于图 10 的示例,每个RN的输入是两个模糊语义项,分别来源于两个不同的SN. 每个RN 被训练以替代规则集中的决策规则.RN输出规则的耦合度作为控制合成神经网络的输入,此网络利用一系列步骤和控制模糊语义项的隶属度函数输出最终的控制量.这些步骤包括单个规则的推理,产生模糊控制量和解模糊.这些步骤均使用CN网络替代完成. SN、RN和CN 网络构造完成后,可以连接成如图 10所示的深度模糊控制网络,在3个子网络分别训练的基础上进行全局训练,进一步优化控制效果.深度模糊控制网络能够实现从采集状态信号到输出控制变量的全过程,更具体的过程参见文献[25],此处不再赘述.
文献[28] 曾试图利用Memetic进化计算推广Neuro-fuzzy网络,并将中间节点值抽取出来,组成基于规则的决策系统,通过语言动力学系统进行描述[29-30],实现从数计算到词计算之间的转换. 这种方法可用于“当地简单,远程复杂”的网络化深度学习的硬件实现.能有效结合在线的实时决策与远程的云计算,从而低成本地提高系统性能.
通过对以上方法的介绍,我们可以发现,此方法和现在的深度学习方法既有共通之处又有不同特点.二者从整体上看都是多层神经网络结构,均是由不同的神经网络模块组合而成.二者都可以采用预训练和全局微调的训练过程. 不同的是,前者可采用并行的方式对3个子网分别训练,而后者需采用串行的方式逐层训练. 前者将人类知识以规则的形式嵌入网络,子网训练过程使用了这些规则提供的启发式信息.后者在子网训练过程中一般采用自动训练的方法,减少人为干预.对于网络结构和训练结果,前者可解释其含义,后者则不可解释.深度模糊控制网络最大的特点是包含知识结构,网络结构融合了知识表示,训练学习过程蕴含了知识进化.
3.2 智能机的组织
Saridis开发了一种分层递阶智能控制方法,将智能机的控制分为3个阶段:组织、协调和执行[31]. 其中,组织阶段负责智能机的任务规划,主要问题是对期望的动作构建最小化熵的正确任务序列. Saridis及合作者利用玻尔兹曼机建立了熵的解析方法来衡量任务序列的正确性.
玻尔兹曼机的构建方法:输入节点表示期望的目标;输出节点表示为满足目标智能机需要执行的任务序列;隐藏节点使得输入和输出节点之间能够发展复杂的交互.节点的状态是1 或0,表示任务执行或不执行.熵定义成任务序列正确概率的函数,任务序列正确概率定义成网络能量的函数,而网络能量由节点状态和节点之间的权重计算得到. 在一定的约束条件下,网络能量越小,任务序列的正确概率越大,熵越小.玻尔兹曼机通常使用网络能量作为代价函数,通过最小化网络能量找到节点最优状态. 类似地,这里以最小化熵为目标,利用最优化方法,例如遗传算法等,搜索出最优的网络权重,计算出对应的节点状态. 从而获得最优节点状态对应的最优任务序列.
4. 自适应动态规划与平行控制
从深度学习在控制领域的研究现状可以看出,强化学习方法中的自适应动态规划方法在深度控制系统的实现中起到重要的作用.本节主要对自适应动态规划方法进行介绍,进而引出其在复杂系统中的扩展: 平行控制.
为实现最优控制,自适应动态规划方法和深度学习的结合是研究深度控制的关键领域.最优控制以性能指标最优为目的,是在上世纪50年代起发展起来的重要控制领域. 其不但在工程控制中具有重要意义,在社会经济系统的管理中也有着重要的应用.由Bellman 提出的动态规划方法[32-33]以倒推的思想,求解最优控制的Bellman方程:
${J^*}(x(k)) = {\min _{u(k)}}\{ l(x(k),u(k)) + {J^*}(x(k + 1))\} $
(1) $x(k))=\sum_{i=k}^{\infty}l(x(i),u(i))$
(2) ${\text{s}}{\text{.t}}{\text{.}}x(k + 1) = F(x(k),u(k)),\;k = 0,1,\cdots $
(3) 需要存储不同状态下的最优性能指标 $J^*(x(k))$ ,进而通过求解Bellman 方程(1)中的最优性能条件得到针对任意状态的最优控制.动态规划方法可用于求解 闭环形式的最优控制,且广泛地适用于线性系统、非线性系统、离散系统和连续系统等各种 情况.然而,在使用动态规划方法求解复杂最优控制问题时,会面临所谓“维数灾难” [33-34],即,算法所需存储量和计算量随状态空间的维数增长而迅速提高. 1977年,Werbos[35]首次提出使用多层神经网络逼近动态规划方法中的性能指标函数和控制策略以近似地满足Bellman方程,从而时间向前(Forward-in-time)获得最优控制和最优性能指标函数.近年来,基于这种自 适应动态规划(Adaptive dynamic programming,ADP)思想的研究层出不穷,但使用的名称 不尽相同,如Adaptive criticdesigns、Approximate dynamic programming、Asymptotic dynamicprogramming、Relaxed dynamic programming、Neuro-dynamicprogramming、Neural dynamic programming等,因其思路相同或相近,在本文中将统称为自适应动态规划[36]. 近年来,自适应动态规划成果斐然,学者结合神经网络和强化学习思想实现了对不确定系统的鲁棒控制[37]、大型系统的分散式控制[38]、对自适应系统的可持续激励控制[39] 等.
4.1 自适应动态规划的神经网络结构
启发式动态规划(Heuristic dynamic programming,HDP)[40]是由 Werbos 提出的一种自适应动态规划近似结构.
如图 11所示,在这种自适应动态规划的近似结构中,为了近似性能指标函数,神 经网络扮演了重要的角色.该结构由模型网络、评价网络和执行网络三个多层神经网络组成.模型网络用于近似状态方程(3). 评价网络根据Bellman方程中最优性的满足程度,对系统输入的控制信号进行评价,给出评价信号即最小化的误差
${E_c} = |J(k) - l(k) - J(k + 1){|^2}$
(4) 执行网络则根据评价网络的评价信号更新并获得近似的最优控制,最小化性能指标对控制的偏导
$E_a=\left\|\frac{\partial l(x_k,u_k)}{\partial u_k}+\frac{\partial J(x_{k+1})}{\partial x_{k+1}}\frac{\partial F(x_k,u_k)}{\partial u_k}\right\|$
(5) 由此可见,早期的自适应动态规划研究中已经包含了深层神经网络的思想.然而自适应动态规划中的深层神经网络并未运用预训练等现代深度学习技术,无法利用未标记数据,对于过 深的结构还不能摆脱陷入局部收敛的困境.
4.2 自适应动态规划的迭代型算法
2002年,Murray等率先提出了对连续状态方程的自适应动态规划迭代型算法[41]. 迭代型ADP依然可以使用神经网络近似性能指标函数,在每 次迭代中都更新现有的最优性能指标及最优控制律.迭代型ADP最显著的优势是从理论上可以 证明迭代算法的稳定性和收敛性,是自适应动态规划研究中的重大进展. 目前主要有值迭代ADP和策略迭代ADP两类算法.
依然以离散系统为例,值迭代自适应动态规划方法[42-44] 首先以 $J^*_0(x_k)=0$ 作为最优性能指标函数的初值.对每次迭代 $i=0,1,\cdots$ ,求解迭代 的近似最优控制
$u_i(x_k)=\arg \mathop {\min}\limits_{u_k}\{l(x_k,u_k)+J^*_i(x_{k+1})\}$
(6) 随后求得迭代的近似最优性能指标函数
$J^*_{i+1}(x_k)=l(x_k,u_i(x_k))+J^*_i(F(x_k,u_i(x_k)))$
(7) Wei等[45]给出了不同初值情况下的值迭代ADP的收敛性证明.
策略迭代自适应动态规划方法多数讨论连续系统[41, 46-48].对 于离散系统,Liu等[49]提出一种策略迭代ADP并分析了该算法的稳定性和收敛性. 策略迭代ADP初始于一个给定的容许控制律 $u_0(x_k)$ .对每次迭 代 $i=0,1,\cdots$ ,求解近似的最优性能指标函数 $V_i$ 以满足
$J^*_i(x_k)=l(x_k,u_i(x_k))+J^*_i(F(x_k,u_i(x_k)))$
(8) 随后求得迭代的近似最优控制
$u_{i+1}(x_k)=\arg \mathop {\min}\limits_{u_k}\{l(x_k,u_k)+J^*_i(x_{k+1})\}$
(9) 4.3 平行控制
平行控制[50]是一种反馈控制,是ACP (Artificial societies,Computational experiments,Parallelexecution)方法[51-55]}在控制领域的具体应用,其核心是利用人工系统进行建模和表示,通过计算实验进行分析和 评估,最后以平行执行实现对复杂系统的控制. 平行控制是自适应控制的自然扩展,在 图 11中,被控对象往往并无自主行为的能力,使用神经网络模型可以得到近似的 微分方程或差分方程以描述系统状态变化.在控制包含具有自主行为代理的复杂系统时,无法使用状态方程近似被控对象状态对控制输入的变化.控制与管理、试验与评估、学习与培训代替了经典控制系统中单一的控制变量,复杂的人工系统则代替了被控对象的模型网络,如图 12[50]所示.
神经网络在平行控制中依然扮演重要的角色. 一方面,尽管无法使用神经网络模型近似系统状态方程 (3),我们却可以使用神经网络模型近似剥离了代理模型自主行为 的方程
$x(k + 1) = F(x(k),u(k),{u_1}(k),\cdots ,{u_n}(k))$
(10) 其中 $u_1,\cdots,u_n$ 为代理 $1,\cdots,n$ 的主动行为,通过在实际系统中充分激励代 理行为和系统控制,可获得方程(10)的近似. 另一方面,自适应动态规划中 通过迭代求解的近似最优性能指标,在平行控制中则拓展为以计算实验和涌现观测获得的性 能指标估计,在对控制策略的评估中,评价网络依然可以作为这一性能指标估计的近似手段.
平行控制是自适应控制方法在复杂系统中的扩展,以自适应动态规划和基于代理的控制 (Agent-based control,ABC)作为主要计算方法,已经成功应用于社会计 算[56-58]、智能交通[59-60]、 健康[61-62]等领域.
5. 总结与展望
本文首先概述了当前较为公认的四种深度学习基本模型,在此基础上,对深度学习在控制领域的研究现状进行分类描述.为打破深度学习在控制领域的研究局限,对深度学习概念出现之前的深度控制相关研究进行介绍.对当前和深度控制联系十分紧密的自适应动态规划方法的神经网络结构以及算法进行了详细描述,并对其在复杂系统中的扩展平行控制的概念进行了介绍.以下针对深度学习在控制领域的研究现状进行总结.由于在特征提取以及模型拟合等方面显示出的潜力和优势,深度学习已经被用于控制领域的相关研究,并且在一些控制系统中表现出了较好的性能. 但是,从上文的研究现状可以看出,深度学习主要在涉及视觉的控制系统中具有应用的优势.对于控制目标识别,其识别的对象是图片中物体的种类和姿态.对于状态特征提取,其提取的是场景图片的抽象特征. 对于系统参数辨识,其本质也是从系统状态中提取特征,然后拟合特征和输出之间的关系.对于控制策略计算,虽然有直接拟合PID 控制器的研究,但是没有体现出深度学习的优势甚至引入的必要.输出控制策略的深度网络需要从已有的范例中学习如何计算控制策略,网络对系统的控制性能在很大程度上会受训练范例的影响,不能估计其对系统出现的新情况的控制效果. 综上,目前深度学习在控制领域的研究虽然已有以上介绍的一些实例,但是相关研究的报道仍然相对较少,研究的广度和深度都略显不足.
虽然深度学习在控制领域的研究存在一些问题,不可否认的是,深度学习在控制领域的研究前景仍然十分广阔. 就在本文投稿后一个月,谷歌在Nature上发表了利用深度神经网络和树搜索方法进行围棋博弈的论文[63],其围棋程序AlphaGo在随后进行的人机围棋比赛中以4:1的战绩打败了专业围棋选手.这无疑给深度学习在控制领域的研究带来新的动力和想象力.以下对未来值得研究的内容进行展望.
5.1 仿人感知与控制
深度学习之所以受到重视,最早是其在语音识别和图像识别方面取得的重大突破.而语音和图像识别的目的是能够达到人对语音和图像的识别水平,所以深度学习从本质上讲是模拟人的听觉和视觉.听觉和视觉是人感知世界的能力. 对于控制来讲,例如机器人的机械手抓取控制系统的目的是能够达到人对物体抓取的速度和精度,所以深度学习是否能够模拟人的运动控制系统是其用于控制领域的关键问题.模拟系统以及实现该系统的硬件都是值得研究的问题.深度学习需要监督信号才能训练出有效的模型.引导策略搜索法是一种利用已经观察到的范例样本训练网络的方法.引导策略搜索方法中,对某些控制系统例如机器人行走,人的行走模式可以当作训练中的范例样本. 所以对于智能控制领域的问题,如何充分利用人的智能这一资源是十分有意义的.而深度学习具有表达人类某些智能的潜力,所以挖掘深度学习对于仿人型机器人等系统中存在的智能控制问题具有十分重要的意义.
5.2 无人系统
自动控制领域的研究使得无人系统的软硬件研究得到了快速发展,例如无人机(Unmanned aevial vehicle,UAV)、无人驾驶车等.对于这类复杂的无人系统,它们的动态模型一般具有复杂非线性的特点,利用传统的建模方法较难表示其动态特性.而深度学习擅长对复杂非线性系统进行建模,所以深度学习对这类无人系统的建模是值得进一步研究的问题.无人系统需要尽量减少人的参与或者没有人的参与,深度学习自动学习状态特征的能力使得深度学习在无人系统的研究中具有先天的优势.如何充分利用和发挥深度学习在无人系统中的优势并发展深度学习在环的无人系统控制是下一步研究的方向.
5.3 强化自适应控制
强化学习模拟人对世界认知的过程,利用从外界反馈的回报信号和接收或采集的环境状态不断调整系统参数,改变控制策略,达到自适应控制的效果. 对于环境状态维度较高的情况,例如视觉环境,深度学习能够自动提取识别状态特征,为强化学习提供源数据.深度学习与强化学习的结合能够使感知环境和系统控制无缝连接,其所在的系统能够自动感知不确定的环境状态并完成自适应控制.这样的系统值得进一步研究.
5.4 复杂系统
平行控制针对复杂系统,以大数据和ACP方法为基础,采用人工系统作为建模工具,通过虚实互动的平行执行方式来完成任务.平行控制是一种数据驱动的计算控制方法,与深度学习有天然的契合.平行控制作为自适应动态规划在复杂系统的自然扩展,鉴于自适应动态规划在深度控制系统发挥的重要作用,平行控制与深度学习的结合为解决复杂系统的管理与控制问题提供了重要的解决思路.
5.5 控制性能评估
最后,我们应该看到深度学习用于控制系统中的理论研究仍然欠缺.目前没有理论能够评估使用了深度学习的控制系统的稳、准、快等性能.虽然深度学习在控制系统中能够表现出一定的控制效果,但是仅仅通过试错等方式不能保证控制性能.这方面理论上的欠缺有可能阻碍深度学习在控制系统中的研究发展.所以理论方面的研究也是一个非常值得注意的方向.
-
-
[1] LeCun Y, Bengio Y, Hinton G. Deep learning. Nature, 2015, 521(7553): 436-444 [2] Krizhevsky A, Sutskever I, Hinton G E. ImageNet classification with deep convolutional neural networks. In: Proceedings of the 2012 Advances in Neural Information Processing Systems. Lake Tahoe, Nevada, USA: Curran Associates, Inc., 2012. 1097-1105 [3] Hinton G E, Salakhutdinov R R. Reducing the dimensionality of data with neural networks. Science, 2006, 313(5786): 504-507 [4] Hinton G E, Osindero S, Teh Y W. A fast learning algorithm for deep belief nets. Neural Computation, 2006, 18(7): 1527-1554 [5] Bengio Y, Lamblin P, Popovici D, Larochelle H. Greedy layer-wise training of deep networks. In: Proceedings of the 2007 Advances in Neural Information Processing Systems. Cambridge, MA: MIT Press, 2007. 153-160 [6] Lecun Y, Bottou L, Bengio Y, Haffner P. Gradient-based learning applied to document recognition. Proceedings of the IEEE, 1998, 86(11): 2278-2324 [7] Sutskever I. Training recurrent neural networks [Ph.D. dissertation], University of Toronto, Canada, 2013 [8] Bengio Y. Learning deep architectures for AI. Foundations and Trends® in Machine Learning, 2009, 2(1): 1-127 [9] Arel I, Rose D C, Karnowski T P. Deep machine learning——a new frontier in artificial intelligence research. IEEE Computational Intelligence Magazine, 2010, 5(4): 13-18 [10] Bengio Y, Courville A, Vincent P. Representation learning: a review and new perspectives. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2013, 35(8): 1798-1828 [11] Schmidhuber J. Deep learning in neural networks: an overview. Neural Networks, 2015, 61: 85-117 [12] Boulanger-Lewandowski N, Bengio Y, Vincent P. Modeling temporal dependencies in high-dimensional sequences: application to polyphonic music generation and transcription. arXiv: 12066392, 2012. [13] Schuster M, Paliwal K K. Bidirectional recurrent neural networks. IEEE Transactions on Signal Processing, 1997, 45(11): 2673-2681 [14] Yu J, Weng K, Liang G, Xie G. A vision-based robotic grasping system using deep learning for 3D object recognition and pose estimation. In: Proceedings of the 2013 IEEE International Conference on Robotics and Biomimetics (ROBIO). Shenzhen, China: IEEE, 2013. 1175-1180 [15] Lange S, Riedmiller M. Deep auto-encoder neural networks in reinforcement learning. In: Proceedings of the 2010 International Joint Conference on Neural Networks (IJCNN). Barcelona: IEEE, 2010. 1-8 [16] Mattner J, Lange S, Riedmiller M. Learn to swing up and balance a real pole based on raw visual input data. In: Proceedings of the 19th International Conference on Neural Information Processing. Doha, Qatar: Springer, 2012. 126-133 [17] Mnih V, Kavukcuoglu K, Silver D, Graves A, Antonoglou I, Wierstra D, Riedmiller M. Playing Atari with deep reinforcement learning. arXiv: 1312.5602, 2013. [18] Mnih V, Kavukcuoglu K, Silver D, Rusu A A, Veness J, Bellemare M G, Graves A, Riedmiller M, Fidjeland A K, Ostrovski G, Petersen S, Beattie C, Sadik A, Antonoglou I, King H, Kumaran D, Wierstra D, Legg S, Hassabis D. Human-level control through deep reinforcement learning. Nature, 2015, 518(7540): 529-533 [19] Punjani A, Abbeel P. Deep learning helicopter dynamics models. In: Proceedings of the 2015 IEEE International Conference on Robotics and Automation. Seattle, WA: IEEE, 2015. 3223-3230 [20] Lenz I, Knepper R, Saxena A. DeepMPC: learning deep latent features for model predictive control. In: Proceedings of Robotics: Science and Systems (RSS). Rome, Italy, 2015. [21] Anderson C W, Lee M, Elliott D L. Faster reinforcement learning after pretraining deep networks to predict state dynamics. In: Proceedings of the 2015 International Joint Conference on Neural Networks (IJCNN). Killarney: IEEE, 2015. 1-7 [22] Cheon K, Kim J, Hamadache M, Lee D. On replacing PID controller with deep learning controller for DC motor system. Journal of Automation and Control Engineering, 2015, 3(6): 452-456 [23] Levine S. Exploring deep and recurrent architectures for optimal control. In NIPS (Neural Information Processing Systems) 2013 Workshop on Deep Learning, 2013. arXiv: 1311.1761, 2013. [24] Berniker M, Kording K P. Deep networks for motor control functions. Frontiers in Computational Neuroscience, 2015, 9: 32 [25] Wang F-Y, Kim H-M. Implementing adaptive fuzzy logic controllers with neural networks: a design paradigm. Journal of Intelligent & Fuzzy Systems: Applications in Engineering and Technology, 1995, 3(2): 165-180 [26] Saridis G N, Moed M C. Analytic formulation of intelligent machines as neural nets. In: Proceedings of the 1988 IEEE International Symposium on Intelligent Control. Arlington, VA: IEEE, 1988. 22-27 [27] Moed M C, Saridis G N. A Boltzmann machine for the organization of intelligent machines. IEEE Transactions on Systems, Man, and Cybernetics, 1990, 20(5): 1094-1102 [28] Wang F-Y. Evolutionary Neuro-fuzzy Networks for Analysis of Complex Systems: a Memetic Approach, Technical report#03-09-99, Program for advanced research of complex systems, the University of Arizona, 1999 [29] Wang F-Y. Modeling, analysis and synthesis of linguistic dynamic systems: a computational theory. In: Proceedings of the 1995 IEEE International Workshop on Architecture for Semiotic Modeling and Situation Control in Large Complex Systems. Monterey, CA: IEEE Press, 1995. 173-178 [30] 王飞跃. 词计算和语言动力学系统的基本问题和研究. 自动化学报, 2005, 31(6): 844-852Wang Fei-Yue. Fundamental issues in research of computing with words and linguistic dynamic systems. Acta Automatica Sinica, 2005, 31(6): 844-852 [31] Saridis G N, Stephanou H E. A hierarchical approach to the control of a prosthetic arm. IEEE Transactions on Systems, Man, and Cybernetics, 1977, 7(6): 407-420 [32] Bellman R. On the theory of dynamic programming. Proceedings of the National Academy of Sciences of the United States of America, 1952, 38(8): 716-719 [33] Bellman R. Dynamic Programming. Princeton: Princeton University Press, 1957. [34] Dreyfus S E, Law A M. The Art and Theory of Dynamic Programming. New York: Academic Press, 1977. [35] Werbos P J. Advanced forecasting methods for global crisis warning and models of intelligence. General Systems Yearbook, 1977, 22(12): 25-38 [36] Wang F-Y, Zhang H G, Liu D R. Adaptive dynamic programming: an introduction. IEEE Computational Intelligence Magazine, 2009, 4(2): 39-47 [37] Liu D R, Wang D, Wang F-Y, Li H L, Yang X. Neural-network-based online HJB solution for optimal robust guaranteed cost control of continuous-time uncertain nonlinear systems. IEEE Transactions on Cybernetics, 2014, 44(12): 2834-2847 [38] Liu D, Wang D, Li H. Decentralized stabilization for a class of continuous-time nonlinear interconnected systems using online learning optimal control approach. IEEE Transactions on Neural Networks and Learning Systems, 2014, 25(2): 418-428 [39] Xu B, Yang C, Shi Z. Reinforcement learning output feedback NN control using deterministic learning technique. IEEE Transactions on Neural Networks and Learning Systems, 2014, 25(3): 635-641 [40] Werbos P J. Approximate dynamic programming for real-time control and neural modeling. Handbook of Intelligent Control: Neural, Fuzzy, and Adaptive Approaches. New York: Van Nostrand Reinhold, 1992. 493-525 [41] Murray J J, Cox C J, Lendaris G G, Saeks R. Adaptive dynamic programming. IEEE Transactions on Systems, Man, and Cybernetics, Part C: Applications and Reviews, 2002, 32(2): 140-153 [42] Bertsekas D P. Dynamic Programming and Optimal Control. Massachusetts: Athena Scientific Belmont, 1996. [43] Sutton R S, Barto A G. Reinforcement Learning: An Introduction. Cambridge: MIT Press, 1998. [44] Al-Tamimi A, Lewis F L, Abu-Khalaf M. Discrete-time nonlinear HJB solution using approximate dynamic programming: convergence proof. IEEE Transactions on Systems, Man, and Cybernetics, Part B: Cybernetics, 2008, 38(4): 943-949 [45] Wei Q, Liu D, Lin H. Value iteration adaptive dynamic programming for optimal control of discrete-time nonlinear systems. IEEE Transactions on Cybernetics, 2015, 46(3): 840-853 [46] Abu-Khalaf M, Lewis F L. Nearly optimal control laws for nonlinear systems with saturating actuators using a neural network HJB approach. Automatica, 2005, 41(5): 779-791 [47] Zhang H G, Wei Q L, Liu D R. An iterative adaptive dynamic programming method for solving a class of nonlinear zero-sum differential games. Automatica, 2011, 47(1): 207-214 [48] Bhasin S, Kamalapurkar R, Johnson M, Vamvoudakis K G, Lewis F L, Dixon W E. A novel actor-critic-identifier architecture for approximate optimal control of uncertain nonlinear systems. Automatica, 2013, 49(1): 82-92 [49] Liu D, Wei Q. Policy iteration adaptive dynamic programming algorithm for discrete-time nonlinear systems. IEEE Transactions on Neural Networks and Learning Systems, 2014, 25(3): 621-634 [50] 王飞跃. 平行控制: 数据驱动的计算控制方法. 自动化学报, 2013, (4): 293-302Wang Fei-Yue. Parallel control: a method for data-driven and computational control. Acta Automatica Sinica, 2013, 39(4): 293-302 [51] 王飞跃. 平行系统方法与复杂系统的管理和控制. 控制与决策, 2004, 19(5): 485-489Wang Fei-Yue. Parallel system methods for management and control of complex systems. Control and Decision, 2004, 19(5): 485-489 [52] 王飞跃. 关于复杂系统研究的计算理论与方法. 中国基础科学, 2004, 6(5): 3-10Wang Fei-Yue. Computational theory and method on complex system. China Basic Science, 2004, 6(5): 3-10 [53] 王飞跃, 史帝夫·兰森. 从人工生命到人工社会---复杂社会系统研究的现状和展望. 复杂系统与复杂性科学, 2004, 1(1): 33-41Wang Fei-Yue, Lansing J S. From artificial life to artificial societies——new methods for studies of complex social systems. Complex Systems and Complexity Science, 2004, 1(1): 33-41 [54] 王飞跃. 关于复杂系统的建模、分析、控制和管理. 复杂系统与复杂性科学, 2006, 3(2): 26-34Wang Fei-Yue. On the modeling, analysis, control and management of complex systems. Complex Systems and Complexity Science, 2006, 3(2): 26-34 [55] 王飞跃. 人工社会、计算实验、平行系统---关于复杂社会经济系统计算研究的讨论. 复杂系统与复杂性科学, 2004, 1(4): 25-35Wang Fei-Yue. Artificial societies, computational experiments, and parallel systems: a discussion on computational theory of complex social-economic systems. Complex Systems and Complexity Science, 2004, 1(4): 25-35 [56] Wang F-Y. Toward a paradigm shift in social computing: the ACP approach. IEEE Intelligent Systems, 2007, 22(5): 65-67 [57] Wang F-Y, Carley K M, Zeng D, Mao W. Social computing: from social informatics to social intelligence. IEEE Intelligent Systems, 2007, 22(2): 79-83 [58] 王飞跃. 基于社会计算和平行系统的动态网民群体研究. 上海理工大学学报, 2011, 33(1): 8-17Wang Fei-Yue. Study on cyber-enabled social movement organizations based on social computing and parallel systems. Journal of University of Shanghai for Science and Technology, 2011, 33(1): 8-17 [59] Wang F-Y. Parallel control and management for intelligent transportation systems: Concepts, architectures, and applications. IEEE Transactions on Intelligent Transportation Systems, 2010, 11(3): 630-638 [60] Zhu F, Wen D, Chen S. Computational traffic experiments based on artificial transportation systems: an application of ACP approach. IEEE Transactions on Intelligent Transportation Systems, 2013, 14(1): 189-198 [61] Wang F-Y, Wong P K. Intelligent systems and technology for integrative and predictive medicine: an ACP approach. ACM Transactions on Intelligent Systems and Technology (TIST), 2013, 4(2): 32 [62] Duan W, Cao Z D, Wang Y Z, Zhu B, Zeng D, Wang F-Y, Qiu X G, Song H B, Wang Y. An ACP approach to public health emergency management: using a campus outbreak of H1N1 influenza as a case study. IEEE Transactions on Systems, Man, and Cybernetics: Systems, 2013, 43(5): 1028-1041 [63] Silver D, Huang A, Maddison C J, Guez A, Sifre L, Van den Driessche G, Schrittwieser J, Antonoglou I, Panneershelvam V, Lanctot M, Dieleman S, Grewe D, Nham J, Kalchbrenner N, Sutskever I, Lillicrap T, Leach M, Kavukcuoglu K, Graepel T, Hassabis D. Mastering the game of Go with deep neural networks and tree search. Nature, 2016, 529(7587): 484-489 期刊类型引用(149)
1. 丁宁，宋雨欣，单泽田，董秀，于敏. 基于检索增强生成（RAG）技术的医学教学辅助智能问答系统的构建探索. 中国医学教育技术. 2025(01): 1-5 . 
百度学术2. 刘振柱，侯乔文，兰媛，于磊，牛蔺楷. 基于改进图神经网络图形样本聚合的增量学习模型. 机电工程. 2025(03): 549-558 . 百度学术3. 王晓，张翔宇，周锐，田永林，王建功，陈龙，孙长银. 基于平行测试的认知自动驾驶智能架构研究. 自动化学报. 2024(02): 356-371 . 本站查看4. 李想. 基于深度学习的自动化控制系统故障诊断与预测分析. 集成电路应用. 2024(02): 194-195 . 百度学术5. 张文鹏，纪金豹，王东岳. 基于LSTM的振动台参数整定方法. 机床与液压. 2024(05): 124-130 . 百度学术6. 刘水灵，董文凯. Sora等生成式人工智能对诈骗犯罪司法认定的影响与应对. 青少年犯罪问题. 2024(03): 114-124 . 百度学术7. 张文安，林安迪，杨旭升，俞立，杨小牛. 融合深度学习的贝叶斯滤波综述. 自动化学报. 2024(08): 1502-1516 . 本站查看8. 李峥嵘，金雨佳，朱晗. 基于生成对抗网络的地铁站台人员密度数据涌现. 暖通空调. 2024(S2): 430-436 . 百度学术9. 夏恒，汤健，崔璨麟，乔俊飞. 基于宽度混合森林回归的城市固废焚烧过程二噁英排放软测量. 自动化学报. 2023(02): 343-365 . 本站查看10. 佘兢克，李伟旗，马毅非，张一凡，刘亮. 基于深度学习工况预测的稳压器控制优化. 仪器仪表用户. 2023(04): 41-47+59 . 百度学术11. 甘建红，袁学斌，顾鲍超，王雪原，王胤，苏峰. 基于LSTM网络的IISPH流体仿真方法. 给水排水. 2023(01): 124-131 . 百度学术12. 张玮，郑雅莲，刘志武，刘攀，李梦杰. 物理机制引导的水库调度深度学习模型研究. 水力发电学报. 2023(03): 13-25 . 百度学术13. 袁科研，兰媛，黄家海，马晓宝，王君，李国彦，李利娜. 基于GADF和ResNet的轴向柱塞泵复合故障诊断研究. 机电工程. 2023(06): 945-951 . 百度学术14. 李怡欣，郑杨. 用于运动单元活动追踪的动作电位卷积神经网络分类方法仿真研究. 西安交通大学学报. 2023(06): 10-17 . 百度学术15. 方达，张玥，黄珍珍. 基于深度置信网络的上市公司信用风险预警模型. 安顺学院学报. 2023(03): 94-99 . 百度学术16. 陈德旺，欧纪祥. 平行模糊控制：虚实互动、相互增强的自学习控制方法. 智能科学与技术学报. 2023(02): 267-273 . 百度学术17. 王彦. 深度学习技术在物联网智能安防领域的应用. 信息与电脑(理论版). 2023(19): 1-3 . 百度学术18. 吴建军，朱晓彬，程玉强，崔孟瑜. 液体火箭发动机智能健康监控技术研究进展. 推进技术. 2022(01): 7-19 . 百度学术19. 李福进，刘尚瑜，史涛. LSTM-RNN在连铸下渣预测系统中的应用. 机械设计与制造. 2022(01): 181-183+188 . 百度学术20. 王懋譞，王永富，柴天佑，张晓宇. 基于权重因子自校正的主蒸汽温度外挂广义预测串级控制. 自动化学报. 2022(02): 418-433 . 本站查看21. 文载道，王佳蕊，王小旭，潘泉. 解耦表征学习综述. 自动化学报. 2022(02): 351-374 . 本站查看22. 盛四清，金航，刘长荣. 基于VMD-WSGRU的风电场发电功率中短期及短期预测. 电网技术. 2022(03): 897-904 . 百度学术23. 李建林，李雅欣，陈光，吕超，武亦文，徐亮，马速良. 退役动力电池健康状态特征提取及评估方法综述. 中国电机工程学报. 2022(04): 1332-1347 . 百度学术24. 吕宜生，刘雅慧，陈圆圆，朱凤华. 融合时空特征的端到端自动驾驶车辆转向角预测. 中国公路学报. 2022(03): 263-272 . 百度学术25. 钱玉宝，余米森，郭旭涛，黄华宝，李世震. 无人驾驶车辆智能控制技术发展. 科学技术与工程. 2022(10): 3846-3858 . 百度学术26. 胡政，张艳，尚静，张楷文. 高光谱图像在农作物病害检测识别中的研究进展. 江苏农业科学. 2022(08): 49-55 . 百度学术27. 纪金豹，李文月，武剑峰. 振动台开环系统辨识与LSTM网络模拟. 地震工程与工程振动. 2022(03): 87-94 . 百度学术28. 赵墨刊，李冬辉. 采用双向GRU的软件源代码漏洞检测方法. 现代电子技术. 2022(18): 57-62 . 百度学术29. 时启龙，黄石明，张明霞，肖欣，喻俊，徐健，邱琳. 基于无人机遥感和深度学习的松材线虫病疫木自动提取方法研究. 西部林业科学. 2022(05): 28-33 . 百度学术30. 刘金琨. 一种模糊神经网络算法的案例教学探讨. 大学教育. 2022(12): 93-96 . 百度学术31. 姬周珂，徐巧玉，王军委，李坤鹏. 一种深度强化学习的机械臂控制方法. 河南科技大学学报(自然科学版). 2021(03): 19-24+3 . 百度学术32. 赵晓平，王逸飞，张永宏，吴家新，王丽华. 一种基于Triplet loss的齿轮箱复合故障识别方法. 振动与冲击. 2021(05): 46-54 . 百度学术33. 潘岩，鄢锋，郭徽，唐昭辉，杨静雅，曾祥吉. 有色金属冶炼自动控制研究现状与展望. 中国有色金属学报. 2021(01): 96-105 . 百度学术34. 程志刚，廖文杰，陈星雨，陆新征. A VIBRATION RECOGNITION METHOD BASED ON DEEP LEARNING AND SIGNAL PROCESSING. 工程力学. 2021(04): 230-246 . 百度学术35. 金鹏. 基于BPSO-SVR的循环流化床锅炉燃烧系统建模. 机械设计与制造. 2021(06): 24-28 . 百度学术36. 李滨，曾辉. 改进的深度置信网络在电主轴故障诊断中的应用. 机械科学与技术. 2021(07): 1051-1057 . 百度学术37. 李维创，尹柏强. 工业金属板带材表面缺陷自动视觉检测研究进展. 电子测量与仪器学报. 2021(06): 1-16 . 百度学术38. 袁兆麟，何润姿，姚超，李佳，班晓娟. 基于强化学习的浓密机底流浓度在线控制算法. 自动化学报. 2021(07): 1558-1571 . 本站查看39. 王宝聚，兰玉彬，陈蒙蒙，柳宝虎，王国宾，刘海涛. 机器学习在无人农场中的应用现状与展望. 中国农机化学报. 2021(10): 186-192+217 . 百度学术40. 王雨虹，王淑月，王志中，任日昕. 基于改进蝗虫算法优化长短时记忆神经网络的多参数瓦斯浓度预测模型研究. 传感技术学报. 2021(09): 1196-1203 . 百度学术41. 张鹏，刘颖欣，段照斌，王力. 基于CapsNet的飞控参数预测算法. 计算机应用与软件. 2021(12): 36-41 . 百度学术42. 纪连恩，杨云，邱诗荣，王艺，田彬. 面向火电控制系统辨识的循环神经网络可视分析. 计算机辅助设计与图形学学报. 2021(12): 1876-1886 . 百度学术43. 衷路生，吴春磊. 基于AC-CNN模型的过程故障识别. 计算机工程与设计. 2020(02): 542-549 . 百度学术44. 郑海青，张玉，孙晓云. 卷积神经网络在锚杆锚固类型识别中的应用. 济南大学学报(自然科学版). 2020(01): 35-41 . 百度学术45. 曹祺炜，王峰，牛锦. 基于3D卷积神经网络的脑肿瘤医学图像分割优化. 现代电子技术. 2020(03): 74-77 . 百度学术46. 张吉亮，尹兰. 基于Hadoop的文本分析平台实践. 安顺学院学报. 2020(01): 132-136 . 百度学术47. 刘喆，王多才，蒋兴鹏，吴岩，谭梓琦，钱星. 天然气计量检定智能化研究与实践. 工业计量. 2020(02): 9-11 . 百度学术48. 宋念龙，李自明. 应用深度卷积的涂布缺陷检测方法. 传感器与微系统. 2020(03): 157-160 . 百度学术49. 石怀涛，乔思康，丁健华，王子男，白晓天. 基于改进卷积神经网络CNND的电主轴轴承故障诊断方法. 沈阳建筑大学学报(自然科学版). 2020(02): 361-369 . 百度学术50. 季彪，陈泽宏，王萌，吴伟. 基于神经网络的不确定电路网络电流预测算法. 计算机仿真. 2020(01): 407-410 . 百度学术51. 郭西进，魏凌敖，杨春宝. 基于深度卷积网络的煤泥浮选尾矿灰分检测方法研究. 煤炭技术. 2020(02): 144-146 . 百度学术52. 李炜，周丙相，蒋栋年. 基于深度学习序贯检验的电源车故障诊断方法. 系统仿真学报. 2020(04): 638-648 . 百度学术53. 黄宏梅，陆卫忠，杨茹，曹燕. 深度学习在花卉养护技术中的应用. 计算机系统应用. 2020(03): 261-268 . 百度学术54. 王太勇，王廷虎，王鹏，乔卉卉，徐明达. 基于注意力机制BiLSTM的设备智能故障诊断方法. 天津大学学报(自然科学与工程技术版). 2020(06): 601-608 . 百度学术55. 刘义平. 航空燃气涡轮风扇发动机故障识别诊断方法研究. 航空维修与工程. 2020(03): 65-68 . 百度学术56. 丁石川，厉雪衣，杭俊，王尹江，王群京. 深度学习理论及其在电机故障诊断中的研究现状与展望. 电力系统保护与控制. 2020(08): 172-187 . 百度学术57. 吴刚，李红强，郑杰. 基于深度学习的浮选加药控制系统. 山东煤炭科技. 2020(05): 196-198 . 百度学术58. 李春林，熊建斌，苏乃权，张清华，梁琼，叶宝玉. 深度学习在故障诊断中的应用综述. 机床与液压. 2020(13): 174-184 . 百度学术59. 乔俊飞，郭子豪，汤健. 面向城市固废焚烧过程的二噁英排放浓度检测方法综述. 自动化学报. 2020(06): 1063-1089 . 本站查看60. 王培进，杜晓林. 基于深度学习的复杂系统仿人思维控制研究. 烟台大学学报(自然科学与工程版). 2020(03): 325-332 . 百度学术61. 陈虹，郭露露，宫洵，高炳钊，张琳. 智能时代的汽车控制. 自动化学报. 2020(07): 1313-1332 . 本站查看62. 张晓萌，孙昊，王硕朋，徐静. 基于宽度学习系统的声源区域定位方法. 计算机仿真. 2020(08): 297-301 . 百度学术63. 王培进，张雯. “ABC”技术与自动化专业综合设计的融合. 电气电子教学学报. 2020(04): 154-157+166 . 百度学术64. 伏玉笋，杨根科. 人工智能在移动通信中的应用：挑战与实践. 通信学报. 2020(09): 190-201 . 百度学术65. 邢伟，杨博，刘宇. IMBSE融合AFS-DBN模型的高压断路器故障诊断. 组合机床与自动化加工技术. 2020(11): 68-73+81 . 百度学术66. 殷瑞，王时龙，王四宝，杨文翰. 基于PID-SDAE控制器的多股簧螺距控制. 组合机床与自动化加工技术. 2020(11): 86-90 . 百度学术67. 周楠，陈刚. 机器人驾驶车辆深度强化学习换挡策略. 汽车工程. 2020(11): 1473-1481 . 百度学术68. 左为恒，宋璐璐. 基于改进堆叠自动编码器的循环冷却水系统工艺介质温度预测控制方法. 控制与决策. 2020(12): 2835-2844 . 百度学术69. 吴凯，杨新志. 浅述人工智能的深度学习. 石河子科技. 2020(06): 44-45 . 百度学术70. 姜万录，李振宝，雷亚飞，张生，佟祥伟. 基于深度学习的滚动轴承故障诊断与性能退化程度识别方法. 燕山大学学报. 2020(06): 526-536 . 百度学术71. 施莹，曾绍坤，李沨，刘红奇. 基于深度卷积神经网络的机床有效加工状态识别. 军民两用技术与产品. 2020(11): 54-58 . 百度学术72. 韩星，宁顺成，李剑锋，付枫，吴东星. 基于长短期神经网络的遥测参数趋势预测. 测控技术. 2020(12): 105-110+137 . 百度学术73. 董绍江，杨舒婷，吴文亮. 基于抗噪多核卷积神经网络的轴承故障诊断方法. 北京化工大学学报(自然科学版). 2020(06): 100-106 . 百度学术74. 胡聪，李超，周甜，朱爱军，许川佩. 基于改进深度相对距离学习框架的车辆再识别算法. 仪器仪表学报. 2020(12): 245-252 . 百度学术75. 程乐峰，余涛，张孝顺，殷林飞. 机器学习在能源与电力系统领域的应用和展望. 电力系统自动化. 2019(01): 15-43 . 百度学术76. 黄鑫，陈仁祥，黄钰. 卷积神经网络在机械设备故障诊断领域应用与挑战. 制造技术与机床. 2019(01): 96-100 . 百度学术77. 郑建宁. 基于深度学习的窃电行为检测方法. 信息技术. 2019(02): 156-159 . 百度学术78. 鲁春燕，李炜. 基于深度置信网络的炼化空压机故障诊断方法. 化工学报. 2019(02): 757-763 . 百度学术79. 周念成，廖建权，王强钢，李春艳，李剑. 深度学习在智能电网中的应用现状分析与展望. 电力系统自动化. 2019(04): 180-197 . 百度学术80. 郭祥云，台海江. 深度学习在大田种植中的应用及展望. 中国农业大学学报. 2019(01): 119-129 . 百度学术81. 惠文珊，李会军，陈萌，宋爱国. 基于CNN-LSTM的机器人触觉识别与自适应抓取控制. 仪器仪表学报. 2019(01): 211-218 . 百度学术82. 尉震行. 目标识别算法综述. 中国设备工程. 2019(01): 94-97 . 百度学术83. 刘会凯，孙胜利，张悦，雷林建，向玉开. 基于机器视觉技术的多余物控制方法综述. 航空精密制造技术. 2019(01): 15-18 . 百度学术84. 单文丽，周军，钱慧敏，卢新彪，段朝霞，黄浩乾. 深度置信网络拟合异步电动机逆变器控制开关表. 微特电机. 2019(02): 76-82 . 百度学术85. 牛玉广，潘岩，陈曦. 选择性催化还原烟气脱硝深度结构和深度控制. 控制理论与应用. 2019(01): 65-72 . 百度学术86. 张春雷. 基于并行卷积神经网络的军事目标图像分类技术. 电子设计工程. 2019(08): 76-80 . 百度学术87. 马芸婷，郭晓苏，张彪，段皓然. 基于ELMD能量熵与PSO-SAE的齿轮故障诊断研究. 内燃机与配件. 2019(07): 34-36 . 百度学术88. 牛玉广，潘岩，李晓彬. 火力发电厂烟气SCR脱硝自动控制研究现状与展望. 热能动力工程. 2019(04): 1-9 . 百度学术89. 李炜，雷雪，蒋栋年. 基于深度置信网络的车载电源故障诊断方法. 兰州理工大学学报. 2019(02): 78-83 . 百度学术90. 范佳楠，刘英，胡忠康，赵乾，沈鹭翔，周晓林. 基于Faster R-CNN的实木板材缺陷检测识别系统. 林业工程学报. 2019(03): 112-117 . 百度学术91. 史科，陆阳，刘广亮，毕翔，王辉. 基于多隐层Gibbs采样的深度信念网络训练方法. 自动化学报. 2019(05): 975-984 . 本站查看92. 刘芳. 基于大数据特征选择的深度学习算法. 赤峰学院学报(自然科学版). 2019(05): 46-48 . 百度学术93. 郭祥云，胡敏，王文胜，刘亚辉. 基于深度学习的非结构环境下海参实时识别算法. 北京信息科技大学学报(自然科学版). 2019(03): 27-31 . 百度学术94. 代丽艳，董宏丽，李学贵. 微地震数据去噪方法综述. 吉林大学学报(地球科学版). 2019(04): 1145-1159 . 百度学术95. 郭静秋，方守恩，曲小波，王亦兵，刘洋泽西. 基于强化协作博弈方法的双车道混合交通流特性. 同济大学学报(自然科学版). 2019(07): 976-983 . 百度学术96. 胜献利. 深度学习下大学生资助管理模式创新研究. 重庆理工大学学报(自然科学). 2019(07): 167-171 . 百度学术97. 霍丹. 工业机器人技术在自动化控制领域的运用分析. 河南科技. 2019(17): 31-32 . 百度学术98. 尹峰. 智能发电平行控制技术架构及核心应用. 自动化博览. 2019(09): 42-47 . 百度学术99. 胡怀中，张建博，刘汉青，李梦迪，杨清宇. 采用卷积神经网络的电站锅炉燃烧效率建模方法. 西安交通大学学报. 2019(10): 10-15 . 百度学术100. 李琦，韩冰城. 基于深度确定性策略梯度的热力站一次侧优化控制. 科学技术与工程. 2019(29): 193-200 . 百度学术101. 崔保华，张成伟，张焱，刘小蒙，李慧霞. 水泥工厂电耗预测及优化. 水泥工程. 2019(05): 68-70 . 百度学术102. 刘炳春，来明昭，齐鑫，王辉. 基于Wavelet-LSTM模型的北京空气污染物浓度预测. 环境科学与技术. 2019(08): 142-149 . 百度学术103. 满春涛，康丹青. 考虑上下游的LSTM短时交通流量预测. 哈尔滨理工大学学报. 2019(05): 101-107 . 百度学术104. 王云鹏，郭戈. 基于深度强化学习的有轨电车信号优先控制. 自动化学报. 2019(12): 2366-2377 . 本站查看105. 袁博，张长弓，付朋飞，张丛磊，张玉峰，于惠玲. 基于深度学习的工具箱调度算法研究. 物流技术. 2019(12): 113-118 . 百度学术106. 初未萌，邬树楠，刘宇飞，吴志刚. 组合体航天器角速度信号深度学习降噪方法. 动力学与控制学报. 2019(06): 584-592 . 百度学术107. 张梅，陈鸰，王飞跃，王晓，国元元，杨田. 平行胃肠:基于ACP的智能胃肠疾病诊疗. 模式识别与人工智能. 2019(12): 1061-1071 . 百度学术108. 肖璞，黄海霞. 基于CNN算法的深度学习研究及应用. 现代计算机. 2019(35): 27-32 . 百度学术109. 刘宪权. 人工智能时代的刑事责任演变:昨天、今天、明天. 法学. 2019(01): 79-93 . 百度学术110. 吕宜生，王飞跃，张宇，张晓东. 虚实互动的平行城市：基本框架、方法与应用. 智能科学与技术学报. 2019(03): 311-317 . 百度学术111. 田娟秀，刘国才，谷珊珊，鞠忠建，刘劲光，顾冬冬. 医学图像分析深度学习方法研究与挑战. 自动化学报. 2018(03): 401-424 . 本站查看112. 汤鹏杰，王瀚漓，许恺晟. LSTM逐层多目标优化及多层概率融合的图像描述. 自动化学报. 2018(07): 1237-1249 . 本站查看113. 王飞跃，张梅，孟祥冰，王雁，马娇楠，刘武，王晓. 平行眼:基于ACP的智能眼科诊疗. 模式识别与人工智能. 2018(06): 495-504 . 百度学术114. 郭西进，李红强，张帆，郑杰，吴刚. 基于卷积神经网络的煤泥浮选泡沫图像分类方法. 煤炭技术. 2018(09): 348-351 . 百度学术115. 苏建志，姚壬癸. 基于4G网络的智能数控系统设计. 内江师范学院学报. 2018(04): 71-76 . 百度学术116. 张晓海，操新文. 基于深度学习的军事智能决策支持系统. 指挥控制与仿真. 2018(02): 1-7 . 百度学术117. 王从侠. 深度学习技术在水声通信体制识别中的应用. 数字通信世界. 2018(06): 187+20 . 百度学术118. 李琦，户杏启，赵建敏. 基于机器学习的热源总供热量优化控制. 系统仿真学报. 2018(03): 1134-1143 . 百度学术119. 刘涵，王月岭，王晓，林艳艳. 基于支持向量机与概率输出网的深度学习模型. 系统工程理论与实践. 2018(08): 2147-2154 . 百度学术120. 李幼蛟，卓力，张菁，李嘉锋，张辉. 行人再识别技术综述. 自动化学报. 2018(09): 1554-1568 . 本站查看121. 唐启东，刘清平，刘文娟. 基于深度学习的飞机故障诊断系统关键技术研究. 航空维修与工程. 2018(10): 54-57 . 百度学术122. 翁润滢，孙斌，赵玉晓，张竟月，文英杰. 基于自适应最优核和卷积神经网络的气液两相流流型识别方法. 化工学报. 2018(12): 5065-5072 . 百度学术123. 杨毅，江涛，柯俊，陈汇资. 海洋运载平台控制技术的发展趋势. 自然杂志. 2018(06): 427-434 . 百度学术124. 侯远韶. 一种新的基于深度学习的聚类分析算法. 新乡学院学报. 2018(12): 21-24 . 百度学术125. 李金忠，刘关俊，闫春钢，蒋昌俊. 排序学习研究进展与展望. 自动化学报. 2018(08): 1345-1369 . 本站查看126. 安杏杏，董宏丽，张勇，邵晓光，代丽艳. 输油管道泄漏检测技术综述. 吉林大学学报(信息科学版). 2017(04): 424-429 . 百度学术127. 黄良，王佳丽，赵立进，吕黔苏，杨涛，林刚. 面向文本非结构化数据的输变电系统故障诊断方法. 电力科学与技术学报. 2017(03): 153-161 . 百度学术128. 段尊雷，任光，李烨. 基于深度信念网络的轮机实操智能评估方法. 大连海事大学学报. 2017(03): 89-94 . 百度学术129. 陈洋，吴怀宇，程磊. 研究生课程“智能控制”教学改革与实践. 电气电子教学学报. 2017(04): 76-79 . 百度学术130. 丁辉，王冠，谢鹏. 基于深度学习的空域拥堵预测建模. 信息化研究. 2017(04): 28-30+41 . 百度学术131. 王建晖，陈俐珠，陈子聪，陈文力，黄运昌，黄星. 基于Deep Learning自编码的逼近控制系统设计. 广州大学学报(自然科学版). 2017(06): 57-62 . 百度学术132. 程俊龙，赵越. 基于深度学习的脑部核磁图像分割算法. 轻工科技. 2017(08): 93-97 . 百度学术133. 杜慧东，邱婷，朱明泽. 基于PSO的近似动态规划及其在电机控制中的应用. 黑龙江电力. 2017(03): 235-239 . 百度学术134. 张浩，刘振娟，李宏光，杨博，路洁. 基于关联变量时滞分析卷积神经网络的生产过程时间序列预测方法. 化工学报. 2017(09): 3501-3510 . 百度学术135. 侯一民，周慧琼，王政一. 深度学习在语音识别中的研究进展综述. 计算机应用研究. 2017(08): 2241-2246 . 百度学术136. 任浩，屈剑锋，柴毅，唐秋，叶欣. 深度学习在故障诊断领域中的研究现状与挑战. 控制与决策. 2017(08): 1345-1358 . 百度学术137. 吕菲，夏秀渝. 基于方位特征的听觉选择性注意计算模型研究. 自动化学报. 2017(04): 634-644 . 本站查看138. 李飞，高晓光，万开方. 基于改进并行回火算法的RBM网络训练研究. 自动化学报. 2017(05): 753-764 . 本站查看139. 李飞，高晓光，万开方. 基于权值动量的RBM加速学习算法研究. 自动化学报. 2017(07): 1142-1159 . 本站查看140. 朱群雄，高慧慧，徐圆. 工业过程报警管理研究进展. 自动化学报. 2017(06): 955-968 . 本站查看141. 陈伟宏，安吉尧，李仁发，李万里. 深度学习认知计算综述. 自动化学报. 2017(11): 1886-1897 . 本站查看142. 秦蕊，曾帅，李娟娟，袁勇. 基于深度强化学习的平行企业资源计划. 自动化学报. 2017(09): 1588-1596 . 本站查看143. 孙新，严西敏，尚煜茗，欧阳童，董阔. 一种基于共享度模型的改进Rete算法. 自动化学报. 2017(09): 1571-1579 . 本站查看144. 王飞跃，张梅，孟祥冰，王蓉，王晓，张志成，陈鸰，葛均华，杨田. 平行手术:基于ACP的智能手术计算方法. 模式识别与人工智能. 2017(11): 961-970 . 百度学术145. 刘林凡. 深度学习在故障诊断中的研究综述. 新型工业化. 2017(04): 45-48+61 . 百度学术146. 沈玉玲，杨俊杰，丘盛昌. 深度学习算法在智能装备中的应用. 装备机械. 2017(04): 7-9+18 . 百度学术147. Fei-Yue Wang，Jie Zhang，Qinglai Wei，Xinhu Zheng，Li Li. PDP: Parallel Dynamic Programming. IEEE/CAA Journal of Automatica Sinica. 2017(01): 1-5 . 必应学术148. 刘昕，王晓，张卫山，汪建基，王飞跃. 平行数据:从大数据到数据智能. 模式识别与人工智能. 2017(08): 673-681 . 百度学术149. 赵小强，张青青. 改进Alexnet的滚动轴承变工况故障诊断方法. 振动.测试与诊断. 2020(03): 472-480+623 . 百度学术其他类型引用(189)
-
下载:
下载:
计量
- 文章访问数: 7242
- HTML全文浏览量: 4255
- PDF下载量: 9097
- 被引次数: 338
