-
摘要: 针对最小化最大完工时间的柔性流水车间调度，利用事件建模思想，线性化0-1混合整数规划模型，使得小规模调度问题通过Cplex可以准确求解，同时设计了高效分布估算算法来求解大规模调度问题.该算法采用的是一种新颖的随机规则解码方式，工件排序按选定的规则安排而机器按概率随机分配.针对分布估算算法中的概率模型不能随种群中个体各位置上工件的更新而自动调整的缺点，提出了自适应调整概率模型，该概率模型能提高分布估算算法的收敛质量和速度.同时为提高算法局部搜索能力和防止算法陷入局部最优，设计了局部搜索和重启机制.最后，采用实验设计方法校验了高效分布估算算法参数的最佳组合.算例和实例测试结果都表明本文提出的高效分布估算算法在求解质量和稳定性上均优于遗传算法、引力搜索算法和经典分布估算算法.Abstract: For flexible flow shop scheduling which minimizes the maximum completion time, a 0-1 mixed integer linear programming model is established by using event modeling method, and small-scale scheduling problems can be accurately solved through any linear solver. At the same time, an efficient estimation of distribution algorithm is designed to solve large-scale problems. A novel decoding way with random probability and rules is adopted by the new algorithm, and workpiece sequencing is based on rule while assignment of machines is based on random probability. Since the original probability model does not automatically adjust sampling probability, an improved probability model is put forward. And local search and restart mechanism are designed and adopted to improve the ability of local search and to avoid falling into local optimum. Finally, optimal combination of parameters is decided by using experimental design method, and experimental results show that the new algorithm outperforms genetic algorithm, gravitational search algorithm, and classical estimation of distribution algorithm in terms of quality and stability.
-
计算机视觉研究的主要目标之一是从二维图像复原三维结构[1].二维图像是当今时代极易获取的数据形式, 互联网上每时每刻都在产生海量的图像数据, 而三维模型相对难以获取.目前已经有许多基于多幅图像的物体三维重建方法[2-4]被提出, 而基于单幅图像的物体三维重建问题因输入形式的特殊性使其更具挑战性.仅以单幅图像作为输入使得重建丢失了很多几何信息, 这就需要一些假设或先验知识, 亦或从已有的模型基于学习来进行重建.此外针对重建对象的不同, 当前基于单幅图像的重建问题可分为对物体(Object)的重建和对场景(Scene)的重建[5].本文属于对物体的重建这一子类.评价基于单幅图像的物体三维重建的重建精度目前没有一个固定的标准[6], 一些传统方法采用Hausdorff距离[7]作为评价重建效果的标准.随着深度学习的不断发展, IoU (Intersection over union)值被引入[8], 且被很多论文采用为评价标准, 此外亦有论文采用更注重物体几何外形的CD (Chamfer distance)值等[9].
基于图像的三维重建具有重要的实用价值和应用前景.随着互联网及电子商务的发展, 很多商家或企业开始利用三维模型来帮助自己进行产品的展示与推广.三维模型与二维图像相比, 因为多了一维信息, 所以更能将物体的真实感和细节的质感与纹理表现出来.同时, 在诸如虚拟现实、城市数字化建模、文物数字化保护、医学CT器官重建、三维影视动漫制作等领域, 基于图像的三维重建也具有广泛的应用[5, 10-13].多目图像三维重建往往需要相机标定等额外操作, 相比之下基于单幅图像的三维重建因输入简单, 更适合需要便捷式三维重建的应用场合, 近年来逐渐成为一个新的学术研究热点问题.
然而基于单幅图像的三维重建常常面临以下几个方面的挑战:
1) 类内差异和类间差异.不同的重建物体即使是同一个类型, 也会因为材料、外形等存在较大的差异性.而不同类型的物体, 亦可能存在较大的相似性.如果只是针对某个特定类别的物体进行三维重建往往会使重建系统缺乏一般性[14-15], 而针对多类别的重建系统则会因较大的类内差异和较小的类间差异使得重建精度不高[16-17], 如何构建既具有一般性又重建精度高的三维重建算法是目前研究的重点.
2) 图像自身属性.真实世界视图中的物体往往存在遮挡、非刚性变形等现象, 且很多时候不满足理想的朗伯特反射模型[18], 这就使得待重建的物体存在较大的多样性, 因此对重建算法提出了更高的要求.
3) 不适定问题.基于单幅图像的三维重建本身就是一个不适定问题(Ill-posed problem) [5], 即由于输入形式为单幅图像, 深度信息不可避免地丢失, 如果不给定一些先验知识或假设, 重建结果是不唯一的.如何根据一些假设和先验知识来重建最适合的模型, 以及如何提供最少的假设和先验, 这对三维重建工作提出了不小的挑战.
针对上述基于单幅图像物体三维重建问题, 许多文献提出了相应的解决方案.文献[19-20]探讨了对特定种类物体进行重建的问题; 文献[16-17]针对图像自身属性诸如非理想朗伯特模型的重建提出了解决办法; 此外有许多假设被提出[21-24]以解决不适定问题.但上述方法仍未能很好地解决这些问题, 重建精度仍然有待提高.随着深度学习技术的不断发展, 很多基于深度学习的三维重建方法[8-9, 25]近几年开始被提出, 且重建效果更好, 逐渐成为该领域近年来研究的重点.
本文结构安排如下:第1节简要介绍传统的基于单幅图像物体三维重建的研究成果; 第2节介绍深度学习算法模型及其近年来在基于单幅图像的三维重建领域的研究进展; 第3节介绍物体三维重建的常用公共数据集; 第4节对该方向目前仍存在的问题提出思考和展望, 并对文章进行总结, 分析基于深度学习算法的优缺点.
1. 传统的基于单幅图像的物体三维重建方法
基于单幅图像的物体三维重建在计算机视觉领域是一个长期存在且具有挑战性的问题, 往往利用先验知识或引入合适的约束来进行重建.按照重建方法的不同, 传统方法可以分为基于模型的重建方法和基于几何外形恢复的重建方法两类.
1.1 基于模型的重建方法
一般而言, 基于模型的重建方法由要表示对象的参数模型组成, 通过找到模型的投影和输入图像之间最佳拟合时模型的参数来完成重建[26].基于模型表示的物体重建反映了对模型表示的不同偏好.在早期的工作中, 广义柱体[27]对柱类外形进行了紧凑地描述, 而基于多面体模型的方法[28-29]则只能针对一些方形物体进行重建, 此外还有超二次曲面模型[30], 一些只针对车辆的手工刚性三维模型[31-32]等.这些模型都能对某种外形进行一定的描述, 但是可描述的对象太具有局限性.基于CAD模型的方法[33-35]可以粗略地表示物体的近似外形, 通过给予一组对应点, 可以非常有效地确定近似实例的视点, 但生成的模型和训练的模型有较大的偏差.此外近期还出现了基于CAD模型的类似实例进行非参数化重建的方法[36], 但是该方法仅限于对预先分割好的在线商品图像进行重建.
近期, 一些可以变形的模型因更具有表现力引起了更多学者的注意.形变模型(Morphable model)常用于对人脸进行重建[14, 37-38], 它是一种线性组合模型, 通过图像光流算法来建立三维人脸点到点的稠密对应.通过调节模型参数使输入图像与形变模型匹配.因为形变模型的建立往往是通过三维扫描的形式来获取三维信息, 为了克服对三维数据的要求, Cashman等[15]提出了一种混合的方法, 使用单个三维模型和大量二维信息学习得到动物的形变模型来重建诸如海豚这种较为复杂的动物模型. Vicente等[19]针对PASCAL VOC数据集中的图像进行重建, 提出了一种新方法, 先在图像数据集中找到与输入的单幅图像同类型的相似视角的不同物体的图像, 然后使用可视外壳进行重建, 但是需要在测试的时候添加关键点注释, 且处于理想的分割状态, 无法应用于较为真实的图像. Kar等[20]更进一步, 利用物体检测数据集中的2D注释来训练学习可变形的模型, 仅在训练的时候使用了部分注释, 且可以重建真实图像中的物体, 利用自底向上的模块来补充高频外形细节, 重建效果较之前的方法有一定的提升.
基于模型的方法在针对特定类别物体的重建上能取得较好的效果, 因为这种方法中的先验知识在模型的设计阶段就已经被设定好, 能够较好地对针对的物体提供更多的先验信息, 但是这类方法很难扩展到其他物体上.可变形的模型也往往只能沿着特定类别的变化模式变化. 表 1列出了近年来两种常用的基准算法和一种不针对具体重建类别的方法(均采用Hausdorff距离[7]作为评价参数) [39]在PASCAL VOC数据集上的三维重建结果, 其中Hausdorff距离越小代表精度越高.
1.2 基于几何外形恢复的方法
根据二维图像中的三维信息来恢复物体三维几何外形的技术统称为Shape from X, X可以是:阴影(Shading)、纹理(Texture)、运动(Motion)、光度立体(Stereo)、轮廓(Silhouette)等.基于光度立体、运动和轮廓恢复三维外形的方法常用于多目重建.基于纹理和阴影恢复三维外形的方法常用于针对单幅图像的三维重建.
从纹理中恢复外形(Shape from texture) [40]往往要求假定纹理满足某种先验性质, 例如假设纹理分布具有均一性[41], 或要求纹理由明确的纹理基元组成[42].从纹理中恢复外形的方法重建精度相对较低, 并且适用性窄, 实际应用相对较少.
从阴影中恢复外形(Shape from shading, SFS) [43]主要利用物体表面的明暗变化解析物体表面的矢量信息, 最后转化为深度信息.通常是在假定理想光照下, 即满足朗伯特(Lambertian)反射模型的状态下进行重建, 但是在满足假定朗伯特反射模型状态下的SFS问题本身也是不适定的(Ill-posed), 因此需要引入相应的附加条件对其正则化. Ikeuchi等[22]在SFS中加入平滑度约束, 即假定物体表面是光滑的, 以此使问题变为适定, 但这对于具有分形特征的自然景物三维外形恢复效果仍不太理想.
大多数传统的SFS方法是基于正交投影[44-45], 且假设光源都在无穷远处.而透视投影因比正交投影更为精准, 慢慢被引入到SFS方法中[46-47].同时, 使用朗伯特模型的三维重建误差较大, 为了提高重建精度, 许多非朗伯特模型被提出来. Ahmed等[17]用Ward反射模型对三维外形恢复进行了研究, Bakshi等[16]将SFS方法应用到包含有漫反射和镜面反射两种情况的混合表面重建.
此外, 还有一些方法通过监督学习的方式来学习几何信息[48-50], 以此来预测深度图, 但是对深度图的估计往往针对的是场景三维重建[51], 而本文主要针对的是对物体三维重建的综述, 因此对此类方法以及一些其他基于场景的三维重建方法[52-54], 本文不再做详细论述.
基于几何外形恢复的方法往往具有更好的泛化性, 其重建不是针对特定类别的物体, 能够以较自然简单的方式提取物体的表面信息.但同时该类方法往往对光照和灰度提出了较高的要求, 通过理想光源之类的一些约束来使重建的解唯一.因此该方法往往难以对真实图像进行较好质量的重建.
2. 基于深度学习的单幅图像三维重建
2.1 深度学习及其模型简介
深度学习的概念源于对人工神经网络(Artificial neural network, ANN)的研究.它是一种特征学习的方法, 把低层次的原始数据通过一些简单而非线性的模型转化成为更高层次的表达[55].通过大量的转换组合, 得到更好的特征表示.早在1986年, Rumelhart等[56]就提出人工神经网络的反向传播(Back propagation, BP)算法, 但这一时期人们普遍认为梯度下降会陷入局部极值, 且存在梯度消失、硬件条件不足等问题, 直到2006年, Hinton等[57]介绍了一种新的深度神经网络模型DBN及训练方法, 降低了深度神经网络的优化难度, 利用预训练方法缓解了局部极值问题, 从此深度学习受到学术界的关注.之后LeCun、Bengio、Ng等对深度神经网络展开研究[58].随着一些新的模型训练方法的涌现, 深度学习在诸如语音识别[59-60]、自然语言处理[61-63]、图像识别和分割等[64-65]多个领域都取得了较大的进展.近年来, 深度学习在三维数据的分类、识别和重建上也取得了很大的进展[66-68].目前广泛应用的深度学习模型主要包括深度置信网络(Deep belief network, DBN) [57, 69]、堆叠自动编码器(Stacked auto-encoders, SAE) [70]、卷积神经网络(Convolutional neural networks, CNN) [71]、循环神经网络(Recurrent neural networks, RNN) [72]等.
2.2 深度学习在基于单幅图像三维重建中的应用
相较于二维图像领域, 深度学习在三维外形重建上的研究起步较晚, 但在近三年内也取得了较大的进展.本节依据三维外形的不同表示, 从基于体素表示和基于点云、网格表示两个方面介绍深度学习在三维重建中的研究现状.
2.2.1 基于体素表示的三维重建
随着深度学习在三维领域的不断扩展, 围绕深度学习研究基于体素的三维重建方法开始被提出, 利用体素化的方法将所有的CAD模型表示为二值或实值的三维张量, 保证了模型大小的相同. Wu等[67]建立的网络结构3D shapenets是较早提出的基于体素表示的三维重建网络, 其利用深度卷积置信网络(CDBN)将三维几何外形表示为三维体素上二值变量的概率分布, 输入深度图, 通过吉布斯采样(Gibbs sampling)不断预测外形类型和填补未知的体素来完成重建.为了得到更好的训练效果, 其同时建立了大型的CAD模型数据集ModelNet. Choy等[8]提出了一种基于标准LSTM的扩展网络结构3D-R2N2 (3D recurrent reconstruction neural network), 使用该网络学习二维图像与三维外形间的映射, 网络以端到端的形式获取一个或多个对象实例的图像, 首先利用一个标准的CNN结构对原始输入图像进行编码, 用其提出的3D-LSTM进行过渡连接, 3D-LSTM单元排列成三维网格结构, 每个单元接收一个从编码器中得到的特征向量, 并将他们输送到解码器中.这样每个3D-LSTM单元重构输出体素的一部分.再利用一个标准反卷积网络对其解码, 通过这样的网络结构建立了二维图像和三维模型的映射.该方法还在单个框架中统一了单视图和多视图重建, 且不需要图像注释或分类标签进行训练, 克服了过去无法解决的缺乏纹理和宽基线特征匹配等问题的挑战.通过以IoU (Intersection-over-union)作为评价重建效果指标的实验, 验证了在单幅图像的三维重建效果优于Kar等[20]的传统方法, 但该方法在重建椅子细腿等方面存在断裂失真的问题. Girdhar等[73]提出了一种名为TL-embedding network的网络结构, 该网络的自编码器以20× 20× 20的像素网格表示作为输入, 通过自编码学习三维模型的嵌入(Embedding), 形成一个64维的嵌入空间(Embedding space), 然后通过ConvNets输入二维图像, 找到对应的嵌入, 最后通过解码器得到体素表示的三维模型.在重建结果上, 更能抓住重建的细节, 例如椅子的腿部和靠背, 重建效果优于Kar等[20]的方法. Kar等[74]尝试在同一系统中统一单视图和多视图的三维重建, 提出了一种叫做立体学习机(Learnt stereo machine, LSM)的新系统, 其可以利用单视角和语义线索进行单视图三维重建, 同时也可以利用立体视觉整合来自不同视角的信息进行多视图重建.该方法在编码部分提取特征后, 加入一个反投影模块, 将由前馈卷积神经网络获取的二维图像中的特征投影到三维网格中, 并使得结果根据极线约束在三维网格中对齐, 简化了特征匹配.通过实验与3D-R2N2 [8]的IoU值对比, 无论在单视图还是多视图均取得了更好的效果, 并且在实验中即便只给出飞机和椅子的数据, 还是可以完成汽车模型的重建, 因而具有较好的泛化能力. Wu等[75]等提出了一种叫MarrNet的网络模型, 在端到端生成重建结果的网络结构中加入了生成2.5 D草图的步骤, 增强了重建效果并使得网络可以更轻松地针对不同类别的物体进行重建.
早期的工作主要基于监督学习, 但获得大规模监督数据的成本往往是巨大的, 随着研究的深入, 一些基于生成模型的弱监督学习和无监督学习的方法逐渐被提出. Kanazawa等[76]提出了一种新的网络结构WarpNet, 利用薄板样条插值(Thin-Platespline)进行转换, 从一幅鸟的图像变形得到另一幅鸟的图像, 得到一个人工的对应, 通过将这样的两幅图像作为原始图和目标图来学习其中的变化, 最后将通过网络学习得到的结果作为空间先验来匹配图像中的外表变化、视点和关节, 不需要部分注释来进行单视图重建. Tulsiani等[77-78]采用另一种监督形式, 通过学习单视角的三维结构来构建多视角观察(Multi-view observations), 再通过多视角观察得到几何一致性, 其利用经典射线一致性公式引入了一个一般的检验器, 可以测量3D外形与不同种类观测结果间的一致性. Rezende等[1]首次提出了一个无监督的生成模型, 在二维图像上可以进行端到端的无监督训练, 不需要真实的三维标签, 证明了无监督生成模型学习三维表征的可能性.在此基础上, Yan等[79]提出一个名为Perspective transformer nets的网络结构, 在传统的编解码卷积神经网络中加入了透视变换作为正则化, 在不知道对应的真实模型的情况下, 提出了一种轮廓损失函数, 通过透视变换, 将在不同特定视角下的二维物体轮廓和对应体素轮廓的距离作为新的损失函数, 该方法在无监督学习下的重建具有良好的泛化能力.此外, 一些学者利用生成对抗网络进行重建[80-83]. Wu等[84]提出了3D-VAE-GAN的网络结构, 输入单幅图像, 通过变分自编码网络的编码器得到图像的潜在向量(Latent vector), 再通过生成对抗网络的生成器得到重建的物体.使用生成对抗网络的优点是可以从高斯或均匀分布等概率表征空间中采样新的三维对象, 并且判别器(Discrimitator)带有三维物体识别的信息特征.该方法与TL-embedding network的重建精度对比, 取得了更好的效果. Zhu等[82]对图像中物体的二维轮廓使用了更简单的标注, 对TL-embedding network和3D-VAE-GAN网络进行了微调, 重建取得了更好的效果. Gadelha等[85]提出了一种Projective GANs (PrGANs)的生成对抗网络, 在生成器上加入了投影模块, 投影模块通过给定视角呈现体素形状来捕获三维表示, 而后转化为二维图像再传递给判别器, 通过判别器判定输入图像是生成的还是真实的.通过反复训练, 调整生成器, 改进了生成的三维体素外形.增加投影模块使该方法与之前3D-VAE-GAN网络需要联合三维数据相比, 在学习阶段不使用任何标注、三维信息或视角信息来推断潜在的三维外形分布. Rosca等[81]对AE-GANs的网络结构进行了改进, 提出了一种新的变分自编码器和GANs结合的方法α-GAN, 融合两种方法的优势, 构建新的优化目标函数, 重建也取得了较好的效果.
体素表示的三维物体相较于二维图像, 计算量更大, 需求内存更多, 往往因计算和内存的限制, 分辨率主要为32× 32× 32以下.针对这一问题, 一些基于八叉树的卷积神经网络被提出[86-88]. Riegler等[89]提出了一种卷积网络OctNet, 取代体素部分, 将三维空间分割成一组不平衡八叉树, 每个八叉树根据数据的密度来分割三维空间.其充分利用了三维输入数据的稀疏性, 从而能够更加合理地使用内存及计算.受此启发, Häne等[90]提出了一个叫做层次表面预测(Hierarchical surface prediction, HSP)的通用框架, 将体素分为占用、未占用和边界三类.使用这种方法, 在一个八叉树中分层次地预测从粗到细多分辨率的体素块, 只要保证在那些标记为边界的区域有相对较高的分辨率即可.通过迭代, 可以层进地预测出分辨率为256× 256×256的体素表示.同样是使用八叉树结构, 与Riegler等[89]提出的方法中需要假设在测试期间八叉树结构为已知的不同, Tatarchenko等[88]提出了一种称作OGN (Octree generating networks)的网络结构, 通过网络学习预测八叉树的结构, 同时在网络的解码初期预测大量的输出空间, 而直到网络的某一层, 密集的网格才被八叉树替代, 从而节省了后续高分辨率计算需要的内存, 并且可以将分辨率提升为512×512×512. Sun等[87]提出了一种称作CVN (Colorful voxel network)的网络结构, 这是第一个基于深度学习的能够端到端同时从单一图像恢复三维外形和表面颜色的网络结构, 设计了一种新的损失函数MSFCEL (Mean squared false cross-entropy loss)用于解决体素表示的稀疏问题, 从而能够生成更高分辨率的结果.
ShapeNet团队组织了一次基于单幅图像物体三维重建的挑战赛[6], 共3支队伍参加, 包括上文提到的HSP [90]和α-GAN [81].每个队伍从测试图像重建出分辨率为256×256×256的三维模型, 挑战赛采用IoU和CD两种评价标准.在与3D-R2N2 [8]结果的对比中, HSP在基于IoU的评价标准中赢得第一, 而α-GAN在基于CD的评价标准中赢得第一, ShapeNet团队猜测原因是gan损失比交叉熵损失更有助于描绘几何的正确性[6].
2.2.2 基于点云和网格表示的三维重建
基于点云和网格的单幅图像三维重建工作目前还比较少, 原因在于相较于可以直接用于卷积神经网络中的体素表示, 点云和网格表示则需要一定的改变.例如, 系统若需处理点云时一般需要维持点顺序不变.随着一些基于深度学习和点云形式的物体识别的相关工作的出现[91-93]和相关研究的不断推进, Fan等[9]提出了一个点集生成网络, 这是第一个用深度学习研究点云表示点集产生的网络结构.它有多个平行的预测分支, 网络结构中包含卷积模块、反卷积模块、全连接模块.这样复杂的模型具有高度的灵活性, 在描述复杂结构方面表现出色, 而由于卷积层和反卷积层引起的空间连续性, 其对大光滑表面更友好.而该网络引入了Hourglass卷积网络结构[94]反复进行的编解码操作, 使该方法具有更强的表示能力, 可以更好地联合全局和局部信息.其系统地探讨了点云生成网络的损失函数设计, 选取了两种距离Chamfer distance (CD)和Earth Mover's distance (EMD)作为候选.在重建结果上, 该方法能产生多个可能的输出来解决单幅图像三维重建的不适定问题, 在与3D-R2N2方法的结果对比中, 该方法在所有类别中均能获得更高的IoU值, 拥有更好的重建效果, 但是在输入图像中有多个对象的情况下, 由于网络还没有采取任何检测或注意力机制, 网络会产生扭曲的输出.并且其所需的可学习参数与三维点预测的数量成线性比例且不能很好地缩放, 使用三维距离度量作为优化标准对于大量点来说仍是困难的. Lin等[95]针对上述问题, 在网络结构中使用了二维卷积运算来捕获生成的点云之间的相关性并以更易于计算的方式进行优化, 生成的点云具有更好的精度.
图像和网格之间的转换产生的离散操作会阻碍反向传播的过程, 导致基于深度学习重建网格表示的三维模型面临不小的挑战. Kato等[25]针对这个问题提出了一种渲染网格的近似梯度, 将该部分作为一个渲染器集成到神经网络中.经过渲染器处理, 其使用轮廓图像监督来执行单图像3D网格重建.通过对比Yan等[79]基于体素的重建方法, 验证了其在视觉和IoU值方面均超过了基于体素的方法, 但该方法存在一个明显的不足, 即不能生成一个具有各种拓扑的对象. Pontes等[96]提出了一个新的学习框架, 通过学习框架推断网格表示的参数来解决基于网格重建所面临的问题, 其在面对输入为真实世界的单幅图像时表现更好. Wang等[97]将网络分为特征提取和网格变形两个部分, 先由2D CNN部分提取特征, 再利用提取的特征通过GCN (Graph convolutional network)来解决网格结构无法直接作用于CNN的问题, 最后生成重建模型.该文章对比了基于体素的3D-R2N2 [8]、Fan等[9]基于点云及Kato [25]基于网格的方法, 实验中重建效果均高于上述三种方法, 但仍存在只能生成相同拓扑网格的局限性.
3. 基于单幅图像三维重建的常用数据集
为了更好地研究基于单幅图像的物体三维重建, 构建大规模的三维模型数据集成为必然要求.目前有多个三维模型的公共数据集供科研人员使用.
1) PASCAL 3D+数据集[98]
PASCAL VOC数据集是在图像识别、图像分割和目标检测等领域经常使用的大型数据集, 它的广泛使用也推动了计算机视觉领域的不断发展.而PASCAL 3D+正是基于PASCAL VOC 2012 [99]的12种刚体类别的图像, 为它们添加了三维模型标注的数据集, 其每一类通过ImageNet [100]扩展得到更多的图像, 最终每一类平均有3 000左右的物体.该数据集图像物体变化较大, 且包含遮挡和截断等情况, 能够更好地反映真实世界中的变化.
2) ShapeNet数据集[101]
该数据集由物体的三维CAD模型组成, 是目前为止包含丰富注释的最大的三维模型数据集.其在WordNet [102]分类下进行组织, 为每一个三维模型提供丰富的语义注释, 包括物理尺寸、关键字等, 注释可通过基于Web的界面提供, 以实现对象属性的数据可视化. ShapeNet共包含超过300万个模型, 其中22万个模型被归类为3 135个类别.
3) Online Products数据集[103]
该数据集包含在线销售的23 000个物体的图像.由于存在宽基线的问题, 传统的MVS和SFM方法无法通过这些图像进行重建.
4) ModelNet数据集[67]
该数据集是当前规模较大、模型类别较多的一个大型CAD数据集, 收集了各类3D CAD网站, 3D Warehouse以及Princeton Shape Benchmark [104] 660种共计151 125个CAD模型.
5) IKEA Dataset数据集[33]
该数据集收集了来自Google 3D Warehouse的225个IKEA的三维模型和从Flickr得到的800幅图像, 分为IKEA家具和IKEA房间两个部分, 主要集中了室内家具的模型, 模型类别及数量相对较少, 同时部分图像存在遮挡.该数据集的每一幅图像都标注其关联的三维模型, 可以借此评估三维重建的效果.
4. 思考、展望与结论
随着深度学习的不断发展和三维数据集的不断完善, 基于单幅图像的三维重建取得了较大的进展, 表 2展示了目前代表性传统方法[20]和3D-R2N2在PASCAL 3D+数据集上以IoU值作为重建评价标准的重建效果对比.可以看出与传统手工设计的方法相比, 基于深度学习的端到端的训练方法能够直接以单幅图像作为输入, 并以重建的三维模型作为输出, 提取特征效率更高, 重建效果更好.同时深度学习使用诸如dropout等稀疏化网络参数的方法来防止过拟合, 以此来利用大规模的数据, 具有更好的泛化性.正如人看到二维图像即可联想到它的三维表示, 基于深度学习的单幅图像重建也越来越趋向于与人类认知三维物体方法相同的无监督学习[1, 79, 84], 也有越来越多的网络融合了单幅图像和多幅图像两种方式, 使得重建能够更加灵活.同时基于深度学习的方法也不断地在各种三维表示形式上进行着尝试, 表 3对比了目前基于体素、点云、网格的主流方法在ShapeNetCore [77]数据集上以平均IoU值作为重建评价准则的重建精度.
表 3 不同方法以平均IoU值作为评价标准的重建精度对比Table 3 3D reconstruction comparison with different methods using IoU综上所述, 基于深度学习的方法相较于传统的方法拥有较多的优势, 并且在这一领域逐渐取得了显著进展, 但是同时在这一领域也存在如下问题:
1) 公共数据集较小.对于一个三维重建任务来说, 增加训练数据的种类和规模可以增加学习的泛化能力.但是与目前千万级的二维图像数据集相比, 三维公共数据集规模小、种类少.即使是近年来发布的较大的数据集ModelNet也仅包含了来自662个类的127 915个三维外形.相信随着深度学习在三维领域的不断深入, 在未来会涌现出更大规模的三维公共数据集.
2) 重建分辨率及精度问题.三维物体相较于二维多了一个维度, 基于体素的重建随着重建分辨率的增加, 物体体积成立方体增长, 使其受限于计算和内存, 重建物体常见的分辨率是32× 32× 32.这样分辨率的重建结果是非常粗糙的, 离真实物体还有较大差距.即使有针对这一问题提出的改进方法[90], 改进后仍然无法达到较为精密的重建效果.而在以主要依赖于大规模多样性标记数据集的监督学习的方法中, 在实验中与真实模型对比, 重建精度也未达到0.85以上.要提高基于体素重建的分辨率, 还要考虑三维体素的稀疏性, 未来针对如何在基于体素的重建中提升计算效率, 避免在未占用的部分浪费过多内存, 提高重建的分辨率以及如何改善网络结构以提高重建效果, 能够恢复更多细节, 这些仍然是未来值得关注的问题.
3) 基于点云和网格重建的问题.图像是结构化的, 可以表示为二维平面上的一个矩阵, 基于体素的重建使模型通过体素化变为二值模式, 也保证了大小的相同.但三维点云和网格都是不规则的数据形式, 这使得学习方法的应用存在问题, 由于欧几里德卷积运算不能直接应用, 这些数据表示不能很好地适应传统的CNN.目前针对该问题仅有少数前期探索工作[9], 主要思路有: a)先将三维点云或网格数据转化成二维图像, 再在神经网络中提取特征; b)设计适应原始三维数据特点的网络模型, 例如结合GCN的网络模型; c)在三维外形上手工提取低级特征, 再采用深度学习模型提取高级特征.但总体而言, 该问题仍未得到有效解决.如何设计能适应原始三维数据特点的深度学习模型, 以及如何设计点云生成网络的损失函数仍是未来一个值得研究的课题.而基于网格的重建, 如何生成具有不同拓扑的对象, 是一个具有重要意义的研究方向.
4) 单幅图像重建的不适定问题.正如在传统方法中提到的, 对一幅图像的三维重建, 特别是对一幅来自真实世界的图像(区别于从CAD模型中生成的二维图像), 其不可见部分的几何外形需要猜测, 一幅图像往往可能对应多个不同的重建模型, 且均可以看作是该幅图像的重建结果.从统计的角度来看, 输入图像的合理预测形成一个分布.反映在训练集中, 两个看起来相似的图像可能具有相当不同的重建结果.如果将这个问题看作是一个回归问题, 就与传统的只有一个对应真实模型的三维重建大有不同, 定义正确的损失函数就显得尤为重要.针对这一问题, Fan等[9]通过VAE网络结构和其定义的MoN损失使得网络能对单幅图像生成多种可能的重建结果, 该方法进行了一次有益的尝试, 但在实现细节和准确度上仍有提高的空间.
5) 三维模型的表示形式和评价指标.与深度学习在二维图像中的应用不同, 目前人们仍然还在探索什么样的三维表示是最准确有效的, 因此基于体素、网格、点云表示的方法也仍然在不断涌现.而在对基于单幅图像的三维重建的评价标准上, 至今也仍没有一个完全统一的定论[6], 哪种评价指标最能够反映重建的效果, 仍然有待进一步的研究.
本文综述了近年来深度学习在单幅图像三维重建中的应用和展望.首先说明了传统的基于单幅图像的三维重建的方法和常用的公共数据集, 然后重点介绍了深度学习方法在基于单幅图像的三维重建的最新应用进展, 最后对深度学习在基于单幅图像的三维重建进行了分析, 对未来的发展趋势进行了思考与展望.总体而言, 深度学习为解决基于单幅图像的三维重建提供了新的技术, 取得了较为显著的科研成果, 但其研究大部分仍存在大量的问题, 未来基于深度学习的单幅图像的三维重建仍然是一个亟待研究的重点方向.
致谢: 感谢英国萨里大学视觉、语音和信号处理中心Evren Imre博士(现工作于动作捕捉公司Vicon)对本文提出的建设性意见.
-
表 1 解码方法的伪代码和复杂度
Table 1 Pseudo-code and complexity for decoding method
Algorithm 1. Template of decoding O (max{Snlog (n), nMlog (m)}) Input: π as the coding, and πt as the t-th processed job number, P_m as the probability, O (C) j=1 (j is the index of the stages); O (1) Repeat O (max{Snlog (n), nM log (m)}) t=1; O (1) Repeat O (nmjlog (mj)) Randomly generating a number of [0, 1] which is noted as P m; O (1) Calculating the completion time of πt processed on each machine (Tπt, j, k) according to equation (12); O (mj) If P_m≤P_m, the machine of the minimum Tπt, j, k is chosen and is noted as k*; O (mjlog (mj)) Else, a machine is randomly chosen and is noted as k*; O (mjlog (mj)) Setting Eπt, j=Tπt, j, k, Bπt, j=Tπt, j, k* -Pπt, k*; O (1) t + + O (1) Until t=n O (1) Reorganizing the sequence of jobs according to the ascending order of Eπt, j; O (nlog (n)) Updating π as the sequence of jobs; O (n) j + + O (1) Until j=S O (1) Output: Final solution found. O (C) 
下载: 导出CSV
表 2 概率矩阵构建与种群更新的伪代码和复杂度
Table 2 Pseudo-code and complexity for constructing probability matrix and updating population
Algorithm 2. Template of construction probability matrix and updating population O (GPsize(n2 -n)/2) Input: Sp as dominant population. Pt.i(g) as the probability matrix; 0(n2) g as the index evolutional generation, g=0; 0(1) Repeat O (GPsize(n2 -n)/2) Determining the values of ISt, il (g) according to Sp; O (n2|Sp|) Calculating Pt, i(g + 1) by equation (13) and setting Pt, i0 (g + 1)=Pt, i(g + 1)； 0(n2) l=l; 0(1) Setting I as the sequence of jobs in the individual l; O (n) Repeat O (Psize(n2 -n)/2) t=1； 0(1) Updating the job of individual l which is arranged at position t according to Pt, i0 (g + 1) by the roulette approach; 0(n -1) Noting the job as i* 0(1) Repeat O ((n2-n)/2) I'={i, i ∈ I/i*} O (n -t) Calculating Pt, i0 (g + 1) by equation (14). O (n -t) Dynamically updating Pt', i(g + 1), as Pt', i'(g + 1), O (n -t) t + + O (1) I=[]; I=I'; O (n -t) Updating the job of individual l which is arranged at position t according to (3 + 1) by the roulette approach; O (n -1) Until t==n O (1) l + + O (1) Until l==Psize O (1) Calculating the target values for all of updated individuals by decoding method; O (Psizesnlog (n)) Sequencing the individuals in ascending order of target values; O (Psixesnlog (n)) Selecting the top η % of individuals as sp; O (|sp|) g + + O (1) Until the termination criteria are achieved O (1) Output: Final solution found. O (C)
下载: 导出CSV
表 3 改进概率模型的性能
Table 3 The performance of improved probability model
代数 EDA_I EDA_W 最优值 多样性 时间(s) 最优值 多样性 时间(s) 10代 249.0 0.83 0.93 251.0 0.89 0.97 50代 237.1 0.35 4.78 241.2 0.60 4.80 100代 230.0 0.09 9.71 239.8 0.23 10.02 200代 226.7 0.01 19.38 235.5 0.03 20.72 500代 223.4 0.00 48.31 230.9 0.00 52.60
下载: 导出CSV
表 4 重启操作的正交实验结果
Table 4 Results for orthogonal test of restart operation
参数组合 水平 AVG $Div{\_}h$ G_max Res 1 2 2 1 222.30 2 2 1 2 223.75 3 4 1 1 223.90 4 3 2 1 222.40 5 3 1 3 219.60 6 1 3 1 223.90 7 1 1 1 223.55 8 1 1 2 223.10 9 3 1 1 221.25 10 1 2 3 222.25 11 4 2 2 222.55 12 4 1 3 219.65 13 2 1 1 223.00 14 3 3 2 222.40 15 4 3 1 224.40 16 2 3 3 219.95
下载: 导出CSV
表 5 重启操作的极差表
Table 5 Rang table of restart operation
水平 $Div{\_}\, h$ G_max Res 1 223.200 222.263 223.088 2 222.150 222.375 222.950 3 221.487 222.563 220.338 4 222.625 - - 极差 1.713 0.300 2.750 等级 2 3 1
下载: 导出CSV
表 6 重启操作中三种影响因素的方差分析
Table 6 ANOVA for three factors of restart operation
Source Type Ⅲ sum of squares df Mean square F Sig. Partial eta squared Corrected model 28.553a 7 4.079 4.510 0.025 0.798 Intercept 646 099.042 1 646 099.042 714 322.413 0.000 1.000 $Div{\_}h$ 6.324 3 2.108 2.331 0.151 0.466 G_max 0.240 2 0.120 0.133 0.877 0.032 Res 21.988 2 10.994 12.155 0.004 0.752
下载: 导出CSV
表 7 高效EDA算法各操作复杂度
Table 7 The complexity of efficient EDA
操作名称 复杂度 初始化 O$(nP_{size})$ 评价种群 O$(P_{size} Mn\log (n))$ 选择优势种群并计算概率 O$(n^2SP_{size})$ 按概率生产新种群 O$(n^2P_{size})$ 邻域搜索 O$Mn^{3})$或O$Mn^{2})$ 重启操作 O$(P_{size}${$Mn$log($n))$
下载: 导出CSV
表 8 算法参数正交实验结果
Table 8 Results for orthogonal test of algorithm parameters
参数组合 水平 AVG $Div{\_}h$ G_max Res 1 2 2 4 193.40 2 2 1 2 193.94 3 4 1 4 192.66 4 3 2 1 197.29 5 3 1 3 192.51 6 1 3 4 195.14 7 1 1 1 195.54 8 1 4 2 197.54 9 3 4 4 195.40 10 1 2 3 194.26 11 4 2 2 195.29 12 4 4 3 195.97 13 2 4 1 198.71 14 3 3 2 196.29 15 4 3 1 197.14 16 2 3 3 194.46
下载: 导出CSV
表 9 高效EDA各参数的极差
Table 9 Rang for the parameters of efficient EDA
水平 $Div{\_}\, h$ G_max Res 1 195.620 193.663 197.170 2 195.128 195.060 195.765 3 195.373 195.758 194.300 4 195.265 196.905 194.150 极差 0.492 3.242 3.020 等级 3 1 2
下载: 导出CSV
表 10 高效EDA的三种参数的方差分析
Table 10 ANOVA for three parameters of efficient EDA
Source Type Ⅲ sum of squares df Mean square F Sig. Partial eta squared Corrected model 46.692a 9 5.188 39.490 0.000 0.983 Intercept 610 562.518 1 610 562.518 4 647 478.731 0.000 1.000 $P_{size}$ 0.520 3 0.173 1.320 0.352 0.398 $\eta $ 22.063 3 7.354 55.980 0.000 0.966 a 24.108 3 8.036 61.169 0.000 0.968
下载: 导出CSV
表 11 四种算法的均值及标准差
Table 11 The mean and standard deviation of these four algorithms
解码方法 Mean Std. deviation N GA 规则 200.8500 13.46325 40 随机规则 197.2000 13.49112 40 Total 199.0250 13.51696 80 GSA 规则 198.5750 13.51331 40 随机规则 189.7000 12.44928 40 Total 194.1375 13.66020 80 EDA 规则 199.43 13.454 40 随机规则 193.20 12.113 40 Total 196.31 13.100 80 EDA_H 规则 188.68 13.234 40 随机规则 184.42 13.042 40 Total 186.55 13.229 80
下载: 导出CSV
表 12 组间因素测试结果
Table 12 Test results of between-subjects
Source Square sum df Mean square F Sig. Partial eta squared Intercept 12 044 296.013 1 12 044 296.013 19 397.610 0.000 0.996 Decode 2 645.000 1 2 645.000 4.260 0.042 0.052 Error 48 431.488 78 620.917 - - -
下载: 导出CSV
表 13 多元变量测试结果
Table 13 Test results of multivariate
Effect Value F Hypoth-esis df Error df Sig. Partial eta squared 算法 Pillai's trace 0.882 190.021a 3.000 76.000 0.000 0.882 Wilks' lambda 0.118 190.021a 3.000 76.000 0.000 0.882 Hotelling's trace 7.501 190.021a 3.000 76.000 0.000 0.882 Roy's largest root 7.501 190.021a 3.000 76.000 0.000 0.882 算法加解码 Pillai's trace 0.314 11.617a 3.000 76.000 0.000 0.314 Wilks' lambda 0.686 11.617a 3.000 76.000 0.000 0.314 Hotelling's trace 0.459 11.617a 3.000 76.000 0.000 0.314 Roy's largest root 0.459 11.617a 3.000 76.000 0.000 0.314
下载: 导出CSV
表 14 三个实例在四种算法及原文献中的结果对比
Table 14 Comparison for the results of three cases under these four algorithms and original documents
次数 文献结果 GA GSA EDA_W EDA_I L1 L2 L3 L1 L2 L3 L1 L2 L3 L1 L2 L3 L1 L2 L3 1 23 297 14 22 298 13.5 22 297 13.5 23 298 13.5 21 297 13 2 24 297 14 22 297 13.5 22 297 13.5 22 297 14 22 297 13 3 23 297 15 22 298 13.5 22 297 13.5 21 300 13.5 21 297 13 4 23 297 14 22 298 13.5 21 298 13.5 22 298 13.5 21 297 13.5 5 23 298 14 22 297 13.5 22 297 13.5 22 297 14 21 297 13 6 23 297 14.5 22 300 13.5 22 298 13.5 21 297 13.5 21 297 13 7 24 297 14 22 298 13.5 21 298 13.5 23 300 14 21 298 13 8 24 298 14.5 22 298 13.5 22 297 13.5 22 197 13.5 21 297 13.5 9 23 298 14 22 298 13.5 22 298 13.5 23 298 13.5 21 297 13 10 24 298 14 22 299 13.5 22 298 13.5 22 298 14 21 297 13
下载: 导出CSV
-
[1] Salvador M S. A solution to a special class of flow shop scheduling problems. In:Proceedings of the 1973 Symposium on the Theory of Scheduling and Its Applications. Berlin, Germany:Springer, 1973. 83-92 [2] 李铁克, 苏志雄.炼钢连铸生产调度问题的两阶段遗传算法.中国管理科学, 2009, 17(4):68-74 http://www.cnki.com.cn/Article/CJFDTOTAL-ZGGK200905010.htmLi Tie-Ke, Su Zhi-Xiong. Two-stage genetic algorithm for SM-CC production scheduling. Chinese Journal of Management Science, 2009, 17(4):68-74 http://www.cnki.com.cn/Article/CJFDTOTAL-ZGGK200905010.htm [3] 王圣尧, 王凌, 许烨.求解相同并行机混合流水线车间调度问题的分布估算算法.计算机集成制造系统, 2013, 19(6):1304-1312 http://www.cnki.com.cn/Article/CJFDTOTAL-JSJJ201306018.htmWang Sheng-Yao, Wang Ling, Xu Ye. Estimation of distribution algorithm for solving hybrid flow-shop scheduling problem with identical parallel machine. Computer Integrated Manufacturing Systems, 2013, 19(6):1304-1312 http://www.cnki.com.cn/Article/CJFDTOTAL-JSJJ201306018.htm [4] 王凌, 周刚, 许烨, 金以慧.混合流水线调度研究进展.化工自动化及仪表, 2011, 38(1):1-8, 22 http://www.cnki.com.cn/Article/CJFDTOTAL-HGZD201101002.htmWang Ling, Zhou Gang, Xu Ye, Jin Yi-Hui. Advances in the study on hybrid flow-shop scheduling. Control and Instruments in Chemical Industry, 2011, 38(1):1-8, 22 http://www.cnki.com.cn/Article/CJFDTOTAL-HGZD201101002.htm [5] 王凌, 周刚, 许烨, 王圣尧.求解不相关并行机混合流水线调度问题的人工蜂群算法.控制理论与应用, 2012, 29(12):1551-1557 http://www.cnki.com.cn/Article/CJFDTOTAL-KZLY201212004.htmWang Ling, Zhou Gang, Xu Ye, Wang Sheng-Yao. An artificial bee colony algorithm for solving hybrid flow-shop scheduling problem with unrelated parallel machines. Control Theory & Applications, 2012, 29(12):1551-1557 http://www.cnki.com.cn/Article/CJFDTOTAL-KZLY201212004.htm [6] Graham R L, Lawler E L, Lenstra J K, Kan A H G R. Optimization and approximation in deterministic sequencing and scheduling:a survey. Annals of Discrete Mathematics, 1979, 5:287-326 doi: 10.1016/S0167-5060(08)70356-X [7] Linn R, Zhang W. Hybrid flow shop scheduling:a survey. Computer & Industrial Engineering, 1999, 37(1-2):57-61 http://www.ingentaconnect.com/content/els/03608352/1999/00000037/00000001/art00023 [8] Kis L, Pesch E. A review of exact solution methods for the non-preemptive multiprocessor flowshop problem. European Journal of Operational Research, 2005, 164(3):592-608 doi: 10.1016/j.ejor.2003.12.026 [9] Azizoğlu M, Çakmak E, Kondakci S. A flexible flowshop problem with total flow time minimization. European Journal of Operational Research, 2001, 132(3):528-538 doi: 10.1016/S0377-2217(00)00142-9 [10] Nawaz M, Enscore E E Jr, Ham I. A heuristic algorithm for the m-machine, n-job flow-shop sequencing problem. Omega, 1983, 11(1):91-95 doi: 10.1016/0305-0483(83)90088-9 [11] Palmer D S. Sequencing jobs through a multi-stage process in the minimum total time-a quick method of obtaining a near optimum. Journal of the Operational Research Society, 1965, 16(1):101-107 doi: 10.1057/jors.1965.8 [12] Campbell H G, Dudek R A, Smith M L. A heuristic algorithm for the n job, m machine sequencing problem. Management Science, 1970, 16(10):B630-B637 doi: 10.1287/mnsc.16.10.B630 [13] Ruiz R, Vázquez-Rodríguez J A. The hybrid flow shop scheduling problem. European Journal of Operational Research, 2010, 205(1):1-18 doi: 10.1016/j.ejor.2009.09.024 [14] Shiau D F, Huang Y M. A hybrid two-phase encoding particle swarm optimization for total weighted completion time minimization in proportionate flexible flow shop scheduling. The International Journal of Advanced Manufacturing Technology, 2012, 58(1):339-357 doi: 10.1007/s00170-011-3378-3 [15] Tran T H, Ng K M. A water-flow algorithm for flexible flow shop scheduling with intermediate buffers. Journal of Scheduling, 2011, 14(5):483-500 doi: 10.1007/s10951-010-0205-x [16] 宋代立, 张洁.蚁群算法求解混合流水车间分批调度问题.计算机集成制造系统, 2013, 19(7):1640-1647 http://www.cnki.com.cn/Article/CJFDTOTAL-JSJJ201307024.htmSong Dai-Li, Zhang Jie. Batch scheduling problem of hybrid flow shop based on ant colony algorithm. Computer Integrated Manufacturing Systems, 2013, 19(7):1640-1647 http://www.cnki.com.cn/Article/CJFDTOTAL-JSJJ201307024.htm [17] 王圣尧, 王凌, 许烨, 周刚.求解混合流水车间调度问题的分布估计算法.自动化学报, 2012, 38(3):437-443 doi: 10.3724/SP.J.1004.2012.00437Wang Sheng-Yao, Wang Ling, Xu Ye, Zhou Gang. An estimation of distribution algorithm for solving hybrid flow-shop scheduling problem. Acta Automatica Sinica, 2012, 38(3):437-443 doi: 10.3724/SP.J.1004.2012.00437 [18] Guinet A G P, Solomon M M. Scheduling hybrid flowshops to minimize maximum tardiness or maximum completion time. International Journal of Production Research, 1996, 34(6):1643-1654 doi: 10.1080/00207549608904988 [19] Engin O, Döyen A. A new approach to solve hybrid flow shop scheduling problems by artificial immune system. Future Generation Computer Systems, 2004, 20(6):1083-1095 doi: 10.1016/j.future.2004.03.014 [20] Kahraman C, Engin O, Kaya I, Yilmaz M K. An application of effective genetic algorithms for solving hybrid flow shop scheduling problems. International Journal of Computational Intelligence Systems, 2008, 1(2):134-147 doi: 10.1080/18756891.2008.9727611 [21] Niu Q, Zhou T J, Ma S W. A quantum-inspired immune algorithm for hybrid flow shop with makespan criterion. Journal of Universa1 Computer Science, 2009, 15(4):765-785 https://www.researchgate.net/publication/220349710_A_Quantum-Inspired_Immune_Algorithm_for_Hybrid_Flow_Shop_with_Makespan_Criterion [22] Baluja S. Population-based incremental learning:a method for integrating genetic search based function optimization and competitive learning, Technical Report CMU-CS-94-163, Computer Science Department, Carnegie Mellon University, USA, 1994. [23] Mühlenbein H, Paaß G. From recombination of genes to the estimation of distributions Ⅰ. binary parameters. In:Proceedings of the 4th International Conference on Parallel Problem Solving from Nature. Berlin, Germany:Springer, 1996. 178-187 [24] Larrańaga P, Lozano J A. Estimation of Distribution Algorithms:A New Tool for Evolutionary Computation. Boston, USA:Kluwer Press, 2002. 57-61 [25] 周树德, 孙增圻.分布估计算法综述.自动化学报, 2007, 33(2):113-124 doi: 10.1360/aas-007-0113Zhou Shu-De, Sun Zeng-Qi. A survey on estimation of distribution algorithms. Acta Automatica Sinica, 2007, 33(2):113-124 doi: 10.1360/aas-007-0113 [26] 王圣尧, 王凌, 方晨, 许烨.分布估计算法研究进展.控制与决策, 2012, 27(7):961-966, 974 http://www.cnki.com.cn/Article/CJFDTOTAL-KZYC201207002.htmWang Sheng-Yao, Wang Ling, Fang Chen, Xu Ye. Advances in estimation of distribution algorithms. Control and Decision, 2012, 27(7):961-966, 974 http://www.cnki.com.cn/Article/CJFDTOTAL-KZYC201207002.htm [27] Rabiee M, Rad R S, Mazinani M, Shafaei R. An intelligent hybrid meta-heuristic for solving a case of no-wait two-stage flexible flow shop scheduling problem with unrelated parallel machines. The International Journal of Advanced Manufacturing Technology, 2014, 71(5):1229-1245 https://www.researchgate.net/publication/262686363_An_intelligent_hybrid_meta-heuristic_for_solving_a_case_of_no-wait_two-stage_flexible_flow_shop_scheduling_problem_with_unrelated_parallel_machines?_sg=hC1vVOP0bkPT-eYhm4xL-WBqnnvcOKuG0_yYX3VDOVqmnKCf1gfvUNCxgms3TSRH93CGqFpMCG-oSMaXMYEdmw [28] 张凤超.改进的分布估计算法求解混合流水车间调度问题研究.软件导刊, 2014, 13(8):23-36 http://www.cnki.com.cn/Article/CJFDTOTAL-RJDK201408010.htmZhang Feng-Chao. An improved estimation of distribution algorithm to solve the hybrid flow shop scheduling problem. Software Guide, 2014, 13(8):23-36 http://www.cnki.com.cn/Article/CJFDTOTAL-RJDK201408010.htm [29] Shaik M A, Floudas C A. Unit-specific event-based continuous-time approach for short-term scheduling of batch plants using RTN framework. Computers & Chemical Engineering, 2008, 32(1-2):260-274 https://www.researchgate.net/publication/223556750_Unit-specific_event-based_continuous-time_approach_for_short-term_scheduling_of_batch_plants_using_RTN_framework [30] Li J, Floudas C A. Optimal event point determination for short-term scheduling of multipurpose batch plants via unit-specific event-based continuous-time approaches. Industrial & Engineering Chemistry Research, 2010, 49(16):7446-7469 https://www.researchgate.net/publication/231391276_Optimal_Event_Point_Determination_for_Short-Term_Scheduling_of_Multipurpose_Batch_Plants_via_Unit-Specific_Event-Based_Continuous-Time_Approaches [31] Li J, Xiao X, Tang Q H, Floudas C A. Production scheduling of a large-scale steelmaking continuous casting process via unit-specific event-based continuous-time models:short-term and medium-term scheduling. Industrial & Engineering Chemistry Research, 2012, 51(21):7300-7319 https://www.researchgate.net/publication/263954240_Production_Scheduling_of_a_Large-Scale_Steelmaking_Continuous_Casting_Process_via_Unit-Specific_Event-Based_Continuous-Time_Models_Short-Term_and_Medium-Term_Scheduling [32] 陈荣秋.生产计划与控制:概念、方法与系统.武汉:华中理工大学出版社, 1995. 48Chen Rong-Qiu. Production Planning and Control:Concept, Method and System. Wuhan:Huazhong University of Technology Press, 1995. 48 [33] Shaffer C A[著], 张铭, 刘晓丹等[译].数据结构与算法分析(C++版) (第3版).北京:电子工业出版社, 2013. 31Shaffer C A[Author], Zhang Ming, Liu Xiao-Dan, et al[Translator]. Data structure and Algorithm Analysis in C++(Third edition). Beijing:Publishing House of Electronics Industry, 2013. 31 [34] Pan Q K, Ruiz R. An estimation of distribution algorithm for lot-streaming flow shop problems with setup times. Omega, 2012, 40(2):166-180 doi: 10.1016/j.omega.2011.05.002 [35] 屈国强.瓶颈指向的启发式算法求解混合流水车间调度问题.信息与控制, 2012, 41(4):514-521, 528 http://www.cnki.com.cn/Article/CJFDTOTAL-XXYK201204019.htmQu Guo-Qiang. Bottleneck focused heuristic algorithm for hybrid flow shop scheduling problem. Information and Control, 2012, 41(4):514-521, 528 http://www.cnki.com.cn/Article/CJFDTOTAL-XXYK201204019.htm [36] 潘全科, 高亮, 李新宇.流水车间调度及其优化算法.武汉:华中科技大学出版社, 2013. 97-101Pan Quan-Ke, Gao Liang, Li Xin-Yu. Flow Shop Scheduling and Optimization Algorithms. Wuhan:Huazhong University of Technology Press, 2013. 97-101 [37] Pan Q K, Ruiz R. An effective iterated greedy algorithm for the mixed no-idle permutation flowshop scheduling problem. Omega, 2014, 44:41-50 doi: 10.1016/j.omega.2013.10.002 [38] Vallada E, Ruiz R. Genetic algorithms with path relinking for the minimum tardiness permutation flowshop problem. Omega, 2010, 38(1-2):57-67 doi: 10.1016/j.omega.2009.04.002 [39] Wineberg M, Oppacher F. The underlying similarity of diversity measures used in evolutionary computation. Genetic and Evolutionary Computation. Berlin, Heidelberg:Springer, 2003. 1493-1504 [40] Ruiz R, Maroto C, Alcaraz J. Two new robust genetic algorithms for the flowshop scheduling problem. Omega, 2006, 34(5):461-476 doi: 10.1016/j.omega.2004.12.006 [41] 王凌.车间调度及其遗传算法.北京:清华大学出版社, 2003. 127Wang Ling. Shop Scheduling with Genetic Algorithms. Beijing:Tsinghua University Press, 2003. 127 [42] Ruiz R, Maroto C. A genetic algorithm for hybrid flowshops with sequence dependent setup times and machine eligibility. European Journal of Operational Research, 2006, 169(3):781-800 doi: 10.1016/j.ejor.2004.06.038 [43] Han X H, Chang X M. A chaotic digital secure communication based on a modified gravitational search algorithm filter. Information Sciences, 2012, 208:14-27 doi: 10.1016/j.ins.2012.04.039 [44] Bahrololoum A, Nezamabadi-Pour H, Bahrololoum H, Saeed M. A prototype classifier based on gravitational search algorithm. Applied Soft Computing, 2012, 12(2):819-825 doi: 10.1016/j.asoc.2011.10.008 [45] 谷文祥, 李向涛, 朱磊, 周俊萍, 胡艳梅.求解流水线调度问题的万有引力搜索算法.智能系统学报, 2010, 5(5):411-418 http://www.cnki.com.cn/Article/CJFDTOTAL-ZNXT201005005.htmGu Wen-Xiang, Li Xiang-Tao, Zhu Lei, Zhou Jun-Ping, Hu Yan-Mei. A gravitational search algorithm for flow shop scheduling. CAAI Transactions on Intelligent Systems, 2010, 5(5):411-418 http://www.cnki.com.cn/Article/CJFDTOTAL-ZNXT201005005.htm 期刊类型引用(47)
1. 赵明华，董爽爽，胡静，都双丽，石程，李鹏，石争浩. 注意力引导的三流卷积神经网络用于微表情识别. 中国图象图形学报. 2024(01): 111-122 . 
百度学术2. 陈妍，吴乐晨，王聪. 基于多层级信息融合网络的微表情识别方法. 自动化学报. 2024(07): 1445-1457 . 本站查看3. 马崟桓，黄树成，李明星. 基于滑动窗口和时空特征的微表情检测算法. 计算机与数字工程. 2024(06): 1617-1621+1801 . 百度学术4. 曾益，汪国强，蒋东辰. 基于多尺度ShuffleNet的微表情识别方法. 黑龙江大学自然科学学报. 2024(06): 718-730 . 百度学术5. 罗思诗，李茂军，陈满. 多尺度融合注意力机制的人脸表情识别网络. 计算机工程与应用. 2023(01): 199-206 . 百度学术6. 高红霞，郜伟. 融合关键点属性与注意力表征的人脸表情识别. 计算机工程与应用. 2023(03): 118-126 . 百度学术7. 何雨鸿，徐忠亮，马琳，李海峰. 基于自组织映射网络的微表情运动规律分析方法. 信号处理. 2023(01): 20-29 . 百度学术8. 魏金生，卢官明，彭伟，陈浩侠，黄晓华，闫静杰. 基于双支路核化群稀疏学习的微表情识别. 南京邮电大学学报(自然科学版). 2023(01): 70-79 . 百度学术9. 陈斌，朱晋宁. 双流增强融合网络微表情识别. 智能系统学报. 2023(02): 360-371 . 百度学术10. 薛志超，伊力哈木·亚尔买买提，闫天星. 基于MobileNetV3多尺度特征融合的人脸表情识别. 电子测量技术. 2023(08): 38-44 . 百度学术11. 刘洋，吴佩，万芷涵，石佳玉，朱立芳. 用户微表情信息表征研究综述. 知识管理论坛. 2023(03): 215-227 . 百度学术12. 李雯，李豪喆，陈琛，蔡伟雄. 面部微表情分析技术在法医精神病学领域的研究现状及应用展望. 法医学杂志. 2023(05): 493-500 . 百度学术13. 李昆仑，彭小华，熊婷. 基于支持向量机的动态人脸图像微表情识别. 计算机仿真. 2023(12): 331-336 . 百度学术14. 王欢欢，吕紫藤，李现昆. 基于表情识别技术的用户研究方法. 包装工程. 2022(02): 116-121 . 百度学术15. 王凯，何宏，殷静. 基于改进LeNet-5神经网络的微表情识别研究. 中国设备工程. 2022(04): 258-259 . 百度学术16. 唐家明，宛艳萍，孟竹，张芳，谷佳真. 基于ADCP-TOP的微表情识别方法. 计算机与数字工程. 2022(02): 339-343+361 . 百度学术17. 苏冠榕. 论比赛中的实际应用对播音专业学生的导向意义——以《中央广播电视总台2019主持人大赛》为例. 西部广播电视. 2022(01): 60-62 . 百度学术18. 付小龙，李志丹，程吉祥，刘家伟. 残差网络和损失函数集成的人脸表情识别. 控制工程. 2022(03): 522-529 . 百度学术19. 程学军，邢萧飞. 利用改进型VGG标签学习的表情识别方法. 计算机工程与设计. 2022(04): 1134-1144 . 百度学术20. 周伟航，肖正清，钱育蓉，马玉民，公维军，帕力旦·吐尔逊. 微表情自动分析方法研究综述. 计算机应用研究. 2022(07): 1921-1932 . 百度学术21. 邵志文，周勇，谭鑫，马利庄，刘兵，姚睿. 基于深度学习的表情动作单元识别综述. 电子学报. 2022(08): 2003-2017 . 百度学术22. 林怡，曾宪宪，陈神飞，肖晓溪，杨秀，杜怡婷. 基于多源生理反馈的城市景观照明对情绪影响的实验探索——以上海南京东路步行街东段为例. 照明工程学报. 2022(05): 129-143 . 百度学术23. 韦丽娟，梁建娟，刘洪，刘本永. 结合FDM与STLBP-IP特征的微表情识别. 软件导刊. 2021(04): 32-35 . 百度学术24. 廖云峰，段文双，罗佳佳，赵文洁，吴旭. 基于深度学习的人脸微表情识别. 智能计算机与应用. 2021(04): 62-64 . 百度学术25. 周锦荣，徐张伟，段梦芳，邹力伟. 基于卷积神经网络人脸情绪识别的RGB LED混合调光方法研究. 照明工程学报. 2021(04): 83-91 . 百度学术26. 潘仙张，陈坚，马仁利. 基于面部表情识别的课堂教学反馈系统. 计算机系统应用. 2021(10): 102-108 . 百度学术27. 郭迎春，王静洁，刘依，夏伟毅，张吉俊，李学博，王天瑞. 人脸表情合成算法综述. 数据采集与处理. 2021(05): 898-920 . 百度学术28. 陈昌川，王海宁，黄炼，黄涛，李连杰，黄向康，代少升. 一种基于局部表征的面部表情识别算法. 西安电子科技大学学报. 2021(05): 100-109 . 百度学术29. 段群，郭新明，黄素萍，谢飞. 基于深度视频分析的面瘫分级方法. 微型电脑应用. 2021(12): 23-25+32 . 百度学术30. 诗雨桐，袁德成. 基于深度学习的面部微表情识别. 沈阳化工大学学报. 2021(04): 380-384 . 百度学术31. 陆嘉慧，张树美，赵俊莉. 基于深度学习的面部表情识别研究. 计算机应用研究. 2020(04): 966-972 . 百度学术32. 张延良，卢冰，蒋涵笑，洪晓鹏，赵国英，张伟涛. 微表情类别与区域间关联度的分析方法研究. 计算机工程与应用. 2020(19): 146-151 . 百度学术33. 赖振意，陈人和，钱育蓉. 结合空洞卷积的CNN实时微表情识别算法. 计算机应用研究. 2020(12): 3777-3780+3835 . 百度学术34. 苏育挺，王蒙蒙，刘婧，费云鹏，何旭. 基于多运动特征融合的微表情识别算法. 激光与光电子学进展. 2020(14): 353-358 . 百度学术35. 涂亮，刘本永. 微表情识别中面部动力谱特征提取的PCA改进. 通信技术. 2019(02): 337-342 . 百度学术36. 罗元，余朝靖，张毅，刘浪. 基于改进的局部方向模式人脸表情识别算法. 重庆大学学报. 2019(03): 85-91 . 百度学术37. 夏嘉欣，陈曦，林金星，李伟鹏，吴奇. 基于带有噪声输入的稀疏高斯过程的人体姿态估计. 自动化学报. 2019(04): 693-705 . 本站查看38. 刘缘，庾永波. 在安检中加强“微表情”识别的思考——基于入藏公路安检的考察. 四川警察学院学报. 2019(01): 61-68 . 百度学术39. 张延良，卢冰. 基于信息增量特征选择的微表情识别方法. 计算机工程. 2019(05): 261-266 . 百度学术40. 姬秋敏，张灵，陈云华，麦应潮，向文，罗源. 基于视觉机制与协同显著性的自发式表情识别. 计算机工程与设计. 2019(06): 1741-1746 . 百度学术41. 刘汝涵，徐丹. 视频放大和深度学习在微表情识别任务上的应用. 计算机辅助设计与图形学学报. 2019(09): 1535-1541 . 百度学术42. 沈利迪. 融合深度学习和稀疏表示的人脸表情识别方法研究. 自动化技术与应用. 2019(10): 93-97 . 百度学术43. 卢俊锋. 微表情识别综述. 科技视界. 2019(32): 136+158 . 百度学术44. 王建霞，陈慧萍，李佳泽，张晓明. 基于多特征融合卷积神经网络的人脸表情识别. 河北科技大学学报. 2019(06): 540-547 . 百度学术45. 李霞，卢官明，闫静杰，张正言. 多模态维度情感预测综述. 自动化学报. 2018(12): 2142-2159 . 本站查看46. 薛耀锋，杨金朋，郭威，李卓玮. 面向在线学习的多模态情感计算研究. 中国电化教育. 2018(02): 46-50+83 . 百度学术47. 卢官明，杨成，杨文娟，闫静杰，李海波. 基于LBP-TOP特征的微表情识别. 南京邮电大学学报(自然科学版). 2017(06): 1-7 . 百度学术其他类型引用(94)
-
下载:
计量
- 文章访问数: 2830
- HTML全文浏览量: 401
- PDF下载量: 1234
- 被引次数: 141
