Viewpoint Planning for Robot Photogrammetry Based on Initial Pose Estimation via Deep Learning
-
摘要: 针对机器人摄影测量中离线规划受初始位姿标定影响的问题, 提出融合初始位姿估计的机器人摄影测量系统视点规划方法. 首先构建基于YOLO (You only look once) 的深度学习网络估计被测对象3D包围盒, 利用PNP (Perspective-N-point)算法快速求解对象姿态; 然后随机生成机器人无奇异无碰撞的视点, 基于相机成像的2D-3D正逆性映射, 根据深度原则计算每个视角下目标可见性矩阵; 最后, 引入熵权法, 以最小化重建信息熵为目标建立优化模型, 并基于旅行商问题(Travelling saleman problem, TSP)模型规划机器人路径. 结果表明, 利用深度学习估计的平移误差低于5 mm, 角度误差低于2°. 考虑熵权的视点规划方法提高了摄影测量质量, 融合深度学习初始姿态的摄影测量系统提高了重建效率. 利用本算法对典型零件进行摄影测量质量和效率的验证, 均获得优异的位姿估计和重建效果. 提出的算法适用于实际工程应用, 尤其是快速稀疏摄影重建, 促进了工业摄影测量速度与自动化程度提升.Abstract: Aiming at the problem that offline planning of robot photogrammetry is affected by the initial pose calibration, a viewpoint planning method of robot photogrammetry system incorporating initial pose estimation is proposed. First, we construct a YOLO (you only look once)-based deep learning network to estimate the 3D bounding box of the measured object, and utilize the PNP (perspective-N-point) algorithm to quickly solve the object pose; Second, we randomly generate non-singular and collision-free viewpoints. Based on the 2D-3D forward and inverse mapping of camera imaging, we calculate the target visibility matrix under each perspective according to the depth principle; Finally, the entropy-weighted method is introduced, the optimization model is established with the goal of minimizing the reconstruction information entropy afterward the robot path is planned based on the TSP (travelling salesman problem) model. The results show that the translation error estimated via deep learning is less than 5 mm, and the angular error is less than 2°. The viewpoint planning method considering entropy weight improves the quality of photogrammetry. Simultaneously, the reconstruction speed is increased. It obtains excellent pose estimation and reconstruction results when utilizing the algorithm to verify the photogrammetric quality and efficiency of more typical parts. The proposed algorithm is extendable to practical engineering applications, especially for rapid sparse photogrammetry, improving the speed and automation of industrial photogrammetry.
-
Key words:
- Photogrammetry /
- robot /
- deep learning /
- viewpoint planning /
- visibility matrix /
- entropy weight method
-
显著性目标检测[1-5]能够对图像中在视觉上最与众不同的对象或区域进行检测与识别. 目前, 显著性目标检测已经成功地作为许多计算机视觉领域任务的预处理过程, 包括目标跟踪[6]、物体识别[7]、语义分割[8]等.
传统方法[9-10]大多依靠颜色、纹理等手工特征或者启发式先验来捕获图像局部细节和全局上/下文. Goferman等[9]提出一种基于上/下文感知的方法, 对目标周围的不同区域均进行检测, 并最终基于四个心理学原理简单生成了显著性图. Yan等[10]设计了一个分层模型, 能够对显著信息进行层次分析, 并将不同层次的输出进行组合得到最终结果. 尽管上述算法取得了一定的成功, 但是由于缺乏高级语义信息的参与, 在复杂场景中检测显著物体的能力受到了很大限制.
近年来, 卷积神经网络得到快速发展. 例如文献[11-13]的卷积神经网络所具备的金字塔结构, 能够在较浅层拥有丰富的低层边缘细节特征, 而较深层则包含了更多语义信息, 更擅长定位显著物体的确切位置. 基于上述先验, 大量基于卷积神经网络的深度模型被相继提出. Hou等[11]对编码过程中每个阶段都引入了跳跃连接, 对特征图进行多层次多角度的聚合连接, 输出精确的结果. Li等[14]将粗纹理的显著图作为前景信息, 将图像边界的超像素值作为背景信息, 并将两者结合, 得到最终的结果. Qin等[15]设计了一种嵌套的U型结构, 融合了不同感受野大小的特征, 能够捕捉更多的上/下文信息. 在这些方法中, U型结构由于能够通过在基础的分类网络上建立自上而下的路径来构建丰富的特征图, 而受到了最多的关注.
尽管上述方法相对于传统方法已经取得了很大进步, 但是还有很大改进空间. 首先, 在U型结构的解码过程中, 高层语义信息逐渐传递到较浅层, 虽然较浅层获得了显著物体的语义信息, 但是位置信息同时也被稀释, 造成最终输出的预测图中并不是当前图像中最显著部分, 丢失了显著物体准确的空间定位; 其次, 低层特征拥有丰富的边界信息, 但是由于在网络的较浅层, 无法获得较大感受野, 此时如果只是简单地融合高层特征与低层特征, 是无法精确地捕捉图片中显著物体边界的, 尤其是小目标. 因此, 本文考虑在增大低层特征感受野, 提高其表征力后, 将其送入到高效的特征聚合模块中, 以此来细化显著物体的边缘.
针对上述问题, 本文研究了如何在U型结构中通过高效的特征融合解决这些问题. 本文主要贡献包括以下3个方面: 1)混合注意力模块(Mixing attention module, MAM)对来自第5个残差层的特征利用注意力机制进行显著性增强, 得到更加关注显著物体的语义特征, 同时为了解决解码过程中显著物体位置信息被不断稀释的问题, 将其作为整个解码过程中的语义指导, 不断指导解码过程中的特征聚合, 生成更加具体的显著性图. 2)增大感受野模块(Enlarged receptive field module, ERFM)可以对来自低层的特征进行处理. 低层特征的边缘细节相当丰富, 但受限于感受野, 无法获得更加全局的信息. 因此, 考虑加入ERFM, 可以在保留原有边缘细节的同时, 获得更大的感受野, 增强语义信息. 3)多层次聚合模块(Multi-level aggregation module, MLAM)是对来自经过上述2个模块生成特征进行高效聚合, 以级联方式不断提取特征中的显著部分, 细化显著物体的边缘细节, 生成最终的显著图. 具体结构如图1所示.
1. 相关工作
近年来, 大量基于全卷积神经网络深度模型[16-17]被相继提出, 受益于全卷积神经网络强大的特征提取能力, 基于深度学习的方法已经在性能方面超越了大多数基于手工特征的传统方法. 文献[18]详细总结了传统方法. 本文主要讨论基于深度学习的显著性目标检测算法.
1.1 基于注意力机制的显著性目标检测
注意力机制具有很强的特征选择能力, 能够将特征信息进行深度整合, 使得网络更加去关注所需的语义信息. 根据加工域的不同, 注意力机制可以分为空间域注意力和通道域注意力两类, 其中空间注意力模块旨在捕获特征图中任意两个空间位置之间的空间依赖性, 通道注意力模块旨在捕获任意两个通道之间的通道依赖性. 因此, 许多学者利用注意力机制进行显著性目标检测. Zhang等[19]提出一种渐近注意力引导网络的显著性方法, 在解码阶段, 级联多个注意力模块渐近地生成最终结果. Zhao等[20]考虑到不同层次的特征所具备的信息并不相同, 因此, 对来自不同层次的特征, 分别设计了不同角度的注意力模块, 并对多个结果进行融合, 得到最终的结果. Chen等[21]提出一种反向注意网络, 将粗糙的预测图反馈到中间特征层, 希望网络可以补全缺失的显著部分. Wang等[22]设计了一个金字塔注意力模块, 通过考虑多尺度注意力来增强显著特征的表征力. 上述方法都是对注意力机制的有效使用, 本文方法需要生成更加关注显著物体语义信息的高层特征, 利用注意力机制可以取得很好效果.
1.2 基于特征聚合的显著性目标检测
大多数对特征进行聚合的方法都是采用编码−解码的框架, 其中编码器用于提取多尺度特征, 解码器用于聚合特征以生成不同级别的上/下文信息. Wu等[23]对深层特征进行优化, 提高其表征力, 并利用双分支结构对特征进行聚合, 生成细化后的结果. Deng等[24]设计一种循环策略, 不断聚合来自不同层次的特征, 对网络进行细化, 增强显著信息. Wang等[25]提出一个特征打磨模块, 通过重复使用该模块, 对特征不断细化, 聚合来自不同层次的特征, 得到最终结果. 上述方法都探索了高效的特征聚合方法, 虽然有一定效果, 但是对于空间细节的捕捉仍然不够, 并且在解码过程中, 由于缺少高级语义的指导, 导致预测出的显著物体位置出现了偏移. 本文针对上述问题, 设计了多层次聚合模块, 使其能够在高级语义的指导下, 精确地定位显著物体, 并且通过级联多个、多层次聚合模块, 可以实现对边缘细节的细化.
2. 本文方法
如图1所示, 本文建立一个编码−解码结构. 首先, 选用ResNeXt101作为特征提取器, 提取图片的各层特征; 其次, 利用MAM生成一个全局语义特征, 来引导解码过程, 通过上采样、卷积和元素累加等操作, 将全局语义融合到解码器的各层特征中; 接着, 编码过程中生成的各级特征通过ERFM后, 生成具备更多边界信息的低层特征; 最后, 将各级特征一起送入MLAM进行特征的有效聚合, 通过级联方式生成最终的显著性图.
2.1 混合注意力模块
图片送入网络中, 经过编码后, 会生成一系列具备不同信息的特征. 最高层的特征具备最强的语义表征能力, 并且在解码过程中, 逐渐与低层特征进行融合, 最终得到显著图. 但是, 直接将这种语义信息进行解码融合, 会造成许多显著性细节的丢失, 原因在于高层特征的不同通道和不同空间位置对显著性计算的贡献是不同的. 具体地, 不同通道对同一对象会有不同响应, 而同一通道的不同空间位置也会包含不同的对象. 受文献[26]启发, 本文设计了混合注意力模块, 该模块分为通道注意力机制和空间注意力机制两部分, 用来捕捉不同通道和不同空间位置中最显著的部分, 利用这些最显著的语义信息, 对高层特征进行有效增强, 得到更具鲁棒性的全局语义特征. MAM模块结构见图2.
2.1.1 空间注意力机制
对于从残差块5中提取的高层特征, 首先, 将其宽、高维度展开成一维向量并进行转置, 得到二维矩阵${{\boldsymbol{X}}}\in {\bf{R}}^{H W \times C}$, $C $是该特征的通道数, $H$和$W $分别是高和宽, $HW $为高与宽相乘的数量. 然后, 经过3个并行的全连接层${{\boldsymbol{W}}_{{q}}}$、${{\boldsymbol{W}}_{{k}}}$和${{\boldsymbol{W}}_{{v}}}$对通道进行降维, 分别得到${\boldsymbol{Q}} = {\boldsymbol{X}}{{\boldsymbol{W}}_{{q}}}$、 ${\boldsymbol{K}} = {\boldsymbol{X}}{{\boldsymbol{W}}_{{k}}}$、$\boldsymbol{V} = {\boldsymbol{X}}{{\boldsymbol{W}}_{{v}}}$三个矩阵. 接着, 利用$\boldsymbol{A} = {\boldsymbol{Q}}{{\boldsymbol{K}}^{\rm{T}}}$得到相关性矩阵, 其中, $\boldsymbol A_{ij} $代表$\boldsymbol Q $中第$i $行与$\boldsymbol K $中第j行的内积, 即两个不同空间位置处向量的相关性. 并且对相关性矩阵$\boldsymbol A $的每一行利用Softmax函数进行归一化, 约束到(0, 1)内. 最后, 将相关性矩阵$\boldsymbol A $与$\boldsymbol V $相乘, 并且经过一个全连接层${{\boldsymbol{W}}_{{s}}}$对通道维度进行恢复, 得到空间显著性增强后的特征图${{\boldsymbol{X}}^{{S}}} = {\boldsymbol{AV}}{{\boldsymbol{W}}_{{s}}}$, 最终的特征表达式为:
$$ {{\boldsymbol{X}}^{{S}}} = \sigma \left( {{\boldsymbol{X}}{{\boldsymbol{W}}_{{q}}}{{\left( {{\boldsymbol{X}}{{\boldsymbol{W}}_{{k}}}} \right)}^{\rm{T}}}} \right){\boldsymbol{X}}{{\boldsymbol{W}}_{{v}}}{{\boldsymbol{W}}_{{s}}}$$ (1) 式中, ${{\boldsymbol{W}}_{{q}}},{{\boldsymbol{W}}_{{k}}},{{\boldsymbol{W}}_{{v}}} \in {\bf{R}}^{{C \times C/4}}$, ${{\boldsymbol{W}}_{{s}}} \in {\bf{R}}^{(C/4) \times C}$, $\sigma ( \cdot )$为Softmax函数.
2.1.2 通道注意力机制
通道维度的操作与上述类似, 也是对残差块5提取的特征先沿着宽、高维度展开成一维向量并转置, 得到${{\boldsymbol{X}}} \in {\bf{R}}^{H W \times C}$经过三个全连接层, 输出 ${\boldsymbol{Q}} = {\boldsymbol{X}}{{\boldsymbol{W}}_{{q}}}$, ${\boldsymbol{K}} = {\boldsymbol{X}}{{\boldsymbol{W}}_{{k}}}$, $\boldsymbol{V} = {\boldsymbol{X}}{{\boldsymbol{W}}_{{v}}}$. 考虑到降维会带来过多的信息损失, 因此本文算法没有对通道进行降维. 然后, 通过${\boldsymbol{B}} = {{\boldsymbol{K}}^{\rm{T}}}{\boldsymbol{Q}}$得到相关性矩阵, 其中$\boldsymbol B_{ij} $代表了$\boldsymbol K $中第$i $列与$\boldsymbol Q $中第$j $列的内积, 即两个不同通道向量的相关性. 同样, 需要对相关性矩阵$\boldsymbol B $的每一列利用Softmax函数进行归一化, 约束到(0, 1)内. 最后, 将$\boldsymbol V $与$\boldsymbol B $相乘且经过一个全连接层${{\boldsymbol{W}}_{{s}}}$, 得到通道显著性增强后的特征图${{\boldsymbol{X}}^{\boldsymbol{C}}} = {\boldsymbol{VB}}{{\boldsymbol{W}}_{{s}}}$, 最终的特征表达式为:
$$ {{\boldsymbol{X}}^{\boldsymbol{C}}} = {\boldsymbol{X}}{{\boldsymbol{W}}_{{v}}}\sigma \left( {{{\left( {{\boldsymbol{X}}{{\boldsymbol{W}}_{{k}}}} \right)}^{{{\rm{T}}}}}{\boldsymbol{X}}{{\boldsymbol{W}}_{{q}}}} \right){{\boldsymbol{W}}_{{s}}}$$ (2) 式中, ${{\boldsymbol{W}}_{{q}}},{{\boldsymbol{W}}_{{k}}},{{\boldsymbol{W}}_{{v}}},{{\boldsymbol{W}}_{{s}}} \in {\bf{R}}^{C \times C}$. 最后合并这两个分支的输出. 考虑到残差结构的影响, 本文将合并后的特征与输入X进行相加, 生成最终特征图${{\boldsymbol{Y}}} \in {\bf{R}}^{H W \times C}$:
$$ {\boldsymbol{Y}} = {{\boldsymbol{X}}^{{C}}} \oplus {{\boldsymbol{X}}^{{S}}} \oplus {\boldsymbol{X}}$$ (3) 式中, “$\oplus $”表示元素级的特征图相加. Y在经过转置并且将维度展开恢复后, 送入到后续的模块中.
2.2 增大感受野模块
低层特征的边缘细节非常丰富, 但由于下采样的次数有限, 感受野相对受限, 无法捕捉全局的信息. 在解码过程中, 如果仅仅是简单利用低层特征, 虽然边缘的细节信息得到利用, 但并没有充分挖掘特征的空间细节. 受文献[27]启发, 本文设计如图3所示的增大感受野模块. 低层特征经过该模块后, 在保证边缘细节不丢失的前提下, 扩大了感受野, 具备了更多空间细节.
首先, 对于特征$M \in {\bf{R}}^{C \times H \times W}$, 设计四个并行分支$({l_i},i = 1,2,3,4)$, 其中$ {l_1} $采用一个$1 \times 1$卷积, 剩下的三个分支均采用$3 \times 3$卷积, 并且对这三个分支设置不同的扩张率. 根据低层特征分辨率的不同设置不同的扩张率: 对于分辨率较低的特征设置较小的扩张率, 对于分辨率较高的特征设置较大的扩张率. 本文最大的扩张率设置为$d = 5,8, 11$, 并随着特征图的缩小而不断缩小(具体设置见第3.6节). 然后, 对四个分支输出进行通道维度拼接, 并利用一个$1 \times 1$卷积得到融合后的特征.
2.3 多层次聚合模块
在解码过程中, 高效利用每一层的特征尤为关键. 以前的研究只对高层特征与低层特征进行简单的拼接融合, 得到的结果非常粗糙. 因此, 本文设计了多层次聚合模块, 对来自不同层、不同空间尺度的特征进行有效聚合. 该模块的输入分为MAM生成的语义特征$H_1 $, 经过ERFM增强后的低层特征$L $和当前进行解码的特征$H_2 $三个部分. 图4是多层次聚合模块示意图.
整个聚合过程分为2个阶段: 第1阶段是语义特征对当前解码特征的指导融合. 首先让$H_1 $经过两个并行的$1 \times 1$卷积, 第1个分支与$H_1 $在通道维度上进行拼接融合后, 与第2个分支的结果相加完成第1次融合, 得到高层特征$H $:
$$ H = {f_{conv}}({f_{cat}}({f_{{\text{c}}onv}}({H_1}),{H_2})) \oplus {f_{conv}}({H_1}) $$ (4) 式中, ${f_{conv}}( \cdot )$指卷积操作, ${f_{cat}}( \cdot )$指通道的拼接操作. 第2阶段是第1阶段融合得到的高层特征$H $与经过ERFM增强后的低层特征L的聚合. 此阶段分为自下而上和自上而下两个并行分支. 自下而上是$H $向$L $的聚合, 此阶段$L $不变, $H $经过一次上采样和一个$1 \times 1$卷积后与L进行通道维度的拼接, 得到聚合图${X^{h \to l}}$:
$$ {X^{h \to l}} = {f_{conv}}({f_{cat}}(L,{f_{up}}(H))) $$ (5) 式中, ${f_{up}}( \cdot )$指上采样操作. 自上而下是$L $向H的聚合, 此阶段$H $不变, $L $首先经过一个并行的池化操作, 其中最大池化可以提取特征中响应值较大的信息即特征中所包含的显著信息, 平均池化可以得到特征的全局信息. 经过并行池化后, 特征$L $具备更强的表征力, 并且与H有相同的空间尺寸, 此时将其与特征$H $在通道维度上进行拼接, 并利用$1 \times 1$卷积完成融合. 然后, 对其进行上采样, 得到最终的${X^{l \to h}}$:
$$ {X^{l \to h}} = {f_{up}}({f_{conv}}({f_{cat}}(H,{f_{avg}}(L) + {f_{\max }}(L)))) $$ (6) 式中, ${f_{\max }}( \cdot )$和${f_{avg}}( \cdot )$分别代表最大池化和平均池化操作. 最后, 对两个分支得到的聚合特征也进行一次聚合:
$$ Z = {f_{conv}}({f_{cat}}({X^{l \to h}},{X^{h \to l}})) $$ (7) 3. 实验设置与结果分析
3.1 训练细节
本文代码是在Pytorch1.5.0框架下完成, 并且使用1张GeForce GTX2080Ti GPU进行训练. 训练数据使用DUTS[28]数据集中10553张图片. 使用Adam[29]优化器进行优化, 初始学习率设置为$1 \times 10^4$, 并且在每训练完成两个周期后衰减一半, 批量大小为8. 使用ResNeXt101作为特征提取器提取各层特征, 并加载在ImageNet上预训练的分类权重, 作为初始权重. 为了减少过拟合的影响, 在训练阶段, 对图片进行了随机翻转和遮挡, 并将图片缩放到$320 \times 320 $像素后, 将其随机裁剪为$288 \times 288$像素, 输入到网络中进行训练; 测试阶段, 仅将图片缩放到$288 \times 288 $像素后, 输入到网络中进行测试.
3.2 数据集
本文在6个基准数据集上进行实验, 包括DUTS-TE[28]、DUT-OMRON[30]、ECSSD[31]、HKU-IS[32]、PASCAL-S[33]和SOD[34]. 其中, DUTS-TE与训练集的10553张图片同属一个数据集, 包含5019张测试图片. DUT-OMRON是最具有挑战性的数据集, 包含5188张图片, 该数据集的难点在于背景非常复杂, 对网络预测显著目标有很大干扰作用. ECSSD相对简单, 由1000张图片组成, 其中显著目标形状与外观有很大差异. HKU-IS包含4447张图片, 其中包含多个具有不同类别或外观的显著物体. PASCAL-S包含850张图片, 图片中物体之间会出现很大程度的重叠. SOD只有300张图片, 但场景的复杂多变, 带来很大挑战.
3.3 评价指标
本文使用平均绝对误差(Mean absolute error, MAE)、${F_\beta }$(F-measure) 和${S_m}$(Structure measure)作为评价指标.
1) MAE计算预测的显著图与真实标签之间的差异:
$${\rm{MAE}} = \frac{1}{{W \times H}}\sum\limits_{x = 1}^W {\sum\limits_{y = 1}^H {\left| {{\boldsymbol{P}}(x,y) - {\boldsymbol{G}}(x,y)} \right|} } $$ (8) 式中, $\boldsymbol P$指预测的显著图, $\boldsymbol G$指真实标签值.
2)${F_\beta }$是一种经典且有效的测量指标, 通过对查准率(Precision)与查全率(Recall)设置不同的权重来计算:
$$ {F_\beta }{\text{ = }}\frac{{(1{\text{ + }}{\beta ^2}) \times {\rm{{Re} call}} \times {{\rm{Pre}}} {\rm{cision}}}}{{{\beta ^2} \times {\rm{{Pre} cision}} + {\rm{{Re} call}}}} $$ (9) 式中, ${\beta ^2}$设置为0.3.
3)${S_m}$用来考虑预测的显著图与真实标签之间的全局和局部的结构相似性, 该指标的详细介绍见文献[35].
3.4 损失函数
本文使用标准的二元交叉熵损失作为训练的损失函数:
$$ \begin{split} {L_{bce}} =\;& - \sum\limits_{(x,y)} [{\boldsymbol{G}}(x,y){\rm{lg}}({\boldsymbol{P}}(x,y)) \;+\\ &(1 - {\boldsymbol{G}}(x,y)){\rm{lg}}(1 - {\boldsymbol{P}}(x,y))]\end{split} $$ (10) 3.5 与其他算法的性能比较
本文与最新10种基于深度学习的方法进行比较, 包括U2Net[15]、PAGR[19]、RAS[21]、CPD[23]、DGRL[36]、MLMS[37]、PoolNet[38]、AFNet[39]、BASNet[40]和ITSD[41]. 为了指标的公平性, 所有指标均在同一评测代码下进行评测, 并且所有用于评测的显著图均从作者发布的模型中得出.
3.5.1 定量分析
表1、表2和表3分别列出了各算法的${F_\beta }$、MAE和${S_m}$评价指标结果. 本文方法在3项指标中均表现优异. 由表1和表3可以看出, 本文方法在指标${F_\beta }$和${S_m}$上大幅领先于其他方法, 即便是次优的ITSD算法, 在较难的数据集DUT-OMRON中, 本文也在${F_\beta }$指标上领先其0.003, ${S_m}$指标领先其0.007. 这主要得益于本文多层次聚合模块能够最大限度地保留显著物体的空间信息和边界细节. 对于表2中MAE指标, 本文方法也仅在相对较难的3个数据集上表现稍有不足, 但与第1名的差距是非常小的, 基本保持在0.001 ~ 0.002之间. 图5是各方法的查准率−查全率曲线图, 加粗实线是本文方法, 由图5可以看出, 本文算法性能的优越性.
表 1 不同方法的${F_\beta }$指标结果比较Table 1 Comparison of ${F_\beta }$ values of different models数据集 本文方法 PAGR RAS DGRL CPD MLMS PoolNet AFNet BASNet U2Net ITSD ECSSD 0.951 0.924 0.921 0.921 0.936 0.930 0.944 0.935 0.942 0.951 0.947 DUT-OMRON 0.827 0.771 0.786 0.774 0.794 0.793 0.808 0.797 0.805 0.823 0.824 PASCAL-S 0.873 0.847 0.837 0.844 0.866 0.858 0.869 0.868 0.854 0.859 0.871 HKU-IS 0.937 0.919 0.913 0.910 0.924 0.922 0.933 0.923 0.928 0.935 0.934 DUTS-TE 0.888 0.855 0.831 0.828 0.864 0.854 0.880 0.862 0.860 0.873 0.883 SOD 0.873 0.838 0.810 0.843 0.850 0.862 0.867 — 0.851 0.861 0.880 注: ${F_\beta }$值越大越好, 加粗数字为最优结果, 加下划线数字为次优结果. 表 2 不同方法的MAE指标结果比较Table 2 Comparison of MAE values of different models数据集 本文方法 PAGR RAS DGRL CPD MLMS PoolNet AFNet BASNet U2Net ITSD ECSSD 0.034 0.064 0.056 0.043 0.040 0.038 0.039 0.042 0.037 0.034 0.035 DUT-OMRON 0.058 0.071 0.062 0.062 0.056 0.060 0.056 0.057 0.056 0.054 0.061 PASCAL-S 0.065 0.089 0.104 0.072 0.074 0.069 0.075 0.069 0.076 0.074 0.072 HKU-IS 0.032 0.047 0.045 0.036 0.033 0.034 0.033 0.036 0.032 0.031 0.031 DUTS-TE 0.042 0.053 0.060 0.049 0.043 0.045 0.040 0.046 0.047 0.044 0.041 SOD 0.093 0.145 0.124 0.103 0.112 0.106 0.100 — 0.114 0.108 0.095 注: MAE值越小越好. 表 3 不同方法的${S_m}$指标结果比较Table 3 Comparison of ${S_m}$ values of different models数据集 本文方法 PAGR RAS DGRL CPD MLMS PoolNet AFNet BASNet U2Net ITSD ECSSD 0.932 0.889 0.893 0.906 0.915 0.911 0.921 0.914 0.916 0.928 0.925 DUT-OMRON 0.847 0.775 0.814 0.810 0.818 0.817 0.836 0.826 0.836 0.847 0.840 PASCAL-S 0.865 0.749 0.795 0.869 0.844 0.849 0.845 0.850 0.838 0.844 0.859 HKU-IS 0.930 0.887 0.887 0.897 0.904 0.901 0.917 0.905 0.909 0.916 0.917 DUTS-TE 0.873 0.838 0.839 0.842 0.867 0.856 0.883 0.866 0.853 0.861 0.872 SOD 0.808 0.720 0.764 0.771 0.771 0.780 0.795 — 0.772 0.786 0.809 注: ${S_{{m} } }$值越大越好. 
图 5 不同算法的查准率−查全率曲线示意图Fig. 5 Comparison of precision−recall curves of different methods3.5.2 定性分析
图6是本文方法与其他10种方法的显著性图. 由图6可以看出, 本文方法对显著信息的捕捉明显更强. 在第1行中, 即便是指标与本文最接近的ITSD也将座椅当作显著物体, 但是在人类的视觉效果上, 明亮的灯与背景的区分度更大, 本文方法因为有全局语义指导特征聚合, 可以捕捉到壁灯的显著信息. 在第2行中, 围绳与人之间有很多交叉, 即便是当前性能较好的方法也并没有将目标完整地识别出来, 而本文方法由于对低层特征进行了感受野增强, 可以捕捉目标周围更多的上/下文信息, 能够将全部目标识别出来, 但同时也存在围绳部分被识别为人的问题. 综上所述, 本文算法对于复杂背景下的物体边界并不能很好地细化. 但对于背景较简单的物体(如第5行和最后1行), 本文均能很好地预测出边界轮廓.
3.6 消融实验
表4是在数据集ECSSD上针对各模块的消融实验结果: 1)混合注意力模块. 由表4第3行可知, 当缺少混合注意力模块时, MAE指标上升了0.008, 由此可见, 利用该模块生成的全局语义特征引导特征聚合, 能够大幅提升聚合性能; 2)增大感受野模块. 由表4第4行可知, MAE指标上升了0.005, 主要是因为缺少了感受野增强, 没有充分提取低层特征的空间上/下文信息, 不利于细化边界; 3)多层次融合模块. 由表4第2行可知, 当用简单的上采样和相加操作代替该模块时, MAE上升了0.011, 说明多层次融合模块聚合方式非常高效.
表 4 消融实验结果Table 4 Results of ablation experimentMAM ERFM MLAM MAE/${F_\beta }$ — — ✓ 0.049/0.935 ✓ ✓ — 0.045/0.937 — ✓ ✓ 0.042/0.942 ✓ — ✓ 0.039/0.944 ✓ ✓ ✓ 0.034/0.951 注: MAE值越小越好, 加粗字体为最优结果, “✓”为使用指定模块. 表5是对ERFM模块中, 不同扩张率设置的对比实验结果. 表5中不同设置组合从左向右依次对应不同分辨率的特征图(见图3), 即左边第1组扩张率对应分辨率最大的特征图, 最后1组扩张率对应分辨率最小的特征图. 表5的第4行是本文方法的设置. 由表5第1行可以看出, 当扩张率全部设置为(1, 3, 5)时, 与本文方法相比, MAE上升了0.005, 而随着本文方法对分辨率较高的特征图分配更大的扩张率时, MAE的指标不断降低. 实验结果表明, 在本文方法中, 扩张率的选择是有效的.
表 5 ERFM模块中, 不同扩张率设置的对比实验Table 5 Comparative experiment of different dilation rate configurations in ERFM扩张率的不同设置组合 MAE/${F_\beta }$ (1, 3, 5), (1, 3, 5), (1, 3, 5), (1, 3, 5) 0.039/0.946 (1, 3, 5), (1, 3, 5), (3, 5, 7), (1, 3, 5) 0.037/0.948 (1, 3, 5), (4, 6, 8), (3, 5, 7), (1, 3, 5) 0.036/0.950 (5, 8, 11), (4, 6, 8), (3, 5, 7), (1, 3, 5) 0.034/0.951 表6是对MLAM模块第2阶段中, 自上而下和自下而上两个分支在数据集ECSSD上的消融实验结果. 由表6第1行可知, 当只使用自下而上分支时, 相比两个并行分支均使用时, MAE上升了0.007; 而只使用自上而下分支时, 上升了0.006. 由此可见, 本文方法将两个分支并行使用的方式是有效的, 能够对精度有所提升.
表 6 MLAM模块中, 两个分支的消融实验Table 6 Ablation experiment of two branches in MLAM自下而上分支 自上而下分支 MAE/${F_\beta }$ ✓ — 0.041/0.940 — ✓ 0.040/0.946 ✓ ✓ 0.034/0.951 表7是对MAM中, 注意力模块位置关系的消融实验结果. 前2行是将两个模块串联并考虑其先后位置, 第3行是两个模块并行即本文方法. 当通道注意力位置在前时, 与本文方法相比, MAE上升了0.002; 当空间注意力位置在前时, MAE上升了0.004. 该实验结果验证了本文将两个模块设置成并行的有效性.
表 7 MAM模块中, 注意力模块位置关系的消融实验Table 7 Ablation experiment on the position relationship of attention module in MAM注意力模块之间的位置关系 MAE/${F_\beta }$ 通道注意力在前 0.036/0.947 空间注意力在前 0.038/0.944 并行放置 (本文方法) 0.034/0.951 4. 结束语
本文提出一种基于语义引导特征聚合的显著性目标检测算法, 主要包括混合注意力模块、增大感受野模块和多层次融合模块3个模块. MAM能够生成更佳的语义特征, 用来指导解码过程中的特征融合, 使得聚合的特征能够更好地定位显著物体; ERFM能够丰富低层特征所具备的上/下文信息, 并将增强后的特征输入到MLAM中; MLAM利用MAM生成的语义信息, 对当前解码的特征和ERFM输出的低层特征进行指导融合, 并最终以级联方式逐步恢复边界细节, 生成最终的显著图. 本文与目前流行的10种算法在6个基准数据集上进行了实验比较, 由可视化图6可以看出, 本文算法能够有效地保留显著物体的空间位置信息, 并且边缘也得到了很好细化. 实验结果也验证了本文算法具有领先性能.
-
图 7 机器人扫描规划仿真界面和现场实验
Fig. 7 Simulation interface and field experiment of the robot scanning planning
图 8 不同候选匹配点下扫描路径对比
Fig. 8 Comparison of scanning paths with different candidate view point
图 9 具有典型特征的零件摄影测量位姿估计与视点规划
Fig. 9 The pose estimation and viewpoint planning of part with typical features for photogrammetry
表 1 信息熵权有效性验证表
Table 1 Effectiveness test for entropy weight
对比实验 目标函数 优化的视
点数(个)点云数(个) A $x^*=\min \displaystyle \sum\limits_{i=1}^N { {w_i}{x_i} }$ 21 21509 B $x^*=\min \displaystyle \sum\limits_{i=1}^N { {x_i} }$ 20 18360 C $x^*=\min \displaystyle \sum\limits_{i=1}^N { {x_i} }$ 21 = 20 (B) +
1 (288)15344 
下载: 导出CSV
表 2 综合权重和初始姿态下重建质量对比
Table 2 Comparison of reconstruction quality with weight and first-sight pose
有权重 无权重 有初始位姿约束 无初始位姿约束 有初始位姿约束 无初始位姿约束 视点索引 1, 13, 100, 113, 143,
149, 173, 189, 190,
196, 207, 269, 272, 28013, 100, 113, 143,
149, 173, 189, 190, 196,
207, 269, 272, 2801, 17, 28, 38, 45, 61,
66, 74, 89, 91, 92, 107,
113, 127, 185, 189,
207, 249, 269, 28014, 35, 43, 45, 56, 59,
73, 75, 89, 111, 127, 149,
162, 185, 189, 207, 249,
256, 274, 281三维点云 
点数量 10584 11451 7703 9571 注: 有初始位姿约束下，索引为1的视点需被约束保留.
下载: 导出CSV
表 3 利用深度学习位姿估计的摄影测量效率对比
Table 3 Comparison on effectiveness of photogrammetry with estimated pose using deep learning
点个数 重建时间 (s) 有初始位姿约束 无初始位姿约束 数量变化 (%) 无位姿估计 有位姿估计 效率提升 (%) 球体 15635 16489 5.18 157 133 15.29 柱体 10138 11503 11.87 182 155 14.84 凹台 11472 12640 9.24 102 83 18.63
下载: 导出CSV
-
[1] 郑太雄, 黄帅, 李永福, 冯明驰. 基于视觉的三维重建关键技术研究综述. 自动化学报, 2020, 46(4): 631-652 doi: 10.16383/j.aas.2017.c170502Zheng Tai-Xiong, Huang Shuai, Li Yong-Fu, Feng Ming-Chi. Key techniques for vision based 3D reconstruction: A review. Acta Automatica Sinica, 2020, 46(4): 631-652 doi: 10.16383/j.aas.2017.c170502 [2] 李杰, 李响, 许元铭, 杨绍杰, 孙可意. 工业人工智能及应用研究现状及展望. 自动化学报, 2020, 46(10): 2031-2044 doi: 10.16383/j.aas.200501Lee J, Li Xiang, Xu Yuan-Ming, Yang Shao-Jie, Sun Ke-Yi. Recent advances and prospects in industrial AI and applications. Acta Automatica Sinica, 2020, 46(10): 2031-2044 doi: 10.16383/j.aas.200501 [3] 柴天佑. 工业人工智能发展方向. 自动化学报, 2020, 46(10): 2005-2012 doi: 10.16383/j.aas.c200796Chai Tian-You. Development directions of industrial artificial intelligence. Acta Automatica Sinica, 2020, 46(10): 2005-2012 doi: 10.16383/j.aas.c200796 [4] Sims-Waterhouse D, Bointon P, Piano S, Leach R K. Experimental comparison of photogrammetry for additive manufactured parts with and without laser speckle projection. In: Proceedings of SPIE 10329, Optical Measurement Systems for Industrial Inspection X. Munich, Germany: SPIE, 2017. Article No. 103290W [5] 许杰, 蒋山平, 杨林华, 肖大舟, 张景川. 卫星结构件常压热变形的数字摄影测量. 光学 精密工程, 2012, 20(12): 2667-2673 doi: 10.3788/OPE.20122012.2667Xu Jie, Jiang Shan-Ping, Yang Lin-Hua, Xiao Da-Zhou, Zhang Jing-Shang. Digital photogrammetry for thermal deformation of satellite structures in normal environment. Optics and Precision Engineering, 2012, 20(12): 2667-2673 doi: 10.3788/OPE.20122012.2667 [6] Filion A, Joubair A, Tahan A S, Bonev I A. Robot calibration using a portable photogrammetry system. Robotics and Computer-Integrated Manufacturing, 2018, 49: 77-87 doi: 10.1016/j.rcim.2017.05.004 [7] Kinnell P, Rymer T, Hodgson J, Justham L, Jackson M. Autonomous metrology for robot mounted 3D vision systems. CIRP Annals, 2017, 66(1): 483-486 doi: 10.1016/j.cirp.2017.04.069 [8] Kwon H, Na M, Song J B. Rescan strategy for time efficient view and path planning in automated inspection system. International Journal of Precision Engineering and Manufacturing, 2019, 20(10): 1747-1756 doi: 10.1007/s12541-019-00186-x [9] Raffaeli R, Mengoni M, Germani M, Mandorli F. Off-line view planning for the inspection of mechanical parts. International Journal on Interactive Design and Manufacturing (IJIDeM), 2013, 7(1): 1-12 doi: 10.1007/s12008-012-0160-1 [10] Li L N, Xu D, Niu L K, Lan Y, Xiong X Y. A path planning method for a surface inspection system based on two-dimensional laser profile scanner. International Journal of Advanced Robotic Systems, 2019, 16(4): Article No. 1729881419862463 [11] Alsadik B, Gerke M, Vosselman G. Visibility analysis of point cloud in close range photogrammetry. In: Proceedings of the ISPRS Annals of the Photogrammetry, Remote Sensing and Spatial Information Sciences. Riva del Garda, Italy: ISPRS, 2014. 9−16 [12] Tarbox G H, Gottschlich S N. Planning for complete sensor coverage in inspection. Computer Vision and Image Understanding, 1995, 61(1): 84-111 doi: 10.1006/cviu.1995.1007 [13] Jing W, Polden J, Lin W, Shimada K. Sampling-based view planning for 3D visual coverage task with unmanned aerial vehicle. In: Proceedings of the IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). Daejeon, South Korea: IEEE, 2016. 1808−1815 [14] Jing W, Polden J, Tao P Y, Goh C F, Lin W, Shimada K. Model-based coverage motion planning for industrial 3D shape inspection applications. In: Proceedings of the 13th IEEE Conference on Automation Science and Engineering (CASE). Xi＇an, China: IEEE, 2017. 1293−1300 [15] 姜涛, 程筱胜, 崔海华, 田威. 面向机器人位姿测量的大视场变焦测量方法. 光学学报, 2018, 38(8): Article No. 0815012Jiang Tao, Cheng Xiao-Sheng, Cui Hai-Hua, Tian Wei. Large field of view vision method for robot pose measurement based on zoom lens. Acta Optica Sinica, 2018, 38(8): Article No. 0815012 [16] Jiang T, Cheng X, Cui H, Li X. Combined shape measurement based on locating and tracking of an optical scanner. Journal of Instrumentation, 2019, 14(1): Article No. P01006 [17] Tekin B, Sinha S N, Fua P. Real-time seamless single shot 6D object pose prediction. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City, USA: IEEE, 2018. 292−301 [18] Su H, Qi C R, Li Y Y, Guibas L J. Render for CNN: Viewpoint estimation in images using CNNs trained with rendered 3D model views. In: Proceedings of the IEEE International Conference on Computer Vision (ICCV). Santiago, Chile: IEEE, 2015. 2686−2694 [19] Tulsiani S, Malik J. Viewpoints and keypoints. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Boston, USA: IEEE, 2015. 1510−1519 [20] Kendall A, Grimes M, Cipolla R. PoseNet: A convolutional network for real-time 6-DOF camera relocalization. In: Proceedings of the IEEE International Conference on Computer Vision (ICCV). Santiago, Chile: IEEE, 2015. 2938−2946 [21] Xiang Y, Schmidt T, Narayanan V, Fox D. PoseCNN: A convolutional neural network for 6D object pose estimation in cluttered scenes. arXiv preprint arXiv: 1711.00199, 2017. [22] Kehl W, Manhardt F, Tombari F, Ilic S, Navab N. SSD-6D: Making RGB-based 3D detection and 6D pose estimation great again. In: Proceedings of the IEEE International Conference on Computer Vision (ICCV). Venice, Italy: IEEE, 2017. 1530−1538 [23] Rad M, Lepetit V. BB8: A scalable, accurate, robust to partial occlusion method for predicting the 3D poses of challenging objects without using depth. In: Proceedings of the IEEE International Conference on Computer Vision (ICCV). Venice, Italy: IEEE, 2017. 3848−3856 [24] Carpin S, Pillonetto G. Motion planning using adaptive random walks. IEEE Transactions on Robotics, 2005, 21(1): 129-136 doi: 10.1109/TRO.2004.833790 [25] Cortsen J, Petersen H G. Advanced off-line simulation framework with deformation compensation for high speed machining with robot manipulators. In: Proceedings of the IEEE/ASME International Conference on Advanced Intelligent Mechatronics (AIM). Kaohsiung, China: IEEE, 2012. 934−939 期刊类型引用(0)
其他类型引用(3)
-
下载:
计量
- 文章访问数: 1575
- HTML全文浏览量: 1035
- PDF下载量: 341
- 被引次数: 3
