Research on a Latency Upper-bound Analysis Model Based on Network Calculus in Time-sensitive Networking
-
摘要: 时间敏感网络(Time-sensitive networking, TSN)作为一种新兴工业通信技术, 能够为工业控制业务提供高可靠及确定性时延保障. 针对时间敏感网络在工业场景中广泛采用的时间感知整形(Time-aware shaper, TAS)机制, 提出一种基于网络演算的时延上界分析模型, 对多节点组网下端到端时延上界进行定量分析, 用以评估门控 (Gate control list, GCL)设置是否满足业务服务质量(Quality of service, QoS)需求, 有助于简化多节点组网场景下门控设置复杂度. 模型仿真部分对影响端到端时延的主要因素进行了对比分析, 并通过OMNeT++ 实时仿真验证了所提出时延上界分析模型的有效性.Abstract: As an emerging technology of industrial communication, time-sensitive networking (TSN) can provide high reliability and deterministic latency guarantee for industrial control traffics. This article proposes a latency upper-bound analysis model based on network calculus for time-aware shaper (TAS) widely used in TSN. The proposed model gives an explicit analysis for upper-bound of the end-to-end latency under multiple TSN-node networking scenarios, which can be used to evaluate the quality of service (QoS)-guarantee performance of the current gate control list (GCL) setting, as well as to help to simplify the complexity of GCL setting. In the model simulation part, the main factors affecting the end-to-end latency are compared and analyzed, and the validity of the latency upper-bound given by the proposed model is verified with OMNeT++.
-
显著性目标检测[1-5]能够对图像中在视觉上最与众不同的对象或区域进行检测与识别. 目前, 显著性目标检测已经成功地作为许多计算机视觉领域任务的预处理过程, 包括目标跟踪[6]、物体识别[7]、语义分割[8]等.
传统方法[9-10]大多依靠颜色、纹理等手工特征或者启发式先验来捕获图像局部细节和全局上/下文. Goferman等[9]提出一种基于上/下文感知的方法, 对目标周围的不同区域均进行检测, 并最终基于四个心理学原理简单生成了显著性图. Yan等[10]设计了一个分层模型, 能够对显著信息进行层次分析, 并将不同层次的输出进行组合得到最终结果. 尽管上述算法取得了一定的成功, 但是由于缺乏高级语义信息的参与, 在复杂场景中检测显著物体的能力受到了很大限制.
近年来, 卷积神经网络得到快速发展. 例如文献[11-13]的卷积神经网络所具备的金字塔结构, 能够在较浅层拥有丰富的低层边缘细节特征, 而较深层则包含了更多语义信息, 更擅长定位显著物体的确切位置. 基于上述先验, 大量基于卷积神经网络的深度模型被相继提出. Hou等[11]对编码过程中每个阶段都引入了跳跃连接, 对特征图进行多层次多角度的聚合连接, 输出精确的结果. Li等[14]将粗纹理的显著图作为前景信息, 将图像边界的超像素值作为背景信息, 并将两者结合, 得到最终的结果. Qin等[15]设计了一种嵌套的U型结构, 融合了不同感受野大小的特征, 能够捕捉更多的上/下文信息. 在这些方法中, U型结构由于能够通过在基础的分类网络上建立自上而下的路径来构建丰富的特征图, 而受到了最多的关注.
尽管上述方法相对于传统方法已经取得了很大进步, 但是还有很大改进空间. 首先, 在U型结构的解码过程中, 高层语义信息逐渐传递到较浅层, 虽然较浅层获得了显著物体的语义信息, 但是位置信息同时也被稀释, 造成最终输出的预测图中并不是当前图像中最显著部分, 丢失了显著物体准确的空间定位; 其次, 低层特征拥有丰富的边界信息, 但是由于在网络的较浅层, 无法获得较大感受野, 此时如果只是简单地融合高层特征与低层特征, 是无法精确地捕捉图片中显著物体边界的, 尤其是小目标. 因此, 本文考虑在增大低层特征感受野, 提高其表征力后, 将其送入到高效的特征聚合模块中, 以此来细化显著物体的边缘.
针对上述问题, 本文研究了如何在U型结构中通过高效的特征融合解决这些问题. 本文主要贡献包括以下3个方面: 1)混合注意力模块(Mixing attention module, MAM)对来自第5个残差层的特征利用注意力机制进行显著性增强, 得到更加关注显著物体的语义特征, 同时为了解决解码过程中显著物体位置信息被不断稀释的问题, 将其作为整个解码过程中的语义指导, 不断指导解码过程中的特征聚合, 生成更加具体的显著性图. 2)增大感受野模块(Enlarged receptive field module, ERFM)可以对来自低层的特征进行处理. 低层特征的边缘细节相当丰富, 但受限于感受野, 无法获得更加全局的信息. 因此, 考虑加入ERFM, 可以在保留原有边缘细节的同时, 获得更大的感受野, 增强语义信息. 3)多层次聚合模块(Multi-level aggregation module, MLAM)是对来自经过上述2个模块生成特征进行高效聚合, 以级联方式不断提取特征中的显著部分, 细化显著物体的边缘细节, 生成最终的显著图. 具体结构如图1所示.
1. 相关工作
近年来, 大量基于全卷积神经网络深度模型[16-17]被相继提出, 受益于全卷积神经网络强大的特征提取能力, 基于深度学习的方法已经在性能方面超越了大多数基于手工特征的传统方法. 文献[18]详细总结了传统方法. 本文主要讨论基于深度学习的显著性目标检测算法.
1.1 基于注意力机制的显著性目标检测
注意力机制具有很强的特征选择能力, 能够将特征信息进行深度整合, 使得网络更加去关注所需的语义信息. 根据加工域的不同, 注意力机制可以分为空间域注意力和通道域注意力两类, 其中空间注意力模块旨在捕获特征图中任意两个空间位置之间的空间依赖性, 通道注意力模块旨在捕获任意两个通道之间的通道依赖性. 因此, 许多学者利用注意力机制进行显著性目标检测. Zhang等[19]提出一种渐近注意力引导网络的显著性方法, 在解码阶段, 级联多个注意力模块渐近地生成最终结果. Zhao等[20]考虑到不同层次的特征所具备的信息并不相同, 因此, 对来自不同层次的特征, 分别设计了不同角度的注意力模块, 并对多个结果进行融合, 得到最终的结果. Chen等[21]提出一种反向注意网络, 将粗糙的预测图反馈到中间特征层, 希望网络可以补全缺失的显著部分. Wang等[22]设计了一个金字塔注意力模块, 通过考虑多尺度注意力来增强显著特征的表征力. 上述方法都是对注意力机制的有效使用, 本文方法需要生成更加关注显著物体语义信息的高层特征, 利用注意力机制可以取得很好效果.
1.2 基于特征聚合的显著性目标检测
大多数对特征进行聚合的方法都是采用编码−解码的框架, 其中编码器用于提取多尺度特征, 解码器用于聚合特征以生成不同级别的上/下文信息. Wu等[23]对深层特征进行优化, 提高其表征力, 并利用双分支结构对特征进行聚合, 生成细化后的结果. Deng等[24]设计一种循环策略, 不断聚合来自不同层次的特征, 对网络进行细化, 增强显著信息. Wang等[25]提出一个特征打磨模块, 通过重复使用该模块, 对特征不断细化, 聚合来自不同层次的特征, 得到最终结果. 上述方法都探索了高效的特征聚合方法, 虽然有一定效果, 但是对于空间细节的捕捉仍然不够, 并且在解码过程中, 由于缺少高级语义的指导, 导致预测出的显著物体位置出现了偏移. 本文针对上述问题, 设计了多层次聚合模块, 使其能够在高级语义的指导下, 精确地定位显著物体, 并且通过级联多个、多层次聚合模块, 可以实现对边缘细节的细化.
2. 本文方法
如图1所示, 本文建立一个编码−解码结构. 首先, 选用ResNeXt101作为特征提取器, 提取图片的各层特征; 其次, 利用MAM生成一个全局语义特征, 来引导解码过程, 通过上采样、卷积和元素累加等操作, 将全局语义融合到解码器的各层特征中; 接着, 编码过程中生成的各级特征通过ERFM后, 生成具备更多边界信息的低层特征; 最后, 将各级特征一起送入MLAM进行特征的有效聚合, 通过级联方式生成最终的显著性图.
2.1 混合注意力模块
图片送入网络中, 经过编码后, 会生成一系列具备不同信息的特征. 最高层的特征具备最强的语义表征能力, 并且在解码过程中, 逐渐与低层特征进行融合, 最终得到显著图. 但是, 直接将这种语义信息进行解码融合, 会造成许多显著性细节的丢失, 原因在于高层特征的不同通道和不同空间位置对显著性计算的贡献是不同的. 具体地, 不同通道对同一对象会有不同响应, 而同一通道的不同空间位置也会包含不同的对象. 受文献[26]启发, 本文设计了混合注意力模块, 该模块分为通道注意力机制和空间注意力机制两部分, 用来捕捉不同通道和不同空间位置中最显著的部分, 利用这些最显著的语义信息, 对高层特征进行有效增强, 得到更具鲁棒性的全局语义特征. MAM模块结构见图2.
2.1.1 空间注意力机制
对于从残差块5中提取的高层特征, 首先, 将其宽、高维度展开成一维向量并进行转置, 得到二维矩阵${{\boldsymbol{X}}}\in {\bf{R}}^{H W \times C}$, $C $是该特征的通道数, $H$和$W $分别是高和宽, $HW $为高与宽相乘的数量. 然后, 经过3个并行的全连接层${{\boldsymbol{W}}_{{q}}}$、${{\boldsymbol{W}}_{{k}}}$和${{\boldsymbol{W}}_{{v}}}$对通道进行降维, 分别得到${\boldsymbol{Q}} = {\boldsymbol{X}}{{\boldsymbol{W}}_{{q}}}$、 ${\boldsymbol{K}} = {\boldsymbol{X}}{{\boldsymbol{W}}_{{k}}}$、$\boldsymbol{V} = {\boldsymbol{X}}{{\boldsymbol{W}}_{{v}}}$三个矩阵. 接着, 利用$\boldsymbol{A} = {\boldsymbol{Q}}{{\boldsymbol{K}}^{\rm{T}}}$得到相关性矩阵, 其中, $\boldsymbol A_{ij} $代表$\boldsymbol Q $中第$i $行与$\boldsymbol K $中第j行的内积, 即两个不同空间位置处向量的相关性. 并且对相关性矩阵$\boldsymbol A $的每一行利用Softmax函数进行归一化, 约束到(0, 1)内. 最后, 将相关性矩阵$\boldsymbol A $与$\boldsymbol V $相乘, 并且经过一个全连接层${{\boldsymbol{W}}_{{s}}}$对通道维度进行恢复, 得到空间显著性增强后的特征图${{\boldsymbol{X}}^{{S}}} = {\boldsymbol{AV}}{{\boldsymbol{W}}_{{s}}}$, 最终的特征表达式为:
$$ {{\boldsymbol{X}}^{{S}}} = \sigma \left( {{\boldsymbol{X}}{{\boldsymbol{W}}_{{q}}}{{\left( {{\boldsymbol{X}}{{\boldsymbol{W}}_{{k}}}} \right)}^{\rm{T}}}} \right){\boldsymbol{X}}{{\boldsymbol{W}}_{{v}}}{{\boldsymbol{W}}_{{s}}}$$ (1) 式中, ${{\boldsymbol{W}}_{{q}}},{{\boldsymbol{W}}_{{k}}},{{\boldsymbol{W}}_{{v}}} \in {\bf{R}}^{{C \times C/4}}$, ${{\boldsymbol{W}}_{{s}}} \in {\bf{R}}^{(C/4) \times C}$, $\sigma ( \cdot )$为Softmax函数.
2.1.2 通道注意力机制
通道维度的操作与上述类似, 也是对残差块5提取的特征先沿着宽、高维度展开成一维向量并转置, 得到${{\boldsymbol{X}}} \in {\bf{R}}^{H W \times C}$经过三个全连接层, 输出 ${\boldsymbol{Q}} = {\boldsymbol{X}}{{\boldsymbol{W}}_{{q}}}$, ${\boldsymbol{K}} = {\boldsymbol{X}}{{\boldsymbol{W}}_{{k}}}$, $\boldsymbol{V} = {\boldsymbol{X}}{{\boldsymbol{W}}_{{v}}}$. 考虑到降维会带来过多的信息损失, 因此本文算法没有对通道进行降维. 然后, 通过${\boldsymbol{B}} = {{\boldsymbol{K}}^{\rm{T}}}{\boldsymbol{Q}}$得到相关性矩阵, 其中$\boldsymbol B_{ij} $代表了$\boldsymbol K $中第$i $列与$\boldsymbol Q $中第$j $列的内积, 即两个不同通道向量的相关性. 同样, 需要对相关性矩阵$\boldsymbol B $的每一列利用Softmax函数进行归一化, 约束到(0, 1)内. 最后, 将$\boldsymbol V $与$\boldsymbol B $相乘且经过一个全连接层${{\boldsymbol{W}}_{{s}}}$, 得到通道显著性增强后的特征图${{\boldsymbol{X}}^{\boldsymbol{C}}} = {\boldsymbol{VB}}{{\boldsymbol{W}}_{{s}}}$, 最终的特征表达式为:
$$ {{\boldsymbol{X}}^{\boldsymbol{C}}} = {\boldsymbol{X}}{{\boldsymbol{W}}_{{v}}}\sigma \left( {{{\left( {{\boldsymbol{X}}{{\boldsymbol{W}}_{{k}}}} \right)}^{{{\rm{T}}}}}{\boldsymbol{X}}{{\boldsymbol{W}}_{{q}}}} \right){{\boldsymbol{W}}_{{s}}}$$ (2) 式中, ${{\boldsymbol{W}}_{{q}}},{{\boldsymbol{W}}_{{k}}},{{\boldsymbol{W}}_{{v}}},{{\boldsymbol{W}}_{{s}}} \in {\bf{R}}^{C \times C}$. 最后合并这两个分支的输出. 考虑到残差结构的影响, 本文将合并后的特征与输入X进行相加, 生成最终特征图${{\boldsymbol{Y}}} \in {\bf{R}}^{H W \times C}$:
$$ {\boldsymbol{Y}} = {{\boldsymbol{X}}^{{C}}} \oplus {{\boldsymbol{X}}^{{S}}} \oplus {\boldsymbol{X}}$$ (3) 式中, “$\oplus $”表示元素级的特征图相加. Y在经过转置并且将维度展开恢复后, 送入到后续的模块中.
2.2 增大感受野模块
低层特征的边缘细节非常丰富, 但由于下采样的次数有限, 感受野相对受限, 无法捕捉全局的信息. 在解码过程中, 如果仅仅是简单利用低层特征, 虽然边缘的细节信息得到利用, 但并没有充分挖掘特征的空间细节. 受文献[27]启发, 本文设计如图3所示的增大感受野模块. 低层特征经过该模块后, 在保证边缘细节不丢失的前提下, 扩大了感受野, 具备了更多空间细节.
首先, 对于特征$M \in {\bf{R}}^{C \times H \times W}$, 设计四个并行分支$({l_i},i = 1,2,3,4)$, 其中$ {l_1} $采用一个$1 \times 1$卷积, 剩下的三个分支均采用$3 \times 3$卷积, 并且对这三个分支设置不同的扩张率. 根据低层特征分辨率的不同设置不同的扩张率: 对于分辨率较低的特征设置较小的扩张率, 对于分辨率较高的特征设置较大的扩张率. 本文最大的扩张率设置为$d = 5,8, 11$, 并随着特征图的缩小而不断缩小(具体设置见第3.6节). 然后, 对四个分支输出进行通道维度拼接, 并利用一个$1 \times 1$卷积得到融合后的特征.
2.3 多层次聚合模块
在解码过程中, 高效利用每一层的特征尤为关键. 以前的研究只对高层特征与低层特征进行简单的拼接融合, 得到的结果非常粗糙. 因此, 本文设计了多层次聚合模块, 对来自不同层、不同空间尺度的特征进行有效聚合. 该模块的输入分为MAM生成的语义特征$H_1 $, 经过ERFM增强后的低层特征$L $和当前进行解码的特征$H_2 $三个部分. 图4是多层次聚合模块示意图.
整个聚合过程分为2个阶段: 第1阶段是语义特征对当前解码特征的指导融合. 首先让$H_1 $经过两个并行的$1 \times 1$卷积, 第1个分支与$H_1 $在通道维度上进行拼接融合后, 与第2个分支的结果相加完成第1次融合, 得到高层特征$H $:
$$ H = {f_{conv}}({f_{cat}}({f_{{\text{c}}onv}}({H_1}),{H_2})) \oplus {f_{conv}}({H_1}) $$ (4) 式中, ${f_{conv}}( \cdot )$指卷积操作, ${f_{cat}}( \cdot )$指通道的拼接操作. 第2阶段是第1阶段融合得到的高层特征$H $与经过ERFM增强后的低层特征L的聚合. 此阶段分为自下而上和自上而下两个并行分支. 自下而上是$H $向$L $的聚合, 此阶段$L $不变, $H $经过一次上采样和一个$1 \times 1$卷积后与L进行通道维度的拼接, 得到聚合图${X^{h \to l}}$:
$$ {X^{h \to l}} = {f_{conv}}({f_{cat}}(L,{f_{up}}(H))) $$ (5) 式中, ${f_{up}}( \cdot )$指上采样操作. 自上而下是$L $向H的聚合, 此阶段$H $不变, $L $首先经过一个并行的池化操作, 其中最大池化可以提取特征中响应值较大的信息即特征中所包含的显著信息, 平均池化可以得到特征的全局信息. 经过并行池化后, 特征$L $具备更强的表征力, 并且与H有相同的空间尺寸, 此时将其与特征$H $在通道维度上进行拼接, 并利用$1 \times 1$卷积完成融合. 然后, 对其进行上采样, 得到最终的${X^{l \to h}}$:
$$ {X^{l \to h}} = {f_{up}}({f_{conv}}({f_{cat}}(H,{f_{avg}}(L) + {f_{\max }}(L)))) $$ (6) 式中, ${f_{\max }}( \cdot )$和${f_{avg}}( \cdot )$分别代表最大池化和平均池化操作. 最后, 对两个分支得到的聚合特征也进行一次聚合:
$$ Z = {f_{conv}}({f_{cat}}({X^{l \to h}},{X^{h \to l}})) $$ (7) 3. 实验设置与结果分析
3.1 训练细节
本文代码是在Pytorch1.5.0框架下完成, 并且使用1张GeForce GTX2080Ti GPU进行训练. 训练数据使用DUTS[28]数据集中10553张图片. 使用Adam[29]优化器进行优化, 初始学习率设置为$1 \times 10^4$, 并且在每训练完成两个周期后衰减一半, 批量大小为8. 使用ResNeXt101作为特征提取器提取各层特征, 并加载在ImageNet上预训练的分类权重, 作为初始权重. 为了减少过拟合的影响, 在训练阶段, 对图片进行了随机翻转和遮挡, 并将图片缩放到$320 \times 320 $像素后, 将其随机裁剪为$288 \times 288$像素, 输入到网络中进行训练; 测试阶段, 仅将图片缩放到$288 \times 288 $像素后, 输入到网络中进行测试.
3.2 数据集
本文在6个基准数据集上进行实验, 包括DUTS-TE[28]、DUT-OMRON[30]、ECSSD[31]、HKU-IS[32]、PASCAL-S[33]和SOD[34]. 其中, DUTS-TE与训练集的10553张图片同属一个数据集, 包含5019张测试图片. DUT-OMRON是最具有挑战性的数据集, 包含5188张图片, 该数据集的难点在于背景非常复杂, 对网络预测显著目标有很大干扰作用. ECSSD相对简单, 由1000张图片组成, 其中显著目标形状与外观有很大差异. HKU-IS包含4447张图片, 其中包含多个具有不同类别或外观的显著物体. PASCAL-S包含850张图片, 图片中物体之间会出现很大程度的重叠. SOD只有300张图片, 但场景的复杂多变, 带来很大挑战.
3.3 评价指标
本文使用平均绝对误差(Mean absolute error, MAE)、${F_\beta }$(F-measure) 和${S_m}$(Structure measure)作为评价指标.
1) MAE计算预测的显著图与真实标签之间的差异:
$${\rm{MAE}} = \frac{1}{{W \times H}}\sum\limits_{x = 1}^W {\sum\limits_{y = 1}^H {\left| {{\boldsymbol{P}}(x,y) - {\boldsymbol{G}}(x,y)} \right|} } $$ (8) 式中, $\boldsymbol P$指预测的显著图, $\boldsymbol G$指真实标签值.
2)${F_\beta }$是一种经典且有效的测量指标, 通过对查准率(Precision)与查全率(Recall)设置不同的权重来计算:
$$ {F_\beta }{\text{ = }}\frac{{(1{\text{ + }}{\beta ^2}) \times {\rm{{Re} call}} \times {{\rm{Pre}}} {\rm{cision}}}}{{{\beta ^2} \times {\rm{{Pre} cision}} + {\rm{{Re} call}}}} $$ (9) 式中, ${\beta ^2}$设置为0.3.
3)${S_m}$用来考虑预测的显著图与真实标签之间的全局和局部的结构相似性, 该指标的详细介绍见文献[35].
3.4 损失函数
本文使用标准的二元交叉熵损失作为训练的损失函数:
$$ \begin{split} {L_{bce}} =\;& - \sum\limits_{(x,y)} [{\boldsymbol{G}}(x,y){\rm{lg}}({\boldsymbol{P}}(x,y)) \;+\\ &(1 - {\boldsymbol{G}}(x,y)){\rm{lg}}(1 - {\boldsymbol{P}}(x,y))]\end{split} $$ (10) 3.5 与其他算法的性能比较
本文与最新10种基于深度学习的方法进行比较, 包括U2Net[15]、PAGR[19]、RAS[21]、CPD[23]、DGRL[36]、MLMS[37]、PoolNet[38]、AFNet[39]、BASNet[40]和ITSD[41]. 为了指标的公平性, 所有指标均在同一评测代码下进行评测, 并且所有用于评测的显著图均从作者发布的模型中得出.
3.5.1 定量分析
表1、表2和表3分别列出了各算法的${F_\beta }$、MAE和${S_m}$评价指标结果. 本文方法在3项指标中均表现优异. 由表1和表3可以看出, 本文方法在指标${F_\beta }$和${S_m}$上大幅领先于其他方法, 即便是次优的ITSD算法, 在较难的数据集DUT-OMRON中, 本文也在${F_\beta }$指标上领先其0.003, ${S_m}$指标领先其0.007. 这主要得益于本文多层次聚合模块能够最大限度地保留显著物体的空间信息和边界细节. 对于表2中MAE指标, 本文方法也仅在相对较难的3个数据集上表现稍有不足, 但与第1名的差距是非常小的, 基本保持在0.001 ~ 0.002之间. 图5是各方法的查准率−查全率曲线图, 加粗实线是本文方法, 由图5可以看出, 本文算法性能的优越性.
表 1 不同方法的${F_\beta }$指标结果比较Table 1 Comparison of ${F_\beta }$ values of different models数据集 本文方法 PAGR RAS DGRL CPD MLMS PoolNet AFNet BASNet U2Net ITSD ECSSD 0.951 0.924 0.921 0.921 0.936 0.930 0.944 0.935 0.942 0.951 0.947 DUT-OMRON 0.827 0.771 0.786 0.774 0.794 0.793 0.808 0.797 0.805 0.823 0.824 PASCAL-S 0.873 0.847 0.837 0.844 0.866 0.858 0.869 0.868 0.854 0.859 0.871 HKU-IS 0.937 0.919 0.913 0.910 0.924 0.922 0.933 0.923 0.928 0.935 0.934 DUTS-TE 0.888 0.855 0.831 0.828 0.864 0.854 0.880 0.862 0.860 0.873 0.883 SOD 0.873 0.838 0.810 0.843 0.850 0.862 0.867 — 0.851 0.861 0.880 注: ${F_\beta }$值越大越好, 加粗数字为最优结果, 加下划线数字为次优结果. 表 2 不同方法的MAE指标结果比较Table 2 Comparison of MAE values of different models数据集 本文方法 PAGR RAS DGRL CPD MLMS PoolNet AFNet BASNet U2Net ITSD ECSSD 0.034 0.064 0.056 0.043 0.040 0.038 0.039 0.042 0.037 0.034 0.035 DUT-OMRON 0.058 0.071 0.062 0.062 0.056 0.060 0.056 0.057 0.056 0.054 0.061 PASCAL-S 0.065 0.089 0.104 0.072 0.074 0.069 0.075 0.069 0.076 0.074 0.072 HKU-IS 0.032 0.047 0.045 0.036 0.033 0.034 0.033 0.036 0.032 0.031 0.031 DUTS-TE 0.042 0.053 0.060 0.049 0.043 0.045 0.040 0.046 0.047 0.044 0.041 SOD 0.093 0.145 0.124 0.103 0.112 0.106 0.100 — 0.114 0.108 0.095 注: MAE值越小越好. 表 3 不同方法的${S_m}$指标结果比较Table 3 Comparison of ${S_m}$ values of different models数据集 本文方法 PAGR RAS DGRL CPD MLMS PoolNet AFNet BASNet U2Net ITSD ECSSD 0.932 0.889 0.893 0.906 0.915 0.911 0.921 0.914 0.916 0.928 0.925 DUT-OMRON 0.847 0.775 0.814 0.810 0.818 0.817 0.836 0.826 0.836 0.847 0.840 PASCAL-S 0.865 0.749 0.795 0.869 0.844 0.849 0.845 0.850 0.838 0.844 0.859 HKU-IS 0.930 0.887 0.887 0.897 0.904 0.901 0.917 0.905 0.909 0.916 0.917 DUTS-TE 0.873 0.838 0.839 0.842 0.867 0.856 0.883 0.866 0.853 0.861 0.872 SOD 0.808 0.720 0.764 0.771 0.771 0.780 0.795 — 0.772 0.786 0.809 注: ${S_{{m} } }$值越大越好. 
图 5 不同算法的查准率−查全率曲线示意图Fig. 5 Comparison of precision−recall curves of different methods3.5.2 定性分析
图6是本文方法与其他10种方法的显著性图. 由图6可以看出, 本文方法对显著信息的捕捉明显更强. 在第1行中, 即便是指标与本文最接近的ITSD也将座椅当作显著物体, 但是在人类的视觉效果上, 明亮的灯与背景的区分度更大, 本文方法因为有全局语义指导特征聚合, 可以捕捉到壁灯的显著信息. 在第2行中, 围绳与人之间有很多交叉, 即便是当前性能较好的方法也并没有将目标完整地识别出来, 而本文方法由于对低层特征进行了感受野增强, 可以捕捉目标周围更多的上/下文信息, 能够将全部目标识别出来, 但同时也存在围绳部分被识别为人的问题. 综上所述, 本文算法对于复杂背景下的物体边界并不能很好地细化. 但对于背景较简单的物体(如第5行和最后1行), 本文均能很好地预测出边界轮廓.
3.6 消融实验
表4是在数据集ECSSD上针对各模块的消融实验结果: 1)混合注意力模块. 由表4第3行可知, 当缺少混合注意力模块时, MAE指标上升了0.008, 由此可见, 利用该模块生成的全局语义特征引导特征聚合, 能够大幅提升聚合性能; 2)增大感受野模块. 由表4第4行可知, MAE指标上升了0.005, 主要是因为缺少了感受野增强, 没有充分提取低层特征的空间上/下文信息, 不利于细化边界; 3)多层次融合模块. 由表4第2行可知, 当用简单的上采样和相加操作代替该模块时, MAE上升了0.011, 说明多层次融合模块聚合方式非常高效.
表 4 消融实验结果Table 4 Results of ablation experimentMAM ERFM MLAM MAE/${F_\beta }$ — — ✓ 0.049/0.935 ✓ ✓ — 0.045/0.937 — ✓ ✓ 0.042/0.942 ✓ — ✓ 0.039/0.944 ✓ ✓ ✓ 0.034/0.951 注: MAE值越小越好, 加粗字体为最优结果, “✓”为使用指定模块. 表5是对ERFM模块中, 不同扩张率设置的对比实验结果. 表5中不同设置组合从左向右依次对应不同分辨率的特征图(见图3), 即左边第1组扩张率对应分辨率最大的特征图, 最后1组扩张率对应分辨率最小的特征图. 表5的第4行是本文方法的设置. 由表5第1行可以看出, 当扩张率全部设置为(1, 3, 5)时, 与本文方法相比, MAE上升了0.005, 而随着本文方法对分辨率较高的特征图分配更大的扩张率时, MAE的指标不断降低. 实验结果表明, 在本文方法中, 扩张率的选择是有效的.
表 5 ERFM模块中, 不同扩张率设置的对比实验Table 5 Comparative experiment of different dilation rate configurations in ERFM扩张率的不同设置组合 MAE/${F_\beta }$ (1, 3, 5), (1, 3, 5), (1, 3, 5), (1, 3, 5) 0.039/0.946 (1, 3, 5), (1, 3, 5), (3, 5, 7), (1, 3, 5) 0.037/0.948 (1, 3, 5), (4, 6, 8), (3, 5, 7), (1, 3, 5) 0.036/0.950 (5, 8, 11), (4, 6, 8), (3, 5, 7), (1, 3, 5) 0.034/0.951 表6是对MLAM模块第2阶段中, 自上而下和自下而上两个分支在数据集ECSSD上的消融实验结果. 由表6第1行可知, 当只使用自下而上分支时, 相比两个并行分支均使用时, MAE上升了0.007; 而只使用自上而下分支时, 上升了0.006. 由此可见, 本文方法将两个分支并行使用的方式是有效的, 能够对精度有所提升.
表 6 MLAM模块中, 两个分支的消融实验Table 6 Ablation experiment of two branches in MLAM自下而上分支 自上而下分支 MAE/${F_\beta }$ ✓ — 0.041/0.940 — ✓ 0.040/0.946 ✓ ✓ 0.034/0.951 表7是对MAM中, 注意力模块位置关系的消融实验结果. 前2行是将两个模块串联并考虑其先后位置, 第3行是两个模块并行即本文方法. 当通道注意力位置在前时, 与本文方法相比, MAE上升了0.002; 当空间注意力位置在前时, MAE上升了0.004. 该实验结果验证了本文将两个模块设置成并行的有效性.
表 7 MAM模块中, 注意力模块位置关系的消融实验Table 7 Ablation experiment on the position relationship of attention module in MAM注意力模块之间的位置关系 MAE/${F_\beta }$ 通道注意力在前 0.036/0.947 空间注意力在前 0.038/0.944 并行放置 (本文方法) 0.034/0.951 4. 结束语
本文提出一种基于语义引导特征聚合的显著性目标检测算法, 主要包括混合注意力模块、增大感受野模块和多层次融合模块3个模块. MAM能够生成更佳的语义特征, 用来指导解码过程中的特征融合, 使得聚合的特征能够更好地定位显著物体; ERFM能够丰富低层特征所具备的上/下文信息, 并将增强后的特征输入到MLAM中; MLAM利用MAM生成的语义信息, 对当前解码的特征和ERFM输出的低层特征进行指导融合, 并最终以级联方式逐步恢复边界细节, 生成最终的显著图. 本文与目前流行的10种算法在6个基准数据集上进行了实验比较, 由可视化图6可以看出, 本文算法能够有效地保留显著物体的空间位置信息, 并且边缘也得到了很好细化. 实验结果也验证了本文算法具有领先性能.
-
图 1 基于网络演算的性能指标分析
Fig. 1 The performance indicators analysis based on network calculus
图 4 低优先级队列干扰时的门控形式
Fig. 4 The gate control setting under the interference from the low-priority queue
图 5 来自高优先级队列干扰的4种门控设置场景
Fig. 5 Four scenes of the gate control setting under the interference from the high-priority queue
图 12 SW1高优先级业务流的 “到达−服务曲线” 模型
Fig. 12 The “arrival-service curve” model of the high-priority traffic at SW1
图 13 SW2高优先级业务流的 “到达−服务曲线” 模型
Fig. 13 The “arrival-service curve” model of the high-priority traffic at SW2
图 16 高优先级业务流端到端时延分布统计
Fig. 16 The end-to-end delay distribution statistics of the high-priority traffic
表 1 基本参数符号
Table 1 Basic parameter symbols
符号 符号含义 $f$ 业务流 $p_f$ 业务流优先级 $T_f$ 业务流到达周期 $M$ 队列集合 $p_m$ 队列优先级 $T_m$ 队列门控周期 $T_{\rm GCL}$ GCL超周期 $G_m(t)$ 门控状态 $t^{o, i}$ 第$i$个门控窗口的开启时间 $t^{c, i}$ 第$i$个门控窗口的关闭时间 $l^{\max}$ 数据帧的最大长度 $C_{\rm out}$ 数据帧出队时的转发速率 $\overline{L}^{i}$ 门控窗口的保证服务时隙 $o^{j, i}$ 不同门控窗口之间的相对偏移量 $S^{i}$ 最大等待时间 $t_{up}$ 时延分布值上界 
下载: 导出CSV
表 2 仿真参数设定
Table 2 Simulation parameters setting
参数 大小 数据帧长度 400 Bytes 发送速率 1 Gb/s 链路传播时延 0.1 μs 交换机处理时延 5 μs
下载: 导出CSV
表 3 业务流信息定义
Table 3 The traffic information definition
业务流 发送源端 周期T (μs) 到达时间$t_0$(μs) 高优先级 ES1 100 40 ES2 80 ES5 20
下载: 导出CSV
表 4 SW1的GCL定义
Table 4 The GCL definition of SW1
交换机 优先级队列 组别 初始门控开闭时间(μs) 门控周期(μs) 开 关 SW1 高 1 20 60 150 2 20 60 3 20 60 4 20 70 5 10 50 中 1 45 80 150 2 60 95 3 40 75 4 55 90 5 35 70 低 1 10 25 150 2 5 20 3 15 30 4 10 25 5 0 15
下载: 导出CSV
表 5 SW2的GCL定义
Table 5 The GCL definition of SW2
交换机 优先级队列 组别 初始门控开闭时间(μs) 门控周期(μs) 开 关 SW2 高 1 60 100 150 2 60 100 3 60 100 4 60 110 5 50 90 中 1 45 70 150 2 35 60 3 50 75 4 45 70 5 35 60 低 1 95 110 150 2 100 115 3 90 105 4 105 120 5 85 100
下载: 导出CSV
表 6 各交换机WCD的上界
Table 6 The upper-bound of WCD at each switch
业务流 组别 WCD的上界(μs) SW1 SW2 高优先级 1 82.9 124.7 2 76.5 119.7 3 82.9 126.1 4 72.9 114.7 5 82.9 124.7
下载: 导出CSV
表 7 组别1各交换机内部时延
Table 7 The internal delay of each switch in the group 1
交换机 交换机内部时延(μs) 时延上界 处理时延 总时延$t_{\mathrm{SW}}$ SW1 82.9 5 87.9 SW2 124.7 5 129.7
下载: 导出CSV
表 8 中、低优先级业务流参数配置
Table 8 The parameter configuration of the medium and low priority traffic
业务流 发送源端 周期T (μs) 到达时间$t_0$ (μs) 中优先级 ES3 150 40 低优先级 ES4 200 15
下载: 导出CSV
-
[1] 关新平, 陈彩莲, 杨博, 华长春, 吕玲, 朱善迎. 工业网络系统的感知−传输−控制一体化: 挑战和进展. 自动化学报, 2019, 45(1): 25−36Guan Xin-Ping, Chen Cai-Lian, Yang Bo, Hua Chang-Chun, Lv Ling, Zhu Shan-Ying. Towards the integration of sensing, transmission and control for industrial network systems: Challenges and recent developments. Acta Automatica Sinica, 2019, 45(1): 25-36 [2] 蔡岳平, 姚宗辰, 李天驰. 时间敏感网络标准与研究综述. 计算机学报, 2021, 44(7): 1378−1397 doi: 10.11897/SP.J.1016.2020.01378Cai Yue-Ping, Yao Zong-Chen, Li Tian-Chi. A survey on time-sensitive networking: Standards and state-of-the-art. Chinese Journal of Computers, 2021, 44(7): 1378−1397 doi: 10.11897/SP.J.1016.2020.01378 [3] 聂宏蕊, 李绍胜, 刘勇. 时间敏感网络中基于IEEE 802.1Qch标准的优化调度机制. 通信学报, 2022, 43(9): 12−26Nie Hong-Rui, Li Shao-Sheng, Liu Yong. Optimized scheduling mechanism based on IEEE 802.1Qch standard in time-sensitive networking. Journal on Communications, 2022, 43(9): 12−26 [4] 时间敏感网络白皮书, 中国电子技术标准化研究院, 2020.Time-sensitive Networking White Paper, China Electronics Standardization Institute, 2020. [5] 李宗辉, 杨思琪, 喻敬海, 邓仰东, 万海. 时间敏感网络中确定性传输技术综述. 软件学报, 2022, 33(11): 4334−4355 doi: 10.13328/j.cnki.jos.006524Li Zong-Hui, Yang Si-Qi, Yu Jing-Hai, Deng Yang-Dong, Wan Hai. State-of-the-art survey on deterministic transmission technologies in time-sensitive networking. Journal of Software, 2022, 33(11): 4334−4355 doi: 10.13328/j.cnki.jos.006524 [6] 张彤, 冯佳琦, 马延滢, 渠思源, 任丰原. 时间敏感网络流量调度综述. 计算机研究与发展, 2022, 59(4): 747−764 doi: 10.7544/issn1000-1239.20210203Zhang Tong, Feng Jia-Qi, Ma Yan-Ying, Qu Si-Yuan, Ren Feng-Yuan. Survey on traffic scheduling in time-sensitive networking. Journal of Computer Research and Development, 2022, 59(4): 747−764 doi: 10.7544/issn1000-1239.20210203 [7] Maile L, Hielscher K S, German R. Network calculus results for TSN: An introduction. In: Proceedings of the Information Communication Technologies Conference (ICTC). Nanjing, China: IEEE, 2020. 131−140 [8] Hu H, Li Q, Xiong H G, Fang B W. The delay bound analysis based on network calculus for asynchronous traffic shaping under parameter inconsistency. In: Proceedings of the IEEE 20th International Conference on Communication Technology (ICCT). Nanjing, China: IEEE, 2020. 908−915 [9] Axer P, Thiele D, Ernst R, Diemer J. Exploiting shaper context to improve performance bounds of ethernet AVB networks. In: Proceedings of the 51st ACM/EDAC/IEEE Design Automation Conference (DAC). San Francisco, CA, USA: IEEE, 2014. 1−6 [10] Mohammadpour E, Stai E, Mohiuddin M, Boudec J Y L. Latency and backlog bounds in time-sensitive networking with credit based shapers and asynchronous traffic shaping. In: Proceedings of the 30th International Teletraffic Congress (ITC 30). Vienna, Austria: IEEE, 2018. 1−6 [11] Cao J Y, Cuijpers P J L, Bril R J, Lukkien J J. Tight worst-case response-time analysis for ethernet AVB using eligible intervals. In: Proceedings of the IEEE World Conference on Factory Communication Systems (WFCS). Aveiro, Portugal: IEEE, 2016. 1−8 [12] Queck R. Analysis of ethernet AVB for automotive networks using network calculus. In: Proceedings of the IEEE International Conference on Vehicular Electronics and Safety (ICVES 2012). Istanbul, Turkey: IEEE, 2012. 61−67 [13] Zhao L X, Pop P, Gong Z J, Fang B W. Improving latency analysis for flexible window-based GCL scheduling in TSN networks by integration of consecutive nodes offsets. IEEE Internet of Things Journal, 2021, 8(7): 5574−5584 doi: 10.1109/JIOT.2020.3031932 [14] Zhao L X, Xiong H G, Zheng Z, Li Q. Improving worst-case latency analysis for rate-constrained traffic in the time-triggered ethernet network. IEEE Communications Letters, 2014, 18(11): 1927−1930 doi: 10.1109/LCOMM.2014.2358233 [15] Zhao L X, Pop P, Li Q, Chen J Y, Xiong H G. Timing analysis of rate-constrained traffic in TTEthernet using network calculus. Real-Time Systems, 2017, 53(2): 254−287 doi: 10.1007/s11241-016-9265-0 [16] Zhao L X, Pop P, Craciunas S S. Worst-case latency analysis for IEEE 802.1Qbv time sensitive networks using network calculus. IEEE Access, 2018, 6: 41803−41815 doi: 10.1109/ACCESS.2018.2858767 [17] IEEE Standard for Local and Metropolitan Area Networks —— Bridges and Bridged Networks-amendment 25: Enhancements for Scheduled Traffic, IEEE Standard 802.1 Qbv, 2015. [18] Cruz R L. A calculus for network delay. I. Network elements in isolation. IEEE Transactions on Information Theory, 1991, 37(1): 114−131 doi: 10.1109/18.61109 [19] Parekh A K, Gallager R G. A generalized processor sharing approach to flow control in integrated services networks: The single-node case. IEEE/ACM Transactions on Networking, 1993, 1(3): 344−357 doi: 10.1109/90.234856 [20] Chang C S. On deterministic traffic regulation and service guarantees: A systematic approach by filtering. IEEE Transactions on Information Theory, 1998, 44(3): 1097−1110 doi: 10.1109/18.669173 [21] Boudec J L, Thiran P. Network Calculus: A Theory of Deterministic Queuing Systems for the Internet. Berlin: Springer-Verlag, 2001. [22] 张晓楠. 基于随机网络演算的网络流量性能测量与分析[硕士学位论文], 北京邮电大学, 中国, 2021.Zhang Xiao-Nan. Measurement and Analysis of Traffic Network Performance Based on Stochastic Network Calculus [Master thesis], Beijing University of Posts and Telecommunications, China, 2021. [23] 李明辉. 基于网络演算的网络建模方法研究[硕士学位论文], 西南交通大学, 中国, 2007.Li Ming-Hui. Research on Network Modeling Based on Network Calculus [Master thesis], Southwest Jiaotong University, China, 2007. [24] 施金豆. 边缘网络业务性能分析模型和时延确定性传输算法研究[硕士学位论文], 南京邮电大学, 中国, 2021.Shi Jin-Dou. Research on Service Performance Analysis Model and Delay Deterministic Transmission Algorithm of Edge Networks [Master thesis], Nanjing University of Posts and Telecommunications, China, 2021. [25] Vojnovic M, Boudec J Y L. Stochastic analysis of some expedited forwarding networks. In: Proceedings of the Twenty-first Annual Joint Conference of the IEEE Computer and Communications Societies. New York, USA: IEEE, 2002. 1004−1013 [26] Do Y, Kim M, Kim J, Jeon J. Method and analysis for the improvement of preemption performance in IEEE 802.1 TSN. In: Proceedings of the 17th International Conference on Ubiquitous Information Management and Communication (IMCOM). Seoul, South Korea: IEEE, 2023. 1−8 [27] Integration of 5G With Time-Sensitive Networking for Industrial Communications, 5G-ACIA, 2021. [28] Paulon J V M, Souza B J O, Endler M. Exploring data collection on bluetooth mesh networks. Ad Hoc Networks, 2022, 130: 102809 doi: 10.1016/j.adhoc.2022.102809 [29] 张林波, 刘彤. OMNeT++ 与无线通信网络仿真. 哈尔滨: 哈尔滨工业大学出版社, 2020. 18−23Zhang Lin-Bo, Liu Tong. OMNeT++ and Wireless Communication Network Simulation. Harbin: Harbin Institute of Technology Press, 2020. 18−23 期刊类型引用(11)
1. 王君，韦娅萍. 事件触发下多智能体系统规定时间二分一致性. 系统科学与数学. 2024(01): 71-85 . 
百度学术2. 郭胜辉，罗世坚，黄大荣，宋家锋. 自动驾驶车辆道路跟驰与状态一致性控制. 中国科学:信息科学. 2024(02): 394-412 . 百度学术3. 赵华荣，彭力，吴治海，谢林柏，于洪年. 随机时延下多输入多输出多智能体系统事件触发双向编队. 控制与决策. 2024(04): 1251-1259 . 百度学术4. 熊勇刚，付茂林，李波，姚焘，张锐. 基于领航-跟随法的多机器人编队控制. 机电工程技术. 2024(03): 136-141 . 百度学术5. 时宏伟，滕婧婧，李凌云，郭胜辉. 含不确定参数的智能网联汽车协同编队控制. 西安工程大学学报. 2024(03): 117-125 . 百度学术6. 刘沛明，郭祥贵. 基于观测器的人在环多机械臂系统预设性能二分一致性. 自动化学报. 2024(09): 1761-1771 . 本站查看7. 张宏宏，李文华，郑家毅，刘宏斌，张鹏，高鹏，甘旭升. 有人/无人机协同作战：概念、技术与挑战. 航空学报. 2024(15): 168-194 . 百度学术8. 彭战松，李铁柱. 基于相对方向的非线性无人机群反步编队跟踪控制. 飞行力学. 2023(01): 34-39 . 百度学术9. 钱贝，周绍磊，肖支才，闫实，祁亚辉，侯鹏森. 通信时延条件下的单一领导者多无人机系统编队控制. 电光与控制. 2023(05): 66-72 . 百度学术10. 刘青松，习晓苗，柴利. 具有类万有引力的有界置信观点动力学分析与应用. 自动化学报. 2023(09): 1967-1975 . 本站查看11. 关睿. 机械制造智能化技术与机电一体化的融合研究. 造纸装备及材料. 2022(12): 126-128 . 百度学术其他类型引用(15)
-
下载:
计量
- 文章访问数: 850
- HTML全文浏览量: 360
- PDF下载量: 221
- 被引次数: 26
