-
摘要: 不平衡数据是机器学习中普遍存在的问题并得到广泛研究, 即少数类的样本数量远远小于多数类样本的数量. 传统基于最小化错误率方法的不足在于: 分类结果会倾向于多数类, 造成少数类的精度降低, 通常还存在时间复杂度较高的问题. 为解决上述问题, 提出一种基于样本空间分布的数据采样方法, 伪负样本采样方法. 伪负样本指被标记为负样本(多数类)但与正样本(少数类)有很大相关性的样本. 算法主要包括3个关键步骤: 1)计算正样本的空间分布中心并得到每个正样本到空间中心的平均距离; 2)以同样的距离计算方法计算每个负样本到空间分布中心的距离, 并与平均距离进行比较, 将其距离小于平均距离的负样本标记为伪负样本; 3)将伪负样本从负样本集中删除并加入到正样本集中. 算法的优势在于不改变原始数据集的数量, 因此不会引入噪声样本或导致潜在信息丢失; 在不降低整体分类精度的情况下, 提高少数类的精确度. 此外, 其时间复杂度较低. 经过13个数据进行多角度实验, 表明伪负样本采样方法具有较高的预测准确性.Abstract: Data imbalance is a very common problem that has been comprehensively studied in machine learning techniques, where the minority class contains very few samples compared with the majority class. The disadvantage of traditional methods based on minimizing the error lies in: they tend to be biased toward the majority class, so these models have low prediction accuracy for the minority class and might have high time complexity. To solve the above problems, a data sampling method based on spatial distribution, Pseudo-negative sampling is proposed. Pseudo-negative samples refer to samples marked as negative samples (majority class) but with a strong correlation with positive samples (minority class). The algorithm mainly includes three key steps:1) calculate the spatial center of the positive samples and figure out the average distance of positive samples to the spatial center; 2) calculate the distance from each negative sample to the spatial center with similar distance calculation approach and compare it with the average distance, and then mark the negative sample as pseudo negative sample whose distance is less than the average distance; 3) delete the pseudo negative samples from the negative samples and add them to the positive sample set. The advantage of the algorithm is that it does not change the number of original data sets, so it does not introduce noise samples or cause potential information loss; the accuracy of a few classes can be improved without decreasing the overall classification accuracy and the time cost is low. Extensive experiments are conducted on thirteen datasets from multiple aspects, and the results show that the pseudo-negative sampling method has high prediction accuracy.
-
Key words:
- Imbalanced data /
- spatial distribution /
- machine learning /
- sampling method /
- spatial center
-
显著性目标检测[1-5]能够对图像中在视觉上最与众不同的对象或区域进行检测与识别. 目前, 显著性目标检测已经成功地作为许多计算机视觉领域任务的预处理过程, 包括目标跟踪[6]、物体识别[7]、语义分割[8]等.
传统方法[9-10]大多依靠颜色、纹理等手工特征或者启发式先验来捕获图像局部细节和全局上/下文. Goferman等[9]提出一种基于上/下文感知的方法, 对目标周围的不同区域均进行检测, 并最终基于四个心理学原理简单生成了显著性图. Yan等[10]设计了一个分层模型, 能够对显著信息进行层次分析, 并将不同层次的输出进行组合得到最终结果. 尽管上述算法取得了一定的成功, 但是由于缺乏高级语义信息的参与, 在复杂场景中检测显著物体的能力受到了很大限制.
近年来, 卷积神经网络得到快速发展. 例如文献[11-13]的卷积神经网络所具备的金字塔结构, 能够在较浅层拥有丰富的低层边缘细节特征, 而较深层则包含了更多语义信息, 更擅长定位显著物体的确切位置. 基于上述先验, 大量基于卷积神经网络的深度模型被相继提出. Hou等[11]对编码过程中每个阶段都引入了跳跃连接, 对特征图进行多层次多角度的聚合连接, 输出精确的结果. Li等[14]将粗纹理的显著图作为前景信息, 将图像边界的超像素值作为背景信息, 并将两者结合, 得到最终的结果. Qin等[15]设计了一种嵌套的U型结构, 融合了不同感受野大小的特征, 能够捕捉更多的上/下文信息. 在这些方法中, U型结构由于能够通过在基础的分类网络上建立自上而下的路径来构建丰富的特征图, 而受到了最多的关注.
尽管上述方法相对于传统方法已经取得了很大进步, 但是还有很大改进空间. 首先, 在U型结构的解码过程中, 高层语义信息逐渐传递到较浅层, 虽然较浅层获得了显著物体的语义信息, 但是位置信息同时也被稀释, 造成最终输出的预测图中并不是当前图像中最显著部分, 丢失了显著物体准确的空间定位; 其次, 低层特征拥有丰富的边界信息, 但是由于在网络的较浅层, 无法获得较大感受野, 此时如果只是简单地融合高层特征与低层特征, 是无法精确地捕捉图片中显著物体边界的, 尤其是小目标. 因此, 本文考虑在增大低层特征感受野, 提高其表征力后, 将其送入到高效的特征聚合模块中, 以此来细化显著物体的边缘.
针对上述问题, 本文研究了如何在U型结构中通过高效的特征融合解决这些问题. 本文主要贡献包括以下3个方面: 1)混合注意力模块(Mixing attention module, MAM)对来自第5个残差层的特征利用注意力机制进行显著性增强, 得到更加关注显著物体的语义特征, 同时为了解决解码过程中显著物体位置信息被不断稀释的问题, 将其作为整个解码过程中的语义指导, 不断指导解码过程中的特征聚合, 生成更加具体的显著性图. 2)增大感受野模块(Enlarged receptive field module, ERFM)可以对来自低层的特征进行处理. 低层特征的边缘细节相当丰富, 但受限于感受野, 无法获得更加全局的信息. 因此, 考虑加入ERFM, 可以在保留原有边缘细节的同时, 获得更大的感受野, 增强语义信息. 3)多层次聚合模块(Multi-level aggregation module, MLAM)是对来自经过上述2个模块生成特征进行高效聚合, 以级联方式不断提取特征中的显著部分, 细化显著物体的边缘细节, 生成最终的显著图. 具体结构如图1所示.
1. 相关工作
近年来, 大量基于全卷积神经网络深度模型[16-17]被相继提出, 受益于全卷积神经网络强大的特征提取能力, 基于深度学习的方法已经在性能方面超越了大多数基于手工特征的传统方法. 文献[18]详细总结了传统方法. 本文主要讨论基于深度学习的显著性目标检测算法.
1.1 基于注意力机制的显著性目标检测
注意力机制具有很强的特征选择能力, 能够将特征信息进行深度整合, 使得网络更加去关注所需的语义信息. 根据加工域的不同, 注意力机制可以分为空间域注意力和通道域注意力两类, 其中空间注意力模块旨在捕获特征图中任意两个空间位置之间的空间依赖性, 通道注意力模块旨在捕获任意两个通道之间的通道依赖性. 因此, 许多学者利用注意力机制进行显著性目标检测. Zhang等[19]提出一种渐近注意力引导网络的显著性方法, 在解码阶段, 级联多个注意力模块渐近地生成最终结果. Zhao等[20]考虑到不同层次的特征所具备的信息并不相同, 因此, 对来自不同层次的特征, 分别设计了不同角度的注意力模块, 并对多个结果进行融合, 得到最终的结果. Chen等[21]提出一种反向注意网络, 将粗糙的预测图反馈到中间特征层, 希望网络可以补全缺失的显著部分. Wang等[22]设计了一个金字塔注意力模块, 通过考虑多尺度注意力来增强显著特征的表征力. 上述方法都是对注意力机制的有效使用, 本文方法需要生成更加关注显著物体语义信息的高层特征, 利用注意力机制可以取得很好效果.
1.2 基于特征聚合的显著性目标检测
大多数对特征进行聚合的方法都是采用编码−解码的框架, 其中编码器用于提取多尺度特征, 解码器用于聚合特征以生成不同级别的上/下文信息. Wu等[23]对深层特征进行优化, 提高其表征力, 并利用双分支结构对特征进行聚合, 生成细化后的结果. Deng等[24]设计一种循环策略, 不断聚合来自不同层次的特征, 对网络进行细化, 增强显著信息. Wang等[25]提出一个特征打磨模块, 通过重复使用该模块, 对特征不断细化, 聚合来自不同层次的特征, 得到最终结果. 上述方法都探索了高效的特征聚合方法, 虽然有一定效果, 但是对于空间细节的捕捉仍然不够, 并且在解码过程中, 由于缺少高级语义的指导, 导致预测出的显著物体位置出现了偏移. 本文针对上述问题, 设计了多层次聚合模块, 使其能够在高级语义的指导下, 精确地定位显著物体, 并且通过级联多个、多层次聚合模块, 可以实现对边缘细节的细化.
2. 本文方法
如图1所示, 本文建立一个编码−解码结构. 首先, 选用ResNeXt101作为特征提取器, 提取图片的各层特征; 其次, 利用MAM生成一个全局语义特征, 来引导解码过程, 通过上采样、卷积和元素累加等操作, 将全局语义融合到解码器的各层特征中; 接着, 编码过程中生成的各级特征通过ERFM后, 生成具备更多边界信息的低层特征; 最后, 将各级特征一起送入MLAM进行特征的有效聚合, 通过级联方式生成最终的显著性图.
2.1 混合注意力模块
图片送入网络中, 经过编码后, 会生成一系列具备不同信息的特征. 最高层的特征具备最强的语义表征能力, 并且在解码过程中, 逐渐与低层特征进行融合, 最终得到显著图. 但是, 直接将这种语义信息进行解码融合, 会造成许多显著性细节的丢失, 原因在于高层特征的不同通道和不同空间位置对显著性计算的贡献是不同的. 具体地, 不同通道对同一对象会有不同响应, 而同一通道的不同空间位置也会包含不同的对象. 受文献[26]启发, 本文设计了混合注意力模块, 该模块分为通道注意力机制和空间注意力机制两部分, 用来捕捉不同通道和不同空间位置中最显著的部分, 利用这些最显著的语义信息, 对高层特征进行有效增强, 得到更具鲁棒性的全局语义特征. MAM模块结构见图2.
2.1.1 空间注意力机制
对于从残差块5中提取的高层特征, 首先, 将其宽、高维度展开成一维向量并进行转置, 得到二维矩阵${{\boldsymbol{X}}}\in {\bf{R}}^{H W \times C}$, $C $是该特征的通道数, $H$和$W $分别是高和宽, $HW $为高与宽相乘的数量. 然后, 经过3个并行的全连接层${{\boldsymbol{W}}_{{q}}}$、${{\boldsymbol{W}}_{{k}}}$和${{\boldsymbol{W}}_{{v}}}$对通道进行降维, 分别得到${\boldsymbol{Q}} = {\boldsymbol{X}}{{\boldsymbol{W}}_{{q}}}$、 ${\boldsymbol{K}} = {\boldsymbol{X}}{{\boldsymbol{W}}_{{k}}}$、$\boldsymbol{V} = {\boldsymbol{X}}{{\boldsymbol{W}}_{{v}}}$三个矩阵. 接着, 利用$\boldsymbol{A} = {\boldsymbol{Q}}{{\boldsymbol{K}}^{\rm{T}}}$得到相关性矩阵, 其中, $\boldsymbol A_{ij} $代表$\boldsymbol Q $中第$i $行与$\boldsymbol K $中第j行的内积, 即两个不同空间位置处向量的相关性. 并且对相关性矩阵$\boldsymbol A $的每一行利用Softmax函数进行归一化, 约束到(0, 1)内. 最后, 将相关性矩阵$\boldsymbol A $与$\boldsymbol V $相乘, 并且经过一个全连接层${{\boldsymbol{W}}_{{s}}}$对通道维度进行恢复, 得到空间显著性增强后的特征图${{\boldsymbol{X}}^{{S}}} = {\boldsymbol{AV}}{{\boldsymbol{W}}_{{s}}}$, 最终的特征表达式为:
$$ {{\boldsymbol{X}}^{{S}}} = \sigma \left( {{\boldsymbol{X}}{{\boldsymbol{W}}_{{q}}}{{\left( {{\boldsymbol{X}}{{\boldsymbol{W}}_{{k}}}} \right)}^{\rm{T}}}} \right){\boldsymbol{X}}{{\boldsymbol{W}}_{{v}}}{{\boldsymbol{W}}_{{s}}}$$ (1) 式中, ${{\boldsymbol{W}}_{{q}}},{{\boldsymbol{W}}_{{k}}},{{\boldsymbol{W}}_{{v}}} \in {\bf{R}}^{{C \times C/4}}$, ${{\boldsymbol{W}}_{{s}}} \in {\bf{R}}^{(C/4) \times C}$, $\sigma ( \cdot )$为Softmax函数.
2.1.2 通道注意力机制
通道维度的操作与上述类似, 也是对残差块5提取的特征先沿着宽、高维度展开成一维向量并转置, 得到${{\boldsymbol{X}}} \in {\bf{R}}^{H W \times C}$经过三个全连接层, 输出 ${\boldsymbol{Q}} = {\boldsymbol{X}}{{\boldsymbol{W}}_{{q}}}$, ${\boldsymbol{K}} = {\boldsymbol{X}}{{\boldsymbol{W}}_{{k}}}$, $\boldsymbol{V} = {\boldsymbol{X}}{{\boldsymbol{W}}_{{v}}}$. 考虑到降维会带来过多的信息损失, 因此本文算法没有对通道进行降维. 然后, 通过${\boldsymbol{B}} = {{\boldsymbol{K}}^{\rm{T}}}{\boldsymbol{Q}}$得到相关性矩阵, 其中$\boldsymbol B_{ij} $代表了$\boldsymbol K $中第$i $列与$\boldsymbol Q $中第$j $列的内积, 即两个不同通道向量的相关性. 同样, 需要对相关性矩阵$\boldsymbol B $的每一列利用Softmax函数进行归一化, 约束到(0, 1)内. 最后, 将$\boldsymbol V $与$\boldsymbol B $相乘且经过一个全连接层${{\boldsymbol{W}}_{{s}}}$, 得到通道显著性增强后的特征图${{\boldsymbol{X}}^{\boldsymbol{C}}} = {\boldsymbol{VB}}{{\boldsymbol{W}}_{{s}}}$, 最终的特征表达式为:
$$ {{\boldsymbol{X}}^{\boldsymbol{C}}} = {\boldsymbol{X}}{{\boldsymbol{W}}_{{v}}}\sigma \left( {{{\left( {{\boldsymbol{X}}{{\boldsymbol{W}}_{{k}}}} \right)}^{{{\rm{T}}}}}{\boldsymbol{X}}{{\boldsymbol{W}}_{{q}}}} \right){{\boldsymbol{W}}_{{s}}}$$ (2) 式中, ${{\boldsymbol{W}}_{{q}}},{{\boldsymbol{W}}_{{k}}},{{\boldsymbol{W}}_{{v}}},{{\boldsymbol{W}}_{{s}}} \in {\bf{R}}^{C \times C}$. 最后合并这两个分支的输出. 考虑到残差结构的影响, 本文将合并后的特征与输入X进行相加, 生成最终特征图${{\boldsymbol{Y}}} \in {\bf{R}}^{H W \times C}$:
$$ {\boldsymbol{Y}} = {{\boldsymbol{X}}^{{C}}} \oplus {{\boldsymbol{X}}^{{S}}} \oplus {\boldsymbol{X}}$$ (3) 式中, “$\oplus $”表示元素级的特征图相加. Y在经过转置并且将维度展开恢复后, 送入到后续的模块中.
2.2 增大感受野模块
低层特征的边缘细节非常丰富, 但由于下采样的次数有限, 感受野相对受限, 无法捕捉全局的信息. 在解码过程中, 如果仅仅是简单利用低层特征, 虽然边缘的细节信息得到利用, 但并没有充分挖掘特征的空间细节. 受文献[27]启发, 本文设计如图3所示的增大感受野模块. 低层特征经过该模块后, 在保证边缘细节不丢失的前提下, 扩大了感受野, 具备了更多空间细节.
首先, 对于特征$M \in {\bf{R}}^{C \times H \times W}$, 设计四个并行分支$({l_i},i = 1,2,3,4)$, 其中$ {l_1} $采用一个$1 \times 1$卷积, 剩下的三个分支均采用$3 \times 3$卷积, 并且对这三个分支设置不同的扩张率. 根据低层特征分辨率的不同设置不同的扩张率: 对于分辨率较低的特征设置较小的扩张率, 对于分辨率较高的特征设置较大的扩张率. 本文最大的扩张率设置为$d = 5,8, 11$, 并随着特征图的缩小而不断缩小(具体设置见第3.6节). 然后, 对四个分支输出进行通道维度拼接, 并利用一个$1 \times 1$卷积得到融合后的特征.
2.3 多层次聚合模块
在解码过程中, 高效利用每一层的特征尤为关键. 以前的研究只对高层特征与低层特征进行简单的拼接融合, 得到的结果非常粗糙. 因此, 本文设计了多层次聚合模块, 对来自不同层、不同空间尺度的特征进行有效聚合. 该模块的输入分为MAM生成的语义特征$H_1 $, 经过ERFM增强后的低层特征$L $和当前进行解码的特征$H_2 $三个部分. 图4是多层次聚合模块示意图.
整个聚合过程分为2个阶段: 第1阶段是语义特征对当前解码特征的指导融合. 首先让$H_1 $经过两个并行的$1 \times 1$卷积, 第1个分支与$H_1 $在通道维度上进行拼接融合后, 与第2个分支的结果相加完成第1次融合, 得到高层特征$H $:
$$ H = {f_{conv}}({f_{cat}}({f_{{\text{c}}onv}}({H_1}),{H_2})) \oplus {f_{conv}}({H_1}) $$ (4) 式中, ${f_{conv}}( \cdot )$指卷积操作, ${f_{cat}}( \cdot )$指通道的拼接操作. 第2阶段是第1阶段融合得到的高层特征$H $与经过ERFM增强后的低层特征L的聚合. 此阶段分为自下而上和自上而下两个并行分支. 自下而上是$H $向$L $的聚合, 此阶段$L $不变, $H $经过一次上采样和一个$1 \times 1$卷积后与L进行通道维度的拼接, 得到聚合图${X^{h \to l}}$:
$$ {X^{h \to l}} = {f_{conv}}({f_{cat}}(L,{f_{up}}(H))) $$ (5) 式中, ${f_{up}}( \cdot )$指上采样操作. 自上而下是$L $向H的聚合, 此阶段$H $不变, $L $首先经过一个并行的池化操作, 其中最大池化可以提取特征中响应值较大的信息即特征中所包含的显著信息, 平均池化可以得到特征的全局信息. 经过并行池化后, 特征$L $具备更强的表征力, 并且与H有相同的空间尺寸, 此时将其与特征$H $在通道维度上进行拼接, 并利用$1 \times 1$卷积完成融合. 然后, 对其进行上采样, 得到最终的${X^{l \to h}}$:
$$ {X^{l \to h}} = {f_{up}}({f_{conv}}({f_{cat}}(H,{f_{avg}}(L) + {f_{\max }}(L)))) $$ (6) 式中, ${f_{\max }}( \cdot )$和${f_{avg}}( \cdot )$分别代表最大池化和平均池化操作. 最后, 对两个分支得到的聚合特征也进行一次聚合:
$$ Z = {f_{conv}}({f_{cat}}({X^{l \to h}},{X^{h \to l}})) $$ (7) 3. 实验设置与结果分析
3.1 训练细节
本文代码是在Pytorch1.5.0框架下完成, 并且使用1张GeForce GTX2080Ti GPU进行训练. 训练数据使用DUTS[28]数据集中10553张图片. 使用Adam[29]优化器进行优化, 初始学习率设置为$1 \times 10^4$, 并且在每训练完成两个周期后衰减一半, 批量大小为8. 使用ResNeXt101作为特征提取器提取各层特征, 并加载在ImageNet上预训练的分类权重, 作为初始权重. 为了减少过拟合的影响, 在训练阶段, 对图片进行了随机翻转和遮挡, 并将图片缩放到$320 \times 320 $像素后, 将其随机裁剪为$288 \times 288$像素, 输入到网络中进行训练; 测试阶段, 仅将图片缩放到$288 \times 288 $像素后, 输入到网络中进行测试.
3.2 数据集
本文在6个基准数据集上进行实验, 包括DUTS-TE[28]、DUT-OMRON[30]、ECSSD[31]、HKU-IS[32]、PASCAL-S[33]和SOD[34]. 其中, DUTS-TE与训练集的10553张图片同属一个数据集, 包含5019张测试图片. DUT-OMRON是最具有挑战性的数据集, 包含5188张图片, 该数据集的难点在于背景非常复杂, 对网络预测显著目标有很大干扰作用. ECSSD相对简单, 由1000张图片组成, 其中显著目标形状与外观有很大差异. HKU-IS包含4447张图片, 其中包含多个具有不同类别或外观的显著物体. PASCAL-S包含850张图片, 图片中物体之间会出现很大程度的重叠. SOD只有300张图片, 但场景的复杂多变, 带来很大挑战.
3.3 评价指标
本文使用平均绝对误差(Mean absolute error, MAE)、${F_\beta }$(F-measure) 和${S_m}$(Structure measure)作为评价指标.
1) MAE计算预测的显著图与真实标签之间的差异:
$${\rm{MAE}} = \frac{1}{{W \times H}}\sum\limits_{x = 1}^W {\sum\limits_{y = 1}^H {\left| {{\boldsymbol{P}}(x,y) - {\boldsymbol{G}}(x,y)} \right|} } $$ (8) 式中, $\boldsymbol P$指预测的显著图, $\boldsymbol G$指真实标签值.
2)${F_\beta }$是一种经典且有效的测量指标, 通过对查准率(Precision)与查全率(Recall)设置不同的权重来计算:
$$ {F_\beta }{\text{ = }}\frac{{(1{\text{ + }}{\beta ^2}) \times {\rm{{Re} call}} \times {{\rm{Pre}}} {\rm{cision}}}}{{{\beta ^2} \times {\rm{{Pre} cision}} + {\rm{{Re} call}}}} $$ (9) 式中, ${\beta ^2}$设置为0.3.
3)${S_m}$用来考虑预测的显著图与真实标签之间的全局和局部的结构相似性, 该指标的详细介绍见文献[35].
3.4 损失函数
本文使用标准的二元交叉熵损失作为训练的损失函数:
$$ \begin{split} {L_{bce}} =\;& - \sum\limits_{(x,y)} [{\boldsymbol{G}}(x,y){\rm{lg}}({\boldsymbol{P}}(x,y)) \;+\\ &(1 - {\boldsymbol{G}}(x,y)){\rm{lg}}(1 - {\boldsymbol{P}}(x,y))]\end{split} $$ (10) 3.5 与其他算法的性能比较
本文与最新10种基于深度学习的方法进行比较, 包括U2Net[15]、PAGR[19]、RAS[21]、CPD[23]、DGRL[36]、MLMS[37]、PoolNet[38]、AFNet[39]、BASNet[40]和ITSD[41]. 为了指标的公平性, 所有指标均在同一评测代码下进行评测, 并且所有用于评测的显著图均从作者发布的模型中得出.
3.5.1 定量分析
表1、表2和表3分别列出了各算法的${F_\beta }$、MAE和${S_m}$评价指标结果. 本文方法在3项指标中均表现优异. 由表1和表3可以看出, 本文方法在指标${F_\beta }$和${S_m}$上大幅领先于其他方法, 即便是次优的ITSD算法, 在较难的数据集DUT-OMRON中, 本文也在${F_\beta }$指标上领先其0.003, ${S_m}$指标领先其0.007. 这主要得益于本文多层次聚合模块能够最大限度地保留显著物体的空间信息和边界细节. 对于表2中MAE指标, 本文方法也仅在相对较难的3个数据集上表现稍有不足, 但与第1名的差距是非常小的, 基本保持在0.001 ~ 0.002之间. 图5是各方法的查准率−查全率曲线图, 加粗实线是本文方法, 由图5可以看出, 本文算法性能的优越性.
表 1 不同方法的${F_\beta }$指标结果比较Table 1 Comparison of ${F_\beta }$ values of different models数据集 本文方法 PAGR RAS DGRL CPD MLMS PoolNet AFNet BASNet U2Net ITSD ECSSD 0.951 0.924 0.921 0.921 0.936 0.930 0.944 0.935 0.942 0.951 0.947 DUT-OMRON 0.827 0.771 0.786 0.774 0.794 0.793 0.808 0.797 0.805 0.823 0.824 PASCAL-S 0.873 0.847 0.837 0.844 0.866 0.858 0.869 0.868 0.854 0.859 0.871 HKU-IS 0.937 0.919 0.913 0.910 0.924 0.922 0.933 0.923 0.928 0.935 0.934 DUTS-TE 0.888 0.855 0.831 0.828 0.864 0.854 0.880 0.862 0.860 0.873 0.883 SOD 0.873 0.838 0.810 0.843 0.850 0.862 0.867 — 0.851 0.861 0.880 注: ${F_\beta }$值越大越好, 加粗数字为最优结果, 加下划线数字为次优结果. 表 2 不同方法的MAE指标结果比较Table 2 Comparison of MAE values of different models数据集 本文方法 PAGR RAS DGRL CPD MLMS PoolNet AFNet BASNet U2Net ITSD ECSSD 0.034 0.064 0.056 0.043 0.040 0.038 0.039 0.042 0.037 0.034 0.035 DUT-OMRON 0.058 0.071 0.062 0.062 0.056 0.060 0.056 0.057 0.056 0.054 0.061 PASCAL-S 0.065 0.089 0.104 0.072 0.074 0.069 0.075 0.069 0.076 0.074 0.072 HKU-IS 0.032 0.047 0.045 0.036 0.033 0.034 0.033 0.036 0.032 0.031 0.031 DUTS-TE 0.042 0.053 0.060 0.049 0.043 0.045 0.040 0.046 0.047 0.044 0.041 SOD 0.093 0.145 0.124 0.103 0.112 0.106 0.100 — 0.114 0.108 0.095 注: MAE值越小越好. 表 3 不同方法的${S_m}$指标结果比较Table 3 Comparison of ${S_m}$ values of different models数据集 本文方法 PAGR RAS DGRL CPD MLMS PoolNet AFNet BASNet U2Net ITSD ECSSD 0.932 0.889 0.893 0.906 0.915 0.911 0.921 0.914 0.916 0.928 0.925 DUT-OMRON 0.847 0.775 0.814 0.810 0.818 0.817 0.836 0.826 0.836 0.847 0.840 PASCAL-S 0.865 0.749 0.795 0.869 0.844 0.849 0.845 0.850 0.838 0.844 0.859 HKU-IS 0.930 0.887 0.887 0.897 0.904 0.901 0.917 0.905 0.909 0.916 0.917 DUTS-TE 0.873 0.838 0.839 0.842 0.867 0.856 0.883 0.866 0.853 0.861 0.872 SOD 0.808 0.720 0.764 0.771 0.771 0.780 0.795 — 0.772 0.786 0.809 注: ${S_{{m} } }$值越大越好. 
图 5 不同算法的查准率−查全率曲线示意图Fig. 5 Comparison of precision−recall curves of different methods3.5.2 定性分析
图6是本文方法与其他10种方法的显著性图. 由图6可以看出, 本文方法对显著信息的捕捉明显更强. 在第1行中, 即便是指标与本文最接近的ITSD也将座椅当作显著物体, 但是在人类的视觉效果上, 明亮的灯与背景的区分度更大, 本文方法因为有全局语义指导特征聚合, 可以捕捉到壁灯的显著信息. 在第2行中, 围绳与人之间有很多交叉, 即便是当前性能较好的方法也并没有将目标完整地识别出来, 而本文方法由于对低层特征进行了感受野增强, 可以捕捉目标周围更多的上/下文信息, 能够将全部目标识别出来, 但同时也存在围绳部分被识别为人的问题. 综上所述, 本文算法对于复杂背景下的物体边界并不能很好地细化. 但对于背景较简单的物体(如第5行和最后1行), 本文均能很好地预测出边界轮廓.
3.6 消融实验
表4是在数据集ECSSD上针对各模块的消融实验结果: 1)混合注意力模块. 由表4第3行可知, 当缺少混合注意力模块时, MAE指标上升了0.008, 由此可见, 利用该模块生成的全局语义特征引导特征聚合, 能够大幅提升聚合性能; 2)增大感受野模块. 由表4第4行可知, MAE指标上升了0.005, 主要是因为缺少了感受野增强, 没有充分提取低层特征的空间上/下文信息, 不利于细化边界; 3)多层次融合模块. 由表4第2行可知, 当用简单的上采样和相加操作代替该模块时, MAE上升了0.011, 说明多层次融合模块聚合方式非常高效.
表 4 消融实验结果Table 4 Results of ablation experimentMAM ERFM MLAM MAE/${F_\beta }$ — — ✓ 0.049/0.935 ✓ ✓ — 0.045/0.937 — ✓ ✓ 0.042/0.942 ✓ — ✓ 0.039/0.944 ✓ ✓ ✓ 0.034/0.951 注: MAE值越小越好, 加粗字体为最优结果, “✓”为使用指定模块. 表5是对ERFM模块中, 不同扩张率设置的对比实验结果. 表5中不同设置组合从左向右依次对应不同分辨率的特征图(见图3), 即左边第1组扩张率对应分辨率最大的特征图, 最后1组扩张率对应分辨率最小的特征图. 表5的第4行是本文方法的设置. 由表5第1行可以看出, 当扩张率全部设置为(1, 3, 5)时, 与本文方法相比, MAE上升了0.005, 而随着本文方法对分辨率较高的特征图分配更大的扩张率时, MAE的指标不断降低. 实验结果表明, 在本文方法中, 扩张率的选择是有效的.
表 5 ERFM模块中, 不同扩张率设置的对比实验Table 5 Comparative experiment of different dilation rate configurations in ERFM扩张率的不同设置组合 MAE/${F_\beta }$ (1, 3, 5), (1, 3, 5), (1, 3, 5), (1, 3, 5) 0.039/0.946 (1, 3, 5), (1, 3, 5), (3, 5, 7), (1, 3, 5) 0.037/0.948 (1, 3, 5), (4, 6, 8), (3, 5, 7), (1, 3, 5) 0.036/0.950 (5, 8, 11), (4, 6, 8), (3, 5, 7), (1, 3, 5) 0.034/0.951 表6是对MLAM模块第2阶段中, 自上而下和自下而上两个分支在数据集ECSSD上的消融实验结果. 由表6第1行可知, 当只使用自下而上分支时, 相比两个并行分支均使用时, MAE上升了0.007; 而只使用自上而下分支时, 上升了0.006. 由此可见, 本文方法将两个分支并行使用的方式是有效的, 能够对精度有所提升.
表 6 MLAM模块中, 两个分支的消融实验Table 6 Ablation experiment of two branches in MLAM自下而上分支 自上而下分支 MAE/${F_\beta }$ ✓ — 0.041/0.940 — ✓ 0.040/0.946 ✓ ✓ 0.034/0.951 表7是对MAM中, 注意力模块位置关系的消融实验结果. 前2行是将两个模块串联并考虑其先后位置, 第3行是两个模块并行即本文方法. 当通道注意力位置在前时, 与本文方法相比, MAE上升了0.002; 当空间注意力位置在前时, MAE上升了0.004. 该实验结果验证了本文将两个模块设置成并行的有效性.
表 7 MAM模块中, 注意力模块位置关系的消融实验Table 7 Ablation experiment on the position relationship of attention module in MAM注意力模块之间的位置关系 MAE/${F_\beta }$ 通道注意力在前 0.036/0.947 空间注意力在前 0.038/0.944 并行放置 (本文方法) 0.034/0.951 4. 结束语
本文提出一种基于语义引导特征聚合的显著性目标检测算法, 主要包括混合注意力模块、增大感受野模块和多层次融合模块3个模块. MAM能够生成更佳的语义特征, 用来指导解码过程中的特征融合, 使得聚合的特征能够更好地定位显著物体; ERFM能够丰富低层特征所具备的上/下文信息, 并将增强后的特征输入到MLAM中; MLAM利用MAM生成的语义信息, 对当前解码的特征和ERFM输出的低层特征进行指导融合, 并最终以级联方式逐步恢复边界细节, 生成最终的显著图. 本文与目前流行的10种算法在6个基准数据集上进行了实验比较, 由可视化图6可以看出, 本文算法能够有效地保留显著物体的空间位置信息, 并且边缘也得到了很好细化. 实验结果也验证了本文算法具有领先性能.
-
表 1 符号及说明
Table 1 Symbols and their explanations
名称 解释 $D^+,m$ 正样本集与正样本个数. 包含的样本表示为$D^{+}=\left\{\left(x^{+}_{1}, y^{+}_{1}\right),\left(x^{+}_{2}, y^{+}_{2}\right), \cdots,\left(x^{+}_{m}, y_{m}^{+}\right)\right\}$ $D^-,n$ 负样本集与负样本个数. 包含的样本表示为$D^{-}=\left\{\left(x^{-}_{1}, y^{-}_{1}\right),\left(x^{-}_{2}, y^{-}_{2}\right), \cdots,\left(x^{-}_{n}, y^{-}_{n}\right)\right\}$ $D^*$ 伪负样本集. 包含的样本表示为$D^{*}=\left\{\left(x^{*}_{1}, y^{*}_{1}\right),\left(x^{*}_{2}, y^{*}_{2}\right), \cdots,\left(x^{*}_{i}, y^{*}_{i}\right)\right\}$} $Q(x_{i})$ 样本$x_{i}$的相似性大小 ${{dist} }(x_1,x_2)$ 样本$x_1$与样本$x_2$间的欧氏距离 $C$ 正样本空间中心, 是所有正样本的平均值 $meanDist$ 将负样本判断为伪负样本的阈值, 其值是所有正样本到空间中心 C 的平均距离 
下载: 导出CSV
表 2 不平衡数据集信息
Table 2 Information of the imbalanced dataset
来源 数据集 样本数 特征数 比例 特征属性 (连续/离散) 真实数据 SPECT 267 44 4 44/0 SNP 3074 25 16 25/0 UCI 数据 Ecoli 336 7 8.6 7/0 SatImage 6435 36 9.3 0/36 Abalone 4177 8 9.7 6/2 Balance 625 4 11.7 0/4 SolarFlare 1389 10 19 0/10 Yeast_ME2 1484 8 28 8/0 Abalone_19 4177 8 130 6/2 KEEL 数据 Yeast1289vs7 947 8 30.6 8/0 Yeast1458vs7 693 8 22.1 8/0 Yeast4 1484 8 28.1 8/0 Yeast5 1484 8 32.7 8/0
下载: 导出CSV
表 3 分类混淆矩阵
Table 3 The confuse matrix of classification
混淆矩阵 预测为正样本 预测为负样本 正样本 $TP$ $FN$ 负样本 $FP$ $TN$
下载: 导出CSV
表 4 伪负样本采样在分类器SVM、LR、DT、RF上的结果
Table 4 Results of pseudo-negative sampling on classifiers including SVM, LR, DT and RF
数据集 分类算法 $Sen$ $Spe$ $Acc$ $MCC$ F-score $AUC$ Balance SVM 0.810 0.967 0.911 0.804 0.860 0.967 LR 0.638 0.872 0.789 0.525 0.670 0.868 DT 0.885 0.950 0.928 0.836 0.889 0.920 RF 0.887 0.956 0.932 0.849 0.899 0.972 Ecoli SVM 0.826 0.975 0.952 0.806 0.828 0.982 LR 0.746 0.975 0.941 0.755 0.781 0.962 DT 0.741 0.961 0.932 0.704 0.734 0.865 RF 0.733 0.975 0.938 0.734 0.756 0.963 SatImage SVM 0.924 0.917 0.919 0.830 0.892 0.980 LR 0.823 0.827 0.825 0.636 0.772 0.913 DT 0.847 0.908 0.886 0.754 0.842 0.877 RF 0.901 0.950 0.933 0.854 0.906 0.984 Abalone SVM 0.906 0.994 0.965 0.922 0.945 0.966 LR 0.903 0.978 0.954 0.895 0.928 0.973 DT 0.914 0.949 0.937 0.860 0.906 0.932 RF 0.904 0.991 0.962 0.916 0.941 0.981 SolarFlare SVM 0.917 0.976 0.954 0.901 0.936 0.984 LR 0.934 0.962 0.951 0.896 0.934 0.973 DT 0.922 0.956 0.943 0.880 0.924 0.940 RF 0.942 0.957 0.951 0.897 0.935 0.987 Yeast_ME2 SVM 0.757 0.982 0.946 0.791 0.818 0.976 LR 0.573 0.966 0.902 0.608 0.653 0.947 DT 0.735 0.946 0.911 0.675 0.724 0.843 RF 0.723 0.976 0.935 0.749 0.782 0.968 Abalone_19 SVM 0.969 0.989 0.982 0.962 0.975 0.996 LR 0.971 0.984 0.979 0.956 0.971 0.997 DT 0.976 0.982 0.980 0.957 0.972 0.979 RF 0.977 0.992 0.987 0.972 0.982 0.997 SPECT SVM 0.767 0.907 0.862 0.682 0.774 0.941 LR 0.732 0.862 0.816 0.586 0.707 0.909 DT 0.627 0.817 0.753 0.440 0.608 0.732 RF 0.674 0.931 0.846 0.637 0.725 0.929 SNP SVM 0.677 0.980 0.850 0.709 0.795 0.966 LR 0.692 0.961 0.845 0.693 0.793 0.902 DT 0.892 0.911 0.903 0.803 0.888 0.902 RF 0.900 0.958 0.933 0.864 0.920 0.971
下载: 导出CSV
表 5 伪负样本采样与ROS, RUS, SMOTE, ADASYN采样方法对比结果
Table 5 Comparison of pseudo-negative sampling with the methods of ROS、RUS、SMOTE、ADASYN
数据集 评价指标 SVM LR PNS ROS RUS SMOTE ADASYN PNS ROS RUS SMOTE ADASYN SPECT Sen 0.767 0.746 0.594 0.381 0.438 0.732 0.685 0.605 0.643 0.604 Spe 0.907 0.856 0.860 0.985 0.970 0.862 0.846 0.828 0.838 0.843 Acc 0.862 0.817 0.760 0.794 0.789 0.816 0.793 0.748 0.768 0.751 MCC 0.682 0.590 0.461 0.509 0.531 0.586 0.527 0.432 0.507 0.485 F-score 0.774 0.715 0.585 0.535 0.575 0.707 0.667 0.594 0.622 0.611 AUC 0.941 0.912 0.861 0.857 0.867 0.909 0.889 0.848 0.849 0.824 SNP Sen 0.677 0.842 0.489 0.879 0.879 0.692 0.614 0.605 0.653 0.637 Spe 0.980 0.908 0.869 0.904 0.897 0.961 0.847 0.801 0.852 0.852 Acc 0.850 0.880 0.705 0.893 0.889 0.845 0.747 0.713 0.766 0.760 MCC 0.709 0.754 0.394 0.782 0.775 0.693 0.479 0.416 0.520 0.505 F-score 0.795 0.857 0.585 0.876 0.871 0.793 0.676 0.643 0.706 0.693 AUC 0.966 0.935 0.761 0.949 0.947 0.902 0.809 0.765 0.839 0.832 Ecoli Sen 0.826 0.715 0.644 0.720 0.661 0.746 0.644 0.616 0.610 0.573 Spe 0.975 0.962 0.964 0.963 0.956 0.975 0.958 0.954 0.962 0.956 Acc 0.952 0.925 0.916 0.925 0.908 0.941 0.908 0.902 0.908 0.900 MCC 0.806 0.693 0.633 0.692 0.623 0.755 0.618 0.598 0.612 0.570 F-score 0.828 0.728 0.665 0.727 0.664 0.781 0.655 0.634 0.647 0.616 AUC 0.982 0.958 0.949 0.957 0.951 0.962 0.936 0.923 0.935 0.930 SatImage Sen 0.924 0.892 0.847 0.915 0.933 0.823 0.580 0.540 0.595 0.553 Spe 0.917 0.904 0.898 0.907 0.871 0.827 0.763 0.747 0.766 0.757 Acc 0.919 0.899 0.879 0.910 0.893 0.825 0.697 0.671 0.704 0.683 MCC 0.830 0.786 0.741 0.810 0.784 0.636 0.344 0.288 0.361 0.312 F-score 0.892 0.865 0.835 0.880 0.864 0.772 0.580 0.539 0.591 0.557 AUC 0.980 0.960 0.946 0.966 0.953 0.913 0.778 0.756 0.786 0.768 Abalone Sen 0.906 0.721 0.651 0.740 0.703 0.903 0.726 0.710 0.735 0.697 Spe 0.994 0.835 0.839 0.830 0.822 0.978 0.805 0.802 0.804 0.804 Acc 0.965 0.797 0.776 0.800 0.783 0.954 0.779 0.769 0.781 0.769 MCC 0.922 0.549 0.493 0.559 0.515 0.895 0.518 0.499 0.525 0.489 F-score 0.945 0.701 0.655 0.709 0.676 0.928 0.684 0.669 0.689 0.660 AUC 0.966 0.868 0.840 0.876 0.861 0.973 0.850 0.842 0.850 0.836 Balance Sen 0.810 0.937 0.619 0.517 0.510 0.638 0.605 0.597 0.693 0.518 Spe 0.967 0.775 0.776 0.943 0.940 0.872 0.812 0.778 0.851 0.962 Acc 0.911 0.827 0.705 0.798 0.791 0.789 0.740 0.704 0.795 0.811 MCC 0.804 0.674 0.385 0.558 0.554 0.525 0.418 0.364 0.549 0.584 F-score 0.860 0.783 0.564 0.624 0.627 0.670 0.608 0.565 0.694 0.646 AUC 0.967 0.902 0.834 0.884 0.826 0.868 0.831 0.833 0.902 0.872 SolarFlare Sen 0.917 0.821 0.528 0.882 0.883 0.934 0.599 0.602 0.866 0.860 Spe 0.976 0.888 0.866 0.979 0.973 0.962 0.853 0.824 0.988 0.985 Acc 0.954 0.862 0.734 0.943 0.940 0.951 0.758 0.734 0.942 0.939 MCC 0.901 0.707 0.418 0.878 0.871 0.896 0.470 0.433 0.878 0.870 F-score 0.936 0.815 0.583 0.919 0.915 0.934 0.647 0.620 0.917 0.912 AUC 0.984 0.912 0.802 0.969 0.968 0.973 0.837 0.790 0.970 0.968 Yeast_ME2 Sen 0.757 0.708 0.482 0.721 0.688 0.573 0.548 0.538 0.633 0.575 Spe 0.982 0.965 0.970 0.967 0.966 0.967 0.958 0.959 0.960 0.960 Acc 0.946 0.923 0.889 0.927 0.920 0.902 0.892 0.884 0.906 0.896 MCC 0.791 0.706 0.545 0.720 0.695 0.608 0.566 0.545 0.634 0.593 F-score 0.818 0.747 0.575 0.759 0.738 0.653 0.618 0.584 0.683 0.643 AUC 0.976 0.955 0.882 0.961 0.955 0.947 0.901 0.891 0.910 0.901 Abalone_19 Sen 0.969 0.885 0.315 0.947 0.948 0.971 0.636 0.538 0.725 0.725 Spe 0.989 0.872 0.830 0.877 0.875 0.984 0.863 0.829 0.865 0.867 Acc 0.982 0.877 0.613 0.902 0.902 0.979 0.780 0.698 0.814 0.815 MCC 0.962 0.743 0.138 0.803 0.802 0.956 0.516 0.380 0.595 0.598 F-score 0.975 0.839 0.299 0.876 0.875 0.971 0.677 0.539 0.739 0.740 AUC 0.996 0.947 0.715 0.956 0.956 0.997 0.877 0.815 0.891 0.893
下载: 导出CSV
表 6 高比例不平衡数据采样对比
Table 6 The comparison of high ratio imbalanced data
数据集 评价指标 SVM LR PNS ROS RUS SMOTE ADASYN PNS ROS RUS SMOTE ADASYN Yeast1289vs7 Sen 0.892 0.752 0.533 0.845 0.843 0.775 0.691 0.558 0.726 0.719 Spe 0.952 0.919 0.833 0.860 0.844 0.850 0.824 0.786 0.815 0.809 Acc 0.925 0.849 0.695 0.853 0.843 0.817 0.768 0.668 0.777 0.771 MCC 0.848 0.690 0.392 0.701 0.682 0.627 0.521 0.355 0.542 0.529 F-score 0.909 0.806 0.582 0.827 0.817 0.780 0.712 0.570 0.731 0.723 AUC 0.980 0.935 0.793 0.930 0.926 0.902 0.837 0.793 0.848 0.844 Yeast1458vs7 Sen 0.855 0.681 0.356 0.713 0.737 0.590 0.503 0.415 0.570 0.592 Spe 0.934 0.899 0.879 0.877 0.870 0.835 0.843 0.829 0.823 0.820 Acc 0.904 0.820 0.684 0.817 0.821 0.745 0.719 0.660 0.731 0.735 MCC 0.794 0.602 0.283 0.599 0.612 0.437 0.369 0.265 0.406 0.421 F-score 0.866 0.730 0.431 0.736 0.748 0.623 0.562 0.445 0.602 0.617 AUC 0.965 0.904 0.720 0.897 0.899 0.822 0.769 0.744 0.792 0.794 Yeast4 Sen 0.770 0.687 0.543 0.733 0.703 0.574 0.572 0.558 0.603 0.566 Spe 0.982 0.969 0.965 0.970 0.966 0.968 0.958 0.955 0.959 0.960 Acc 0.947 0.923 0.892 0.930 0.923 0.904 0.895 0.886 0.902 0.895 MCC 0.798 0.701 0.571 0.734 0.706 0.613 0.582 0.559 0.611 0.584 F-score 0.824 0.741 0.609 0.770 0.747 0.662 0.634 0.605 0.656 0.635 AUC 0.976 0.954 0.908 0.961 0.957 0.946 0.902 0.881 0.906 0.903 Yeast5 Sen 0.704 0.706 0.596 0.745 0.721 0.622 0.576 0.559 0.590 0.546 Spe 0.995 0.989 0.990 0.991 0.990 0.987 0.987 0.988 0.987 0.988 Acc 0.980 0.975 0.970 0.979 0.976 0.969 0.966 0.966 0.967 0.967 MCC 0.770 0.714 0.644 0.759 0.728 0.642 0.605 0.590 0.614 0.588 F-score 0.772 0.720 0.641 0.765 0.734 0.647 0.609 0.587 0.620 0.593 AUC 0.994 0.990 0.986 0.991 0.992 0.988 0.988 0.988 0.988 0.988
下载: 导出CSV
表 7 不同采样方法时间对比
Table 7 Runtime comparison of different sampling methods
数据集 算法 RUS PNS SMOTE ROS ADASYN SPECT SVM 0.39 0.53 0.67 0.66 0.71 LR 0.56 0.69 0.80 0.75 0.81 DT 0.26 0.31 0.35 0.32 0.34 RF 1.70 1.77 1.91 1.84 1.98 SNP SVM 1.30 27.92 80.22 92.04 80.74 LR 0.70 1.41 2.16 2.09 2.26 DT 0.55 1.29 2.51 1.55 2.61 RF 2.32 7.32 13.76 9.45 13.91 Ecoli SVM 0.31 0.31 0.36 0.34 0.39 LR 0.39 0.43 0.44 0.44 0.44 DT 0.23 0.23 0.23 0.23 0.24 RF 1.54 1.58 1.56 1.56 1.58 SatImage SVM 7.59 75.68 189.22 201.02 238.91 LR 3.00 6.60 5.94 5.05 6.64 DT 1.02 2.75 4.03 3.47 4.86 RF 4.43 13.48 18.02 16.36 19.92 Abalone SVM 3.08 14.78 62.42 64.35 65.56 LR 1.02 3.58 4.74 4.67 4.81 DT 0.52 0.74 1.31 1.03 1.37 RF 2.86 4.75 9.61 7.73 9.48 Balance SVM 0.28 0.73 1.32 1.58 1.29 LR 0.25 0.35 0.68 0.38 0.68 DT 0.22 0.24 0.27 0.24 0.27 RF 1.49 1.67 1.74 1.73 1.76 SolarFlare SVM 0.44 3.46 9.25 12.31 9.30 LR 0.40 2.00 3.17 2.96 3.17 DT 0.29 0.36 0.46 0.43 0.50 RF 1.61 2.14 2.59 2.57 2.66 Yeast_ME2 SVM 0.44 1.84 2.95 3.189 3.161 LR 0.44 0.74 0.86 0.871 0.933 DT 0.29 0.36 0.38 0.361 0.436 RF 1.65 2.24 2.45 2.269 2.452 Abalone_19 SVM 0.44 6.81 66.16 75.09 66.20 LR 0.46 3.54 7.06 4.71 4.86 DT 0.39 0.71 1.49 0.86 1.47 RF 1.65 4.45 10.48 5.64 10.18 总计 44.69 197.95 511.77 530.30 567.05
下载: 导出CSV
-
[1] Hou J, Shi X, Chen C, Solimanislam M, Johnson A F, et al. Global impacts of chromosomal imbalance on gene expression in arabidopsis and other taxa. Proceedings of the National Academy of Sciences, 2018, 115(48): E11321−E11330 doi: 10.1073/pnas.1807796115 [2] Zhang Y, Qiao S, Ji S, Han N, Liu D, et al. Identification of DNA-protein binding sites by bootstrap multiple convolutional neural networks on sequence information. Engineering Applications of Artificial Intelligence, 2019, 79: 58−66 doi: 10.1016/j.engappai.2019.01.003 [3] Zhao Z, Peng H, Lan C, Zheng Y, Fang L, et al. Imbalance learning for the prediction of N 6-methylation sites in mRNAs. BMC Genomics, 2018, 19(1): 574 doi: 10.1186/s12864-018-4928-y [4] Du X, Yao Y, Diao Y, Zhu H, Zhang Y, et al. Deepss: exploring splice site motif through convolutional neural network directly from dna sequence. IEEE Access, 2018, 6: 32958−32978 doi: 10.1109/ACCESS.2018.2848847 [5] Maji R K, Khatua S, Ghosh Z. A supervised ensemble approach for sensitive microRNA target prediction. IEEE/ACM Transactions on Computational Biology and Bioinformatics, 2020, 17(1): 37−46 doi: 10.1109/TCBB.2018.2858252 [6] Zhang X, Lin X, Zhao J, Huang Q, Xu X. Efficiently predicting hot spots in PPIs by combining random forest and synthetic minority over-sampling technique. IEEE/ACM Transactions on Computational Biology and Bioinformatics, 2018, 16(3): 774−781 [7] Luo K, Wang G, Li Q, Tao J. An improved SVM-RFE based on F-statistic and mPDC for gene selection in cancer classification. IEEE Access, 2019, 7: 147617−147628 doi: 10.1109/ACCESS.2019.2946653 [8] Fotouhi S, Asadi S, Kattan M W. A comprehensive data level analysis for cancer diagnosis on imbalanced data. Journal of Biomedical Informatics, 2019, 90: 103089 doi: 10.1016/j.jbi.2018.12.003 [9] Soh W W, Yusuf R M. Predicting credit card fraud on a imbalanced data. International Journal of Data Science and Advanced Analytics, 2019, 1(1): 12−17 [10] 张宏莉, 鲁刚. 分类不平衡协议流的机器学习算法评估与比较. 软件学报, 2012, 23(6): 1500−1516 doi: 10.3724/SP.J.1001.2012.04074Zhang Hong-Li, Lu Gang. Machine learning algorithms for classifying the imbalanced protocol flows: evaluation and comparison. Journal of Software, 2012, 23(6): 1500−1516 doi: 10.3724/SP.J.1001.2012.04074 [11] He H, Garcia E A. Learning from imbalanced data. IEEE Transactions on Knowledge and Data Engineering, 2009, 21(9): 1263−1284 doi: 10.1109/TKDE.2008.239 [12] 林舒杨, 李翠华, 江弋, 林琛, 邹权. 不平衡数据的降采样方法研究. 计算机研究与发展, 2011, 48(S3): 47−53Lin Shu-Yang, Li Cui-Hua, Jiang Yi, Lin Chen, Zou Quan. Under-sampling method research in class-imbalanced data. Journal of Computer Research Development, 2011, 48(S3): 47−53 [13] Zhang Y, Qiao S, Lu R, Han N, Liu D, et al. How to balance the bioinformatics data: pseudo-negative sampling. BMC Bioinformatics, 2019, 20(25): 1−13 [14] Liu D, Qiao S, Han N, Wu T, Mao R, et al. SOTB: semi-supervised oversampling approach based on trigonal barycenter theory. IEEE Access, 2020, 8: 50180−50189 doi: 10.1109/ACCESS.2020.2980157 [15] 蒋盛益, 谢照青, 余雯. 基于代价敏感的朴素贝叶斯不平衡数据分类研究. 计算机研究与发展, 2011, 48(S1): 387−390Jiang Sheng-Yi, Xie Zhao-Qing, Yu Wen. Naive bayes classification algorithm based on cost sensitive for imbalanced data distribution. Journal of Computer Research Development, 2011, 48(S1): 387−390 [16] Yu L, Zhou R, Tang L, Chen R. A DBN-based resampling SVM ensemble learning paradigm for credit classification with imbalanced data. Applied Soft Computing, 2018, 69: 192−202 doi: 10.1016/j.asoc.2018.04.049 [17] Castellanos F J, Valero-Mas J J, Calvo-Zaragoza J, Rico-Juan J R. Oversampling imbalanced data in the string space. Pattern Recognition Letters, 2018, 103: 32−38 doi: 10.1016/j.patrec.2018.01.003 [18] Sun B, Chen H, Wang J, Xie H. Evolutionary under-sampling based bagging ensemble method for imbalanced data classification. Frontiers of Computer Science, 2018, 12(2): 331−350 doi: 10.1007/s11704-016-5306-z [19] Chawla N V, Bowyer K W, Hall L O, Kegelmeyer W P. SMOTE: synthetic minority over-sampling technique. Journal of Artificial Intelligence Research, 2002, 16: 321−357 doi: 10.1613/jair.953 [20] Douzas G, Bacao F. Effective data generation for imbalanced learning using conditional generative adversarial networks. Expert Systems with Applications, 2018, 91: 464−471 doi: 10.1016/j.eswa.2017.09.030 [21] Wilson D L. Asymptotic properties of nearest neighbor rules using edited data. IEEE Transactions on Systems, Man, and Cybernetics, 1972, SMC-2(3): 408−421 doi: 10.1109/TSMC.1972.4309137 [22] Laurikkala J. Improving identification of difficult small classes by balancing class distribution. In: Proceedings of the 2001 Conference on Artificial Intelligence in Medicine in Europe. Berlin, Ger-many: 2001. 63−66 [23] Zhang Z L, Luo X G, García S, Herrera F. Cost-sensitive back-propagation neural networks with binarization techniques in addressing multi-class problems and non-competent classifiers. Applied Soft Computing, 2017, 56: 357−367 doi: 10.1016/j.asoc.2017.03.016 [24] Liu N, Shen J, Xu M, Gan D, Qi E, et al. Improved cost-sensitive support vector machine classifier for breast cancer diagnosis. Mathematical Problems in Engineering, 2018, 4: 1−13 [25] Breiman L. Bagging predictors. Machine Learning, 1996, 24(2): 123−140 [26] Schapire R E. The strength of weak learnability. Machine Learning, 1990, 5(2): 197−227 [27] Friedman J, Hastie T, Tibshirani R. Additive logistic regression: a statistical view of boosting (with discussion and a rejoinder by the authors). the Annals of Statistics, 2000, 28(2): 337−407 [28] Elmore K L, Richman M B. Euclidean distance as a similarity metric for principal component analysis. Monthly Weather Review, 2001, 129(3): 540−549 doi: 10.1175/1520-0493(2001)129<0540:EDAASM>2.0.CO;2 [29] Park M W, Lee E C. Similarity measurement method between two songs by using the conditional Euclidean distance. Wseas Transaction on Information Science and Applications, 2013, 10(12), 381−388 [30] He H, Bai Y, Garcia E A, Li S. ADASYN: Adaptive synthetic sampling approach for imbalanced learning. In: Proceedings of the 2008 International Joint Conference on Neural Networks (World Congress on Computational Intelligence). Hong Kong, China: IEEE, 2008. 1322−1328 [31] Fernández A, del Río S, Chawla N V, Herrera F. An insight into imbalanced big data classification: Outcomes and challenges. Complex & Intelligent Systems, 2017, 3(2): 105−120 [32] Alcalá-Fdez J, Sanchez L, Garcia S, Deljesus M J, Ventura S, et al. KEEL: a software tool to assess evolutionary algorithms for data mining problems. Soft Computing, 2009, 13(3): 307−318 doi: 10.1007/s00500-008-0323-y [33] 罗珍珍, 陈靓影, 刘乐元, 张坤. 基于条件随机森林的非约束环境自然笑脸检测. 自动化学报, 2018, 44(4): 696−706Luo Zhen-Zhen, Chen Jing-Ying, Liu Le-Yuan, Zhang Kun. Conditional random forests for spontaneous smile detection in unconstrained environment. Acta Automatica Sinica, 2018, 44(4): 696−706 [34] Breiman L. Random forests. Machine Learning, 2001, 45(1): 5−32 doi: 10.1023/A:1010933404324 [35] 张学工. 关于统计学习理论与支持向量机. 自动化学报, 2000, 26(1): 32−42Zhang Xue-gong. Introduction to statistical learning theory and support vector machines. Acta Automatica Sinica, 2000, 26(1): 32−42 [36] Cortes C, Vapnik V. Support-vector networks. Machine Learning, 1995, 20(3): 273−297 [37] Cox D R. The regression analysis of binary sequences. Journal of the Royal Statistical Society: Series B (Methodological), 1958, 20(2): 215−232 doi: 10.1111/j.2517-6161.1958.tb00292.x [38] 毛毅, 陈稳霖, 郭宝龙, 陈一昕. 基于密度估计的逻辑回归模型. 自动化学报, 2014, 40(1): 62−72Mao Yi, Chen Wen-Lin, Guo Bao-Long, Chen Yi-Xin. A novel logistic regression model based on density estimation. Acta Automatica Sinica, 2014, 40(1): 62−72 [39] Quinlan J R. Induction of decision trees. Machine Learning, 1986, 1(1): 81−106 [40] 王雪松, 潘杰, 程玉虎, 曹戈. 基于相似度衡量的决策树自适应迁移. 自动化学报, 2013, 39(12): 2186−2192Wang Xue-Son, Pan Jie, Cheng Yu-Hu, Cao Ge. Self-adaptive transfer for decision trees based on similarity metric. Acta Automatica Sinica, 2013, 39(12): 2186−2192 [41] 乔少杰, 金琨, 韩楠, 唐常杰, 格桑多吉, Gutierrez L A. 一种基于高斯混合模型的轨迹预测算法. 软件学报, 2015, 26(5): 1048−1063Qiao S, Jin K, Han N, Tang C, Ge S, Gutierrez L A. Trajectory prediction algorithm based on Gaussian mixture model. Journal of Software, 2015, 26(5): 1048−1063 [42] 乔少杰, 韩楠, 丁治明, 金澈清, 孙未未, 舒红平. 多模式移动对象不确定性轨迹预测模型. 自动化学报, 2018, 44(4): 608−618Qiao S, Han N, Ding Z, Jin C, Sun W, Shu H. A multiple-motion-pattern trajectory prediction model for uncertain moving objects. Acta Automatica Sinica, 2018, 44(4): 608−618 [43] 乔少杰, 郭俊, 韩楠, 张小松, 元昌安, 唐常杰. 大规模复杂网络社区并行发现算法. 计算机学报, 2017, 40(3): 687−700 doi: 10.11897/SP.J.1016.2017.00687Qiao S, Guo J, Han N, Zhang X, Yuan C, Tang C. Parallel algorithm for discovering communities in large-scale complex networks. Chinese Journal of Computers, 2017, 40(3): 687−700 doi: 10.11897/SP.J.1016.2017.00687 期刊类型引用(11)
1. 王君，韦娅萍. 事件触发下多智能体系统规定时间二分一致性. 系统科学与数学. 2024(01): 71-85 . 
百度学术2. 郭胜辉，罗世坚，黄大荣，宋家锋. 自动驾驶车辆道路跟驰与状态一致性控制. 中国科学:信息科学. 2024(02): 394-412 . 百度学术3. 赵华荣，彭力，吴治海，谢林柏，于洪年. 随机时延下多输入多输出多智能体系统事件触发双向编队. 控制与决策. 2024(04): 1251-1259 . 百度学术4. 熊勇刚，付茂林，李波，姚焘，张锐. 基于领航-跟随法的多机器人编队控制. 机电工程技术. 2024(03): 136-141 . 百度学术5. 时宏伟，滕婧婧，李凌云，郭胜辉. 含不确定参数的智能网联汽车协同编队控制. 西安工程大学学报. 2024(03): 117-125 . 百度学术6. 刘沛明，郭祥贵. 基于观测器的人在环多机械臂系统预设性能二分一致性. 自动化学报. 2024(09): 1761-1771 . 本站查看7. 张宏宏，李文华，郑家毅，刘宏斌，张鹏，高鹏，甘旭升. 有人/无人机协同作战：概念、技术与挑战. 航空学报. 2024(15): 168-194 . 百度学术8. 彭战松，李铁柱. 基于相对方向的非线性无人机群反步编队跟踪控制. 飞行力学. 2023(01): 34-39 . 百度学术9. 钱贝，周绍磊，肖支才，闫实，祁亚辉，侯鹏森. 通信时延条件下的单一领导者多无人机系统编队控制. 电光与控制. 2023(05): 66-72 . 百度学术10. 刘青松，习晓苗，柴利. 具有类万有引力的有界置信观点动力学分析与应用. 自动化学报. 2023(09): 1967-1975 . 本站查看11. 关睿. 机械制造智能化技术与机电一体化的融合研究. 造纸装备及材料. 2022(12): 126-128 . 百度学术其他类型引用(15)
-
下载:
计量
- 文章访问数: 840
- HTML全文浏览量: 529
- PDF下载量: 283
- 被引次数: 26
