Weakly Supervised Real-time Object Detection Based on Saliency Map
-
摘要: 深度卷积神经网络(Deep convolutional neural network, DCNN)在目标检测任务上使用目标的全标注来训练网络参数, 其检测准确率也得到了大幅度的提升. 然而, 获取目标的边界框(Bounding-box)标注是一项耗时且代价高的工作. 此外, 目标检测的实时性是制约其实用性的另一个重要问题. 为了克服这两个问题, 本文提出一种基于图像级标注的弱监督实时目标检测方法. 该方法分为三个子模块: 1)首先应用分类网络和反向传递过程生成类别显著图, 该显著图提供了目标在图像中的位置信息; 2)根据类别显著图生成目标的伪标注(Pseudo-bounding-box); 3)最后将伪标注看作真实标注并优化实时目标检测网络的参数. 不同于其他弱监督目标检测方法, 本文方法无需目标候选集合获取过程, 并且对于测试图像仅通过网络的前向传递过程就可以获取检测结果, 因此极大地加快了检测的速率(实时性). 此外, 该方法简单易用; 针对未知类别的目标检测, 只需要训练目标类别的分类网络和检测网络. 因此本框架具有较强的泛化能力, 为解决弱监督实时检测问题提供了新的研究思路. 在PASCAL VOC 2007数据集上的实验表明: 1)本文方法在检测的准确率上取得了较好的提升; 2)实现了弱监督条件下的实时检测.Abstract: Deep convolutional neural network (DCNN) trains model parameters by using object bounding-box annotations in object detection task, and its detection accuracy has been greatly improved. However, bounding-box annotations are very expensive and time-consuming. In addition, the real-time performance of object detection is another important problem that restricts its practicality. To solve these two problems, this paper proposes a new weakly supervised real-time object detector with image-level labels. The proposed method includes three sub-modules: 1) firstly, producing class-specific saliency maps based on a classification network and the back-propagation process, which provides object localization clues; 2) then, generating pseudo-annotations (pseudo-bounding-box) based on class-specific saliency maps; 3) finally, treating the pseudo annotations as ground-truth and optimizing the parameters of our real-time object detection network. Different from other weakly supervised object detection methods, our method avoids the computing process for obtaining object candidates. And we obtain object detection results of test images by feed-forward process, thus our method greatly speeds up the detection process (real-time). In addition, our method is simple and easy to use; for unknown class objects, we only need to train the classification and detection networks. So our method has a strong generalization ability and provides a new idea for weakly supervision real-time detection problem. Extensive experiments on PASCAL VOC 2007 benchmark show that: 1) the proposed method achieves a good improvement on detection accuracy; 2) it realizes real-time detection under weakly supervised condition.
-
随着多样化信息获取技术的发展, 人们可以从不同途径或不同角度来获取对象的特征数据, 即多视角数据. 多视角数据包含了同一对象不同角度的信息. 例如: 网页数据中既包含网页内容又包含网页链接信息; 视频内容中既包含视频信息又包含音频信息; 图像数据中既涉及颜色直方图特征、纹理特征等图像特征, 又涉及描述该图像内容的文本. 多视角学习能有效地对多视角数据进行融合, 避免了单视角数据数据信息单一的问题[1-4].
多视角模糊聚类是一种有效的无监督多视角学习方法[5-7]. 它通过在多视角聚类过程中引入各样本对不同类别的模糊隶属度来描述各视角下样本属于该类别的不确定性程度. 经典的工作有: 文献[8]以经典的单视角模糊C均值(Fuzzy C-means, FCM)算法作为基础模型, 利用不同视角间的互补信息确定协同聚类的准则, 提出了Co-FC (Collaborative fuzzy clustering)算法; 文献[9]参考文献[8]的协同思想提出Co-FKM (Multiview fuzzy clustering algorithm collaborative fuzzy K-means)算法, 引入双视角隶属度惩罚项, 构造了一种新型的无监督多视角协同学习方法; 文献[10]借鉴了Co-FKM和Co-FC所使用的双视角约束思想, 通过引入视角权重, 并采用集成策略来融合多视角的模糊隶属度矩阵, 提出了WV-Co-FCM (Weighted view colla-borative fuzzy C-means) 算法; 文献[11]通过最小化双视角下样本与聚类中心的欧氏距离来减小不同视角间的差异性, 基于K-means聚类框架提出了Co-K-means (Collaborative multi-view K-means clustering)算法; 在此基础上, 文献[12]提出了基于模糊划分的TW-Co-K-means (Two-level wei-ghted collaborative K-means for multi-view clustering)算法, 对Co-K-means算法中的双视角欧氏距离加入一致性权重, 获得了比Co-K-means更好的多视角聚类结果. 以上多视角聚类方法都基于成对视角来构造不同的正则化项来挖掘视角之间的一致性和差异性信息, 缺乏对多个视角的整体考虑.
一致性和差异性是设计多视角聚类算法需要考虑的两个重要原则[10-14]. 一致性是指在多视角聚类过程中, 各视角的聚类结果应该尽可能保持一致. 在设计多视角聚类算法时, 往往通过协同、集成等手段来构建全局划分矩阵, 从而得到最终的聚类结果[14-16]. 差异性是指多视角数据中的每个视角均反映了对象在不同方面的信息, 这些信息互为补充[10], 在设计多视角聚类算法时需要对这些信息进行充分融合. 综合考虑这两方面的因素, 本文拟提出新型的低秩约束熵加权多视角模糊聚类算法(Entropy-weighting multi-view fuzzy C-means with low rank constraint, LR-MVEWFCM), 其主要创新点可以概括为以下3个方面:
1)在模糊聚类框架下提出了面向视角一致性的低秩约束准则. 已有的多视角模糊聚类算法大多基于成对视角之间的两两关系来构造正则化项, 忽视了多个视角的整体一致性信息. 本文在模糊聚类框架下从视角全局一致性出发引入低秩约束正则化项, 从而得到新型的低秩约束多视角模糊聚类算法.
2) 在模糊聚类框架下同时考虑多视角聚类的一致性和差异性, 在引入低秩约束的同时进一步使用面向视角差异性的多视角香农熵加权策略; 在迭代优化的过程中, 通过动态调节视角权重系数来突出具有更好分离性的视角的权重, 从而提高聚类性能.
3)在模糊聚类框架下首次使用交替方向乘子法(Alternating direction method of multipliers, ADMM)[15]对LR-MVEWFCM算法进行优化求解.
在本文中, 令
$ N $ 为样本总量,$ D $ 为样本维度,$ K $ 为视角数目,$ C $ 为聚类数目,$ m $ 为模糊指数. 设$ {\boldsymbol{x}}_{j,k} $ 表示多视角场景中第$ j $ 个样本第$ k $ 个视角的特征向量,$ j = 1,\cdots{},N $ ,$ k = 1,\cdots{},K $ ;$ {\boldsymbol{v}}_{i,k} $ 表示第$ k $ 个视角下, 第$ i $ 个聚类中心,$ i = 1,\cdots{},C $ ;$ U_k = \left[{\mu{}}_{ij,k}\right] $ 表示第$ k $ 个视角下的模糊隶属度矩阵, 其中$ {\mu{}}_{ij,k} $ 是第$ k $ 个视角下第$ j $ 个样本属于第$ i $ 个聚类中心的模糊隶属度,$ i = 1,\cdots{},C $ ,$ j = 1,\cdots{},N. $ 本文第1节在相关工作中回顾已有的经典模糊C均值聚类算法FCM模型[17]和多视角模糊聚类Co-FKM模型[9]; 第2节将低秩理论与多视角香农熵理论相结合, 提出本文的新方法; 第3节基于模拟数据集和UCI (University of California Irvine)数据集验证本文算法的有效性, 并给出实验分析; 第4节给出实验结论.
1. 相关工作
1.1 模糊C均值聚类算法FCM
设单视角环境下样本
${\boldsymbol{x}}_1,\cdots{},{\boldsymbol{x}}_N\in{}{\bf{R}}^{D}$ ,$ U = [{\mu{}}_{i,j}] $ 是模糊划分矩阵,$ V = [{\boldsymbol{v}}_1,{\boldsymbol{v}}_2,\cdots{},{\boldsymbol{v}}_C] $ 是样本的聚类中心. FCM算法的目标函数可表示为$$ \begin{split} &J_{{\rm{FCM}}}=\sum\limits_{i=1}^C\sum\limits_{j=1}^N{\mu{}}_{ij}^m{\left\Vert{}{\boldsymbol{x}}_j-{\boldsymbol{v}}_i\right\Vert{}}^2\\ &\sum\limits_{i=1}^C{\mu{}}_{ij}=1,\;\;0 < {\mu{}}_{ij}\leq{}1,\;\;m>1 \end{split}$$ (1) 可得到
$J_{{\rm{FCM}}}$ 取得局部极小值的必要条件为$$ {\boldsymbol{v}}_i = \frac{\sum\limits_{j = 1}^N{\left({\mu{}}_{ij}\right)}^mx_j}{\sum\limits_{j = 1}^N{\left({\mu{}}_{ij}\right)}^m}\;\; \qquad\qquad$$ (2) $$ {\mu{}}_{ij} = \frac{1}{\sum\limits_{s = 1}^c{\left(\frac{{\left\Vert{}{\boldsymbol{x}}_j-{\boldsymbol{v}}_i\right\Vert{}}^2}{{\left\Vert{}{\boldsymbol{x}}_j-{\boldsymbol{v}}_s\right\Vert{}}^2}\right)}^{\frac{1}{m-1}}} \; \;\;\;$$ (3) 根据式(2)和式(3)进行迭代优化, 使目标函数收敛于局部极小点, 从而得到样本属于各聚类中心的模糊划分矩阵
$ U $ .1.2 多视角模糊聚类Co-FKM模型
在经典FCM算法的基础上, 文献[9]通过引入视角协同约束正则项, 对视角间的一致性信息加以约束, 提出了多视角模糊聚类Co-FKM模型.
多视角模糊聚类Co-FKM模型需要满足如下条件:
$$ \begin{split} &\sum\limits_{i=1}^C{\mu{}}_{ij,k}=1,\\ &\quad{\mu{}}_{ij,k}\leq{}1,\;i=1,2,\cdots{},C;\;j=1,2,\cdots{},N\end{split}$$ (4) 多视角模糊聚类Co-FKM模型的目标函数
$J_{{\rm{Co}}\text{-}{\rm{FKM}}}$ 定义为$$ J_{{\rm{Co}}\text{-}{\rm{FKM}}} = \sum\limits_{k = 1}^K\sum\limits_{i = 1}^C\sum\limits_{j = 1}^N{\mu{}}_{ij,k}^m{\left\Vert{}{\boldsymbol{x}}_{j,k}-{\boldsymbol{v}}_{i,k}\right\Vert{}}^2+\eta{}{\Delta{}}_k $$ (5) $$ {\Delta{}}_k = \frac{1}{K - 1} \sum\limits_{ k = 1,k\not = \tilde{k}}^K\sum\limits_{i = 1}^C\sum\limits_{j = 1}^N \left({\mu{}}_{ij,\tilde{k}}^m - {\mu{}}_{ij,k}^m \right){ \left\Vert{}{\boldsymbol{x}}_{j,k} - {\boldsymbol{v}}_{i,k} \right\Vert{}}^2 $$ (6) 式(5)中,
$ \eta{} $ 表示协同划分参数;$ \Delta{} $ 表示视角一致项, 由式(6)可知, 当各视角趋于一致时,$ \Delta{} $ 将趋于0.迭代得到各视角的模糊隶属度
$ {\mu{}}_{ij,k} $ 后, 为了最终得到一个具有全局性的模糊隶属度划分矩阵, Co-FKM算法对各视角下的模糊隶属度采用几何平均的方法, 得到数据集的整体划分, 具体形式为$$ {\hat{\mu{}}}_{ij} = \sqrt[K]{\prod\limits_{k\in{}K}{\mu{}}_{ij,k}} $$ (7) 其中,
$ {\hat{\mu{}}}_{ij} $ 为全局模糊划分结果.2. 基于低秩约束的熵加权多视角模糊聚类算法
针对当前多视角模糊聚类算法研究中存在的不足, 本文提出一种基于低秩约束的熵加权多视角模糊聚类新方法LR-MVEWFCM. 一方面通过向多视角模糊聚类算法的目标学习准则中引入低秩约束项, 在整体上控制聚类过程中各视角的一致性; 另一方面基于香农熵理论, 通过熵加权机制来控制各视角之间的差异性. 同时使用交替方向乘子法对模型进行优化求解.
设多视角隶属度
$U_1,\cdots,U_K$ 融合为一个整体的隶属度矩阵$ U $ , 将矩阵$ U $ 的秩函数凸松弛为核范数, 通过对矩阵$ U $ 进行低秩约束, 可以将多视角数据之间的一致性问题转化为核范数最小化问题进行求解, 具体定义为$$ \Gamma{}(U) = {\left\Vert{}U\right\Vert{}}_* $$ (8) 其中,
$U = [ U_1\; \; \cdots{}\;\; U_K ]^{\rm{T}}$ 表示全局划分矩阵,$ {\left\Vert{}\cdot{}\right\Vert{}}_* $ 表示核范数. 式(8)的优化过程保证了全局划分矩阵的低秩约束. 低秩约束的引入, 可以弥补当前大多数多视角聚类算法仅能基于成对视角构建约束的缺陷, 从而更好地挖掘多视角数据中包含的全局一致性信息.目前已有的多视角的聚类算法在处理多视角数据时, 通常默认每个视角平等共享聚类结果[11], 但实际上某些视角的数据往往因空间分布重叠而导致可分性较差. 为避免此类视角的数据过多影响聚类效果, 本文拟对各视角进行加权处理, 并构建香农熵正则项从而在聚类过程中有效地调节各视角之间的权重, 使得具有较好可分离性的视角的权重系数尽可能大, 以达到更好的聚类效果.
令视角权重系数
$ \sum_{k = 1}^Kw_k = 1 $ 且$ w_k\geq{}0 $ , 则香农熵正则项表示为$$ f\left(w_k\right) = -\sum\limits_{k = 1}^Kw_k\ln{w_k} $$ (9) 综上所述, 本文作如下改进: 首先, 用本文提出的低秩约束全局模糊隶属度矩阵
$ U $ ; 其次, 计算损失函数时考虑视角权重$ w_k $ , 并加入视角权重系数的香农熵正则项. 设$U = [ U_1\;\; \cdots{}\;\; U_K ]^{\rm{T}}$ ;${\pmb w} = [w_1,\cdots{},w_k, \cdots{}, w_K]$ 表示$ K $ 个视角下的视角权重. 本文所构建LR-MVEWFCM的目标函数为$$ \begin{split} J\left({\pmb w},U,V\right) =\;& \sum\limits_{k = 1}^Kw_k\sum\limits_{i = 1}^C\sum\limits_{j = 1}^N{\left({\mu{}}_{ij,k}\right)}^m{\left\Vert{}{\boldsymbol{x}}_{j,k} - {\boldsymbol{v}}_{i,k}\right\Vert{}}^2+ \\ &{\theta{}\left\Vert{}U\right\Vert{}}_*+\lambda{}\sum\limits_{k = 1}^Kw_k\ln{w_k}\\[-15pt] \end{split} $$ (10) 其中, 约束条件为
$$\left\{ \begin{aligned}& \sum\limits_{i = 1}^C {{\mu _{ij,k}}} = 1,&{\mu _{ij,k}} \in \left[ {0,1} \right]\\ &\sum\limits_{k = 1}^K {{w_k}} = 1,&{w_k} \in \left[ {0,1} \right]\;\;\; \end{aligned}\right.$$ (11) 本文取模糊指数
$ m = 2 $ .2.1 基于ADMM的求解算法
在本节中, 我们将使用ADMM方法, 通过交替方向迭代的策略来实现目标函数
$ \left(11\right) $ 的最小化.$$ \begin{aligned}[b] f({\boldsymbol{w}},U,V)=\;&\sum\limits_{k=1}^Kw_k\sum\limits_{i=1}^C\sum\limits_{j=1}^N{({\mu{}}_{ij,k})}^2\times\\ &{\Vert{}{\boldsymbol{x}}_{j,k}-{\boldsymbol{v}}_{i,k}\Vert{}}^2+ \lambda{}\sum\limits_{k=1}^Kw_k\ln{w_k} \\[-15pt]\end{aligned} $$ (12) $$ g\left(Z\right) = {\theta{}\left\Vert{}Z\right\Vert{}}_* $$ (13) 最小化式
$ \left(10\right) $ 可改写为如下约束优化问题:$$ \begin{split} &\min L\left({\boldsymbol{w}},U,V,Z\right)=f\left({\boldsymbol{w}},U,V\right)+g\left(Z\right)\\ &\;\;\;\;\;\;\;\;\;\;\;\;\;{\left\{\begin{aligned} &\sum\limits_{i=1}^C{\mu{}}_{ij,k}=1,\;\;{\mu{}}_{ij,k}\in{}\left[0,1\right] \\ &\sum\limits_{k=1}^Kw_k=1,\;\;\;\;w_k\in{}\left[0,1\right]\end{aligned}\right.} \\&Z =U \end{split}$$ (14) 其求解过程可分解为如下几个子问题:
1)
$ V $ -子问题. 固定$ {\boldsymbol{w}} $ 和$ U $ , 更新$ V $ 为$$ \begin{split}{\boldsymbol{v}}_{i,k}^{\left(t+1\right)} =\;& \arg\mathop { \min }\limits_{v_{i,k}^t} \sum\limits_{k = 1}^Kw_k^{\left(t\right)}\times\\ &\sum\limits_{i = 1}^C\sum\limits_{j = 1}^N{\left({\mu{}}_{ij,k}^{\left(t\right)}\right)}^2{\left\Vert{}{\boldsymbol{x}}_{j,k}-{\boldsymbol{v}}_{i,k}^{\left(t\right)}\right\Vert{}}^2 \end{split}$$ (15) 通过最小化式
$ \left(15\right) $ , 可得到$ {\boldsymbol{v}}_{i,k}^{\left(t+1\right)} $ 的闭合解为$$ {\boldsymbol{v}}_{i,k}^{\left(t + 1\right)} = \frac{\sum\limits_{j = 1}^N{\left({\mu{}}_{ij,k}^{\left(t\right)}\right)}^2{\boldsymbol{x}}_{j,k}}{\sum\limits_{j = 1}^N{\left({\mu{}}_{ij,k}^{\left(t\right)}\right)}^2} $$ (16) 2)
$ U $ -子问题. 固定$ {\boldsymbol{w}} $ ,$ Q $ 和$ Z $ , 更新$ U $ 为$$ \begin{split} U^{\left(t+1\right)}=\;& \arg\mathop { \min }\limits_{{U^{\left( t \right)}}} f\left({\boldsymbol{w}},U,V\right) + \alpha{}\left(\sum\limits_{k=1}^Kw_k^{\left(t\right)} - 1\right)+ \\ & \sum\limits_{j=1}^N\sum\limits_{k=1}^K{\beta{}}_{j,k}\left(\sum\limits_{i=1}^C{\mu{}}_{ij,k}^{\left(t\right)} - 1\right)+ \\ & \frac{\rho{}}{2}{\left\Vert{}U^{\left(t\right)}-Z^{\left(t\right)}+Q^{\left(t\right)}\right\Vert{}}_{\rm{F}}^2\\[-15pt] \end{split}$$ (17) 通过最小化式
$ \left(17\right) $ , 可得到$ U^{\left(t+1\right)} $ 的封闭解为$$ \begin{split} {\mu{}}_{ij,k}^{\left(t+1\right)}=\;& \dfrac{\rho{}z_{ij,k}^{\left(t\right)}-\rho{}q_{ij,k}^{\left(t\right)}}{2w_k^{\left(t\right)}{\left\Vert{}{\boldsymbol{x}}_{j,k}-{\boldsymbol{v}}_{i,k}^{\left(t+1\right)}\right\Vert{}}^2+\rho{}}- \\ &\left( \sum\limits_{i=1}^C\dfrac{\rho{}z_{ij,k}^{\left(t\right)}-\rho{}q_{ij,k}^{\left(t\right)}}{2w_k^{\left(t\right)}{\left\Vert{}{\boldsymbol{x}}_{j,k} - {\boldsymbol{v}}_{i,k}^{\left(t+1\right)}\right\Vert{}}^2 + \rho{}} - 1 \right)\;\times{} \\ &\left(\dfrac{1}{\sum\limits_{i=1}^C\frac{1}{2w_k^{\left(t\right)}{\left\Vert{}{\boldsymbol{x}}_{j,k}-{\boldsymbol{v}}_{i,k}^{\left(t+1\right)}\right\Vert{}}^2+\rho{}}}\right)\;\times{} \\ &\left(\dfrac{1}{2w_k^{\left(t\right)}{\left\Vert{}{\boldsymbol{x}}_{j,k}-{\boldsymbol{v}}_{i,k}^{\left(t+1\right)}\right\Vert{}}^2 + \rho{}}\right)\\[-15pt] \end{split}$$ (18) 3)
$ {{w}} $ -子问题. 固定$ V $ 和$ U $ , 更新$ {\boldsymbol{w}} $ 为$$ w_{k}^{(t+1)} = \frac{\exp \left(\frac{-\sum\limits_{i = 1}^{C} \sum\limits_{j = 1}^{N}\left(\mu_{i j, k}^{(t+1)}\right)^{2}\left\|{\boldsymbol{x}}_{j, k}-{\boldsymbol{v}}_{i, k}^{(t+1)}\right\|^{2}}{\lambda}-1\right)}{\sum\limits_{k = 1}^{K} \exp \left(\frac{-\sum\limits_{i = 1}^{C} \sum\limits_{j = 1}^{N}\left(\mu_{i j, k}^{(t+1)}\right)^{2}\left\|{\boldsymbol{x}}_{j, k} - {\boldsymbol{v}}_{i, k}^{(t+1)}\right\|^{2}}{\lambda}-1 \right) } $$ (19) 4)
$ {{Z}} $ -子问题. 固定$ Q $ 和$ U $ , 更新$ Z $ 为$$ \begin{split} Z^{\left(t+1\right)} =\;&\arg \mathop {\min }\limits_{{Z^{\left( t \right)}}} {Z^{\left(t\right)}} + \ \frac{\rho{}}{2}{\left\Vert{}U^{\left(t+1\right)}-Z^{\left(t\right)}+Q^{\left(t\right)}\right\Vert{}}_{\rm{F}}^2= \\&{\theta{}\left\Vert{}Z^{\left(t\right)}\right\Vert{}}_*+\frac{\rho{}}{2}{\left\Vert{}U^{\left(t+1\right)}-Z^{\left(t\right)}+Q^{\left(t\right)}\right\Vert{}}_{\rm{F}}^2 \end{split} $$ (20) 通过引入软阈值算子, 可得式
$ \left(20\right) $ 的解为$$ Z^{(t+1)} = D_{\frac{\theta} { \rho}}\left(U^{(t+1)}+Q^{(t)}\right) = A S_{\frac{\theta}{ \rho}}(\Sigma) B^{\mathrm{T}} $$ (21) 其中,
$U^{\left(t+1\right)}+Q^{\left(t\right)}=A{\Sigma{}B}^{\rm{T}}$ 为矩阵$U^{(t+1)}+Q^{(t)}$ 的奇异值分解, 核范数的近邻算子可由软阈值算子$S_{\theta / \rho}(\Sigma) = {\rm{diag}}(\{\max (0, \sigma_{i}-\theta / \rho)\})\;(i = 1,2, \cdots, N)$ 给出.5)
$ {{Q}} $ -子问题. 固定$ Z $ 和$ U $ , 更新$ Q $ 为$$ Q^{\left(t+1\right)} = Q^{\left(t\right)}+\frac{\rho{}}{2}\left(U^{\left(t+1\right)}-Z^{\left(t+1\right)}\right) $$ (22) 经过上述迭代过程, 目标函数收敛于局部极值, 同时得到不同视角下的模糊隶属度矩阵. 本文借鉴文献[10]的集成策略, 使用视角权重系数
$ {\boldsymbol{w}} =$ $ [w_1,\cdots{},w_k,\cdots{},w_K] $ 和模糊隶属度矩阵$ U $ 来构建具有全局特性的模糊空间划分矩阵$ \tilde{U} $ :$$ \tilde{U} = \sum\limits_{k = 1}^Kw_kU_k $$ (23) 其中,
$ w_k $ ,$ U_k $ 分别表示第$ k $ 个视角的视角权重系数和相应的模糊隶属度矩阵.LR-MVEWFCM算法描述如下:
输入. 包含
$ K\ \left(1\leq{}k\leq{}K\right) $ 个视角的多视角样本集, 其中任意一个视角对应样本集$X_k =\{{\boldsymbol{x}}_{1,k},\cdots{}, {\boldsymbol{x}}_{N,k}\}$ , 聚类中心$ C $ , 迭代阈值$ \epsilon{} $ , 最大迭代次数$ T $ ;输出. 各视角聚类中心
$ {\boldsymbol{v}}_{i,k}^{\left(t\right)} $ , 模糊空间划分矩阵$ \tilde{U} $ 和各视角权重$ w_k $ ;步骤1. 随机初始化
$ V^{\left(t\right)} $ , 归一化$ U^{\left(t\right)} $ 及$ {\boldsymbol{w}}^{\left(t\right)} $ ,$ t = 0 $ ;步骤2. 根据式
$ \left(21\right) $ 更新$ {\boldsymbol{v}}_{i,k}^{\left(t+1\right)} $ ;步骤3. 根据式
$ \left(23\right) $ 更新$ U^{\left(t+1\right)} $ ;步骤4. 根据式
$ \left(24\right) $ 更新$ w_k^{\left(t+1\right)} $ ;步骤5. 根据式
$ \left(26\right) $ 更新$ Z^{\left(t+1\right)} $ ;步骤6. 根据式
$ \left(27\right) $ 更新$ Q^{\left(t+1\right)} $ ;步骤7. 如果
$ \left\Vert{}L^{\left(t+1\right)}-L^{\left(t\right)}\right\Vert{}<\epsilon{} $ 或者$ t>T $ , 则算法结束并跳出循环, 否则, 返回步骤2;步骤8. 根据步骤7所获取的各视角权重
$ w_k $ 及各视角下的模糊隶属度$ U_k $ , 使用式$ \left(23\right) $ 计算$\tilde{U} $ .2.2 讨论
2.2.1 与低秩约束算法比较
近年来, 基于低秩约束的机器学习模型得到了广泛的研究. 经典工作包括文献[16]中提出LRR (Low rank representation)模型, 将矩阵的秩函数凸松弛为核范数, 通过求解核范数最小化问题, 求得基于低秩表示的亲和矩阵; 文献[14]提出低秩张量多视角子空间聚类算法(Low-rank tensor constrained multiview subspace clustering, LT-MSC), 在各视角间求出带有低秩约束的子空间表示矩阵; 文献 [18] 则进一步将低秩约束引入多模型子空间聚类算法中, 使算法模型取得了较好的性能. 本文将低秩约束与多视角模糊聚类框架相结合, 提出了LR-MVEWFCM算法, 用低秩约束来实现多视角数据间的一致性. 本文方法可作为低秩模型在多视角模糊聚类领域的重要拓展.
2.2.2 与多视角Co-FKM算法比较
图1和图2分别给出了多视角Co-FKM算法和本文LR-MVEWFCM算法的工作流程.
图 2 LR-MVEWFCM算法处理多视角聚类任务工作流程Fig. 2 LR-MVEWFCM algorithm for multi-view clustering task本文算法与经典的多视角Co-FKM算法在多视角信息的一致性约束和多视角聚类结果的集成策略上均有所不同. 在多视角信息的一致性约束方面, 本文将Co-FKM算法中的视角间两两约束进一步扩展到多视角全局一致性约束; 在多视角聚类结果的集成策略上, 本文不同于Co-FKM算法对隶属度矩阵简单地求几何平均值的方式, 而是将各视角隶属度与视角权重相结合, 构建具有视角差异性的集成决策函数.
3. 实验与分析
3.1 实验设置
本文采用模拟数据集和UCI中的真实数据集进行实验验证, 选取FCM[17]、CombKM[19]、Co-FKM[9]和Co-Clustering[20]这4个聚类算法作为对比算法, 参数设置如表1所示. 实验环境为: Intel Core i5-7400 CPU, 其主频为2.3 GHz, 内存为8 GB. 编程环境为MATLAB 2015b.
表 1 参数定义和设置Table 1 Parameter setting in the experiments算法 算法说明 参数设置 FCM 经典的单视角模糊聚类算法 模糊指数$m=\frac{\min (N, D-1)}{\min (N, D-1)-2}$,
其中, $N$表示样本数, $D$表示样本维数CombKM 组合${\rm{K}}\text{-}{\rm{means}}$算法 — Co-FKM 多视角协同划分的模糊聚类算法 模糊指数$m=\frac{\min (N, D-1)}{\min (N, D-1)-2}$, 协同学习系数$\eta{}\in{}\frac{K-1}{K}$,
其中, $K$为视角数, 步长$\rho{}=0.01$Co-Clustering 基于样本与特征空间的协同聚类算法 正则化系数$\lambda \in\left\{10^{-3}, 10^{-2}, \cdots, 10^{3}\right\}$,
正则化系数$\mu \in\left\{10^{-3}, 10^{-2}, \cdots, 10^{3}\right\}$LR-MVEWFCM 基于低秩约束的熵加权多视角模糊聚类算法 视角权重平衡因子$\lambda{}\in{}\left\{{10}^{-5}, {10}^{-4}, \cdots{}, {10}^5\right\}$, 低秩约束正则项系数$\theta{}\in{}\left\{{10}^{-3}, 10^{-2}, \cdots{}, {10}^3\right\}$, 模糊指数$m=2$ MVEWFCM LR-MVEWFCM 算法中低秩约束正则项系数$\theta{}=0$ 视角权重平衡因子$\lambda{}\in{}\left\{{10}^{-5}, {10}^{-4}, \cdots{}, {10}^5\right\}$, 模糊指数$m=2$ 本文采用如下两个性能指标对各算法所得结果进行评估.
1) 归一化互信息(Normalized mutual information, NMI)[10]
$$ N M I = \frac{\sum\limits_{i = 1}^{C} \sum\limits_{j = 1}^{C} N_{i, j} \log_{2} N \times \frac{N_{i, j}}{N_{i}} \times N_{j}}{\sqrt{\sum\limits_{i = 1}^{C} N_{i} \log_{2}\frac{ N_{i}}{N} \times \sum\limits_{j = 1}^{C} N_{j} \log_{2} \frac{N_{j}}{ N}}} $$ (24) 其中,
$ N_{i,j} $ 表示第$ i $ 类与第$ j $ 类的契合程度,$ N_i $ 表示第$ i $ 类中所属样本量,$ N_j $ 表示第$ j $ 类中所属样本量, 而$ N $ 表示数据的样本总量;2) 芮氏指标(Rand index, RI)[10]
$$ R I = \dfrac{f_{00}+f_{11}}{\tfrac{N(N-1)}{2}} $$ (25) 其中,
$ f_{00} $ 表示具有不同类标签且属于不同类的数据配对点数目,$ f_{11} $ 则表示具有相同类标签且属于同一类的数据配对点数目,$ N $ 表示数据的样本总量. 以上两个指标的取值范围介于$ \left[0,1\right] $ 之间, 数值越接近1, 说明算法的聚类性能越好. 为了验证算法的鲁棒性, 各表中统计的性能指标值均为算法10次运行结果的平均值.3.2 模拟数据集实验
为了评估本文算法在多视角数据集上的聚类效果, 使用文献[10]的方法来构造具有三维特性的模拟数据集A(
$x,y,z$ ), 其具体生成过程为: 首先在MATLAB环境下采用正态分布随机函数normrnd构建数据子集$A _{1} $ ($x,y,z$ ),$A _{2} $ ($x,y,z$ )和$ A_{3} $ ($x, y,z$ ), 每组对应一个类簇, 数据均包含200个样本. 其中第1组与第2组数据集在特征z上数值较为接近, 第2组与第3组数据集在特征x上较为接近; 然后将3组数据合并得到集合A($x,y,z$ ), 共计600个样本; 最后对数据集内的样本进行归一化处理. 我们进一步将特征x, y, z按表2的方式两两组合, 从而得到多视角数据.表 2 模拟数据集特征组成Table 2 Characteristic composition of simulated dataset视角 包含特征 视角 1 $x,y$ 视角 2 $y,z$ 视角 3 $x,z$ 将各视角下的样本可视化, 如图3所示.
通过观察图3可以发现, 视角1中的数据集在空间分布上具有良好的可分性, 而视角2和视角3的数据在空间分布上均存在着一定的重叠, 从而影响了所在视角下的聚类性能. 通过组合不同视角生成若干新的数据集, 如表3所示, 并给出了LR-MVEWFCM重复运行10次后的平均结果和方差.
表 3 模拟数据实验算法性能对比Table 3 Performance comparison of the proposed algorithms on simulated dataset编号 包含特征 NMI RI 1 视角1 1.0000 ± 0.0000 1.0000 ± 0.0000 2 视角2 0.7453 ± 0.0075 0.8796 ± 0.0081 3 视角3 0.8750 ± 0.0081 0.9555 ± 0.0006 4 视角1, 视角2 1.0000 ± 0.0000 1.0000 ± 0.0000 5 视角1, 视角3 1.0000 ± 0.0000 1.0000 ± 0.0000 6 视角2, 视角3 0.9104 ± 0.0396 0.9634 ± 0.0192 7 视角2, 视角3 1.0000 ± 0.0000 1.0000 ± 0.0000 对比LR-MVEWFCM在数据集1~3上的性能, 我们发现本文算法在视角1上取得了最为理想的效果, 在视角3上的性能要优于视角2, 这与图3中各视角数据的空间可分性是一致的. 此外, 将各视角数据两两组合构成新数据集4~6后, LR-MVEWFCM算法都得到了比单一视角更好的聚类效果, 这都说明了本文采用低秩约束来挖掘多视角数据中一致性的方法, 能够有效提高聚类性能.
基于多视角数据集7, 我们进一步给出本文算法与其他经典聚类算法的比较结果.
从表4中可以发现, 由于模拟数据集在某些特征空间下具有良好的空间可分性, 所以无论是本文的算法还是Co-Clustering算法、FCM算法等算法均取得了很好的聚类效果, 而CombKM算法的性能较之以上算法则略有不足, 分析其原因在于CombKM算法侧重于挖掘样本之间的信息, 却忽视了多视角之间的协作, 而本文算法通过使用低秩约束进一步挖掘了多视角之间的全局一致性, 因而得到了比CombKM算法更好的聚类效果.
表 4 模拟数据集7上各算法的性能比较Table 4 Performance comparison of the proposed algorithms on simulated dataset 7数据集 指标 Co-Clustering CombKM FCM Co-FKM LR-MVEWFCM A NMI-mean 1.0000 0.9305 1.0000 1.0000 1.0000 NMI-std 0.0000 0.1464 0.0000 0.0000 0.0000 RI-mean 1.0000 0.9445 1.0000 1.0000 1.0000 RI-std 0.0000 0.1171 0.0000 0.0000 0.0000 3.3 真实数据集实验
本节采用5个UCI数据集: 1) Iris数据集; 2) Image Segmentation (IS) 数据集; 3) Balance数据集; 4) Ionosphere数据集; 5) Wine数据集来进行实验. 由于这几个数据集均包含了不同类型的特征, 所以可以将这些特征进行重新分组从而构造相应的多视角数据集. 表5给出了分组后的相关信息.
表 5 基于UCI数据集构造的多视角数据Table 5 Multi-view data constructded based on UCI dataset编号 原数据集 说明 视角特征 样本 视角 类别 8 IS Shape 9 2 310 2 7 RGB 9 9 Iris Sepal长度 2 150 2 3 Sepal宽度 Petal长度 2 Petal宽度 10 Balance 天平左臂重量 2 625 2 3 天平左臂长度 天平右臂重量 2 天平右臂长度 11 Iris Sepal长度 1 150 4 3 Sepal宽度 1 Petal长度 1 Petal宽度 1 12 Balance 天平左臂重量 1 625 4 3 天平左臂长度 1 天平右臂重量 1 天平右臂长度 1 13 Ionosphere 每个特征单独
作为一个视角1 351 34 2 14 Wine 每个特征单独
作为一个视角1 178 13 3 我们在多视角数据集上运行各多视角聚类算法; 同时在原数据集上运行FCM算法. 相关结果统计见表6和表7.
表 6 5种聚类方法的NMI值比较结果Table 6 Comparison of NMI performance of five clustering methods编号 Co-Clustering CombKM FCM Co-FKM LR-MVEWFCM 均值 P-value 均值 P-value 均值 P-value 均值 P-value 均值 8 0.5771 ±
0.00230.0019 0.5259 ±
0.05510.2056 0.5567 ±
0.01840.0044 0.5881 ±
0.01093.76×10−4 0.5828 ±
0.00449 0.7582 ±
7.4015 ×10−172.03×10−24 0.7251 ±
0.06982.32×10−7 0.7578 ±
0.06981.93×10−24 0.8317 ±
0.00648.88×10−16 0.9029 ±
0.005710 0.2455 ±
0.05590.0165 0.1562 ±
0.07493.47×10−5 0.1813 ±
0.11720.0061 0.2756 ±
0.03090.1037 0.3030 ±
0.040211 0.7582 ±
1.1703×10−162.28×10−16 0.7468 ±
0.00795.12×10−16 0.7578 ±
1.1703×10−165.04×10−16 0.8244 ±
1.1102×10−162.16×10−16 0.8768 ±
0.009712 0.2603 ±
0.06850.3825 0.1543 ±
0.07634.61×10−4 0.2264 ±
0.11270.1573 0.2283 ±
0.02940.0146 0.2863 ±
0.061113 0.1385 ±
0.00852.51×10−9 0.1349 ±
2.9257×10−172.35×10−13 0.1299 ±
0.09842.60×10−10 0.2097 ±
0.03290.0483 0.2608 ±
0.025114 0.4288 ±
1.1703×10−161.26×10−08 0.4215 ±
0.00957.97×10−09 0.4334 ±
5.8514×10−172.39×10−08 0.5295 ±
0.03010.4376 0.5413 ±
0.0364通过观察表6和表7中的
$ {\rm{NMI}} $ 和${\rm{ RI }}$ 指标值可知, Co-FKM算法的聚类性能明显优于其他几种经典聚类算法, 而相比于Co-FKM算法, 由于LR-MVEWFCM采用了低秩正则项来挖掘多视角数据之间的一致性关系, 并引入多视角自适应熵加权策略, 从而有效控制各视角之间的差异性. 很明显, 这种聚类性能更为优异和稳定, 且收敛性的效果更好. 表6和表7中的结果也展示了在IS、Balance、Iris、Ionosphere和Wine数据集上, 其NMI和RI指标均提升3 ~ 5个百分点, 这也说明了本文算法在多视角聚类过程中的有效性.表 7 5种聚类方法的RI值比较结果Table 7 Comparison of RI performance of five clustering methods编号 Co-Clustering CombKM FCM Co-FKM LR-MVEWFCM 均值 P-value 均值 P-value 均值 P-value 均值 P-value 均值 8 0.8392 ±
0.00101.3475 ×10−14 0.8112 ±
0.03691.95×10−7 0.8390 ±
0.01150.0032 0.8571 ±
0.00190.0048 0.8508 ±
0.00139 0.8797 ±
0.00141.72×10−26 0.8481 ±
0.06672.56×10−5 0.8859 ±
1.1703×10−166.49×10−26 0.9358 ±
0.00373.29×10−14 0.9665 ±
0.002610 0.6515 ±
0.02313.13×10−4 0.6059 ±
0.03401.37×10−6 0.6186 ±
0.06240.0016 0.6772 ±
0.02270.0761 0.6958 ±
0.021511 0.8797 ±
0.00141.25×10−18 0.8755 ±
0.00295.99×10−12 0.8859 ±
0.02432.33×10−18 0.9267 ±
2.3406×10−165.19×10−18 0.9527 ±
0.004112 0.6511 ±
0.02790.0156 0.6024 ±
0.03222.24×10−5 0.6509 ±
0.06520.1139 0.6511 ±
0.01890.008 0.6902 ±
0.037013 0.5877 ±
0.00301.35×10−12 0.5888 ±
0.02922.10×10−14 0.5818 ±
1.1703×10−164.6351 ×10−13 0.6508 ±
0.01470.0358 0.6855 ±
0.011514 0.7187 ±
1.1703×10−163.82×10−6 0.7056 ±
0.01681.69×10−6 0.7099 ±
1.1703×10−168.45×10−7 0.7850 ±
0.01620.5905 0.7917 ±
0.0353为进一步说明本文低秩约束发挥的积极作用, 将LR-MVEWFCM算法和MVEWFCM算法共同进行实验, 算法的性能对比如图4所示.
图 4 低秩约束对算法性能的影响(横坐标为数据集编号, 纵坐标为聚类性能指标)Fig. 4 The influence of low rank constraints on the performance of the algorithm (the X-coordinate is the data set number and the Y-coordinate is the clustering performance index)从图4中不难发现, 无论在模拟数据集上还是UCI真实数据集上, 相比较MVEWFCM算法, LR-MVEWFCM算法均可以取得更好的聚类效果. 因此可见, LR-MVEWFCM目标学习准则中的低秩约束能够有效利用多视角数据的一致性来提高算法的聚类性能.
为研究本文算法的收敛性, 同样选取8个数据集进行收敛性实验, 其目标函数变化如图5所示.
从图5中可以看出, 本文算法在真实数据集上仅需迭代15次左右就可以趋于稳定, 这说明本文算法在速度要求较高的场景下具有较好的实用性.
综合以上实验结果, 我们不难发现, 在具有多视角特性的数据集上进行模糊聚类分析时, 多视角模糊聚类算法通常比传统单视角模糊聚类算法能够得到更优的聚类效果; 在本文中, 通过在多视角模糊聚类学习中引入低秩约束来增强不同视角之间的一致性关系, 并引入香农熵调节视角权重关系, 控制不同视角之间的差异性, 从而得到了比其他多视角聚类算法更好的聚类效果.
3.4 参数敏感性实验
LR-MVEWFCM算法包含两个正则项系数, 即视角权重平衡因子
$ \lambda{} $ 和低秩约束正则项系数$ \theta{} $ , 图6以LR-MVEWFCM算法在模拟数据集7上的实验为例, 给出了系数从0到1000过程中, 算法性能的变化情况, 当低秩正则项系数$ \theta$ = 0时, 即不添加此正则项, 算法的性能最差, 验证了本文加入的低秩正则项的有效性, 当$ \theta{} $ 值变化过程中, 算法的性能相对变化较小, 说明本文算法在此数据集上对于$ \theta{} $ 值变化不敏感, 具有一定的鲁棒性; 而当香农熵正则项系数$ \lambda$ = 0时, 同样算法性能较差, 也说明引入此正则项的合理性. 当$ \lambda{} $ 值变大时, 发现算法的性能也呈现变好趋势, 说明在此数据集上, 此正则项相对效果比较明显.4. 结束语
本文从多视角聚类学习过程中的一致性和差异性两方面出发, 提出了基于低秩约束的熵加权多视角模糊聚类算法. 该算法采用低秩正则项来挖掘多视角数据之间的一致性关系, 并引入多视角自适应熵加权策略从而有效控制各视角之间的差异性,从而提高了算法的性能. 在模拟数据集和真实数据集上的实验均表明, 本文算法的聚类性能优于其他多视角聚类算法. 同时本文算法还具有迭代次数少、收敛速度快的优点, 具有良好的实用性. 由于本文采用经典的FCM框架, 使用欧氏距离来衡量数据对象之间的差异,这使得本文算法不适用于某些高维数据场景. 如何针对高维数据设计多视角聚类算法, 这也将是我们今后的研究重点.
-
图 3 二值化类别显著图以及相应的伪标注
Fig. 3 Binarization class-specific saliency maps and the corresponding pseudo-bounding-boxes
图 4
$4\times 4$ 及$8\times 8$ 的特征单元和相对应的目标基检测框Fig. 4 Feature map cells for
$4\times 4$ and$8\times 8$ and its corresponding object default bounding-boxes
图 5 不同阈值设定下20个类别的目标检测准确率
Fig. 5 Object detection precision for 20 categories under different thresholds
图 6 PASCAL VOC 2007测试集上的成功检测样例
Fig. 6 Successful detection examples on PASCAL VOC 2007 test set
图 7 PASCAL VOC 2007 测试集上的失败检测样例
Fig. 7 Unsuccessful detection examples on PASCAL VOC 2007 test set
表 1 二值化类别显著图的阈值设置(PASCAL VOC数据集20个类别)
Table 1 Thresholds of the binarization class-specific saliency maps (20 categories for PASCAL VOC dataset)
类别 阈值 类别 阈值 类别 阈值 Plane 0.7 Cat 0.4 Person 0.5 Bike 0.7 Chair 0.6 Plant 0.7 Bird 0.5 Cow 0.5 Sheep 0.5 Boat 0.8 Diningtable 0.3 Sofa 0.5 Bottle 0.8 Dog 0.3 Train 0.7 Bus 0.6 Horse 0.3 TV 0.8 Car 0.6 Motorbike 0.5 
下载: 导出CSV
表 2 PASCAL VOC 2007测试数据集的目标检测准确率(%)
Table 2 Object detection precision (%) on PASCAL VOC 2007 test set
方法 Bilen[11] Cinbis[7] Wang[32] Teh[17] WSDDN[10] WSDDN_Ens[10] WCCN[9] MELM[12, 14] PCL[13] 本文 (07数据集) 本文 (07+12数据集) mAP 27.7 30.2 31.6 34.5 34.8 39.3 42.8 47.3 48.8 33.9 39.3 Plane 46.2 39.3 48.9 48.8 39.4 46.4 49.5 55.6 63.2 54.5 54.2 Bike 46.9 43.0 42.3 45.9 50.1 58.3 60.6 66.9 69.9 52.9 60.0 Bird 24.1 28.8 26.1 37.4 31.5 35.5 38.6 34.2 47.9 30.0 41.9 Boat 16.4 20.4 11.3 26.9 16.3 25.9 29.2 29.1 22.6 15.2 20.7 Bottle 12.2 8.0 11.9 9.2 12.6 14.0 16.2 16.4 27.3 7.8 11.4 Bus 42.2 45.5 41.3 50.7 64.5 66.7 70.8 68.8 71.0 47.3 55.9 Car 47.1 47.9 40.9 43.4 42.8 53.0 56.9 68.1 69.1 44.5 49.2 Cat 35.2 22.1 34.7 43.6 42.6 39.2 42.5 43.0 49.6 62.5 71.3 Chair 7.8 8.4 10.8 10.6 10.1 8.9 10.9 25.0 12.0 9.4 10.5 Cow 28.3 33.5 34.7 35.9 35.7 41.8 44.1 65.6 60.1 17.6 23.2 Table 12.7 23.6 18.8 27.0 24.9 26.6 29.9 45.3 51.5 39.3 48.5 Dog 21.5 29.2 34.4 38.6 38.2 38.6 42.2 53.2 37.3 48.9 54.5 Horse 30.1 38.5 35.4 48.5 34.4 44.7 47.9 49.6 63.3 45.7 52.1 Motorbike 42.4 47.9 52.7 43.8 55.6 59.0 64.1 68.6 63.9 49.9 56.4 Person 7.8 20.3 19.1 24.7 9.4 10.8 13.8 2.0 15.8 17.2 15.0 Plant 20.0 20.0 17.4 12.1 14.7 17.3 23.5 25.4 23.6 15.7 17.6 Sheep 26.6 35.8 35.9 29.0 30.2 40.7 45.9 52.5 48.8 18.4 23.3 Sofa 20.6 30.8 33.3 23.2 40.7 49.6 54.1 56.8 55.3 29.3 42.5 Train 35.9 41.0 34.8 48.8 54.7 56.9 60.8 62.1 61.2 43.7 47.6 TV 29.6 20.1 46.5 41.9 46.9 50.8 54.5 57.1 62.1 28.2 30.4
下载: 导出CSV
表 3 PASCAL VOC 2007测试数据集上的目标检测速度(FPS)及检测平均准确率
Table 3 Object detection speed (FPS) and detection mean average precision on PASCAL VOC 2007 test set
下载: 导出CSV
表 4 不同二值化阈值对于检测准确率(%)的影响
Table 4 The influence of different binarization thresholds on the detection precision (%)
阈值 0.3 0.4 0.5 0.6 0.7 表1 mAP 26.6 28.7 30.3 29.4 26.7 33.9 Plane 30 39.8 45.5 47.7 51.1 54.5 Bike 45.8 37.9 51.6 53 54.2 52.9 Bird 22.8 30.8 32 29.2 26.9 30.0 Boat 6.3 5.2 8.2 10.5 15.1 15.2 Bottle 2.5 2.8 4.1 5.3 5.9 7.8 Bus 42.1 44.3 48.6 50 49.7 47.3 Car 32.9 36.9 39.5 44.6 44.7 44.5 Cat 59 63 58.5 47.6. 23.8 62.5 Chair 1 1.8 1 9.5 1.2 9.4 Cow 18.6 16.1 22.5 16.5 15.6 17.6 Table 40.4 36.5 38.1 29.9 24 39.3 Dog 51.8 47.8 36.7 25.1 7.6 48.9 Horse 41.6 44.5 44.2 40 31.3 45.7 Motorbike 47.9 51 55.1 51.3 49 49.9 Person 9.6 12.4 15.3 12.5 9.2 17.2 Plant 11.1 11.6 11.3 10.7 17.1 15.7 Sheep 12.7 14.4 20.7 17.7 15.6 18.4 Sofa 25.2 29 27.9 31.8 26.6 29.3 Train 26 28.8 34.6 39.6 42.9 43.7 TV 5.2 10 10.7 15 22.2 28.2
下载: 导出CSV
-
[1] Girshick R. Fast R-CNN. In: Proceedings of the 2015 IEEE International Conference on Computer Vision. Boston, USA: IEEE, 2015. 1440−1448 [2] Girshick R, Donahue J, Darrell T, Malik J. Rich feature hierarchies for accurate object detection and semantic segmentation. In: Proceedings of the 2014 IEEE Conference on Computer Vision and Pattern Recognition. Columbus, USA: IEEE, 2014. 580−587 [3] Liu W, Anguelov D, Erhan D, Szegedy C, Reed S, Fu C Y, Berg A C. SSD: single shot multibox detector. In: Proceedings of the 14th European Conference on Computer Vision. Amsterdam, The Netherlands: Springer, 2016. 21−37 [4] Ren S Q, He K M, Girshick R, Sun J. Faster R-CNN: towards real-time object detection with region proposal networks. In: Procoeedings of the 2015 Advances in neural Information Processing Systems. Montréal, Canada: MIT Press, 2015. 91−99 [5] Song H O, Girshick R, Jegelka S, Mairal J, Harchaoui Z, Darrell T. On learning to localize objects with minimal supervision. arXiv preprint.arXiv: 1403.1024, 2014. [6] 李勇, 林小竹, 蒋梦莹. 基于跨连接LeNet-5网络的面部表情识别. 自动化学报, 2018, 44(1): 176−1826 Li Yong, Lin Xiao-Zhu, Jiang Meng-Ying. Facial expression recognition with cross-connect LeNet-5 network. Acta Automatica Sinica, 2018, 44(1): 176−182 [7] 7 Cinbis R G, Verbeek J, Schmid C. Weakly supervised object localization with multi-fold multiple instance learning. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 39(1): 189−203 doi: 10.1109/TPAMI.2016.2535231 [8] Shi M J, Ferrari V. Weakly supervised object localization using size estimates. In: Proceedings of the 14th European Conference on Computer Vision. Amsterdam, the Netherlands: Springer, 2016. 105−121 [9] Diba A, Sharma V, Pazandeh A, Pirsiavash H, Gool L V. Weakly supervised cascaded convolutional networks. In: Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Honolulu, USA: IEEE, 2017. 914−922 [10] Bilen H, Vedaldi A. Weakly supervised deep detection networks. In: Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas, USA: IEEE, 2016. 2846−2854 [11] Bilen H, Pedersoli M, Tuytelaars T. Weakly supervised object detection with convex clustering. In: Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition. Boston, USA: IEEE, 2015. 1081−1089 [12] Wan F, Wei P X, Jiao J B, Han Z J, Ye Q X. Min-entropy latent model for weakly supervised object detection. In: Proceedings of the 2018 IEEE Conference on Computer Vision and Pattern Recognition. Salt Lake City, USA: IEEE, 2018. 1297−1306 [13] Tang P, Wang X G, Bai S, Shen W, Bai X, Liu W Y, Yuille A L. PCL: proposal cluster learning for weakly supervised object detection. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2018. DOI: 10.1109/TPAMI.2018.2876304 [14] Wan F, Wei P X, Jiao J B, Han Z J, Ye Q X. Min-entropy latent model for weakly supervised object detection. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2018. DOI: 10.1109/CVPR.2018.00141 [15] 奚雪峰, 周国栋. 面向自然语言处理的深度学习研究. 自动化学报, 2016, 42(10): 1445−146515 Xi Xue-Feng, Zhou Guo-Dong. A survey on deep learning for natural language processing. Acta Automatica Sinica, 2016, 42(10): 1445−1465 [16] 常亮, 邓小明, 周明全, 武仲科, 袁野, 杨硕, 王宏安. 图像理解中的卷积神经网络. 自动化学报, 2016, 42(9): 1300−131216 Chang Liang, Deng Xiao-Ming, Zhou Ming-Quan, Wu Zhong-Ke, Yuan Ye, Yang Shuo, Wang Hong-An. Convolutional neural networks in image understanding. Acta Automatica Sinica, 2016, 42(9): 1300−1312 [17] Teh E W, Rochan M, Wang Y. Attention networks for weakly supervised object localization. In: Proceedings of the 2016 British Mahcine Vision Conference. York, UK: British Machine Vision Association, 2016. [18] Kantorov V, Oquab M, Cho M, Laptev I. Contextlocnet: context-aware deep network models for weakly supervised localization. In: Proceedings of the 14th European Conference on Computer Vision. Amsterdam, the Netherlands: Springer, 2016. 350−365 [19] Zhou B L, Khosla A, Lapedriza A, Oliva A, Torralba A. Learning deep features for discriminative localization. In: Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas, USA: IEEE, 2016. 2921−2929 [20] Simonyan K, Vedaldi A, Zisserman A. Deep inside convolutional networks: visualising image classiflcation models and saliency maps. arXiv Preprint. arXiv: 1312.6034, 2013. [21] Wei Y C, Feng J S, Liang X D, Cheng M M, Zhao Y, Yan S C. Object region mining with adversarial erasing: a simple classiflcation to semantic segmentation approach. In: Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Honolulu, USA: IEEE, 2017. 1568−1576 [22] Kolesnikov A, Lampert C H. Seed, expand and constrain: three principles for weakly-supervised image segmentation. In: Proceedings of the 14th European Conference on Computer Vision. Amsterdam, the Netherlands: Springer, 2016. 695−711 [23] Shimoda W, Yanai K. Distinct class-specific saliency maps for weakly supervised semantic segmentation. In: Proceedings of the 14th European Conference on Computer Vision. Amsterdam, the Netherlands: Springer, 2016. 218−234 [24] Sadeghi M A, Forsyth D. 30 Hz object detection with DPM V5. In: Proceedings of the 13th European Conference on Computer Vision. Zurich, Switzerland: Springer, 2014. 65−79 [25] Dean T, Ruzon M A, Segal M, Shlens J, Vijayanarasimhan S, Yagnik J. Fast, accurate detection of 100, 000 object classes on a single machine. In: Proceedings of the 2013 IEEE Conference on Computer Vision and Pattern Recognition. Portland, USA: IEEE, 2013. 1814−1821 [26] Van de Sande K E A, Uijlings J R R, Gevers T, Smeulders A W M. Segmentation as selective search for object recognition. In: Proceedings of the 2011 IEEE International Conference on Computer Vision. Colorado Springs, USA: IEEE, 2011. 1879−1886 [27] Zitnick C L, Dollár P. Edge boxes: locating object proposals from edges. In: Proceedings of the 13th European Conference on Computer Vision. Zurich, Switzerland: Springer, 2014. 391−405 [28] 28 Dietterich T G, Lathrop R H, Lozano-Pérez T. Solving the multiple instance problem with axis-parallel rectangles. Artiflcial Intelligence, 1997, 89(1−2): 31−71 doi: 10.1016/S0004-3702(96)00034-3 [29] Zhang D, Liu Y, Si L, Zhang J, Lawrence R D. Multiple instance learning on structured data. In: Proceedings of the 2011 Advances in Neural Information Processing Systems. Cranada, Spain: MIT Press, 2011. 145−153 [30] Long J, Shelhamer E, Darrell T. Fully convolutional networks for semantic segmentation. In: Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition. Boston, USA: IEEE, 2015. 3431−3440 [31] 31 Russakovsky O, Deng J, Su H, Krause J, Satheesh S, Ma S, Huang Z H, Karpathy A, Khosla A, Bernstein M, et al. Imagenet large scale visual recognition challenge. International Journal of Computer Vision, 2015, 115(3): 211−252 doi: 10.1007/s11263-015-0816-y [32] Wang C, Ren W Q, Huang K Q, Tan T N. Weakly supervised object localization with latent category learning. In: Proceedings of the 13th European Conference on Computer Vision. Zurich, Switzerland: Springer, 2014. 431−445 [33] George P, Kokkinos I, Savalle P A. Untangling local and global deformations in deep convolutional networks for image classiflcation and sliding window detection. arXiv Preprint arXiv: 1412.0296, 2014. [34] Tang P, Wang X G, Bai X, Liu W Y. Multiple instance detection network with online instance classifier refinement. arXiv Preprint arXiv: 1701.00138, 2017. [35] Wu J J, Yu Y N, Huang C, Yu K. Deep multiple instance learning for image classiflcation and auto-annotation. In: Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition. Boston, USA: IEEE, 2015. 3460−3469 [36] Oquab M, Bottou L, Laptev I, Sivic J. Learning and transferring mid-level image representations using convolutional neural networks. In: Proceedings of the 2014 IEEE Conference on Computer Vision and Pattern Recognition. Columbus, USA: IEEE, 2014. 1717−1724 [37] Zhu W J, Liang S, Wei Y C, Sun J. Saliency optimization from robust background detection. In: Proceedings of the 2014 IEEE Conference on Computer Vision and Pattern Rognition. Columbus, USA: IEEE, 2014. 2814−2821 [38] Zhu L, Chen Y H, Yuille A, Freeman W. Latent hierarchical structural learning for object detection. In: Proceedings of the 2010 IEEE Conference on Computer Vision and Pattern Rognition. San Francisco, USA, 2010. 1062−1069 [39] Redmon J, Divvala S, Girshick R, Farhadi A. You only look once: unifled, real-time object detection. In: Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas, USA: IEEE, 2016. 779−788 [40] Springenberg J T, Dosovitskiy A, Brox T, Riedmiller M. Striving for simplicity: the all convolutional net. arXiv Preprint arXiv: 1412.6806, 2014. [41] Cheng M M, Liu Y, Lin W Y, Zhang Z M, Posin P L, Torr P H S. BING: binarized normed gradients for objectness estimation at 300 fps. In: Proceedings of the 2014 IEEE Conference on Computer Vision and Pattern Recognition. Columbus, USA: IEEE, 2014. 3286−3293 [42] Simonyan K, Zisserman A. Very deep convolutional networks for large-scale image recognition. arXiv Preprint. arXiv: 1409.1556, 2014. [43] Yan J J, Lei Z, Wen L Y, Li S Z. The fastest deformable part model for object detection. In: Proceedings of the 2014 IEEE Conference on Computer Vision and Pattern Recognition. Columbus, USA: IEEE, 2014. 2497−2504 期刊类型引用(9)
1. 区卓越，邓秀勤，陈磊. 基于加权锚点的自适应多视图互补聚类算法. 计算机应用. 2025(01): 115-126 . 
百度学术2. 孙志华，齐肇江，陈江尧，陈冰恽，肖禹，徐峰. 基于模糊分簇的电力调度大数据检索方法. 电子设计工程. 2024(16): 139-142 . 百度学术3. 马宗方，李雷华，田鸿朋. 一种基于证据多视角的模糊C-means聚类算法. 控制工程. 2024(08): 1345-1354 . 百度学术4. 马盈仓，吴也凡，邢志伟，袁林. 基于k-近邻局部线性邻域重建的多视角聚类算法. 纺织高校基础科学学报. 2023(03): 75-83 . 百度学术5. 杨鸿潭. 基于伪标签增强的多视角模糊聚类. 信息与电脑(理论版). 2023(08): 120-123+127 . 百度学术6. 文杰，颜珂，张正，徐勇. 基于低秩张量图学习的不完整多视角聚类. 自动化学报. 2023(07): 1433-1445 . 本站查看7. 陈笑笑，任丹丹，刘清. 粒子群优化的加权核范数低秩矩阵补全算法. 赤峰学院学报(自然科学版). 2023(05): 22-28 . 百度学术8. 贺艳芳，李莉杰. 基于低秩约束的多视角聚类算法研究. 现代信息科技. 2022(15): 74-76+80 . 百度学术9. 李骜，陈嘉佳，于晓洋，陈德运，张英涛，孙广路. 不完备数据的鲁棒多视角图学习及其聚类应用. 控制与决策. 2022(12): 3251-3258 . 百度学术其他类型引用(6)
-
下载:
计量
- 文章访问数: 5482
- HTML全文浏览量: 1787
- PDF下载量: 669
- 被引次数: 15
