Saliency Detection via Full Convolution Neural Network and Low Rank Sparse Decomposition
-
摘要: 为了准确检测复杂背景下的显著区域，提出一种全卷积神经网络与低秩稀疏分解相结合的显著性检测方法，将图像分解为代表背景的低秩矩阵和对应显著区域的稀疏噪声，结合利用全卷积神经网络学习得到的高层语义先验知识，检测图像中的显著区域.首先，对原图像进行超像素聚类，并提取每个超像素的颜色、纹理和边缘特征，据此构成特征矩阵；然后，在MSRA数据库中，基于梯度下降法学习得到特征变换矩阵，利用全卷积神经网络学习得到高层语义先验知识；接着，利用特征变换矩阵和高层语义先验知识矩阵对特征矩阵进行变换；最后，利用鲁棒主成分分析算法对变换后的矩阵进行低秩稀疏分解，并根据分解得到的稀疏噪声计算显著图.在公开数据集上进行实验验证，并与当前流行的方法进行对比，实验结果表明，本文方法能够准确地检测感兴趣区域，是一种有效的自然图像目标检测与分割的预处理方法.Abstract: A unified saliency detection approach via the full convolution neural network (FCNN) and the low rank sparse decomposition is proposed to accurately detect the salient region in complex backgrounds. An image can be decomposed into a low rank matrix and sparse noise, indicating background and salient region, respectively. The high-level semantic prior knowledge learned by using the full convolution neural network is combined to detect the salient region in the image. Firstly, the original image is clustered into super pixels, and the feature matrix is constructed by extracting color, texture and edge features of each super pixel. Then, the feature transformation matrix is learned with the gradient descent method and the high-level semantic prior knowledge is learned with the full convolution neural network by using the MSRA database. Furthermore, the feature matrix is transformed using the feature transformation matrix and the high-level semantic prior knowledge matrix. Finally, the transformed feature matrix is decomposed into a low rank matrix and a sparse matrix by the robust principal component analysis method, and the saliency map is calculated according to the sparse matrix. The proposed method is compared with state-of-the-art algorithms on the open datasets. Experimental results demonstrate that the proposed algorithm can accurately detect the region of interest, which is an effective preprocessing means for object detection and segmentation of natural images.
-
Key words:
- Saliency detection /
- full convolution neural network (FCNN) /
- low rank sparse decomposition /
- high-level semantic prior knowledge
-
随着信息科技的快速发展与推广, 图像数据成为人类重要的信息来源之一, 人们接收的信息量呈指数级增长.如何在海量的图像信息中筛选出人类感兴趣的目标区域具有重要研究意义.研究发现, 在复杂场景下, 人类视觉处理系统会将视觉注意力集中于该场景的少数几个对象, 也称为感兴趣区域.感兴趣区域与人类视觉感知关系较为密切, 具有一定的主观性.显著性检测作为图像预处理过程, 可以广泛应用到视觉跟踪[1]、图像分类[2]、图像分割[3]和目标重定位[4-5]等视觉工作领域.
显著性检测方法分为自上而下和自下而上两种.自上而下的检测方法[6-8]是任务驱动型, 需要人工标注真值图进行监督训练, 融入更多的人类感知(例如中心先验信息、色彩先验信息和语义先验信息等)得到显著图.而自下而上的方法[9-17]是数据驱动型, 更注重利用对比度、位置和纹理等图像特征得到显著图.最早的研究者Itti等[9]提出一种基于局部对比度的空间域视觉模型, 使用由中心向四周变化的图像差异性得到显著图. Hou等[10]提出了基于谱残差(Spectral residual, SR)的显著性检测算法. Achanta等[11]提出基于图像频域计算显著度的频率调谐(Frequency-tuned, FT)算法. Cheng等[12]提出了基于直方图计算全局对比度的方法. Perazzi等[13]引进了一种将显著性检测看作滤波的思想, 提出了显著性过滤器(Saliency filters, SF)方法. Goferman等[14]提出了基于上下文感知(Context-aware, CA)的显著性检测算法. Yang等[15]先后提出基于图形正则化(Graph-regularized, GR)的显著性检测算法和利用显著性传播的流行排序(Manifold ranking, MR)算法[16]. Qin等[17]提出基于背景先验和单层元胞自动机(Background-based method via single-layer cellular automata, BSCA)的显著性检测算法.此外, 低秩矩阵恢复作为高维数据分析及处理的工具应用到显著性检测中[18-20]. Yan等[18]提出将图像显著区域看作是稀疏噪声, 将背景看作是低秩矩阵, 利用稀疏表示和鲁棒主成分分析算法计算图像的显著性.该算法首先将图像分解成$8\times8$的小块, 对每个图像块进行稀疏编码并合并成一个编码矩阵; 然后利用鲁棒主成分分析分解编码矩阵; 最后利用分解得到的稀疏矩阵构建相应图像块的显著性因子.但是, 由于大尺寸的显著目标包含很多图像块, 每个图像块中的显著目标不再满足稀疏特性, 因而极大地影响了检测效果. Lang等[19]提出多任务低秩恢复的显著性检测算法, 利用多任务低秩表示算法分解特征矩阵, 并约束同一图像块中所有特征稀疏成分的一致性, 然后采用重构误差构建相应图像块的显著性.该算法充分利用多特征描述的一致性信息, 效果比文献[18]有所提升, 但由于大尺寸的目标包含大量的特征描述, 此时特征不再具有稀疏特性, 仅利用重构误差不能解决这一问题, 故该方法同样不能完整地检测出大尺寸的显著性目标.为了改善低秩矩阵恢复的结果, Shen等[20]提出一种融合高层次和低层次信息的低秩矩阵恢复检测算法(Low rank matrix recovery, LRMR), 这是一种自下而上与自上而下结合的算法.改进了文献[18]中的不足, 首先将图像进行超像素分割, 并提取超像素的多个特征; 然后通过学习得到特征变换矩阵和先验知识, 包括中心先验、人脸先验和色彩先验, 再利用学习得到的特征变换矩阵和先验知识对特征矩阵进行变换; 最后利用鲁棒主成分分析算法对变换后的矩阵进行低秩与稀疏分解.该方法在一定程度上改善了文献[18-19]的不足, 但是由于中心先验存在一定的局限性, 而在复杂场景下色彩先验也会失效, 因此该算法对背景较复杂的图像检测效果不理想.
随着深度学习研究的不断深入, 卷积神经网络逐渐应用到显著性检测中.李岳云等[21]提出了一种基于深度卷积神经网络的显著性检测方法, 首先利用超像素算法和双边滤波分别得到区域和边缘信息, 再利用深度卷积神经网络学习图像的区域和边缘特征, 最后将卷积神经网络输出的区域置信图和边缘置信图融入到条件随机场中, 达到判断显著性的目的. Wang等[22]提出了一种基于循环全卷积神经网络(Recurrent fully convolutional neural networks, RFCNN)的显著性检测方法, 主要包括预训练和微调两个步骤, 利用RFCN对原图和显著先验图进行训练达到对显著先验图修正的目的, 然后利用传统算法对修正后的显著图进行进一步优化处理. Lee等[23]提出了在一个统一的深度学习框架中利用高层次和低层次特征进行显著性检测的深度显著(Deep saliency, DS)算法, 使用VGG-net提取高级特征, 利用低层次特征与图像中其他部分进行对比得到低层次距离图, 然后使用卷积神经网络对距离图进行编码, 最后将编码的低层次距离图和高级特征连接起来, 采用一个全连接的神经网络分类器对特征进行评估, 得到显著图.以上方法显示了深度学习在显著性检测中的优良性能.
如前文所述, 文献[20]中的中心先验存在一定的局限性, 而在复杂场景下色彩先验也会失效, 二者均为不稳定的先验知识.为了提高方法在复杂场景下进行显著性检测的性能, 本文对文献[20]进行改进, 利用基于全卷积神经网络(Fully convolutional neural networks, FCNN)学习得到的高层语义先验知识替换文献[20]中的中心先验、人脸先验和色彩先验知识, 并将其融入到低秩稀疏分解中. FCNN通常用于语义分割[24], 即对图像中的各部分进行区域分割并给出语义类别.本文忽略类别因素, 仅利用FCNN定位前景目标, 由于前景目标通常是观察者感兴趣的区域, 因此FCNN分割出的前景可作为显著性检测的语义先验知识.因为FCNN对前景目标定位准确, 所以本文方法能够有效提高显著性检测的准确性.
1. 基于全卷积神经网络与低秩稀疏分解的显著性检测方法
本文方法的具体步骤是: 1)对图像进行Mean-shift超像素聚类, 并计算每个超像素中所有像素的颜色、纹理和边缘特征均值构造特征矩阵; 2)为了使图像背景具有相似性以利于低秩稀疏分解, 需要对上述特征矩阵进行变换, 使其在新的特征空间中背景部分可以被表示为低秩矩阵, 本文利用MSRA图像数据库中的图像基于梯度下降法学习特征变换矩阵[20]; 3)为了利用高层次信息以提高感兴趣区域的检测效果, 利用全卷积神经网络对MSRA数据库标记的图像进行学习, 得到高层语义先验知识矩阵; 4)利用特征变换矩阵和高层语义先验知识对特征矩阵进行变换; 5)利用鲁棒主成分分析算法对变换后的矩阵进行低秩稀疏分解得到显著图.总体框架如图 1所示.
1.1 构造特征矩阵
输入一幅图像, 提取颜色、纹理和边缘等特征, 构成维度$d = 53$的特征矩阵.
1) 颜色特征.提取图像的R、G、B三通道灰度值以及色调(Hue)和饱和度(Saturation)描述图像的颜色特征;
2) 边缘特征.采用可控金字塔(Steerable pyramid)滤波器[25]对图像作多尺度和多方向分解, 这里选取3个尺度、4个方向的滤波器, 得到12个响应作为图像的边缘特征;
3) 纹理特征.采用Gabor滤波器[26]提取不同尺度、不同方向上的纹理特征, 这里选取3个尺度、12个方向, 得到36个响应作为图像的纹理特征.
利用Mean-shift聚类算法[27]对图像进行超像素聚类, 得到$N$个超像素$\{p_i|i=1, 2, 3, \cdots, N\}$, 如图 2 (b)所示.这里的$N$为超像素个数, 是Mean-shift方法自动聚类的类别数.计算每个超像素中所有像素特征的均值表示该超像素的特征值$f_i$, 所有超像素特征共同构成特征矩阵$F=[f_1, f_2, \cdots, f_N]$, $F$ $\in$ ${\bf R}^{d\times N}$.
1.2 基于梯度下降法构造特征变换矩阵
本文采用文献[18-20]的思想, 将图像显著区域看作稀疏噪声, 将背景看作低秩矩阵.在复杂背景下, 超像素聚类结果后的图像背景相似度依旧不高, 如图 2 (b)所示, 因此原始图像空间中的特征并不利于低秩稀疏分解.为了找到一个合适的特征空间能够将大部分的图像背景表示为低秩矩阵, 本文基于梯度下降法利用MSRA标记的数据库学习得到特征变换矩阵, 在此基础上对特征矩阵$F$进行特征变换.获得特征变换矩阵的过程如下:
1) 构造标记矩阵$Q=\text{diag}\{q_1, q_2, \cdots, q_N\}\in {\bf R}^{N\times N}$, 如果超像素$p_i$在人工标注的显著性区域内, $q_i$ $= 0$, 否则$q_i=1$.
2) 根据下式利用数据库中$K$幅图像学习特征变换矩阵$T$的优化模型[19].
$\begin{align}& T^{\star}=\text{arg} \min\limits_{T} O(T)= \frac{1}{K}\sum\limits_{k = 1}^K \|TF_k Q_k\|_{\star}- \gamma\|T\|_{\star} \nonumber \\& \text{s.t.}\;\|T\|_2=c \end{align} $
(1) 其中, $F_k\in {\bf R}^{d\times N_k}$为第$k$幅图像的特征矩阵, $N_k$表示第$k$幅图像的超像素个数, $Q_k\in {\bf R}^{N_k\times N_k}$为第$k$幅图像的标记矩阵; $\| \cdot \|_{\star}$表示矩阵的核范数, 即矩阵的所有奇异值之和, $\gamma$是权重系数, 在一定意义下, 核范数是矩阵的秩的最佳凸估计; $\|T\|_2$表示矩阵$T$的$\ell_2$范数, $c$是一个常数, 阻止$T$任意变大或变小.如果特征变换矩阵$T$是合适的, 则$TFQ$是低秩的, $-\gamma\|T\|_{\star}$的作用是为了避免当$T$的秩任意小时得到平凡解[20].
3) 找到$T^{\star}$梯度下降方向, 即
$\begin{align} \frac{\partial O(T)}{\partial T}=\frac{1}{K}\sum\limits_{k}\frac{\partial \|TF_k Q_k\|_{\star}}{\partial T}-\gamma \frac{\partial \|T\|_{\star}}{\partial T} \end{align} $
(2) 具体过程参见文献[20].
4) 利用下式更新特征变换矩阵$T$, 直到算法收敛至局部最优.
$\begin{align} T_{t+1}=T_t-\alpha\frac{\partial O(T)}{\partial T} \end{align} $
(3) 其中$\alpha$为步长.
图 2显示部分中间过程结果.图 2 (a)是原图; 图 2 (b)表示Mean-shift聚类结果, 可以看出由于背景复杂, 聚类后的图像背景的相似性不够高, 不利于低秩稀疏分解; 图 2 (c)表示R、G、B三个特征经过特征变换后合成的可视化结果, 可以看出特征变换后背景的相似性明显提高; 图 2 (d)表示利用特征变换矩阵对特征矩阵进行特征变换, 再对变换后的特征矩阵进行低秩稀疏分解得到的显著图; 图 2 (e)是真值图.从图 2可以看出, 其中的背景噪声比较多, 感兴趣区域不突出, 显著图并不理想.说明虽然特征变换提高了背景的相似性, 在一定程度上提升了低秩稀疏分解的效果, 但由于背景非常复杂, 仅基于颜色、纹理和边缘等低层次信息仍然无法得到准确的感兴趣区域.因此本文考虑在特征变换时融入高层语义先验知识, 进一步提高特征的有效性.
1.3 基于全卷积神经网络提取高层先验知识
如前所述, 仅利用特征变换矩阵对特征矩阵进行变换, 得到的最终显著图并不理想, 这是由于仅利用底层特征提取显著图, 干扰物体比较多, 因此需要补充高层次信息以提升效果.本文采用的高层语义先验知识主要是根据以往经验(即训练样本)预测图像中最有可能感兴趣的区域, 利用全卷积神经网络训练得到高层语义先验知识, 并将其融入到特征变换过程中, 用以优化最终的显著图.卷积神经网络(Convolutional neural network, CNN)是一种多阶段可全局训练的人工神经网络模型, 可以从经过少量预处理甚至最原始的数据中学习到抽象的、本质的、高阶的特征[28].全卷积神经网络(FCNN)是卷积神经网络的一种扩展形式, 由Matan等首次提出[29], 并成功运用到经典的卷积神经网络LeNet-5中. FCNN可以接受任意尺寸的输入图像, 与CNN的区别在于FCNN以反卷积层代替全连接层, 对最后一个卷积层的feature map进行上采样, 从而恢复到与输入图像相同的尺寸, 最后在上采样的特征图上进行逐像素分类, 对每个像素都产生一个二分类预测, 输出像素级别的分类结果, 从而解决了语义级别的图像分割问题.语义先验是感兴趣区域检测的一种重要的高层次信息, 可以辅助检测感兴趣区域, 因此本文利用FCNN得到高层语义先验知识并将其用于感兴趣区域检测.
FCNN的网络结构[24]如图 3所示, 本文在原分类器参数的基础上, 利用MSRA数据库使用反向传播算法微调FCNN所有层的参数.
实验的训练数据集来自MSRA数据库中标记的17 838张图片, 将训练图像标记为前景和背景两类.在如图 3所示的网络结构中, 第1行在交替经过7个卷积层和5个池化层之后, 得到feature map, 最后一步反卷积层是对feature map进行步长为32像素的上采样, 此时的网络结构记为FCNN-32s.本文首先训练得到FCNN-32s模型, 实验发现, 由于经过多次最大池化操作造成精度下降, 直接对降采样输出的feature map进行上采样会导致输出结果非常粗糙, 损失很多细节.因此, 本文尝试将步长为32像素上采样得到的特征做2倍上采样, 与步长为16像素上采样得到的特征进行求和, 并将得到的特征上采样至原图大小进行训练, 得到FCNN-16s模型, 此时获得了相比于FCNN-32s更加精确的细节信息.使用同样的方法继续训练网络得到FCNN-8s模型, 对细节信息的预测更为准确.实验表明, 继续融合更底层的特征训练网络虽然能使得细节信息预测更为准确, 但对低秩稀疏分解所得结果图的效果提升不明显, 而训练时间会明显增加, 故本文采用FCNN-8s模型获取图像的高层语义先验知识, 而不再融合更底层的特征.
至此, 已训练得到FCNN-8s模型.对于每一幅待处理图像, 利用训练好的FCNN-8s模型进行处理, 输出基于FCNN的语义先验知识, 据此构建相应的高层语义先验知识矩阵$P\in {\bf R}^{N\times N}$, 即
$\begin{align} P={ \left[ \begin{array}{cccc} pr_1 & 0 & 0 &0 \\ 0 & pr_2 & 0 &0 \\ 0 & 0 & \ddots &0 \\ 0 & 0 & 0 &pr_N \end{array} \right ]} \end{align} $
(4) 其中, $pr_i$表示FCNN测试结果图像中超像素$p_i$内所有像素的均值.
图 4是FCNN高层语义先验知识及显著性结果图.图 4(a)是原图; 图 4(b)是基于FCNN的高层语义先验知识; 图 4(c)是融合高层先验知识后基于低秩稀疏分解的结果图; 图 4(d)是文献[20]方法的结果图; 图 4(e)是真值图.图 4(b)中白色区域是根据训练图像学习得到的高层语义先验知识, 即FCNN预测的前景目标物体.经实验发现, 基于FCNN得到的高层语义信息对目标物体的定位比较准确.虽然有些目标物体的轮廓变形(例如图 4(b)中的第2行)有时存在误检(例如图 4(b)中的第1行), 但是并不影响其消除背景噪声的作用, 将其应用到低秩稀疏分解(低秩稀疏分解方法将在第1.4节中介绍)中, 可以提升感兴趣区域的检测效果.尤其是在复杂背景下, 相比于文献[20]利用中心、颜色、人脸先验知识得到的结果而言, 融合FCNN高层语义先验知识后, 基于低秩稀疏分解的检测效果明显改善, 如图 4(c)和图 4(d)的对比结果所示.
图 4 FCNN高层语义先验知识及显著性检测结果图比较Fig. 4 The FCNN high-level semantic prior knowledge and the comparison of saliency detection results需要说明的是, 虽然FCNN能够准确预测人们感兴趣的前景目标, 但给出的前景目标既不完整, 也不精细, 如图 4(b)所示, 需要进一步修正.所以本文利用FCNN定位出前景目标并将其作为高层先验知识与提取的传统特征相融合, 然后再进行低秩稀疏分解, 得到最终的显著性检测结果, 具体见第1.4节.
1.4 基于低秩稀疏分解检测显著性
受文献[18]的启发, 图像中的背景可表达为低秩矩阵, 而显著区域可看作是稀疏噪声.对于一幅原始图像, 首先根据第1.1节所述方法得出特征矩阵$F$ $=[f_1, f_2, \cdots, f_N]\in {\bf R}^{d\times N}$, 以及根据第1.2节得出特征变换矩阵$T$, 然后根据第1.3节得出高层先验知识$P$.根据下式, 利用学习得到的特征变换矩阵$T$和高层语义先验知识$P$对特征矩阵$F$进行变换, 并利用鲁棒主成分分析算法[30]对变换后的矩阵进行低秩稀疏分解.
$\begin{align} &(L^{\star}, S^{\star})=\arg\min\limits_{L, S}(\|L\|_{\star}+\lambda\|S\|_1) \notag \\ & \text{s.t.}\; ~TFP=L+S \end{align} $
(5) 其中, $F\in {\bf R}^{d\times N}$是特征矩阵, $T\in {\bf R}^{d\times d}$是学习得到的特征变换矩阵, $P\in {\bf R}^{N\times N}$是高层先验知识矩阵, $L\in {\bf R}^{d\times N}$表示低秩矩阵, $S\in {\bf R}^{d\times N}$表示稀疏矩阵, $\|\cdot\|_{\star}$表示矩阵的核范数, 即矩阵的所有奇异值之和, $\|\cdot\|_1$表示矩阵的$\ell_1$范数, 即矩阵中所有元素的绝对值之和.
假设$S^{\star}$是稀疏矩阵的最优解, 由下式可计算出显著图为
$\begin{align} Sal(p_i)=\|S^{\star}(:, i)\|_1 \end{align} $
(6) 其中, $Sal(p_i)$表示超像素$p_i$的显著值, $\|S^{\star}(:, i)\|_1$表示$S^{\star}$的第$i$列向量的$\ell_1$范数, 即向量中所有元素的绝对值之和.
2. 实验结果与分析
利用两个公开标准数据库MSRA-test1000和PASCAL-S对方法的准确性和有效性进行评价. MSRA-test1000是本文在MSRA-20000数据库中随机挑选出来的1 000幅图像, 这些图像未参与高层先验知识的训练, 其中有些图像背景比较复杂, 如图 5(a)所示. PASCAL-S来源于PASCAL VOC2010数据库, 包含了850幅复杂背景的自然图像.这些数据库图片都有人工标注的真值图, 方便对算法进行客观评价.
将本文方法与当前较为经典和流行的算法进行比较, 包括基于频域的FT算法[11]、SR算法[10]、基于上下文感知的CA算法[14]、基于滤波的SF算法[13]、基于凸壳中心和图形正则化的GR算法[15]、基于流行排序的MR算法[16]、基于单层元胞自动机的BSCA算法[17]和基于低秩矩阵恢复并且融合先验知识的LRMR算法[20].这8种传统算法是前述自上而下和自下而上方法中较为经典或者处理效果较好的算法, 源代码均由作者提供.此外, 将本文算法与基于深度学习的RFCN算法[22]和DS算法[23]进行对比.
2.1 主观评价
图 5是本文方法结果与其他8种传统算法的结果比较图.图 5(a)~5(l)分别是原图、真值图、FT算法、SR算法、CA算法、SF算法、GR算法、MR算法、BSCA算法、LRMR算法、和FCNN高层语义先验知识、本文算法.由图中对比效果可以直观看出, FT算法可以检测出部分图像的感兴趣区域, 但背景噪声较多. SR和CA算法可以较为准确地定位感兴趣区域, 但是检测出的感兴趣区域边缘较明显而内部区域不突出, 并且背景噪声较多. SF算法背景噪声小, 但是感兴趣区域显著度不高. GR、MR、BSCA和LRMR算法都是比较优秀的算法, 对于背景与感兴趣区域对比度较明显的图像可以很好地检测出感兴趣区域, 但是对背景噪声抑制有些不足, 例如第2行和第4行的图像; 对于背景复杂的图像, 感兴趣区域与背景对比度不明显, 这4种方法不能很好地定位感兴趣区域, 检测出的感兴趣区域显著度不够高, 背景噪声抑制不足, 例如第1、3和5行的图像.本文方法可以在复杂的图像中准确检测出感兴趣区域, 并且很好地抑制背景噪声, 与其他8种算法相比更接近于真值图.此外, 图 5 (k)是FCNN高层语义先验知识图, 由图可以看出, FCNN高层先验知识图可以准确定位感兴趣区域, 但是对于细节的表达有些粗糙, 例如第2、4和5行的图像, 由图 5 (l)可以看出, 本文方法可以利用FCNN高层先验知识更好地处理一些细节, 这也证明了FCNN高层语义先验知识对文本方法的贡献是较为突出的.
2.2 客观评价
为了对本文方法的性能进行客观评价, 采用四个评价指标, 即准确率(Precision)、召回率(Recall)、F-measure以及平均绝对误差(Mean absolute error, MAE)进行对比分析.
2.2.1 与传统方法比较
1) 准确率和召回率
首先采用最常用的准确率-召回率曲线对算法进行客观比较.如下式所示.
$S T_{i}(x, y)=\left\{\begin{array}{ll}{0, } & {S(x, y)<T_{i}} \\ {1, } & {S(x, y) \geq T_{i}}\end{array}\right. $
(7) 依次选取0到255之间的灰度值作为阈值$T_i$, 分别将各算法的结果图进行二值化, 得到二值图, 并与人工标注的真值图进行比较, 利用下列二式计算各算法的准确率$P_i$和召回率$R_i$, 并画出Precision-Recall曲线.
$P_i=\frac{|ST_i\cap GT|}{|ST_i|}, \quad i=0, 1, \cdots, 255 $
(8) $R_i=\frac{|ST_i\cap GT|}{|GT|}, \quad i=0, 1, \cdots, 255 $
(9) 其中, $ST_i$表示显著图经过二值分割后值为1的区域, $GT$表示真值图中值为1的区域, $|R|$表示区域$R$中的像素个数.
Precision-Recall曲线中, 在相同召回率下, 准确率越高, 说明对应的方法越有效.图 6是9种算法在MSRA-test1000和PASCAL-S两个数据库上的Precision-Recall曲线, 由图可以看出, 在这两个数据库上本文方法优于其他算法.
为了综合考虑准确率和召回率, 本文采用F-measure($F_{\beta}$)进一步评价各个算法.
$\begin{align} F_{\beta}=\frac{(1+\beta^2)\times P \times R}{\beta^2\times P + R} \end{align} $
(10) 其中, $P$是准确率, $R$是召回率, $\beta$是权重系数.根据文献[11], 设置$\beta^2=0.3$, 可以达到突出准确率的目的. F-measure衡量了准确率和召回率的整体性能, 数值越大, 说明方法性能越好.计算F-measure时, 需要将各个算法结果在同等条件进行二值化, 本文采用自适应阈值分割算法, 即将阈值设置为每幅显著图的平均值, 然后与真值图进行比较, 计算得到准确率和召回率, 再利用式(10)计算F-measure值.图 7是9种算法在两个数据库上的比较结果, 可以看出本文方法的F-measure最大.
2) 平均绝对误差
Precision-Recall曲线只是评价目标的准确性, 而没有评判非显著区域, 即不能表征算法对背景噪声的抑制情况, 因此本文利用平均绝对误差(MAE)对整幅图进行评价. MAE是以像素点为单位计算显著图与真值图之间的平均差异, 计算公式为
$\begin{align} MAE=\frac{1}{M\times N}\sum\limits_{i = 1}^M\sum\limits_{j = 1}^N|S(i, j)-GT(i, j)| \end{align} $
(11) 其中, $M$和$N$代表图像的高度和宽度, $S(i, j)$代表显著图对应的像素值, $GT(i, j)$代表真值图对应的像素值.显然MAE的值越小, 显著图越接近于真值图.表 1为9种算法的MAE比较结果.可以看出, 在两个数据库中本文方法的MAE值均小于其他8种算法, 说明本文方法的显著图更接近于真值图.
表 1 本文方法与传统方法的MAE比较Table 1 The comparison of MAE between the proposed method and traditional methods算法 MSRA-test1000 PASCAL-S FT 0.2480 0.3066 SR 0.2383 0.2906 CA 0.2462 0.2994 SF 0.1449 0.2534 GR 0.2524 0.2992 MR 0.1855 0.2283 BSCA 0.1859 0.2215 LRMR 0.2442 0.2759 本文算法 0.0969 0.1814 3) 运行时间
在配置为i7-6700 k, 内存32 GB, 4.00 GHz CPU的PC机上利用MATLAB2012a运行9种算法, 平均运行时间如表 2所示.
表 2 本文方法与其他方法的平均运行时间比较Table 2 The comparison of average running time between the proposed method and other methods算法 时间(s) 代码类型 MSRA-test1000 PASCAL-S FT 0.080 0.111 MATLAB SR 0.024 0.030 MATLAB CA 20.587 22.299 MATLAB SF 0.138 0.217 MATLAB GR 0.636 0.905 MATLAB MR 0.559 0.759 MATLAB BSCA 1.101 1.475 MATLAB LRMR 7.288 9.674 MATLAB 本文方法 6.916 9.154 MATLAB 综合表 1和表 2可以看出, 早期的一些算法, 如FT、SR和SF, 虽然运行时间较快, 但是在主观评价和客观评价中表现不太理想; CA算法运行时间较长; GR、MR和BSCA算法在时间上稍慢于早期的几种算法, 但效果有明显提高; 本文方法的运行时间与LRMR算法相当, 虽然时间上没有太大的优势, 但是无论是主观对比还是客观的P-R曲线、F-measure和MAE等指标的对比, 都明显优于其他算法.
2.2.2 与深度学习方法比较
图 4虽然体现出了FCNN高层先验知识的不足之处, 但并不能否认它的重要作用.本节通过比较FCNN分割的前景目标与本文最终分割得到的感兴趣区域的准确性说明FCNN在本文方法中的重要作用.由于得到的FCNN高层先验知识是二值图像, 所以将本文方法结果图进行二值化, 在MAE指标上对二者进行比较.表 3是二者在两个数据库上的MAE值对比, 可以看出本文方法的二值化结果与FCNN结果图的MAE值很相近, 说明本文方法的结果图在一定程度上是由FCNN结果图决定的.
表 3 FCNN分割的前景目标与本文最终分割得到的二值感兴趣区域的MAE比较Table 3 The comparison of MAE between the segmented foreground object by FCNN and the segmented binary ROI by the proposed method算法 MSRA-test1000 PASCAL-S FCNN高层先验知识 0.0531 0.1040 本文方法(二值化) 0.0516 0.0964 表 4为在PASCAL-S数据库上本文方法与RFCN算法、DS算法的F-measure值和MAE对比.可以看出, 在PASCAL-S数据库上, 一方面, 本文方法的F-measure值高于其他两种算法, 说明本文方法稳健性很好; 另一方面, 本文方法的MAE指标略高于DS算法.本文方法F-measure值较好但MAE指标略差的原因是经过低秩稀疏分解得到的稀疏矩阵能准确反映显著区域的位置, 但稀疏矩阵中的数值偏低, 造成恢复得到的结果图中显著区域的灰度值偏低(如图 5所示).
表 4 本文方法与深度学习方法的指标比较Table 4 The comparison of evaluation indexs between the proposed method and deep learning methods算法 F-measure MAE RFCN 0.7468 - DS 0.7710 0.1210 本文方法 0.7755 0.1814 为了证实以上分析的正确性, 本文对显著性结果乘以一个线性因子$\theta$进行对比度线性拉伸, 再计算MAE指标, 并绘制$\theta$-MAE关系图, 如图 8所示.由图 8可以看出, $\theta=3.2$时, 本文方法的MAE值与DS算法相当, 如果$\theta$继续增大, 则本文方法的MAE值优于DS算法.
图 8 对本文结果进行线性拉伸后与DS方法的MAE值比较Fig. 8 The comparison of MAE between the results of linear stretching in this paper and the results of the DS method因此综合来看, 本文方法是一种定位准确、检测信息完整的显著性检测方法.
3. 结论
本文提出一种基于全卷积神经网络与低秩稀疏分解的显著性检测方法.首先, 对原图像进行超像素聚类, 并提取每个超像素的颜色、纹理和边缘特征, 据此构成图像的特征矩阵; 然后, 利用MSRA数据库基于梯度下降法学习得到特征变换矩阵; 接着, 再次利用MSRA数据库对全卷积神经网络进行微调, 学习得到高层语义先验知识矩阵; 最后, 利用特征变换矩阵和高层语义先验知识矩阵对特征矩阵进行变换, 再利用鲁棒主成分分析算法对变换后的矩阵进行低秩稀疏分解, 得到最终的显著图.在公开的MSRA-test1000和PASCAL-S数据集上进行实验验证, 在准确率-召回率曲线、F-measure和MAE指标上优于当前流行算法.
-
图 4 FCNN高层语义先验知识及显著性检测结果图比较
Fig. 4 The FCNN high-level semantic prior knowledge and the comparison of saliency detection results
图 8 对本文结果进行线性拉伸后与DS方法的MAE值比较
Fig. 8 The comparison of MAE between the results of linear stretching in this paper and the results of the DS method
表 1 本文方法与传统方法的MAE比较
Table 1 The comparison of MAE between the proposed method and traditional methods
算法 MSRA-test1000 PASCAL-S FT 0.2480 0.3066 SR 0.2383 0.2906 CA 0.2462 0.2994 SF 0.1449 0.2534 GR 0.2524 0.2992 MR 0.1855 0.2283 BSCA 0.1859 0.2215 LRMR 0.2442 0.2759 本文算法 0.0969 0.1814 
下载: 导出CSV
表 2 本文方法与其他方法的平均运行时间比较
Table 2 The comparison of average running time between the proposed method and other methods
算法 时间(s) 代码类型 MSRA-test1000 PASCAL-S FT 0.080 0.111 MATLAB SR 0.024 0.030 MATLAB CA 20.587 22.299 MATLAB SF 0.138 0.217 MATLAB GR 0.636 0.905 MATLAB MR 0.559 0.759 MATLAB BSCA 1.101 1.475 MATLAB LRMR 7.288 9.674 MATLAB 本文方法 6.916 9.154 MATLAB
下载: 导出CSV
表 3 FCNN分割的前景目标与本文最终分割得到的二值感兴趣区域的MAE比较
Table 3 The comparison of MAE between the segmented foreground object by FCNN and the segmented binary ROI by the proposed method
算法 MSRA-test1000 PASCAL-S FCNN高层先验知识 0.0531 0.1040 本文方法(二值化) 0.0516 0.0964
下载: 导出CSV
表 4 本文方法与深度学习方法的指标比较
Table 4 The comparison of evaluation indexs between the proposed method and deep learning methods
算法 F-measure MAE RFCN 0.7468 - DS 0.7710 0.1210 本文方法 0.7755 0.1814
下载: 导出CSV
-
[1] Mahadevan V, Vasconcelos N. Saliency-based discriminant tracking. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Miami, FL, USA: IEEE, 2009. 1007-1013 [2] Siagian C, Itti L. Rapid biologically-inspired scene classification using features shared with visual attention. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2007, 29(2):300-312 doi: 10.1109/TPAMI.2007.40 [3] 钱生, 陈宗海, 林名强, 张陈斌.基于条件随机场和图像分割的显著性检测.自动化学报, 2015, 41(4):711-724 http://www.aas.net.cn/CN/abstract/abstract18647.shtmlQian Sheng, Chen Zong-Hai, Lin Ming-Qiang, Zhang Chen-Bin. Saliency detection based on conditional random field and image segmentation. Acta Automatica Sinica, 2015, 41(4):711-724 http://www.aas.net.cn/CN/abstract/abstract18647.shtml [4] Sun J, Ling H B. Scale and object aware image retargeting for thumbnail browsing. In: Proceedings of the 2011 IEEE International Conference on Computer Vision. Barcelona, Spain: IEEE, 2011. 1511-1518 [5] 张慧, 王坤峰, 王飞跃.深度学习在目标视觉检测中的应用进展与展望.自动化学报, 2017, 43(8):1289-1305 http://www.aas.net.cn/CN/abstract/abstract19104.shtmlZhang Hui, Wang Kun-Feng, Wang Fei-Yue. Advances and perspectives on applications of deep learning in visual object detection. Acta Automatica Sinica, 2017, 43(8):1289-1305 http://www.aas.net.cn/CN/abstract/abstract19104.shtml [6] Marchesotti L, Cifarelli C, Csurka G. A framework for visual saliency detection with applications to image thumbnailing. In:Proceedings of the IEEE 12th International Conference on Computer Vision. Kyoto, Japan:IEEE, 2009. 2232-2239 [7] Yang J M, Yang M H. Top-down visual saliency via joint CRF and dictionary learning. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 39(3):576-588 doi: 10.1109/TPAMI.2016.2547384 [8] Li J, Rajan D, Yang J. Locality and context-aware top-down saliency. IET Image Processing, 2018, 12(3):400-407 doi: 10.1049/iet-ipr.2017.0251 [9] Itti L, Kouch C, Niebur E. A model of saliency-based visual attention for rapid scene analysis. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1998, 20(11):1254-1259 doi: 10.1109/34.730558 [10] Hou X D, Zhang L Q. Saliency detection: a spectral residual approach. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Minneapolis, MN, USA: IEEE, 2007. 1-8 [11] Achanta R, Hemami S, Estrada F, Susstrunk S. Frequency-tuned salient region detection. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Miami, FL, USA: IEEE, 2009. 1597-1604 [12] Cheng M M, Zhang G X, Mitra N J, Huang X L, Hu S M. Global contrast based salient region detection. In: Proceedings of the 2011 IEEE Conference on Computer Vision and Pattern Recognition. Providence, RI: IEEE, 2011. 409-416 [13] Perazzi F, Krähenbühl P, Pritch Y, Hornung A. Saliency filters: contrast based filtering for salient region detection. In: Proceedings of the 2012 IEEE Conference on Computer Vision and Pattern Recognition. Providence, RI, USA: IEEE, 2012. 733-740 [14] Goferman S, Zelnikmanor L, Tal A. Context-aware saliency detection. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2012, 34(10):1915-1926 doi: 10.1109/TPAMI.2011.272 [15] Yang C, Zhang L H, Lu H C. Graph-regularized saliency detection with convex-hull-based center prior. IEEE Signal Processing Letters, 2013, 20(7):637-640 doi: 10.1109/LSP.2013.2260737 [16] Yang C, Zhang L H, Lu H C, Ruan X, Yang M H. Saliency detection via graph-based manifold ranking. In: Proceedings of the 26th IEEE Conference on Computer Vision and Pattern Recognition. Portland OR, USA: IEEE, 2013. 3166-3173 [17] Qin Y, Lu H C, Xu Y Q, Wang H. Saliency detection via cellular automata. In: Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition. Boston, MA: IEEE, 2015. 110-119 [18] Yan J C, Zhu M Y, Liu H X, Liu Y C. Visual saliency detection via sparsity pursuit. IEEE Signal Processing Letters, 2010, 17(8):739-742 doi: 10.1109/LSP.2010.2053200 [19] Lang C Y, Liu G C, Yu J, Yan S C. Saliency detection by multitask sparsity pursuit. IEEE Transactions on Image Processing, 2012, 21(3):1327-1338 doi: 10.1109/TIP.2011.2169274 [20] Shen X H, Wu Y. A unified approach to salient object detection via low rank matrix recovery. In: Proceedings of the 2012 IEEE Conference on Computer Vision and Pattern Recognition. Providence RI, USA: IEEE, 2012. 853-860 [21] 李岳云, 许悦雷, 马时平, 史鹤欢.深度卷积神经网络的显著性检测.中国图象图形学报, 2016, 21(1):53-59 http://d.old.wanfangdata.com.cn/Periodical/zgtxtxxb-a201601007Li Yue-Yun, Xu Yue-Lei, Ma Shi-Ping, Shi He-Huan. Saliency detection based on deep convolutional neural network. Journal of Image and Graphics, 2016, 21(1):53-59 http://d.old.wanfangdata.com.cn/Periodical/zgtxtxxb-a201601007 [22] Wang L Z, Wang L J, Lu H C, Zhang P P, Ruan X. Saliency detection with recurrent fully convolutional networks. In: Proceedings of the Computer Vision-ECCV 2016. Lecture Notes in Computer Science, vol. 9908. Amsterdam, Netherlands: Springer, 2016. 825-841 [23] Lee G, Tai Y W, Kim J. Deep saliency with encoded low level distance map and high level features. In: Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas, NV, USA: IEEE, 2016. 660-668 [24] Long J, Shelhamer E, Darrell T. Fully convolutional networks for semantic segmentation. In: Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition. Boston MA, USA: IEEE, 2015. 3431-3440 [25] Simoncelli E P, Freeman W T. The steerable pyramid: a flexible architecture for multi-scale derivative computation. In: Proceedings of International Conference on Image Processing. Washington DC, USA: IEEE, 1995. 444-447 [26] 王晓红, 赵于前, 廖苗, 邹北骥.基于多尺度2D Gabor小波的视网膜血管自动分割.自动化学报, 2015, 41(5):970-980 http://www.aas.net.cn/CN/abstract/abstract18671.shtmlWang Xiao-Hong, Zhao Yu-Qian, Liao Miao, Zou Bei-Ji. Automatic segmentation for retinal vessel based on multi-scale 2D Gabor wavelet. Acta Automatica Sinica, 2015, 41(5):970-980 http://www.aas.net.cn/CN/abstract/abstract18671.shtml [27] Comaniciu D, Meer P. Mean shift:a robust approach toward feature space analysis. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2002, 24(5):603-619 doi: 10.1109/34.1000236 [28] Dong C, Loy C C, He K M, Tang X O. Image super-resolution using deep convolutional networks. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2016, 38(2):295-307 doi: 10.1109/TPAMI.2015.2439281 [29] Matan O, Burges C J C, LeCun Y, Denker J S. Multi-digit recognition using a space displacement neural network. In: Proceedings of Neural Information Processing Systems. San Mateo, CA: Morgan Kaufmann, 1992. 488-495 [30] Wright J, Peng Y G, Ma Y, Ganesh A, Rao S. Robust principal component analysis: exact recovery of corrupted low-rank matrices by convex optimization. In: Proceedings of Neural Information Processing Systems. Vancouver, British Columbia, Canada: NIPS, 2009. 2080-2088 期刊类型引用(11)
1. 张刚敏，李雅荣，贾海蓉，王鲜霞，段淑斐. 基于多任务自适应知识蒸馏的语音增强. 太原理工大学学报. 2024(04): 720-726 . 
百度学术2. 许玉格，钟铭，吴宗泽，任志刚，刘伟生. 基于深度学习的纹理布匹瑕疵检测方法. 自动化学报. 2023(04): 857-871 . 本站查看3. 董胤蓬，苏航，朱军. 面向对抗样本的深度神经网络可解释性分析. 自动化学报. 2022(01): 75-86 . 本站查看4. 白宗龙，师黎明，孙金玮. 基于自适应LASSO先验的稀疏贝叶斯学习算法. 自动化学报. 2022(05): 1193-1208 . 本站查看5. 张朝蓓，夏鹏杰. 基于矩阵分解的扼流适配变压器绕组漏磁检测. 无损检测. 2022(06): 40-44 . 百度学术6. 李旭健，齐迎雪. 一种改进的显著性目标检测方法. 现代电子技术. 2022(20): 129-133 . 百度学术7. 周金. 挖掘高层语义信息的电力设备图像显著性检测. 电力信息与通信技术. 2021(01): 20-26 . 百度学术8. 金海燕，曹甜，肖聪，肖照林. 基于多特征图像视觉显著性的视频摘要化生成. 北京航空航天大学学报. 2021(03): 441-450 . 百度学术9. 赵兴科，李明磊，张弓，黎宁，李家松. 基于显著图融合的无人机载热红外图像目标检测方法. 自动化学报. 2021(09): 2120-2131 . 本站查看10. 潘峰，安启超，刁奇，王瑞，冯肖雪. 基于粒子群算法的多尺度反卷积特征融合的道路提取. 北京理工大学学报. 2020(06): 640-647 . 百度学术11. 王金甲，张玉珍，夏静，王凤嫔. 多层局部块坐标下降法及其驱动的分类重构网络. 自动化学报. 2020(12): 2647-2661 . 本站查看其他类型引用(11)
-
下载:
计量
- 文章访问数: 4108
- HTML全文浏览量: 1192
- PDF下载量: 321
- 被引次数: 22
