Image Texture Enhancement via Upscaling Algorithm Based on Contour Stencils and Self-learning
-
摘要: 提出一种以轮廓模板插值和局部自学习相结合的图像纹理增强超采样算法，有效地恢复了插值图像丢失的细节纹理，抑制了插值图像边缘的扩散.该方法通过局部自相似性在原始低分辨图像中估计高频信息，对轮廓模板插值图像的细节纹理进行了恢复.其中，为了弥补轮廓模板插值缺少先验知识的缺陷，将原始低分辨率图像的高频信息作为先验知识.为了保证估计的高频信息最优，匹配的过程中采用双匹配，相比较于全局搜索和小窗搜索，提高了效率并保证了匹配精度.此外，使用高斯模糊代替了传统提取高频信息的方法，简化了算法的复杂度，提高了准确性和效率.对估计得到的高频信息采用高斯函数加窗，以减小估计出错和重叠区的混叠影响.本文算法的训练库由原始低分辨图像自身和插值图像构成，节省了生成训练库所需的时间和空间.训练库的简化使得高频信息的估计可以多尺度进行，算法效率得到进一步优化.理论分析和实验结果表明，相比传统的基于插值、基于自学习的图像超分辨率方法，本文方法获得更好的实验结果，主观效果得到明显改善，有效地恢复了图像的纹理细节，提高了图像边缘锐度，避免了产生锯齿等人工效应，客观指标得到提高.Abstract: An image texture enhancement via upscaling algorithm based on interpolation of contour stencils and local self-learning is proposed in this paper, by which the lost detail texture of the interpolated image is effectively recovered and the edge diffusion in image magnification is decreased. In this method, the detail texture of the interpolated image is estimated by local self-similarity in the original low-resolution image. To make up the lack of prior knowledge of the interpolation algorithm, the high frequency information of original low-resolution image works as a priori knowledge. In order to estimate the best high-frequency information, the use of dual matches improves efficiency and accuracy, compared to the global search and the small window search. Instead of the traditional high frequency information extraction method, Gaussian blur is used to reduce the complexity of the algorithm. In addition, adding window on the estimated high-frequency information by Gaussian function inhibits the aliasing effect of overlapping area, as well as reduces the influence of the estimation error. To save space and time, the training library in this paper consists of original low-resolution image and the interpolated image. Simplifying training library makes high-frequency information estimated in a single multi-scale, so the algorithm efficiency is further improved. Theoretical analysis and experimental results show that, the proposed method outperforms other comparing algorithms including the traditional interpolation algorithm and the related algorithms based on self-learning in terms of both objective and visual quality of the interpolation image. The method recovers the detail texture of the image effectively, and enhances the sharpness, also avoids producing the artificial such as sawtooth effect.
-
Key words:
- Upscaling /
- image interpolation /
- self-learning /
- texture enhancement
-
人类视觉在处理数量庞大的输入信息时,注意机制具有极其重要的作用[1].它能够将有限的资源优先分配给有用的信息,从而优先处理最有价值的数据. 与人类的视觉注意行为相对应,计算机在处理输入图像时,通过检测显著性区域来实现判断其中视觉信息的重要程度.视觉显著性检测在诸如目标检测、图像压缩、基于内容的图像编辑等方面中具有广泛的应用,是计算视觉研究中非常重要的基础性课题[2].
在显著性目标检测研究领域,基于区域的显著性检测方法由于检测速度快、精确度高等优点已经成为目前该领域中的主流方法.此类方法进行显著性检测的过程可以分为区域特征表示和对比度计算两个重要步骤,对图像区域的特征进行有效的表示直接影响到显著图的质量.然而目前的方法几乎都是使用底层视觉特征对分割区域内的像素集合进行特征表示,例如文献[3-4]使用CIELab 颜色直方图表示图像区域的特征;文献[5]使用RGB颜色特征、方向特征和纹理特征表示图像区域.与底层视觉特征相比较,中层语义特征具有更好的区分度,本文提出一种基于词袋模型的新的显著性目标检测算法.
1. 相关工作
自Koch等[6]提出显著图的定义以来,目前已经出现了大量的显著性检测算法.Achanta等[7]将这些方法总体上概括为以下三类:第一类为基于生物模型的方法,经典IT算法[8]是其中的典型代表.由于人类视觉系统的生物学结构非常复杂,此类方法计算复杂度非常高,而纯数学计算型的方法在很多环节使用简单的计算直接实现,大幅提高了计算速度和检测效果,是目前显著性检测算法中的主流研究方向.还有些方法采用了纯数学计算并融合生物学模型,例如Harel 等提出的GBVS(Graph based visual saliency) 模型[9].
对比度是引起人类视觉注意的最大因素,基于纯数学计算的显著性检测方法又因为所使用的对比度计算方式不同而有所区别.Ma等[10]提出了一种局部对比度的显著性检测方法,它使用CIELuv颜色表示图像中每个像素的特征,并使用欧式距离度量每个像素与其邻域像素之间的差异程度;MZ方法在计算局部对比度时,将邻域的大小设为固定值,无法实现多尺度的显著性计算,为此Achanta等[11]提出通过改变感知单元邻域的尺寸大小实行显著性的多尺度计算;LC (Luminance-based contrast)方法[12]同样是以图像中的每个像素作为基本处理单元,但与MZ不同的是,使用图像像素的灰度特征计算像素在整幅图像上的全局对比度;Cheng等[3] 提出的HC (Histogram-based contrast)方法在CIELab颜色空间的三个通道计算像素在整幅图像上的全局对比度;Achanta等[7]提出的FT (Frequency tuned)方法同样也是一种全局对比度计算方法,其所使用的全局信息是图像的平均信息;Goferman等[13] 提出的CA (Contex aware)方法也是从感知单元之间的差异性出发计算显著性,但是与上面方法不同的是,CA 考虑了感知单元之间的空间位置关系.
上述显著性检测方法都是在像素级别计算显著性,而基于区域的显著性检测方法以图像区域为基本处理单元,速度更快,精度更高. 此类方法又因为使用不同的分割方法,区域的图像特征表示和显著性计算而有所不同.Cheng等[3]提出的RC (Region-based contrast)方法使用图割对图像进行分割,然后使用颜色直方图表示每个图像区域的特征,在计算每个图像小块的全局对比度的同时考虑了颜色对比度、空间距离和分块大小三个因素;与RC方法基于超像素分割获得图像区域不同,Cheng等[14]提出的GC (Global cues)方法利用对所有像素进行初始聚类得到的聚类中心计算颜色对比度,利用对高斯成分进行二次聚类得到聚类中心计算颜色空间分布,最后使用文献[15]中的方法将颜色对比度与颜色空间分布相结合得到最终显著图;Margolin等[16] 提出的PD (Patch distinct)方法通过分析图像小块的内部统计特性,使用主成分分析表示图像小块进而计算图像小块的显著性; Jiang等[4] 提出的CBS (Context-based saliency)方法使用图割方法将图像快速分成不同的子区域,使用CIELab颜色直方图表示图像区域的特征,然后使用距离函数计算每个图像小块与近邻图像小块之间的差异性生成显著图;Shen等[5] 提出的LR (Low rank) 方法使用RGB 颜色特征、方向特征和纹理特征表示图像区域,使用鲁棒PCA (Principal component analysis) 算法对特征矩阵进行分解计算显著性.基于区域的显著性检测过程可以分为区域的图像特征表示和对比度计算两个重要步骤,目前此类方法几乎都是使用底层视觉特征进行对比度计算.相对于底层视觉特征,中层语义特征更加符合人类视觉模型,为此本文提出一种基于词袋模型的新的显著性目标检测方法.
2. 本文方法
2.1 方法描述
对于一幅给定的图像I,显著性检测的目的是将图像中任意像素x归于前景目标区域或者背景区域两种可能状态之一,将这两种状态分别简记为S (Salient)和B (Background),它们的先验概率相应地简记为P(S)和P(B),则根据贝叶斯推断原理,像素x的显著性计算公式为:
\begin{align} & P(S|x)=\frac{P(S)P(x|S)}{P(S)P(x|S)+P(B)P(x|B)} \\ & P(S)+P(B)=1 \\ \end{align}
(1) 式中,P(x|S)表示显著区域已知的情况下观测像素x的条件概率密度,P(x|B)表示背景区域已知的情况下观测像素x的条件概率密度.
2.2 基于目标性的先验概率
本文使用目标性计算式(1)中的先验概率,对于图像中的任意像素x,以此像素为中心,随机抽取图像中的W个窗口,文献[17]分别从以下四个方面计算每个窗口的目标性:
1) 窗口显著性.首先利用任意显著性检测方法计算得到图像中每个像素的显著值I(p),则窗口w ∈ W 的显著性计算公式为:
$\begin{align} & S(w,\theta_s)=\\ & \sum_{\{p\in{W} \mid I(P)\ge \theta_s\}}I(p)\times \frac{\{p\in{W} \mid I(P)\ge \theta_s\}}{|w|} \end{align}$
(2) 式中,θs表示待学习的显著性阈值参数.
2) 颜色对比度. 对于窗口w∈ W,以θcc为固定倍数在每个方向将其扩展到周围区域得到某一矩形区域Surr(w,θcc),则窗口w在此区域内的颜色对比度计算公式为:
$CC(w,\theta_{cc})=\chi^2(h(w),h(Surr(w,\theta_{cc})))$
(3) 式中,h(w)、h(Surr(w,θcc))分别表示窗口w与矩形区域Surr(w,θcc)的颜色直方图,χ2(·)表示卡方距离函数.
3) 边缘密度. 对于窗口w ∈ W,以θED为固定倍数将其收缩到内部环状区域Inn(w,θED),则此窗口w在区域Inn(w,θED)内的边缘性计算公式为:
$ED(w,\theta_{ED})=\frac{\sum_{p\in{Inn(w,\theta_{ED})}}I_{ED}(p)}{Len(Inn(w,\theta_{ED}))}$
(4) 式中,IED(p)表示使用Canny算子得到的二值图,Len(·)表示计算区域Inn(w,θED) 的周长.
4) 轮廓闭合性. 首先将图像分割为若干超像素S,则窗口w∈W的轮廓闭合性的计算公式为:
$SS(w) = 1 - \sum\limits_{s \in S} {\frac{{\min (|s{\rm{\backslash w}}|,|s \cap w|)}}{{|w|}}} $
(5) 式中,s∈S表示图像中的第s个超像素,|s\w|表示超像素s位于窗口w之外的面积,而|s∩ w|表示超像素s位于窗口w内部的面积.
将上述得到的窗口显著性S(w,θs)、颜色对比度CC(w,θcc)、边缘密度ED(w,θED)以及轮廓闭合性SS(w)进行融合就得到每个窗口被判定为显著性目标的概率值P(w),那么基于目标性的先验概率计算公式为:
$P_s(x)=\sum_{w\in{W}\cap x\in{W}}P(w_x)$
(6) 2.3 超像素词袋特征
已知一个图像数据集D={d1,d2,…,dN},由于CIELab颜色模型能够将亮度和色度分量分开,相关研究工作[3-4, 7, 16]也表明在此颜色空间进行检测得到的显著图的准确度更高,因此将图像变换到CIELab 颜色空间,然后随机抽取其中的300k个像素的颜色特征组成局部特征集合X,对X进行聚类得到视觉词典V=[v1,v2,…,vK] ∈ {RD× K},vk∈ RD×1,k=1,2,… ,K表示第k个视觉单词向量,K为视觉单词数目,D为像素颜色特征的维数. 在得到视觉词典后,使用硬分配编码方法对图像中的每个像素进行编码[18].对于数据集中任意一幅图像,cj∈ RD×1表示第j个像素颜色特征,其对应的编码矢量Uj∈ RK×1第k维值的计算公式为:
${{U}_{jk}}=\left\{ \begin{array}{*{35}{l}} 1,\text{若}j=\arg {{\min }_{j=1,2,\cdots ,K}}\|{{c}_{j}}-{{v}_{k}}{{\|}_{2}} \\ 0,\text{其他} \\ \end{array} \right.$
(7) 式中,矢量cj与vk之间的距离计算采用欧氏函数.
完成对图像中所有像素的编码操作之后,使用SLIC (Simple linear iterative clustering)方法对图像进行分割,如图 1(b)所示,图像被相应地分割成为N个尺寸均匀的超像素,假设其中第n个超像素区域内共有Pn个像素,则此区域内所有像素编码矢量的总和统计值为:
$BoF_n=\sum_{j=1}^{P_n}U_j$
(8) 式中,Uj表示超像素区域内第j个像素颜色特征的编码矢量,可以利用式(7)计算其第k维值,则BoFn就为图像中第n个超像素的词袋特征.
2.4 条件概率
为了估计式(1)中观测像素x的条件概率密度,本文假定图像周边的超像素区域为背景区域,如图 1(c)所示.假设背景区域内超像素的数目为Nb,背景超像素词袋特征记为BoFB,其中第j个超像素区域的词袋特征表示为BoFBj,使用Parzen窗法[19]得到背景超像素特征BoFB的概率密度分布,表达式为:
$P(\hat{BoF_B})=\frac{1}{N_b \sigma^K}\sum_{j=1}^{N_b}K\left(\frac{BoF_B-BoF_{Bj}}{\sigma}\right)$
(9) 式中,K为核函数,σ为窗宽,K为背景超像素特征的维数,即词袋特征的维数. 如果核函数选用高斯核函数,式(9)变为:
$ P(\hat{BoF_B})=\frac{1}{N_b \sigma^K}\sum_{j=1}^{N_b}{exp}\left(-\frac{\|BoF_B-BoF_{Bj}\|_2}{2\sigma^2}\right)$
(10) 式中,||·||2表示l2范数,则在背景区域已知的情况下,图像中任意超像素区域Rn的条件概率密度计算公式为:
$\begin{array}{l}P(\hat{R_i}\!\mid\!B)=\frac{1}{N_b \sigma^K }\sum\limits_{j=1}^{N_b}{exp}(-\frac{\|BoF_i-BoF_{Bj}\|_2}{2\sigma^2})\\P(R_i\!\mid\!\hat S)=1-P(\hat {R_i}\!\mid\! B)\end{array}$
(11) 将区域的显著性值传递给此区域内的所有像素就得到了基于中层语义特征的条件概率显著图P(x|B)和P(x|S).将式(6)中得到的先验概率和式(11)中得到的条件概率P(x|B)和P(x|S)代入式(1)中就得到了图像的最终显著图.
3. 实验与分析
3.1 数据库及评价准则
本节实验在4个显著性目标公开数据库上验证本文方法的性能.第一个为瑞士洛桑理工大学Achanta等建立的ASD数据库[7],该数据库是MSRA-5000数据库的一个子集,共有1000幅图像,是目前最为广泛使用的、已经人工精确标注出显著性目标的显著性检测算法标准测试库.第二个和第三个为SED1和SED2 数据库[20],这两个数据库都包含共100幅图像,并且提供了3个不同用户给出的精确人工标注,也是目前广泛使用的显著性检测算法标准测试库.这两个数据库的主要区别在于前者每幅图像包含一个目标物体,而后者包含两个目标物体. 第四个为SOD数据库[21],该数据库是由伯克利图像分割数据集的300幅图像所组成,提供了七个不同用户给出的精确人工标注.
在第一个评价准则中,假设使用某一固定阈值
t对显著图进行分割,得到二值分割后的图像,t的取值范围为[0,255]. 将二值分割(Binary segmentation,BS)图像与人工标注图像(Groud-truth,GT)进行比较得到查准率(Precision)和查全率(Recall),计算公式为: $Precision=\frac{\sum_{(x,y)}GT(x,y)BS(x,y)}{\sum_{(x,y)}BS(x,y)}$
(12) $Recall=\frac{\sum_{(x,y)}GT(x,y)BS(x,y)}{\sum_{(x,y)}GT(x,y)}$
(13) 式中,GT和BS分别表示人工标注图像和二值分割后的图像.将阈值t依次设定为1到255对数据库中的所有显著图进行二值分割,计算出相应的平均查准率和查全率,以查全率为横坐标,以查准率为纵坐标,就得到了关于阈值t在整个数据库上的PR(Precision-recall)曲线.
在第二个评价准则中,使用文献[3, 5, 7]中的自适应阈值确定方法对图像进行二值分割,同样与人工标注图像进行比较,得到查准率和查全率,并计算F度量值(F-measure),计算公式为:
$F_\beta=\frac{(1+\beta^2)\times Precision \times Recall}{\beta^2\times Precision+Recall}$
(14) 与文献[3, 5, 7]一致,本文也将β2设为0.3,并且将自适应阈值设为图像显著值的整数倍,即:
$t_\alpha=\frac{K} {W\times H}\sum_{x=1}^{W} \sum_{y=1}^{H} S(x,y)$
(15) 式中,W、H分别表示显著图的宽度和长度,
S为显著图,K的经验值为2. 为了进一步评价F度量值的综合性能,在区间[0.1,6]中以0.1为采样步长均匀选取一系列K 的值,利用式(14)计算不同K值对应的平均F度量值,然后以K值为横坐标,F值为纵坐标,相应地画出Fβ-K曲线.由于查准率和查全率不能度量显著图中被正确标注为前景像素和背景像素的精确数目,为了更加全面均衡地对显著性检测方法进行客观评价,使用文献[22]中的平均绝对误差(Mean absolute error,MAE)作为第三个评价准则,该准则计算未进行二值分割的连续显著图S与人工标注图GT所有像素之间的绝对误差的平均值,计算公式为: $MAE=\frac{1}{W\times H}\sum_{x=1}^{W} \sum_{y=1}^{H} \mid S(x,y)-GT(x,y)\mid$
(16) 式中,W、H分别表示S以及GT的宽度和长度.
3.2 参数
本文方法中的重要参数为超像素的数目N和视觉单词数目K,使用第二个度量准则中的平均F度量值衡量各种参数对检测性能的影响.首先固定K=50,将N分别设为100、150、200、250、300、350、400、450、500、600,不同超像素数目下的平均F度量值如图 2所示,由此可知,ASD、SED1、SED2以及SOD四个数据库上,当N大于200 之后,各个超像素数目之间的性能相差不大.当超像素数目分别为200、350、250、350时,本文方法取得最高的F值,因此接下来的实验在四个数据库上将N分别设为200、350、250、350.将K分别设为10、20、30、40、50、60、70、80、90、100,不同单词数目下的平均F度量值如图 3所示,由此可知,ASD数据库上各个单词数目之间的性能相差很小,单词数目为70 时,本文方法取得了最高的F值.SED1和SED2数据库上F值的最高与最低之差分别为0.011和0.013,单词数目分别为80和20时,本文方法取得了最高的F值.SOD数据库上的最高值与最低值之差超过0.02,这主要是因为此数据集比较复杂,当视觉单词数目比较少时,不能充分编码图像中的颜色特征,从而加剧了视觉单词数目之间的性能之差. 单词数为90时,本文方法取得了最高的F值. 因此在接下来的实验中,ASD、SED1、SED2以及SOD 数据库上的单词数目分别被设为70、80、20和90.
3.3 与其他显著性检测算法的比较
将本文方法与16种流行的显著性检测方法进行性能比较. 为了便于对比,本文将这16种流行算法分为: 1)在图像像素级别上进行显著性计算的方法,包括IT{[8]}、{MZ[10]}、AC[11]、LC[12]、HC[3]、FT[7]、CA[13]、 GBVS[9],这类方法是本领域引用次数较多的经典方法; 2)在图像区域级别上进行显著性计算的方法,包括RC[3]、GC[14]、 PD[16]、 CBS[4]、 LR[5],这类方法是近三年出现在顶级期刊上的方法; 3) 基于贝叶斯模型的方法,包括SUN (Saliency using natual statistics)[23]、\mbox{SEG (Segmentation)[24]、} CHB (Convex hull and Bayesian)[25],此类方法是与本文方法最为相关的显著性计算方法.
3.3.1 定量对比
图 4至图 7给出了本文算法与16种流行算法的PR曲线. 本文方法在ASD、SED1、 SED2以及SOD四个数据库上都取得了最优的性能.当分割阈值t为0时,所有方法具有相同的查准率,在ASD、SED1、SED2以及SOD数据库上的数值分别为0.1985、0.2674、0.2137、0.2748,即表明数据库中分别平均有19.85%、26.74%、21.37%、27.48%的像素属于显著性区域.当分割阈值t为255时查全率达到最小值.此时本文方法的查准率在ASD、SED1、SED2、SOD数据库上分别达到了0.9418、0.8808、0.9088、0.7781.当查全率为0.85时,本文方法在ASD数据库上的查准率保持在0.9以上,在SED1、SED2两个数据库上保持在0.75以上,在SOD数据库上也高于0.5,表明本文方法能够以更高精度检测到显著区域的同时覆盖更大的显著性区域.
图 4 ASD数据库上本文方法与其他16种流行算法的PR曲线Fig. 4 Precision-recall curves of our method and sixteen state-of-the-art methods on ASD database
图 5 SED1数据库上本文方法与其他16种流行算法的PR曲线Fig. 5 Precision-recall curves of our method and sixteen state-of-the-art methods on SED1 database
图 6 SED2数据库上本文方法与其他16种流行算法的PR曲线Fig. 6 Precision-recall curves of our method and sixteen state-of-the-art methods on SED2 database
图 7 SOD数据库上本文方法与其他16种流行算法的PR曲线Fig. 7 Precision-recall curves of our method and sixteen state-of-the-art methods on SOD database除此之外,将式(15)中K值设为2计算自适应阈值,使用式(12)~(14)分别计算平均查准率、查全率和F 值,本文方法与16种流行算法的的对比结果见图 8. 由图中的数据可知,ASD数据与SED1数据库上取得了一致的结果,与基于像素的和基于区域的13种检测方法相比,本文方法具有最高的查准率、查全率和F值,说明本文方法能够以最高的精度检测显著性目标,同时能够最大覆盖显著性目标所在区域.与基于贝叶斯模型的显著性检测方法相比,本文方法具有最高的查准率,但是查全率仅仅低于CHB方法,这主要是因为CHB使用角点检测显著性区域作为先验信息时,很多角点会落在背景区域,造成检测到的显著性区域过大,如图 22(d)中第4排、图 23(d)中第2排所示.但本文方法仍然具有最高F 度量值,说明仍具有更优的检测性能. 在SED2和SOD数据库上取得了一致结果,与所有对比方法相比较,本文方法具有最高的查全率和F值,但是查准率却分别低于SEG方法和CBS方法.
图 8 本文方法与16种流行算法的平均查准率、平均查全率、F度量值对比图Fig. 8 Precision,recall and F-measure of our method and sixteen state-of-the-art methods为了更进一步评价F度量值的综合性能,将式(15)中K值分别设为[0.1:0.1:6]计算自适应阈值,使用式(14)计算得到一系列F值,以K值为横坐标,以F值为纵坐标得到Fβ-K 曲线.本文方法与16种流行算法的Fβ-K曲线分别见图 9~图 12.由图中的结果可知,在ASD 数据库上,与基于像素的和基于区域的13种检测方法相比,本文方法在每个K值处都具有最高的F值,与基于贝叶斯模型的显著性检测算法相比较,在K∈[5.7,6]这个区间时(如图 9(c)所示),本文方法的F值低于CHB 方法,在K取其他值时，本文方法的F值仍然最高,这是因为CHB方法的检测结果会出现显著范围过大的现象.SED1、SED2和SOD数据库上取得了一致的结果,相较于所有对比方法,本文方法在每个K值处都具有最高的F值.
图 9 ASD数据库上本文方法与16种流行算法的Fβ-K曲线Fig. 9 Fβ-K curves of our method and sixteen state-of-the-art methods on ASD database
图 10 SED1数据库上本文方法与16种流行算法的Fβ-K曲线Fig. 10 Fβ-K curves of our method and sixteen state-of-the-art methods on SED1 database
图 11 SED2数据库上本文方法与16种流行算法的Fβ-K曲线Fig. 11 Fβ-K curves of our method and sixteen state-of-the-art methods on SED2 database
图 12 SOD数据库上本文方法与16种流行算法的Fβ-K曲线Fig. 12 Fβ-K curves of our method and sixteen state-of-the-art methods on SOD database为了全面评价显著性检测方法的性能,根据式(16)计算显著图与人工标注图之间的MAE值,本文方法与16种流行算法在所有数据库上的对比结果分别见图 13.由图中的结果可知,四个数据库上取得了一致的结果,本文方法具有最低的MAE值,SUN方法的MAE值最高.在ASD、SED1以及SOD数据库上,所有对比方法中,GC的MAE值最低,与该方法相比较,本文方法的MAE值又分别降低了22%、12%和17%;在SED2数据库上,所有对比方法中,HC的MAE值最低,与该方法相比较,本文方法的MAE值又降低了13%.
图 13 本文方法与其他16种流行算法的MAE值对比图Fig. 13 MAE of our method and sixteen state-of-the-art methods3.3.2 视觉效果对比
本文方法与基于像素的显著性检测算法的视觉对比结果见图 14~图 17. 由图 14(b)和14(i)、图 15,(b)和15(i)、图 16(b)和16(i)以及图 17(b)和17(i)可知,IT和GBVS 方法得到的显著图分辨率比较低,这是因为IT方法采用下采样的方式实现多尺度显著性计算,而GBVS方法中的马尔科夫链平衡状态的计算复杂度比较高,同样需要减小图像的分辨率实现快速计算. 由图 14(c)、图 15(c)、图 16(c)以及图 17(c)可知,MZ方法得到的显著图过分强调显著性目标边缘部分,这是因为在计算局部对比度时使用的邻域比较少. 相对于MZ方法,AC方法是一种多尺度局部对比度方法,多个尺度的范围比较大,如图 14(d)、图 15(d)、图 16(d)以及图 17(d)所示,该方法能够检测到整个显著性目标.LC和HC都是使用颜色的全局对比度,导致稀有颜色占优,只能检测到显著性目标的部分区域,例如图 14(e)和14(f)的第4排,两种方法只将鸡蛋中最明亮的颜色检测出来. 图 15(e)和图 15(f)中的第1排和第2排也出现了相同的现象,两种方法将图像中颜色最明亮的水面和草地错误地检测为显著性区域.与MZ方法相比,CA方法考虑了像素之间的距离因素,检测性能有很大的提高,但是仍然只是使用K个近邻计算局部对比度,因此同样会过分强调显著性目标边缘,如图 14(h)、图 15(h)、图 16(h)以及图 17(h)所示.与基于像素的典型显著性检测算法相比,本文方法以区域为处理单位,如图 14(j)、图 15(j)、图 16(j)以及图 17(j)所示,显著图具有很高的分辨率,能够一致高亮地凸显图像中的显著性目标.ASD数据库上,与图 14(k) 中的人工标注图相比较,图 14(j)中各显著图的检测准确度从上而下分别为0.9610、0.6512、0.9905、0.9961;SED1数据库上,与图 15(k) 中的人工标注图相比较,图 15(j)中各显著图的检测准确度从上而下分别为0.1911、0.9828; SED2数据库上,与图 16(k) 中的人工标注图相比较,图 16(j)中各显著图的检测准确度从上而下分别为0.9924、0.9939; SOD数据库上,与图 17(k) 中的人工标注图相比较,图 17(j)中各显著图的检测准确度从上而下分别为0.9987、0.9999.仍然存在以下缺陷:1)该方法只能检测到图像中颜色最显著的区域. 例如图 18(c)中第4排的鸡蛋图像中,GC方法只检测到了鸡蛋最明亮的区域,而不是整个鸡蛋;SED1以及SOD数据库上也出现了同样的现象,例如图 19(c)的第1排图像中,GC方法将颜色最明亮的水面错误地检测为显著性区域,而图 21(c)中的第1排图像中,GC方法只检测到了花朵中最明亮的花芯区域. 2)GC方法与RC方法不能有效地检测到尺寸比较大的显著性目标,例如图 21(c)的第2排. PD算法将模式和颜色对比度相结合,显著性目标的边界清晰,但该方法同样是一种全局对比度方法,无法将显著性目标整体地凸显出来,例如图 18(d)中第3排的鲜花图像,只把整幅图像中最显著的花蕊部分检测出来,而不是整个鲜花;SOD数据库上也出现了同样的现象,例如图 21(d)中第1排图像. CBS方法计算颜色的局部对比度,并在计算过程中利用中心先验信息,如图 18(e)、图 19(e)以及图 20(e)中第1排所示,当显著性目标偏离中心区域时,此方法会失效. LR方法本质上是一种忽略了空间位置因素的全局对比度方法,如图 18(f)、图 19(f)、图 20(f)以及图 21(f)中的所有示例图像所示,此方法得到的显著图非常不均匀,只能检测到显著性目标的部分区域.与上述方法相比,本文方法利用图像周边区域作为背景先验信息,如图 20(g)中第1排、图 18(g)中第4排、图 19(g)中第2排以及图 21(g)中第2排的示例图像所示,对于不同尺寸的目标都具有非常好的检测性能.如图 18(g)、图 19(g)以及图 20(g) 中第1 排所示,当显著性目标偏离中心区域时,本文方法也具有优良检测结果.图 18(g)、图 19(g)、图 20(g)以及图 21(g)中的所有示例图像显示,本文方法得到的显著图非常均匀,能够一致高亮地凸显图像中的显著性目标.
图 14 SD数据库上本文方法与基于像素的典型显著性检测算法的视觉效果对比图Fig. 14 Visual comparison with detection methods based on pixels on ASD database
图 15 ED1数据库上本文方法与基于像素的典型显著性检测算法的视觉效果对比图Fig. 15 Visual comparison with detection methods based on pixels on SED1 database
图 16 ED2数据库上本文方法与基于像素的典型显著性检测算法的视觉效果对比图Fig. 16 Visual comparison with detection methods based on pixels on SED2 database
图 17 OD数据库上本文方法与基于像素的典型显著性检测算法的视觉效果对比图Fig. 17 Visual comparison with detection methods based on pixels on SOD database本文方法与基于区域的显著性检测算法的视觉对比结果见图 18~21.当显著性区域与背景的颜色非常接近时,RC方法会失效,如图 18(b)第1排、图 20(b)第1排以及图 21(b)第2排的示例图像所示. 与RC方法相比,GC不仅考虑了颜色的全局对比度,同时结合了颜色空间分布信息,但是这种方法
图 18 SD数据库上本文方法与基于区域的典型显著性检测算法的视觉效果对比图Fig. 18 Visual comparison with detection methods based on regions on ASD database
图 19 ED1数据库上本文方法与基于区域的典型显著性检测算法的视觉效果对比图Fig. 19 Visual comparison with detection methods based on regions on SED1 database
图 20 ED2数据库上本文方法与基于区域的典型显著性检测算法的视觉效果对比图Fig. 20 Visual comparison with detection methods based on regions on SED2 database
图 21 OD数据库上本文方法与基于区域的典型显著性检测算法的视觉效果对比图Fig. 21 Visual comparison with detection methods based on regions on SOD database
图 22 SD数据库上本文方法与基于贝叶斯模型的的视觉效果对比图Fig. 22 Visual comparison with detection methods based on Bayesian model on ASD database本文方法与基于贝叶斯模型的显著性检测算法的视觉对比结果见图 22sim25.由图 22(b)、图 23(b)、图 24(b)以及图 25(b)中的所有示例图像可知,SUN方法所得到的显著图过分强调目标的边缘,而不是整个目标.由于SEG方法在整幅图像内的每个滑动窗口内对背景和显著性区域进行先验性假定,如图 22(c)、23(c)以及25(c)中的所有示例图像所示,该方法不能凸显目标与背景之间的显著性差别. 对于CHB方法,显著图的准确度取决于凸包所在的区域,当图像中的背景变得复杂时,背景区域的角点相应地变多,导致检测结果会出现显著范围过大的现象,如图 22(d)中第4 排、图 23(d) 中第2排的示例图像所示.与此类方法相比,本文方法使用了更精确的目标性作为先验概率,能够一致高亮地凸显整个显著性目标,显著区域的边界与目标边界吻合,如图 22(e)、图 23(e)、图 24(e)以及图 25(e)所示.
图 23 ED1数据库上本文方法与基于贝叶斯模型的的视觉效果对比图Fig. 23 Visual comparison with detection methods based on Bayesian model on SED1 database
图 24 ED2数据库上本文方法与基于贝叶斯模型的的视觉效果对比图Fig. 24 Visual comparison with detection methods based on Bayesian model on SED2 database
图 25 OD数据库上本文方法与基于贝叶斯模型的的视觉效果对比图Fig. 25 Visual comparison with detection methods based on Bayesian model on SOD database4. 总结
本文提出一种基于词袋模型的新的显著性目标检测算法,首次将具有更好区分度的中层语义特征-词袋模型应用到显著性目标检测领域,具有非常强的新颖性. 具体来说,该方法首先利用目标性计算先验概率显著图,然后利用超像素区域的词袋计算条件概率显著图,最后根据贝叶斯原理将二者进行合成.多个公开数据库上的对比实验结果表明本文方法具有更高的精度和更好的查全率,能够一致高亮地凸显图像中的显著性目标.
-
图 11 不同高斯半径下提取的高频图
Fig. 11 The extraction of high frequency diagram underdifferent radius of the Gaussian
图 12 不同高斯方差下提取的高频图
Fig. 12 Extraction of high frequency diagram underdifferent Gaussian
图 13 不同方差和不同匹配块下图像的质量
Fig. 13 Image quality under the different variance and the matching
表 1 测试图像分辨率
Table 1 The resolutions of the test images
Child Koala Girl Wheel 分辨率 128×128 161×241 151×225 207×157 
下载: 导出CSV
表 2 客观指标对比
Table 2 The comparison of objective indicators
图像 客观指标 Bicubic Getreuer Glasner Freedman 本文算法 PSNR 37.687 38.298 38.647 24.216 39.339 39.339 SSIM 0.986 0.988 0.989 0.830 0.991 EPI 0.497 0.517 0.562 0.560 0.588 Entropy 5.272 5.270 5.276 5.264 5.259 Clarity 5.260 5.450 5.901 5.064 6.173 Koala PSNR 38.716 39.101 39.483 29.431 39.738 SSIM 0.986 0.988 0.989 0.840 0.990 EPI 0.349 0.376 0.434 0.436 0.464 Entropy 4.819 4.831 4.839 4.885 4.895 Clarity 3.434 3.683 4.262 5.492 4.553 Girl PSNR 40.008 40.617 40.892 26.801 41.642 SSIM 0.991 0.992 0.993 0.860 0.994 EPI 0.444 0.467 0.518 0.533 0.541 Entropy 5.275 5.274 5.281 5.272 5.269 Clarity 3.480 3.643 4.023 3.950 4.219 Wheel PSNR 36.259 36.929 37.308 25.073 38.126 SSIM 0.980 0.983 0.984 0.821 0.986 EPI 0.517 0.551 0.603 0.649 0.663 Entropy 5.353 5.360 5.353 5.387 5.401 Clarity 5.140 5.454 6.029 6.177 6.621
下载: 导出CSV
表 3 所有测试图片的平均指标
Table 3 The average index of all test images
平均指标 PSNR SSIM EPI Entropy Clarity Bicubic 33.401 0.931 0.377 5.094 3.489 Getreuer 33.874 0.938 0.401 5.099 3.698 Glasner 34.179 0.945 0.456 5.098 4.216 Freedman 26.144 0.851 0.427 5.105 3.959
下载: 导出CSV
表 4 效率对比(s)
Table 4 The contrast of efficiency (s)
图像 Glasner Freedman 本文算法 Child 1861 377 93 Koala 4314 875 287 Girl 3923 748 200 Wheel 4819 636 185
下载: 导出CSV
-
[1] Nasrollahi K, Moeslund T B. Super-resolution:a comprehensive survey. Machine Vision and Applications, 2014, 25(6):1423-1468 doi: 10.1007/s00138-014-0623-4 [2] Balure C S, Kini M R. A survey-super resolution techniques for multiple, single, and stereo images. In:Proceedings the 5th International Symposium on Electronic System Design (ISED). Surathkal:IEEE, 2014.215-216 https://www.computer.org/csdl/proceedings/ised/2014/6965/00/index.html [3] 潘宗序, 禹晶, 肖创柏, 孙卫东. 基于多尺度非局部约束的单幅图像超分辨率算法. 自动化学报, 2014, 40(10):2233-2244 http://www.aas.net.cn/CN/abstract/abstract18498.shtmlPan Zong-Xu, Yu Jing, Xiao Chuang-Bai, Sun Wei-Dong. Single-image super-resolution algorithm based on multi-scale nonlocal regularization. Acta Automatica Sinica, 2014, 40(10):2233-2244 http://www.aas.net.cn/CN/abstract/abstract18498.shtml [4] Getreuer P. Contour stencils:total variation along curves for adaptive image interpolation. SIAM Journal on Imaging Sciences, 2011, 4(3):954-979 doi: 10.1137/100802785 [5] 肖进胜, 饶天宇, 贾茜, 唐路敏, 岳显昌. 改进的自适应冲击滤波图像超分辨率插值算法. 计算机学报, 2015, 38(6):1131-1139 http://www.cnki.com.cn/Article/CJFDTOTAL-JSJX201506003.htmXiao Jin-Sheng, Rao Tian-Yu, Jia Qian, Tang Lu-Min, Yue Xian-Chang. Interpolation algorithm based on improved adaptive shock filter in image super-resolution. Chinese Journal of Computers, 2015, 38(6):1131-1139 http://www.cnki.com.cn/Article/CJFDTOTAL-JSJX201506003.htm [6] Freedman G, Fattal R. Image and video upscaling from local self-examples. ACM Transactions on Graphics, 2011, 30(2):Article No.12 http://cn.bing.com/academic/profile?id=1976416062&encoded=0&v=paper_preview&mkt=zh-cn [7] Kawano H, Suetake N, Cha B, Aso T. Sharpness preserving image enlargement by using self-decomposed codebook and Mahalanobis distance. Image and Vision Computing, 2009, 27(6):684-693 doi: 10.1016/j.imavis.2008.07.013 [8] Zhang Y Q, Liu J Y, Yang W H, Guo Z M. Image super-resolution based on structure-modulated sparse representation. IEEE Transactions on Image Processing, 2015, 24(9):2797-2810 doi: 10.1109/TIP.2015.2431435 [9] Zhang Y Q, Xiao J S, Li S H, Shi C Y, Xie G X. Learning block-structured incoherent dictionaries for sparse representation. Science China Information Sciences, 2015, 58(10):1-15 http://cn.bing.com/academic/profile?id=888734479&encoded=0&v=paper_preview&mkt=zh-cn [10] Yang C Y, Huang J B, Yang M H. Exploiting self-similarities for single frame super-resolution. In:Proceedings of the 10th Asian Conference on Computer Vision (ACCV). Queenstown, New Zealand:Springer, 2011.497-510 [11] Glasner D, Bagon S, Irani M. Super-resolution from a single image. In:Proceedings of the 12th IEEE International Conference on Computer Vision (ICCV). Kyoto, Japan:IEEE, 2009.349-356 http://cn.bing.com/academic/profile?id=2017294772&encoded=0&v=paper_preview&mkt=zh-cn [12] Schulter S, Leistner C, Bischof H. Fast and accurate image upscaling with super-resolution forests. In:Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition. Boston, MA:IEEE, 2015.3791-3799 [13] Sajjad M, Ejaz N, Baik S W. Multi-kernel based adaptive interpolation for image super-resolution. Multimedia Tools and Applications, 2014, 72(3):2063-2085 doi: 10.1007/s11042-012-1325-4 [14] Barnsley M F. Fractal modeling of real world images. The Science of Fractal Images. New York:Springer, 1988.219-242 [15] Ebrahimi M, Vrscay E R. Solving the inverse problem of image zooming using ‘self-examples’. Image analysis and Recognition. Berlin Heidelberg:Springer, 2007.117-130 [16] Liu C, Shum H Y, Zhang C S. A two-step approach to hallucinating faces:global parametric model and local nonparametric model. In:Proceedings of the 2001 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR). Kauai, HI, USA:IEEE, 2001. I-192-I-198 [17] Yang M-C, Wang Y-C F. A self-learning approach to single image super-resolution. IEEE Transactions on Multimedia, 2013, 15(3):498-508 doi: 10.1109/TMM.2012.2232646 [18] Wu W, Liu Z, He X H. Learning-based super resolution using kernel partial least squares. Image and Vision Computing, 2011, 29(6):394-406 doi: 10.1016/j.imavis.2011.02.001 [19] Berkeley segmentation database (BSD)[online], available:http://www.eecs.berkeley.edu/Research/Projects/CS/vision/grouping/segbench/,March14,2014 [20] Wang Z, Bovik A C, Sheikh H R, Simoncelli E P. Image quality assessment:from error visibility to structural similarity. IEEE Transactions on Image Processing, 2004, 13(4):600-612 doi: 10.1109/TIP.2003.819861 [21] 肖进胜, 杜康华, 涂超平, 岳显昌. 基于多聚焦图像深度信息提取的背景虚化显示. 自动化学报, 2015, 41(2):304-311 http://www.aas.net.cn/CN/abstract/abstract18609.shtmlXiao Jin-Sheng, Du Kang-Hua, Tu Chao-Ping, Yue Xian-Chang. Bokeh display based on depth information extraction of multi-focus images. Acta Automatica Sinica, 2015, 41(2):304-311 http://www.aas.net.cn/CN/abstract/abstract18609.shtml [22] Xiao J S, Li W H, Liu G X, Shaw S L, Zhang Y Q. Hierarchical tone mapping based on image colour appearance model. IET Computer Vision, 2014, 8(4):358-364 doi: 10.1049/iet-cvi.2013.0230 期刊类型引用(7)
1. 徐少平，张贵珍，林珍玉，刘婷云，李崇禧. 一种多图像局部结构化融合的低照度图像增强算法. 自动化学报. 2022(12): 2981-2995 . 
本站查看2. 李亮亮，任佳，王鹏，吕志刚，孙梦宇，李晓艳，高武奇. 基于曝光融合的无人机航拍图像增强算法. 西北工业大学学报. 2022(06): 1327-1334 . 百度学术3. 何贵，钟羽中，李振阳，吴克江，佃松宜. 一种双曝光度图像融合算法. 微电子学与计算机. 2021(03): 21-26+32 . 百度学术4. 廖小兵. 光照不均下图像明暗区域关键目标增强仿真. 计算机仿真. 2018(07): 179-182+272 . 百度学术5. 刘哲，黄世奇，姜杰. 基于引导滤波和多尺度局部自相似单幅红外图像超分辨率方法. 计算机应用研究. 2018(04): 1236-1240+1245 . 百度学术6. 张杭琦，沈利华. 关于三维数字动画图像增强分辨率仿真. 计算机仿真. 2017(10): 305-308 . 百度学术7. 赵全宜，陈奕江，刘国栋. 广告标志图像真实性效果设计仿真. 计算机仿真. 2017(11): 236-239 . 百度学术其他类型引用(1)
-
下载:
计量
- 文章访问数: 2149
- HTML全文浏览量: 284
- PDF下载量: 674
- 被引次数: 8
