Image Texture Enhancement via Upscaling Algorithm Based on Contour Stencils and Self-learning
-
摘要: 提出一种以轮廓模板插值和局部自学习相结合的图像纹理增强超采样算法，有效地恢复了插值图像丢失的细节纹理，抑制了插值图像边缘的扩散.该方法通过局部自相似性在原始低分辨图像中估计高频信息，对轮廓模板插值图像的细节纹理进行了恢复.其中，为了弥补轮廓模板插值缺少先验知识的缺陷，将原始低分辨率图像的高频信息作为先验知识.为了保证估计的高频信息最优，匹配的过程中采用双匹配，相比较于全局搜索和小窗搜索，提高了效率并保证了匹配精度.此外，使用高斯模糊代替了传统提取高频信息的方法，简化了算法的复杂度，提高了准确性和效率.对估计得到的高频信息采用高斯函数加窗，以减小估计出错和重叠区的混叠影响.本文算法的训练库由原始低分辨图像自身和插值图像构成，节省了生成训练库所需的时间和空间.训练库的简化使得高频信息的估计可以多尺度进行，算法效率得到进一步优化.理论分析和实验结果表明，相比传统的基于插值、基于自学习的图像超分辨率方法，本文方法获得更好的实验结果，主观效果得到明显改善，有效地恢复了图像的纹理细节，提高了图像边缘锐度，避免了产生锯齿等人工效应，客观指标得到提高.Abstract: An image texture enhancement via upscaling algorithm based on interpolation of contour stencils and local self-learning is proposed in this paper, by which the lost detail texture of the interpolated image is effectively recovered and the edge diffusion in image magnification is decreased. In this method, the detail texture of the interpolated image is estimated by local self-similarity in the original low-resolution image. To make up the lack of prior knowledge of the interpolation algorithm, the high frequency information of original low-resolution image works as a priori knowledge. In order to estimate the best high-frequency information, the use of dual matches improves efficiency and accuracy, compared to the global search and the small window search. Instead of the traditional high frequency information extraction method, Gaussian blur is used to reduce the complexity of the algorithm. In addition, adding window on the estimated high-frequency information by Gaussian function inhibits the aliasing effect of overlapping area, as well as reduces the influence of the estimation error. To save space and time, the training library in this paper consists of original low-resolution image and the interpolated image. Simplifying training library makes high-frequency information estimated in a single multi-scale, so the algorithm efficiency is further improved. Theoretical analysis and experimental results show that, the proposed method outperforms other comparing algorithms including the traditional interpolation algorithm and the related algorithms based on self-learning in terms of both objective and visual quality of the interpolation image. The method recovers the detail texture of the image effectively, and enhances the sharpness, also avoids producing the artificial such as sawtooth effect.
-
Key words:
- Upscaling /
- image interpolation /
- self-learning /
- texture enhancement
-
图像超分辨率技术是现在图像处理研究的一个重要领域,其在数字高清、~医学图像、卫星图像分析、安全检测等领域有十分广泛的用途.在图像超分辨率技术中,将低分辨率图像放大为高分辨率图像并保留图像的高频信息的超采样技术一直以来都是图像处理领域研究的热点之一[1].目前超分辨率技术主要有基于重建的超分辨率技术和基于学习的超分辨率技术两大类[2-10].基于重建的超分辨率技术存在先验知识少、结果图像纹理细节丢失严重、边缘模糊等问题.比如,Getreuer[4]利用高低分辨率图像的轮廓一致性,选取合适的轮廓模板进行插值得到高分辨率图,提高了插值算法的性能,但纹理细节部分有所缺失、边缘模糊[5].为了克服基于重建的超分辨算法的缺陷,基于学习的超分辨率算法在一些训练样本图像的辅助下,复原出高分辨率图像.但目前基于学习的超分辨率算法多数需要外部的训练库,内存和时间消耗较大,且算法复杂度高,应用受到了限制.针对训练库的问题,文献[6-11]提出使用图像的自相似性,通过自身建立训练库,然后使用基于学习的超分辨率技术进行图像复原,取得了不错的效果. 但基于自相似的图像超采样算法各有自己的不足.Freedman等[6]使用简单的灰度信息作为特征,使得复原效果提升有限; 文献[7-10]使用稀疏表示技术,通过自相似性建立冗余字典或典书(Codebook)进行超分辨率复原,取得不错的效果,但是该算法复杂度较大;Glasner等[11]由输入图像采用金字塔的形式构建训练库,利用图像块的冗余度并结合传统超分辨算法和基于样本的超分辨率算法,得到了较好的算法结果,但是算法容易产生人工痕迹.
针对传统插值超采样算法和相关的基于学习的超分辨率算法的缺陷[12-13],在考察了局部自相似性学习的超采样方法各自的优势后,本文在轮廓模板插值的基础上,利用原始低分辨率图像的局部自相似性提供先验知识,估计补充高分辨率图像纹理部分,实现了一种基于轮廓模板和局部自学习的图像纹理增强超采样算法.算法以轮廓模板插值得到保持原始图像轮廓的初始插值图像,以低分辨率图像为先验知识,通过二级块匹配学习,估计插值图像丢失的高频信息,然后将估计得到的高频细节信息合成到初始插值图像上,得到纹理增强的超采样图像. 原始低分辨率图像的高频信息作为先验知识,弥补了轮廓模板插值缺少先验知识的缺陷.高斯模糊代替了传统提取高频信息的方法,简化了算法的复杂度,提高了准确性. 采用二级块匹配,相较于传统的全局搜索,在保证匹配精度的同时,提高了效率. 高斯函数加窗,抑制重叠区的混叠影响,同时也减小了估计出错的影响.算法的学习训练库由原始低分辨率图像本身和插值图像组成,进一步简化了由原始低分辨率图像及其变形图像和插值图像组成的学习训练库,使得高频信息的估计在原始低分辨率图像和插值得到的高分辨率图像这一个多尺度进行,相比较于多级多尺度,时间和空间的消耗明显地被减少.本算法综合考虑了超采样图像的轮廓和细节两个部分,理论分析和实验表明本文算法具有较好的性能,特别是在边缘和纹理增强方面,超采样图像无论是主观的视觉效果还是客观的评判指标上都取得较好的结果.
1. 估计高分辨率图像高频信息的基本原理
基于学习的超分辨率方法,由于需要外部数据库,其应用受到极大限制.自然图像中的小块往往会在图像内及其缩放图内重复出现[6, 14-16],这使得能够在小尺度下用输入图像本身来替换外部数据库作为样例块的来源.虽然和外部数据库相比,提供的样例块的数量有限,但从输入图像中找到的块相关性更强. 因此,在许多情况下,可以使用较少的样例,将获得相同或更好的结果,同时减少所涉及的最近邻搜索的时间成本.但是完全由局部自相似性得到超分辨率图像往往算法复杂度还是较大.插值得到的放大图像,由于缺少必要的先验知识,纹理细节和自然图像相比,会有所损失. 针对这一问题,为了使放大图像的高频信息具有原始低分辨率图像的细节特征,本文利用原始低分辨率图像的纹理提供先验知识,利用局部自相似性,补充插值得到的高分辨率图像的高频细节信息.设原始低分辨率图像为IL,初始插值图像为II,高分辨率图像为IH,超分辨率复原需解决的问题是在已知IL的条件下,估计出最优的IH.算法的基本思想是在初始插值的基础上,利用原始低分辨率图像的纹理特征估计出高分辨率图像的高频信息H.目前最常用的方法为最大后验概率法(Maximum a posteriori,MAP),即求使条件概率P(H|IL)最大时的H. 在估计高频信息的过程中,高频信息条件独立于低频信息[17],即有:
$ P(H\vert I_L )=P(H\vert I_LH ,I_LL )\approx P(H\vert I_LH )$
(1) 其中,ILH 和ILL 分别为IL的高频和低频部分.根据贝叶斯估计理论有:
$ P(H\vert I_LH )=\frac {P(H,I_LH )}{P(I_LH)}$
(2) 其中,P(ILH )为低分辨率图像高频信息的先验概率;P(H,ILH)为高分辨率图像的高频信息和原始低分辨率图像的高频信息的联合概率.为了求得最优的高频信息H,须求取使联合概率P(H,ILH )取最大值的H. 提取IL 的高频特征即可获得ILH ,因此P(ILH)可认为是一个已知的常数. 这样估计高频信息的问题变为
$ H=\arg \max P(H,I_LH )$
(3) 由于图像尺寸太大,维数太高,因此通常将图像划分为图像块进行处理.图像块之间的关系模型可通过马尔科夫模型[17]建立.但是求解该模型需要反复迭代,计算量较大.
一般意义下,可以认为块与块之间是相互独立的,相邻块之间的方块效应可通过重叠分块[18]来解决.这样我们可以得到:
$\begin{equation}\begin{array}{l} P(H,I_{LH} )=P(H_1 ,H_2 ,\cdots,H_n ,I_{LH_1 },~~~~~~~~~~~~~~~\\ ~~~~~~~~~~~~~~~~~~~~~~I_{LH_2 } ,\cdots,I_{LH_n } )=\prod\limits_{k=1}^n {P(H_k ,I_{LH_k } )} \\ \end{array}\end{equation}$
(4) 其中,Hk 和ILHk 分别表示H和ILH 的第k个块;n为图像块的数目. 通过式(4)可知,只要获得使联合概率P(Hk,ILHk ) 最大的高频信息块Hk ,那由这些Hk拼接而成的高频信息图像的联合概率也最大.
在估计高频信息的过程中,先找到其低频信息块,然后估计高频信息.由式(4)知道只要获得使P(Hk,ILHk )最大时Hk对应的低频信息Lk即可由低频和高频一一对应的关系估计得到高频信息.由贝叶斯估计理论我们有:
$ P(L_k|I_k )=\frac {P(L_k ,I_k )}{P(I_k )}$
(5) 其中,Ik 为待复原图像块,P(Lk,Ik )为Hk对应的低频Lk和待复原图像块Ik 的联合概率,待复原图像块的概率P(Ik )为已知常数.
联合概率P(Lk ,Ik )可以表示为
$ P(L_k ,I_k )=\exp \Big(\frac {-\left| {I_k -L_k }\right|^2}{2\sigma ^2}\Big)$
(6) 其中,σ 为常数,Ik 和Hk 对应的低频信息Lk均来自由IL和II 组成的图像训练集.那么求使式(\ref{eq6})达到最大时的Lk的取值问题,就可以转换为
$ L_k =\arg \min \left| {I_k -L_k } \right|$
(7) 我们可以将训练库中与待复原图像块Ik 最相似的低频信息块Lk,其所对应的高频信息块Hk ,作为高频信息块的最优估计.Lk和Ik的误差有可能会比较大,Hk会不准确,为此引入高斯窗函数对Hk加窗:
$ H_ks =H_k G_σ (\left\| { x}-{ x}_c\right\|)$
(8) 其中, ${{G}_{\sigma }}(\left\| x-{{x}_{c}} \right\|)=\frac{1}{2\pi {{\sigma }^{2}}}{{\text{e}}^{-\frac{{{\left\| x-{{x}_{c}} \right\|}^{2}}}{2{{\sigma }^{2}}}}}$ 为高斯窗函数. 至此,我们就可以利用低分辨率图像来估计高频信息.
2. 算法框架及实现细节
2.1 算法框架
本算法框架主要分为四个部分:分块、定位、匹配、合成.具体流程见算法1.
算法 1 局部自学习纹理增强超采样算法
1) 将输入的图像IL 经轮廓模板插值得到初始插值图像II .
2) 提取IL 的低频ILL 和高频ILH .
3) 将II 按规则划分成块,块的集合为B.
4) 取其中一个块Ik(Ik ∈ B)在ILL 中找到一个与Ik对应的点p.
5) 以p为中心,在其邻域内进行块粗匹配,找到一个块的总变分最小的匹配块控制点p1 . 以p1 为中心,在其邻域内进行块细匹配,找到最佳块匹配控制点p2 .
6) 以找到的最佳块匹配点p2 为顶点,构造一个块R(R⊂ILL ),通过低频和高频一一对应关系得到R对应的高频Hk .
7) 将Hk 加窗得到的Hks 拼接成具有II尺寸的高频信息H.
8) 将H叠加到II上合成具有原始低分辨率图像IL 纹理特征的超分辨率图像IH .\end{itemize}算法的详细原理图如图 1.
算法中将原始低分辨率图像的高频信息作为先验知识,弥补了基于插值的图像超采样算法缺少先验知识的缺陷,提高了输出图像的质量. 采用双匹配,相比较于全局搜索和小窗搜索,在时间和匹配精度方面做了有效的折衷. 采用高斯函数加窗,相比较于伯明翰窗和滤波器组,简化了算法的复杂度.本文算法在原始低分辨图像/插值得到的高分辨率图像这一个多尺度进行,采用高斯函数加窗就能很好地解决重叠区的影响,相比较于在多级多尺度进行的Glasner算法和Freedman算法采用伯明翰窗和滤波器组,简化了算法的复杂度.
2.2 插值和分块
对于输入的原始低分辨率图像IL,本文首先采用插值算法将其放大得到初始高分辨率图像II.插值算法的选取会对最终结果产生一定影响,一个较好的插值算法必然会得到一个较好的最终结果.本文选取Getreuer的轮廓模板插值算法[4].算法利用高分辨率图像的轮廓与输入的低分辨率图像的轮廓保持一致的特性,事先估计自然图像轮廓的形状得到了具有57个轮廓模板的待选模板的集合.对于输入的低分辨率图像的每个像素点计算其为中心的邻域的轮廓模板值,选取合适的模板进行插值,最终得到了较好的高分辨率图像.轮廓模板插值算法在保持插值图像整体轮廓和细节等方面都取得了很好的效果,但是由于缺少先验知识,得到的高分辨率图像和自然图像相比,纹理部分有所缺失.本文算法将其进一步处理,补充高频的纹理细节部分. 提取低分辨率图像IL的低频ILL 和高频ILH,输入图像由低频和高频组成,用如下方法提取低频:
$ I_LL =I_L \ast G_\sigma$
(9) 其中,“*”为卷积符号,G\sigma 为高斯核函数. 求得低频ILL 后,高频ILH =IL -ILL .
对II 进行逐点划分块,即对图像中的每个像素点Ik ∈ II ,其坐标为(Ikx ,Iky ). 以Ik 为左上角控制顶点,构造一个大小为i× i的超分辨率图像待匹配块Bi (Ikx,Iky ). i为4时,分块示意图如图 2.
图 2显示了一个块的划分. 每个小方格代表一个像素点,其中黑色框代表以黑色小方格为顶点的4×4的块.
2.3 定位
找到待匹配块Bi (Ikx ,Iky )的控制点Ik ,在原始低分辨率图像IL 的低频ILL 上对应的像素点p,其坐标为(px ,py ),计算如下:
$ p_x =\frac {I_kx}{scale},\quad p_y =\frac{I_ky}{scale}$
(10) 其中,scale为图像缩放因子. 如图 3.
图 3显示了一个10× 10的II 中的点Ik 在其对应的5×5的ILL 中对应的定位点p. 每个小方格代表一个像素点,其中左边黑色框代表以黑色小方格为顶点(Ik )的待匹配块Bi ,右边的黑色小方格为在ILL 上的对应定位点p. 以p为中心控制点,构造一个块搜索范围.
2.4 匹配学习
匹配分为粗匹配和细匹配. 块匹配的过程中,本文采用两个块对应点像素值之差的绝对值之和(Sum of absolutedifference,SAD)最小为匹配准则.在搜索范围内(这里为5×5的区域),采用“X”型搜索,找到4个待匹配像素点,如图 4(a)所示灰色方格,作为控制点,构造图 2所示块. 如图 4(b)所示共对应有4个块.将这4个块依次与Bi进行匹配,在匹配准则下得到粗匹配块的控制点p1,粗匹配完成.
然后进行细匹配,以粗匹配块控制点p1为中心点,构造另一个块搜索范围(这里为3×3的区域),如图 4(c),由搜索范围内的每个像素点作为控制点,构造图 2所示块,得到以p2为控制点的最佳匹配块R=Bi (p2x ,p2y),如图 4(d). Glasner算法采用最近邻域搜索匹配[11],Freedman算法在一个受限的小窗内进行全局匹配[6].匹配的过程中,本文的算法是在单一的尺度上进行多次匹配,由插值图像和原始图像提供样本块和学习块.Freedman算法[6]和Glasner算法[11]都是将原始图像经过降采样得到一系列尺度不同的低分辨率图像,由原始图像及其下采样图像提供样本块和学习块.文献[6, 11]算法使用原始图像及下采样图像信息,而本文算法更多地利用了原始图像信息,算法相对更简洁.
2.5 加窗及合成
图像的纹理特征往往在其高频部分得以体现,为了恢复出超采样后的图像II 的纹理,需要将原始低分辨率图像IL的高频信息以某一形式加入到II 中.
相比于Freedman[6]的算法将简单的灰度信息作为高频特征,这里用高斯卷积求得的高频信息效果更好.Freedman算法的前提是图像先经下采样,后经上采样回来后高频信息全部丢失,这只是理想状况.而用高斯模糊求取高频信息时只要保证参数最佳,即可提取出较全的高频信息,二者提取的高频信息如图 5所示.图 5中二者相比较,本文算法求得的高频较为准确,其他不属于高频的部分剔除的比较干净.
在上文中找到了超分辨率图像待匹配块Bi(Bi ⊂ II)在ILL 中的最佳匹配块R.由低频信息和高频信息一一对应的关系得到最佳匹配块R在ILH中对应的高频信息Hk 不能简单地加到II上,需要进行加窗处理.本算法在原始低分辨图像插值得到的高分辨率图像这一个多尺度进行,相比于多尺度图像中进行的算法而言,重叠区影响不大且重叠的程度不高,且高频部分本文算法提取的较为准确,故本算法采用高斯函数就能抑制重叠区的影响. Hk 加窗后得到Hks.
$ H_ks =H_k G_\sigma (\left\| { x}-{ x}_c\right\|)$
(11) 其中, ${{G}_{\sigma }}(\left\| x-{{x}_{c}} \right\|)=\frac{1}{2\pi {{\sigma }^{2}}}{{\text{e}}^{-\frac{{{\left\| x-{{x}_{c}} \right\|}^{2}}}{2{{\sigma }^{2}}}}}$ 为高斯窗函数.
最后将所有估计得到的高频信息块拼接得到H,与II合成即得到超分辨率图像IH .
$ I_H =I_I +H$
(12) 3. 实验结果及分析
为了验证本文提出的基于原始低分辨率图像的纹理合成的超采样插值算法方法的有效性,本文选择Getreuer插值[4]对低分辨率图像进行插值得到初始高分辨率图像,然后同Glasner算法[11]、Freedman算法[6]及其他经典插值算法和本文方法进行对比.实验测试使用的仿真软件为: Matlab R2012a; 操作系统为Windows XP;计算机配置为: Intel Core i3-3220 CPU,主频3.3GHz,内存4GB DDR31333MHz.
图像效果用主观效果和客观效果评价. 本文对大量图像进行了测试,测试图像来源于加州大学伯克利分校图像分割数据库[19].经分析选择其中纹理丰富、对算法非常敏感的测试图像Child、Koala、Girl和Wheel进行实验对比展示.测试图像见图 6,其分辨率参数如表 1.为了使算法对比效果更明显,缩放因子取为4. 测试方法为:首先将原始低分辨率图像经Getreuer轮廓模板插值放大,然后经本文算法得到超分辨率图像. 将处理得到的超分辨率图像和Glasner算法、Freedman算法及其他经典插值算法得到的图像进行对比.
表 1 测试图像分辨率Table 1 The resolutions of the test imagesChild Koala Girl Wheel 分辨率 128×128 161×241 151×225 207×157 3.1 主观效果
参数设置: 实验过程中通用参数一般设置相同,保证实验结果的合理性.求原始低分辨率图像高频信息的高斯函数的高斯半径为3,方差为0.46,给块加窗的高斯函数的高斯半径为4,方差为5,块的尺寸为4,粗匹配时的搜索范围为[-2,2],搜索步长为2,细匹配时的搜索范围为[-1,1],搜索步长为1. 实验过程中,针对不同的算法,选取各自算法最合适的参数以达到最好的效果.同一算法对不同图像选取相同的参数. 主观效果如图 7~10所示,选择高分辨率图像的部分(如图中方框标记的部分)进行局部对比.对图 7的处理中,Bicubic和Getreuer算法在帽子的边缘处有很宽的过渡、锐度不够;Glasner算法在帽子的边缘处产生了伪影;Freedman 的边缘保持的很好,本文算法保持的最好,两者均没有伪影等不良现象产生. 对图 8中的枝条,Bicubic和Getreuer算法中没有很好的清晰度和锐度;Glasner算法的清晰度和锐度都很好,但在枝条的右下方有类似于残影的不良现象产生; 在相同的地方,Freedman算法比Glasner有更为严重的类似于残影的不良现象;本文算法不仅没有不良现象产生,而且具有非常好的清晰度和锐度.图 9中,Bicubic和Getreuer算法得到的眉毛和睫毛纹理不丰富、偏模糊;Glasner、Freedman算法和本文算法得到了纹理较为丰富的眉毛和睫毛,但对头发部分,本文算法的纹理比Glasner和Freedman丰富. 在图 10效果图中,Glasner、Freedman和本文算法比，Bicubic和Getreuer在对比度和细节保持等方面得到的效果明显好,而本文算法的图像尤为清晰,细节部分尤为的突出. 因此,从主观效果来看,本文算法效果整体优于对比算法.
3.2 客观效果
对客观效果,采用峰值信噪比(Peak signal to noise ratio,PSNR)、图像的结构相似性(Structural SIMilarity,SSIM)[20]、 边缘保持度(Edge preserved index,EPI)[21]、图像的熵(Entropy)和图像清晰度(Clarity)[22]进行测试对比.
峰值信噪比(PSNR)是对重建图像与原始图像的误差进行定量计算.图像的结构相似性(SSIM)用来衡量两幅图像的相似度.边缘保持指数(EPI)通过衡量从输入图像到输出图像的边缘信息保持评价算法的性能,值越大边缘保持越好,理想情况下为1,计算公式如下:
$ {\rm EPI}=\frac{\sum {\left| {p_s -p_sn } \right|}}{\sum {\left| {p_o -p_on } \right|} }$
(13) 式中,ps 为处理后的图像像素点的灰度值,psn为ps相邻像素点的灰度值,po 为原始图像像素点的灰度值,pon 为po相邻像素点的灰度值. 图像的信息熵[22]越大,可以说明图像包含的信息量越大;图像清晰度可以描述图像微小的细节,一般采用平均梯度[22]衡量.
本文用以上5个指标对图像进行客观评价,对上述6幅测试图像和源于加州大学伯克利分校图像分割数据库[19]共100幅进了测试.测试的方法:由于PSNR、SSIM和EPI的计算需要真实图像作参考,而部分图像缺失高分辨率的真实图像,故将原始低分辨率图像作为高分辨率的真实图像下采样到原来的1/16,然后利用本算法和其他算法以缩放因子为4进行上采样,计算PSNR、SSIM、EPI、Entropy和Clarity. 测试的结果如表 2和表 3所示,其中表 2为上述6幅测试图像的测试结果,表 3是对100幅图片的统计结果平均值.由表 2的客观指标可知,除个别指标和图片外,本文算法的大部分指标均表现最优,与原始图像的误差最小. Freedman牺牲了部分纹理,使图像过于锐化,局部EPI、Entropy和Clarity值比本文算法高;Glasner算法清晰度有所牺牲,局部的Entropy值比本文算法高.
表 2 客观指标对比Table 2 The comparison of objective indicators图像 客观指标 Bicubic Getreuer Glasner Freedman 本文算法 PSNR 37.687 38.298 38.647 24.216 39.339 39.339 SSIM 0.986 0.988 0.989 0.830 0.991 EPI 0.497 0.517 0.562 0.560 0.588 Entropy 5.272 5.270 5.276 5.264 5.259 Clarity 5.260 5.450 5.901 5.064 6.173 Koala PSNR 38.716 39.101 39.483 29.431 39.738 SSIM 0.986 0.988 0.989 0.840 0.990 EPI 0.349 0.376 0.434 0.436 0.464 Entropy 4.819 4.831 4.839 4.885 4.895 Clarity 3.434 3.683 4.262 5.492 4.553 Girl PSNR 40.008 40.617 40.892 26.801 41.642 SSIM 0.991 0.992 0.993 0.860 0.994 EPI 0.444 0.467 0.518 0.533 0.541 Entropy 5.275 5.274 5.281 5.272 5.269 Clarity 3.480 3.643 4.023 3.950 4.219 Wheel PSNR 36.259 36.929 37.308 25.073 38.126 SSIM 0.980 0.983 0.984 0.821 0.986 EPI 0.517 0.551 0.603 0.649 0.663 Entropy 5.353 5.360 5.353 5.387 5.401 Clarity 5.140 5.454 6.029 6.177 6.621 表 3 所有测试图片的平均指标Table 3 The average index of all test images平均指标 PSNR SSIM EPI Entropy Clarity Bicubic 33.401 0.931 0.377 5.094 3.489 Getreuer 33.874 0.938 0.401 5.099 3.698 Glasner 34.179 0.945 0.456 5.098 4.216 Freedman 26.144 0.851 0.427 5.105 3.959 3.3 参数对图像性能的影响
实验中提取高频信息的高斯函数、用于加窗的高斯核函数以及匹配块的大小对结果图像的质量有一定影响,为了知道它们对结果图像质量的影响程度,做了定性的实验分析.
实验过程中设置提取高频信息的高斯函数的半径分别为3~7,得到如图 11所示的高频图,对比发现不同半径下的高频图几乎没有差异,故实际中选取为3; 设置高斯函数的方差分别为0.35,0.4,0.46,0.5,0.55. 得到如图 12所示的高频图,观察发现方差较小时,一些高频信息提取不到,方差较大时,提取的冗余信息较多,这是因为方差决定了高斯函数滤波的能力,方差为0.46时得到较好的高频信息.
图 11 不同高斯半径下提取的高频图Fig. 11 The extraction of high frequency diagram underdifferent radius of the Gaussian
图 12 不同高斯方差下提取的高频图Fig. 12 Extraction of high frequency diagram underdifferent Gaussian高斯核函数的高斯方差分别设置为3~7,得到结果图并计算PSNR,SSIM,EPI,Entropy以及Clarity图像质量指标值,得到如图 13(a)所示不同方差下图像质量折线图,为了便于观察,图中各指标均取相对值. 观察发现随着方差的增大,PSNR,SSIM和Clarity逐渐变小,而Entropy逐渐变大,方差在[3, 4]的时候,EPI呈递减趋势,在[4, 5]时呈递增趋势,随后随着方差的增大,EPI呈递减趋势并趋于平稳,这是因为方差越大,用于合成的高斯信息越少,得到的图像的亮度等改变越小,而重叠区的影响变大,故随着方差的增大,PSNR、SSIM和Clarity逐渐变小,而Entropy逐渐变大,方差在[3, 4]的时候,远离高频块中心区域的值比较大,合成后造成了结果图像边缘的扩散,故EPI呈递减趋势,在[4, 5]时,远离高频块中心区域的值比较小,扩散被抑制了,EPI呈递增趋势,随后随着方差的增大,重叠区的影响变大,出现了油画效果,EPI呈递减趋势并趋于平稳,综合考虑,方差为5时图像的整
图 13 不同方差和不同匹配块下图像的质量Fig. 13 Image quality under the different variance and the matchingoindent 体质量最好,由于高斯核的半径必须和块的尺寸一致,故不做单独考虑.块的尺寸分别设置为3×3,4×4,5×5,6×6,7×7,得到结果图并计算PSNR、SSIM、EPI、Entropy以及Clarity图像质量指标值,为了便于观察,图中各指标均取相对值.得到如图 13(b)所示不同尺寸块下图像质量折线图,发现随着块越大,PSNR、SSIM和Entropy呈变小的趋势,块的尺寸在[3, 5]时,EPI和Clarity会变小,在[5, 6]时变大,随后又变小,综合比较块尺寸为3×3时,图像质量最好,但块小了,势必匹配范围要大,耗时多,尺寸大于4×4时PSNR、SSIM和Entropy会变小很多,故选取4×4比较合适.
3.4 效率对比
由于本文方法和文献[6, 11]中的方法均为初始插值加自相似细节处理,因此效率对比可以作为参考. 具体测试方法如下:选取4个具有代表性的测试图像,将测试图像用本文算法、Glasner算法和Freedman算法上采样16倍,在相同的测试环境中,使用同一算法对每个测试图像进行10次测试,将每组测试时间求平均后,取整并记录耗时情况.测试的结果(单位为秒)如表 4所示.
表 4 效率对比(s)Table 4 The contrast of efficiency (s)图像 Glasner Freedman 本文算法 Child 1861 377 93 Koala 4314 875 287 Girl 3923 748 200 Wheel 4819 636 185 这里效率测试结果虽然不能严格反映算法的计算量差别,但是测试结果能定性地反映本文算法效率优于对比算法.
4. 结论
本文提出一种将轮廓模板插值和局部自相似性相结合的图像纹理增强超采样算法.该算法结合了轮廓模板插值和局部相似性各自的优势,充分利用了原始低分辨率图像提供的高频信息,将原始低分辨率图像的高频信息作为先验知识,弥补了轮廓模板插值算法缺少先验知识的缺陷,利用局部相似性估计恢复插值图像的纹理细节,提高了输出图像的质量.算法采用“X”型粗匹配和“3× 3”块的细匹配,相比较于全局搜索和小窗搜索,在效率和匹配精度中取得较好的折衷.训练库由原始低分辨图像和插值图像构成,相比于其他由一系列多尺度图像生成训练库的自相似算法和其他基于学习的算法,节省了时间和空间. 相比较于在多级多尺度下采用的伯明翰窗和滤波器组,本文采用高斯函数加窗在解决重叠区的影响的同时简化了算法的复杂度.实验结果表明,本文方法提高了图像的清晰度,极大程度地恢复了纹理细节,主观效果得到改善,客观效果整体得到提升. 尽管如此,本文算法还可以在效率的数值分析、噪声被引入和大比例超分辨率情形下的结果做进一步的深入研究.
-
图 11 不同高斯半径下提取的高频图
Fig. 11 The extraction of high frequency diagram underdifferent radius of the Gaussian
图 12 不同高斯方差下提取的高频图
Fig. 12 Extraction of high frequency diagram underdifferent Gaussian
图 13 不同方差和不同匹配块下图像的质量
Fig. 13 Image quality under the different variance and the matching
表 1 测试图像分辨率
Table 1 The resolutions of the test images
Child Koala Girl Wheel 分辨率 128×128 161×241 151×225 207×157 
下载: 导出CSV
表 2 客观指标对比
Table 2 The comparison of objective indicators
图像 客观指标 Bicubic Getreuer Glasner Freedman 本文算法 PSNR 37.687 38.298 38.647 24.216 39.339 39.339 SSIM 0.986 0.988 0.989 0.830 0.991 EPI 0.497 0.517 0.562 0.560 0.588 Entropy 5.272 5.270 5.276 5.264 5.259 Clarity 5.260 5.450 5.901 5.064 6.173 Koala PSNR 38.716 39.101 39.483 29.431 39.738 SSIM 0.986 0.988 0.989 0.840 0.990 EPI 0.349 0.376 0.434 0.436 0.464 Entropy 4.819 4.831 4.839 4.885 4.895 Clarity 3.434 3.683 4.262 5.492 4.553 Girl PSNR 40.008 40.617 40.892 26.801 41.642 SSIM 0.991 0.992 0.993 0.860 0.994 EPI 0.444 0.467 0.518 0.533 0.541 Entropy 5.275 5.274 5.281 5.272 5.269 Clarity 3.480 3.643 4.023 3.950 4.219 Wheel PSNR 36.259 36.929 37.308 25.073 38.126 SSIM 0.980 0.983 0.984 0.821 0.986 EPI 0.517 0.551 0.603 0.649 0.663 Entropy 5.353 5.360 5.353 5.387 5.401 Clarity 5.140 5.454 6.029 6.177 6.621
下载: 导出CSV
表 3 所有测试图片的平均指标
Table 3 The average index of all test images
平均指标 PSNR SSIM EPI Entropy Clarity Bicubic 33.401 0.931 0.377 5.094 3.489 Getreuer 33.874 0.938 0.401 5.099 3.698 Glasner 34.179 0.945 0.456 5.098 4.216 Freedman 26.144 0.851 0.427 5.105 3.959
下载: 导出CSV
表 4 效率对比(s)
Table 4 The contrast of efficiency (s)
图像 Glasner Freedman 本文算法 Child 1861 377 93 Koala 4314 875 287 Girl 3923 748 200 Wheel 4819 636 185
下载: 导出CSV
-
[1] Nasrollahi K, Moeslund T B. Super-resolution:a comprehensive survey. Machine Vision and Applications, 2014, 25(6):1423-1468 doi: 10.1007/s00138-014-0623-4 [2] Balure C S, Kini M R. A survey-super resolution techniques for multiple, single, and stereo images. In:Proceedings the 5th International Symposium on Electronic System Design (ISED). Surathkal:IEEE, 2014.215-216 https://www.computer.org/csdl/proceedings/ised/2014/6965/00/index.html [3] 潘宗序, 禹晶, 肖创柏, 孙卫东. 基于多尺度非局部约束的单幅图像超分辨率算法. 自动化学报, 2014, 40(10):2233-2244 http://www.aas.net.cn/CN/abstract/abstract18498.shtmlPan Zong-Xu, Yu Jing, Xiao Chuang-Bai, Sun Wei-Dong. Single-image super-resolution algorithm based on multi-scale nonlocal regularization. Acta Automatica Sinica, 2014, 40(10):2233-2244 http://www.aas.net.cn/CN/abstract/abstract18498.shtml [4] Getreuer P. Contour stencils:total variation along curves for adaptive image interpolation. SIAM Journal on Imaging Sciences, 2011, 4(3):954-979 doi: 10.1137/100802785 [5] 肖进胜, 饶天宇, 贾茜, 唐路敏, 岳显昌. 改进的自适应冲击滤波图像超分辨率插值算法. 计算机学报, 2015, 38(6):1131-1139 http://www.cnki.com.cn/Article/CJFDTOTAL-JSJX201506003.htmXiao Jin-Sheng, Rao Tian-Yu, Jia Qian, Tang Lu-Min, Yue Xian-Chang. Interpolation algorithm based on improved adaptive shock filter in image super-resolution. Chinese Journal of Computers, 2015, 38(6):1131-1139 http://www.cnki.com.cn/Article/CJFDTOTAL-JSJX201506003.htm [6] Freedman G, Fattal R. Image and video upscaling from local self-examples. ACM Transactions on Graphics, 2011, 30(2):Article No.12 http://cn.bing.com/academic/profile?id=1976416062&encoded=0&v=paper_preview&mkt=zh-cn [7] Kawano H, Suetake N, Cha B, Aso T. Sharpness preserving image enlargement by using self-decomposed codebook and Mahalanobis distance. Image and Vision Computing, 2009, 27(6):684-693 doi: 10.1016/j.imavis.2008.07.013 [8] Zhang Y Q, Liu J Y, Yang W H, Guo Z M. Image super-resolution based on structure-modulated sparse representation. IEEE Transactions on Image Processing, 2015, 24(9):2797-2810 doi: 10.1109/TIP.2015.2431435 [9] Zhang Y Q, Xiao J S, Li S H, Shi C Y, Xie G X. Learning block-structured incoherent dictionaries for sparse representation. Science China Information Sciences, 2015, 58(10):1-15 http://cn.bing.com/academic/profile?id=888734479&encoded=0&v=paper_preview&mkt=zh-cn [10] Yang C Y, Huang J B, Yang M H. Exploiting self-similarities for single frame super-resolution. In:Proceedings of the 10th Asian Conference on Computer Vision (ACCV). Queenstown, New Zealand:Springer, 2011.497-510 [11] Glasner D, Bagon S, Irani M. Super-resolution from a single image. In:Proceedings of the 12th IEEE International Conference on Computer Vision (ICCV). Kyoto, Japan:IEEE, 2009.349-356 http://cn.bing.com/academic/profile?id=2017294772&encoded=0&v=paper_preview&mkt=zh-cn [12] Schulter S, Leistner C, Bischof H. Fast and accurate image upscaling with super-resolution forests. In:Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition. Boston, MA:IEEE, 2015.3791-3799 [13] Sajjad M, Ejaz N, Baik S W. Multi-kernel based adaptive interpolation for image super-resolution. Multimedia Tools and Applications, 2014, 72(3):2063-2085 doi: 10.1007/s11042-012-1325-4 [14] Barnsley M F. Fractal modeling of real world images. The Science of Fractal Images. New York:Springer, 1988.219-242 [15] Ebrahimi M, Vrscay E R. Solving the inverse problem of image zooming using ‘self-examples’. Image analysis and Recognition. Berlin Heidelberg:Springer, 2007.117-130 [16] Liu C, Shum H Y, Zhang C S. A two-step approach to hallucinating faces:global parametric model and local nonparametric model. In:Proceedings of the 2001 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR). Kauai, HI, USA:IEEE, 2001. I-192-I-198 [17] Yang M-C, Wang Y-C F. A self-learning approach to single image super-resolution. IEEE Transactions on Multimedia, 2013, 15(3):498-508 doi: 10.1109/TMM.2012.2232646 [18] Wu W, Liu Z, He X H. Learning-based super resolution using kernel partial least squares. Image and Vision Computing, 2011, 29(6):394-406 doi: 10.1016/j.imavis.2011.02.001 [19] Berkeley segmentation database (BSD)[online], available:http://www.eecs.berkeley.edu/Research/Projects/CS/vision/grouping/segbench/,March14,2014 [20] Wang Z, Bovik A C, Sheikh H R, Simoncelli E P. Image quality assessment:from error visibility to structural similarity. IEEE Transactions on Image Processing, 2004, 13(4):600-612 doi: 10.1109/TIP.2003.819861 [21] 肖进胜, 杜康华, 涂超平, 岳显昌. 基于多聚焦图像深度信息提取的背景虚化显示. 自动化学报, 2015, 41(2):304-311 http://www.aas.net.cn/CN/abstract/abstract18609.shtmlXiao Jin-Sheng, Du Kang-Hua, Tu Chao-Ping, Yue Xian-Chang. Bokeh display based on depth information extraction of multi-focus images. Acta Automatica Sinica, 2015, 41(2):304-311 http://www.aas.net.cn/CN/abstract/abstract18609.shtml [22] Xiao J S, Li W H, Liu G X, Shaw S L, Zhang Y Q. Hierarchical tone mapping based on image colour appearance model. IET Computer Vision, 2014, 8(4):358-364 doi: 10.1049/iet-cvi.2013.0230 期刊类型引用(7)
1. 徐少平，张贵珍，林珍玉，刘婷云，李崇禧. 一种多图像局部结构化融合的低照度图像增强算法. 自动化学报. 2022(12): 2981-2995 . 
本站查看2. 李亮亮，任佳，王鹏，吕志刚，孙梦宇，李晓艳，高武奇. 基于曝光融合的无人机航拍图像增强算法. 西北工业大学学报. 2022(06): 1327-1334 . 百度学术3. 何贵，钟羽中，李振阳，吴克江，佃松宜. 一种双曝光度图像融合算法. 微电子学与计算机. 2021(03): 21-26+32 . 百度学术4. 廖小兵. 光照不均下图像明暗区域关键目标增强仿真. 计算机仿真. 2018(07): 179-182+272 . 百度学术5. 刘哲，黄世奇，姜杰. 基于引导滤波和多尺度局部自相似单幅红外图像超分辨率方法. 计算机应用研究. 2018(04): 1236-1240+1245 . 百度学术6. 张杭琦，沈利华. 关于三维数字动画图像增强分辨率仿真. 计算机仿真. 2017(10): 305-308 . 百度学术7. 赵全宜，陈奕江，刘国栋. 广告标志图像真实性效果设计仿真. 计算机仿真. 2017(11): 236-239 . 百度学术其他类型引用(1)
-
下载:
计量
- 文章访问数: 2158
- HTML全文浏览量: 285
- PDF下载量: 674
- 被引次数: 8
