Asymmetrically Distorted Stereoscopic Image Quality Assessment Based on Ocular Dominance
-
摘要: 针对现有立体图像质量评价算法对非对称失真立体图像的评价准确性及执行效率较低的问题，提出一种基于眼优势的非对称失真立体图像质量评价算法.首先采用梯度幅值响应来模拟左右眼输入的刺激强度，并根据人类视觉系统的眼优势原理分别以左和右视点图像作为主视图合成两幅融合图像；其次，利用旋转不变统一局部二值模式直方图、皮尔逊线性相关系数以及非对称广义高斯模型，获取左右融合图像以及左右梯度幅值响应图像中的多种能够反映立体图像质量好坏的特征；最后，利用自适应增强的支持向量回归模型将感知特征向量映射为图像质量值.在四个基准测试数据库上的实验结果表明：本文所提出算法大幅提升了非对称失真立体图像的评价准确性，且具有较高的执行效率.这些优势说明本文算法所提取的特征描述能力更强，质量映射模型的稳定性更好.
-
关键词:
- 立体图像质量评价 /
- 非对称失真 /
- 眼优势 /
- 双融合图像 /
- 自适应增强—支持向量回归
Abstract: Aiming at overcoming the low prediction accuracy and efficiency of current stereoscopic image quality assessment (SIQA) algorithms in evaluating the asymmetrically distorted stereoscopic images, this paper proposed an asymmetrically distorted SIQA algorithm based on ocular dominance theory. The proposed algorithm first uses the gradient magnitude response images (GMRIs) of the left and right views to model stimulus strength, and synthesizes two fusion images (FIs) by taking the left and the right views as dominant eye input, respectively, according to the theory of ocular dominance in human visual system. Then, the global histogram representations of the rotation invariant uniform local binary patterns, the Pearson linear correlation coefficient, and the asymmetric generalized Gaussian distribution model are employed to extract various perceptual features from the two GMRIs and the two FIs. Finally, with a pre-trained AdaBoosting support vector regression model, the extracted quality-aware feature vector of the stereoscopic image is mapped into the image quality score. Experimental results on four benchmark stereoscopic image databases show that, compared with the state-of-the-art SIQA algorithms, the prediction accuracy on asymmetrically distorted images of the proposed algorithm is greatly improved, and the implementation efficiency of the proposed algorithm is high. The results indicate that the extracted features of the proposed algorithm are more descriptive, and the quality mapping model is more stable. -
由于立体图像质量评价(Stereoscopic image quality assessment, SIQA)算法能够为各类图像处理系统的参数设置及性能优化提供可靠的依据, 受到了研究者广泛的关注[1-4].目前, 绝大部分SIQA算法主要针对左右视点图像失真类型相同、失真程度相近的对称失真立体图像.然而在实际应用中, 左右视点图像容易出现失真程度不同或失真类型不同的非对称失真的情况, 许多SIQA算法在评价非对称失真立体图像时效果不佳.如何充分利用立体图像中包含的非对称失真信息, 提高SIQA算法对非对称失真立体图像的评价准确性是亟待解决的问题.
早期的SIQA算法主要利用已有的2D全参考图像质量评价算法预测立体图像左右视点的质量值, 并将两个视点的质量均值作为立体图像最终的质量值[5].然而, 人类视觉系统(Human visual system, HVS)主要是依赖大脑的初级视觉皮质对双目视觉输入进行处理并建立立体认知的[6-7], 其处理过程的生理机制非常复杂[8], 并非是简单的左和右眼输入质量的平均效果.因此, 当左右视点图像出现非对称失真的情况时, 算法的评价准确性会明显下降.
近年来, 一些学者模拟HVS中双目竞争的工作原理, 采用将左右视点图像的质量值或特征进行加权平均的方式来提高立体图像质量的预测准确性.例如, Wang等[9]提出一种基于信息内容和失真权重的结构相似性(Information content and distortion weighted structural similarity, IDW-SSIM)算法, 将左右视点图像的质量预测值的加权平均值作为立体图像质量值. Shao等[10]使用字典学习方法计算左右视点的特征权重, 并采用加权平均的方式融合左右视点的多种特征值.另一些学者基于HVS中简单细胞和复杂细胞的工作原理, 建立了双目能量响应[11-12]、独眼图像(Cyclopean image, CI)[13]等多种融合模型来提高SIQA算法的性能.例如, Chen等[14-15]采用Gabor滤波响应对双目视觉刺激强度进行建模, 生成独眼图像, 构造了全参考的Chen FR[14]和无参考的Chen NR[15]算法. Su等[16]合成了收敛独眼图像(Convergent cyclopean)来构造无参考SIQA算法. Shen等[17]基于深度图、显著图(Saliency map)以及独眼图像来实现无参考SIQA算法. Liu等[18]则提出立体整合质量(S3D integrated quality, SINQ)算法, 基于左右视点图像的空间活动度量(Spatial activity)来获得独眼图像实现SIQA.尽管上述基于一幅融合图像的SIQA算法部分地模拟了双目信息在人脑中的汇聚过程, 部分地提高了算法的评价准确性, 但这类算法只是以左视点或右视点图像中的一幅作为主视图, 将另一幅图像与主视图进行融合, 不能全面地描述立体图像中所有的失真信息, 在评价非对称失真立体图像的质量时准确性仍然不能令人满意.
为此本文基于Hubel和Wiesel [7]发现的眼优势(Ocular dominance)现象, 即视觉皮层中存在两类分别对左眼和右眼输入产生更为强烈响应的双目细胞(Binocular cells)[8], 提出一种基于眼优势的非对称失真(Ocular dominance based asymmetrically distorted, ODAD) SIQA算法.分别以左和右视点图像作为主视图生成两幅不同的融合图像, 来模拟视觉皮层的左和右眼优势柱对双眼信息的处理. ODAD算法的模型如图 1所示.
图 1 基于眼优势的非对称失真立体图像质量评价算法框图Fig. 1 The diagram of asymmetrically distorted SIQA algorithm based on ocular dominance与使用单幅基于Gabor滤波响应独眼图像的SIQA算法[13-18], 以及使用左右眼优势之间的差异及视差补偿的SIQA算法[19-20]不同, ODAD算法利用失真图像的梯度幅值响应图像(Gradient magnitude response image, GMRI)来模拟人类视觉输入刺激, 分别以左和右视点图像作为主视图, 合成两幅融合图像(左和右融合图像)来增强算法对非对称失真图像的评价准确性和鲁棒性.在提取双目图像特征时, 利用旋转不变统一局部二值模式(Rotation invariant uniform local binary patterns, RIU-LBP)[21]直方图描述左右融合图像的特点和差异, 利用皮尔逊线性相关系数(Pearson linear correlation coefficient, PLCC)获取融合图像邻域像素之间的相关性变化.同时, 采用非对称广义高斯(Asymmetric generalized Gaussian distribution, AGGD)模型拟合单目图像的GMRIs及其邻域像素之间乘积图的统计分布, 并利用PLCC来量化GMRIs邻域像素之间的相关程度.最终, 利用自适应增强的支持向量回归(Support vector regression, SVR)算法将双目与单目图像的感知特征值映射为立体图像质量值, 并在多个基准测试数据库上验证所提出算法的性能和执行效率.
1. 梯度幅值响应图像
经典的Gabor滤波器因其可以通过在频域的多个尺度和多个方向上的图像信息来描述图像轮廓, 在许多SIQA算法[14-16]中被使用.但是Gabor变换是一种非正交变换, 其不同特征分量中存在较多冗余信息, 且计算所耗费的时间和存储空间较大, 会使算法的效率降低.而图像中局部梯度幅值最大的像素点也可以形成物体的轮廓, 能够描述人眼感知系统非常敏感的图像局部语义结构信息[22-23].因此, 本文使用图像的梯度幅值响应来模拟人类视觉刺激输入强度.
对给定的图像$ I(x, y) $, 可以使用高斯偏导数滤波器计算GMRI($ G(x, y) $), 具体计算公式如下:
$\begin{array}{l} G(x, y) = \\ \sqrt {{{(I(x, y)*{f_x}(x, y|\sigma ))}^2} + {{(I(x, y)*{f_y}(x, y|\sigma ))}^2}} \end{array}$
(1) $\begin{array}{l} {f_d}(x, y|\sigma ) = \frac{\partial }{{\partial d}}g(x, y|\sigma )=\\ \quad\; -\dfrac{1}{{2{\text{π}} {\sigma ^2}}}\dfrac{d}{{{\sigma ^2}}}\exp \left( - \dfrac{{{x^2} + {y^2}}}{{2{\sigma ^2}}}\right), d \in (x, y) \end{array}$
(2) $ g( {x, y|\sigma } ) = \frac{1}{{2{\text{π}} {\sigma ^2}}}\exp\left({ - \frac{{{x^2} + {y^2}}}{{2{\sigma ^2}}}}\right) $
(3) 其中, $ * $是卷积操作, $ {f_d}({x, y|\sigma}) $是应用在图像水平和垂直方向的高斯偏导滤波器, $ g({x, y|\sigma}) $是各向同性高斯函数, $ \sigma $是高斯函数的尺度参数.
为了说明GMRI和Gabor滤波图像的不同, 图 2以一幅失真图像为例, 给出该图像及其GMRI和Gabor滤波图像[14-15].从图 2可以看出, 尽管Gabor滤波响应更为明亮一些, 但Gabor滤波图像的边缘较为模糊, 而GMRI的边缘信息更加清晰, 说明梯度幅值响应能够更好地测量局部区域的亮度强度变化, 刻画出图像的结构信息.此外, 以LIVE Phase Ⅰ数据库[14]中的10幅$ 640\times 360 $的图像为例, 计算10幅图像的GMRIs的平均时间只需要0.0103 s, 仅是计算Gabor滤波图像[14-15]平均时间4.6516 s的0.22 %, 说明了使用梯度幅值的高效性.
图 2 失真图像及其GMRI和Gabor滤波图像Fig. 2 The distorted image, the GMRI, and the Gabor response image2. 左右融合图像的生成
2.1 眼优势柱的视觉原理
Hubel和Wiesel在研究猫和猕猴的视觉皮层时发现视觉皮层中存在着多种工作机制不同的细胞[7, 24].其中, 有一些细胞只能被左眼或右眼所驱动, 即是被单目(Monocular)驱动的.还有一些细胞能够被双目(Binocular)同时驱动, 且两眼输入对双目细胞的影响并不完全相同, 存在眼优势现象, 即双目细胞对某一只眼的输入存在偏好, 更多地根据该眼的输入强度来产生响应信号.
图 3以猕猴视觉皮层的一个横截面示意图[7]来说明眼优势现象.其中, 截面的上边界是视觉皮层的表面, 下边界是视觉皮层V1层与脑白质(White matter)之间的边界. Hubel和Wiesel将电极沿垂直方向和斜向方向插入视觉皮层, 来检测视觉皮层不同区域的细胞对左右眼输入的响应情况.当从视觉皮层垂直方向插入电极时, 检测到的所有双目细胞只对左眼或右眼的输入存在更为强烈的响应; 将电极斜插入视觉皮层, 会交替检测到对左眼或右眼输入响应更为强烈的双目细胞. 图 3将对左眼与对右眼输入响应更为强烈的区域分别标记为$ {\rm L_R} $和$ {\rm R_L} $, 则可以看到在视觉皮层的水平方向上存在着交替相邻的$ {\rm R_L} $和$ {\rm L_R} $区域.视觉皮层的第4层(IVc层)还包含了只对左眼与只对右眼输入产生响应的区域, 分别标记为L和R. Hubel和Wiesel将这些水平方向相邻的垂直条带区域称之为眼优势柱, 眼优势柱内所有细胞都只对来自于左眼或来自于右眼的输入产生更强的响应. 1997年, Menon等[8]通过功能磁共振成像的方法证实了人类的视觉皮层中同样存在眼优势现象及眼优势柱.
2.2 左右融合图像的生成
由眼优势的视觉原理可以看出, 眼优势柱中存在两种不同的双目细胞.然而, 目前大部分基于单幅独眼图像的SIQA算法[13-18]仅仅模拟了人类视觉皮层中左眼优势柱中双目细胞的功能, 忽略了右眼优势柱中的双目细胞.因此, 本文分别以左和右视点图像作为主视图, 合成两幅融合图像来模拟视觉皮层中左和右眼优势柱中两类双目细胞的功能, 实现非对称的立体图像质量评价.
以左视点图像作为主视图生成左融合图像的计算方法为:
$\begin{array}{l} {F_{\rm{L}}}(x, y)=\\ \;\; {E_{{\rm{LL}}}}(x, y){I_{\rm{L}}}(x, y) + {E_{{\rm{LR}}}}(x + d, y){I_{\rm{R}}}(x + d, y) \end{array}$
(4) $ E_{\rm LL}(x, y) = \frac{G_{\rm L}(x, y)}{G_{\rm L}(x, y)+G_{\rm R} (x+d, y)} $
(5) $ E_{\rm LR}(x+d, y) = \frac{G_{\rm R}(x+d, y)}{G_{\rm L}(x, y)+G_{\rm R} (x+d, y)} $
(6) 其中, $ F_{\rm L}(x, y) $为左融合图像, $ I_{\rm L}(x, y) $和$ I_{\rm R}(x+ d, y) $表示左视点图像和经过移位后的右视点图像, $ E_{\rm LL} (x, y) $和$ E_{\rm LR}(x+d, y) $表示左和右眼视觉刺激的刺激强度(权重系数), $ G_{\rm L}(x, y) $为左GMRI, $ G_{\rm R}(x+d, y) $为根据视差$ d $移位后的右GMRI, $ d $为左和右视点图像之间的视差, 采用Chen等在文献[14]中所使用的滑动窗口SSIM[25]算法来计算.
以右视点图像作为主视图生成右融合图像的计算方法为:
$\begin{array}{l} {F_{\rm{R}}}(x, y)=\\ \;\;{E_{{\rm{RL}}}}(x - d, y){I_{\rm{L}}}(x - d, y) + {E_{{\rm{RR}}}}(x, y){I_{\rm{R}}}(x, y) \end{array}$
(7) $ E_{\rm RL}(x - d, y) = \frac{G_{\rm L}(x-d, y)}{G_{\rm R}(x, y)+G_{\rm L} (x-d, y)} $
(8) $ E_{\rm RR}(x, y) = \frac{G_{\rm R}(x, y)}{G_{\rm R}(x, y)+G_{\rm L} (x-d, y)} $
(9) 其中, $ F_{\rm R}(x, y) $为右融合图像, $ I_{\rm L} (x-d, y) $和$ I_{\rm R}(x , y) $表示经过移位后的左视点图像和右视点图像, $ E_{\rm RL}(x-d, y) $和$ E_{\rm RR}(x, y) $表示左和右眼视觉刺激的权重系数, $ G_{\rm L}(x-d, y) $和$ G_{\rm R}(x, y) $分别对应移位后的左GRMI和右GRMI, $ d $为左右视点图像之间的视差.
为了说明左和右两幅融合图像的特点和差异, 从WATERLOO-IVC 3D IQA Phase Ⅱ数据库[26](以下简称为IVC Phase Ⅱ数据库)中选取4类失真图像作为示例, 在图 4中给出这些失真图像及其左右融合图像.其中包括高斯模糊(Gaussian blur, GB)对称失真、JPEG对称失真、左视点为白噪声(White noise, WN)失真右视点为JPEG失真的非对称失真以及左视点为GB失真右视点为WN失真的非对称失真图像. 图 4中将融合图像中用矩形框所圈的人的头像部分放大显示, 以便展示更多融合图像的细节信息.
图 4 各类失真图像及其左右融合图像(从左至右的图像依次为左视点、右视点、左融合和右融合图像)Fig. 4 The distorted images and their left and right fusion images for various distortion types (Images from left to right are left view, right view, left fusion image, and right fusion image)从图 4(a)和4(b)可以看出, GB对称失真以及JPEG对称失真图像的左和右融合图像较为相似.从图 4(c)可以看出, GB-WN失真图像的右融合图像更多显示出WN失真的特性, 而左融合图像相比于右融合图像更为模糊.此外, 图 4(d)所示的WN-JPEG失真图像也有着类似的特性.由此可见, 当立体图像为对称失真图像时, 其左和右融合图像十分近似; 当左右视点图像失真类型不同时, 左和右融合图像存在着明显的差异, 左融合图像与左视点图像更为相近, 右融合图像与右视点图像更为相近.
为了量化这种眼优势效果, 选取WATERLOO-IVC 3D IQA Phase Ⅰ数据库[9] (以下简称为IVC Phase Ⅰ数据库)中的100幅失真立体图像(其中包括对称失真图像26幅, 非对称失真图像74幅), 计算各图像的左右融合图像(记为FI-L和FI-R)与左右视点图像(记为I-L和I-R)之间的相关性及相似性, 将所有图像的相似性与相关性的中值列在表 1中.其中, 相关性用两幅图像之间的PLCC值来表示, 相似性用SSIM算法来计算.从表 1可以看出, 无论是对称失真还是非对称失真图像, FI-L与I-L之间的相似性和相关性比FI-L与I-R之间的相似性和相关性取值更大, 而FI-R与I-R之间的相似性和相关性取值也明显大于FI-R与I-L之间的相似性和相关性.其原因在于左和右融合图像分别是以左和右视点图像作为主视图生成的, 分别包含了更多左视点和右视点图像的信息, 模拟了眼优势的效应.
表 1 失真立体图像的两幅融合图像与左右视点图像之间的相似性和相关性Table 1 The similarity and correlation between the two fusion images and the stereo pair图像 相似性 相关性 对称失真 非对称失真 混合 对称失真 非对称失真 混合 I-L I-R I-L I-R I-L I-R I-L I-R I-L I-R I-L I-R FI-L 0.6404 0.4091 0.6726 0.3946 0.6555 0.3969 0.7561 0.5815 0.8134 0.5493 0.7950 0.5531 FI-R 0.4047 0.6264 0.3971 0.6135 0.4005 0.6214 0.5705 0.7481 0.5766 0.7205 0.5766 0.7448 3. 图像质量特征提取与评价模型
视觉信息的处理是一个十分复杂的过程, 双目视觉实现了两眼信息的融合, 而单目视觉信息为立体视觉提供了最基本的保障[7].因此, 本文从模拟HVS双目汇聚特性的左右融合图像和描述图像单目特性的左右GMRIs中提取多种图像质量特征, 用于立体图像质量预测.
3.1 双目图像特征提取
失真立体图像的左和右融合图像之间存在着细微的差别, 这种差别在非对称失真立体图像的左右融合图像中尤为突出.本文利用RIU-LBP算子[21]和邻域像素之间的相关系数, 来获取左右融合图像中能够描述这些细微差别、反映图像质量改变的特征作为双目统计特征.
LBP是一种经典的描述图像局部结构信息的纹理算子. RIU-LBP是一种扩展的LBP编码, 用于提高LBP的描述能力, 其基本思想是以中心像素为阈值, 在半径为$ R $的圆形邻域内, 选取$ P $个与中心像素距离相等的点$ {g_i}\;(i = 0, 1, \cdots, P-1) $与中心像素$ g_c $的灰度值进行比较, 并通过统一化处理编码, 使编码种类降低到$ P+2 $种, 以获取图像中的大尺寸结构特征. RIU-LBP的定义为:
$ LBP_{P, R}^{riu2} = \left\{ {\begin{aligned} &{\sum\limits_{i = 0}^{P - 1} s ({g_i} - {g_c}), }&{U(LB{P_{P, R}}) \le 2}\\ &{{P + 1, }}&{U(LB{P_{P, R}}) > 2} \end{aligned}} \right. $
(10) $ \begin{array}{l} U(LB{P_{P, R}}) = |s({g_{P - 1}} - {g_c}) - s({g_0} - {g_c})| + \\ \quad\quad\quad \sum\limits_{i = 1}^{P - 1} |s ({g_i} - {g_c}) - s({g_{i - 1}} - {g_c}) | \end{array}$
(11) $s({g_i} - {g_c}) = \left\{ {\begin{aligned} &{1, \;\;{g_i} - {g_c} \ge 0}\\ &{0, \;\;{g_i} - {g_c} < 0} \end{aligned}} \right.$
(12) 其中, $ P $为邻域像素的个数, $ R $为邻域像素的半径, U指空间转换时0-1和1-0转换的次数, $ s(g_{i} -g_{c} ) $是融合图像的一个局部区域内邻域像素$g_{i}\; (i = 0, 1, \cdots, P-1) $与中心像素$ g_{c} $的比较函数.最终, 将左右融合图像的RIU-LBP直方图统计作为图像的双目特征. RIU-LBP直方图定义为:
$ H(k) =\frac{\sum f\left(LBP_{P, R}^{riu2} , k\right) }{ \sum LBP_{P, R}^{riu2} +{\rm{c}} } $
(13) $ f(x, y) = \left\{ {\begin{aligned} &{1, \;\;x = y}\\ &{0, \;\;x \ne y} \end{aligned}} \right. $
(14) 其中, $ k\in[0, P+1] $, $ P+1 $是RIU-LBP中包含的编码最大值, c为常量, 用于避免$ \sum LBP_{P, R}^{riu2} $为零的情况出现.本文设置$ P = 8, R = 1 $, 则可以得到0-9共十种编码的统计直方图.
图 5给出了图 4所示四种失真立体图像的左右融合图像RIU-LBP直方图.从图 5可以看出, 对称失真立体图像的左右融合图像的RIU-LBP直方图分布近似相同, 而非对称失真立体图像的左右融合图像的RIU-LBP直方图存在明显差异, 说明RIU-LBP直方图能较好地描绘出左右融合图像中所包含的差异信息.
图 5 各类失真图像的左右融合图像的RIU-LBP直方图Fig. 5 RIU-LBP histograms of the left and right fusion images for different distortion types另外, 自然图像中各像素与其邻域像素之间存在着紧密地联系, 当图像结构因为失真而发生改变时, 邻域像素之间的密切关联性会发生改变[27].为了量化失真对融合图像相邻像素之间关联性的改变程度, 本文计算了左右融合图像在水平($ \rho _{{\rm h}} $)、垂直($ \rho _{{\rm v}} $)、主对角线($ \rho _{{\rm m}} $)和次对角线($ \rho _{{\rm s}} $)方向上邻域像素之间PLCC值. PLCC的计算方法具体如下:
$ \rho _{\rm h} = P(F(1:W, 1:L-1), F(1:W, 2:L)) $
(15) $ \rho _{\rm v} = P(F(1:W-1, 1:L), F(2:W, 1:L)) $
(16) $ \rho _{\rm m} = P(F(1:W-1, 1:L-1), F(2:W, 2:L) $
(17) $ \rho _{{\rm s}} = P(F(2:W, 1:L-1), F(1:W, 2:L)) $
(18) $ \begin{array}{l} P(X, Y) = \\ \quad\; \frac{{\sum\limits_{m = 1}^M {\sum\limits_{n = 1}^N {({x_{m, n}} - \bar X)({y_{m, n}} - \bar Y)} } }}{{\sqrt {\sum\limits_{m = 1}^M {\sum\limits_{n = 1}^N {{{({x_{m, n}} - \bar X)}^2}} } \sum\limits_{m = 1}^M {\sum\limits_{n = 1}^N {{{({y_{m, n}} - \bar Y)}^2}} } } }} \end{array}$
(19) 其中, $ F $是尺寸为$ W\times L $的左右融合图像, $ X $和$ Y $是各转换图像中的子块, 子块大小为$ M\times N $, $m = 1, 2, \cdots, M $和$ n = 1, 2, \cdots, N $是像素索引, $ \overline{X} $和$ \overline{Y} $分别是$ X $和$ Y $的均值, $ P(X, Y) $为$ X $和$ Y $的PLCC计算函数. PLCC的取值范围为[−1, 1], 其绝对值越大表示邻域像素之间的相关性越强.
为了说明融合图像在四个方向上邻域像素之间的PLCC值与立体图像质量的关系, 从LIVE 3D IQA Phase Ⅱ数据库[28] (以下简称为LIVE Phase Ⅱ数据库)中选取4幅主观评价差值(Difference mean opinion score, DMOS)值不同的失真立体图像作为示例, 图 6给出了各图像的左右融合图像在四个方向上邻域像素之间的PLCC取值变化图.其中, PLCC根据DMOS值按从大到小的顺序排列, DMOS值越大表示图像质量越差.可以看出, 尽管所选立体图像的失真较为复杂, 各失真图像的左和右融合图像在四个方向上的PLCC取值都会随着DMOS值的减小而减小, 说明邻域像素相关性特征可以描述图像质量的改变.
图 6 左和右融合图像的邻域像素之间PLCC值取值变化图Fig. 6 The variation of the PLCC values between neighboring pixels in the left and right fusion images3.2 单目图像特征提取
单目图像特征从左右视点的GMRIs中获取, 具体包括统计分布特征、邻域像素乘积图统计分布特征以及邻域像素之间的相关性特征.首先采用均值减损对比度归一化方法[27]对左右视点的GMRIs进行处理, 使GMRIs具有显著的统计特性, 便于提取感知特征.具体归一化方法为:
$ N(i, j) = \frac{G(i, j)-\mu (i, j)}{\sigma (i, j)+{\rm C}} $
(20) $ \mu (i, j) = \sum\limits_{k = -K}^{K}\sum\limits_{l = -L}^{L}\omega _{k, l} G_{k, l} (i, j) $
(21) $ \sigma (i, j) = \sqrt{\sum\limits_{k = -K}^{K}\sum\limits_{l = -L}^{L}\omega _{k, l} (G_{k, l} (i, j)-\mu (i, j))^{2} } $
(22) 其中, $ G(i, j) $是尺寸为$ M\times N $的GMRI, $i = 1, 2, \cdot \cdot \cdot , M , $ $ j = 1, 2, \cdot \cdot \cdot , N ;$ $ \mu (i, j) $和$ \sigma (i, j) $分别为GMRI的局部均值和方差; C为常量, 用于避免出现局部方差为零的情况; $ \omega $$ {}_{k, l} $是长和宽分别为(2K+1)和(2L+1)的二维高斯加权函数, $K = L = 3 $.
归一化GMRI的分布具有一定的统计规律.以IVC Phase Ⅰ数据库中的失真立体图像为例, 图 7给出了GMRIs的统计分布图(限于篇幅仅给出右视点的GMRIs).可以看出, JPEG对称失真、GB对称失真以及GB-WN非对称失真图像的GMRIs的分布具有拉普拉斯分布的特点, 且分布的左右拖尾长度不一致; WN-JPEG非对称失真图像的GMRI的分布更趋近于高斯分布, 且分布存在明显的偏移, 即分布的均值不为零.因此, 本文使用非零均值的AGGD模型来拟合这些统计分布.
图 7 归一化GMRIs的统计分布(以右视点为例)Fig. 7 The distribution of normalized GMRIs (take the right view as an example)非零均值AGGD模型参数的具体计算方法为:
$ \begin{array}{l} {f_x}(x;\alpha , \sigma _{\rm{l}}^2, \sigma _{\rm{r}}^2, \mu ) = \\ \left\{ {\begin{aligned} &{\dfrac{\alpha }{{({\beta _{\rm{l}}} + {\beta _{\rm{r}}})\Gamma (1/\alpha )}}\exp \left( - {{\left(\dfrac{{ - (x - \mu )}}{{{\beta _{\rm{l}}}}}\right)}^\alpha }\right), x < \mu }\\ &{\dfrac{\alpha }{{({\beta _{\rm{l}}} + {\beta _{\rm{r}}})\Gamma (1/\alpha )}}\exp \left( - {{\left(\dfrac{{ x - \mu }}{{{\beta _{\rm{r}}}}}\right)}^\alpha }\right), \quad\ \ x \ge \mu } \end{aligned}} \right. \end{array}$
(23) 其中, $ \alpha $是AGGD模型的形状参数, $ \sigma _{{\rm l}}^{2} $和$ \sigma _{{\rm r}}^{2} $反映分布在左右两侧的衰减程度, $ \beta_{\rm r} = \sigma_{\rm r}\sqrt{\Gamma( 1 / \alpha )/\Gamma( 3 / \alpha )} $, $ \beta_{\rm l} = \sigma_{\rm l}\sqrt{\Gamma( 1 / \alpha )/\Gamma( 3 / \alpha )} $, $ \mu $是均值, 当$ \mu \ne 0 $时, 说明分布存在偏移.记$ \sigma ^{2} = \sigma _{{\rm l}}^{2} +\sigma _{{\rm r}}^{2} $, 将左和右GMRIs的统计分布参数$ (\alpha , \sigma ^{2} , \mu ) $作为单目图像特征之一.
左右GMRIs的相邻像素之间的关联性改变也可以用来衡量图像质量的变化.一方面, 利用图像邻域像素之间乘积图的统计分布来描述失真带来的图像局部结构的变化情况.另一方面, 通过GMRIs邻域像素之间的PLCC来度量失真对图像邻域像素之间关联性的改变程度.
归一化的GMRI在水平($ D_{{\rm h}} $)、垂直($ D_{{\rm v}} $)、主对角线($ D_{{\rm m}} $)和次对角线($ D_{{\rm s}} $)方向上邻域像素之间的乘积图定义为:
$ D_{{\rm h}} (i, j) = N(i, j)N(i, j+1) $
(24) $ D_{{\rm v}} (i, j) = N(i, j)N(i+1, j) $
(25) $ D_{{\rm m}} (i, j) = N(i, j)N(i+1, j+1) $
(26) $ D_{{\rm s}} (i, j) = N(i, j)N(i+1, j-1) $
(27) 其中, $ N(i, j) $是经过归一化处理的GMRI.为了说明邻域像素乘积图的统计特性, 图 8给出了IVC Phase Ⅰ数据库中4类失真图像的GMRIs在水平方向邻域像素之间乘积图的统计分布.
图 8 GMRI在水平方向的邻域像素乘积图统计分布(以右视点为例)Fig. 8 The distribution of the neighboring products of GMRI along horizontal direction (take the right view as an example)从图 8可以看出, GMRIs的邻域像素乘积图的统计分布符合零均值非对称广义高斯分布的特点, 因此本文采用零均值AGGD模型来拟合其分布[27].零均值AGGD模型参数可以利用式(23)来计算, 计算时将式(23)中的$ \mu $设置为0.计算所得的$ \alpha $是零均值AGGD模型的形状参数, $ {\sigma _{\rm l}}^2 $和$ {\sigma _{\rm r}}^2 $表示分布在左右两侧的衰减程度.另外, 计算$\eta = (\beta_{\rm r} - \beta_{\rm l})\Gamma( 2 / \alpha ) /\Gamma( 1 / \alpha ) $, 将左右GMRIs在四个邻域方向的($ \alpha $, $ {\sigma _{\rm l}}^2 $, $ {\sigma _{\rm r}}^2 $, $ \eta $)作为单目图像特征之一.
此外, 本文还利用式(15)~(18)计算两幅GMRIs在水平、垂直、主对角线和次对角线四个方向上邻域像素的PLCC值作为单目图像质量特征之一.
3.3 总体评价模型
ODAD算法从左和右融合图像分别提取的双目统计特征包括: 10维RIU-LBP直方图特征和4维邻域像素的相关性特征.从左和右GMRIs中分别提取的单目图像特征包括: 3维统计分布特征, 4维邻域像素的相关性特征, 以及16维邻域像素乘积图的统计分布特征.为了获取最终用于图像质量预测的感知特征, 本文基于视觉特征整合作用假说[29]对上述特征做了进一步的整合.通过计算左和右GMRIs特征的均值, 来模拟视觉皮层单目细胞之间的相互作用.通过计算左和右融合图像特征的均值, 来模拟不同眼优势柱之间的相互作用.这样, 在一个尺度上可以得到37个经过整合的视觉特征.考虑到多尺度方法可以获得更多对图像质量变化敏感的特征, 本文最终在2个尺度上提取了74个特征值来描述图像质量.
在将感知特征映射为图像质量值时, 最常使用的方法是训练SVR预测模型. SVR是针对小样本统计估计和预测学习准确性较高的回归模型, 其预测准确性和泛化能力很大程度依赖于其核心函数的参数选择.通常来说, 使用单一的SVR预测模型就可以在单个测试数据库上得到非常高的预测准确性.然而, 在不同测试数据库上执行交叉验证实验时, 使用单一的SVR预测模型稳定性并不高.为了保证预测模型在单个测试数据库上的预测准确性, 并提高预测模型在交叉验证实验中的稳定性, 本文利用AdaBoost算法以及多个不同的SVR构成一个稳定性更高的预测模型, 简记为AdaBoost-SVR.
AdaBoost-SVR质量预测模型的结构如图 9所示.算法的基本思想是训练多个弱学习算法来构成一个更加稳定的准确性高的强学习算法, 在训练过程中不同的学习算法可以跟踪训练集的分布, 并自适应地根据弱假设误差率调整每个样本的权重.
图 9中, 将$ T $个SVR作为AdaBoost算法中的多个学习模型. $ D_{i} $为第$ i $个SVR的分布, $ a_{i} $为第$ i $个SVR的权重, $ i = 1, 2, \cdots, T \text{.}$对特征向量为$ X $的图像, 第$ i $个SVR预测的质量值为$ {y'_i} $, 计算多个预测值的加权和就可以得到立体图像的质量值.为了训练AdaBoost-SVR预测模型, 首先利用LIBSVM[30]软件包在测试数据库上训练单一的SVR预测模型(使用径向基核函数作为核函数), 记录多组使单一SVR具有较优预测准确性的参数, 然后选取$ T $组参数训练$ T $个SVR.
对于包含K个训练样本的训练集$\{ (X_{1} , y_{1} ), \cdot \cdot \cdot , (X_{j} , y_{j} ), \cdot \cdot \cdot , (X_{K} , y_{K} )\} , y_{j} \in {\rm R}, $ $ y_{j} $为第$ j $幅图像的真实质量值, $ X_{j} $为每幅图像的特征向量, $ {y'}_{i, j} $为第$ i $个SVR预测出的第$ j $幅图像的质量值.利用训练集数据依次训练$ T $个SVR, 第$ i $个SVR的分布$ D_{i} $计算如下
$ \begin{aligned} {D_{i, j}}& = \\ &\left\{ {\begin{aligned} & {\frac{1}{K}, }\quad\quad\quad\ \quad\quad\ \ \quad\ \quad\quad\quad\quad\ \ \quad{i = 1}\\ &{{D_{i - 1, j}} \times (1 + \sigma l({y_j} - {{y'}_{i - 1, j}})), }\ \ {i = 2, \cdots, T} \end{aligned}} \right. \end{aligned}$
(28) 其中, $ l(x) $是一个二元指示函数, 当$ x $大于阈值$ t $时, $ l(x) $为1, 否则$ l(x) $为0, $ \sigma $是一个在[0, 1]之间的常量, 本文中设置$ T= 3 $, $ \sigma = 0{\rm .}1 $.结合图像质量预测值与其真实质量值之间的差值与对应的分布$ D_{i, j} $, 计算第$ i $个SVR的误差
$ Err_{i} = \sum\limits_{j = 1}^{K}D_{i, j} \times l(y_{j} -{y'}_{i, j} ) $
(29) 为了使错误率较高的SVR权重较低, 错误率较低的SVR的权重较高, 第$ i $个SVR的权重$ a_{i} $计算公式为
$ a_{i} =\dfrac {1} { {\rm{e}}^{-(\left|Err_{i} \right|-1)/2}} $
(30) 最终的图像质量值计算公式为
$ {y'} = \sum\limits_{i = 1}^{T}a_{i} \times {y'}_{i} $
(31) 4. 实验结果与分析
4.1 实验环境配置
本文所提出的算法在IVC Phase Ⅰ[9]、IVC Phase Ⅱ[26]、LIVE Phase Ⅱ[28]和LIVE Phase Ⅰ数据库[14]上执行了测试.其中, IVC Phase Ⅰ、IVC Phase Ⅱ和LIVE Phase Ⅱ数据库为对称与非对称失真混合数据库, 分别包含330幅、460幅和360幅失真立体图像; LIVE Phase Ⅰ为对称失真数据库, 包含365幅失真立体图像.对比算法包括:全参考算法SSIM[25]、MSSSIM[31]、IDW-SSIM[9]和Chen FR[14]算法, 无参考算法Chen NR[15]、Su[16]、SINQ[18]和BRISQUE[27]算法, 以及文献[32]和文献[33]新近提出的算法, 其中文献[33]算法是基于卷积神经网络的SIQA算法.为了描述简便, 下文将SSIM算法简写为SS, MSSSIM算法简写为MS, BRISQUE算法简写为BR, IDW-SSIM算法简写为IDW, Chen FR算法简写为CF, Chen NR算法简写为CN, SINQ算法简写为SI.由于CN[15]、Su[16]、文献[32]和文献[33]算法代码未公开, 实验数据均来自对应文献. IDW[9]在IVC Phase Ⅰ和IVC Phase Ⅱ数据库的实验数据来自于文献[9]的2017年扩展版算法的实验结果.将各算法预测的图像质量值与DMOS或平均主观值(Mean opinion scores, MOS)之间的斯皮尔曼秩相关系数(Spearman rank order correlation coefficient, SROCC), PLCC和均方根误差(Root mean squared error, RMSE)作为预测准确性指标.实验的硬件平台为Intel i7-6820HQ、2.7 GHz CPU, 16 GB内存, 编程环境为MATLAB 2014b.
4.2 算法的准确性与鲁棒性
为了说明ODAD算法评价非对称失真立体图像的准确性, 在IVC Phase Ⅰ、IVC Phase Ⅱ和LIVE Phase Ⅱ数据库的非对称失真图像部分进行测试, 测试结果列于表 2.这三个数据库分别包含252、330和280幅非对称失真图像.实验中, 所有无参考SIQA算法采用8:2的比例将测试数据库随机分配为训练集和测试集, 保证两个子集无重叠, 并以1 000次实验的SROCC、PLCC和RMSE中值进行比较.从表 2可以看出, ODAD和IDW[9]在IVC Phase Ⅰ和IVC Phase Ⅱ数据库的准确性最高, 在LIVE Phase Ⅱ数据库上SI[18]和ODAD的评价准确性最高.由于IVC Phase Ⅰ和IVC Phase Ⅱ数据库中包含了两个视点失真类型不同的复杂非对称失真图像, 绝大部分对比算法在这两个数据库上的评价准确性都较低, 但ODAD的SROCC和PLCC均达到0.95以上, 且RMSE取值最低, 说明ODAD在预测非对称失真立体图像质量时具有最好的评价准确性.
表 2 各算法在基准测试数据库中的非对称失真图像部分预测结果比较Table 2 The comparison between SIQA algorithms on the asymmetrically distorted images in benchmark databases算法 IVC Phase Ⅰ (252) IVC Phase Ⅱ (330) LIVE Phase Ⅱ (280) SROCC PLCC RMSE SROCC PLCC RMSE SROCC PLCC RMSE SS[25] 0.5372 0.5427 11.1710 0.4029 0.4080 16.3354 0.7694 0.7691 6.9152 MS[31] 0.5109 0.5206 11.1025 0.4501 0.4583 15.8435 0.7207 0.6294 7.4424 BR[27] 0.9349 0.9453 4.8005 0.9206 0.9377 6.4756 0.9336 0.9410 3.8740 CF[14] 0.4147 0.4575 11.9912 0.3302 0.3407 16.2554 0.8883 0.7701 4.8922 ID[9] 0.9383 0.9493 4.5700 0.9310 0.9392 6.2879 0.9019 0.8981 − SI[18] 0.9336 0.9481 4.6602 0.9217 0.9343 6.6306 0.9402 0.9457 3.6905 文献[32] 0.8600 0.8740 − 0.8010 0.8440 − 0.8920 0.9570 − ODAD 0.9595 0.9692 3.5685 0.9643 0.9703 4.4826 0.9397 0.9482 3.6014 表 3和表 4还分别列出了各算法在IVC Phase Ⅰ、IVC Phase Ⅱ和LIVE Phase Ⅱ数据库的对称失真图像和整体数据库上的测试结果.实验时, 无参考算法仍然采用8:2的比例将数据库中各部分的图像分为无重复图像的训练集和测试集, 将1 000次重复实验结果的中值进行对比.
表 3 各算法在基准测试数据库中的对称失真图像部分预测结果比较Table 3 The comparison between SIQA algorithms on the symmetrically distorted images in benchmark databases算法 IVC Phase Ⅰ (78) IVC Phase Ⅱ (130) LIVE Phase Ⅱ (80) SROCC PLCC RMSE SROCC PLCC RMSE SROCC PLCC RMSE SS[25] 0.7517 0.7082 9.5359 0.5933 0.5775 13.2300 0.8447 0.8360 5.8319 MS[31] 0.6416 0.6298 10.6055 0.5169 0.5263 13.7357 0.9185 0.7951 4.1896 BR[27] 0.9393 0.9655 5.4399 0.9460 0.9611 5.7405 0.9147 0.9336 4.2804 CF[14] 0.7361 0.7944 9.9160 0.4864 0.5247 14.1269 0.9173 0.8134 4.0668 ID[9] 0.9669 0.9778 3.7110 0.9696 0.9802 4.0223 0.9234 0.9372 − SI[18] 0.9464 0.9696 5.0625 0.9463 0.9593 5.7976 0.9235 0.9433 3.9317 文献[32] 0.9100 0.9020 − 0.9140 0.9150 − 0.9280 0.9350 − ODAD 0.9464 0.9682 5.1764 0.9672 0.9700 4.4689 0.9071 0.9287 4.4932 表 4 各算法在对称与非对称失真数据库上的预测结果比较Table 4 The comparison between SIQA algorithms on the symmetrically and asymmetrically distorted databases算法 IVC Phase Ⅰ (330) IVC Phase Ⅱ (460) LIVE Phase Ⅱ (360) SROCC PLCC RMSE SROCC PLCC RMSE SROCC PLCC RMSE SS[25] 0.5963 0.6074 11.0735 0.4671 0.4749 15.9686 0.7925 0.7835 6.2681 MS[31] 0.5479 0.5647 11.2988 0.4749 0.4868 15.7450 0.7707 0.6594 6.9380 BR[27] 0.9352 0.9501 4.9508 0.9326 0.9453 6.2938 0.9375 0.9427 3.8404 CF[14] 0.5690 0.6740 11.6230 0.4440 0.5690 15.7400 0.9013 0.7781 4.7464 CN[15] 0.9110 0.9260 6.2320 0.8840 0.8820 8.9610 0.8800 0.8800 5.1020 Su[16] − − − − − − 0.9050 0.9130 4.6570 ID[9] 0.9502 0.9609 4.3588 0.9437 0.9533 5.7809 0.9159 0.9188 − SI[18] 0.9442 0.9570 4.6212 0.9369 0.9488 6.0713 0.9471 0.9519 3.5482 文献[32] 0.9040 0.8980 − 0.8900 0.8660 − 0.9180 0.8950 3.2100 文献[33] − − − − − − 0.9233 0.9297 − ODAD 0.9645 0.9729 3.4945 0.9696 0.9745 4.1355 0.9403 0.9453 3.4609 从表 3可以看出, ODAD算法在IVC Phase Ⅰ和IVC Phase Ⅱ数据库上的三个评价指标明显优于大部分对比算法, 仅在LIVE Phase Ⅱ数据库的对称失真图像部分评价准确性稍低, 说明该算法在评价对称失真图像时也可以获得较高的评价准确性.从表 4可以看出, 在混合了对称与非对称失真图像的整体数据库测试中, ODAD算法的各项性能指标均优于其他算法的指标, 说明ODAD算法的准确性和鲁棒性相对最好.
此外, 表 5还给出各算法在经典的对称失真立体图像数据库LIVE Phase Ⅰ数据库上的测试结果.从表 5可以看出, ODAD算法在LIVE Phase Ⅰ数据库上的SROCC和PLCC达到0.96以上, 明显优于其他对比算法, 且RMSE最低, 这也进一步说明ODAD在评价对称失真立体图像时可以获得较高的准确性, 具有较好的鲁棒性.
表 5 各算法在LIVE Phase Ⅰ数据库上的SROCC、PLCC和RMSE比较Table 5 The comparison between SIQA algorithms in terms of SROCC, PLCC, and RMSE on LIVE Phase Ⅰ database4.3 交叉验证实验
为了进一步验证ODAD算法的通用性, 执行交叉验证实验.以IVC Phase Ⅰ数据库和LIVE Phase Ⅱ数据库为例, 分别将这两个数据库作为训练集, 将另外三个数据库作为测试集(仅对无参考的BR[27]、SI[18]和ODAD算法进行比较). 表 6列出了各算法预测值与人类主观评价值之间的SROCC和PLCC.可以看出, 由于交叉实验中训练集和测试集包含的失真图像的内容、失真类型、失真程度等差异较大, 各算法的评价准确性都不是特别高.相对来说, ODAD算法训练的预测模型对不同的测试数据库仍具有较好的适应性, 说明本文所提取的图像特征及预测模型具有较好的泛化能力.
表 6 交叉验证实验结果Table 6 The experimental results on cross database tests算法 IVC Phase Ⅰ LIVE Phase Ⅱ LIVE Phase Ⅰ LIVE Phase Ⅱ IVC Phase Ⅱ LIVE Phase Ⅰ IVC Phase Ⅰ IVC Phase Ⅱ SROCC PLCC SROCC PLCC SROCC PLCC SROCC PLCC SROCC PLCC SROCC PLCC BR[27] 0.5878 0.6129 0.3168 0.2999 0.8413 0.8699 0.6568 0.6708 0.7585 0.7978 0.5344 0.5239 SI[18] 0.6248 0.6515 0.3311 0.3324 0.8165 0.8419 0.9054 0.9045 0.6694 0.6470 0.4854 0.4748 ODAD 0.5784 0.6360 0.3542 0.3591 0.8390 0.8458 0.9048 0.9050 0.6133 0.5785 0.6123 0.6057 4.4 算法的一致性
为了对比各算法预测值与人类主观评价值的一致程度, 以IVC Phase Ⅰ数据库为例进行实验.其中, 全参考算法SS[25]、IDW[9]和CF[14]算法直接计算出所有图像的质量值; 无参考算法BR[27]、SI[18]及ODAD算法采用8:2的比例将数据库随机分为训练集和测试集, 用训练集图像训练预测模型, 然后预测测试集图像的质量值, 取5次重复实验的结果进行对比.各算法的预测值与图像MOS值对比的散点图如图 10所示.可以看出, ODAD算法的散点分布较其他算法的聚集更为紧密均匀, 说明该算法预测结果与人类感知的一致性更高.
图 10 各对比算法在IVC Phase Ⅰ数据库上预测值与MOS值的散点分布图Fig. 10 The scatter plots of the MOS values versus the quality scores predicted by the competing algorithms on IVC Phase Ⅰ database4.5 不同特征对算法性能的影响
ODAD算法通过整合从立体图像的左右融合图像、左右GMRIs中提取的多种感知特征, 实现了图像质量预测.为了详细地分析使用不同特征对算法评价准确性的影响, 表 7列出了使用不同特征组合的ODAD算法在各数据库上的实验结果.将仅使用左右GMRIs的图像特征的算法记为ODAD-GM; 在ODAD-GM基础上增加了左融合图像特征的算法记为ODAD-CL; 在ODAD-GM基础上增加了右融合图像特征的算法记为ODAD-CR; ODAD-148表示直接使用四幅转换图像特征的算法; ODAD表示使用整合的74维特征的算法.从表 7可以看出, 尽管ODAD-GM算法仅包含单目图像特征, 算法的预测准确性较采用经典NSS特征的算法的预测准确性已有大幅的提升, 说明本文采用的基于非零均值AGGD模型和PLCC所提取的单目图像特征具有更强的描述能力, 可以更好地反映图像质量变化. ODAD-CL和ODAD-CR算法包含了部分融合图像特征, 评价准确性较ODAD-GM有所提升.同时, 由于ODAD-CL和ODAD-CR算法只使用了一幅融合图像的特征, 两个算法的评价准确性较为接近.
表 7 各部分特征对ODAD算法性能影响Table 7 The influence of each part of features on the performance of ODAD算法 LIVE Phase Ⅰ LIVE Phase Ⅱ IVC Phase Ⅰ IVC Phase Ⅱ SROCC PLCC RMSE SROCC PLCC RMSE SROCC RMSE PLCC RMSE SROCC RMSE ODAD-GM 0.9531 0.9587 4.6525 0.9400 0.9452 3.9110 0.9556 0.9618 4.3948 0.9589 0.9651 5.0795 ODAD-CL 0.9586 0.9629 4.5157 0.9401 0.9458 3.6589 0.9546 0.9647 4.1464 0.9582 0.9655 5.1122 ODAD-CR 0.9585 0.9645 4.3886 0.9400 0.9453 3.7114 0.9519 0.9641 4.2672 0.9560 0.9645 5.2156 ODAD-148 0.9570 0.9631 4.5024 0.9408 0.9468 3.7199 0.9536 0.9647 4.2296 0.9566 0.9646 5.0769 ODAD 0.9596 0.9665 4.0745 0.9403 0.9453 3.4609 0.9645 0.9729 3.4945 0.9696 0.9745 4.1355 ODAD-148和ODAD算法因为采用了两幅融合图像的特征, 在大部分测试数据库上获得了更好的评价准确性.而ODAD对四幅转换图像的特征做了进一步整合, 在包含了复杂非对称失真图像的IVC Phase Ⅰ数据库和IVC Phase Ⅱ数据库上测试时, 获得了最高的评价准确性.综上可知, ODAD算法同时使用两幅融合图像的特征, 并采用特征整合的方式可以更加准确地描述失真立体图像的特性, 有利于提高算法的评价准确性和鲁棒性.
4.6 SVR个数对算法性能的影响
为了比较使用不同个数的SVR对算法评价准确性的影响, 本文对比了使用不同个数SVR的AdaBoost-SVR预测模型执行独立数据库和交叉数据库实验的测试结果, 实验结果对比如图 11所示, 其中SVR个数为1时的AdaBoost-SVR相当于传统的SVR预测模型.
图 11 采用不同个数SVR在独立数据库和交叉数据库验证的结果对比Fig. 11 The comparison of experiments on individual and cross database tests when using different numbers of SVR从图 11(a)给出的独立数据库实验结果可以看出, 随着SVR的个数增加, 算法的预测准确性存在明显的变化, 当SVR个数为3和10时, 算法在各数据库上的预测准确性相对都更高. 图 11(b)给出将IVC Phase Ⅰ数据库作为训练集其他数据库为测试集的对比结果.可以看出, 由于训练集和测试集所包含的图像差异很大, 对于大多数测试集来说, 随着SVR个数的增多, 算法的预测准确性会明显的提高, 但当SVR的个数大于一定数值时, 预测准确性又会下降.总体来说, 采用AdaBoost-SVR来映射图像质量, 有助于提高算法的预测准确性和稳定性.
4.7 算法复杂度与执行时间比较
假设单目图像包含$ N $个像素, 采用窗口尺寸为$ d_{1} \times d_{1} $的高斯偏导滤波计算左右视点图像在2个方向上的梯度值的时间复杂度为: $ {\rm{O}}(4d_{1}^{2} N) $; 计算视差图时, 如果滑动窗口的宽度置为$ d_{2} $, SSIM算法中采用的局部窗口尺寸为$ d_{3} \times d_{3} $, 则所需时间大约为${\rm{O}} (d_{2} d_{3}^{2} N) \text{;}$生成两幅融合图像的时间复杂度为$ {\rm{O}}(12N) $.从两幅融合图像中提取RIU-LBP特征时间复杂度为$ {\rm{O}}(2PN) $, 其中$ P $为使用的邻域像素个数; 计算融合图像在4个方向的邻域像素之间相关性特征的时间复杂度为$ {\rm{O}}(8N) $; 在归一化GMRIs时, 设高斯窗口尺寸为$ d_{4} \times d_{4} $, 则归一化所需时间为$ {\rm{O}}\left(4(d_{4}^{2} +1)N\right) $; 从GMRIs中特征提取统计分布特征和邻域像素相关性特征的时间为$ {\rm{O}}\left(18N\right) $.综上所述, 本文算法总的时间复杂度为${\rm{O}}\left((4d_{1}^{2} +\right. \left. d_{2} d_{3}^{2} +2p+4d_{4}^{2} +42)N\right) $, 仍保持在线性阶.
为了和其他算法进行详细对比, 本文计算了各算法在LIVE Phase Ⅱ数据库上提取330幅失真图像特征或预测图像质量值所花费的平均时间(s).由于2D算法SS[25], MS[31]和BR[27]算法无需计算视差图, 也无需进行图像融合, 他们所需的执行时间分别为0.079 s, 0.113 s和0.071 s.而CF[14]、SI[18]和ODAD算法需要计算视差图, 并生成融合图像, 所需的特征提取时间分别为: 16.485 s、4.149 s和4.538 s.相对来说, ODAD算法比使用Gabor滤波的CF[14]算法的计算时间少近12 s.
5. 结论
本文提出一种基于眼优势的非对称失真SIQA算法ODAD.该算法在模拟立体图像的视觉刺激强度时, 采用梯度幅值响应来减少图像转换时间, 提高了算法的效率.在对双目视觉进行建模时, 分别基于左和右视点图像生成两幅融合图像, 更好地模拟了人类视觉皮层中的眼优势效应原理.在提取图像特征时, 使用RIU-LBP直方图, 邻域像素之间的PLCC值, 以及非零均值AGGD模型, 获得了描述能力较强的感知质量特征.建立评价模型时, 采用AdaBoost-SVR算法提高了评价模型的稳定性.在4个立体图像基准测试数据库上实验结果表明, 所提出的算法较经典SIQA算法评价获得了更高的评价结果, 尤其是在评价各种非对称失真立体图像的质量时准确性最高.同时, 所提出算法的执行效率也较高, 能更好地满足实际应用的需求.
-
图 1 基于眼优势的非对称失真立体图像质量评价算法框图
Fig. 1 The diagram of asymmetrically distorted SIQA algorithm based on ocular dominance
图 2 失真图像及其GMRI和Gabor滤波图像
Fig. 2 The distorted image, the GMRI, and the Gabor response image
图 4 各类失真图像及其左右融合图像(从左至右的图像依次为左视点、右视点、左融合和右融合图像)
Fig. 4 The distorted images and their left and right fusion images for various distortion types (Images from left to right are left view, right view, left fusion image, and right fusion image)
图 5 各类失真图像的左右融合图像的RIU-LBP直方图
Fig. 5 RIU-LBP histograms of the left and right fusion images for different distortion types
图 6 左和右融合图像的邻域像素之间PLCC值取值变化图
Fig. 6 The variation of the PLCC values between neighboring pixels in the left and right fusion images
图 7 归一化GMRIs的统计分布(以右视点为例)
Fig. 7 The distribution of normalized GMRIs (take the right view as an example)
图 8 GMRI在水平方向的邻域像素乘积图统计分布(以右视点为例)
Fig. 8 The distribution of the neighboring products of GMRI along horizontal direction (take the right view as an example)
图 10 各对比算法在IVC Phase Ⅰ数据库上预测值与MOS值的散点分布图
Fig. 10 The scatter plots of the MOS values versus the quality scores predicted by the competing algorithms on IVC Phase Ⅰ database
图 11 采用不同个数SVR在独立数据库和交叉数据库验证的结果对比
Fig. 11 The comparison of experiments on individual and cross database tests when using different numbers of SVR
表 1 失真立体图像的两幅融合图像与左右视点图像之间的相似性和相关性
Table 1 The similarity and correlation between the two fusion images and the stereo pair
图像 相似性 相关性 对称失真 非对称失真 混合 对称失真 非对称失真 混合 I-L I-R I-L I-R I-L I-R I-L I-R I-L I-R I-L I-R FI-L 0.6404 0.4091 0.6726 0.3946 0.6555 0.3969 0.7561 0.5815 0.8134 0.5493 0.7950 0.5531 FI-R 0.4047 0.6264 0.3971 0.6135 0.4005 0.6214 0.5705 0.7481 0.5766 0.7205 0.5766 0.7448 
下载: 导出CSV
表 2 各算法在基准测试数据库中的非对称失真图像部分预测结果比较
Table 2 The comparison between SIQA algorithms on the asymmetrically distorted images in benchmark databases
算法 IVC Phase Ⅰ (252) IVC Phase Ⅱ (330) LIVE Phase Ⅱ (280) SROCC PLCC RMSE SROCC PLCC RMSE SROCC PLCC RMSE SS[25] 0.5372 0.5427 11.1710 0.4029 0.4080 16.3354 0.7694 0.7691 6.9152 MS[31] 0.5109 0.5206 11.1025 0.4501 0.4583 15.8435 0.7207 0.6294 7.4424 BR[27] 0.9349 0.9453 4.8005 0.9206 0.9377 6.4756 0.9336 0.9410 3.8740 CF[14] 0.4147 0.4575 11.9912 0.3302 0.3407 16.2554 0.8883 0.7701 4.8922 ID[9] 0.9383 0.9493 4.5700 0.9310 0.9392 6.2879 0.9019 0.8981 − SI[18] 0.9336 0.9481 4.6602 0.9217 0.9343 6.6306 0.9402 0.9457 3.6905 文献[32] 0.8600 0.8740 − 0.8010 0.8440 − 0.8920 0.9570 − ODAD 0.9595 0.9692 3.5685 0.9643 0.9703 4.4826 0.9397 0.9482 3.6014
下载: 导出CSV
表 3 各算法在基准测试数据库中的对称失真图像部分预测结果比较
Table 3 The comparison between SIQA algorithms on the symmetrically distorted images in benchmark databases
算法 IVC Phase Ⅰ (78) IVC Phase Ⅱ (130) LIVE Phase Ⅱ (80) SROCC PLCC RMSE SROCC PLCC RMSE SROCC PLCC RMSE SS[25] 0.7517 0.7082 9.5359 0.5933 0.5775 13.2300 0.8447 0.8360 5.8319 MS[31] 0.6416 0.6298 10.6055 0.5169 0.5263 13.7357 0.9185 0.7951 4.1896 BR[27] 0.9393 0.9655 5.4399 0.9460 0.9611 5.7405 0.9147 0.9336 4.2804 CF[14] 0.7361 0.7944 9.9160 0.4864 0.5247 14.1269 0.9173 0.8134 4.0668 ID[9] 0.9669 0.9778 3.7110 0.9696 0.9802 4.0223 0.9234 0.9372 − SI[18] 0.9464 0.9696 5.0625 0.9463 0.9593 5.7976 0.9235 0.9433 3.9317 文献[32] 0.9100 0.9020 − 0.9140 0.9150 − 0.9280 0.9350 − ODAD 0.9464 0.9682 5.1764 0.9672 0.9700 4.4689 0.9071 0.9287 4.4932
下载: 导出CSV
表 4 各算法在对称与非对称失真数据库上的预测结果比较
Table 4 The comparison between SIQA algorithms on the symmetrically and asymmetrically distorted databases
算法 IVC Phase Ⅰ (330) IVC Phase Ⅱ (460) LIVE Phase Ⅱ (360) SROCC PLCC RMSE SROCC PLCC RMSE SROCC PLCC RMSE SS[25] 0.5963 0.6074 11.0735 0.4671 0.4749 15.9686 0.7925 0.7835 6.2681 MS[31] 0.5479 0.5647 11.2988 0.4749 0.4868 15.7450 0.7707 0.6594 6.9380 BR[27] 0.9352 0.9501 4.9508 0.9326 0.9453 6.2938 0.9375 0.9427 3.8404 CF[14] 0.5690 0.6740 11.6230 0.4440 0.5690 15.7400 0.9013 0.7781 4.7464 CN[15] 0.9110 0.9260 6.2320 0.8840 0.8820 8.9610 0.8800 0.8800 5.1020 Su[16] − − − − − − 0.9050 0.9130 4.6570 ID[9] 0.9502 0.9609 4.3588 0.9437 0.9533 5.7809 0.9159 0.9188 − SI[18] 0.9442 0.9570 4.6212 0.9369 0.9488 6.0713 0.9471 0.9519 3.5482 文献[32] 0.9040 0.8980 − 0.8900 0.8660 − 0.9180 0.8950 3.2100 文献[33] − − − − − − 0.9233 0.9297 − ODAD 0.9645 0.9729 3.4945 0.9696 0.9745 4.1355 0.9403 0.9453 3.4609
下载: 导出CSV
表 5 各算法在LIVE Phase Ⅰ数据库上的SROCC、PLCC和RMSE比较
Table 5 The comparison between SIQA algorithms in terms of SROCC, PLCC, and RMSE on LIVE Phase Ⅰ database
下载: 导出CSV
表 6 交叉验证实验结果
Table 6 The experimental results on cross database tests
算法 IVC Phase Ⅰ LIVE Phase Ⅱ LIVE Phase Ⅰ LIVE Phase Ⅱ IVC Phase Ⅱ LIVE Phase Ⅰ IVC Phase Ⅰ IVC Phase Ⅱ SROCC PLCC SROCC PLCC SROCC PLCC SROCC PLCC SROCC PLCC SROCC PLCC BR[27] 0.5878 0.6129 0.3168 0.2999 0.8413 0.8699 0.6568 0.6708 0.7585 0.7978 0.5344 0.5239 SI[18] 0.6248 0.6515 0.3311 0.3324 0.8165 0.8419 0.9054 0.9045 0.6694 0.6470 0.4854 0.4748 ODAD 0.5784 0.6360 0.3542 0.3591 0.8390 0.8458 0.9048 0.9050 0.6133 0.5785 0.6123 0.6057
下载: 导出CSV
表 7 各部分特征对ODAD算法性能影响
Table 7 The influence of each part of features on the performance of ODAD
算法 LIVE Phase Ⅰ LIVE Phase Ⅱ IVC Phase Ⅰ IVC Phase Ⅱ SROCC PLCC RMSE SROCC PLCC RMSE SROCC RMSE PLCC RMSE SROCC RMSE ODAD-GM 0.9531 0.9587 4.6525 0.9400 0.9452 3.9110 0.9556 0.9618 4.3948 0.9589 0.9651 5.0795 ODAD-CL 0.9586 0.9629 4.5157 0.9401 0.9458 3.6589 0.9546 0.9647 4.1464 0.9582 0.9655 5.1122 ODAD-CR 0.9585 0.9645 4.3886 0.9400 0.9453 3.7114 0.9519 0.9641 4.2672 0.9560 0.9645 5.2156 ODAD-148 0.9570 0.9631 4.5024 0.9408 0.9468 3.7199 0.9536 0.9647 4.2296 0.9566 0.9646 5.0769 ODAD 0.9596 0.9665 4.0745 0.9403 0.9453 3.4609 0.9645 0.9729 3.4945 0.9696 0.9745 4.1355
下载: 导出CSV
-
[1] Su C C, Moorthy A K, Bovik A C. Visual quality assessment of stereoscopic image and video:challenges, advances, and future trends. Visual Signal Quality Assessment, Cham, Springer, 2015. 185-212 [2] 王志明.无参考图像质量评价综述.自动化学报, 2015, 41(6):1062-1079 http://www.aas.net.cn/CN/abstract/abstract18682.shtmlWang Zhi-Ming. Review of no-reference image quality assessment. Acta Automatica Sinica, 2015, 41(6):1062-1079 http://www.aas.net.cn/CN/abstract/abstract18682.shtml [3] 徐少平, 林官喜, 曾小霞, 姜尹楠, 唐祎玲.立体图像质量感知特征提取的研究进展.计算机工程, 2018, 44(6):239-248 doi: 10.3969/j.issn.1000-3428.2018.06.041Xu Shao-Ping, Lin Guan-Xi, Zeng Xiao-Xia, Jiang Yin-Nan, Tang Yi-Ling. Quality-aware feature extraction in the stereoscopic image quality assessment algorithm. Computer Engineering, 2018, 44(6):239-248 doi: 10.3969/j.issn.1000-3428.2018.06.041 [4] 陈勇, 吴明明, 房昊, 刘焕淋.基于差异激励的无参考图像质量评价[网络出版].自动化学报, http://kns.cnki.net, 2019年1月22日Chen Yong, Wu Ming-Ming, Fang Hao, Liu Huan-Lin. No-reference image quality assessment based on differential excitation[Online]. Acta Automatica Sinica, available:http://kns.cnki.net, January 22, 2019 [5] Campisi P, Callet P L, Marint E. Stereoscopic images quality assessment. In:Proceedings of the 15th European Signal Processing. Poznan, Poland:IEEE, 2007. 2110-2114 [6] 张明琦, 范影乐, 武薇.基于初级视通路视觉感知机制的轮廓检测方法[网络出版].自动化学报, http://kns.cnki.net, 2018年10月11日Zhang Ming-Qi, Fan Ying-Le, Wu Wei. A contour detection method based on visual perception mechanism in primary visual pathway[Online]. Acta Automatica Sinica, available:http://kns.cnki.net, October 11, 2018 [7] Hubel D H, Wiesel T N. Ferrier Lecture:functional architecture of macaque monkey visual cortex. Proceedings of the Royal Society B:Biological Sciences, 1977, 198(1130):1-59 doi: 10.1098/rspb.1977.0085 [8] Menon R S, Ogawa S, Strupp J P, Ugurbil K. Ocular dominance in human V1 demonstrated by functional magnetic resonance imaging. Journal of Neurophysiology, 1997, 77(5):2780-2787 doi: 10.1152/jn.1997.77.5.2780 [9] Wang J, Zeng K, Wang Z. Quality prediction of asymmetrically distorted stereoscopic images from single views. In:Proceeding of the 2014 IEEE International Conference on Multimedia and Expo. Chengdu, Sichuan, China:IEEE, 2014. 14-18 [10] Shao F, Zhang Z, Jiang Q, Lin W, Jiang G. Toward domain transfer for no-reference quality prediction of asymmetrically distorted stereoscopic images. IEEE Transactions on Circuits and Systems for Video Technology, 2018, 28(3):573-585 doi: 10.1109/TCSVT.2016.2628082 [11] Zhou W, Zhang S, Pan T, Yu L, Qiu W, Zhou Y, et al. Blind 3D image quality assessment based on self-similarity of binocular features. Neurocomputing, 2017, 224(8):128-134 http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=f025746f01fdff2db844e62be75977cf [12] Shao F, Lin W, Jiang G, Dai Q. Models of monocular and binocular visual perception in quality assessment of stereoscopic images. IEEE Transactions on Computational Imaging, 2016, 2(2):123-135 doi: 10.1109/TCI.2016.2538720 [13] Maalouf A, Larabi M C. CYCLOP:a stereo color image quality assessment metric. In:Proceedings of the 2011 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). Prague, Czech Republic:IEEE, 2011. 1161-1164 [14] Chen M J, Su C C, Kwon D K, Cormack L K, Bovik A C. Fullreference quality assessment of stereopairs accounting for rivalry. Signal Processing:Image Communication, 2013, 28(9):1143-1155 doi: 10.1016/j.image.2013.05.006 [15] Chen M J, Cormack L K, Bovik A C. No-reference quality assessment of natural stereopairs. IEEE Transactions on Image Processing, 2013, 22(9):3379-3391 doi: 10.1109/TIP.2013.2267393 [16] Su C C, Cormack L K, Bovik A C. Oriented correlation models of distorted natural images with application to natural stereopair quality evaluation. IEEE Transactions on Image Processing, 2015, 24(5):1685-1699 doi: 10.1109/TIP.2015.2409558 [17] Shen L, Fang R, Yao Y, Geng X, Wu D. No-reference stereoscopic image quality assessment based on image distortion and stereo perceptual information. IEEE Transactions on Emerging Topics in Computational Intelligence, 2019, 3(1):59-72 doi: 10.1109/TETCI.2018.2804885 [18] Liu L, Liu B, Su C C, Huang H, Bovik A C. Binocular spatial activity and reverse saliency driven no-reference stereopair quality assessment. Signal Processing Image Communication, 2017, 58(10):287-299 http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=daf1d34098fc5b22df02bd3586ef4ee0 [19] 杨小康, 刘敏, 翟广涛, 顾锞.基于非线性眼优势视差补偿的立体图像质量评价方法. CN, Patent 104240255A, 2014年12月24日Yang Xiao-Kang, Liu Min, Zhai Guang-Tao, Gu Ke. Stereoscopic image quality evaluation method based on nonlinear ocular dominance parallax compensation. CN Patent 104240255A. December 24, 2014 [20] 杨小康, 刘敏, 翟广涛, 顾锞.基于眼优势理论和视差补偿的立体图像质量评价方法. CN Patent 104243977B. 2014年12月24日Yang Xiao-Kang, Liu Min, Zhai Guang-Tao, Gu Ke. Stereoscopic image quality evaluation method based on ocular dominance theory and parallax compensation. CN Patent 104243977B. December 24, 2014 [21] Ojala T, Pietikainen M, Maenpaa T. Multiresolution gray-scale and rotation invariant texture classification with local binary patterns. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2002, 24(7):971-987 doi: 10.1109/TPAMI.2002.1017623 [22] Zhou W, Yu L, Qiu W, Zhou Y, Wu M. Local gradient patterns (LGP):an effective local-statistical-feature extraction scheme for no-reference image quality assessment. Information Sciences, 2017, 397-398:1-14 doi: 10.1016/j.ins.2017.02.049 [23] Oszust M. No-Reference image quality assessment using image statistics and robust feature descriptors. IEEE Signal Processing Letters, 2017, 24(11):1656-1660 doi: 10.1109/LSP.2017.2754539 [24] Hubel D H, Wiesel T N. Receptive fields, binocular interaction and functional architecture in the cat's visual cortex. The Journal of Physiology, 1962, 160(1):106-154 doi: 10.1113/jphysiol.1962.sp006837 [25] Wang Z, Bovik A C, Sheikh H R, Simoncelli E P. Image quality assessment:from error visibility to structural similarity. IEEE Transaction Image Processing, 2004, 13(4):600-612 doi: 10.1089-fpd.2009.0394/ [26] Wang J, Rehman A, Zeng K, Wang S, Wang Z. Quality prediction of asymmetrically distorted stereoscopic 3D images. IEEE Transactions on Image Processing, 2015, 24(11):3400-3414 doi: 10.1109/TIP.2015.2446942 [27] Mittal A, Moorthy A K, Bovik A C. No-reference image quality assessment in the spatial domain. IEEE Transactions on Image Processing, 2012, 21(12):4695-4708 doi: 10.1109/TIP.2012.2214050 [28] Moorthy A K, Su C C, Mittal A, Bovik A C. Subjective evaluation of stereoscopic image quality. Signal Processing:Image Communication, 2013, 28(8):870-883 doi: 10.1016/j.image.2012.08.004 [29] Singer W, Gray C M. Visual feature integration and the temporal correlation hypothesis. Annual Review of Neuroscience, 1995, 18(1):555-586 doi: 10.1146/annurev.ne.18.030195.003011 [30] Chang C C, Lin C J. LIBSVM:a library for support vector machines. ACM Transactions on Intelligent Systems and Technology, 2011, 2(3):Article No.27 http://d.old.wanfangdata.com.cn/Periodical/jdq201315008 [31] Wang Z, Simoncelli E R, Bovik A C. Multiscale structural similarity for image quality assessment. In:Proceedings of IEEE 37th asilomar conference on Signals, Systems and Computers, CA, USA:Pacific Grove, 2004. 1398-1402 https://ieeexplore.ieee.org/document/1292216 [32] Fezza S A, Chetouani A, Larabi M C. Using distortion and asymmetry determination for blind stereoscopic image quality assessment strategy. Journal of Visual Communication and Image Representation, 2017, 49:115-128 doi: 10.1016/j.jvcir.2017.08.009 [33] Ding Y, Deng R, Xie X, Xu X, Zhao Y, Chen X, et al. No-reference stereoscopic image quality assessment using convolutional neural network for adaptive feature extraction. IEEE Access, 2018, 6:37595-37603 doi: 10.1109/ACCESS.2018.2851255 期刊类型引用(7)
1. 欧文达，宿菲. 基于数据挖掘的立体视觉效果评价方法研究. 计算机仿真. 2023(12): 273-276+358 . 
百度学术2. 孙璇. VR全景视频渲染输出安全性自动评价模型. 自动化技术与应用. 2022(06): 86-90 . 百度学术3. 谭志锋，谭明. 基于图像互动虚拟的平面广告元素视觉优化设计. 现代电子技术. 2021(02): 179-182 . 百度学术4. 卫星，李佳，孙晓，刘邵凡，陆阳. 基于混合生成对抗网络的多视角图像生成算法. 自动化学报. 2021(11): 2623-2636 . 本站查看5. 余海燕. 基于多目立体视觉的体育舞蹈错误动作校正方法. 赤峰学院学报(自然科学版). 2020(07): 100-104 . 百度学术6. 丁楠. 广告文字图形化处理视觉干预质量评价技术研究. 现代电子技术. 2020(21): 47-50+54 . 百度学术7. 曹玉东，蔡希彪. 基于增强型对抗学习的无参考图像质量评价算法. 计算机应用. 2020(11): 3166-3171 . 百度学术其他类型引用(1)
-
下载:
计量
- 文章访问数: 2285
- HTML全文浏览量: 442
- PDF下载量: 148
- 被引次数: 8
