Local Image Descriptor of Feature Combination and Rotation Invariant Space Division Combination
-
摘要: 提出了一种新的局部图像描述符: 特征联合和旋转不变空间分割联合描述符(Feature combination and rotation invariant space division combination descriptor, FCSCD). 提出了一种新的局部特征: WLBP (Weber local binary pattern), 该特征由局部二进制模式和韦伯二进制差分激励联合得到. 提出了一种新的用于特征汇聚的旋转不变空间分割方法, 该方法由强度序空间分割和圆环空间分割联合得到. WLBP在局部旋转不变坐标系计算得到, 强度序和圆环空间分割本身也具有旋转不变性, 所以FCSCD描述符在不需要计算图像块主方向下保持了旋转不变性. 与现有的局部描述符相比, 本文的联合方法编码了多种类型的信息在描述符直方图中, 所以FCSCD辨别能力更强, 鲁棒性更强. 图像匹配实验结果表明了本文方法的有效性和优越性, 所提出的描述符具有很高的匹配性能, 优于其他的主流局部描述符(SIFT、CS-LBP、OSID、LIOP、EOD和MRRID).Abstract: This paper proposes a novel local image descriptor called FCSCD (feature combination and rotation invariant space division combination descriptor). A new local feature, WLBP (Weber local binary pattern), is proposed which combines Weber binary differential excitation and local binary pattern. A new rotation-invariant space division for feature pooling is also proposed which combines intensity order space division and annular space division. WLBP is computed in a rotation invariant local coordinate system. Intensity order and annular space division are inherently rotation invariant. So, FCSCD obtains rotation invariance without computing principle orientation of the image patch. Compared with other existing descriptors, this combination method makes FCSCD encode various types of information into a histogram, and so it is more distinctive and robust. Experimental results on image matching demonstrate the effectiveness and superiorities of the proposed descriptor compared to the state-of-the-art descriptors including SIFT, CS-LBP, OSID, LIOP, EOD, and MRRID.
-
Key words:
- Local image descriptor /
- SIFT /
- image matching /
- rotation invariance
-
局部图像描述符已广泛应用于从运动恢复结构 [1]、机器人导航 [2]、目标识别 [3]、图像搜索 [4]、图像分类 [5]、 图像拼接 [6]等众多计算机视觉和图像处理领域.
SIFT描述符 [7]是目前最流行、应用最为广泛的局部图像描述符, 其描述8个方向的梯度特征的空间分布, 采用$4\times 4$笛卡儿坐标网格的空间汇聚方法, 产生128维直方图向量. 随后, 研究者提出了各种SIFT描述符变体. 针对SIFT描述符的高维度, Ke和Sukthankar [8]利用主分量分析方法对SIFT进行了维数约简, 得到了低维的PCA-SIFT描述符. 针对PCA-SIFT中对本征向量空间的求解非常耗时的缺点, 颜雪军等 [9]提出了采用2DPCA对梯度向量块进行降维的局部区域描述方法. Mikolajczyk等 [10]提出了采用新的空间汇聚方法的GLOH (Gradient location and orientation histogram) 描述符, 该描述符采用3个径向方向和8个角度方向的log-polar网格坐标对兴趣区域进行空间划分. Mikolajczyk等 [10]并对各类局部图像描述符(形状上下文、矩、复杂滤波器、互相关描述符、 微分描述符、方向可调描述符、Spin描述符、 SIFT、PCA-SIFT、GLOH) 进行了性能评价. 评价结果表明: SIFT 描述符及其变体在各种图像变换下的性能都优于其他类型的描述符. 接着, Bay等 [11]提出了 SURF (Speeded up robust features)描述符, 其利用Box滤波代替高斯滤波, 利用哈尔滤波器代替梯度. 相对于SIFT描述符, SURF描述符的计算速度提高了3 $\sim$ 7倍. Tola等 [12]提出了应用于宽基线立体和稠密特征提取的DAISY描述符, 该描述符采用了分布在中心圆环上的不同圆形区域进行空间汇聚. Brown等 [13] 提出了利用机器学习的方法来学习最佳的、与DAISY类似的空间汇聚策略. 但Brown等采用的优化准则不是解析的, 容易陷入局部最小. 针对该问题, Simonyan等 [14]提出了采用凸优化的局部描述符学习方法. 当然, 除了这些采用梯度特征的SIFT描述符及其变体外还存在许多其他局部描述符.等 [15]提出了中心对称局部二进制模式(Center-symmetric local binary pattern, CS-LBP) 描述符, 描述了中心对称像素对强度对比的空间分布. Tang等 [16]提出了序空间强度分布(Ordinal spatial intensity distribution, OSID)描述符, 该描述符是空间位置和强度序的二维分布. 受韦伯准则启发, Chen等 [17]提出了韦伯局部描述符(Weber local descriptor, WLD), 该描述符包含差分激励和方向二部分. WLD主要用于纹理分类和人脸检测. Kim等 [18] 提出了一种基于精确序的局部描述符(Exact order based descriptor, EOD). EOD 对CS-LBP和OSID两种描述符进行改进和融合, 其计算分为三步: 1) 为了解决OSID中相同强度像素的序模糊性, 通过把图像的离散强度值转化为k 维的连续值得到精确的序图像, 从而得到GEOF (Global exact order feature)特征; 2) 为了解决CS-LBP描述符对高斯噪声敏感的问题, 利用哈尔特征算子进行改进得到LEOF (Local exact order feature)特征; 3) 使用离散余弦变换对直接级联的LEOF和GEOF特征进行维数约简, 得到最后的EOD 描述符.
上面提到的SIFT及其他局部描述符都需要估计图像块的主方向来达到旋转不变性. 然而, 主方向估计是不可靠、不精确的. Lazebnik等 [19]提出了旋转不变特征变换(Rotation invariant feature transform, RIFT)描述符. RIFT采用旋转不变圆环空间分割方法, 圆形归一化图像块分成4个相同宽度的同心环, 在局部旋转不变坐标系统下计算每个圆环内的梯度方向直方图. 由于圆环空间分割方法的分组数目非常有限, 丢失了许多空间信息, 所以RIFT 描述符的辨别性很低 [20]. Fan等 [20]提出了2个在多支撑域上计算的基于强度序汇聚局部特征的图像描述符: 基于序的多支撑域梯度直方图(Multisupport region order-based gradient histogram, MROGH)和多支撑域旋转和强度单调不变描述符(Multisupport region rotation and intensity monotonic invariant descriptor, MRRID). MROGH采用方向梯度作为局部特征, MRRID采用LBP作为局部特征. 强度序作为一种空间分割方法对局部特征进行汇聚形成统计直方图. Wang等 [21]提出了局部强度序模式(Local intensity order pattern, LIOP)描述符, 其空间分割方法也采用强度序, 局部特征采用局部强度序模式. 和RIFT一样, MROGH、MRRID和LIOP中的局部特征也都在局部旋转不变坐标系统下计算得到, 保持旋转不变性. RIFT采用的圆环空间分割方法具有旋转不变性, MROGH、MRRID和LIOP采用的强度序空间分割方法也具有旋转不变性. 所以, RIFT、MROGH、MRRID和LIOP具有内在的旋转不变性, 在不需要估计图像块的主方向条件下达到了旋转不变.
本文联合WLD描述符中的韦伯二进制差分激励和LBP, 得到新的WLBP (Weber local binary pattern)局部特征. WLBP在局部旋转不变坐标系统下计算, 是旋转不变的. 韦伯二进制差分激励从另一个方面描述了像素的局部邻域信息, 所以相对于LBP, WLBP对局部邻域的描述能力更强. 提出了一种新的用于特征汇聚的旋转不变空间联合分割方法, 该方法由强度序空间分割和圆环空间分割联合得到. 通过该旋转不变空间联合分割方法汇聚WLBP局部特征得到新的局部图像描述符FCSCD. 相对于单独利用强度序空间分割或圆环空间分割的方法相比, 联合分割方法能更好地描述不同类型图像块的局部特征空间分布. 综合而言, 相对于存在的其他局部描述符, FCSCD在直方图中编码了多种类型的信息, 所以其性能也更加优越.
最后, 进行了标准数据集上的匹配实验来验证本文算法的有效性. 实验结果表明: 本文提出的描述符匹配性能优于其他的主流局部图像描述符(SIFT、CS-LBP、OSID、LIOP、EOD和MRRID).
1. 局部图像描述符的设计
1.1 局部特征提取
MRRID描述符中计算LBP特征采用局部旋转不变坐标系统, 本文的LBP特征计算方法和MRRID一样. 由于维数限制, 用于局部图像描述符的LBP特征都是指CS-LBP[15, 20], 所以本文的LBP特征也为CS-LBP. 如图 1所示, 假定P为兴趣点, Xc为其支撑域中的一个像素点. 设$\overrightarrow{PX_c}$ 为正y轴, 则建立了该像素点的局部$xy$ 坐标系统. 该局部坐标系是旋转不变的, 则在该坐标系下计算得到的局部特征也具有旋转不变性. 在该局部坐标系统下旋转不变局部二进制模式和韦伯二进制差分激励 (Weber binary differential excitation, WBDE) 计算如下:
$WBD{{E}_{R, N}}({{X}_{c}})=s\left[ \sum\limits_{j=1}^{N}{(I({{X}_{j}})-I({{X}_{c}}))} \right]$
(1) $LB{{P}_{R, N}}({{X}_{c}})=\sum\limits_{j=1}^{\frac{N}{2}}{s\left[ I({{X}_{j}})-I({{X}_{j+\frac{N}{2}}}) \right]{{2}^{j-1}}}$
(2) $s(x)=\left\{ \begin{align} & 1, x>0 \\ & 0, 其他 \\ \end{align} \right.$
(3) 其中, Xj为中心像素点Xc在局部$xy$坐标系统下沿x和y轴分布的邻居点, 如图 1所示. R为周围邻居点的半径, N为邻居点数目. 根据文献[15, 17, 20]的研究, R取2、N取8时最好. $I(X_j)$表示Xj的强度. WBDE特征是韦伯差分激励 [17]的二进制版本. LBP计算与中心像素对称的2个像素之间的强度差, 大于0或小于0表示一个像素的强度大于或小于另一个像素的强度. WBDE计算所有邻居点与中心像素之间的强度差之和, 大于0表示周围点比中心像素点更亮, 小于0表示周围点比中心像素点更黑. 由此可见, WBDE 特征和LBP特征对局部邻域的描述是完全不同的, 具有一定的互补性. 联合WBDE特征和LBP 特征将增强像素的局部邻域描述能力. 本文对WBDE特征和LBP特征进行二维联合, 再把二维特征联合转化为一维特征, 得到本文的WLBP特征, 计算如下:
$WLB{{P}_{R, N}}({{X}_{c}})={{2}^{\frac{N}{2}}}\times WBD{{E}_{R, N}}({{X}_{c}})+LB{{P}_{R, N}}({{X}_{c}})$
(4) WLBP特征维数$m=2^{N/2+1}$. 因为N取8时最好, 所以$m=32$.
1.2 空间分割
1.2.1 强度序空间分割
对支撑域中所有像素点根据其强度值进行排序, 得到每个像素点的强度序值. 这样就把原始的强度值转化为序值. 强度序对图像块的旋转保持不变. 设支撑域中共有n个像素点, 每个像素点有唯一的强度序, 则像素点的强度序值取值范围为1 $\sim$ n. 把1 $\sim$ n从小到大平均分为k段, 每个像素点根据其强度序值进行分组:
$Ibi{{n}_{i}}=\{d({{X}_{j}})\in \left[ \left\lceil n\times \frac{i-1}{k} \right\rceil +1, \left\lceil n\times \frac{i}{k} \right\rceil \right], =1, \cdots , k\}$
(5) 其中, $d(X_j)$为像素点Xj的强度序值. 因为每个像素的强度序是唯一的, 所以每个像素所属的组别也是唯一的. 因为强度序的分组数目不能太大, 仅利用强度序空间分割方法汇聚局部特征的描述符性能是受限的, 后面的图像匹配实验也证实了该结论.
1.2.2 圆环区域空间划分
文献[19]把支撑区域分为4个互不相交的圆环区域. 这种划分方法有两个缺点: 1)因为支撑区域半径是有限的(通常为20.5个像素), 划分为4个区域导致圆环的宽度很窄, 得到的描述符对大的几何形变是不鲁棒的; 2)相同径向尺寸的圆环区域, 离圆心越近的圆环区域所包含的像素越少. 所以仅利用圆环空间分割方法汇聚局部特征的RIFT描述符辨别性很低, 远低于非旋转不变的空间分割方法(如SIFT)[20].
所以, 本文给出了一种相互重叠的圆环区域划分, 且离圆心越近的圆环区域其径向尺寸越大. 图 2给出了2个相互重叠的圆环区域划分方法, 同一种线型2个不同半径的内外圆组成1个圆环区域. 其中, 最靠近圆心的一个圆环区域的内圆半径为0, 所以圆环区域就变为图 2中一个虚线的圆. 若支撑域分为d个相互重叠的圆环区域, 则d个区域分别表示为$Sbin_1$, $Sbin_2$, $\cdots$, $Sbin_d$. 由于圆环区域有一定的重叠, 所以有些像素所属的组别不是唯一的.
1.2.3 旋转不变空间分割联合
假定一像素点位于$Ibin_i$强度序分组中并且也位于圆环空间区域分组$Sbin_j$中, 则该像素点位于分组$ISbin_l$中. $ISbin_l$分组表达如下:
$\begin{aligned} & ISbin_l= Ibin_i \bigcap Sbin_j, \&\qquad\qquad\qquad i=1, \cdots, k, j=1, \cdots, d \end{aligned} $
(6) 由上式可知: $ISbin_l$分组是强度序分组$Ibin_i$和圆环空间区域分组$Sbin_j$的空间分割联合, 是2种区域分组的交集, 是像素点的联合二维空间分类, $ISbin_l$的维数$S=k \times d$. 像素的强度序描述了一个图像块中像素的全局亮度属性. 像素的2D圆环位置描述了像素的空间几何属性. 这2种空间分割方法是完全不同的, 联合这2种互补的空间分割方法将更好地描述不同类型图像块的局部特征空间分布. 因为有些像素所属的$Sbin_j$不是唯一的, 所以这些像素所属的$ISbin_l$也不是唯一的. 图 3给出了旋转不变空间分割联合过程. 首先对如图 3 (a)所示的归一化圆形支撑区域进行强度序和圆环空间分割, 图 3 (b)和图 3 (c)为2个圆环空间分割, 图 3 (d)、图 3 (e)和图 3 (f)为3个强度序空间分割. 最终得到的如图 3 (g)、图 3 (h)、图 3 (i)、图 3 (j) 、图 3(k) 和图 3(l) 所示的6个空间分组区域, 由2个圆环空间分割和3个强度序空间分割的空间交集联合得到.
图 3 通过联合空间分割汇聚支撑域中局部特征的流程Fig. 3 The procedure of pooling local features in a support region by the combination of space divisions1.3 局部特征空间汇聚
FCSCD描述符的构建过程如图 3所示, 在每个空间分组$ISbin_m$中汇聚WLBP特征, 然后把它们级联起来, 得到我们的描述符. 数学上, FCSCD描述符的计算如下:
$FCSCD=(de{{s}_{1}}, de{{s}_{2}}, \cdots , de{{s}_{S}}), de{{s}_{i}}=\sum\limits_{X\in ISbi{{n}_{i}}}{W}LBP(X)$
(7) FCSCD描述符的维数为$S\times m=k\times d\times m$. 最后, 对描述符进行归一化.
1.4 多支撑域讨论
区域检测子提取用于计算描述符的兴趣区域. 为了得到尺度或仿射不变性, 局部兴趣区域需要归一化为一个标准区域(通常为$41\times 41$像素的圆形区域), 然后在这个标准区域中计算描述符, CS-LBP[15]、OSID[16]、MRRID[20]、LIOP[21]和EOD[18]都在该标准区域上计算. 这个归一化的标准区域也称为支撑域. 尺度或仿射区域不变检测子提取的兴趣区域用对称矩阵$A \in R^{2 \times 2}$表示, 则区域中的任何一点X可表示为 [20]
$X^{\rm T}AX \leq 1 $
(8) 归一化区域中的像素点需满足以下条件:
$X'{^{\rm T}}AX' \leq r $
(9) r为归一化区域的半径(一般为20.5个像素). 由式(8)和式(9)可以得到下式 [20]:
$X = \frac{1}{r} A^{-\frac{1}{2}} X' $
(10) 所以, 利用式(10)和兴趣区域的像素点强度值可以计算得到归一化区域中每个像素点的强度值. 由式(8)可知: 对矩阵A乘以一个尺度因子, 在不改变兴趣区域形状的条件下可以改变兴趣区域的尺寸. 所以, 对矩阵A分别乘以几个不同的尺度因子可以得到几个不同尺寸的兴趣区域, 再对这些兴趣区域进行归一化就得到几个不同的支撑域, 如图 4所示. 局部描述符 [15-16, 18, 20-21]都在该归一化的标准支撑域上计算, 所以多支撑域属于区域归一化步骤, 任何局部描述符都有多支撑域形式. 不同场景的2个特征点在某个局部区域可能会出现相似的外观. 然而, 不同场景的2个特征点在几个不同大小的局部区域出现相似外观的可能更小. 所以, 在多个支撑域上构建描述符将提高他们的辨别性能. 文献[20]选择4个以兴趣点为中心的不同尺寸大小的椭圆区域, 对其分别进行归一化, 得到4个支撑区域, 如图 4所示. 在每个支撑域i上独立计算一个局部描述符向量Di. 在4个支撑域上计算得到的所有局部描述符向量级联起来形成多支撑域局部描述符($D_1, D_2, D_3$, $D_4$).
图 4 四个支撑区域选择及其归一化Fig. 4 The selection of four support regions and their normalization使用多支撑域的描述符通常都比使用单支撑域的描述符具有更高的性能, 不同的是: 有些描述符提高得很少, 如SIFT; 有些描述符提高得很多, 如MRRID. 多支撑域局部描述符的计算复杂度很高, 因为多支撑域中每个不同尺寸的局部区域都需要重新归一化, 对每个归一化的区域都必须重新计算描述符. 所以, N个支撑域的局部描述符的计算量通常是单支撑域的N倍. 本文主要研究单支撑域局部描述符, 但为了表明本文描述符在多支撑域条件下也有很好的性能, 后面的实验对FCSCD的多支撑域形式也进行了性能评估.
1.5 算法复杂度分析
FCSCD描述符的构建过程主要包括局部特征提取、空间分割、空间汇聚几个步骤. 在计算WLBP时, 支撑域中每个像素点都要建立局部旋转不变坐标系统, 每个像素点周围需计算8个邻居点的强度值. 由于8个邻居点不一定刚好在像素点网格上, 所以需要利用双线性内插方法计算这8个邻居点的强度值, 每个像素点的双线性内插需要计算8次乘法运算和11次加减法运算, 所以局部旋转不变坐标系统的乘法运算次数为$64\times n$, 加减法运算次数为$88$ × n. 建立局部旋转不变坐标系统后, LBP的计算需要4次加减法运算, WBDE需要8次加减法运算, 联合特征操作需要1次乘法运算和1次加减法运算, 所以WLBP的乘法运算次数为n, 加减法运算次数为$13\times n$. 所以局部旋转不变坐标系统的计算复杂度远远高于特征提取本身的计算复杂度. FCSCD和MRRID都需要计算局部旋转不变坐标系统, 所以在整个局部特征提取中FCSCD比MRRID只增加了很小的计算量. 空间分割中强度序分割需要对n个数进行排序, 其计算复杂度为O($n\times \log n$). 而圆环空间分割的计算复杂度仅为O(n). 所以FCSCD描述符的联合空间分割比MRRID的强度序空间分割只增加了很小的计算量.
空间汇聚的计算复杂度和描述符维数$Dim$相关, 其计算复杂度为O($Dim$). n的值远大于$Dim$, 所以相对于局部特征提取和空间分割两个步骤, 空间汇聚的计算量很小.
从以上分析可以得出: 相对于MRRID, FCSCD虽然采用了特征联合和旋转不变空间汇聚联合两个策略, 但增加的计算复杂度很小, 可以忽略, 这在后面的描述符计算时间实验中也得到了验证.
2. 实验
实验使用标准图像数据集 [10]对本文方法进行了测试. 该数据集包含了视角变换、图像模糊、JPG压缩、光照变化、旋转和尺度变换这6种变换下的场景图像. 图 5展示了评价局部图像描述符性能所采用的6组实验数据. 每组数据包含6幅图像, 第1幅为基准图像, 其余5幅为变换后的图像, 从第2幅到第6 幅其图像变换越来越大. 第1组Bikes为图像模糊变化, 第2组Leuven为光照变化, 第3组Boat为旋转和尺度变化, 第4组UBC为JPG图像压缩, 第5组Wall为纹理图像的视角变化, 第6组Graffiti为结构图像的视角变化.
本文采用和文献[10]一样的评价准则, 其计算图像对的正确匹配数和错误匹配数. 描述符之间的匹配依赖于匹配策略. 匹配方法主要有基于距离阀值的匹配、最近邻匹配、基于最近邻和次近邻比值的匹配三种. 文献[10]指出: 不同局部描述符的性能排序对于三种匹配方法是相似的, 但描述符之间的距离是主要的相似性度量准则, 基于距离阀值的匹配结果反映了描述符的空间分布, 所以基于距离阀值的匹配方法是局部描述符最合适的匹配准则. 因此, 本文的实验也采用基于距离阀值的匹配方法. 在基于距离阀值的匹配方法中, 如果两个描述符之间的距离小于某个阀值则表示它们相互匹配. 变化距离阀值则得到一条曲线: 查全率 -查错率曲线. 查全率是正确匹配数占对应特征数目的比率, 查错率是错误匹配数目占总匹配数目的比率. 好的局部描述符应该能够在提高查全率的同时降低查错率.
为了对局部图像描述符进行公平的对比, 本文采用广泛应用于局部描述符评价的区域检测子. 和文献[10]一样, 本文采用Hession仿射不变和Harris仿射不变两个区域检测子 [22]来评价描述符的性能. 限于篇幅限制, 本文仅给出Hession仿射不变区域的实验结果.虽然每个描述符的性能随不同的特征检测子变化, 但不同描述符的相对性能是一致的. 区域特征检测子和SIFT描述符均从牛津大学仿射不变特征研究小组网站上下载.
2.1 参数设置实验
本文的FCSCD描述符有两个参数需要设置: 圆环空间分组数目和强度序分组数目. 一般而言, 分组数越多, 描述符捕获的信息越多. 但如果分组数太多, 则会使描述符对图像噪声(变化)很敏感, 从而导致描述符性能下降. 而且, 分组数越多, 描述符的维数越高. 本文采用wall序列来研究分组参数设置对匹配性能的影响. 如表 1, 本文对各种参数组合进行了描述符匹配对比实验. 从图 6可以看出, $k=3$, $d=2$ (192)性能最差; 其次是$k=4$, $d=2$ (256), k $=$ $3$, $d=3$ (288)和$k=5$, $d=2$ (320), 三者性能相差不大; $k=4$, $d=3$ (384)和$k=5$, $d=3$ (480)性能最好, 二者性能相当. 综合考虑匹配性能和复杂度(维数), 本文采用$k=4$, $d=2$的参数设置. 所以FCSCD描述符的维数为256, 后面的实验均采用该参数设置.
表 1 FCSCD 描述符的参数设置Table 1 The setting of parameters for FCSCD descriptor参数 设置值 k 3, 4, 5 d 2, 3 
图 6 不同参数下FCSCD 描述符的匹配性能Fig. 6 Matching performances of FCSCD under di®erent parameter settings2.2 特征联合和空间分割联合性能评价
SCD128是指仅采用空间分割联合, 没有特征联合, 局部特征采用LBP的描述符, 其维数为128维. FCD128是指仅采用特征联合, 没有空间分割联合, 空间分割采用强度序的描述符, 其维数为128维. FCD256与FCD128不同的是: 强度序分组数目设为8, 其维数为256维. 限于篇幅限制, 图 7给出了部分匹配结果, 其他数据集也得到相似的结果. 从图 7可以看出, 相对于SCD128、FCD128和FCD256, 本文的FCSCD256匹配性能更高. 特征联合和空间分割联合方法都能显著提高描述符的局部图像块描述能力, 从而提高了描述符的匹配性能. 在仅利用强度序空间分割方法汇聚局部特征的情况下, 即使增加强度序分组数目对描述符的性能提高也是非常有限的, 在图 7 (b)和图 7 (d)的图像变化条件下FCD256的性能比FCD128略有提高, 在图 7 (c)的图像变化条件下FCD256的性能和FCD128相当, 在图 7 (a)的图像变化条件下FCD256的性能反而比FCD128略有下降.
图 7 各种联合情况下FCSCD 描述符的匹配性能对比Fig. 7 Matching performance comparisons of FCSCD under di®erent combination situations2.3 多支撑域性能评价
MFCSCD(2)指在2个支撑域上计算的FCSCD多支撑域描述符版本. MRRID(4)为文献[20]中提出的多支撑域描述符, 其在4个支撑域上计算得到. 本文把MFCSCD(2)与FCSCD和MRRID(4)做了详细的性能对比. 限于篇幅限制, 图 8给出了部分匹配结果, 其他数据集也得到了相似的结果. 图 8可以看出, 相对于单支撑域FCSCD描述符, MFCSCD(2)有了很大的性能提高, 且高于4个支撑域的MRRID(4)描述符.
图 8 多支撑域条件下FCSCD 描述符的匹配性能对比Fig. 8 Matching performance comparisons of FCSCD under multiple support regions2.4 FCSCD 描述符与其他局部描述符的匹配性能对比
最后, 本文把FCSCD描述符与SIFT, LIOP, MRRID, CS$-$LBP, EOD和OSID描述符进行了性能对比. SIFT是目前最流行的局部描述符, LIOP, MRRID, CS-LBP, EOD和OSID是最近提出的并且和本文相关的局部描述符. LIOP和MRRID都采用强度序汇聚局部特征, 具有旋转不变性. LIOP汇聚局部强度序模式, MRRID汇聚LBP特征. CS-LBP采用非旋转不变空间分割方法汇聚LBP特征. OSID 采用强度序和非旋转不变空间分割方法, 不汇聚局部特征, 是强度序和空间位置的二维分布. SIFT, CS-LBP, EOD和OSID都需要估计图像块的主方向达到旋转不变性. 其他描述符都是单支撑域描述符, 所以为了公平评价, MRRID和FCSCD也采用单支撑域形式. 图 9给出了牛津大学数据集中每个图像序列的第2幅、第4幅和基准图像之间的描述符匹配结果. 第2幅代表较小的图像变化, 第4幅代表较大的图像变化 [21]. 相对于评价的其他描述符, FCSCD描述符的总体性能最优越. FCSCD描述符在图像模糊、视角变化、光照变化、JEPG压缩、旋转和尺度变化这几种图像几何和光度变化下都表现出了超越其他描述符的优越性能, 这主要归功于本文的联合编码方法. 联合编码方法(特征联合和旋转不变空间分割联合)在FCSCD描述符直方图中编码了多种类型的信息.为了更直观地展示局部描述符的匹配性能, 图 10给出了各描述符的图像匹配图. 和查全率 -查错率曲线一样, 匹配策略也采用基于距离阀值的匹配. 限于篇幅限制, 图 10仅给出了Graffiti 1 $\sim$ 4和Wall 1 $\sim$ 4的匹配结果, 其他数据集也得到相似的结果. 图 10中, 白线表示正确匹配, 黑线表示错误匹配. 从图 10可以看出, FCSCD描述符的匹配性能优于其他描述符.
图 9 FCSCD 描述符和其他主流描述符的匹配性能对比Fig. 9 Matching performance comparisons of FCSCD and other popular descriptors
图 10 FCSCD 描述符和其他主流描述符的图像匹配图Fig. 10 Image matching results of FCSCD and other popular descriptors最后, 对描述符的计算时间进行了评价. 表 2给出了本文描述符和其他7个描述符的计算时间, 算法在主频为2.2 GHz的Intel Core 2 Duo T6600笔记本电脑上运行. 从表 2可以看出: 在所有单支撑域描述符中, CS-LBP的计算时间最短, EOD的计算时间最长, FCSCD和MRRID的计算时间相当, 所有单支撑越描述符的计算时间都相差不大. 计算时间最长的多支撑域描述符MRRID(4)是单支撑域MRRID的四倍.
表 2 描述符运行时间对比Table 2 Comparison of run-time of descriptorsSIFT CS-LBP OSID LIOP MRRID MRRID(4) EOD FCSCD 耗时(ms) 2.4 1.6 2.1 3.1 2.6 10.4 3.3 2.7 5. 总结
本文提出了一种新的基于特征联合和空间分割联合的局部图像描述符. 提出的联合特征WLBP由局部二进制模式和韦伯二进制差分激励联合得到. 提出的联合空间分割方法由强度序空间分割和圆环空间分割联合得到. 由这两种联合方法得到的FCSCD描述符编码了多种类型的信息在直方图中. 标准数据集上的实验结果验证了本文方法的有效性和优越性, FCSCD描述符的匹配性能优于目前主流的局部图像描述符.
-
图 3 通过联合空间分割汇聚支撑域中局部特征的流程
Fig. 3 The procedure of pooling local features in a support region by the combination of space divisions
图 4 四个支撑区域选择及其归一化
Fig. 4 The selection of four support regions and their normalization
图 6 不同参数下FCSCD 描述符的匹配性能
Fig. 6 Matching performances of FCSCD under di®erent parameter settings
图 7 各种联合情况下FCSCD 描述符的匹配性能对比
Fig. 7 Matching performance comparisons of FCSCD under di®erent combination situations
图 8 多支撑域条件下FCSCD 描述符的匹配性能对比
Fig. 8 Matching performance comparisons of FCSCD under multiple support regions
图 9 FCSCD 描述符和其他主流描述符的匹配性能对比
Fig. 9 Matching performance comparisons of FCSCD and other popular descriptors
图 10 FCSCD 描述符和其他主流描述符的图像匹配图
Fig. 10 Image matching results of FCSCD and other popular descriptors
表 1 FCSCD 描述符的参数设置
Table 1 The setting of parameters for FCSCD descriptor
参数 设置值 k 3, 4, 5 d 2, 3 
下载: 导出CSV
表 2 描述符运行时间对比
Table 2 Comparison of run-time of descriptors
SIFT CS-LBP OSID LIOP MRRID MRRID(4) EOD FCSCD 耗时(ms) 2.4 1.6 2.1 3.1 2.6 10.4 3.3 2.7
下载: 导出CSV
-
[1] Dong Z L, Zhang G F, Jia J Y, Bao H J. Efficient keyframe-based real-time camera tracking. Computer Vision and Image Understanding, 2014, 118: 97-110 doi: 10.1016/j.cviu.2013.08.005 [2] Cummins M, Newman P. Appearance-only SLAM at large scale with FAB-MAP 2.0. The International Journal of Robotics Research, 2011, 30(9): 1100-1123 doi: 10.1177/0278364910385483 [3] 桂振文, 吴侹, 彭欣. 一种融合多传感器信息的移动图像识别方法. 自动化学报, 2015, 41(8): 1394-1404 http://www.aas.net.cn/CN/abstract/abstract18714.shtmlGui Zhen-Wen, Wu Ting, Peng Xin. A novel recognition approach for mobile image fusing inertial sensors. Acta Automatica Sinica, 2015, 41(8): 1394-1404 http://www.aas.net.cn/CN/abstract/abstract18714.shtml [4] Zhou W G, Li H Q, Hong R C, Lu Y J, Tian Q. BSIFT: toward data-independent codebook for large scale image search. IEEE Transactions on Image Processing, 2015, 24(3): 967-979 doi: 10.1109/TIP.2015.2389624 [5] 刘培娜, 刘国军, 郭茂祖, 刘扬, 李盼. 非负局部约束线性编码图像分类算法. 自动化学报, 2015, 41(7): 1235-1243 http://www.aas.net.cn/CN/abstract/abstract18697.shtmlLiu Pei-Na, Liu Guo-Jun, Guo Mao-Zu, Liu Yang, Li Pan. Image classification based on non-negative locality-constrained linear coding. Acta Automatica Sinica, 2015, 41(7): 1235-1243 http://www.aas.net.cn/CN/abstract/abstract18697.shtml [6] 祝继华, 周颐, 王晓春, 邗汶锌, 马亮. 基于图像配准的栅格地图拼接方法. 自动化学报, 2015, 41(2): 285-294 http://www.aas.net.cn/CN/abstract/abstract18607.shtmlZhu Ji-Hua, Zhou Yi, Wang Xiao-Chun, Han Wen-Xin, Ma Liang. Grid map merging approach based on image registration. Acta Automatica Sinica, 2015, 41(2): 285-294 http://www.aas.net.cn/CN/abstract/abstract18607.shtml [7] Lowe D G. Distinctive image features from scale-invariant keypoints. International Journal of Computer Vision, 2004, 60(2): 91-110 doi: 10.1023/B:VISI.0000029664.99615.94 [8] Ke Y, Sukthankar R. PCA-SIFT: a more distinctive representation for local image descriptors. In: Proceedings of the 2004 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Washington, USA: IEEE, 2004. II-506-II-513 [9] 颜雪军, 赵春霞, 袁夏. 2DPCA-SIFT: 一种有效的局部特征描述方法. 自动化学报, 2014, 40(4): 675-682 http://www.aas.net.cn/CN/abstract/abstract18333.shtmlYan Xue-Jun, Zhao Chun-Xia, Yuan Xia. 2DPCA-SIFT: an efficient local feature descriptor. Acta Automatica Sinica, 2014, 40(4): 675-682 http://www.aas.net.cn/CN/abstract/abstract18333.shtml [10] Mikolajczyk K, Schmid C. A performance evaluation of local descriptors. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2005, 27(10): 1615-1630 doi: 10.1109/TPAMI.2005.188 [11] Bay H, Ess A, Tuytelaars T, van Gool L. Speeded-up robust features (SURF). Computer Vision and Image Understanding, 2008, 110(3): 346-359 doi: 10.1016/j.cviu.2007.09.014 [12] Tola E, Lepetit V, Fua P. DAISY: an efficient dense descriptor applied to wide-baseline stereo. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2010, 32(5): 815-830 doi: 10.1109/TPAMI.2009.77 [13] Brown M, Gang H, Winder S. Discriminative learning of local image descriptors. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2011, 33(1): 43-57 doi: 10.1109/TPAMI.2010.54 [14] Simonyan K, Vedaldi A, Zisserman A. Learning local feature descriptors using convex optimisation. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2014, 36(8): 1573-1585 doi: 10.1109/TPAMI.2014.2301163 [15] Heikkilä M, Pietikäinen M, Schmid C. Description of interest regions with local binary patterns. Pattern Recognition, 2009, 42(3): 425-436 doi: 10.1016/j.patcog.2008.08.014 [16] Tang F, Lim S H, Change N L, Tao H. A novel feature descriptor invariant to complex brightness changes. In: Proceedings of the 2009 IEEE Conference on Computer Vision and Pattern Recognition. Miami, FL: IEEE, 2009. 2631-2638 [17] Chen J, Shan S G, He C, Zhao G Y, Pietikainen M, Chen X L, Gao W. WLD: a robust local image descriptor. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2010, 32(9): 1705-1720 doi: 10.1109/TPAMI.2009.155 [18] Kim B, Yoo H, Sohn K. Exact order based feature descriptor for illumination robust image matching. Pattern Recognition, 2013, 46(12): 3268-3278 doi: 10.1016/j.patcog.2013.04.015 [19] Lazebnik S, Schmid C, Ponce J. A sparse texture representation using local affine regions. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2005, 27(8): 1265-1278 doi: 10.1109/TPAMI.2005.151 [20] Fan B, Wu F C, Hu Z Y. Rotationally invariant descriptors using intensity order pooling. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2012, 34(10): 2031-2045 doi: 10.1109/TPAMI.2011.277 [21] Wang Z H, Fan B, Wu F C. Local intensity order pattern for feature description. In: Proceedings of the 2011 IEEE Conference on Computer Vision. Barcelona, Spain: IEEE, 2011. 603-610 [22] Mikolajczyk K, Tuytelaars T, Schmid C, Zisserman A, Matas J, Schaffalitzky F, Kadir T, van Gool L. A comparison of affine region detectors. International Journal of Computer Vision, 2005, 65(1-2): 43-72 doi: 10.1007/s11263-005-3848-x -
下载:
计量
- 文章访问数: 1879
- HTML全文浏览量: 294
- PDF下载量: 1169
- 被引次数: 0
