Parallax Image Alignment With Two-stage Mesh Optimization Based on Homography Diffusion Constraints
-
摘要: 目前, 在带有视差场景的图像对齐中, 主要难点在某些无法找到足够匹配特征的区域, 这些区域称为匹配特征缺失区域. 现有算法往往忽略匹配特征缺失区域的对齐建模, 而只将有足够匹配特征区域中的部分单应变换系数(如相似性变换系数)传递给匹配特征缺失区域, 或者采用将匹配特征缺失区域转化为有足够匹配特征区域的间接方式, 因此对齐效果仍不理想. 在客观事实上, 位于相同平面的区域应该拥有相同的完整单应变换而非部分变换参数. 由此出发, 利用单应变换系数扩散的思想设计了一个二步网格优化的图像对齐算法, 简称单应扩散变换(Homography diffusion warping, HDW)算法. 该方法在第一步网格优化时获得有足够匹配特征区域的单应变换, 再基于提出的单应性扩散约束将这些单应变换系数扩散到邻域网格, 进行第二步网格优化, 在保证优化任务简洁高效的前提下实现单应变换系数的传播与图像对齐. 相较于现有的针对视差场景图像对齐算法, 所提方法在各项指标上都获得了更好的效果.Abstract: At present, the main difficulty in the image alignment with parallax scene is in the areas that cannot find sufficient matching features. We call these areas featureless regions. Cutting-edge research on parallax image alignment neglects modeling of regions without matching features. Indirect methods such as transferring partial homography of regions with matching features to featureless regions or transforming featureless regions to regions with matching features have been popularly used, which, however, do not guarantee satisfactory results. In fact, image regions belonging to the same plane should possess the same homography. In this paper, a two-stage mesh optimization algorithm, homography diffusion warping (HDW), is designed by homography diffusion. In the first stage, homography coefficients of mesh cells in the image regions with matching features are obtained. Then we propagate these homography coefficients to adjacent cells to form homography diffusion constraints, and perform the second stage optimization of the mesh by enforcing the constraints on the premise of ensuring the simplicity and efficiency of the optimization task. Compared with existing image alignment algorithms, the method proposed in this paper achieves better results on all metrics.
-
Key words:
- Image alignment /
- parallax scene /
- mesh optimization /
- featureless regions
-
图像对齐技术广泛应用于图像配准[1]、视频稳定[2]、遥感[3-4]和图像拼接[5], 是计算机视觉和计算机图形学的重要研究领域[6-8], 其中的拼接应用扮演着重要角色[9]. 本文针对图像拼接中重叠区域的对齐展开研究, 因为拼接中的重叠区域与非重叠区域互相独立, 在使用本文提出的对齐方法后, 非重叠区域可以使用其他任意方法来获得令人满意的结果[10-12]. 关于拼接中的图像对齐, 根据需要对齐图像的场景不同可以分为基于无视差场景和有视差场景的方法. 早期全局单应变换方法[1, 13-14]在只存在旋转缩放的相机相对运动或单一平面的无视差场景下能得到很好的结果[15]. 但在现实应用中, 通过自由的拍摄形式拍摄任意的景物所获得的图像才更符合实际需求. 此时, 如果景物存在多平面且相机拍摄时存在相对平移, 图像之间会产生视差, 导致重叠区域中属于不同平面物体的对齐存在不同的单应变换, 对可靠的图像对齐形成挑战. 这种视差场景下的对齐问题尚未得到完全解决, 受到研究者关注[5, 9, 16-18].
为解决视差场景的挑战, 有研究者提出局部化思想[6, 19], 这种思想最初应用于图像编辑[20-24]. 基于局部化思想的方法[6, 19]与基于全局单应变换的方法[1, 13-14]相比, 可以有效改善视差复杂场景的对齐效果. 但是在某些区域中, 传统算法难以找到匹配特征甚至完全不存在匹配特征, 而且现有方法都忽略了建模这些区域, 本文把这些区域称之为匹配特征缺失区域. 在后续研究中, 有研究者在局部化思想启发下提出基于网格的优化方法[8], 通过将图像划分成网格, 优化由网格顶点构成的函数来提升图像对齐的效果, 体现出很大潜力, 使得图像对齐研究开始向网格优化的方向发展. 然而, 目前的网格优化方法[5, 8-9, 16, 25-28]普遍通过保持有足够匹配特征区域的部分单应变换系数来建模匹配特征缺失区域, 并结合全局预变换约束. 这种约束虽然适用于图像编辑, 但不符合实际场景中一个物体平面的视角变换情况, 导致在存在匹配特征缺失区域的场景中表现不佳. 如图1(a)所示, CPW (Content-preserving warping)[8] 和SVIW (Spatially-varying image warps)[16]由于对匹配特征缺失区域建模不准确而没有对齐, 本文提出的方法依靠单应性扩散约束对匹配特征缺失区域的准确建模而对齐.
图 1 本文算法与现有方法的图像对齐效果对比Fig. 1 Comparison of image alignment effects between existing methods and the method proposed in this paper由于上述方法仅依靠匹配特征点的坐标实现, 不可避免地会在匹配特征缺失区域表现不佳. 因此, 有研究者采用另一种思想, 即通过增加匹配特征来增强对齐效果. 例如, 一些学者研究了如何让点特征更加丰富[3, 9, 29-32], 但是这些方法过于依赖图像局部的判别性, 在规则的场景中欠优. 有一些学者提出利用匹配线特征[5, 25-26, 28, 33-37]对齐. 然而, 在具有不规则物体的视差复杂场景中, 线特征的提取匹配结果仍然不理想, 甚至不存在线特征. 利用平面与平面匹配特征的做法也开始引起学者们的关注[7, 17-18, 38-40], 但其获取面匹配特征的方式依赖于一些平面分割方法和特征点空间分布规律等, 现有分割方法的不鲁棒以及匹配特征点在无特征区域的缺失使得在具有不规则物体的场景中表现不佳(如图1(b)所示), SMH (Synthesizing multiple homography)[17]和PCPS (Projective-consistent plane based image stitching)[18] 由于对不规则物体特征约束较弱而没有对齐, 本文提出的方法由于二步优化的强特征约束而对齐. 在利用新特征上, 最近的工作提出使用特征点的角度来引导对齐[41], 丰富对特征点属性的利用. 上述这些添加新特征的方法都未对匹配特征缺失区域直接建模, 而是试图通过提取新特征将匹配特征缺失区域转化为有足够匹配特征的区域, 间接解决匹配特征缺失区域的匹配问题. 然而, 不同场景具有不同特征, 这种为匹配特征缺失区域新增匹配特征的做法难以适应各种不同场景, 因此有必要专门研究匹配特征缺失区域的建模方法, 这也是提升任意场景中图像对齐质量的关键所在. 此外, 由于深度学习的兴起, 一些相关研究[42-50] 也应运而生, 然而这些方法训练所用的数据集为虚拟生成或借由其他特征提取等相关任务数据集扩展到对齐任务. 对于应用中的多变场景, 这些依赖特定域的方法缺乏泛化能力.
本文针对现有方法对匹配特征缺失区域建模的不足, 基于完整单应变换系数传播的思想, 在建模中保持匹配特征缺失区域与相同平面上有足够匹配特征的区域具有相同的完整单应变换. 采用分两步线性求解的优化方式, 在不使优化函数过于复杂的前提下实现单应变换系数的传播. 具体而言, 本文提出基于单应性扩散约束的二步网格优化算法, 简称单应扩散变换(Homography diffusion warping, HDW), 先利用有足够匹配特征的区域进行局部单应变换获得可靠估计. 通过第一步网格线性优化对齐存在匹配特征的网格单元, 计算出这些网格单元的完整单应变换系数, 作为第二步网格优化的先验知识, 这一做法使原本复杂的单应变换传播的变量数大幅减少. 在第二步网格优化时, 利用网格单元顶点的单应性约束构建单应性扩散约束, 形成第二次线性网格优化, 施加于有足够匹配特征网格单元的邻域网格单元, 从而实现单应性的传播. 相对现有方法, HDW对匹配特征缺失区域的建模更为准确, 提高了对齐结果中重叠区域的对齐程度.
1. HDW算法
图2为基于本文所提HDW算法的图像对齐总体流程. 将需要变换的图像称为源图像, 不做变换的图像称为参考图像. 首先, 对源图像和参考图像(图2(a))进行特征点检测与匹配得到特征点对的集合(图2(b)). 之后, 进行第一步网格优化并选取具有足够匹配特征的种子网格单元(图2(c)), 计算其单应变换. 为使可视化结果易于观察, 图2(c)中只展示了部分种子网格单元. 接着, 利用单应性约束将包含匹配特征点的网格单元单应变换系数扩散到邻域(图2(d)), 组成单应性扩散约束进行第二步网格优化(图2(e)). 图2(e)展示了HDW有类似平面划分的特性(不同明暗的网格区域属于不同平面), 这也是HDW在匹配特征缺失区域的建模更加准确的原因. 平面划分特性将在第2.1节进一步说明.
1.1 第一步网格优化
本文在第一步网格优化中获得存在匹配特征区域的优化结果, 其中有足够匹配特征区域的单应变换系数作为第二步网格优化的先验知识, 以减少传播单应变换所需的变量数, 从而避免优化算法时间复杂度提升以及局部最优.
首先将源图像均匀划分为规则的网格单元, 相邻网格单元之间共享顶点. 把所有网格单元顶点坐标组成矩阵$V = [V_1;V_2;V_3;\;\cdots;V_Z]$, $ Z $表示网格单元总数, 其中第$d $个网格单元的4个顶点记为$V_d = [{\boldsymbol{v}}_d^1;{\boldsymbol{v}}_d^2;{\boldsymbol{v}}_d^3;{\boldsymbol{v}}_d^4]\;(1\leq d\leq Z)$, $ {\boldsymbol{v}}_d^i = [x_d^i,y_d^i] $表示第$ d $个网格单元的第$ i $个顶点坐标$ (i = 1,2,3,4) $. 第一步网格优化采用与CPW[8]相同的二次能量函数, 记为$ E_{\rm{CPW}}(V) $.
$ E_{\rm{CPW}}(V) $由3个能量项组成, 第1项是特征点对齐项$E_{\rm{P}}(V)$, 目的是缩小匹配特征点之间的误差. 设$ P_k,\hat{P}_k $ 为一对匹配特征点, 可以找到包含特征点$ P_k $的网格单元, 然后使用反向双线性插值方法, 由对应的4个顶点的线性组合计算出系数$ a_{k,i} $来表示$ P_k $[8]. 因此可以如下定义对齐项:
$$ \begin{equation} E_{\rm{P}}(V) = \sum\limits_{k = 1}^{n}\|\sum\limits_{i = 1}^{4}a_{k,i}{\boldsymbol{v}}_k^i-\hat{P}_k\|^2 \end{equation} $$ (1) 其中, $ n $表示匹配特征点对总数, $ i $表示包含$ P_k $的网格的4个顶点编号.
第2项是针对其他没有特征的区域. CPW[8]假设预变换已经提供了很好的近似, 因此第2项$E_{\rm{G}}(V)$作为全局对齐项, 鼓励没有特征点的区域尽可能接近网格优化前的预变换结果. 其定义为
$$ \begin{equation} E_{\rm{G}}(V) = \sum\limits_{d = 1}^{Z}\delta_d\|V_d-\tilde{V}_d\|^2 \end{equation} $$ (2) 其中, $ Z $是网格单元总数, 波浪线符号“${\,}\tilde{\,}$”表示网格优化前的对应点. $ \delta_d $为指示变量, 当前网格有特征点时为0, 反之为1.
第3项为平滑项, 即鼓励变换结果中的每个网格单元之间传递相似性变换. 具体而言, 考虑由3个顶点构成的三角形$ \Delta\tilde{V}_1\tilde{V}_2\tilde{V}_3 $, 其顶点$ \tilde{V}_1 $可由其他两个顶点表示, 即
$$ \begin{equation} \tilde{V}_1 = \tilde{V}_2+u(\tilde{V}_3-\tilde{V}_2)+vR(\tilde{V}_3-\tilde{V}_2) \end{equation} $$ (3) 其中, $ u $和$ v $是预变换结果中$ \tilde{V}_1 $在$ \tilde{V}_2 $与$ \tilde{V}_3 $ 所定义局部坐标系中的坐标, 矩阵$ R = [0 $ $ 1;-1 $ $ 0] $. 这个三角形经过相似变换, 它在局部坐标系中的坐标不会改变. 因此, $ u $和$ v $可在变换前计算, 从而3个相邻点的相似性变换项可以定义为
$$ \begin{equation} \begin{split} E_{\rm{S}}(V_1,V_2,V_3) = \; & w_s\|V_1-(V_2+u(V_3-V_2)\;+\\ &vR(V_3-V_2))\|^2 \end{split} \end{equation} $$ (4) 其中, $ u $和$ v $由式(3)计算得出, $ w_s $度量三角形$ \Delta V_1 V_2 V_3 $的显著性[51]. 对所有相邻顶点构成的三角形求和, 得到完整平滑项$ E_{\rm{S}}(V) $.
CPW将上述3个能量项组合成以下能量最小化问题:
$$ \begin{equation} E_{\rm{CPW}}(V) = E_{\rm{P}}(V)+\alpha E_{\rm{G}}(V)+\beta E_{\rm{S}}(V) \end{equation} $$ (5) 其中, 权重$ \alpha $和$ \beta $默认值分别为$ 0.01 $和$ 0.001 $. 通过最小二乘法或奇异值分解(Singular value decomposition, SVD) 可获得第一步网格优化结果$ V^{(1)} $. 具体细节可参考文献[8].
1.2 获取种子网格单元的单应变换系数
第一步网格优化利用匹配特征获得了较可靠的网格优化结果, 接下来要将优化结果转化为单应变换系数, 作为先验知识传播给邻域网格单元. 为此先计算第一步网格优化结果中存在匹配特征区域的单应变换系数, 作为后续第二步网格优化的固定参数. 这些含有足够匹配特征的网格单元称为种子网格单元. 接着对种子网格单元进行筛选.
在第1.1节中获得了第一步网格优化的结果$ V^{(1)} $后, 首先剔除匹配特征点对数少于4的种子网格, 因为估计一个完整的单应变换至少需要4对匹配点. 将剩下种子网格单元的索引集合记为$ D $. 接着, 对其中每一个优化后的种子网格单元$V_k^{(1)}\;(k\in D)$ 以及优化前的对应网格单元$ \tilde{V}_k $, 以$ V_k^{(1)} $和$ \tilde{V}_k $周围三个网格单位半径内的所有网格顶点为对应(相同索引的顶点为匹配点), 利用随机抽样一致性(Random sample consensus, RANSAC)[52]计算出鲁棒的种子网格单应变换系数${\boldsymbol{h}}_k = [h_k^1,h_k^2,h_k^3,h_k^4,h_k^5, h_k^6,h_k^7,h_k^8,h_k^9]^{\mathrm T}$.
1.3 网格单元顶点的单应性约束
在进行第二步网格优化前, 需要先构建单应变换系数和网格单元顶点间的单应性约束, 作为单应性扩散约束的基础.
借助直接线性变换(Direct linear transform, DLT)的思想[53], 假设网格单元$V_d\;(1\leq d\leq Z)$的4个顶点中, 第$ i $个顶点$ {{\boldsymbol{v}}}_d^i $对应的原始位置为$ {\tilde{\boldsymbol{v}}}_d^i = [\tilde{x}_d^i,\tilde{y}_d^i] $. 点$ {\tilde{\boldsymbol{v}}}_d^i $经过单应变换后的坐标$ {{\boldsymbol{v}}}_d^i $可通过式(6)和式(7)计算:
$$ \begin{equation} \left[ \begin{array}{ccc} h^1 & h^2 & h^3\\ h^4 & h^5 & h^6\\ h^7 & h^8 & h^9\\ \end{array} \right] \left[ \begin{array}{c} \tilde{x}_d^i \\ \tilde{y}_d^i \\ 1 \\ \end{array} \right] = \left[ \begin{array}{c} q_1 \\ q_2 \\ q_3 \\ \end{array} \right] \end{equation} $$ (6) $$ \left\{ \begin{aligned} & y_d^i = \frac{q_2}{q_3} = \frac{\tilde{x}_d^ih^4+\tilde{y}_d^ih^5+h^6}{\tilde{x}_d^ih^7+\tilde{y}_d^ih^8+h^9}\\ &x_d^i = \frac{q_1}{q_3} = \frac{\tilde{x}_d^ih^1+\tilde{y}_d^ih^2+h^3}{\tilde{x}_d^ih^7+\tilde{y}_d^ih^8+h^9} \end{aligned} \right.$$ (7) 其中, $\left[ \begin{aligned} h^1 \;\; h^2 \;\; h^3\\ h^4 \;\; h^5 \;\; h^6\\ h^7 \;\; h^8 \;\; h^9 \end{aligned} \right]$是尚未归一化的单应变换矩阵. 整理式(7)可以得到一对匹配顶点$ [\tilde{x}_d^i,\tilde{y}_d^i] $和$ [x_d^i,y_d^i] $关于单应变换系数${\boldsymbol{h}} = [h^1,h^2,h^3,h^4,h^5,h^6,h^7, h^8, h^9]^{\mathrm T}$(前述单应变换矩阵的向量形式)的线性方程组$ A_d^i{\boldsymbol{h}} = {\bf{0}} $, 其中,
$$ \begin{equation} A_d^i = \left[ \begin{array}{ccccccccc} \tilde{x}_d^i & \tilde{y}_d^i & 1 & 0 & 0 & 0 & -x_d^i\tilde{x}_d^i & -x_d^i\tilde{y}_d^i & -x_d^i\\ 0 & 0 & 0 & \tilde{x}_d^i & \tilde{y}_d^i & 1 & -y_d^i\tilde{x}_d^i & -y_d^i\tilde{y}_d^i & -y_d^i\\ \end{array} \right] \end{equation} $$ (8) 式(8)定义了单应变换系数$ {\boldsymbol{h}} $对匹配的网格单元顶点的约束, 即单应性约束. 将$ {\boldsymbol{h}} $作为已知常量(先验知识)代入$ A_d^i{\boldsymbol{h}} $并化简即可得到网格单元顶点的$ x $和$ y $方向单应性约束能量函数式:
$$ \left\{ \begin{aligned} e_x(x_d^i,{\boldsymbol{h}}) = \;& \tilde{x}_d^ih^1+\tilde{y}_d^ih^2+h^3\;-\\ &x_d^i\tilde{x}_d^ih^7-x_d^i\tilde{y}_d^ih^8-x_d^ih^9\\ e_y(y_d^i,{\boldsymbol{h}}) =\;& \tilde{x}_d^ih^4+\tilde{y}_d^ih^5+h^6\;-\\ &y_d^i\tilde{x}_d^ih^7-y_d^i\tilde{y}_d^ih^8-y_d^ih^9 \end{aligned} \right. $$ (9) 1.4 第二步网格优化
接下来, 本节利用上述网格单元顶点的单应性约束以及第1.2节获得的种子网格单元单应变换系数构造单应性扩散约束, 构建能量函数进行第二步网格优化.
为了传播完整单应变换系数, 本节引入种子网格单元的邻域网格, 通过对邻域网格施加与所属种子网格单元相同的单应变换, 使匹配特征缺失区域受到种子网格单元的单应性约束. 同时结合邻域网格单元与种子网格单元距离的权重策略, 令匹配特征缺失区域在优化时自动倾向于选择权重大的种子网格单元的单应变换确定所属平面, 从而实现对匹配特征缺失区域变换的准确建模.
对每个种子网格单元$ V_k\;(k\in S) $以及对应的单应变换系数$ {\boldsymbol{h}}_k $, 考虑其网格邻域$ \Omega_k $中任一网格单元$ V_n $. 网格邻域$ \Omega_k $定义为$ V_k $的半径为$ \tau $个网格单元范围内的网格单元集合, 其中$ \tau $为经验值, 其取值使所有邻域的并集能够覆盖图像中所有网格单元. $ V_n $中任一顶点${\boldsymbol{v}}_n^i = [x_n^i,y_n^i]\;(i = 1,2,3,4)$与其原始网格单元顶点$ {\tilde{\boldsymbol{v}}}_n^i $构成匹配点对. 所有种子网格单元邻域组成的$ x $方向单应性约束之和构成单应性扩散约束$ E_x(V) $, 即
$$ \begin{equation} E_x(V) = \sum\limits_{k\in S} \sum\limits_{V_n\in \Omega_k} r(\tilde{V_k}, \tilde{V_n}) \sum\limits_{i = 1}^4 \|e_x(x_n^i, {\boldsymbol{h}}_k)\|^2 \end{equation} $$ (10) $ y $方向的单应性扩散约束为
$$ \begin{equation} E_y(V) = \sum\limits_{k\in S} \sum\limits_{V_n\in \Omega_k} r(\tilde{V_k}, \tilde{V_n}) \sum\limits_{i = 1}^4 \|e_y(y_n^i, {\boldsymbol{h}}_k)\|^2 \end{equation} $$ (11) 其中, $ r(\tilde{V}_k,\tilde{V}_n) $表示网格单元$ \tilde{V}_k $与$ \tilde{V}_n $的权重运算符, 为简便起见, 定义为$ \tilde{V}_n $与$ \tilde{V}_k $这两个网格单元中心欧氏距离的倒数$ r(\tilde{V}_k,\tilde{V}_n) = 1/\|{\tilde{\boldsymbol{c}}}_k-{\tilde{\boldsymbol{c}}}_n\| $ (可能存在其他权重衰减策略, 将在今后工作中研究), 其中$ {\tilde{\boldsymbol{c}}} _k,{\tilde{\boldsymbol{c}}}_n $为对应$ \tilde{V}_k,\tilde{V}_n $网格单元的中心坐标. 当$ \tilde{V}_n $远离$ \tilde{V}_k $时, $ r(\tilde{V}_k,\tilde{V}_n) $较小, 则$ \tilde{V}_n $受到$ {\boldsymbol{h}}_k $的约束也较小; 反之, 当$ \tilde{V}_n $接近$ \tilde{V}_k $时, $ r(\tilde{V}_k,\tilde{V}_n) $则较大; 当$ \tilde{V}_n = \tilde{V}_k $时, 定义$ r(\tilde{V}_k,\tilde{V}_n) = 1 $. 一个网格单元可能会受到来自多个特征区域的约束, 此时决定该网格单元单应变换的是相对权重较大的特征区域. 在无特征区域, 网格单元也会受到有特征区域的约束, 由于第二阶段所提供的约束与$ E_{\rm{CPW}}(V) $不冲突, 因此多小的权重也会使该网格单元趋于施加约束的单应变换. 最终, 第二步网格优化的目标函数定义为
$$ \begin{equation} E(V) = E_x(V)+E_y(V)+E_{\rm{CPW}}(V) \end{equation} $$ (12) 其中, $ E_{\rm{CPW}}(V) $与第1.1节中提到的第一步网格优化的能量函数相同. 在第一步优化的基础上再加上单应性扩散约束不仅能对匹配特征缺失区域产生影响, 还能加强对有足够匹配特征区域的约束. 因为本方法中第二阶段的主要作用是为没有特征的区域做出补充约束, 与$ E_{\rm{CPW}}(V) $没有冲突. 在没有错误匹配的前提下, 增加第二阶段的权重并不会有明显的效果提升, 因此在式(12)中不引入额外权重参数.
引入$ E_x(V) $、$ E_y(V) $和$ E_{\rm{CPW}}(V) $联合优化有两个目的: 1)如果邻域没能覆盖全部重叠区域, 则$ E_{\rm{CPW}}(V) $ 的引入会避免网格单元因为无约束而出现突兀的偏移; 2)通过在$ E_x(V) $和$ E_y(V) $中引入$ E_{\rm{CPW}}(V) $加强有特征区域的约束, 使有特征区域之间出现锐利的单应变换跃变, 从而消除平面之间平滑过渡的效果, 更符合客观事实. 因此$ E_x(V) $、$ E_y(V) $ 和$ E_{\rm{CPW}}(V) $联合优化才能达到平面划分效果, 缺一不可.
能量函数式(12)为二次函数, 可以表示为线性方程组, 从而通过线性解算器(如SVD或最小二乘法)得到最优解. 求解结果为各网格单元顶点坐标, 对这些顶点坐标组成的每一个网格单元使用纹理映射方法[54]可获得最终的变换图像.
2. 实验结果与分析
本节将通过实验验证所提出的HDW在图像对齐中相对现有方法的优势.
2.1 平面分割特性分析
从算法公式可知, HDW在未知对齐图像内容的前提下, 通过单应性传播达到类似“自动划分平面”的效果. 本文的方法基于以下前提假设: 1) 属于同一平面的局部区域拥有相同的单应变换; 2) 平面与平面之间的过渡区域匹配特征点易于完整检出. 因此HDW的自动划分效果就可以根据以下情况分析: 如果某网格单元只属于一个邻域, 则会被完全归属到该邻域所属种子网格单元所在平面. 如图3(a)所示, 在HDW中, 由于整个区域都受到同一单应变换约束, 使得区域接近规则的平行四边形. 如果该网格单元属于多个邻域, 则会由于权重策略使变换更倾向于最近的种子网格单元, 因为本文方法根据距离对网格进行加权, 权值随网格距离衰减十分迅速. 假如某网格受到两个平面影响, 并且与两个平面特征点的距离不同, 那么该网格受到更近邻平面的约束也会明显强于另一个平面, 因此临近平面之间难以引起混淆. 又由于$ E_{\rm{CPW}}(V) $加入联合优化, 使得拥有匹配特征点的网格(特指平面之间的过渡区域)具有锐利的单应变换跃变. 如图3(b)所示, HDW使得区域间的过渡不再是平滑的相似变换, 相同邻域内网格则能保持相同的单应变换, 从而让图像在局部区域内因为遵循同一单应变换而对齐.
需要注意的是, 本文方法将特征点约束设计为远大于其他约束, 在“平面与平面之间过渡区域匹配特征点易于完整检出”假设成立的前提下, 平面与平面之间过渡区域的匹配特征点具有分割平面特性, 使得在平面与平面之间的过渡更加锋利并且隔断其他约束的平滑性. 因此, HDW算法可以视为无需做平面提取和匹配的“基于平面”的对齐算法. 这种做法避免了通常基于平面的算法[7, 17-18, 38-39] 中依赖图像分割和关键点分布规律等做法的缺点, 在复杂场景中非常有效. 如果存在未能检出特征点的区域, 本文提出的方法也难以对其产生影响, 但未能检出特征点的区域有很大可能性是属于纹理简单并且难以引起视觉注意的区域, 因此没能准确对齐这些区域对整体效果影响不会很大.
2.2 实验评估指标
关于定量评估的指标, 本文采用几何平均误差Err、峰值信噪比(Peak signal to noise ratio, PSNR)以及结构相似性(Structural similarity index, SSIM)[55].
Err是匹配点在经过模型$ f $变换对齐之后的坐标误差, 评价的是特征点的对齐质量, 定义为
$$ \begin{equation} {Err}(f) = \sqrt{\frac{1}{N}\sum\limits_{i = 1}^N\|f({\boldsymbol{p}}'_i)-{\boldsymbol{p}}_i\|^2} \end{equation} $$ (13) 其中, $ {\boldsymbol{p}}'_i $和$ {\boldsymbol{p}}_i $表示第$ i $对匹配点空间坐标. Err越低, 表示模型对有足够匹配特征区域的约束越有效.
PSNR表示图像重叠区域的对齐质量, 定义为
$$ \begin{equation} {PSNR} = 10{\mathrm{lg}}\left(\frac{255^2}{{MSE}}\right) \end{equation} $$ (14) 其中, $MSE $表示参考图像和经过变换的源图像重叠区域中对应像素的均方误差. $PSNR $越大则图像对齐效果越好.
SSIM是一个衡量两幅图像相似度的指标, 可用来评价图像重叠区域的符合度. 给定两幅图像$ a $和$ b $, SSIM的定义为
$$ \begin{equation} {SSIM} = \frac{(2\mu_a\mu_b+c_1)(2\sigma_{ab}+c_2)}{(\mu_a^2+\mu_b^2+c_1)(\sigma_a^2+\sigma_b^2+c_2)} \end{equation} $$ (15) 其中, $ \mu_a $和$ \mu_b $分别为$ a $和$ b $中像素灰度的平均值, $ \sigma_a^2 $和$ \sigma_b^2 $分别为$ a $和$ b $中像素灰度的方差, $ \sigma_{ab} $为$ a $和$ b $中像素灰度的协方差, $ c_1 = (k_1L)^2 $, $ c_2 = (k_2L)^2 $, $ L $为像素灰度的动态范围, $ k_1 = 0.01 $, $ k_2 = 0.03 $. 本文计算两幅图像重叠区域的SSIM指标, 其取值在0到1之间, 越接近1, 则重叠区域越相符.
图像中匹配特征缺失区域的相符程度主要由PSNR和SSIM反映, 而Err则主要用于衡量有足够匹配特征区域的对齐程度. 因此结合PSNR、SSIM和Err指标, 能有效评价对齐模型整体性能.
2.3 实验数据集以及对比算法
本文选择了文献[6-8, 19]中用于测试的实例作为实验数据集, 并另外采集了一些具有挑战性的现实场景图像, 共计30对图像. 这些图像中存在多平面、不规则物体、规则物体等现有各种对齐算法均无法考虑完全的难例.
对比实验中选择了有开源代码的代表性算法以及在具有充足细节下复现的几个前沿方法, 分别是SMH[17]、PCPS[18]、APAP (As-projective-as-possible)[6]、CPW[8]、ACW (Angle-consistent warping)[41]以及以线特征为出发点的代表方法LLPC (Leveraging line-point consistence)[37].
实验中, 对比算法的参数在原论文推荐的基础上进行了细微调整使其达到最佳效果. 网格划分采用了CPW的方式[8], 网格划分方式是算法效率以及精度的权衡, 但无论如何, 都可能存在网格没有得到特征点约束的情况, 因此实验只需要选择一个相对合理的划分方式(本文实验中采用$24\times32 $的网格划分). 由于本文采用CPW进行第一步网格优化, 因此和CPW的对比实验就是消融实验. 在实现细节上, 本文主要研究重叠区域的对齐, 其他过程均为控制变量. 在图2中, 特征点检测和匹配过程使用尺度不变特征变换(Scale-invariant feature transform, SIFT)[56]以及K最邻近(K-nearest neighbor, KNN)[57]方法, 作为HDW和其他对比算法的输入, 以在相同的匹配特征点条件下比较对齐算法的性能. 虽然有许多特征提取及匹配算法[58], 但是在没有这些前提优化的情况下所得到的优势才能真正对一个对齐模型的好坏做出评估. 对于LLPC, 由于代码底层不同的原因, 本文完全采用了其源码(包括特征点线的提取). 在最后的图像合成阶段, 统一使用加权平均, 从而在最终对齐结果中如果存在对齐效果不理想的区域, 会以伪影、模糊的形式显示出来, 方便直观对比各个对齐模型之间的优劣.
2.4 对比实验的定量分析
图4直观地展示了在实验数据集的所有实例上各指标对比结果. 30对图像的数据集中前10对为前人工作中的测试样例, 后20对为本文根据现有各种算法中的缺点而收集的数据集. 由图4(a)可见, HDW的特征点对齐误差总体上在各场景中显著低于其他方法, 这表明本文提出的二步网格优化有利于增强对特征点的约束, 使HDW在有足够匹配特征区域获得更准确的对齐效果. 同时, 图4(b)和图4(c)所示结果表明, 本文所提HDW方法获得的PSNR也在大部分图像对上优于其他方法, 在SSIM上也获得了有竞争力的结果. 这是因为HDW在匹配特征缺失区域保持完整的单应变换系数, 提高了匹配特征缺失区域部分的对齐质量. 需要说明的是, 尽管HDW在一些规则并带有复杂物体的场景中优于各对比方法, 但在一些情况下比平面类的算法稍逊色, 例如在Campus和Park实例上的SSIM表现不如其他算法, 因为这些实例中重叠区域过小, 邻域之间过于接近, 平面有细微的互相干扰. 在Street和Forest等实例上, 与其他方法中最好的PSNR表现相当, 因为这些图像在其他方法中已经能很好对齐, 提升空间很小. LLPC方法只在Door_way这类具有整齐纹理的例子中表现较好. 由于数据集中大多数为复杂的自然场景, 线特征在此基本失效, 甚至起到反作用, 因此总体表现不佳. 总的来说, 基于特征点的方法与基于特征平面的算法有其各自擅长的场景, 本文所提HDW算法在大多数时候都表现优异. 其中具体代表性实例的可视化对比将会在第2.5节中展开分析.
图 4 各图像对量化指标的直观对比Fig. 4 Intuitive comparison of the quantitative indicators on all the image pairs表1统计了HDW在整个实验数据集上相对其他算法在各指标上的平均提升百分比. 其中, HDW在PSNR和SSIM指标上对比其他方法都有很明显的提升, 而Err指标则有大幅下降. 总体上来说, HDW相对现有算法具有明显优势.
表 1 HDW相对其他算法在Err、PSNR和SSIM上的平均改进(%)Table 1 The average improvement of HDW compared with other algorithms on Err, PSNR, and SSIM (%)上述定量对比实验说明, 本文提出的HDW算法在匹配特征缺失区域的准确建模以及对特征点的有效约束使图像对齐质量得到了显著提升, 能适用更为广泛的场景.
2.5 实验结果的定性分析
本节将通过具体实例的可视化结果直观展示HDW的优缺点. 图5 ~ 7分别反映了HDW相对现有方法的优势.
图 7 Stationery实例上的对齐结果对比Fig. 7 Comparison of the alignment results on the Stationery case图5所示为在现实环境中拍摄的Plant图像实例上的对齐结果, 在此例中, 匹配特征主要集中在植物上, 匹配特征的不均匀分布使得各种模型难以同时对齐多个平面. 其中, APAP、CPW和ACW因受到中间植物的密集匹配特征影响而没能表现好(如图5(a) ~ 5(c)所示, 对齐结果模糊或存在伪影). 基于平面的SMH和PCPS能对匹配特征不过于密集的平面起到很好的对齐作用. 但由于SMH和PCPS依赖平面分割和匹配特征点分布规律, 在匹配特征过于密集的区域, 平面的提取和匹配效果不佳, 导致其他平面的单应性估计受到影响, 使得这些方法无法在具有密集匹配特征的图像实例上对多个平面同时对齐(如图5(d)和图5(e)所示, 对齐结果模糊或存在伪影). 而在HDW中, 在上述情况下都能更准确地对齐(如图5(f)所示), 体现了HDW对有足够匹配特征区域和匹配特征缺失区域准确建模的优势.
图6的Carpark是用于测试模型对匹配特征点较少区域对齐效果的经典实例, 场景有较重人工色彩, 纹理少, 检测出来的匹配特征也较少, 匹配特征缺失区域多, 其中需要特别关注的是方框标出的内容, 框内接近图像边缘部分为远离匹配特征点区域. 局部化算法APAP在全局匹配特征较少、分布均匀的场景中近似于全局单应变换, 在该实例中表现不佳(图6(a)所示, 对齐结果模糊或存在伪影). 基于特征点的CPW算法对远离匹配特征的匹配特征缺失区域存在对齐效果不佳的情况; 对于利用特征点角度的ACW来说, 由于没有考虑到匹配特征缺失区域的建模而未能展示出优势(图6(b)和图6(c)所示, 对齐结果模糊或存在伪影). 基于平面的SMH和PCPS算法依赖匹配特征的分布规律来划分平面, 而处于图像上部分所框住的内容不被匹配特征点构成的凸包包含在内, 难以划分, 因此SMH和PCPS在此例中也表现不佳(图6(d)和图6(e)所示, 对齐结果模糊或存在伪影). 对于HDW算法, 由于邻域的引入以及基于单应性传播思想构建的单应扩散约束对远离特征点区域的约束, 对齐了其他算法都难以对齐的区域(图6(f)所示).
图7的Stationery为背景简单但物体杂多的场景, 具有匹配特征点集中于某些区域的特性. 在这个场景中, 无论APAP、CPW、ACW、SMH或者PCPS都无法同时兼顾所有的物体, 始终会受到其他物体的干扰导致某些物体扭曲(图7(a) ~ 7(e)所示, 对齐结果模糊或存在伪影). 而在HDW中, 本文的二次优化对有足够匹配特征区域约束的二次加强使得在这样的场景中也能同时兼顾各个物体的准确对齐(图7(f)所示). 从表2所示的定量结果上看, 本文提出的方法由于上述的优势在各个指标上都体现出优越性.
表 2 图像对的对齐效果量化指标对比Table 2 Quantitative comparison of alignment performance on image pairsPlant Carpark Stationery SMH[17] Err 1.2338 1.2659 1.0580 PSNR 15.7496 12.3758 22.9365 SSIM 0.6516 0.5719 0.9316 PCPS[18] Err 0.9396 1.1923 0.6695 PSNR 15.3314 11.5550 23.5924 SSIM 0.6858 0.5687 0.9355 APAP[6] Err 4.1854 1.1337 1.0154 PSNR 13.2995 11.9361 23.4257 SSIM 0.6245 0.6354 0.9236 CPW[8] Err 6.3718 1.6435 0.9038 PSNR 12.7397 11.2034 23.4680 SSIM 0.4818 0.5862 0.9258 ACW[41] Err 3.4302 0.7918 0.8070 PSNR 13.2159 12.0738 23.6319 SSIM 0.6589 0.6505 0.9278 HDW Err 0.2741 0.2787 0.5134 PSNR 18.1968 13.5019 24.2972 SSIM 0.8221 0.7143 0.9400 图8所示为利用匹配线特征的代表性方法LLPC[37]与HDW的可视化对比, 由于代码底层不同, 所使用的融合方法有些许差异导致清晰度不一致. 但在方框标出的区域中还是能清楚的看出LLPC存在明显的伪影, 因为这些区域并不能识别出线特征; 但这些区域存在明显的平面特性, 因此HDW对齐了这些区域. 总的来说, 任何指定的特征都难以顾全所有的自然复杂场景, 都具有局限性, 而HDW是在未知图像内容的前提下对已知特征进行“平面划分”, 更具有普适性.
图 8 Temple与Railtrack实例上的对齐结果对比Fig. 8 Comparison of the alignment results on the Temple and Railtrack cases图9为Electric_meter、Leaves、Safe_way实例的对齐结果. 对于HDW, 第一次网格优化的结果不准确, 导致第二步的时候引入了错误的种子单元, 使这些实例没能很好对齐.
图10展示了HDW算法在更多场景中的可视化对齐结果, 其中包括各种具有挑战性的场景, 例如有的场景存在多平面、有的含有不规则物体、有的缺失匹配特征点. 所提出的HDW算法因为对匹配特征点的有效约束和对匹配特征缺失区域的准确建模, 在这些场景下都表现优异.
通过与现有方法的定量与定性比较, 可知本文所提出的HDW算法在大多数场景中, 具有比基于匹配特征点的CPW、基于匹配特征点角度的ACW算法更强的特征约束, 比基于平面的SMH、PCPS算法更准确的匹配特征缺失区域建模. 这些优点使得HDW在具有挑战性的现实场景中获得更为准确的对齐结果.
表3使用HDW方法作为基准来比较和计算其他方法的相对耗时. 所用硬件为配置Intel Core i5@3.4 GHz CPU以及8 GB内存的主机. 因为本文提出的两阶段方法相对效率最高的CPW只多了一次线性方程组求解, 而求解稀疏线性方程只需要很少的时间, 对比其他需要做图像分割聚类、图像映射等操作的方法而言, HDW在时间消耗上是具有竞争力的.
表 3 其他算法相对HDW在耗时上的对比Table 3 Temporal cost of HDW compared with those of other algorithms3. 结束语
在图像对齐中, 对匹配特征缺失区域建模的忽略是现有方法效果仍然不佳的重要原因. 现有方法只传播有足够匹配特征区域的部分几何参数, 或者采用把匹配特征缺失区域转化为有足够匹配特征区域等间接做法, 难以准确获得现实中物体视角变换产生的图像变换模型. 本文基于传播完整单应变换系数的思想提出了HDW模型, 以建模真实变换.
HDW利用网格优化对匹配特征具有较强约束的优点, 先对图像做第一步网格优化, 获得有足够匹配特征区域比较准确的单应变换系数, 将其作为先验知识, 以减少单应变换传播所需要的变量数, 降低优化函数复杂度. 接着, 建立网格单元顶点和单应变换系数之间的单应性约束关系, 引入邻域概念, 构造单应性扩散约束进行第二步网格优化. HDW用两次求解线性方程组的形式, 在不使待优化目标函数变得过于复杂的情况下实现对有足够匹配特征区域完整单应变换系数的传播, 克服了现有方法缺乏对匹配特征缺失区域建模的不足. 在和前沿算法的定量对比中, HDW获得了更为准确的结果, 而具体实例的可视化对比也显示出HDW对特征的强约束和独特的平面划分特性. 这些优点使得HDW在具有规则物体或不规则物体的大部分复杂视差场景中表现优异.
-
图 1 本文算法与现有方法的图像对齐效果对比
Fig. 1 Comparison of image alignment effects between existing methods and the method proposed in this paper
图 4 各图像对量化指标的直观对比
Fig. 4 Intuitive comparison of the quantitative indicators on all the image pairs
图 7 Stationery实例上的对齐结果对比
Fig. 7 Comparison of the alignment results on the Stationery case
图 8 Temple与Railtrack实例上的对齐结果对比
Fig. 8 Comparison of the alignment results on the Temple and Railtrack cases
表 1 HDW相对其他算法在Err、PSNR和SSIM上的平均改进(%)
Table 1 The average improvement of HDW compared with other algorithms on Err, PSNR, and SSIM (%)
下载: 导出CSV
表 2 图像对的对齐效果量化指标对比
Table 2 Quantitative comparison of alignment performance on image pairs
Plant Carpark Stationery SMH[17] Err 1.2338 1.2659 1.0580 PSNR 15.7496 12.3758 22.9365 SSIM 0.6516 0.5719 0.9316 PCPS[18] Err 0.9396 1.1923 0.6695 PSNR 15.3314 11.5550 23.5924 SSIM 0.6858 0.5687 0.9355 APAP[6] Err 4.1854 1.1337 1.0154 PSNR 13.2995 11.9361 23.4257 SSIM 0.6245 0.6354 0.9236 CPW[8] Err 6.3718 1.6435 0.9038 PSNR 12.7397 11.2034 23.4680 SSIM 0.4818 0.5862 0.9258 ACW[41] Err 3.4302 0.7918 0.8070 PSNR 13.2159 12.0738 23.6319 SSIM 0.6589 0.6505 0.9278 HDW Err 0.2741 0.2787 0.5134 PSNR 18.1968 13.5019 24.2972 SSIM 0.8221 0.7143 0.9400
下载: 导出CSV
-
[1] Hartley R, Zisserman A. Multiple View Geometry in Computer Vision. Britain: Cambridge University Press, 2003. [2] Matsushita Y, Ofek E, Ge W, Tang X, Shum H Y. Full-frame video stabilization with motion inpainting. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2006, 28(7): 1150−1163 doi: 10.1109/TPAMI.2006.141 [3] 韩敏, 闫阔, 秦国帅. 基于改进KAZE的无人机航拍图像拼接算法. 自动化学报, 2019, 45(2): 305−314 doi: 10.16383/j.aas.2018.c170521Han Min, Yan Kuo, Qin Guo-Shuai. A mosaic algorithm for UAV aerial image with improved KAZE. Acta Automatica Sinica, 2019, 45(2): 305−314 doi: 10.16383/j.aas.2018.c170521 [4] Li X, Hui N, Shen H, Fu Y, Zhang L. A robust mosaicking procedure for high spatial resolution remote sensing images. ISPRS Journal of Photogrammetry and Remote Sensing, 2015, 109: 108−125 doi: 10.1016/j.isprsjprs.2015.09.009 [5] Xiang T Z, Xia G S, Bai X, Zhang L. Image stitching by line-guided local warping with global similarity constraint. Pattern Recognition, 2018, 83: 481−497 doi: 10.1016/j.patcog.2018.06.013 [6] Zaragoza J, Chin T J, Tran Q H, Brown M S, Suter D. As-projective-as-possible image stitching with moving DLT. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2014, 36(7): 1285−1298 doi: 10.1109/TPAMI.2013.247 [7] Gao J, Kim S J, Brown M S. Constructing image panoramas using dual-homography warping. In: Proceedings of the Conference on Computer Vision and Pattern Recognition. Colorado Springs, USA: IEEE, 2011. 49−56 [8] Zhang F, Liu F. Parallax-tolerant image stitching. In: Proceedings of the Conference on Computer Vision and Pattern Recognition. Columbus, USA: IEEE, 2014. 3262−3269 [9] Lin K, Jiang N, Liu S, Cheong L F, Do M, Lu J. Direct photometric alignment by mesh deformation. In: Proceedings of the Conference on Computer Vision and Pattern Recognition. Honolulu, USA: IEEE, 2017. 2405−2413 [10] Chang C H, Sato Y, Chuang Y Y. Shape-preserving half-projective warps for image stitching. In: Proceedings of the Conference on Computer Vision and Pattern Recognition. Columbus, USA: IEEE, 2014. 3254−3261 [11] Lin C C, Pankanti S U, Ramamurthy K N, Aravkin A Y. Adaptive as-natural-as-possible image stitching. In: Proceedings of the Conference on Computer Vision and Pattern Recognition. Boston, USA: IEEE, 2015. 1155−1163 [12] Xue W, Xie W, Zhang Y, Chen S. Stable linear structures and seam measurements for parallax image stitching. IEEE Transactions on Circuits and Systems for Video Technology, 2022, 32(1): 253−261 doi: 10.1109/TCSVT.2021.3058655 [13] Capel D. Image Mosaicing and Super-resolution. Berlin: Springer, 2004. 47−79 [14] Szeliski R. Image Alignment and Stitching: A Tutorial, Technical Report MSR-TR-2004-92, Microsoft Research, Redmond, WA, USA, 2006. [15] Mann S, Picard R W. Video orbits of the projective group: A simple approach to featureless estimation of parameters. IEEE Transactions on Image Processing, 1997, 6(9): 1281−1295 doi: 10.1109/83.623191 [16] Chang C, Chen C, Chuang Y. Spatially-varying image warps for scene alignment. In: Proceedings of the International Conference on Pattern Recognition. Stockholm, Sweden: IEEE, 2014. 64−69 [17] Kim S, Uh Y J, Byun H. Generating panorama image by synthesizing multiple homography. In: Proceedings of the International Conference on Image Processing. Florida, USA: IEEE, 2012. 2981−2984 [18] Zheng J, Wang Y, Wang H, Li B, Hu H M. A novel projective-consistent plane based image stitching method. IEEE Transactions on Multimedia, 2019, 21(10): 2561−2575 doi: 10.1109/TMM.2019.2905692 [19] Lin W Y, Liu S, Matsushita Y, Ng T T, Cheong L F. Smoothly varying affine stitching. In: Proceedings of the Conference on Computer Vision and Pattern Recognition. Colorado Springs, USA: IEEE, 2011. 345−352 [20] Igarashi T, Moscovich T, Hughes J F. As-rigid-as-possible shape manipulation. ACM Transactions on Graphics, 2005, 24(3): 1134−1141 doi: 10.1145/1073204.1073323 [21] Guo Y, Liu F, Shi J, Zhou Z H, Gleicher M. Image retargeting using mesh parametrization. IEEE Transactions on Multimedia, 2009, 11(5): 856−867 doi: 10.1109/TMM.2009.2021781 [22] Hu W, Luo Z, Fan X. Image retargeting via adaptive scaling with geometry preservation. IEEE Journal of Emerging and Selected Topics in Power Electronics, 2014, 4(1): 70−81 [23] Chang C H, Chuang Y Y. A line-structure-preserving approach to image resizing. In: Proceedings of the Conference on Computer Vision and Pattern Recognition. Providence, USA: IEEE, 2012. 1075−1082 [24] Wang Y S, Tai C L, Sorkine O, Lee T Y. Optimized scale-and-stretch for image resizing. ACM Transactions on Graphics, 2008, 27(5): Article No. 118 [25] Li S, Yuan L, Sun J, Quan L. Dual-feature warping-based motion model estimation. In: Proceedings of the International Conference on Computer Vision. Santiago, Chile: IEEE, 2015. 428−4291 [26] 何川, 周军. 具有直线结构保护的网格化图像拼接. 中国图象图形学报, 2018, 23(7): 973−983He Chuan, Zhou Jun. Mesh-based image stitching algorithm with linear structure protection. Journal of Image and Graphics, 2018, 23(7): 973−983 [27] Li J, Wang Z, Lai S. Parallax-tolerant image stitching based on robust elastic warping. IEEE Transactions on Multimedia, 2018, 20(7): 1672−1687 doi: 10.1109/TMM.2017.2777461 [28] Chen K, Tu J, Xiang B, Li L, Yao J. Multiple combined constraints for image stitching. In: Proceedings of the International Conference on Image Processing. Athens, The Hellenic Republic: IEEE, 2018. 1253−1257 [29] 李加亮, 蒋品群. 结合变形函数和幂函数权重的图像拼接. 计算机应用, 2019, 39(10): 3060−4064Li Jia-Liang, Jiang Pin-Qun. Image stitching by combining deformation function and power function weight. Journal of Computer Applications, 2019, 39(10): 3060−4064 [30] 颜雪军, 赵春霞, 袁夏. 2DPCA-SIFT: 一种有效的局部特征描述方法. 自动化学报, 2014, 40(4): 675−682Yan Xue-Jun, Zhao Chun-Xia, Yuan Xia. 2DPCA-SIFT: An efficient local feature descriptor. Acta Automatica Sinica, 2014, 40(4): 675−682 [31] 闫自庚, 蒋建国, 郭丹. 基于SURF特征和Delaunay三角网格的图像匹配. 自动化学报, 2014, 40(6): 1216−1222Yan Zi-Geng, Jiang Jian-Guo, Guo Dan. Image matching based on SURF feature and Delaunay triangular meshes. Acta Automatica Sinica, 2014, 40(6): 1216−1222 [32] Liu W X, Chin T J. Correspondence insertion for as-projective-as-possible image stitching. arXiv preprint arXiv: 1608.07997, 2016. [33] Fan B, Wu F, Hu Z. Line matching leveraged by point correspondences. In: Proceedings of the Conference on Computer Vision and Pattern Recognition. San Francisco, USA: IEEE, 2010. 390−397 [34] Joo K, Kim N, Oh T H, Kweon I S. Line meets as-projective-as-possible image stitching with moving DLT. In: Proceedings of the International Conference on Image Processing. Quebec, Canada: IEEE, 2015. 1175−1179 [35] Xiang T, Xia G, Zhang L, Huang N. Locally warping-based image stitching by imposing line constraints. In: Proceedings of the International Conference on Pattern Recognition. Cancun, Mexico: IEEE, 2016. 4178−4183 [36] Luo X, Li Y, Yan J, Guan X. Image stitching with positional relationship constraints of feature points and lines. Pattern Recognition Letters, 2020, 135: 431−440 doi: 10.1016/j.patrec.2020.05.003 [37] Jia Q, Li Z, Fan X, Zhao H, Teng S, Ye X, Latecki L J. Leveraging line-point consistence to preserve structures for wide parallax image stitching. In: Proceedings of the Conference on Computer Vision and Pattern Recognition. New York, USA: IEEE, 2021. 12186−12195 [38] Herrmann C, Wang C, Bowen R S, Keyder E, Krainin M, Liu C, et al. Robust image stitching with multiple registrations. In: Proceedings of the European Conference on Computer Vision. Munich, Germany: 2018. 53−69 [39] Lou Z, Gevers T. Image alignment by piecewise planar region matching. IEEE Transactions on Multimedia, 2014, 16(7): 2052−2061 doi: 10.1109/TMM.2014.2346476 [40] Lee K Y, Sim J Y. Warping residual based image stitching for large parallax. In: Proceedings of the Conference on Computer Vision and Pattern Recognition. Seattle, USA: IEEE, 2020. 8198−8206 [41] Chen Y, Zheng H, Ma Y, Yan Z. Image stitching based on angle-consistent warping. Pattern Recognition, 2021, 117: Article No. 107993 doi: 10.1016/j.patcog.2021.107993 [42] Song D Y, Um G M, Lee H K, Cho D. End-to-end image stitching network via multi-homography estimation. IEEE Signal Processing Letters, 2021, 99: 1−5 [43] Le H, Liu F, Zhang S, Agarwala A. Deep homography estimation for dynamic scenes. In: Proceedings of the Conference on Computer Vision and Pattern Recognition. Seattle, USA: IEEE, 2020. 7652−7661 [44] Zhao Q, Ma Y, Zhu C, Yao C, Dai F. Image stitching via deep homography estimation. Neurocomputing, 2021, 450: 219−229 doi: 10.1016/j.neucom.2021.03.099 [45] Dai Q, Fang F, Li J, Zhang G, Zhou A. Edge-guided composition network for image stitching. Pattern Recognition, 2021, 118: Article No. 108019 doi: 10.1016/j.patcog.2021.108019 [46] Cao S, Hu J, Shen Z, Shen H. Iterative deep homography estimation. In: Proceedings of the 2022 Conference on Computer Vision and Pattern Recognition. New Orleans, USA: IEEE, 2022. [47] Zhao Y, Huang X, Zhang Z. Deep Lucas-Kanade homography for multimodal image alignment. In: Proceedings of the 2021 Conference on Computer Vision and Pattern Recognition. New York, USA: IEEE, 2021. 15950−15959 [48] Mo Y, Kang X, Duan P, Li S. A robust UAV hyperspectral image stitching method based on deep feature matching. IEEE Transactions on Geoscience and Remote Sensing, 2022, 60: 1−14 [49] Nie L, Lin C, Liao K, Liu S, Zhao Y. Unsupervised deep image stitching: Reconstructing stitched features to images. IEEE Transactions on Image Processing, 2021, 30: 6184−6197 doi: 10.1109/TIP.2021.3092828 [50] Nie L, Lin C, Liao K, Liu S, Zhao Y. Depth-aware multi-grid deep homography estimation with contextual correlation. IEEE Transactions on Circuits and Systems for Video Technology, 2022, 32(7): 4460−4472 doi: 10.1109/TCSVT.2021.3125736 [51] Liu F, Gleicher M, Jin H, Agarwala A. Content-preserving warps for 3D video stabilization. ACM Transactions on Graphics, 2009, 28(3): 1−9 [52] Fischler M A, Bolles R C. Random sample consensus: A paradigm for model fitting with applications to image analysis and automated cartography. Communication of ACM, 1981, 24(6): 381−395 doi: 10.1145/358669.358692 [53] Zhang Z. Parameter estimation techniques: A tutorial with application to conic fitting. Image and Vision Computing, 1997, 15(1): 59−76 doi: 10.1016/S0262-8856(96)01112-2 [54] Heckbert P S. Fundamentals of Texture Mapping and Image Warping [Ph.D. dissertation], EECS Department, University of California, USA, 1989. [55] Wang Z, Bovik A C, Sheikh H R, Simoncelli E P. Image quality assessment: From error visibility to structural similarity. IEEE Transactions on Image Processing, 2004, 13(4): 600−612 doi: 10.1109/TIP.2003.819861 [56] Lowe D G. Distinctive image features from scale-invariant keypoints. International Journal of Computer Vision, 2004, 60(2): 91−110 doi: 10.1023/B:VISI.0000029664.99615.94 [57] Brown M, Lowe D G. Automatic panoramic image stitching using invariant features. International Journal of Computer Vision, 2007, 74(1): 59−73 doi: 10.1007/s11263-006-0002-3 [58] Ma J, Jiang X, Fan A, Jiang J, Yan J. Image matching from handcrafted to deep features: A survey. International Journal of Computer Vision, 2021, 129: 23−79 doi: 10.1007/s11263-020-01359-2 期刊类型引用(1)
1. 王兆龙，朱文山，牟金震，韩飞，敬忠良. 多航天器协同观测的空间目标状态估计研究进展. 中国科学:物理学 力学 天文学. 2025(02): 23-43 . 
百度学术其他类型引用(0)
-
计量
- 文章访问数: 472
- HTML全文浏览量: 310
- PDF下载量: 104
- 被引次数: 1
