Multi-view Learning and Reconstruction Algorithms via Generative Adversarial Networks
-
摘要: 同一事物通常需要从不同角度进行表达.然而，现实应用经常引出复杂的场景，导致完整视图数据很难获得.因此研究如何构建事物的完整视图具有重要意义.本文提出一种基于生成对抗网络（Generative adversarial networks，GAN）的多视图学习与重构算法，利用已知单一视图，通过生成式方法构建其他视图.为构建多视图通用的表征，提出新型表征学习算法，使得同一实例的任意视图都能映射至相同的表征向量，并保证其包含实例的重构信息.为构建给定事物的多种视图，提出基于生成对抗网络的重构算法，在生成模型中加入表征信息，保证了生成视图数据与源视图相匹配.所提出的算法的优势在于避免了不同视图间的直接映射，解决了训练数据视图不完整问题，以及构造视图与已知视图正确对应问题.在手写体数字数据集MNIST，街景数字数据集SVHN和人脸数据集CelebA上的模拟实验结果表明，所提出的算法具有很好的重构性能.Abstract: Generally, objects often require to represent in different views. However, real-world applications in complex scenarios can hardly have complete views of a given object. In this paper, we propose generative adversarial network (GAN) based multi-view learning and reconstruction algorithms. A novel representation learning algorithm is proposed, which guarantees different views of the same object are mapped to the same representation. Meanwhile, the algorithm guarantees the representation carries enough reconstructed information. To construct multi-views of a given object, a generative adversarial network based reconstruction algorithm is proposed, which includes the representation information in the generation and discrimination models to guarantee the constructed views perfectly map the source view. The merits of the proposed algorithms lie in the fact that they avoid direct mapping among different views, and can solve the problem of missing views in training data and the problem of mapping between constructed views and the source views. Simulated experiments on handwritten digit dataset (MNIST), street view house numbers dataset (SVHN) and CelebFaces attributes dataset (CelebA) indicate that the proposed algorithms yield satisfactory reconstruction performances.
-
随着无人机航拍技术的发展, 近年来, 其在地图测绘, 危险区域安全巡检, 地质环境与灾害评估等相关领域得到了广泛应用.无人机航拍图像具有高清晰度, 大比例尺的特点.然而, 在航拍过程中, 无人机由于受到自身飞行高度, 相机视角等参数的影响, 拍摄的单张图像覆盖面积过小, 不能展示更全面的信息.因此, 为扩大视野范围, 得到覆盖区域更宽广的图像, 需要对拍摄的多张航拍图像进行拼接, 获得宽视角的全景图[1-3].图像拼接[4]是将相互间有重叠部分的两幅或多幅图像合成一幅大型的无缝高分辨率图像的一种技术.航拍图像的拼接一般包括3个步骤[5]:图像预处理, 图像配准, 图像融合.其中, 图像配准是图像拼接中较为关键的一步, 它是图像合成技术的基础[6], 其结果会对最后的拼接图像产生重要的影响.
图像配准方法主要分为基于灰度相关的配准, 基于变换域的配准和基于特征的图像配准3类[7].其中, 基于特征的图像配准方法通过提取图像的局部不变特征对图像的重合部分进行配准, 因其算法稳健、快速, 已成为研究的热点.常用的特征提取算法包括Harris[8], SUSAN (Smallest univalue segment assimilation nucleus)[9], SIFT (Scale invarian feature transform)[10-11], SURF (Speed-up robust features)[12-13], ORB (Oriented FAST and rotated BRIEF)[14-15], BRISK (Binary robust invariant scalable keypoints)[16-17], KAZE[18-19]和AKAZE (Accelerated-KAZE)[20]等.其中, Harris和SUSAN算法直接提取角点或边缘特征, 不具备较好的环境适应能力. SIFT和SURF通过构造高斯尺度空间得到高斯差分尺度空间, 并在其上进行斑点检测, 鲁棒性较强, 但其不能较好地保留细节与边缘信息. ORB算法结合了一种方向性FAST (Feature from accelerated segment test)与旋转二进制鲁棒独立元素特征BRIEF (Binary robust independent elementary feature), 计算速度快, 但不具备尺度不变性. BRISK利用AGAST (Adaptive and generic corner detection based on the accelerated segment test)提取角点特征, 利用简单的像素灰度值比较构建二进制特征子, 具备尺度与旋转不变性, 计算速度快, 但鲁棒性差. KAZE和AKAZE是基于非线性的特征提取与匹配算法, 鲁棒性强, 匹配率高.
由于KAZE算法在光照不变性、旋转不变性、尺度不变性、稳定性等方面具有较好的性能, 本文针对其算法实时性较差, 航拍图像易受光照、旋转变化、尺度变化等影响以及基于K近邻(K-nearest neighbor, KNN)的特征匹配算法耗时较长等问题, 提出了一种基于改进KAZE的无人机航拍图像拼接算法.该方法首先利用加速的KAZE算法提取图像的特征点, 使用二进制特征描述子FREAK[21]对特征点进行描述, 然后采用Grid-KNN算法对特征点进行粗匹配, 使用随机一致性算法(Random sample consensus algorithm, RANSAC)算法剔除错误的匹配点对并计算几何变换模型[22], 最后采用加权平均算法对图像进行融合.为验证本文算法的有效性, 将本文算法与SIFT算法, ORB算法和KAZE算法在Mikolajczyk和Schmid提供的数据集[23]与无人机航拍图像上进行了仿真实验, 并在特征点提取速度、特征匹配速度、匹配正确率和配准精度四个方面进行了评价.实验结果表明, 本文所提算法是一种稳定、精确度高、拼接效果良好的无人机航拍图像拼接方法.权衡特征点提取速度, 特征匹配速度, 匹配正确率和配准精度四个方面, 本文算法更适合无人机航拍影像的拼接.
1. KAZE算法
KAZE算法是基于非线性尺度空间的特征检测算法.该算法利用非线性扩散滤波器构建具有任意步长的尺度空间, 在该尺度空间内, 图像的灰度在平缓的区域能够快速扩散, 在边缘处以较慢的速度扩散.因此, 利用这种非线性方法处理图像时, 能够较好的保留细节与边缘信息, 同时模糊噪声.
KAZE算法主要包括5个步骤[18]:
步骤1. 非线性尺度空间构造.利用可变传导扩散方法和加性算子分裂算法(Additive operator splitting, AOS)构建一个呈金字塔型的非线性尺度空间, 如式(1)所示.
$ \begin{align} L^{i + 1} = \left[ I- (t_{i+1}-t_{i})\sum\limits_{l=1}^MA_l \left(L^i\right)\right] ^{-1}L^i, \nonumber\\ {i = 0, \cdots , n - 1} \end{align} $
(1) 式中, $L$ 为高斯滤波后的图像, $I$ 为单位矩阵, $t$ 为时间, $A_l\left( {L^i} \right)$ 为图像 $L$ 在维度 $l$ 上的传导矩阵.
步骤2. 特征点检测与精确定位.在不同尺度空间中将每个点与其邻域内的所有点进行比较, 寻找归一化后的Hessian矩阵局部极大值点, 获得特征点对应的位置和尺度, Hessian矩阵的计算公式如式(2)所示.
$ \begin{equation} \begin{array}{l} {L_{\rm Hessian}} = {\sigma ^2}\left( {{L_{xx}}{L_{yy}} - L_{xy}^2} \right) \end{array} \end{equation} $
(2) 式中, $\sigma$ 为尺度参数 ${\sigma _i}$ 的整数值; $L_{xx}$ , $L_{yy}$ , $L_{xy}$ 均为 $L$ 的二阶微分.理论上, 选择当前及其上下尺度上的大小为 ${\sigma _i} \times {\sigma _i}$ 的3个矩形窗口作为比较范围.但为了提高搜索速度, 通常情况下将矩形窗口的尺寸固定为 $3 \times 3$ , 即将每一个像素点与其同尺度上的8个相邻点, 以及上下相邻尺度上的各9个点进行比较.在检测到特征点的位置后, 通过子像元插值精确定位特征点.根据泰勒展开式求解亚像素的精确位置.
$ \begin{equation} L\left( x \right) = L + {\left( {\frac{{\partial L}}{{\partial x}}} \right)^{\rm T}} x + \frac{1}{2}{x^{\rm T}}\frac{{{\partial ^2} L}}{{\partial {x^2}}}x \end{equation} $
(3) 式中 $x$ 为特征点的位置坐标, 特征点的亚像素坐标解为:
$ \begin{equation} \tilde {x} = - {\left( {\frac{{{\partial ^2}{L}}}{{\partial {{x}^2}}}} \right)^{ - 1}}\frac{{\partial {L}}}{{\partial {x}}} \end{equation} $
(4) 步骤3. 特征点主方向确定.特征点的主方向由局部图像结构确定.在搜索半径为 $6{\sigma _i}$ 的圆内对所有邻点的一阶微分值 ${L_x}$ 和 ${L_y}$ 高斯加权, 然后将所有的微分值作为向量空间中的点集, 并在角度为60 $^\circ$ 的滑动扇形窗口中叠加点集中的向量, 对整个圆形区域进行遍历, 以获得最长向量.该向量对应的角度即为主方向.
步骤4. 特征向量描述.在特征点的主方向确定后, 使用M-SURF算法为每一个特征点构建特征向量.若特征点的尺度参数为 ${\sigma _i}$ , 则以特征点为中心, 在其梯度图像上取一个大小为 $24{\sigma _i} \times 24{\sigma _i}$ 的矩形窗口, 并将窗口划分为大小为 $9{\sigma _i} \times 9{\sigma _i}$ 的 $4 \times 4$ 个子区域.相邻子区域有交叠, 交叠区域的宽度为 $2{\sigma _i}$ .使用 ${\sigma _1}= 2.5{\sigma _i}$ 的高斯核对每一个子区域进行加权, 得到长度为4的子区域描述量 ${\boldsymbol d_v}$ .
$ \begin{equation} \begin{array}{l} {\boldsymbol d_v} = \left( {\sum {{L_x}, \sum {{L_y}} , \sum {\left| {{L_x}} \right|} , \sum {\left| {{L_y}} \right|} } } \right) \end{array} \end{equation} $
(5) 式中, ${L_x}$ , ${L_y}$ 分别为高斯滤波后的图像 ${L}$ 在 $x$ , $y$ 处的微分.然后, 使用尺寸为 $4 \times 4$ 的 ${\sigma _2}= 1.5{\sigma _i}$ 的高斯核对每一个子区域的 ${\boldsymbol d_v}$ 进行加权, 并进行归一化处理.最终, 特征点由一个64维的特征矢量表示.
步骤5. 特征向量匹配.使用两特征向量之间的欧氏距离对其进行匹配, 欧氏距离越小, 两个特征向量越相似, 计算公式如下:
$ \begin{equation} \begin{array}{l} d = \sqrt {{{\left( {{x_1} - {x_2}} \right)}^2} + {{\left( {{y_1} - {y_2}} \right)}^2}} \end{array} \end{equation} $
(6) 式中, $\left( {{x_1}, {y_1}} \right)$ 和 $\left( {{x_2}, {y_2}} \right)$ 为两特征向量的坐标.
2. 改进的KAZE算法
KAZE算法虽然在光照不变性, 旋转不变性, 尺度不变性及稳定性上具有较好的性能, 但实时性较差, 难以满足高分辨, 大比例尺的航拍图像拼接的速度要求.因此, 本文对KAZE算法进行了改进.首先, 在非线性尺度空间构建阶段, 采用快速显式扩散算法(Fast explicit diffusion, FED)算法代替AOS算法, 加速非线性尺度空间图像的生成[20].其次, 在特征向量描述阶段使用二进制特征描述子FREAK代替浮点型描述子M-SURF, 从而加速特征向量的生成与减少描述子所占内存空间.最后, 在特征向量匹配阶段, 使用Hamming距离替代原来的欧氏距离, 从而减少计算时间提高特征向量的匹配速度.
2.1 非线性尺度空间构造
非线性偏微分方程不存在解析解, 因此KAZE算法采用了AOS算法求解方程的近似解. AOS算法在近似求解方程时需要在每个时间步长上大量求解线性方程组才能获得解集, 计算消耗时间过多.文献[20]采用了FED算法替代AOS算法近似求解非线性偏微分方程, 从而提升算法速度.使用FED算法构造非线性尺度空间不仅能够避免AOS算法计算耗时问题而且能使构造的尺度空间更加准确.因此, 本文在非线性尺度空间构造阶段将FED算法内嵌到金字塔架构框架结构中, 以加速尺度空间的构造.
2.2 特征向量描述
KAZE算法采用M-SURF算法对特征点进行描述, 最终生成一个64维的浮点型特征向量, 该向量所占内存较大, 且生成时计算复杂, 速度较慢.二进制特征描述子根据关键点邻域像素灰度值的比较生成, 计算速度快, 所占内存空间小.因此, 本文采用二进制特征描述子代替浮点型描述子M-SURF, 从而加速特征描述子的建立, 同时减少对内存空间的需求.常用的二进制描述子主要包括BRIEF算子, ORB算子, BRISK算子和FREAK算子.其中, FREAK算子在光照, 旋转及尺度变化的情况下均能保持较好的性能[23].因此, 本文选用FREAK算子对KAZE算法提取的特征点进行描述.
FREAK算法是一种模拟人类视网膜结构的快速二进制描述子构建方法. FREAK算法的采样模式如图 1所示.其仿照视网膜中神经节细胞的分布模式, 位于最中心的为特征点, 其他圆心为采样点, 离特征点中心越近, 采样点越密集, 反之越稀疏.在采样时, 需要对所有采样点使用大小与当前采样点同心圆半径成正比的高斯核进行高斯平滑.
采样后, 使用滤波后的图像信息构造FREAK描述子. FREAK描述子最终为一个二进制序列, 由采样点对的强度比较结果级联而成, 用 $F$ 表示, 则:
$ \begin{equation} \begin{array}{l} F = \sum\limits_{0 \le \alpha \le N} {{2^\alpha }} T\left( {{P_\alpha }} \right) \end{array} \end{equation} $
(7) 式中, ${P_\alpha }$ 表示感受域对, $N$ 为特征向量的维数, $T\left( {{P_\alpha }} \right)$ 的定义如下:
$ \begin{equation} \begin{array}{l} T\left( {{P_\alpha }} \right) = \left\{ {\begin{array}{*{20}{l}} 1, \; {I\left( {P_\alpha ^{r1}} \right) - I\left( {P_\alpha ^{r2}} \right) > 0} \\ {0, \;\mbox{其他}} \end{array}} \right. \end{array} \end{equation} $
(8) 式中, $I\left( {P_\alpha ^{ri}} \right)$ 是采样点经过高斯平滑后的强度值.
FREAK采样点虽然只有几十个, 但其组合而成的采样点对可能达到几千个, 信息存在冗余.因此, 需要使用类似ORB算子学习算法提取出相关性较小的点对, 最终选取前512位作为描述子.为确保描述子具有旋转不变性, 在构造描述子时需要确定特征方向.如图 2所示, FREAK描述子的特征点周围有43个采样点, 可产生903个采样点对, 主方向 $O$ 将由45对中心对称的采样点确定, 主方向 $O$ 的计算公式如下:
$ \begin{equation} O = \frac{1}{M}\sum\limits_{{P_o} \in G} {\left( {I\left( {P_O^{{r_1}}} \right) - I\left( {P_O^{{r_2}}} \right)} \right)\frac{{P_O^{{r_1}} - P_O^{{r_2}}}}{{\left\| {P_O^{{r_1}} - P_O^{{r_2}}} \right\|}}} \end{equation} $
(9) 式中, $G$ 为确定主方向的特征点对的集合, $M$ 是集合 $G$ 中采样点的对数, $P_O^{{r_i}}$ 是采样点中心的坐标.
2.3 特征向量匹配
由于使用FREAK算子对特征向量进行描述, 因此在特征向量匹配阶段使用两个特征向量间的汉明距离对向量进行匹配.使用汉明距离进行特征向量的匹配只需要进行异或操作就可以计算出结果, 计算速度快, 能够大大提升算法的效率.
3. Grid-KNN算法
在提取特征点, 建立特征向量描述后, 需要对特征向量进行匹配.基于KNN的匹配算法是一种常用的特征匹配方法.其首先在待配准图像的所有特征点中, 依次为每一个参考图像的特征点搜索出与之距离最近的2个点; 然后, 将最近邻距离与次近邻距离的比值和设定的阈值进行比较.若比值小于设定的阈值, 则认为该特征点与其距离最近的待配准图像中的特征点是一组匹配点对.然而, 这种方法需要每次都遍历待配准图像中的所有特征点, 若参考图像中的特征点数量为 $N$ , 待配准图像中的特征点数量为 $M$ , 则总的遍历次数为 $M \times N$ , 耗时较长.因此, 在特征匹配时增加运动平滑性约束, 以缩小特征匹配区域.正确的匹配在运动空间中是平滑的, 运动平稳相邻的特征在运动空间中具有一致性[24].因此, 相邻特征点对应的匹配特征点的区域也是相邻的.从而, 参考图像中的特征点搜索出待配准图像中与之匹配的特征点后, 该特征点邻域内的所有特征点只需在待配准图像中匹配点的邻域内进行搜索即可.匹配区域示意图如图 3所示, 若参考图像区域 $a$ 的首个匹配点出现在待配准图像区域 $b$ 中, 则区域 $a$ 中的余下特征点均在区域 $b$ 的 $3 \times 3$ 邻域内寻找匹配点.因此, 总的遍历次数将远小于 $M \times N$ , 从而减少匹配时间, 加快匹配速度.
为方便邻域的选取, 在特征点匹配时引入网格框架, 将图像均匀划分为 $n\times n$ 的网格, 然后以网格为单位, 进行特征匹配.基于Grid-KNN特征匹配算法主要包含以下步骤:
步骤1. 划分网格.将参考图像与待配准图像均匀划分为 $n\times n$ 个网格;
步骤2. 寻找首个正确匹配点对.选取参考图像中的一个网格 ${a_{ij}}$ , 并在 ${a_{ij}}$ 中选取特征点 ${A_k}$ .采用基于KNN的搜索方法, 找到 ${A_k}$ 在待匹配图的所有特征点中的最近邻点 ${B_k}$ 和次近邻点 ${C_k}$ , 若 ${d_{{A_k}{B_k}}}$ 与 ${d_{{A_k}{C_k}}}$ (其中, $d$ 表示两点间距离)比值小于设定阈值 $\tau $ , 则认为 ${A_k}$ 与 ${B_k}$ 是正确的匹配点对, 此时结束搜索; 否则, 选取 ${a_{ij}}$ 中的下一个特征点, 重复上述搜索过程, 直到找到首个正确的匹配点对;
步骤3. 建立邻域.求取步骤2找到的正确匹配点对中 ${B_k}$ 所处网格 ${b_{ij}}$ 的 $3\times 3$ 邻域 ${R}$ ;
步骤4. 寻找所有正确匹配点对.依次选取网格 ${a_{ij}}$ 内剩余的特征点, 按照步骤2的搜索过程, 找到网格 ${a_{ij}}$ 和区域 $R$ 中所有剩余的正确匹配点对;
步骤5. 对步骤1中参考图像的剩余网格, 重复步骤2 $\sim$ 4, 直至所有网格遍历完毕.
4. 无人机航拍图像拼接
无人机航拍图像在特征匹配后, 需要计算几何变换参数进行变换, 并对配准后的图像做融合处理.本文在使用加速KAZE算法提取航拍图像特征点, 并采用FREAK对提取的特征点进行描述后, 使用Grid-KNN算法对特征点搜索, 进行粗匹配, 特征点匹配程度采用汉明距离进行衡量.影像区域特征具有相似性, 经常会导致相邻特征点的误匹配, 通过Grid-KNN算法对特征点进行匹配后, 往往会存在错误的匹配点对.因此, 使用RANSAC算法剔除误匹配点对, 对匹配结果进一步提纯.在获得精匹配的特征点对后, 使用RANSAC算法求解几何变换矩阵, 将待配准图像经变换矩阵变换后与参考图像进行叠加.由于图像之间存在亮度与色彩差异, 需要对叠加后的图像进行融合, 以消除拼接缝.使用加权平均融合算法对叠加的图像进行融合, 计算公式如下:
$ \begin{equation} f\left( {x, y} \right) = \left\{ {\begin{array}{*{20}{c}} \begin{array}{l} {f_1}\left( {x, y} \right), \\ \;\;\;\;\;\;\left( {x, y} \right) \in {R_1}, \left( {x, y} \right) \notin {R_2} \end{array}\\ \begin{array}{l} {d_1}{f_1}\left( {x, y} \right) + {d_2}{f_2}\left( {x, y} \right), \\ \;\;\;\;\;\;\left( {x, y} \right) \in {R_1}, \left( {x, y} \right) \in {R_2} \end{array}\\ \begin{array}{l} {f_2}\left( {x, y} \right), \\ \;\;\;\;\;\;\left( {x, y} \right) \in {R_2}, \left( {x, y} \right) \notin {R_1} \end{array} \end{array}} \right. \end{equation} $
(10) 式中, ${R_1}$ 为图像1的区域, ${R_2}$ 为图像2的区域, ${d_1}$ , ${d_2}$ 为加权值, 且 ${d_1} + {d_2} = 1$ , $0 < {d_1} < 1$ , $0 < {d_2} < 1$ , ${d_1}$ 与当前处理点距重叠区域左边界的距离成正比.经融合后, 获得的拼接图像更加平滑, 自然.基于改进KAZE的无人机航拍图像拼接流程如图 4所示, 主要包含以下步骤:
图 4 基于改进KAZE算法无人机航拍图像拼接流程Fig. 4 The process of UAV aerial image mosaic based on improved KAZE algorithm步骤1. 特征点检测.使用加速的KAZE算法检测出航拍图像的特征点;
步骤2. 特征点描述.采用二进制特征描述子FREAK对检测出的特征点进行描述;
步骤3. 特征点粗匹配.采用Grid-KNN算法搜索出参考图像与待配准图像特征点中的正确匹配点对;
步骤4. 特征点精匹配.使用RANSAC算法对匹配的特征点对进一步提纯, 将可信度较低的匹配对进行过滤, 得到精匹配结果;
步骤5. 建立几何变换模型.选取单应性矩阵作为相邻两幅图像间的变换模型, 使用RANSAC算法求解其变换参数;
步骤6. 图像融合.使用加权平均融合算法对配准后的图像进行融合, 使重叠区域的像素按照相应的权重进行叠加, 以消除拼接图像的拼接缝, 使图像色彩, 亮度过度更加自然, 真实.
5. 实验结果及分析
在图像拼接中, 衡量一种算法是否适合无人机航拍图像的重要指标包括特征点提取与匹配速度, 匹配正确率和配准精度.因此, 针对本文提出的基于改进KAZE的无人机航拍图像拼接算法, 采用了标准数据集和大量无人机航拍图像进行实验, 并将本文算法与SIFT算法, ORB算法和KAZE算法进行比较, 从特征点提取速度, 特征匹配速度, 匹配正确率和配准精度四个方面对各算法进行定量的评价与分析.实验运行环境采用CPU为Intel core i3, 3.50 GHz, 内存为4 GB, 64位Win10操作系统的PC机.本文实验的所有算法基于OpenCV2.4.10实现, 编程语言为C++语言, 编程环境为Visual Studio 2010.实验数据采用Mikolajczyk和Schmid提供的数据集中的Leuven数据, Boat数据和图 5中所示的无人机航拍图像. Mikolajczyk和Schmid提供的数据集包含了具有不同几何和光照强度变换的几个图像集, 每个图像集包含了6个图像序列, 每个序列的后5张图像是对第1张图像的变换. Leuven数据和Boat数据分别用于验证图像在光照变化, 旋转变化和尺度变化下的算法性能; 图 5所示的各组航拍图像的分辨率均为 $4 000\times 3 000$ , 分别对应光照变化, 旋转变化和尺度变化的情形.
5.1 特征点提取速度对比
特征点提取速度评价采用提取每个特征点的平均用时进行比较, 平均用时越短, 速度越快. 表 1给出了分别使用SIFT算法, ORB算法, KAZE算法和本文所提算法对Leuven数据, Boat数据和图 5所示的实验数据进行特征点提取的平均用时比较.从表中可以看出ORB算法特征点提取时间最少, 本文算法次之, SIFT算法和KAZE算法特征点提取时间最长.这是因为ORB算法采用FAST方法检测特征点, 且在特征描述时只需对特征点的邻域进行二值测试, 因此特征提取速度性能较好. SIFT算法构造高斯尺度空间进行特征点检测, KAZE算法构造非线性尺度空间进行特征点检测, 且二者均采用浮点型描述子进行特征描述, 因此二者较为耗时.本文算法, 虽然需要构造非线性尺度空间进行特征点检测, 但是采用二进制描述子描述特征, 因此速度与SIFT算法和KAZE算法相比得到了大幅提升.
表 1 特征点提取平均用时比较(ms)Table 1 The comparison of feature point extraction average time (ms)5.2 特征匹配速度对比
特征匹配速度评价采用每个特征点的平均匹配用时进行比较, 平均用时越短, 速度越快.表 2给出了分别使用SIFT算法, ORB算法, KAZE算法和本文所提算法对Leuven数据, Boat数据的前2个图像序列和图 5所示的实验数据进行特征匹配时平均用时比较.其中, SIFT算法, ORB算法, KAZE算法均采用基于KNN的特征匹配算法, 本文算法的网格大小选为 $10 \times 10$ .从表中可以看出SIFT算法和KAZE算法耗时最长, ORB算法次之, 本文算法耗时最短. SITF算法和KAZE算法使用欧氏距离进行特征相似性度量, 且使用基于KNN的特征匹配算法, 因此, 耗时较长. ORB算法虽然与本文算法一样采用汉明距离进行特征相似性度量, 但其采用的基于KNN的特征匹配算法相较于本文的Grid-KNN算法遍历次数较多, 耗时较长.
表 2 特征匹配平均用时比较(ms)Table 2 The comparison of feature matching average time (ms)5.3 匹配正确率对比
匹配正确率CMR (Correct matching rate)为匹配正确点对数与所有匹配点对数之比, 其定义如下:
$ \begin{equation} {\rm CMR} = \frac{{{N_c}}}{N} \end{equation} $
(11) 式中, ${N}$ 为所有匹配点对数, ${N_c}$ 为匹配正确点对数. CMR是一种客观的评价指标, 其值越大, 匹配性能越好. 图 6给出了使用4种算法对Leuven数据和Boat数据进行匹配的匹配正确率结果.从图中可以看出KAZE算法和本文算法在光照, 旋转和尺度变化下具有较好的性能, SIFT算法次之, ORB算法最差.因此, 本文算法抗光照变化, 抗旋转和抗尺度变化性能更好, 稳定性更强. 表 3给出了使用4种算法对图 5所示航拍图像进行匹配的匹配正确率的结果比较.从表中的结果可以看出ORB算法的匹配正确率最低, SIFT算法次之, KAZE算法和本文算法最好, 进一步验证了本文算法在光照, 旋转和尺度变化下具有较好的性能与稳定性.
图 6 Leuven数据和Boat数据匹配正确率比较Fig. 6 The comparison of correct matching rate for Leuven data and Boat data表 3 匹配正确率比较Table 3 The comparison of correct matching rate图像编号 算法 匹配点对数 正确点对数 CMR (%) SIFT 1 492 1 359 91.15 图 5 (a) ORB 2 253 2 092 81.94 KAZE 1 427 1 436 99.93 本文算法 1 358 1356 99.85 SIFT 1 212 1 063 87.71 图 5 (b) ORB 1 340 995 74.25 KAZE 1 415 1 294 91.45 本文算法 1 280 1 159 90.55 SIFT 1 527 1 464 95.87 图 5 (c) ORB 1 573 1 130 71.84 KAZE 1 438 1 392 96.80 本文算法 1 285 1 222 95.12 5.4 配准精度对比
配准精度直接影响着最终的拼接结果, 其采用参考图像与待配准图像之间的距离均方根误差RMSE (Root mean square error)进行评价, RMSE的计算公式如下:
$\begin{equation} \begin{array}{l} {\rm RMSE} = \sqrt {\frac{1}{M}\sum\limits_{i = 1}^M {{{\left\| {\left( {{x_i}, {y_i}} \right) - \left( {{{\tilde x}_i}, {{\tilde y}_i}} \right)} \right\|}^2}} } \end{array} \end{equation} $
(12) 式中, $M$ 为监测点总数, $\left( {{x_i}, {y_i}} \right)$ 为参考图像中监测点的坐标, $\left( {{{\tilde x}_i}, {{\tilde y}_i}} \right)$ 为待配准图像中经单应性矩阵变换后的监测点的坐标. RMSE的值越小, 两者间的距离越小, 则配准精度越高, 拼接效果越好, 反之, 拼接效果越差.
图 7给出了使用4种算法对Leuven数据和Boat数据进行配准后的均方根误差结果.从图中可以看出KAZE算法和本文算法在光照, 旋转和尺度变化下均方根误差最小, 具有较好的配准精度, SIFT算法略次之, ORB算法最差.
图 7 Leuven数据和Boat数据匹配精度比较Fig. 7 The comparison of matching accuracy for Leuven data and Boat data表 4给出了使用4种算法对图 5所示航拍图像配准后的均方根误差的结果比较.从表中的结果可以看出ORB算法的误差最大, 配准精度最差, SIFT算法较好, KAZE算法和本文算法拥有最好的配准精度.本文算法的配准精度虽略低于KAZE算法, 但略高于SIFT算法, 同时远高于ORB算法, 说明本文算法在光照, 旋转和尺度变化的情况下具有较好的配准精度, 能够适用于无人机航拍图像拼接. 图 8给出了使用本文算法对图 5中的3组实验数据进行配准后的结果.从图中可以看出配准后的图像无明显的错位, 配准效果较好.
表 4 配准精度比较Table 4 The comparison of matching accuracy由上述实验结果可知, ORB算法虽具有较快的特征点提取速度, 但其在追求特征点提取速度时大大牺牲了匹配正确率与配准精度; SIFT算法和KAZE算法的匹配正确率与配准精度较高, 但其特征点提取速度与特征匹配速度过慢; 本文算法在保持较高的匹配正确率与配准精度的同时保持了一定的特征点提取速度, 并且特征匹配速度较快.综上所述, 均衡特征点提取速度、特征匹配速度、匹配正确率与配准精度四个方面, 本文算法更具优越性.
5.5 图像拼接结果
使用本文算法对图 5中的三组图像进行配准, 在使用加权平均算法对配准后的图像进行融合, 最终的拼接结果如图 9所示.从图中可以看出, 拼接后的图像无鬼影、无拼接缝, 且图像亮度变化均匀, 保真度高, 拼接效果较好.
6. 结论
针对航拍图像易受光照、旋转变化、尺度变化等影响, KAZE算法实时性较差以及基于K近邻的特征匹配算法耗时较长等问题, 本文提出了一种基于改进KAZE的无人机航拍图像拼接算法, 并与SIFT算法, ORB算法和KAZE算法进行了对比.该方法首先利用加速的KAZE算法提取图像的特征点, 采用二进制特征描述子FREAK进行特征点描述, 然后使用Grid-KNN算法对特征点进行初步匹配, 采用RANSAC算法对匹配的特征点对精匹配并计算几何变换模型, 最后使用加权平均算法对图像进行融合.实验结果表明, 本文算法在特征匹配速度, 匹配正确率和匹配精度上拥有较好的性能的同时保持了一定的特征点提取速度.与KAZE算法和SIFT算法相比, 本文算法在保持匹配正确率和配准精度的同时提升了特征点提取速度与匹配速度; 与ORB算法相比, 本文算法虽然在特征点提取速度上有所减慢, 但是较大提高了特征匹配速度、匹配正确率和配准精度.综合特征点提取速度、特征匹配速度、匹配正确率与配准精度四个方面, 本文算法较上述算法更适合无人机航拍影像的拼接.
-
图 2 原始视图数据$x$, 表征向量$\pmb c$, 重构视图数据$\hat{x}$间的互信息示意图
Fig. 2 Schematic diagram of mutual information among original view data $x$, representative vector $\pmb c$, reconstructed data $\hat{x}$
图 3 基于生成对抗网络的多视图数据生成框架
Fig. 3 Framework of the generative adversarial network based multi-view data generation
图 5 以视图2为源数据在MNIST上的重构结果
Fig. 5 Reconstruction results that take view 2 as source data on MNIST
图 6 以视图3为源数据在MNIST上的重构结果
Fig. 6 Reconstruction results that take view 3 as source data on MNIST
图 7 以视图2为源数据在SVHN上的重构结果
Fig. 7 Reconstruction results that take view 2 as source data on SVHN
图 8 以视图3为源数据在SVHN上的重构结果
Fig. 8 Reconstruction results that take view 3 as source data on SVHN
图 9 以视图2为源数据在CelebA上的重构结果
Fig. 9 Reconstruction results that take view 2 and view 3 as source data respectively on CelebA
表 1 MNIST数据集上的SSIM和PSNR比较结果
Table 1 Comparison results of SSIM and PSNR on MNIST
算法 SSIM值 PSNR值(dB) MVGAN (视图2重构视图1) 0.8520±0.0001 16.3135±0.0880 MVGAN (视图3重构视图1) 0.6474±0.0013 12.2109±0.1442 CGAN 0.7414±0.0001 12.0301±0.0512 CVAE 0.7912±0.0031 12.1184±0.0013 
下载: 导出CSV
表 2 SVHN数据集上的SSIM和PSNR比较结果
Table 2 Comparison results of SSIM and PSNR on SVHN
算法 SSIM值 PSNR值(dB) MVGAN (视图2重构视图1) 0.4140±0.0022 18.7987±0.1475 MVGAN (视图3重构视图1) 0.1848±0.0020 15.8026±0.1306 CGAN 0.3357±0.0017 14.8910±0.0002 CVAE 0.3465±0.0028 15.0137±0.0071
下载: 导出CSV
表 3 CelebA视图2和视图3对应选中的10维属性
Table 3 The chosen attributes for view 2 and view 3 (10 dimensions)
图片编号 秃顶 刘海 黑发 眼镜 男性 嘴微张 窄眼 无胡须 苍白肤色 戴帽 a -1 -1 -1 1 1 -1 -1 -1 -1 -1 b -1 -1 1 -1 1 -1 -1 -1 -1 -1 c -1 -1 1 -1 1 -1 -1 1 -1 -1 d -1 -1 1 -1 1 1 -1 1 -1 -1 e -1 -1 -1 -1 -1 -1 -1 1 -1 -1 f -1 -1 -1 -1 -1 -1 -1 1 1 -1 g -1 -1 -1 -1 1 -1 -1 1 -1 -1 h -1 -1 -1 -1 -1 1 -1 1 -1 -1 i -1 -1 -1 -1 -1 -1 -1 1 -1 -1 j -1 -1 -1 -1 1 1 1 1 1 -1 k -1 1 -1 -1 1 -1 -1 1 -1 -1 l -1 -1 -1 -1 -1 1 -1 1 -1 -1 m -1 -1 -1 -1 -1 1 -1 1 -1 -1 n -1 -1 -1 -1 1 1 -1 -1 -1 -1 o -1 1 1 -1 1 1 -1 1 -1 -1
下载: 导出CSV
表 4 CelebA数据集上的SSIM和PSNR比较结果
Table 4 Comparison results of SSIM and PSNR on CelebA
算法 SSIM值 PSNR值(dB) MVGAN (视图2重构视图1) 0.1143±0.0023 10.0574±0.0605 MVGAN (视图3重构视图1) 0.1132±0.0022 10.0342±0.0587 CGAN 0.0512±0.0036 9.5312±0.0012 CVAE 0.0716±0.0058 9.7881±0.0020
下载: 导出CSV
-
[1] Chaudhuri K, Kakade S M, Livescu K, Sridharan K. Multi-view clustering via canonical correlation analysis. In: Proceedings of the 26th Annual International Conference on Machine Learning. Montreal, Canada: ACM, 2009. 129-136 [2] Kumar A, Daume Ⅲ H. A co-training approach for multi-view spectral clustering. In: Proceedings of the 28th International Conference on Machine Learning. Washington, USA: Omnipress, 2011. 393-400 [3] Wang W R, Arora R, Livescu K, Bilmes J. On deep multi-view representation learning. In: Proceedings of the 32nd International Conference on Machine Learning. Lille, France: ICML, 2015. 1083-1092 [4] Sun S L. A survey of multi-view machine learning. Neural Computing and Applications, 2013, 23(7-8):2031-2038 doi: 10.1007/s00521-013-1362-6 [5] White M, Yu Y L, Zhang X H, Schuurmans D. Convex multi-view subspace learning. In: Proceedings of the 25th Annual Conference on Neural Information Processing Systems. Lake Tahoe, USA: NIPS, 2012. 1673-1681 [6] Guo Y H. Convex subspace representation learning from multi-view data. In: Proceedings of the 27th AAAI Conference on Artificial Intelligence. Washington, USA: AIAA, 2013. 387-393 [7] Shekhar S, Patel V M, Nasrabadi N M, Chellappa R. Joint sparse representation for robust multimodal biometrics recognition. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2014, 36(1):113-126 doi: 10.1109/TPAMI.2013.109 [8] Gangeh M J, Fewzee P, Ghodsi A, Kamel M S, Karray F. Multiview supervised dictionary learning in speech emotion recognition. IEEE/ACM Transactions on Audio, Speech, and Language Processing, 2014, 22(6):1056-1068 doi: 10.1109/TASLP.2014.2319157 [9] Zhai D M, Chang H, Shan S G, Chen X L, Gao W. Multiview metric learning with global consistency and local smoothness. ACM Transactions on Intelligent Systems and Technology, 2012, 3(3):Article No. 53 https://dl.acm.org/citation.cfm?doid=2168752.2168767 [10] Kumar A, Rai P, Daumé Ⅲ H. Co-regularized multi-view spectral clustering. In: Proceedings of the 24th Annual Conference on Neural Information Processing Systems. Granada, Spain: Curran Associates Inc., 2011. 1413-1421 [11] Chen M M, Weinberger K Q, Blitzer J C. Co-training for domain adaptation. In: Proceedings of the 24th Annual Conference on Neural Information Processing Systems. Granada, Spain: Curran Associates Inc., 2011. 2456-2464 [12] Eaton E, desJardins M, Jacob S. Multi-view constrained clustering with an incomplete mapping between views. Knowledge and Information Systems, 2014, 38(1):231-257 doi: 10.1007/s10115-012-0577-7 [13] Zhang X C, Zong L L, Liu X Y, Yu H. Constrained NMF-based multi-view clustering on unmapped data. In: Proceedings of the 29th AAAI Conference on Artificial Intelligence. Austin, Texas, USA: AIAA Press, 2015. 3174-3180 [14] Yu S, Tranchevent L C, Liu X H, Glanzel W, Suykens J A K, De Moor B, et al. Optimized data fusion for kernel k-means clustering. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2012, 34(5):1031-1039 doi: 10.1109/TPAMI.2011.255 [15] 余凯, 贾磊, 陈雨强, 徐伟.深度学习的昨天、今天和明天.计算机研究与发展, 2013, 50(9):1799-1804 http://kns.cnki.net/KCMS/detail/detail.aspx?filename=jfyz201309002&dbname=CJFD&dbcode=CJFQYu Kai, Jia Lei, Chen Yu-Qiang, Xu Wei. Deep learning:yesterday, today, and tomorrow. Journal of Computer Research and Development, 2013, 50(9):1799-1804 http://kns.cnki.net/KCMS/detail/detail.aspx?filename=jfyz201309002&dbname=CJFD&dbcode=CJFQ [16] 郭丽丽, 丁世飞.深度学习研究进展.计算机科学, 2015, 42(5):28-33 http://kns.cnki.net/KCMS/detail/detail.aspx?filename=jsja201505007&dbname=CJFD&dbcode=CJFQGuo Li-Li, Ding Shi-Fei. Research progress on deep learning. Computer Science, 2015, 42(5):28-33 http://kns.cnki.net/KCMS/detail/detail.aspx?filename=jsja201505007&dbname=CJFD&dbcode=CJFQ [17] 胡长胜, 詹曙, 吴从中.基于深度特征学习的图像超分辨率重建.自动化学报, 2017, 43(5):814-821 http://www.aas.net.cn/CN/abstract/abstract19059.shtmlHu Chang-Sheng, Zhan Shu, Wu Cong-Zhong. Image super-resolution based on deep learning features. Acta Automatica Sinica, 2017, 43(5):814-821 http://www.aas.net.cn/CN/abstract/abstract19059.shtml [18] Hinton G E, Salakhutdinov R R. Reducing the dimensionality of data with neural networks. Science, 2006, 313(5876):504-507 http://www.ncbi.nlm.nih.gov/pubmed/16873662 [19] Farquhar J D R, Hardoon D R, Meng H Y, Shawe-Taylor J, Szedmak S. Two view learning: SVM-2k, theory and practice. In: Proceedings of the 18th Annual Conference on Neural Information Processing Systems. Vancouver, Canada: MIT Press, 2005. 355-362 [20] Sindhwani V, Rosenberg D S. An RKHS for multi-view learning and manifold co-regularization. In: Proceedings of the 25th International Conference on Machine Learning. Helsinki, Finland: ACM, 2008. 976-983 [21] Yu S P, Krishnapuram B, Rosales R, Rao R B. Bayesian co-training. The Journal of Machine Learning Research, 2011, 12:2649-2680 https://dl.acm.org/citation.cfm?id=2078190 [22] Andrew G, Arora R, Bilmes J, Livescu K. Deep canonical correlation analysis. In: Proceedings of the 30th International Conference on Machine Learning. Atlanta, GA, USA: JMLR. org, 2013. 1247-1255 [23] Westerveld T, de Vries A, de Jong F. Generative probabilistic models. Multimedia Retrieval, Berlin:Springer, 2007. 177-198 [24] Rezende D J, Mohamed S, Wierstra D. Stochastic backpropagation and approximate inference in deep generative models. arXiv preprint arXiv: 1401.4082, 2014. [25] Hinton G E, Osindero S, Teh Y W. A fast learning algorithm for deep belief nets. Neural Computation, 2006, 18(7):1527-1554 doi: 10.1162/neco.2006.18.7.1527 [26] van den Oord A, Kalchbrenner N, Kavukcuoglu K. Pixel recurrent neural networks. arXiv preprint arXiv: 1601.06759, 2016. [27] van den Oord A, Kalchbrenner N, Vinyals O, Espeholt L, Graves A, Kavukcuoglu K. Conditional image generation with pixelCNN decoders. In: Proceedings of the 30th Annual Conference on Neural Information Processing Systems. Barcelona, Spain: NIPS, 2016. 4790-4798 [28] Kingma D P, Welling M. Auto-encoding variational Bayes. In: Proceedings of the 2014 International Conference on Learning Representations. Banff, Canada: ICLR, 2014. [29] Goodfellow I J, Pouget-Abadie J, Mirza M, Xu B, Warde-Farley D, Ozair S, et al. Generative adversarial nets. In: Proceedings of the 27th Annual Conference on Neural Information Processing Systems. Montreal, Canada: MIT Press, 2014. 2672-2680 [30] 王坤峰, 苟超, 段艳杰, 林懿伦, 郑心湖, 王飞跃.生成式对抗网络GAN的研究进展与展望.自动化学报, 2017, 43(3):321-332 http://www.aas.net.cn/CN/abstract/abstract19012.shtmlWang Kun-Feng, Gou Chao, Duan Yan-Jie, Lin Yi-Lun, Zheng Xin-Hu, Wang Fei-Yue. Generative adversarial networks:the state of the art and beyond. Acta Automatica Sinica, 2017, 43(3):321-332 http://www.aas.net.cn/CN/abstract/abstract19012.shtml [31] 陈伟宏, 安吉尧, 李仁发, 李万里.深度学习认知计算综述.自动化学报, 2017, 43(11):1886-1897 http://www.aas.net.cn/CN/abstract/abstract19164.shtmlChen Wei-Hong, An Ji-Yao, Li Ren-Fa, Li Wan-Li. Review on deep-learning-based cognitive computing. Acta Automatica Sinica, 2017, 43(11):1886-1897 http://www.aas.net.cn/CN/abstract/abstract19164.shtml [32] Mirza M, Osindero S. Conditional generative adversarial nets. arXiv preprint arXiv: 1411.1784, 2014. [33] LeCun Y, Bottou L, Bengio Y, Haffner P. Gradient-based learning applied to document recognition. Proceedings of the IEEE, 1998, 86(11):2278-2324 doi: 10.1109/5.726791 [34] Sermanet P, Chintala S, LeCun Y. Convolutional neural networks applied to house numbers digit classification. In: Proceedings of the 21st International Conference on Pattern Recognition (ICPR). Tsukuba, Japan: IEEE, 2012. 3288-3291 [35] Liu Z W, Luo P, Wang X G, Tang X O. Deep learning face attributes in the wild. In: Proceedings of the 2015 IEEE International Conference on Computer Vision (ICCV). Santiago, Chile: IEEE, 2015. 3730-3738 [36] Wang Z, Bovik A C, Sheikh H R, Simoncelli E P. Image quality assessment:from error visibility to structural similarity. IEEE Transactions on Image Processing, 2004, 13(4):600-612 doi: 10.1109/TIP.2003.819861 [37] Huynh-Thu Q, Ghanbari M. Scope of validity of PSNR in image/video quality assessment. Electronics Letters, 2008, 44(13):800-801 doi: 10.1049/el:20080522 [38] 向征, 谭恒良, 马争鸣.改进的HOG和Gabor, LBP性能比较.计算机辅助设计与图形学学报, 2012, 24(6):787-792 http://kns.cnki.net/KCMS/detail/detail.aspx?filename=jsjf201206011&dbname=CJFD&dbcode=CJFQXiang Zheng, Tan Heng-Liang, Ma Zheng-Ming. Performance comparison of improved HoG, Gabor and LBP. Journal of Computer-Aided Design and Computer Graphics, 2012, 24(6):787-792 http://kns.cnki.net/KCMS/detail/detail.aspx?filename=jsjf201206011&dbname=CJFD&dbcode=CJFQ [39] Kingma D P, Rezende D J, Mohamed S, Weling M. Semi-supervised learning with deep generative models. In: Proceedings of the 27th Annual Conference on Neural Information Processing Systems. Montreal, Canada: MIT Press, 2014. 3581-3589 期刊类型引用(59)
1. 苑朝，黄诺飞，蒋阳，赵亚冬，赵振兵. 基于改进旋转不变性二进制描述算法的电力场景图像拼接. 电力科学与工程. 2024(01): 31-38 . 
百度学术2. 江智，江德港，黄子杰，郭彩玲，李柏林. 基于IB-SURF算法的无人机图像拼接技术研究. 计算机工程与应用. 2024(03): 263-269 . 百度学术3. 张海波，寇姣姣，杨兴，海琳琦，周明全，耿国华. 面向青花瓷碎片图像的U-Net++拼接网络. 计算机辅助设计与图形学学报. 2024(03): 379-387 . 百度学术4. 曹峰墅，方芳. 基于无人机的智慧城市给水工程施工管理方法研究与应用. 工程与建设. 2024(02): 453-455+475 . 百度学术5. 陈殷齐，郑慧诚，严志伟，林峻宇. 基于单应性扩散约束的二步网格优化视差图像对齐. 自动化学报. 2024(06): 1129-1142 . 本站查看6. 钱庆林，孙炜昊，王真，路永玲，李玉杰，江秀臣. 基于非线性尺度空间与极坐标分布熵的GIS局放特征提取方法. 电网技术. 2024(08): 3525-3533 . 百度学术7. 辛明坤，张瑞，朱振伟，赵华东，郑艳萍. 融合非线性扩散特征的砂轮片图像拼接方法. 制造业自动化. 2024(11): 133-139 . 百度学术8. 田双喜，陈洪辉，徐彬杰，伍国华. 车辆支持的多无人机多区域覆盖路径规划算法. 国防科技大学学报. 2024(06): 227-234 . 百度学术9. 赵卫东，刘俊德，王慢慢，李丹. 基于改进AKAZE算法的快速图像配准方法. 激光与光电子学进展. 2023(06): 90-96 . 百度学术10. 陈艳丽，刘静，张祺，耿世宇，闫克丁. 应用于PCB焊接检测的图像拼接算法研究. 自动化仪表. 2023(08): 96-98+105 . 百度学术11. 王一，齐皓，王瀚铮，程佳. 基于改进SIFT的无人机影像匹配方法. 无线电工程. 2023(10): 2337-2344 . 百度学术12. 马学条. 改进AOD-Net的端到端图像去雾实验研究. 实验室研究与探索. 2023(07): 38-43 . 百度学术13. 王陈哲，陈宇佳，陶诗量，李明，胡博，贾军辉，陈浩男. 融合深度学习和特征点识别的室内定位研究. 地理与地理信息科学. 2023(06): 23-27 . 百度学术14. 王小龙，李晓娟，李明臻，钟预全，夏晓华. 基于透视失真矫正的道路航拍图像拼接方法. 施工技术(中英文). 2023(24): 83-88+142 . 百度学术15. 周知政，柳翠寅. 组合模型的图像配准. 小型微型计算机系统. 2022(01): 69-75 . 百度学术16. 刘强，韩敏. 基于直线特征约束网格变形的航拍图像拼接. 控制与决策. 2022(03): 669-675 . 百度学术17. 倪佳忠，马志龙. 局部特征信息的航拍图像匹配算法. 北京测绘. 2022(03): 228-232 . 百度学术18. 陈永，王镇，卢晨涛. 改进AKAZE算法的高铁接触网图像特征匹配方法. 激光与光电子学进展. 2022(10): 130-138 . 百度学术19. 回立川，李万禹，陈艺琳. 基于Order-Aware网络内点筛选网络的电力巡线航拍图像拼接. 计算机应用. 2022(05): 1583-1590 . 百度学术20. 刘杰，游品鸿，田明，刘金凤. 基于局部投影的视差图像拼接平滑优化. 电子学报. 2022(06): 1451-1456 . 百度学术21. 李永福，崔恒奇，朱浩，张开碧. 一种基于改进AOD-Net的航拍图像去雾算法. 自动化学报. 2022(06): 1543-1559 . 本站查看22. 王宏志，张金栋，胡黄水，谢沛松. 基于感知Hash和极线约束的改进AKAZE算法. 吉林大学学报(理学版). 2022(03): 647-654 . 百度学术23. 周方圆，杨鹏举. 无人机航拍图像拼接技术研究与实现. 电子测试. 2022(11): 50-52 . 百度学术24. 李云鹏，刘小燕. 基于虚拟现实的大视差图像背景拼接改进. 计算机仿真. 2022(08): 200-203+234 . 百度学术25. 张从鹏，谢佳成，熊国顺. 基于Forstner算子的血细胞显微图像拼接. 计算机应用与软件. 2022(09): 108-112+127 . 百度学术26. 程健，闫鹏鹏，郁华森，史梦阳，肖洪飞. 基于有向线段误匹配剔除的煤矿巷道复杂场景图像拼接方法. 煤炭科学技术. 2022(09): 179-191 . 百度学术27. 冯向东，魏春英. 基于覆盖区域自适应优化的无人机航拍拼接方法. 无线电工程. 2022(11): 1977-1983 . 百度学术28. 黄石明，何小军，廖凯涛，陈德根. 具有视差的无人机航拍图像拼接算法研究. 测绘地理信息. 2022(06): 36-40 . 百度学术29. 李明臻，姜梦炜，陈仕旗. 基于ORB特征点的道路图像拼接方法. 现代制造技术与装备. 2022(11): 56-58 . 百度学术30. 卫保国，张玉兰，周佳明. 图像匹配中的特征点筛选方法. 计算机工程与应用. 2021(03): 208-214 . 百度学术31. 李瑞祥，赵海涛，葛小三，袁占良. 多匹配策略融合的无人机影像匹配方法. 测绘科学. 2021(03): 87-95 . 百度学术32. 张宇，胡立坤，黄彬. 融合颜色与光照信息的改进AKAZE图像匹配算法. 计算机工程. 2021(06): 225-233 . 百度学术33. 马晓敏，冯子金，杨烨，尚慧慧，董免. 基于IA-FAIF的纹样提取与匹配方法研究. 科学技术创新. 2021(15): 32-34 . 百度学术34. 刘天赐，宋延嵩，李金旺，赵馨. 基于ORB特征的高分辨率图像拼接改进算法. 激光与光电子学进展. 2021(08): 85-92 . 百度学术35. 黄旭龙，杨晓梅. 含噪无人机图像拼接方法. 计算机工程与设计. 2021(07): 1973-1980 . 百度学术36. 曹明兰，李亚东，李长青，赵小平. VDVI与AKAZE结合的无人机森林影像匹配方法. 中南林业科技大学学报. 2021(08): 1-8 . 百度学术37. 王慎谦，张荣国，李晓波，王晓，王芳. 基于ORB的无人机图像快速拼接算法. 太原科技大学学报. 2021(05): 374-379 . 百度学术38. 田政，苏里阳，陈实璇. 舰基旋翼无人机的试验实况航拍应用研究. 海洋技术学报. 2021(04): 23-29 . 百度学术39. 马耀名，陈艺琳，李万禹. 电力巡线无人机航拍图像匹配算法研究. 计算机工程与应用. 2021(21): 278-286 . 百度学术40. 代友林，王晓红，李万华. 一种改进的喀斯特山区无人机影像匹配算法. 计算机技术与发展. 2021(11): 148-152+158 . 百度学术41. 胡徐胜，郑睿，陶彬彬. 四旋翼无人机飞控系统设计与实现. 廊坊师范学院学报(自然科学版). 2021(04): 46-50 . 百度学术42. 匡文元. 基于无人机低空遥感的航拍图像拼接方法. 经纬天地. 2021(05): 25-28+33 . 百度学术43. 程政，官磊，周冲浩. 基于超宽选票的图像拼接方法. 计算机应用. 2021(S2): 254-257 . 百度学术44. 周方圆，杨鹏举. 无人机航拍路面图像处理的拼接算法研究. 河南科技. 2021(28): 6-8 . 百度学术45. 徐永胜，杨玉泽，林文树. 基于不同拼接算法的无人机林区影像拼接效果研究. 森林工程. 2020(01): 50-59 . 百度学术46. 邢长征，李思慧. 基于AKAZE的BOLD掩码描述符的匹配算法的研究. 计算机应用与软件. 2020(06): 283-287 . 百度学术47. 周思羽，包国琦，刘凯. 低通滤波下约束对数强度熵的图像渐晕校正. 计算机应用. 2020(06): 1812-1817 . 百度学术48. 李加亮，蒋品群，夏海英. 基于网格变形和余弦函数权重的图像拼接方法. 广西师范大学学报(自然科学版). 2020(04): 42-53 . 百度学术49. 李丹，徐倩南. 基于网格运动约束的遥感图像配准算法. 计算机工程与设计. 2020(07): 1947-1951 . 百度学术50. 许潇文，黄玉清，李磊民. 基于AKAZE-ORB的接触网图像拼接算法. 制造业自动化. 2020(07): 97-101 . 百度学术51. 保文星，桑斯尔，沈象飞. 基于信息熵约束和KAZE特征提取的遥感图像配准算法研究. 光学精密工程. 2020(08): 1810-1819 . 百度学术52. 汪洋，刘杰，游品鸿. 基于SIFT的视差图像投影优化. 哈尔滨理工大学学报. 2020(04): 116-121 . 百度学术53. 马宝琰，汤磊，赵晶，何勇军. 风电叶片图像直线特征检测与拼接方法. 哈尔滨理工大学学报. 2020(05): 83-92 . 百度学术54. 杨璇璇，刘景勇，王艳芬，云霄，董锴文，魏力. 井下巷道大视差图像拼接算法. 工矿自动化. 2020(11): 77-82 . 百度学术55. 葛继空，杨静，张东，任军. 基于改进ORB算法的航拍图像匹配. 北京测绘. 2020(11): 1539-1543 . 百度学术56. 罗宇，黄玉清，石繁荣. 改进KAZE算法的移动目标检测. 传感器与微系统. 2019(08): 126-128 . 百度学术57. 靳渤文，杨耀权，张明浩. 一种无人机电力巡检的影像匹配方法. 山东电力技术. 2019(09): 8-13 . 百度学术58. 李方旭，金久才，张杰，李立刚，戴永寿. 一种用于无人船海面障碍物测距的双目视觉系统. 舰船科学技术. 2019(23): 118-122 . 百度学术59. 李振宇，田源，陈方杰，韩军. 基于改进ORB和PROSAC的无人机航拍图像拼接算法. 激光与光电子学进展. 2019(23): 91-99 . 百度学术其他类型引用(44)
-
下载:
计量
- 文章访问数: 3406
- HTML全文浏览量: 767
- PDF下载量: 1549
- 被引次数: 103
