2.793

2018影响因子

(CJCR)

  • 中文核心
  • EI
  • 中国科技核心
  • Scopus
  • CSCD
  • 英国科学文摘

留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

基于模糊形状上下文与局部向量相似性约束的配准算法

马新科 杨扬 杨昆 罗毅

马新科, 杨扬, 杨昆, 罗毅. 基于模糊形状上下文与局部向量相似性约束的配准算法. 自动化学报, 2020, 46(2): 342-357. doi: 10.16383/j.aas.c180118
引用本文: 马新科, 杨扬, 杨昆, 罗毅. 基于模糊形状上下文与局部向量相似性约束的配准算法. 自动化学报, 2020, 46(2): 342-357. doi: 10.16383/j.aas.c180118
MA Xin-Ke, YANG Yang, YANG Kun, LUO Yi. Registration Algorithm Based on Fuzzy Shape Context and Local Vector Similarity Constraint. ACTA AUTOMATICA SINICA, 2020, 46(2): 342-357. doi: 10.16383/j.aas.c180118
Citation: MA Xin-Ke, YANG Yang, YANG Kun, LUO Yi. Registration Algorithm Based on Fuzzy Shape Context and Local Vector Similarity Constraint. ACTA AUTOMATICA SINICA, 2020, 46(2): 342-357. doi: 10.16383/j.aas.c180118

基于模糊形状上下文与局部向量相似性约束的配准算法


DOI: 10.16383/j.aas.c180118
详细信息
    作者简介:

    马新科  云南师范大学信息学院硕士研究生.主要研究方向为计算机视觉与模式识别.E-mail: maxxk@foxmail.com

    杨昆  云南师范大学信息学院教授.1998年获得澳大利亚新南威尔士大学硕士学位.主要研究方向为地理信息系统, 遥感图像处理.E-mail: kmdcynu@163.com

    罗毅  云南师范大学信息学院副教授.2014年获得哈尔滨理工大学博士学位.主要研究方向为无线传感器网络, 微弱信号拾取.E-mail: luoyi861030@163.com

    通讯作者: 杨扬  云南师范大学信息学院教授.2007年获得日本早稻田大学硕士学位, 2013年获得新加坡国立大学NGS博士学位.主要研究方向为计算机视觉、遥感图像处理等.本文通信作者.E-mail: yyang_ynu@163.com
  • 本文责任编委 白翔
  • 基金项目:

    国家自然科学基金项目 41661080

    云南省万人计划青年拔尖人才, 云南省大学生创新创业训练计划项目 61

Registration Algorithm Based on Fuzzy Shape Context and Local Vector Similarity Constraint

More Information
    Author Bio:

    MA Xin-Ke  Master student at the School of Information Science and Technology, Yunnan Normal University. His research interest covers computer vision and pattern recognition

    YANG Kun  Professor at the School of Information Science and Technology, Yunnan Normal University. He recieved his master degree form the University of New South Wales, Australia in 1998. His research interest covers geographic information system and remote sensing image processing

    LUO Yi  Associate professor at the School of Information Science and Technology, Yunnan Normal University. He received his Ph. D. degree from Harbin University of Science and Technology in 2014. His research interest covers wireless sensor networks, weak signal detection

    Corresponding author: YANG Yang  Professor at the School of Information Science and Technology, Yunnan Normal University. He received his master degree from Waseda University, Japan in 2007. He received his Ph. D. degree from National University of Singapore in 2013. His research interest covers computer vision and remote sensing image processing. Corresponding author of this paper
  • Recommended by Associate Editor BAI Xiang
  • Fund Project:

    National Natural Science Foundation of China 41661080

    Yunnan Ten-thousand Talents Program, Program Project for College Students0 Innovation and Entrepreneurship Training of Yunnan Province 61

  • 摘要: 非刚性点集配准研究是模式识别领域的一项重要基础研究.本文在当前流行的非刚性点集配准算法的基础上提出了两个主要贡献: 1)模糊形状上下文(Fuzzy shape context, FSC)特征; 2)基于局部向量特征的局部空间向量相似性约束项.本文首先进行基于特征互补的对应关系评估, 在这一步骤中定义了模糊形状上下文特征, 然后基于模糊形状上下文特征差异和全局特征差异设计了特征互补的高斯混合模型.其次, 进行基于约束互补的空间变化更新.在这一步骤中, 定义了局部向量特征, 建立了局部空间向量相似性约束项.本文算法通过使用特征互补的高斯混合模型进行对应关系评估, 并将配准问题转化为可以用期望最大化(Expectation maximization, EM)算法解决的参数优化问题, 通过创建包含局部空间向量相似性约束项的能量方程优化了空间变换更新.本文首先测试了模糊形状上下文特征的检索率, 然后采用公开数据集测试了算法在点集配准与图像配准的性能.在与当前流行的十种算法的对比实验中, 本文算法均给出了精确的配准结果, 并在大部分实验中精度超过了当前流行算法.
    本文责任编委 白翔
    Recommended by Associate Editor BAI Xiang
  • 图  1  p的SC特征图示

    Fig.  1  SC feature diagram is showed

    图  2  模糊形状上下文特征与 SC 特征的配准效果对比

    Fig.  2  Comparison of the registration examples between fuzzy shape context features and SC features

    图  3  特征互补的高斯混合模型与单特征高斯混合模型的配准效果对比

    Fig.  3  Comparison of the the registration examples between Gaussian mixture model of feature complementary and single feature Gaussian mixture model

    图  4  速度场图解

    Fig.  4  Velocity field diagram field

    图  5  约束互补的空间变化方程与单约束的配准效果对比

    Fig.  5  Comparison of the registration examples between constraint complementary spatial variation equations and single constraint spatial variation equations

    图  6  MPEG-7数据集例子

    Fig.  6  Examples of MPEG-7 dataset

    图  7  “apple”轮廓点集提取

    Fig.  7  Contour point extraction of apple template

    图  8  人造轮廓点集的三种不同配准模式下, 本文算法的六种参数取值的配准结果(其中第一列至第三列分别是点集Line[18]、Fish1[18]、Chinese character[18]的配准结果; 第一行至第三行分别是: 1)旋转变化加固定级别形变处理、2)旋转变化加固定级别噪音与形变处理、3)旋转变化加固定级别冗余点与形变处理)

    Fig.  8  The results of point set registration using the six parameter settings under the three different registration patterns (The first to third columns are the registration results of the point set Line[18], Fish1[18], and Chinese character[18], respectively. The first to third columns are 1) rotations + fixed deformation, 2) rotations + fixed noise and deformation, and 3) rotations + fixed outliers and deformation, respectively)

    图  9  人造轮廓点集的四种不同配准模式下, 本文算法与TPS-RPM[18]、CPD[2021]、GMMREG[22]、RPM-L2E[23], GLMD[24]、PR-GLS[26]的比较实验结果.第一行至第四行分别是1)形变变化、2)噪音变化+ 4级固定形变、3)冗余点变化+ 4级固定形变、4)旋转变化+ 4级固定形变

    Fig.  9  Comparison results of the proposed method, TPS-RPM[18], CPD[20, 21], GMMREG[22], RPM-L2E[23], GLMD[24] and PR-GLS[26] under four different registration patterns. The first to fourth rows are 1) deformation, 2) noises + fixed 4 level deformation, 3) outliers + fixed 4 level deformation and 4) rotations + 4 level deformation, respectively

    图  10  点集Line[18]的配准实例(第一列是配准前, 第二列是配准后.第一行至第四行分别是四种非刚性配准模式: 8级形变处理、4级噪音处理+ 4级形变处理、4级冗余点处理+ 4级形变处理、13级旋转处理+ 4级形变处理.)

    Fig.  10  Registration example of Line[18] point set (The first to fourth rows are four different types of non-rigid registration patterns: 8 level deformation, 4 level noise + 4 level deformation, 4 level outliers + 4 level deformation, 13 level rotation + 4 level deformation.)

    图  11  点集Fish1[18]的配准实例(第一列是配准前, 第二列是配准后.第一行至第四行分别是四种非刚性配准模式: 8级形变处理、4级噪音处理+ 4级形变处理、4级冗余点处理+ 4级形变处理、13级旋转处理+ 4级形变处理.)

    Fig.  11  Registration example of Fish1[18] point set (The first to fourth rows are four different types of non-rigid registration patterns: 8 level deformation, 4 level noise + 4 level deformation, 4 level outliers + 4 level deformation, 13 level rotation + 4 level deformation.)

    图  12  点集Chinese character[18]的配准实例(第一列是配准前, 第二列是配准后.第一行至第四行分别是四种非刚性配准模式: 8级形变处理、4级噪音处理+ 4级形变处理、4级冗余点处理+ 4级形变处理、13级旋转处理+ 4级形变处理.)

    Fig.  12  Registration example of Chinese character[18] point set (The first to fourth rows are four different types of non-rigid registration patterns: 8 level deformation, 4 level noise + 4 level deformation, 4 level outliers + 4 level deformation, 13 level rotation + 4 level deformation.)

    图  13  汽车真实图像配准实例(取自Pascal 2007 challenge数据库[45]的第18对汽车图像, 图中连线代表特征点之间的对应关系.)

    Fig.  13  Registration example of automotive real image (The 18th pair of car images are selected from the Pascal 2007 challenge database[45]. The lines represent the correspondence of the feature points in the figure.)

    图  14  摩托车真实图像配准实例(取自Pascal 2007 challenge数据库[45]的第4对摩托车图像, 图中连线代表特征点之间的对应关系.)

    Fig.  14  Registration example of motorbike real image (The 4th pair of car images are selected from the Pascal 2007 challenge database[45]. The lines represent the correspondence of feature points in the figure.)

    图  15  CMU hotel序列图像配准实例(CMU hotel序列图像的第1张与第100张的配准结果, 图中连线代表特征点之间的对应关系.)

    Fig.  15  Registration example of CMU hotel sequence image (Registration results of CMU hotel sequence images of 1st and 100th, the lines represent the correspondence of feature points in the figure.)

    图  16  CMU house序列图像配准实例(CMU house序列图像的第1张与第111张的配准结果, 图中连线代表特征点之间的对应关系.)

    Fig.  16  Registration example of CMU house sequence image (Registration results of CMU house sequence images of 1st and 100th, the lines represent the correspondence of feature points in the figure.)

    图  17  本文算法与CPD[21]、TPS-RPM[18]、GMMREG[22]、PR-GLS[26]、RPM-L2E[23]、GLMD[24]六种算法的图像配准实例

    Fig.  17  Comparison examples of our method, CPD[21], TPS-RPM[18], GMMREG[22], PR-GLS[26], RPM-L2E[23] and GLMD[24]

    表  1  SC、Latecki等、Mokhtarian等和FSC的检索率

    Table  1  Retrieval rate of shape context, Latecki et al., Mokhtarianet et al. and fuzzy shape

    SC [32] Latecki等[50] Mokhtarian等[51-52] FSC
    76.51 % 76.45 % 75.44 % 78.93 %
    下载: 导出CSV

    表  2  FGM[49]、Leordeanu等[45]、GLMD[24]、本文算法在汽车与摩托车真实图像中的平均配准

    Table  2  Matching rates on cars and motorbikes for our method, FGM[49], Leordeanu et al.[45] and GLMD[24]

    FGM Leordeanu等 GLMD 本文算法
    80 % 80 % 93 % 97 %
    下载: 导出CSV

    表  3  CMU hotel和CMU house序列图像的平均配准率

    Table  3  The average registration rate of CMU hotel and CMU house sequence images

    算法名称 CMU hotel CMU house
    GMMREG [22] 97.1 % 99.5 %
    Torresani等[48] 100 %
    FGM [49] 100 %
    GLMD [24] 100 %
    Leordeanu等[45] 94.8 % 99.8 %
    Caetano等[47] <90 % <96 %
    本文算法 99.6 % 100 %
    下载: 导出CSV

    表  4  “boat”图像配准结果的误差展示

    Table  4  Registration error of boat image

    算法 RMSE MAE MEE
    CPD 1.4513 1.8151 0.2486
    GMMREG 12.0899 4.2977 16.513
    RPM-L2E 1.9918 0.8515 2.4792
    TPS-RPM 42.3288 14.9059 53.4349
    GLMD 1.6392 2.0807 0.495
    PR-GLS 1.9291 0.8609 2.0807
    Ours 1.0799 0.8523 0.134
    下载: 导出CSV

    表  5  “graf”图像配准结果的误差展示

    Table  5  Registration error of graf image

    算法 RMSE MAE MEE
    CPD 74.9729 94.3400 24.8849
    GMMREG 41.6075 53.4556 17.0273
    RPM-L2E 47.7672 64.1356 22.5171
    TPS-RPM 97.4394 125.3333 21.2458
    GLMD 38.2704 48.5050 17.4508
    PR-GLS 75.0847 90.4167 46.5821
    Ours 1.5312 1.7801 0.5905
    下载: 导出CSV
  • [1] Yang J L, Li H D, Campbell D, Jia Y D. Go-ICP: a globally optimal solution to 3D ICP point-set registration. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2016, 38(11): 2241-2254 doi:  10.1109/TPAMI.2015.2513405
    [2] Qu H B, Wang J Q, Li B, Yu M. Probabilistic model for robust affine and non-rigid point set matching. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 39(2): 371-384 doi:  10.1109/TPAMI.2016.2545659
    [3] Kolesov I, Lee J, Sharp G, Vela P, Tannenbaum A. A stochastic approach to diffeomorphic point set registration with landmark constraints. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2016, 38(2): 238-251 doi:  10.1109/TPAMI.2015.2448102
    [4] Zeng Y, Wang C H, Gu X F, Samaras D, Paragios N. Higher-order graph principles towards non-rigid surface registration. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2016, 38(12): 2416-2429 doi:  10.1109/TPAMI.2016.2528240
    [5] Serradell E, Pinheiro M A, Sznitman R, Kybic J, Moreno-Noguer F, Fua P. Non-rigid graph registration using active testing search. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2015, 37(3): 625-638 doi:  10.1109/TPAMI.2014.2343235
    [6] Tao W B, Sun K. Robust point sets matching by fusing feature and spatial information using nonuniform gaussian mixture models. IEEE Transactions on Image Processing, 2015, 24(11): 3754-3767 doi:  10.1109/TIP.2015.2449559
    [7] 薛鹏, 杨佩, 曹祝楼, 贾大宇, 董恩清.基于平衡系数的Active Demons非刚性配准算法.自动化学报, 2016, 42(9): 1389-1400 doi:  10.16383/j.aas.2016.c150186

    Xue Peng, Yang Pei, Cao Zhu-Lou, Jia Da-Yu, Dong En-Qing. Active demons non-rigid registration algorithm based on balance coefficient. Acta Automatica Sinica, 2016, 42(9): 1389-1400 doi:  10.16383/j.aas.2016.c150186
    [8] Dan T T, Yang Y, Xing L, Yang K, Zhang Y Y, Ong S H, et al. Multifeature energy optimization framework and parameter adjustment-based nonrigid point set registration. Journal of Applied Remote Sensing, 2018, 12(3): Article No. 035006
    [9] Maron H, Dym N, Kezurer I, Kovalsky S, Lipman Y. Point registration via efficient convex relaxation. ACM Transactions on Graphics (TOG), 2016, 35(4): Article No. 73
    [10] Lipman Y, Yagev S, Poranne R, Jacobs D W, Basri R. Feature matching with bounded distortion. ACM Transactions on Graphics (TOG), 2014, 33(3): Article No. 26
    [11] Haring M T, Liv N, Zonnevylle A C, Narvaez A C, Voortman L M, Kruit P, et al. Automated sub-5 nm image registration in integrated correlative fluorescence and electron microscopy using cathodoluminescence pointers. Scientific Reports, 2017, 7: Article No. 43621 doi:  10.1038/srep43621
    [12] Nguyen T M, Wu Q M J. Multiple kernel point set registration. IEEE Transactions on Medical Imaging, 2016, 35(6): 1381-1394 doi:  10.1109/TMI.2015.2511063
    [13] 陆雪松, 涂圣贤, 张素.一种面向医学图像非刚性配准的多维特征度量方法.自动化学报, 2016, 42(9): 1413-1420 doi:  10.16383/j.aas.2016.c150608

    Lu Xue-Song, Tu Sheng-Xian, Zhang Su. A metric method using multidimensional features for nonrigid registration of medical images. Acta Automatica Sinica, 2016, 42(9): 1413-1420 doi:  10.16383/j.aas.2016.c150608
    [14] Li H G, Ding W R, Cao X B, Liu C L. Image registration and fusion of visible and infrared integrated camera for medium-altitude unmanned aerial vehicle remote sensing. Remote Sensing, 2017, 9(5): Article No. 441 doi:  10.3390/rs9050441
    [15] Zhao M, An B W, Wu Y P, Van Luong H, Kaup A. Rfvtm: a recovery and filtering vertex trichotomy matching for remote sensing image registration. IEEE Transactions on Geoscience and Remote Sensing, 2017, 55(1): 375-391 doi:  10.1109/TGRS.2016.2606899
    [16] Yang Z Q, Dan T T, Yang Y. Multi-temporal remote sensing image registration using deep convolutional features. IEEE Access, 2018, 6: 38544-38555 doi:  10.1109/ACCESS.2018.2853100
    [17] Yang K, Pan A N, Yang Y, Zhang S, Ong S H, Tang H L. Remote sensing image registration using multiple image features. Remote Sensing, 2017, 9(6): Article No. 581 doi:  10.3390/rs9060581
    [18] Chui H L, Rangarajan A. A new point matching algorithm for non-rigid registration. Computer Vision and Image Understanding, 2003, 89(2-3): 114-141 doi:  10.1016/S1077-3142(03)00009-2
    [19] Zheng Y F, Doermann D. Robust point matching for nonrigid shapes by preserving local neighborhood structures. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2006, 28(4): 643-649 doi:  10.1109/TPAMI.2006.81
    [20] Schölkopf B, Platt J, Hofmann T. Non-rigid Point Set Registration: Coherent Point Drift. In: Proceedings of the 2007 Advances in Neural Information Processing Systems. Cambridge, MA: MIT Press, 2007. 1009-1016
    [21] Myronenko A, Song X B. Point set registration: coherent point drift. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2010, 32(12): 2262-2275 doi:  10.1109/TPAMI.2010.46
    [22] Jian B, Vemuri B C. Robust point set registration using gaussian mixture models. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2011, 33(8): 1633-1645 doi:  10.1109/TPAMI.2010.223
    [23] Ma J Y, Zhao J, Tian J W, Tu Z W, Yuille A L. Robust estimation of nonrigid transformation for point set registration. In: Proceedings of the 2013 IEEE Conference on Computer Vision and Pattern Recognition. Portland, USA: IEEE, 2013. 2147-2154
    [24] Yang Y, Ong S H, Foong K W C. A robust global and local mixture distance based non-rigid point set registration. Pattern Recognition, 2015, 48(1): 156-173 doi:  10.1016/j.patcog.2014.06.017
    [25] Wang G, Wang Z C, Chen Y F, Zhao W D. A robust non-rigid point set registration method based on asymmetric gaussian representation. Computer Vision and Image Understanding, 2015, 141: 67-80 doi:  10.1016/j.cviu.2015.05.014
    [26] Ma J Y, Zhao J, Yuille A L. Non-rigid point set registration by preserving global and local structures. IEEE Transactions on image Processing, 2016, 25(1): 53-64 doi:  10.1109/TIP.2015.2467217
    [27] 汤昊林, 杨扬, 杨昆, 罗毅, 张雅莹, 张芳瑜.基于混合特征的非刚性点阵配准算法.自动化学报, 2016, 42(11): 1732-1743 doi:  10.16383/j.aas.2016.c150618

    Tang Hao-Lin, Yang Yang, Yang Kun, Luo Yi, Zhang Ya-Ying, Zhang Fang-Yu. Non-rigid point set registration with mixed features. Acta Automatica Sinica, 2016, 42(11): 1732-1743 doi:  10.16383/j.aas.2016.c150618
    [28] Rangarajan A, Chui H L, Bookstein F L. The softassign Procrustes matching algorithm. In: Proceedings of the 15th International Conference on Information Processing in Medical Imaging. Poultney, Vermont, USA: Springer, 1997. 29-42
    [29] Chui H L, Rambo J, Duncan J, Schultz R, Rangarajan A. Registration of cortical anatomical structures via robust 3D point matching. In: Proceedings of the 16th International Conference on Information Processing in Medical Imaging. Visegrád, Hungary: Springer, 1999. 168-181
    [30] Gold S, Rangarajan A, Lu C P, Pappu S, Mjolsness E. New algorithms for 2D and 3D point matching: pose estimation and correspondence. Pattern Recognition, 1998, 31(8): 1019-1031 doi:  10.1016/S0031-3203(98)80010-1
    [31] Yuille A L. Generalized deformable models, statistical physics, and matching problems. Neural Computation, 1990, 2(1): 1-24 doi:  10.1162/neco.1990.2.1.1
    [32] Belongie S, Malik J, Puzicha J. Shape matching and object recognition using shape contexts. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2002, 24(4): 509-522 doi:  10.1109/34.993558
    [33] Körtgen M, Park G J, Novotni M, Klein R. 3D shape matching with 3D shape contexts. In: Proceedings of the 7th Central European Seminar on Computer Graphics. Vienna, Austria: Vienna University of Technlonogy Press, 2003. 5-17
    [34] Bookstein F L. Principal warps: thin-plate splines and the decomposition of deformations. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1989, 11(6): 567-585 doi:  10.1109/34.24792
    [35] Yuille A L, Grzywacz N M. A mathematical analysis of the motion coherence theory. International Journal of Computer Vision, 1989, 3(2): 155-175
    [36] Basu A, Harris I R, Hjort N L, Jones M C. Robust and efficient estimation by minimising a density power divergence. Biometrika, 1998, 85(3): 549-559 doi:  10.1093/biomet/85.3.549
    [37] Scott D W. Parametric statistical modeling by minimum integrated square error. Technometrics, 2001, 43(3): 274-285 doi:  10.1198/004017001316975880
    [38] Balakrishnan V K. Schaum's Outline of Graph Theory: Including Hundreds of Solved Problems. New York: McGraw-Hill Professional, 1997
    [39] Sundar H, Silver D, Gagvani N, Dickinson S. Skeleton based shape matching and retrieval. In: Proceedings of the 2003 Shape Modeling International. Seoul, South Korea: IEEE, 2003. 130-139
    [40] Markovsky I, Usevich K. Low Rank Approximation. London: Springer, 2012. 116-132
    [41] Ma J Y, Zhao J, Tian J W, Bai X, Tu Z W. Regularized vector field learning with sparse approximation for mismatch removal. Pattern Recognition, 2013, 46(12): 3519-3532 doi:  10.1016/j.patcog.2013.05.017
    [42] Rifkin R, Yeo G, Poggio T. Regularized least-squares classification. Acta Electronica Sinica, 2007, 190(1): 93-104 http://d.old.wanfangdata.com.cn/Periodical/rjxb201004002
    [43] Carcassoni M, Hancock E R. Correspondence matching with modal clusters. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2003, 25(12): 361-369 http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=076d9c1fc18551ea15e1416ab99d32b8
    [44] Caetano T S, McAuley J J, Cheng L, Le Q V, Smola A J. Learning graph matching. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2009, 31(6): 1048-1058 doi:  10.1109/TPAMI.2009.28
    [45] Leordeanu M, Sukthankar R, Hebert M. Unsupervised learning for graph matching. International Journal of Computer Vision, 2012, 96(1): 28-45 http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=e952ad833ca3d54292160d0b26045a22
    [46] Mikolajczyk K, Schmid C. A performance evaluation of local descriptors. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2005, 27(10): 1615-1630 doi:  10.1109/TPAMI.2005.188
    [47] Caetano T S, Cheng L, Le Q V, Smola A J. Learning graph matching. In Proceedings of the 11th IEEE International Conference on Computer Vision. Rio de Janeiro, Brazil: IEEE, 2007. 1-8
    [48] Torresani L, Kolmogorov V, Rother C. A dual decomposition approach to feature correspondence. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2013, 35(2): 259-271 doi:  10.1109/TPAMI.2012.105
    [49] Zhou F, De la Torre F. Factorized graph matching. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2016, 38(9): 1774-1789 doi:  10.1109/TPAMI.2015.2501802
    [50] Latecki L J, Lakamper R, Eckhardt T. Shape descriptors for non-rigid shapes with a single closed contour. In: Proceedings of the 2000 IEEE Conference on Computer Vision and Pattern Recognition. Hilton Head Island, USA: IEEE, 2000. 424-429
    [51] Mokhtarian F, Abbasi S, Kittler J. Efficient and robust retrieval by shape content through curvature scale space. Image Databases and Multi-Media Search. River Edge, NJ: World Scientific Publishing Co Pte Ltd, 1997. 51-58
    [52] Mokhtarian F, Mackworth A K. A theory of multiscale, curvature-based shape representation for planar curves. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1992, 14(8): 789-805 doi:  10.1109/34.149591
    [53] Yang K, Pan A N, Yang Y, Zhang S, Ong S H. Remote sensing image registration using multiple image features. Remote Sensing, 2017, 9(6): 581-595 doi:  10.3390/rs9060581
  • [1] 邹筱瑜, 王福利, 常玉清, 郑伟. 基于两层分块GMM-PRS的流程工业过程运行状态评价[J]. 自动化学报, 2019, 45(11): 2071-2081. doi: 10.16383/j.aas.2018.c170412
    [2] 王传云, 秦世引. 动态场景红外图像的压缩感知域高斯混合背景建模[J]. 自动化学报, 2018, 44(7): 1212-1226. doi: 10.16383/j.aas.2017.c170061
    [3] 陆雪松, 涂圣贤, 张素. 一种面向医学图像非刚性配准的多维特征度量方法[J]. 自动化学报, 2016, 42(9): 1413-1420. doi: 10.16383/j.aas.2016.c150608
    [4] 马成龙, 颜永红. 基于概率语义分布的短文本分类[J]. 自动化学报, 2016, 42(11): 1711-1717. doi: 10.16383/j.aas.2016.c150268
    [5] 汤昊林, 杨扬, 杨昆, 罗毅, 张雅莹, 张芳瑜. 基于混合特征的非刚性点阵配准算法[J]. 自动化学报, 2016, 42(11): 1732-1743. doi: 10.16383/j.aas.2016.c150618
    [6] 余建波, 卢笑蕾, 宗卫周. 基于局部与非局部线性判别分析和高斯混合模型动态集成的晶圆表面缺陷探测与识别[J]. 自动化学报, 2016, 42(1): 47-59. doi: 10.16383/j.aas.2016.c150311
    [7] 刘毅, 陈圣磊, 冯国富, 黄兵, 夏德深. 基于图割的低景深图像自动分割[J]. 自动化学报, 2015, 41(8): 1471-1481. doi: 10.16383/j.aas.2015.c140734
    [8] 王静, 胡益, 侍洪波. 基于GMM的间歇过程故障检测[J]. 自动化学报, 2015, 41(5): 899-905. doi: 10.16383/j.aas.2015.c130680
    [9] 曲寒冰, 王加强, 李彬, 王松涛. 基于概率图模型的点集匹配方法研究[J]. 自动化学报, 2015, 41(4): 694-710. doi: 10.16383/j.aas.2015.c140376
    [10] 宋艳涛, 纪则轩, 孙权森. 基于图像片马尔科夫随机场的脑MR图像分割算法[J]. 自动化学报, 2014, 40(8): 1754-1763. doi: 10.3724/SP.J.1004.2014.01754
    [11] 周志勇, 李莉华, 郑健, 蒯多杰, 胡粟, 张涛. 含局部空间约束的t分布混合模型的点集配准[J]. 自动化学报, 2014, 40(4): 683-696. doi: 10.3724/SP.J.1004.2014.00683
    [12] 杨栋, 周秀玲, 郭平. 基于贝叶斯通用背景模型的图像标注[J]. 自动化学报, 2013, 39(10): 1674-1680. doi: 10.3724/SP.J.1004.2013.01674
    [13] 刘松涛, 王慧丽, 殷福亮. 基于图割和模糊连接度的交互式舰船红外图像分割方法[J]. 自动化学报, 2012, 38(11): 1735-1750. doi: 10.3724/SP.J.1004.2012.01735
    [14] 林晓丹. 基于高斯混合模型的DCT域水印检测方法[J]. 自动化学报, 2012, 38(9): 1445-1448. doi: 10.3724/SP.J.1004.2012.01445
    [15] 韩敏, 郑丹晨. 基于模糊形状上下文特征的形状识别算法[J]. 自动化学报, 2012, 38(1): 68-75. doi: 10.3724/SP.J.1004.2012.00068
    [16] 连峰, 韩崇昭, 刘伟峰, 元向辉. 基于SMC-PHDF的部分可分辨的群目标跟踪算法[J]. 自动化学报, 2010, 36(5): 731-741. doi: 10.3724/SP.J.1004.2010.00731
    [17] 孟猛, 王晓瑞, 梁家恩, 徐波. 一种基于互补声学模型的多系统融合语音关键词检测方法[J]. 自动化学报, 2009, 35(1): 39-45. doi: 10.3724/SP.J.1004.2009.00039
    [18] 董远, 陆亮, 赵贤宇, 赵建. 对文本无关的说话人验证中模型距离归一化问题的研究[J]. 自动化学报, 2009, 35(5): 556-560. doi: 10.3724/SP.J.1004.2009.00556
    [19] 徐利敏, 唐振民, 何可可, 钱博. 基于自适应直方图均衡化的鲁棒性说话人辨认研究[J]. 自动化学报, 2008, 34(7): 752-759. doi: 10.3724/SP.J.1004.2008.00752
  • 加载中
图(17) / 表(5)
计量
  • 文章访问数:  464
  • HTML全文浏览量:  383
  • PDF下载量:  139
  • 被引次数: 0
出版历程
  • 收稿日期:  2018-03-02
  • 录用日期:  2018-07-23
  • 刊出日期:  2020-02-20

基于模糊形状上下文与局部向量相似性约束的配准算法

doi: 10.16383/j.aas.c180118
    基金项目:

    国家自然科学基金项目 41661080

    云南省万人计划青年拔尖人才, 云南省大学生创新创业训练计划项目 61

    作者简介:

    马新科  云南师范大学信息学院硕士研究生.主要研究方向为计算机视觉与模式识别.E-mail: maxxk@foxmail.com

    杨昆  云南师范大学信息学院教授.1998年获得澳大利亚新南威尔士大学硕士学位.主要研究方向为地理信息系统, 遥感图像处理.E-mail: kmdcynu@163.com

    罗毅  云南师范大学信息学院副教授.2014年获得哈尔滨理工大学博士学位.主要研究方向为无线传感器网络, 微弱信号拾取.E-mail: luoyi861030@163.com

    通讯作者: 杨扬  云南师范大学信息学院教授.2007年获得日本早稻田大学硕士学位, 2013年获得新加坡国立大学NGS博士学位.主要研究方向为计算机视觉、遥感图像处理等.本文通信作者.E-mail: yyang_ynu@163.com
  • 本文责任编委 白翔

摘要: 非刚性点集配准研究是模式识别领域的一项重要基础研究.本文在当前流行的非刚性点集配准算法的基础上提出了两个主要贡献: 1)模糊形状上下文(Fuzzy shape context, FSC)特征; 2)基于局部向量特征的局部空间向量相似性约束项.本文首先进行基于特征互补的对应关系评估, 在这一步骤中定义了模糊形状上下文特征, 然后基于模糊形状上下文特征差异和全局特征差异设计了特征互补的高斯混合模型.其次, 进行基于约束互补的空间变化更新.在这一步骤中, 定义了局部向量特征, 建立了局部空间向量相似性约束项.本文算法通过使用特征互补的高斯混合模型进行对应关系评估, 并将配准问题转化为可以用期望最大化(Expectation maximization, EM)算法解决的参数优化问题, 通过创建包含局部空间向量相似性约束项的能量方程优化了空间变换更新.本文首先测试了模糊形状上下文特征的检索率, 然后采用公开数据集测试了算法在点集配准与图像配准的性能.在与当前流行的十种算法的对比实验中, 本文算法均给出了精确的配准结果, 并在大部分实验中精度超过了当前流行算法.

本文责任编委 白翔

English Abstract

马新科, 杨扬, 杨昆, 罗毅. 基于模糊形状上下文与局部向量相似性约束的配准算法. 自动化学报, 2020, 46(2): 342-357. doi: 10.16383/j.aas.c180118
引用本文: 马新科, 杨扬, 杨昆, 罗毅. 基于模糊形状上下文与局部向量相似性约束的配准算法. 自动化学报, 2020, 46(2): 342-357. doi: 10.16383/j.aas.c180118
MA Xin-Ke, YANG Yang, YANG Kun, LUO Yi. Registration Algorithm Based on Fuzzy Shape Context and Local Vector Similarity Constraint. ACTA AUTOMATICA SINICA, 2020, 46(2): 342-357. doi: 10.16383/j.aas.c180118
Citation: MA Xin-Ke, YANG Yang, YANG Kun, LUO Yi. Registration Algorithm Based on Fuzzy Shape Context and Local Vector Similarity Constraint. ACTA AUTOMATICA SINICA, 2020, 46(2): 342-357. doi: 10.16383/j.aas.c180118
  • 非刚性点集配准(Non-rigid point set registration)是将某一个点集(称为源点集)与其发生非刚性形变后的点集(称为目标点集)进行匹配的过程.非刚性点集配准算法研究是模式识别领域的一项重要基础研究[1-6], 并被广泛应用在计算机图形学[7-10], 医学图像处理[11-13], 遥感图像处理[14-17].在当前非刚性点集配准算法研究中[18-27], 研究者们主要基于以下迭代中的两个步骤来实现各自的创新:

    步骤1.源点集与目标点集间的对应关系评估.

    步骤2.源点集空间变换方程的优化更新.

    该框架是基于迭代的非刚性点集配准算法领域的经典框架, 其核心思想在于迭代过程中逐渐调整源点集的初始几何结构和位置, 使其与目标点集变得更加相似, 从而使点集间的对应关系评估变得更加容易, 最终实现两个点集的精确配准.

    在步骤1中, TPS-RPM (The thin plate spline robust point matching) [18], CPD (Coherent point drift) [20-21], GMMREG (Robust point set registration using Gaussian mixture models) [22], MoAGREG (A mixture of asymmetric Gaussian model) [25]使用了欧氏距离作为全局特征评估点集之间的对应关系. TPS-RPM [18]通过点集到点集的距离、Softassign [28-29]和退火算法(Deterministic annealing) [30-31]进行点集之间的对应关系评估. CPD [20-21]使用最大似然法(Maximum likelihood)来评估点集之间的对应关系. GMMREG [22]是一种基于高斯混合模型(Gaussian mixture model)的非刚性点集配准算法, 该算法将两个点集转变为两个高斯混合模型, 然后在此基础上进行对应关系评估. MoAGREG [25]在TPS-RPM [18]算法框架基础上通过采用不对称高斯模型作为点集的特征描述进行对应关系评估.其次, RPM-LNS (The robust point matching-preserving local neighborhood structures) [19], RPM-L2E (A robust point matching algorithm based on L2E) [23], PR-GLS (Non-rigid point set registration by preserving global and local structures) [26]使用了Shape context [32]进行点集之间的对应关系评估. RPM-LNS [19]是一种基于图论的非刚性点集配准算法, 采用Shape context特征(简称SC特征) [32-33]进行对应关系评估. RPM-L2E [23]是一种基于L2E的非刚性点集配准算法, 使用SC特征评估点集间的对应关系. PR-GLS [26]基于全局与局部结构维护的非刚性点集配准算法, 使用SC特征评估点集间的对应关系.最近, GLMD (Global and local mixture distance) [24]和GLMF (Global and local mixture feature) [27]使用了混合距离, GLMD [24]设计了一种基于全局与局部混合距离特征的对应关系评估方法. GLMF [27]使用两个特征描述法用于描述两个点集之间的全局和局部几何结构特征差异, 进行点集之间的对应关系评估.

    在步骤2中, TPS-RPM[18]、RPM-LNS [19]、CP-D[2021]、GMMREG[22]、RPM−L2E[23]、GLMD[24]、GLMF[27]、MoAGREG[25]仅使用全局约束来进行空间变换更新. TPS-RPM [18]、GLMD [24]和GLMF [27]使用确定性退火技术和薄板样条函数(Thin-plate splines) [34]约束空间变换. CPD [20-21]提出了运动一致性[35] (Motion coherent theroy, MCT)约束, 提高了配准过程中空间变换的稳定性. GMMREG [22]和RPM-L2E [23]通过对两个高斯混合模型进行L2E最小化评估[36-37] (L2-minimizing estimate, L2E)来优化空间变换更新. MoAGREG [25]基于Graph [38-39]拓扑结构对空间变换更新进行约束.

    在上述两个交替迭代的步骤中, 存在着以下问题:步骤1中, TPS-RPM、CPD、GMMREG与MoAGREG仅采用单一的欧氏距离作为全局特征评估对应关系.这使得它们无法描述点集中的局部特征, 导致在全局特征较为相似的情况下对应关系评估结果精度不足. RPM-LNS、RPM-L2E与PR-GLS采用单一的Shape context特征评估点集之间的对应关系, 这使得它们在点集局部结构相似时同样无法区分彼此, 导致在配准后期容易出现局部交叉误配. GLMD和GLMF通过强制一一对应的方法评估点集的对应关系, 这使得当冗余点存在的情况下配准的效果不稳定.步骤2中, TPS-RPM、RPM-LNS、CPD、GMMREG、RPM-L2E、GLMD、GLMF与Mo-AGREG在空间变换更新过程中, 仅使用了全局空间结构约束, 没有对局部空间结构进行约束.

    为此, 本文提出了基于模糊形状上下文与局部向量相似性约束的配准算法, 主要贡献有: 1)定义了一种新型的模糊形状上下文特征; 2)设计了一种基于局部向量特征的局部空间向量相似性约束项.为了展示主要贡献的有效性, 在方法部分我们给出了针对两个主要贡献的有效性评价实验.在本文的实验部分, 我们首先测试了模糊形状上下文特征的检索率, 然后采用公开数据集测试了算法在点集配准与图像配准的性能, 并与当前流行的十种算法进行了对比实验.

    • 非刚性点集配准主要包含两个迭代步骤: 1)评估源点集与目标点集之间的对应关系. 2)更新源点集空间变换方程.在这两个步骤中我们使用EM算法进行参数的优化更新.在E步骤通过贝叶斯法则求得后验概率矩阵, 用来进行对应关系的评估.在M步骤求得空间变换函数所需的最优化参数, 更新空间变换方程.在迭代中主要介绍两个主要贡献: 1)模糊形状上下文特征与2)局部空间向量相似性约束.同时, 给出了两个主要贡献的有效性评价实验.此外, 在本节也给出了参数设置, 计算复杂度分析和本文算法的伪代码.

    • 本小节定义了模糊形状上下文特征和基于特征互补的高斯混合模型, 我们将使用特征互补的高斯混合模型取代常规的单一特征高斯混合模型进行对应关系评估.

    • 在非刚性点集配准的对应关系评估中, RPM-LNS [19]、RPM-L2E [23]、PR-GLS [26]采用了形状上下文特征[32]进行点集之间的对应关系评估.原始的形状上下文特征存在以下问题: 1)存在边界问题.细微的形变可能导致点被分配到不同扇区, 造成直方统计的过大差异. 2)旋转不变性依赖质心的稳定.在剧烈形变和大角度旋转下, 质心不再稳定, 导致旋转不变性失效. 3)对于局部的相似结构缺乏辨识能力.针对以上问题, 我们提出了模糊形状上下文特征描述子, 该描述子在形变、噪音、冗余点同时存在的情况下, 旋转角度在$ \pm 75^\circ $以内展示出了稳定且精确的配准性能.

      早期, Belongie等[32]提出了经典的形状上下文(Shape context, SC)描述子用于描述点集的形状特征.该特征以点集中的每一个点为中心建立极坐标系, 并按照径向长度为log $ r $ ($ r $是扇区的层数), 切向角度相等的规则将极坐标系划分为固定数量的扇区, 分别将不同点的扇区内的点数记录在不同的矩阵中作为一个点集的SC特征.某个点集的SC特征矩阵可以写作如下形式$ s(\cdot) = \{s_n(\cdot)|n = 1, 2, \cdots, N\} $, 其中$ s_n(\cdot) $是一个$ R\times \Theta $矩阵. 图 1展示的是一个由10个点组成的点集中点$ p $的SC特征描述, 其中极坐标系被划分为了3×8 (即$ R = 3 $, $ \Theta = 8 $)个扇区.

      图  1  点p的SC特征图示

      Figure 1.  SC feature diagram is showed

      假设现有一个点集$ {X} = \{x_n|n = 1, 2, \cdots, N\} $, 另有一个点集$ {Y} = \{y_m|m = 1, 2, \cdots, M\} $.为了可以使用SC特征评估点集$ X $与$ Y $之间的空间结构相似性, Belongie等[32]定义了SC特征差异:

      $$ \begin{align} d_{sc}^{nm} = &{{d}_{sc}}({{S}_{n}}(X), {{S}_{m}}(Y)) = \\&\frac{1}{2}\sum\limits_{r = 1}^{R}{\sum\limits_{\theta = 1}^{\text{ }\Theta\text{ }}{\frac{{{[s_{r\theta }^{n}(X)-s_{r\theta }^{m}(Y)]}^{2}}}{s_{r\theta }^{n}(X) + s_{r\theta}^{m}(Y)}}} \end{align} $$ (1)

      其中, $ r $是极坐标系的径向坐标, $ \theta $是极坐标系的切向坐标, $ s_{r\theta }^{n}(P) $是矩阵$ {{S}_{n}}(X) $中第$ r $行第$ \theta $列的元素, 代表了点集$ X $的第$ n $个点在坐标为$ (r, \theta ) $的扇区内的特征元素, 在这里它等于此扇区内点的数量.由此可以构成两个点集之间的SC特征差异矩阵$ {{D}_{sc}} = \{d_{sc}^{nm}\}_{n = 1, m = 1}^{N, M} $, 基于$ D_{sc} $评估点集之间的对应关系, 并进行点集的空间变换便可完成非刚性点集配准.

      在点集发生较大级别(非刚性形变+旋转)的情况下, 同一个点的SC特征会因为所有点均移动到了不同的扇区而产生巨大的不同, 影响算法评估出的对应关系.第1.1.1节, 本文定义了一个模糊形状上下文特征, 它可以使每个扇区内的特征元素不仅取决于此扇区内点的数量, 同时也受到相同切向坐标扇区内点数量一定程度的影响, 以提高SC特征的鲁棒性.

      本文通过定义一种新型的极坐标系中$ (r, \theta) $扇区的$ s_{r\theta}(\cdot) $的计算方法, 来定义模糊形状上下文特征.模糊形状上下文特征对$ s_{r\theta}(\cdot) $的定义即为极坐标系中$ (r, \theta) $扇区内点的数量, 本文给出了新的定义:

      $$ \begin{equation} {{s}_{r\theta }}(\cdot ) = \sum\limits_{\theta = 1}^{\Theta }{{{g}_{r\theta}}}(x) \end{equation} $$ (2)

      其中, $ {{g}_{r\theta}}(x) $是大小为$ R\times \Theta $的矩阵$ G $中的元素, 且每个元素均是根据高斯模型计算得到的.具体定义如下:

      $$ \begin{equation} \begin{aligned} & {{g}_{r\theta }}(x) = \begin{cases} {{c}_{r\theta }}{\rm exp} (-\frac{{{(x-\theta )}^{2}}}{2\mu }), &x\le \frac{\Theta + 1}{2} \\ {{c}_{r\theta }}{\rm exp} (-\frac{{{(\Theta -x + \theta )}^{2}}}{2\mu }), &x>\frac{\Theta + 1}{2} \\ \end{cases}(\mu >0) \\ & {{g}_{r\theta }}(x) = \begin{cases} {{c}_{r\theta }}, &x = \theta \\ 0, &x\ne \theta \ \\ \end{cases} \; \; \; \; \; \; \; \; \; \; \; \; \; \; \; \; \qquad\; \; \; \; \; \; \; \; \hfill(\mu = 0) \end{aligned} \end{equation} $$ (3)

      其中, $ \mu $是模糊形状上下文特征权重参数, 用来控制$ (r, \theta) $扇区的$ s_{r\theta} $取值受相同切向坐标扇区的影响程度, $ c_{r\theta} $代表$ (r, \theta) $扇区内点的数量.通过对$ s_{r\theta}(\cdot) $的定义可以看出其取值符合以下性质: 1)当$ \mu = 0 $时, $ (r, \theta) $扇区的$ s_{r\theta}(\cdot) $取值即为此扇区内点的数量; 2)当$ \mu>0 $时, $ (r, \theta) $扇区的$ S_{r\theta}(\cdot) $取值取此扇区内点的数量并同时受到相同切向坐标扇区内点的数量的影响, 且造成显著影响的扇区个数随$ \mu $的增大而变大.本文将点$ x_i $的模糊形状上下文特征定义为由$ s_{r\theta }^{i}(X) $组成的$ R\times \Theta $矩阵$ S_i(X) $, 则可以得到点集$ X $的模糊形状上下文特征矩阵:

      $$ \begin{equation} {S}(X) = \{{{S}_{1}}(X), {{S}_{2}}(X), \cdots , {{S}_{I}}(X)\} \end{equation} $$ (4)

      本文的模糊形状上下文特征通过在极坐标系的每个扇区上覆盖一个高斯模型, 将原SC特征$ S_{r\theta}(\cdot) $的计算方法重新定义为一个扇区的点数作主导、多个切向相邻扇区进行影响的模糊的计算方法.

      为了进一步展示模糊形状上下文特征的配准效果, 我们给出了原SC特征与模糊形状上下文特征的对比实验.如图 2所示, 在设置形变级别为8级[24]和旋转角度为$ {{75}^\circ } $的情况下, 图 2 (a)为模糊形状上下文特征的配准效果图、图 2 (b)为原SC特征的配准效果图.在此, 规定“$ \ast $”点集为目标点集, “ + ”点集为源点集, “$ \circ $”点集为评估后的假想目标点集.在第一次的迭代中, 使用模糊形状上下文特征和SC特征的评估后的假想目标点集都收缩在区域的中心.在迭代的第15次, 模糊形状上下文特征显示出配准的优势.在迭代的最后, 使用模糊形状上下文特征的配准效果要优于使用SC特征的配准效果, 图中方框圈出的部分为未配准的点集.

      图  2  模糊形状上下文特征与 SC 特征的配准效果对比

      Figure 2.  Comparison of the registration examples between fuzzy shape context features and SC features

    • 在非刚性点集配准的对应关系评估中, 仅使用单一的欧氏距离或单一的形状上下文特征在某些特殊情况下无法有效区分点集间的差异, 例如, 全局特征相似或局部特征相似的情况下.为了解决这类问题, Yang等[24]提出全局与局部混合距离特征算法, 汤昊林等[27]提出基于混合特征的非刚性点阵配准算法.但是, Yang等[24]和汤昊林等[27]通过强制一一对应的方法评估点集的对应关系, 这使得当冗余点存在的情况下, 算法的配准效果不稳定.

      为此, 我们利用模糊形状上下文特征和全局特征构建了特征互补的高斯混合模型.不仅解决了单一特征的问题, 而且也解决了Yang等[24]和汤昊林等[27]强制一一对应的问题.

      单个高斯模型组件的概率密度函数如下:

      $$ \begin{equation} f_{gm}^{{}}({{x}_{n}}|{{y}_{m}}) = \frac{1} {\sqrt{2\pi } \sigma }{\rm exp} \left(-\frac{\text{ }\| \text{ }{{x}_{n}}-{{y}_{m}}\text{ }\|^{2}} {2{{\sigma }^{2}}}\right) \end{equation} $$ (5)

      其中, $ X $是包含$ N $个点的目标点集, $ Y $是包含$ M $个点的源点集, $ \sigma^2 $是高斯混合模型中每个成员的方差.高斯混合模型的概率密度函数如下:

      $$ \begin{align} {{F}_{gmm}}(X) = \prod\limits_{n = 1}^{N}{\sum\limits_{m = 1}^{M + \text{1}}{{{\psi }_{nm}}}{{f}_{gm}}({{x}_{n}}|{y}_{m})} = \\\prod\limits_{n = 1}^{N}{(1-\omega )\sum\limits_{m = 1}^{M}{{{\psi }_{nm}}}{{f}_{gm}} ({{x}_{n}}|{y}_{m}) + \frac{\omega }{N}} \end{align} $$ (6)

      其中, $ {\psi}_{nm} $是一个非负的高斯组件的权重参数且满足$ \sum_{m = 1}^{M}{{{\psi }_{nm}}} = 1 $.在这里使用了$ M + 1 $个组件, 第$ M + 1 $个组件被用于消除噪音和冗余点的影响, 并用$ \omega $来约束它且满足$ 0<\omega<1 $.

      本文基于高斯径向基函数(Gaussian radial basis function, GRBF)对源点集$ P $的空间变换函数进行了定义:

      $$ \begin{equation} T(P, W) = P + BW \end{equation} $$ (7)

      其中, $ B $是由GRBF: $ {{b}_{ij}} = {\rm exp} ((-1/2{{\sigma }^{2})}\|{{p}_{i}}-{{p}_{j}}{{\|}^{2}}) $计算得到的$ N\times N $内核矩阵, $ W $是高斯内核的$ N\times D $权重矩阵.本文通过混合使用模糊形状上下文特征与欧氏距离特征进行点集之间对应关系的评估.在此节, 本文首先介绍了使用模糊形状上下文特征差异与全局特征差异构建的基于特征互补的高斯混合模型, 然后给出了本文算法评估出的对应关系矩阵和计算得到的对应点集.

      本文将点集的空间坐标作为全局特征, 两点集之间的欧氏距离(Euclidean distance)定义为全局特征差异, 具体如下:

      $$ \begin{equation} d_{g}^{nm} = \|{{q}_{m}}-T({{p}_{n}}, W){{\|}^{2}} \end{equation} $$ (8)

      由此得到点集$ P $与$ Q $之间的$ N\times M $全局特征差异矩阵$ D_g $.

      本文通过平衡模糊形状上下文特征与欧氏距离特征之间的关系建立了特征互补的单个高斯混合模型组件:

      $$ \begin{equation} {{f}_{gmm}}({{q}_{m}}\text{ }|\text{ }{p}_{n}) = \frac{1}{\sqrt{2\pi }\alpha \beta }{\rm exp} [-(\frac{d_{g}^{nm}}{2{{\alpha }^{2}}} + \frac{d_{fsc}^{nm}}{{{\beta }^{2}}})] \end{equation} $$ (9)

      然后可以得到基于特征互补的高斯混合模型概率密度函数(Probability density function):

      $$ \begin{equation} {{f}_{gmm}}({{q}_{m}}) = \sum\limits_{n = 1}^{N}(1-\omega ){{{\psi }_{nm}}{{f}_{gmm}}}({{q}_{m}}\text{ }|\text{ }{p}_{n}) + \frac{\omega }{M} \end{equation} $$ (10)

      其中, $ \frac{\omega }{M} $用来处理点集中的冗余点, 且$ 0<\omega<1 $, $ {{\psi }_{nm}} $是模型中每个组件的权重, 且$ \sum\nolimits_{n = 1}^{N}{{{\psi }_{nm}} = 1} $.在本文算法中, 模糊形状上下文特征差异与全局特征差异的方差$ \alpha^2 $和$ \beta^2 $相互独立, 且$ {{\psi }_{nm}}\text{ = 1/}N $.

      图 3所示, 实验给出图 3 (a)仅使用全局特征的高斯混合模型, 图 3 (b)仅使用模糊形状上下文特征的高斯混合模型和图 3 (c)特征互补的高斯混合模型的配准效果. “$ \ast $”点集为目标点集, “ + ”点集为源点集, “$ \circ $”点集为评估后的假想目标点集.在迭代的第一次, 图 3 (a)的评估后的假想目标点集收缩在目标点集的区域中心, 然而图 3 (b)图 3 (c)的评估后的假想目标点集接近目标点集.随着迭代的进行, 模糊形状上下文特征不再起主要作用, 全局特征的作用更加明显. 图 3 (a)在迭代过程中仅使用了全局特征, 未受到模糊形状上下文特征的平衡, 导致部分源点集与目标点集不能配准, 在图 3 (a)中未配准的点集用方框圈出, 然而图 3 (b)在迭代过程中仅使用了模糊形状上下文特征, 导致源点集和评估后的假想目标点集就收缩成为一个点.相比之下, 图 3 (c)在迭代之初, 模糊形状上下文特征起主导作用, 一开始源点集就接近目标点集, 随着迭代的进行, 全局特征起主导作用, 在后期使源点集更加接近目标点集, 正是模糊形状上下文特征和全局特征的互补才使配准的效果达到最佳.

      图  3  特征互补的高斯混合模型与单特征高斯混合模型的配准效果对比

      Figure 3.  Comparison of the the registration examples between Gaussian mixture model of feature complementary and single feature Gaussian mixture model

    • 本文采用贝叶斯法则评估点集之间的对应关系, 得到基于特征互补的高斯混合模型的后验概率:

      $$ \begin{equation} {{a}_{nm}} = \frac{{\rm exp} [-(\frac{d_{g}^{nm}}{2{{\alpha }^{2}}} + \frac{d_{fsc}^{nm}}{{{\beta }^{2}}})]}{\sum\limits_{i = 1}^{N}{\rm exp}[-(\frac{d_{g}^{im}}{2{{\alpha }^{2}}} + \frac{d_{fsc}^{im}}{{{\beta }^{2}}})] + 2{\pi} {{\alpha }^{2}}{{\beta }^{2}}\frac{N\omega }{M(1-\omega )}} \end{equation} $$ (11)

      其中各参数的取值为前一次迭代中各参数的取值.评估出源点集与目标点集的$ N\times M $对应关系矩阵A, 然后计算得到源点集的对应点集$ \bar{Q} = AQ $, 完成配准过程中点集之间对应关系的评估.通过本文对空间变换函数$ T $与对应关系矩阵$ A $的定义, 可以看出对点集进行空间变换需要合适的参数$ \alpha^2 $、$ \beta^2 $、$ W $, 于是点集的空间变换函数优化更新问题便转化为了参数优化问题.在本节, 我们将使用EM算法完成对空间变换函数参数的优化更新.为了对高斯混合模型进行合适的空间变换以完成配准过程中的一次迭代, 本文通过最小化基于全局特征相似与SC特征相似的似然估计函数求得空间变换函数需要的参数.本文首先进行E步骤, 求得对数似然函数(Negative log-likelihood function)如下:

      $$ \begin{equation} E({{\alpha }^{2}}, {{\beta }^{2}}, W) = \frac{1-\omega }{N}\sum\limits_{m = 1}^{M}{\rm log} \sum\limits_{n = 1}^{N}{{{a}_{nm}}}{\rm exp}\Big (\frac{d_{g}^{nm}}{2{{\alpha }^{2}}} \text{ + } \\\frac{{{(s_{r\theta }^{m}(Q)-s_{r\theta }^{n}(P))}^{2}}}{2{{\beta }^{2}}}\Big) + M{\rm log}\frac{\omega }{M} \end{equation} $$ (12)
    • 本小节, 我们引入了全局结构约束, 设计了局部向量特征和局部空间向量相似性约束.同时, 我们使用全局结构约束和局部空间向量相似性约束建立了基于约束互补的空间变换更新的能量方程.此外, 为了证明本文算法的优越性, 我们给出了基于约束互补的空间变化更新与仅使用单约束的空间变化更新的对比实验.

    • 在非刚性点集配准中, 一个点集映射到另一个点集的方法将不再是唯一的.因此, 我们需要引入基于运动一致性的约束[35]以解决这种不适定问题.在本文算法中引入运动一致性的几何约束抑制了整个变换过程中不一致的变换, 图 4中给出了两种点间不同的运动一致速度场实例, 并给出以下全局结构约束:

      图  4  速度场图解

      Figure 4.  Velocity field diagram field

      $$ \begin{equation} \begin{aligned} R(T) = \|{T\|^{2}} \end{aligned} \end{equation} $$ (13)
    • 本文算法进行非刚性点集配准的过程中, 为了使点集的空间变换函数满足在迭代更新时可以维护局部空间结构的相似性, 我们采用优化空间变换函数的更新过程, 使其满足局部特征差异最小化的方法, 并通过向量的形式定义局部特征以使得到的局部特征差异更可靠.

      为了准确地描述一个点集的局部特征, 假设现有一个点集$ X = \{x_i|i = 1, 2, \cdots, I\} $.在此小节, 本文基于一个点与其$ H $个最近相邻点所构成的向量加权定义为此点的局部向量特征, 并将点的相邻点向量所组成的集合称为集合$ {\mathit{\boldsymbol{V}}_i} $.本文用$ {L}(X) = \{L({{x}_{1}}), L({{x}_{2}}), \cdots, L({{ x}_{I}})\} $表示点集$ X $的局部向量特征矩阵.我们对$ L(x_i) $进行了如下定义:

      $$ \begin{equation} L({x_{i}}) = \sum\limits_{h = 1}^{H}{\eta _{i}^{h}}{\bm v_i}^{h} \end{equation} $$ (14)

      其中$ {\bm v}_{i}^{h}\in {{\bm V}_{i}} $, $ \eta_{i}^{h} $是控制对应向量对此特征描述的贡献程度的权重参数.

      在局部向量特征的定义中, 有两个参数对此特征局部空间结构描述的准确性产生较大的影响: 1)相邻点的数量$ H $; 2)权重参数的取值.首先, 从特征描述的全面性考虑, $ H $的设置应满足至少包含配准所在空间的所有维度上的相临点, 由于本文算法采用了模糊形状上下文特征, 故仅适用于二维情况, 所以$ H $应设为大于4的整数(至少可以描述十字交叉、夹角与直线的情形).其次, 考虑到在$ H $个相邻点中恰好的情况下, 我们假设冗余点会对局部特征描述子造成超出预期的影响.因此, 令$ \eta_{i}^{h} = {\rm exp} (-\|{{\bm v}}_{i}^{h}{{\|}^{2}}/\xi _{i}^{2}) $, 使长度过长的向量的权重参数趋于0, 以限制冗余点的不利影响.

    • 在E步骤中求得对数似然函数式(12)的期望, 然后进行M步骤最小化对数似然函数的期望, 为了减小计算复杂度, 通过借助隐变量的方法, 将对数似然函数转化为如下能量方程:

      $$ \begin{equation} \begin{aligned} {\rm Exp} = &\sum\limits_{m = 1}^{M}\sum\limits_{n = 1}^{N}{{{a}_{nm}}(\frac{d_{g}^{nm}}{2{{\alpha }^{2}}}\text{ + }\frac{{{(s_{r\theta }^{m}(Q)-s_{r\theta }^{n}(P))}^{2}}}{2{{\beta }^{2}}})} + \\ &{{Q}_{A}}{\rm ln}{{\alpha }^{2}}{{\beta }^{2}} + Gs \end{aligned} \end{equation} $$ (15)

      其中, $ {{Q}_{A}} = \sum\nolimits_{m = 1, n = 1}^{M, N}{{{a}_{nm}}} $, $ Gs = \frac{\rho }{2}{\rm tr} ({{W}^{\rm T}}BW) $, $ \rho $是用来控制正则化强度的参数.我们通过添加正则化项$ Gs $使参数优化满足点集的全局结构最优, 使源点集的空间变换可以最大程度地满足正则化.

      为了进一步优化能量方程, 本文通过最小化空间变换后的源点集与对应目标点集的局部空间结构差异, 维护空间变换函数优化更新过程中局部空间向量相似性.我们使用局部向量特征计算点集之间的局部空间结构差异:

      $$ \begin{equation} \begin{aligned} Ls& = \frac{\varrho }{2}\sum\limits_{n = 1}^{N}{\|L(}\overline{{{q}_{n}}})-L(T({{p}_{n}}, W)){{\|}^{2}} \text{ = }\\&\frac{\varrho }{2}{\rm tr} ({{K}^{\rm T}}K) \end{aligned} \end{equation} $$ (16)

      其中, $ \varrho $是控制局部约束的强度的参数, $ K = ({{U}^{{\bar{Q}}}}-HI)AQ-({{U}^{P}}-HI)(P + BW) $, I代表单位矩阵.假设点集$ X = \{{{x}_{i}}|i = 1, 2, \cdots, I\} $, 则矩阵$ {{U}^{X}} $, 具体定义如下:

      $$ \begin{equation} u_{ij}^{x} = \left\{ \begin{matrix} \eta _{i}^{j}, \text{ }\text{若}\text{ }\overrightarrow{{{x}_{i}}{{ x}_{j}}}\in {{\bm V}_{i}} \\ 0\text{ }, \text{ }\text{若}\text{ }\overrightarrow{{{x}_{i}}{{ x}_{j}}}\notin {{\bm V}_{i}} \\ \end{matrix} \right. \end{equation} $$ (17)

      将局部约束$ Ls $加入式(15)中, 得到:

      $$ \begin{equation} \begin{aligned} {\rm Exp} = &\sum\limits_{m = 1}^{M}\sum\limits_{n = 1}^{N}{\frac{{{a}_{nm}}}{2}}\text{ }\Big\{\text{ }\frac{1}{{{\alpha }^{2}}}\|{{q}_{m}}-({{p}_{n}} + {{b}_{n}}W){{\|}^{2}} + \\ &\frac{1}{{{\beta }^{2}}}\sum\limits_{r = 1}^{R }\sum\limits_{\theta = 1}^{\Theta }{{{(s_{r\theta }^{m}(Q)-s_{r\theta }^{n}(P))}^{2}}}\text{ }\Big\}\text{ } + \\ &{{Q}_{A}}{\rm ln}{{\alpha }^{2}}{{\beta }^{2}} + Gs + Ls \end{aligned} \end{equation} $$ (18)

      因此, 更新空间变换函数所需的最优化参数便可在式(18)的极值点求得, 即:

      $$ \begin{equation} ({{\alpha }^{2}}, {{\beta }^{2}}, W) = \arg \min {\rm Exp} \end{equation} $$ (19)

      在本文的附录A中给出了式(19)的具体求解过程.

      图 5展示了图 5 (a)全局约束下的配准效果, 图 5 (b)局部约束下的配准效果, 和图 5 (c)约束互补下的配准效果. “$ \ast $”点集为目标点集, “ + ”点集为源点集, “$ \circ $”点集为评估后的假想目标点集.在第一次迭代时, 图 5 (a)图 5 (b)图 5 (c)的评估后的假想目标点集都很接近目标点集.随着迭代次数的增加, 图 5 (a)仅在全局约束的作用下执行配准, 在迭代的最后源点集与目标点集的配准效果较差. 图 5 (b)仅使用了局部约束, 在整个迭代的过程中没有全局约束控制, 所以最终配准效果也不理想. 图 5 (c)在迭代的过程中受到全局约束与局部约束相互控制, 在迭代的最后配准效果优于图 5 (a)图 5 (b).

      图  5  约束互补的空间变化方程与单约束的配准效果对比

      Figure 5.  Comparison of the registration examples between constraint complementary spatial variation equations and single constraint spatial variation equations

    • 在点集配准的过程中, 我们对目标点集$ {{ X}_{N\times D}} $和源点集$ {{ Y}_{M\times D}} $进行零初始化和重新调节方差.首先, 设置高斯混合模型的概率密度函数的第$ M + 1 $个组件的约束参数$ \omega $和模糊形状上下文特征权重参数$ \mu $.在目标点集包含非刚性形变+旋转的情况下$ \omega = 0.2 $, $ \mu = 5 $, 在目标点集包含非刚性形变+噪音的情况下$ \omega = 0.7 $, $ \mu = 3 $, 在目标点集包含非刚性形变+冗余点的情况下$ \omega = 0.7 $, $ \mu = 1 $.其次, 设置最近相邻点的数量$ H = 5 $.最后, 设置正则化参数$ \rho = 2 $和局部约束参数$ \varrho = 2 $.在第1.4节中给出了本文算法的伪代码.

      在本文算法中使用软计算策略获得目标点集与源点集每个点之间的形状距离需要花费的复杂度为$ {\mathrm O}(M\times N) $. $ H $个最近相邻点的获得是通过$ H $次顺序搜寻完成的, 它的计算复杂度是$ {\mathrm O}(HM^2) $.由于式(18)存在$ M\times M $的核矩阵$ B $与$ M\times D $的源点集$ Y $, 所以求偏导需要的复杂度是$ {\mathrm O}({{M}^{3}}) $.综上所述, 本文算法的计算复杂度为$ {\mathrm O}({{M}^{3}}) $, 并且, 通过使用低秩矩阵近似法[40]和回归子集法[41-42]可以把复杂度减少至$ {\mathrm O}(M) $.对比其他方法, TPSRPM、CPD、GMMREG和MoAGREG在$ M<N $时计算出对应矩阵的复杂度是$ {\mathrm O}(NM) $, 在RPM-L2E、GLMDTPS和PR-GLS中解决$ N\times N $的花费矩阵的线性分配问题需要的复杂度为$ {\mathrm O}({{N}^{3}}) $, 而PR-GLS在它们的文献中提到最快情况下的复杂度为$ {\mathrm O}(M) $.

    • 算法1给出了本文算法的伪代码.

      算法1.基于模糊形状上下文与局部向量相似性约束的配准算法

      输入.两个点集$ P $和$ Q $.

      参数设置.初始化参数$ W = 0 $, $ \rho = \varrho = 2 $, $ H = 5 $, 预匹配:在非刚性形变或旋转的情况下$ \omega = 0.2 $, $ \mu = 5 $, 在目标点集包含噪音的情况下$ \omega = 0.7 $, $ \mu = 3 $, 在目标点集包含冗余点的情况下$ \omega = 0.7 $, $ \mu = 1 $.

      开始.未达到最大迭代次数, 执行式(18).

      步骤1.通过式(1)与式(8)分别计算模糊性状上下文特征差异矩阵$ D_{fsc} $与全局特征差异矩阵$ D_g $.

      步骤2.使用式(11)评估点集$ P $与点集$ Q $之间的对应关系矩阵$ A $, 并得到对应点集$ \bar{Q} $.

      步骤3.通过式(19)更新空间变换函数的参数$ W $与计算对应关系矩阵所需的$ \alpha^2 $和$ \beta^2 $.

      步骤4.通过式(7)对点集$ P $进行空间变换更新得到新的点集$ P $.

      结束.直到达到最大迭代次数式(18)收敛.

      输出.配准后的点集$ P $.

    • 我们使用MATLAB R2017a实现了本文算法.本文实验部分首先介绍了实验设计.其次, 测试了模糊形状上下文特征的形状检索性能.然后, 我们采用: 1)人造轮廓点集[18]、2) CMU序列图像[43-44]与3) Pascal 2007 [45]数据集测试了本文算法的点集配准性能, 同时还采用了Mikolajczyk数据集[46]测试了算法的图像配准性能.在以上两类实验中, 我们同时也给出了相关算法的对比实验结果.

    • 我们分别进行了1)模糊形状上下文形状检索性能测试、2)本文算法的性能测试、3)相关算法的性能比较和4) Mikolajczyk数据集[46]图像配准测试, 共计四类实验.在1)形状检索性能测试中, 我们使用了MPEG-7测试数据集, 整个测试过程完全按照原始形状上下文[32]中的实验设计方案进行; 在2)性能测试中, 本文使用了来自于TPS-RPM中的Line, Fish1和Chinese character三种二维人造轮廓点集, 误差评价与Ground truth沿用TPS-RPM [18]中的设计方案; 在3)性能比较测试中, 除前述人造轮廓点集外, 我们还增加了Pascal 2007 challenge数据集[45]与CMU house序列图像数据集[44], 并与当前流行的十种算法(TPS-RPM [18]、CPD [21]、GMMREG [22]、RPM-L2E [23]、GLMD [24]与PR-GLS [26]共六种迭代算法, Caetano等[47], Torresani等[48]与Leordeanu等[45]共三种基于Graph [38-39]的学习算法, FGM [49]共一种基于Graph [38-39]的非学习算法)进行了对比实验; 在图像配准测试中, 我们从Mikolajczyk数据集[46]中选取了“”boat”和“”graf”, 并使用SIFT算法从图像上提取特征点, 并利用点集配准完成图像配准.

    • MPEG-7数据集(如图 6所示)拥有70种类别, 每个类别包含20张图片. Belongie等[32]采用MPEG-7数据集进行了形状检索性能测试, 并获得76.51 %的检索率.为了实现公平可靠的对比实验, 我们采用与Belongie等[32]相同的实验设计对本文提出的模糊形状上下文特征进行了形状检索性能测试, 并与原始形状上下文特征进行了对比. 图 7给出了形状检索前预处理的结果, 本文算法与原始形状上下文特征(SC) [32]、Latecki等[50]和Mokhtarian等[51-52]在70种类别中的平均检索率如表 1所示.本文提出的模糊形状上下文特征获得了78.93 %的平均检索率.相比其他三种算法形状检索性能方面更加优异.

      图  6  MPEG-7数据集例子

      Figure 6.  Examples of MPEG-7 dataset

      图  7  “apple”轮廓点集提取

      Figure 7.  Contour point extraction of apple template

      表 1  SC、Latecki等、Mokhtarian等和FSC的检索率

      Table 1.  Retrieval rate of shape context, Latecki et al., Mokhtarianet et al. and fuzzy shape

      SC [32] Latecki等[50] Mokhtarian等[51-52] FSC
      76.51 % 76.45 % 75.44 % 78.93 %
    • 在本文算法的性能测试部分, 我们采用人造轮廓点集Line [18] (60 points), Fish1 [18] (98 points)和Chinese character [18] (105 points)作为实验数据, 同时使用与TPS-RPM [18]相同的误差评估准则, 即目标点集与配准后的点集之间的平均标准差和平均误差, 测试了参数$ \mu $的取值对本文算法配准性能的影响. 图 8展示了在三个点集中参数$ \mu $取值分别为0、1、2、3、4、5时, 三种复杂非刚性配准模式情况下的配准结果, 其中平均误差为100次随机测试的均值, 竖线表示标准偏差.在所有配准模式下, 各$ \mu $取值均获得了正确的配准结果.

      图  8  人造轮廓点集的三种不同配准模式下, 本文算法的六种参数取值的配准结果(其中第一列至第三列分别是点集Line[18]、Fish1[18]、Chinese character[18]的配准结果; 第一行至第三行分别是: 1)旋转变化加固定级别形变处理、2)旋转变化加固定级别噪音与形变处理、3)旋转变化加固定级别冗余点与形变处理)

      Figure 8.  The results of point set registration using the six parameter settings under the three different registration patterns (The first to third columns are the registration results of the point set Line[18], Fish1[18], and Chinese character[18], respectively. The first to third columns are 1) rotations + fixed deformation, 2) rotations + fixed noise and deformation, and 3) rotations + fixed outliers and deformation, respectively)

      图 8中可以看出: 1)第一行中Line [18]旋转角度在$ -30^\circ \sim 75^\circ $之间时平均误差较小, 随着旋转角度的增大平均误差逐渐增大; Fish1 [18]旋转角度在$ \pm30^\circ $之间时平均误差较小, 随着旋转角度的增大平均误差逐渐增大; Chinese character [18]旋转角度在$ \pm45^\circ $之间时平均误差较小, 随着旋转角度的增大平均误差逐渐增大.该模式下, 参数$ \mu $值为5时误差相对较小. 2)第二行中Line [18], Chinese character [18]旋转角度在$ \pm75^\circ $之间时平均误差较小, Fish1 [18]旋转角度在$ \pm45^\circ $之间时平均误差较小, 随着旋转角度的增大平均误差逐渐增大.该模式下, 参数$ \mu $值为3时误差相对较小. 3)第三行中Line [18], Fish1 [18], Chinese character [18], 旋转角度在$ \pm75^\circ $之间时平均误差较小, 随着旋转角度的增大平均误差逐渐增大.该模式下, 参数$ \mu $值为1时误差相对较小.

      在一定程度上, 待配准图像畸变的大小与$ \mu $值成正相关, 在给出一个无法预知变换状态和变换程度的待配准图像时, 本文使用SC特征作为预匹配[26, 32]步骤, 将配准后得到的误差与设置的阈值相对比, 实现自动选取合适的参数$ \mu $, 从而得到最优的配准结果.

    • 我们首先采用前述三个人造轮廓点集测试了本文算法与TPS-RPM[18]、CPD[21]、GMMREG[22]、RPM-L2E[23]、GLMD[24]、PR-GLS[26]在四种不同非刚性配准模式下的配准性能. 图 9展示了本文算法与六种相关算法的比较实验结果.从总体来看, TPS-RPM [18]在三个人造点集的四种配准模式下, 均给出了较大的误差, 本文算法对比其他六种算法展示出了较为精确和稳定的配准性能. 图 10图 11图 12分别展示了本文算法在Line [18]、Fish1 [18]与Chinese character [18]上的配准实例.

      图  9  人造轮廓点集的四种不同配准模式下, 本文算法与TPS-RPM[18]、CPD[2021]、GMMREG[22]、RPM-L2E[23], GLMD[24]、PR-GLS[26]的比较实验结果.第一行至第四行分别是1)形变变化、2)噪音变化+ 4级固定形变、3)冗余点变化+ 4级固定形变、4)旋转变化+ 4级固定形变

      Figure 9.  Comparison results of the proposed method, TPS-RPM[18], CPD[20, 21], GMMREG[22], RPM-L2E[23], GLMD[24] and PR-GLS[26] under four different registration patterns. The first to fourth rows are 1) deformation, 2) noises + fixed 4 level deformation, 3) outliers + fixed 4 level deformation and 4) rotations + 4 level deformation, respectively

      图  10  点集Line[18]的配准实例(第一列是配准前, 第二列是配准后.第一行至第四行分别是四种非刚性配准模式: 8级形变处理、4级噪音处理+ 4级形变处理、4级冗余点处理+ 4级形变处理、13级旋转处理+ 4级形变处理.)

      Figure 10.  Registration example of Line[18] point set (The first to fourth rows are four different types of non-rigid registration patterns: 8 level deformation, 4 level noise + 4 level deformation, 4 level outliers + 4 level deformation, 13 level rotation + 4 level deformation.)

      图  11  点集Fish1[18]的配准实例(第一列是配准前, 第二列是配准后.第一行至第四行分别是四种非刚性配准模式: 8级形变处理、4级噪音处理+ 4级形变处理、4级冗余点处理+ 4级形变处理、13级旋转处理+ 4级形变处理.)

      Figure 11.  Registration example of Fish1[18] point set (The first to fourth rows are four different types of non-rigid registration patterns: 8 level deformation, 4 level noise + 4 level deformation, 4 level outliers + 4 level deformation, 13 level rotation + 4 level deformation.)

      图  12  点集Chinese character[18]的配准实例(第一列是配准前, 第二列是配准后.第一行至第四行分别是四种非刚性配准模式: 8级形变处理、4级噪音处理+ 4级形变处理、4级冗余点处理+ 4级形变处理、13级旋转处理+ 4级形变处理.)

      Figure 12.  Registration example of Chinese character[18] point set (The first to fourth rows are four different types of non-rigid registration patterns: 8 level deformation, 4 level noise + 4 level deformation, 4 level outliers + 4 level deformation, 13 level rotation + 4 level deformation.)

    • 本文采用Pascal 2007 challenge数据库[45]的30对汽车图像数据与20对摩托车图像数据对本文算法进行了真实图像配准性能测试, 并与FGM [49], Leordeanu等[45]、GLMD [24]三种相关算法进行了对比实验. 表 2展示了本文算法与其他算法的平均配准率, 本文将汽车与摩托车的每对图像配准结果的正确匹配比例的平均值作为平均配准率, 其中相关算法的平均配准率取自他们公布的实验结果.本文算法给出了最优的平均配准率. 图 13图 14分别给出了本文算法的两个配准实例.

      表 2  FGM[49]、Leordeanu等[45]、GLMD[24]、本文算法在汽车与摩托车真实图像中的平均配准

      Table 2.  Matching rates on cars and motorbikes for our method, FGM[49], Leordeanu et al.[45] and GLMD[24]

      FGM Leordeanu等 GLMD 本文算法
      80 % 80 % 93 % 97 %

      图  13  汽车真实图像配准实例(取自Pascal 2007 challenge数据库[45]的第18对汽车图像, 图中连线代表特征点之间的对应关系.)

      Figure 13.  Registration example of automotive real image (The 18th pair of car images are selected from the Pascal 2007 challenge database[45]. The lines represent the correspondence of the feature points in the figure.)

      图  14  摩托车真实图像配准实例(取自Pascal 2007 challenge数据库[45]的第4对摩托车图像, 图中连线代表特征点之间的对应关系.)

      Figure 14.  Registration example of motorbike real image (The 4th pair of car images are selected from the Pascal 2007 challenge database[45]. The lines represent the correspondence of feature points in the figure.)

    • 本文采用CMU house和hotel [43-44]图像数据集对本文算法进行了测试, 并与GMMREG [22]、Torresani等[48]、FGM [49]、GLMD [24]、Leordeanu等[45]、Caetano等[47]进行了对比实验. 表 3展示了本文算法与相关算法的平均配准率, Torresani等[48]、FGM [49]、GLMD [24]、Leordeanu等[45]、Caetano等[47]的平均配准率取自他们公布的实验结果.本文算法, Torresani等[48]与GLMD [24]在CMU house序列[44]图像中均给出了最优的平均配准率, 本文算法在CMU hotel [43]序列图像中给出了最优的平均配准率. 图 15图 16分别给出了本文算法的CMU hotel [43]和CMU house [44]的配准实例.

      表 3  CMU hotel和CMU house序列图像的平均配准率

      Table 3.  The average registration rate of CMU hotel and CMU house sequence images

      算法名称 CMU hotel CMU house
      GMMREG [22] 97.1 % 99.5 %
      Torresani等[48] 100 %
      FGM [49] 100 %
      GLMD [24] 100 %
      Leordeanu等[45] 94.8 % 99.8 %
      Caetano等[47] <90 % <96 %
      本文算法 99.6 % 100 %

      图  15  CMU hotel序列图像配准实例(CMU hotel序列图像的第1张与第100张的配准结果, 图中连线代表特征点之间的对应关系.)

      Figure 15.  Registration example of CMU hotel sequence image (Registration results of CMU hotel sequence images of 1st and 100th, the lines represent the correspondence of feature points in the figure.)

      图  16  CMU house序列图像配准实例(CMU house序列图像的第1张与第111张的配准结果, 图中连线代表特征点之间的对应关系.)

      Figure 16.  Registration example of CMU house sequence image (Registration results of CMU house sequence images of 1st and 100th, the lines represent the correspondence of feature points in the figure.)

    • 我们采用公开的Mikolajczyk数据集[46]测试了本文算法与TPS-RPM [18]、CPD [20-21]、GMMREG [22]、RPM-L2E [23]、PR-GLS [26]六种算法的图像配准性能.本实验首先通过SIFT算法分别提取“boat”和“”graf”图像对的特征点, 然后使用基于点集配准的方法完成图像配准, 并将配准后的图像与参考图像交替组合形成5×5的棋盘图像(Checkboards)用于视觉比较配准结果.性能测试通过人工选取10对均匀分散且易识别的标志点, 将标志点的均方根误差[53] (Root mean square error, RMSE), 平均绝对误差[53] (Mean absolute error, MAE), 中间误差[53] (Median error, MEE)作为图像配准的误差评判标准. 表 4表 5分别展示了本文算法与与TPS-RPM [18]、CPD [20-21]、GMMREG [22]、RPM-L2E [23]、GLMD [24]、PR-GLS [26]六种算法的误差对比, 图 17分别展示了本文算法与六种算法在“boat”图像与“graf”图像的配准实例.在图 17 (a)和17 (b)中, 第一列至第四列分别是参考图像、待配准图像、配准后的图像、棋盘图像; 第一行至第七行分别是CPD算法[21]、TPS-RPM算法[18]、GMMREG算法[22]、PR-GLS算法[26]、RPM-L2E算法[23]、GLMD算法[24]和本文算法的配准效果展示.此外, 在图 17 (a)图 17 (b)的图像配准展示中未配准正确的区域用方框在棋盘图像中进行了标注, 本文算法给出了最优的图像配准效果. 表 4表 5给出了各算法的配准结果.

      表 4  “boat”图像配准结果的误差展示

      Table 4.  Registration error of boat image

      算法 RMSE MAE MEE
      CPD 1.4513 1.8151 0.2486
      GMMREG 12.0899 4.2977 16.513
      RPM-L2E 1.9918 0.8515 2.4792
      TPS-RPM 42.3288 14.9059 53.4349
      GLMD 1.6392 2.0807 0.495
      PR-GLS 1.9291 0.8609 2.0807
      Ours 1.0799 0.8523 0.134

      表 5  “graf”图像配准结果的误差展示

      Table 5.  Registration error of graf image

      算法 RMSE MAE MEE
      CPD 74.9729 94.3400 24.8849
      GMMREG 41.6075 53.4556 17.0273
      RPM-L2E 47.7672 64.1356 22.5171
      TPS-RPM 97.4394 125.3333 21.2458
      GLMD 38.2704 48.5050 17.4508
      PR-GLS 75.0847 90.4167 46.5821
      Ours 1.5312 1.7801 0.5905

      图  17  本文算法与CPD[21]、TPS-RPM[18]、GMMREG[22]、PR-GLS[26]、RPM-L2E[23]、GLMD[24]六种算法的图像配准实例

      Figure 17.  Comparison examples of our method, CPD[21], TPS-RPM[18], GMMREG[22], PR-GLS[26], RPM-L2E[23] and GLMD[24]

    • 我们已经详细介绍了1)模糊形状上下文特征、2)特征互补的高斯混合模型和3)局部空间向量相似性约束项, 并描述了基于模糊形状上下文与局部向量相似性约束的配准算法.在本文的实验部分, 我们首先测试了模糊形状上下文特征的检索率, 然后采用公开数据集测试了算法在点集配准与图像配准的性能, 同时与当前流行的十种算法进行了对比实验.在实验中, 由于模糊形状上下文提高了原始形状上下文对特征的识别度, 特征互补的高斯混合模型解决了单一特征和强制一一对应的问题, 局部空间向量相似性约束项增加了配准算法的稳定性, 本文算法在大部分实验中性能均超过了当前流行算法.

    • 本文采用求解极值点的方法计算式(19)的解, 为了方便计算式(18)的偏导数, 我们首先将式(18)转换为了矩阵形式:

      $$ \begin{align} {\rm Exp} = \, & \frac{1}{{2{\alpha ^2}}}({\rm tr} ({Q^{\rm T} }{A_Q}Q) + {\rm tr} ({P^{\rm T}}{A_P}P)-\\ &2{\rm tr}({P^{\rm T}}AQ)-2{\rm tr} ({W^{\rm T}}BAQ) + \\ &2{\rm tr} ({W^{\rm T}}B{A_P}P) + {\rm tr} ({W^{\rm T}} B{A_P}BW)) + \\ &\frac{1}{{2{\beta ^2}}}{\rm tr} ({C^{\rm T}}A) + {Q_A}{\rm ln}{\alpha ^2}{\beta ^2} +\\&\frac{\rho }{2}{\rm tr} ({W^{\rm T}}BW) + \frac{\varrho }{2}{\rm tr} ({K^{\rm T}}K) \end{align} $$ (A1)

      其中, $ C $是一个$ N\times M $的矩阵, 具体定义如下:

      $$ \begin{align} {C_{nm}} = \, & {\rm tr} (S_m^{\rm T}{(Q)}{S_m}(Q)) + \\& {\rm tr} (S_n^{\rm T}{(P)}{S_n}(P))- {\rm tr} (S_m^{\rm T}{(Q)}{S_n}(P)) \end{align} $$ (A2)

      且有:

      $$ \begin{align} \left\{\!\! {\begin{array}{*{20}{c}} {{A_P} = {\rm diag}\{A\;{\bf{1}}\}\;}\\ {A_Q} = {\rm diag}\{A^{\rm T}{\bf{1}\}} \end{array}} \right. \end{align} $$ (A3)

      这里加粗的1代表了一个元素全是1的列向量, diag$ \{\cdot\} $代表一个对角矩阵.对式(A1)求偏导数:

      $$ \begin{align} \frac{{\partial {\rm Exp}}}{{\partial {\alpha ^2}}} = \, & - \frac{1}{{2{\alpha ^4}}}({\rm tr}({Q^{\rm T}}{A_Q}Q) + \\ & {\rm tr}({P^{\rm T}}{A_P}P)-\ 2{\rm tr}({P^{\rm T}}AQ)- \\ & 2{\rm tr}({W^{\rm T}}BAQ) + 2{\rm tr}({W^{\rm T}}B{A_P}P) + \\ & {\rm tr}({W^{\rm T}}B{A_P}BW)) + \frac{{{Q_A}}}{{{\alpha ^2}}} \end{align} $$ (A4)
      $$ \begin{align} \frac{{\partial {\rm Exp}}}{{\partial {\beta ^2}}} = \, & - \frac{1}{{2{\beta ^4}}}{\rm tr}({C^{\rm T}}A) + \frac{{{Q_A}}}{{{\beta ^2}}} \end{align} $$ (A5)
      $$ \begin{align} \frac{{\partial {\rm Exp}}}{{\partial W}} = \, & {A_P}(BW + P) + \varrho{\alpha ^2}{F^{\rm T}}(FBW-J) \, + \\ &\rho{\alpha ^2}IW-AQ \end{align} $$ (A6)

      其中, $ F = U^P-HI $, $ J = ({U^Q}-HI)AQ-({U^P}-HI)P $, 当且仅当式(A4)、(A5)与(A6)同时取0时, 式(19)取得极值点, 即:

      $$ \begin{align} & \frac{{\partial {\rm Exp}}}{{\partial {\alpha ^2}}} = 0\\ & \Rightarrow \\ {\alpha ^2} = \, & \frac{1}{{2{Q_A}}}({\rm tr}({Q^{\rm T}}{A_Q}Q) + {\rm tr}({P^{\rm T}}{A_P}P)-\\ & \qquad 2{\rm tr}({P^{\rm T}}AQ) - 2{\rm tr}({W^{\rm T}}BAQ) + \\ &\qquad 2{\rm tr}({W^{\rm T}}B{A_P}P) + {\rm tr}({W^{\rm T}}B{A_P}BW)) \end{align} $$ (A7)
      $$ \begin{align} & \frac{{\partial {\rm Exp}}}{{\partial {\beta ^2}}} = 0\\ & \Rightarrow \\ & {\beta ^2} = \frac{{{\rm tr}({C^{\rm T}}A)}}{{2{Q_A}}} \end{align} $$ (A8)
      $$ \begin{align} & \frac{{\partial {\rm Exp}}}{{\partial W}} = 0\\ & \Rightarrow \\ & W = {({A_P}B + \rho{\alpha^2}I + \varrho{\alpha^2} {F^{\rm T}}FB)^{-1}}\\ & (AQ-{A_P}P + \varrho{\alpha^2}{F^{\rm T}}J) \end{align} $$ (A9)

      至此, 求得EM算法中能量方程(19)的解, 完成在空间变换更新时的参数优化.

参考文献 (53)

目录

    /

    返回文章
    返回