2.793

2018影响因子

(CJCR)

  • 中文核心
  • EI
  • 中国科技核心
  • Scopus
  • CSCD
  • 英国科学文摘

留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

基于Wi-Vi指纹的智能手机室内定位方法

黄刚 胡钊政 蔡浩 陶倩文 李祎承

黄刚, 胡钊政, 蔡浩, 陶倩文, 李祎承. 基于Wi-Vi指纹的智能手机室内定位方法. 自动化学报, 2020, 46(2): 320-331. doi: 10.16383/j.aas.2018.c170189
引用本文: 黄刚, 胡钊政, 蔡浩, 陶倩文, 李祎承. 基于Wi-Vi指纹的智能手机室内定位方法. 自动化学报, 2020, 46(2): 320-331. doi: 10.16383/j.aas.2018.c170189
HUANG Gang, HU Zhao-Zheng, CAI Hao, TAO Qian-Wen, LI Yi-Cheng. Smartphone-based Accurate Indoor Positioning From Wi-Vi Fingerprints. ACTA AUTOMATICA SINICA, 2020, 46(2): 320-331. doi: 10.16383/j.aas.2018.c170189
Citation: HUANG Gang, HU Zhao-Zheng, CAI Hao, TAO Qian-Wen, LI Yi-Cheng. Smartphone-based Accurate Indoor Positioning From Wi-Vi Fingerprints. ACTA AUTOMATICA SINICA, 2020, 46(2): 320-331. doi: 10.16383/j.aas.2018.c170189

基于Wi-Vi指纹的智能手机室内定位方法


DOI: 10.16383/j.aas.2018.c170189
详细信息
    作者简介:

    黄刚   武汉理工大学博士研究生.主要研究方向为计算机视觉和室内/室外定位. E-mail: gh@whut.edu.cn

    蔡浩   武汉理工大学博士研究生.主要研究方向为室内/室外定位.E-mail: caihao@whut.edu.cn

    陶倩文  武汉理工大学智能交通中心博士研究生.主要研究方向为三维计算机视觉, 室内定位与车辆定位. E-mail:tqw@whut.edu.cn

    李祎承   武汉理工大学博士研究生.主要研究方向为计算机视觉, 车载视觉定位. E-mail: ycli@whut.edu.cn

    通讯作者: 胡钊政  武汉理工大学教授.主要研究方向为计算机视觉, 室内/室外定位和主动视觉监控系统.本文通信作者. E-mail: zzhu@whut.edu.cn
  • 本文责任编委 徐德
  • 基金项目:

    国家自然科学基金 51679181

    湖北省技术创新项目重大专项 2016AAA007

    湖北省留学人员科技活动项目择优资助经费 2016- 12

Smartphone-based Accurate Indoor Positioning From Wi-Vi Fingerprints

More Information
    Author Bio:

    HUANG Gang  Ph.D. candidate at Wuhan University of Technology. His research interest covers computer vision, indoor/outdoor localization

    CAI Hao    Ph.D. candidate at Wuhan University of Technology. His research interest covers indoor/outdoor localization

    TAO Qian-Wen    Ph.D. candidate at Wuhan University of Technology. Her research interest covers 3D computer vision, indoor localization, and vehicle localization

    LI Yi-Cheng    Ph.D. candidate at Wuhan University of Technology. His research interest covers computer vision, vision based vehicle localization

    Corresponding author: HU Zhao-Zheng   Professor at Wuhan University of Technology. His research interest covers computer vision, indoor/outdoor localization, active surveillance system. Corresponding author of this paper
  • Recommended by Associate Editor XU De
  • Fund Project:

    National Natural Science Foundation of China 51679181

    the Major Project of Technological Innovation in Hubei Province 2016AAA007

    the Science-technology Funds for Overseas Chinese Talents of Hubei Province 2016- 12

  • 摘要: 室内定位是近些年国内外研究的热点, 但是目前的室内定位技术在适用性、稳定性和推广性方面仍然存在诸多问题.针对目前室内定位技术的不足, 面向公共室内场景的人员自定位问题, 本文创新性地提出以室内广泛存在、均匀分布的消防安全出口标志为路标(Landmark), 提出以Wi-Vi指纹-WiFi与视觉(Vision)信息相融合的指纹, 为位置表征的多尺度定位方法.该方法首先利用室内广泛存在的WiFi无线信号进行粗定位, 缩小定位范围; 然后在WiFi定位的基础上通过视觉全局和局部特征匹配实现图像级定位和验证; 最后参考消防安全出口标志的空间坐标精确计算用户的位置信息.实验中, 通过市面上流行的不同型号智能手机在12 000平米办公楼和4万平米商场分别进行实地定位测试.测试结果表明:该方法可以达到实时定位的要求, 图像级定位准确率均在97 %以上, 平均定位误差均在0.5米以下.本文所提出的基于Wi-Vi指纹智能手机定位方法为高精度室内定位问题建议了一种新的解决思路.
    本文责任编委 徐德
    Recommended by Associate Editor XU De
  • 图  1  WiFi与视觉相融合的定位指纹— Wi-Vi指纹

    Fig.  1  WiFi and vision integrated positioning fingerprint — Wi-Vi fingerprint

    图  2  Wi-Vi指纹定位技术示意图

    Fig.  2  Procedures of Wi-Vi fingerprint based positioning method

    图  3  基于Wi-Vi指纹定位的Android软件使用示意图

    Fig.  3  Illustration of the Wi-Vi based Android application

    图  4  办公楼4、5楼CAD平面图(方块表示标志消防安全出口标志; 预先对每个出口标志进行编号)

    Fig.  4  CAD map of the fourth and fifth floor of office building (Exit signs are represented by blocks; Exit signs are pre-numbered)

    图  5  奥山世纪城3楼和−1楼CAD平面图(方块表示消防安全出口标志, −1楼标志过于密集, 仅用虚线标出出口标志集中区域; 预先对每个出口标志进行编号)

    Fig.  5  CAD map of the third floor and −1st floor of Orsun century city (Exit signs are represented by blocks, signs of −1st floor are not listed here due to too dense of signs; Exit signs are pre-numbered)

    图  6  实验中采集的WiFi数据分布和图像数据

    Fig.  6  Collected WiFi data distribution and image data

    图  7  WiFi定位结果

    Fig.  7  The result of WiFi positioning

    图  8  图像全局特征与局部特征匹配

    Fig.  8  Holistic and local feature matching for a pair of image

    图  9  图像级定位结果

    Fig.  9  The results of image-level positioning

    图  10  度量级定位修正后的最终定位结果

    Fig.  10  The results of final positioning after matric positioning

    表  1  Wi-Vi指纹

    Table  1  Wi-Vi fingerprint

    索引 Wi-Vi特征
    1 WiFi指纹 MAC [00238975abc0, 24dec63766a0, 24dec637ac40, 24dec638f120, 00238979acc0, 002389799c80, 24dec6379740, 24dec6390fe0, 24dec63905e0, 24dec6376f40, 002389798be0, 00238975b1b0]
    RSSI (dBm) [-81, -81, -83, -81, -63, -81, -82, -73, -78, -83, -86, -85]
    图像数据 全局特征 [211, 80, 47, 62, 40, 234, 93, 24, 180, 91, 195, 245, 215, 156, 59, 121, 196, 129, 255, 199, 175, 5, 119, 117, 209, 35, 120, 129, 124, 85, 190, 83]
    局部特征 (416, 306), [157, 73, 7, 244, 149, 70, 239, 252, 148, 226, 66, 66, 113, 99, 49, 227, 88, 100, 50, 239, 105, 212, 61, 174, 41, 139, 239, 4, 63, 121, 48, 160] ……
    单应矩阵 [1.1, 3.2, 336.0; 0, 3.5, 281.0; 0, 0, 1]
    参考坐标(mm) (8 000, 7 800, 2 200); (8 000, 8 050, 2 200); (8 000, 8 050, 1 050); (8 000, 7 800, 1 050)
    下载: 导出CSV

    表  2  定位误差与定位耗时对比实验

    Table  2  Positioning error results and time consuming comparison

    方法 平均定位耗时(s) 平均定位误差(m) 误差$ \leq 1 $ m的占比(%)
    本文提出的方法 0.6 0.3 98
    文献[13]的方法 0.1 4.5 30
    文献[14]的方法 5.0 3.1 31
    文献[18]的方法 1.8 0.8 77
    文献[19]的方法 15.1 1.0 94
    文献[22]的方法 22 3.1 37
    文献[23]的方法 2.5 2.0 35
    下载: 导出CSV
  • [1] Wang B, Chen Q Y, Yang L T, Chao H C. Indoor smartphone localization via fingerprint crowdsourcing: challenges and approaches. IEEE Wireless Communications, 2016, 23(3): 82-89 doi:  10.1109/MWC.2016.7498078
    [2] 陈锐志, 陈亮.基于智能手机的室内定位技术的发展现状和挑战.测绘学报, 2017, 46(10): 1316-1326 doi:  10.11947/j.AGCS.2017.20170383

    Chen Rui-Zhi, Chen Liang. Indoor positioning with smartphones: the state-of-the-art and the challenges. Acta Geodaetica et Cartographica Sinica, 2017, 46(10): 1316-1326 doi:  10.11947/j.AGCS.2017.20170383
    [3] Subbu K, Zhang C, Luo J, Vasilakos A. Analysis and status quo of smartphone-based indoor localization systems. IEEE Wireless Communications, 2014, 21(4): 106-112 doi:  10.1109/MWC.2014.6882302
    [4] 王飞, 崔金强, 陈本美, 李崇兴.一套完整的基于视觉光流和激光扫描测距的室内无人机导航系统.自动化学报, 2013, 39(11): 1889-1900 doi:  10.3724/SP.J.1004.2013.01889

    Wang Fei, Cui Jin-Qiang, Chen Ben-Mei, Lee T H. A comprehensive UAV indoor navigation system based on vision optical flow and laser FastSLAM. Acta Automatica Sinica, 2013, 39(11): 1889-1900 doi:  10.3724/SP.J.1004.2013.01889
    [5] Davidson P, Piché R. A survey of selected indoor positioning methods for smartphones. IEEE Communications Surveys & Tutorials, 2017, 19(2): 1347-1370
    [6] 桂振文, 吴侹, 彭欣.一种融合多传感器信息的移动图像识别方法.自动化学报, 2015, 41(8): 1394-1404 doi:  10.16383/j.aas.2015.c140177

    Gui Zhen-Wen, Wu Ting, Peng Xin. A novel recognition approach for mobile image fusing inertial sensors. Acta Automatica Sinica, 2015, 41(8): 1394-1404 doi:  10.16383/j.aas.2015.c140177
    [7] Khalajmehrabadi A, Gatsis N, Pack D J, Akopian D. A joint indoor WLAN localization and outlier detection scheme using LASSO and elastic-net optimization techniques. IEEE Transactions on Mobile Computing, 2017, 16(8): 2079-2092 doi:  10.1109/TMC.2016.2616465
    [8] Au A W S, Feng C, Valaee S, Reyes S, Sorour S, Markowitz S N, et al. Indoor tracking and navigation using received signal strength and compressive sensing on a mobile device. IEEE Transactions on Mobile Computing, 2013, 12(10): 2050-2062 doi:  10.1109/TMC.2012.175
    [9] 袁鑫, 吴晓平, 王国英.线性最小二乘法的RSSI定位精确计算方法.传感技术学报, 2014, 27(10): 1412-1417 doi:  10.3969/j.issn.1004-1699.2014.10.020

    Yuan Xin, Wu Xiao-Ping, Wang Guo-Ying. Accurate computation approach of RSSI-based localization with linear least square method. Chinese Journal of Sensors and Actuators, 2014, 27(10): 1412-1417 doi:  10.3969/j.issn.1004-1699.2014.10.020
    [10] Zhuang Y, Yang J, Li Y, Qi L N, N. Smartphone-based indoor localization with Bluetooth low energy beacons. Sensors, 2016, 16(5): Article No. 596
    [11] Xiao J, Wu K S, Yi Y W, Wang L, Ni L M. Pilot: passive device-free indoor localization using channel state information. In: Proceedings of the 33rd IEEE International Conference on Distributed Computing Systems. Philadelphia, PA, USA: IEEE, 2013. 236-245
    [12] Song Q W, Guo S T, Liu X, Yang Y Y. CSI amplitude fingerprinting based NB-IoT indoor localization. IEEE Internet of Things Journal, 2017, DOI:  10.1109/JIOT.2017.2782479
    [13] He S N, Hu T Y, Chan S H G. Contour-based trilateration for indoor fingerprinting localization. In: Proceedings of the 13th ACM Conference on Embedded Networked Sensor Systems. Seoul, South Korea: ACM, 2015. 225-238
    [14] 李炜, 金亮, 陈曦.基于Android平台的室内定位系统设计与实现.华中科技大学学报(自然科学版), 2013, 41(S1): 422-424 http://d.old.wanfangdata.com.cn/Conference/8300488

    Li Wei, Jin Liang, Chen Xi. Indoor positioning system design and implementation based on Android platform. Journal of Huazhong University of Science and Technology (Natural Science Edition), 2013, 41(S1): 422-424 http://d.old.wanfangdata.com.cn/Conference/8300488
    [15] Shen L L, Hui W W S. Improved pedestrian Dead-Reckoning-based indoor positioning by RSSI-based heading correction. IEEE Sensors Journal, 2016, 16(21): 7762-7773 doi:  10.1109/JSEN.2016.2600260
    [16] 李楠, 陈家斌, 袁燕.基于WiFi/PDR的室内行人组合定位算法.中国惯性技术学报, 2017, 25(4): 483-487 http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=zggxjsxb201704011

    Li Nan, Chen Jia-Bin, Yuan Yan. Indoor pedestrian integrated localization strategy based on WiFi/PDR. Journal of Chinese Inertial Technology, 2017, 25(4): 483-487 http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=zggxjsxb201704011
    [17] Liu Z G, Zhang L M, Liu Q, Yin Y F, Cheng L, Zimmermann R. Fusion of magnetic and visual sensors for indoor localization: infrastructure-free and more effective. IEEE Transactions on Multimedia, 2017, 19(4): 874-888 doi:  10.1109/TMM.2016.2636750
    [18] Elloumi W, Latoui A, Canals R, Chetouani A, Treuillet S. Indoor pedestrian localization with a smartphone: a comparison of inertial and vision-based methods. IEEE Sensors Journal, 2016, 16(13): 5376-5388 doi:  10.1109/JSEN.2016.2565899
    [19] Guan K, Ma L, Tan X Z. Vision-based indoor localization approach based on SURF and landmark. In: Proceedings of the 2016 International Wireless Communications and Mobile Computing Conference (IWCMC). Paphos, Cyprus: IEEE, 2016. 655-659
    [20] Fang J B, Yang Z, Long S, Wu Z Q, Zhao X M, Liang F N, et al. high-speed indoor navigation system based on visible light and mobile phone. IEEE Photonics Journal, 2017, 9(2): Article No. 8200711
    [21] Hu Z Z, Huang G, Hu Y Z, Yang Z. WI-VI fingerprint: WiFi and vision integrated fingerprint for smartphone-based indoor self-localization. In: Proceedings of the 2017 IEEE International Conference on Image Processing (ICIP). Beijing, China: IEEE, 2017. 4402-4406
    [22] Dong J, Xiao Y, Noreikis M, Ou Z H, Ylä-Jääski A. iMoon: using smartphones for image-based indoor navigation. In: Proceedings of the 13th ACM Conference on Embedded Networked Sensor Systems. Seoul, South Korea: ACM, 2015. 85-97
    [23] 李乃鹏.视觉-WiFi联合无线终端用户识别算法研究[硕士学位论文], 北京交通大学, 中国, 2016

    Li Nai-Peng. Research on Wireless Terminal User Identification Algorithm Based on Vision and Wi-Fi Network[Master dissertation], Beijing Jiaotong University, China, 2016
    [24] 消防安全标志设置要求, GB 15630-1995, 2004

    Requirements for the Placement of Fire Safety Signs, GB 15630-1995, 2004
    [25] 消防应急照明和疏散指示系统, GB 17945-2010, 2011

    Fire Emergency Lighting and Evacuate Indicating System, GB 17945-2010, 2011
    [26] Rublee E, Rabaud V, Konolige K, Bradski G. ORB: an efficient alternative to SIFT or SURF. In: Proceedings of the 2011 IEEE International Conference on Computer Vision (ICCV). Barcelona, Spain: IEEE, 2011. 2564-2571
    [27] Wu C C. VisualSFM: a visual structure from motion system[Online], available: http://ccwu.me/vsfm/, January 22, 2018
  • [1] 马艳阳, 叶梓豪, 刘坤华, 陈龙. 基于事件相机的定位与建图算法: 综述[J]. 自动化学报, 2020, 46(): 1-11. doi: 10.16383/j.aas.c190550
    [2] 李帅鑫, 李广云, 王力, 杨啸天. Lidar/IMU紧耦合的实时定位方法[J]. 自动化学报, 2020, 46(): 1-13. doi: 10.16383/j.aas.c190424
    [3] 丁文东, 徐德, 刘希龙, 张大朋, 陈天. 移动机器人视觉里程计综述[J]. 自动化学报, 2018, 44(3): 385-400. doi: 10.16383/j.aas.2018.c170107
    [4] 俞毓锋, 赵卉菁, 崔锦实, 査红彬. 基于道路结构特征的智能车单目视觉定位[J]. 自动化学报, 2017, 43(5): 725-734. doi: 10.16383/j.aas.2017.c160413
    [5] 吴玉秀, 孟庆浩, 曾明. 基于声音的分布式多机器人相对定位[J]. 自动化学报, 2014, 40(5): 798-809. doi: 10.3724/SP.J.1004.2014.00798
    [6] 杨小军. 多跳无线传感器网络下信道感知的目标定位方法[J]. 自动化学报, 2013, 39(7): 1110-1116. doi: 10.3724/SP.J.1004.2013.01110
    [7] 林权, 赵方, 罗海勇, 康一梅. 基于图谱分解的无线定位算法[J]. 自动化学报, 2011, 37(3): 316-321. doi: 10.3724/SP.J.1004.2011.00316
    [8] 刘万军, 姜庆玲, 张闯. 基于CNN彩色图像边缘检测的车牌定位方法[J]. 自动化学报, 2009, 35(12): 1503-1512. doi: 10.3724/SP.J.1004.2009.01503
    [9] 王珂, 王伟, 庄严, 孙传昱. 基于几何-拓扑广域三维地图和全向视觉的移动机器人自定位[J]. 自动化学报, 2008, 34(11): 1369-1378. doi: 10.3724/SP.J.1004.2008.01369
    [10] 王珂, 王伟, 庄严. 一种基于MAP估计的移动机器人视觉自定位方法[J]. 自动化学报, 2008, 34(2): 159-166. doi: 10.3724/SP.J.1004.2008.00159
    [11] 罗海勇, 李锦涛, 赵方, 林权, 朱珍民, 袁武. 一种基于加权多尺度分析技术的鲁棒节点定位算法[J]. 自动化学报, 2008, 34(3): 288-297. doi: 10.3724/SP.J.1004.2008.00288
    [12] 刘丁, 吴雄君, 杨延西, 辛菁. 基于改进变尺度混沌优化的自标定位置视觉伺服[J]. 自动化学报, 2008, 34(6): 623-631. doi: 10.3724/SP.J.1004.2008.00623
    [13] 庄严, 王伟, 王珂, 徐晓东. 移动机器人基于激光测距和单目视觉的室内同时定位和地图构建[J]. 自动化学报, 2005, 31(6): 925-933.
    [14] 徐德, 涂志国, 谭民. 基于单应性矩阵的室内移动机器人视觉定位研究[J]. 自动化学报, 2005, 31(3): 464-469.
    [15] 刘全利, 王伟, 张振山. 基于脉冲能量模型的机械定位系统高精度定位[J]. 自动化学报, 2002, 28(6): 1025-1029.
    [16] 杨光正, THOMAS S.HUANG. 复杂景物中人面的定位[J]. 自动化学报, 1995, 21(4): 499-503.
    [17] 隋家贤, 黄苏南, 夏圈世. 故障检测与定位[J]. 自动化学报, 1995, 21(4): 487-493.
    [18] 罗兴权. 关于准确定位的初步探索[J]. 自动化学报, 1986, 12(1): 68-75.
  • 加载中
图(10) / 表(2)
计量
  • 文章访问数:  403
  • HTML全文浏览量:  214
  • PDF下载量:  68
  • 被引次数: 0
出版历程
  • 收稿日期:  2017-04-10
  • 录用日期:  2018-01-14
  • 刊出日期:  2020-02-20

基于Wi-Vi指纹的智能手机室内定位方法

doi: 10.16383/j.aas.2018.c170189
    基金项目:

    国家自然科学基金 51679181

    湖北省技术创新项目重大专项 2016AAA007

    湖北省留学人员科技活动项目择优资助经费 2016- 12

    作者简介:

    黄刚   武汉理工大学博士研究生.主要研究方向为计算机视觉和室内/室外定位. E-mail: gh@whut.edu.cn

    蔡浩   武汉理工大学博士研究生.主要研究方向为室内/室外定位.E-mail: caihao@whut.edu.cn

    陶倩文  武汉理工大学智能交通中心博士研究生.主要研究方向为三维计算机视觉, 室内定位与车辆定位. E-mail:tqw@whut.edu.cn

    李祎承   武汉理工大学博士研究生.主要研究方向为计算机视觉, 车载视觉定位. E-mail: ycli@whut.edu.cn

    通讯作者: 胡钊政  武汉理工大学教授.主要研究方向为计算机视觉, 室内/室外定位和主动视觉监控系统.本文通信作者. E-mail: zzhu@whut.edu.cn
  • 本文责任编委 徐德

摘要: 室内定位是近些年国内外研究的热点, 但是目前的室内定位技术在适用性、稳定性和推广性方面仍然存在诸多问题.针对目前室内定位技术的不足, 面向公共室内场景的人员自定位问题, 本文创新性地提出以室内广泛存在、均匀分布的消防安全出口标志为路标(Landmark), 提出以Wi-Vi指纹-WiFi与视觉(Vision)信息相融合的指纹, 为位置表征的多尺度定位方法.该方法首先利用室内广泛存在的WiFi无线信号进行粗定位, 缩小定位范围; 然后在WiFi定位的基础上通过视觉全局和局部特征匹配实现图像级定位和验证; 最后参考消防安全出口标志的空间坐标精确计算用户的位置信息.实验中, 通过市面上流行的不同型号智能手机在12 000平米办公楼和4万平米商场分别进行实地定位测试.测试结果表明:该方法可以达到实时定位的要求, 图像级定位准确率均在97 %以上, 平均定位误差均在0.5米以下.本文所提出的基于Wi-Vi指纹智能手机定位方法为高精度室内定位问题建议了一种新的解决思路.

本文责任编委 徐德

English Abstract

黄刚, 胡钊政, 蔡浩, 陶倩文, 李祎承. 基于Wi-Vi指纹的智能手机室内定位方法. 自动化学报, 2020, 46(2): 320-331. doi: 10.16383/j.aas.2018.c170189
引用本文: 黄刚, 胡钊政, 蔡浩, 陶倩文, 李祎承. 基于Wi-Vi指纹的智能手机室内定位方法. 自动化学报, 2020, 46(2): 320-331. doi: 10.16383/j.aas.2018.c170189
HUANG Gang, HU Zhao-Zheng, CAI Hao, TAO Qian-Wen, LI Yi-Cheng. Smartphone-based Accurate Indoor Positioning From Wi-Vi Fingerprints. ACTA AUTOMATICA SINICA, 2020, 46(2): 320-331. doi: 10.16383/j.aas.2018.c170189
Citation: HUANG Gang, HU Zhao-Zheng, CAI Hao, TAO Qian-Wen, LI Yi-Cheng. Smartphone-based Accurate Indoor Positioning From Wi-Vi Fingerprints. ACTA AUTOMATICA SINICA, 2020, 46(2): 320-331. doi: 10.16383/j.aas.2018.c170189
  • 近年来, 随着位置信息服务(Location based service, LBS)需求的增加, 面向智能手机的高精度室内定位成为国内外研究的热点[1-2].室外环境可以利用GPS进行定位, 然而室内环境无法很好地接收GPS信号, 给室内定位带来了挑战.国内外学者提出了很多室内定位系统(Indoor positioning system, IPS)试图解决室内场景的定位问题, 但是在适用性、稳定性和推广性方面仍然存在很多问题.

    目前智能手机室内定位方法按技术类别可以分为基于无线网络、基于测量传感器和基于视觉的定位方法[3-6].其中基于无线网络的定位方法主要使用的技术有WiFi、蓝牙等[7-10], 其中WiFi定位是目前文献中最为广泛使用的定位方法.利用WiFi进行定位主要有2种策略, 一是通过信号传播模型, 利用WiFi信号的接收信号强度(Received signal strength indication, RSSI)或信道状态信息[11-12] (Channel state information, CSI)计算与接入点(Access point, AP)距离进行定位.二是通过构建WiFi指纹地图, 利用当前WiFi信号与指纹地图的匹配进行位置估算. He等[13]提出基于无线信号等强度线的三边测量定位方法INTRI (Indoor trilateration using signal contours), 该方法构建AP的信号等强度线, 利用三边测量原理, 最小化当前位置与信号等强度线距离对当前位置进行估算.李炜等[14]设计了一套基于客户端/服务器架构的Android室内定位系统, 其定位思想是生成WiFi指纹数据库后, 通过KNN (K-nearest neighbor)算法算出与指纹数据库中欧氏距离最近的$k$个参考位置点, 再计算这$k$个参考点的几何中心得到估计位置.基于测量传感器的定位方法, 如行人航迹推算算法(Pedestrian dead reckoning, PDR)和地磁定位等, 使用智能手机已集成的测量传感器进行定位.然而传统的PDR算法由于使用陀螺仪作为方向传感器, 误差会随着时间的推移累积, 定位精度较差; 地磁定位易受环境干扰, 鲁棒性较差.目前倾向于与其他定位方式进行融合以获得较好的定位效果[15-17]. Shen等[15]利用室内环境中广泛存在的RSSI资源对PDR算法的航向进行修正, 获得了较好的效果.但该方法依然是相对定位, 需要人为给出初始位置.近些年, 利用智能手机搭载的摄像机进行视觉定位的方法越来越受到研究者的重视, 按照采用的技术不同, 可以分为基于图像匹配的定位和基于可见光通信的定位. Elloumi等[18]提出了一种基于Harris特征点和ZNCC (Zero-mean normalized cross correlation)匹配算法的视觉定位方法, 该方法预先在场景中选取Harris特征点较多的位置作为关键帧, 定位时提取当前图像的Harris特征点, 通过ZNCC匹配算法寻找最近关键帧, 并通过扩展卡尔曼滤波优化得到最终位置. Guan等[19]提出了基于室内场景中特殊标识的SURF (Speed up robust features)特征匹配定位方法, 该方法由离线采集数据和在线匹配2部分组成, 将当前图像与离线数据库中的特殊标识图像进行SURF特征点匹配, 获取匹配和单应矩阵后, 估计用户当前的位置. Fang等[20]提出一种基于可见光通信的定位方法, 该方法需要在场景中布设VLP (Visible light positioning)灯具, 该灯具可以发射具有UID (Unique identifier)的可见光信号, 利用智能手机内置摄像机对可见光进行捕获, 可以获得VLP灯具的UID信息, 通过VLP灯具在场景中的位置和几何解算即可获取智能手机在当前场景中的位置.

    基于WiFi的室内定位方法优点是采用了WiFi信号的地址信息, 可以很稳定地确定一个定位范围, 但此类方法的定位精度普遍较低, 多达10米的定位误差, 且WiFi信号受环境干扰较大, 定位精度的鲁棒性较差.基于视觉的方法的优点是易于在智能手机上集成, 但传统的基于图像匹配的视觉定位方法由于需要进行大量的图像特征点提取与匹配工作, 算法耗时较高, 定位精度受图像匹配正确率的影响较大, 图像匹配正确时可以达到亚米级定位精度, 然而一旦发生误匹配, 将产生较大定位误差; 基于可见光通信的定位方法受环境光噪声和VLP光源反射的影响较大, 鲁棒性较差, 且需要在场景中布设特制的VLP灯具, 定位成本较高.

    因此, 越来越多的研究者倾向于将视觉定位与其他定位方式进行融合[21-23], 以提升算法效率或定位的鲁棒性. Hu等[21]虽然融合了WiFi和视觉定位, 但在视觉定位中只采用全局描述符对场景进行描述, 对场景的表征能力较差, 使得鲁棒性较差, 容易产生误匹配. Dong等[22]提出一种WiFi定位与视觉定位相融合的方法, 该方法利用WiFi指纹和SfM (Structure from motion)技术构建室内3D模型, 通过当前获取的WiFi指纹和图像与3D模型的匹配计算当前位置.该方法虽然通过融合WiFi指纹定位减少了视觉匹配的工作量, 但为了保证定位精度, 需要通过自身采集大量场景图像或者收集众包数据(Crowdsourcing data)建立场景3D模型, 3D模型的加载需耗费大量时间, 并且该算法的整体耗时会随着场景面积和用于三维重建的图像数量的增加而增加, 无法实时获得定位结果.李乃鹏[23]提出一种WiFi和视觉融合的监控方法对室内场景中的用户进行定位和跟踪.场景中预设的AP会对智能手机发出的Probe request进行侦测, 获取用户智能手机接收到的不同AP的RSSI, 再根据信号特征、运动趋势和运动轨迹的匹配估算用户在场景中的位置, 在此基础上利用基于颜色直方图的粒子滤波图像跟踪技术完成对用户的跟踪.该方法由于采用的是10秒1次的Probe request, 所获取的RSSI数据稀疏, 无法解决用户移动速度较快和无规则轨迹移动情况下的定位问题, 且视觉部分利用包围框对目标位置进行估计, 定位精度受距离影响较大.

    本文针对目前文献中方法的不足, 面向公共室内场景, 如办公楼、商城和停车场等场所, 人员自定位问题, 提出了基于Wi-Vi指纹: WiFi特征与视觉(Vision)特征相融合的定位指纹的定位方法.该方法采用多尺度定位的思想, 首先利用室内环境中广泛存在的WiFi无线网络进行粗定位, 缩小定位范围; 然后在WiFi定位的基础上进行图像级定位并验证; 最后根据图像拍摄位姿和路标的坐标进行精确定位.本文的特色与新颖之处在于: 1)以室内广泛存在、均匀分布且受消防规范强制规定的消防出口标志为路标, 利用出口标志作为室内环境内的一种理想地图采样点.本文通过详细的算法论证, 证明这种新的定位路标可以提供一种稳定高效的关键帧定位. 2)本文提出了基于Wi-Vi指纹的多尺度定位方法, 该方法充分利用WiFi定位与视觉定位的优点, 通过优化所采用的KNN算法的$k$值, 在保证定位精度的基础上兼顾定位效率, 可以进行实时的高精度定位. 3)本文在多尺度定位中的图像级定位部分采用快速有效的全局ORB (Oriented fast and rotated brief)匹配算法和局部ORB验证算法, 能够有效地提升算法的整体效率和鲁棒性.

    • Wi-Vi指纹是WiFi特征与视觉特征相融合的定位指纹.如图 1所示, Wi-Vi指纹融合了WiFi特征、出口标志的视觉特征和场景的全局和局部视觉特征, 其意义在于, 在每一个出口标志附近都有唯一的WiFi特征和视觉特征, 且每一个出口标志在场景中有唯一的位置参考坐标.由于Wi-Vi特征在每个出口标志的坐标点上具备唯一性, 满足定位指纹的基本要求, 可以利用Wi-Vi指纹对每个消防安全出口标志进行唯一的位置表征.

      图  1  WiFi与视觉相融合的定位指纹— Wi-Vi指纹

      Figure 1.  WiFi and vision integrated positioning fingerprint — Wi-Vi fingerprint

      Wi-Vi指纹利用消防安全出口标志作为定位参考的路标, 一方面消防安全出口标志是由消防规范强制规定的、在室内场景广泛且均匀分布的标识[24-25], 很容易在视距范围内寻找到消防安全出口标志.另一方面, 消防安全出口标志在室内场景中的位置相对固定, 能够提供重要的位置参考信息. Wi-Vi指纹$ F_{Wi-Vi} $可表达为式(1)所示, 其中$ W_{i} $表示WiFi指纹, $ I_{i} $表示图像数据, $ C_{i} $表示位置坐标.

      $$ \begin{align} F_{Wi-Vi} = \{W_{i} ;C_{i} ;I_{i} \} \end{align} $$ (1)

      其中, WiFi指纹$ W_{i} $可以表述为:

      $$ \begin{align} \label{eq2} W_{i} = &\{(MAC_{1}, \overline {RSSI}_{1}), (MAC_{2}, \overline {RSSI}_{2}), \cdots, \end{align} $$
      $$ \begin{align} (MAC_{m_{i} }, \overline {RSSI}_{m_{i}})\} \end{align} $$ (2)

      式中, $ m_{i} $中为采样点$ i $处采集到的WiFi个数, $ MAC_{mi} $和$ \overline {RSSI} _{m_{i}} $为其对应的MAC (Media access control)地址和RSSI值.消防安全出口标志提供绝对参考坐标, 即$ C_{i} $中包含了消防安全出口标志4个顶点坐标:

      $$ \begin{align} C_{i} = & \{(x_{c}^{(1)}, y_{c}^{(1)}, z_{c}^{(1)});(x_{c}^{(2)}, y_{c} ^{(2)}, z_{c}^{(2)}); \\ & (x_{c}^{(3)}, y_{c}^{(3)}, z_{c}^{(3)});(x_{c}^{(4)}, y_{c}^{(4)}, z_{c} ^{(4)})\} \end{align} $$ (3)

      根据消防安全出口标志4个顶点在场景和图像中的坐标可以计算其单应矩阵$ H_{i} $, 作为图像数据$ I_{i} $中的一部分.对消防安全出口标志所在场景的图像进行全局和局部特征点检测和描述符提取, 生成图像特征$ f_{i} $, $ H_{i} $和$ f_{i} $构成Wi-Vi指纹中的图像数据:

      $$ \begin{align} I_{i} = \{H_{i} ;f_{i} \} \end{align} $$ (4)
    • Wi-Vi指纹定位方法分为Wi-Vi指纹地图生成和基于Wi-Vi指纹定位2个阶段, 如图 2所示.

      图  2  Wi-Vi指纹定位技术示意图

      Figure 2.  Procedures of Wi-Vi fingerprint based positioning method

      Wi-Vi地图生成阶段, 以消防安全出口标志为路标, 拍摄出口标志所在场景的图片, 同时采集WiFi数据, 并采集出口标志在整个室内场景内的空间坐标, 以此生成Wi-Vi指纹地图. Wi-Vi指纹定位阶段, 利用智能手机采集当前的WiFi和图像数据, 通过与Wi-Vi指纹地图的多尺度匹配获取当前的位置信息.

    • Wi-Vi地图生成阶段用于生成整个场景的Wi-Vi地图, 所生成的Wi-Vi地图 3要素为WiFi指纹、图像数据和位置坐标.因此, 其生成过程为以场景中每一个出口标志为一个采样点, 形成一个采样点集合$ S = \{{s_1}, {s_2}, \cdots, {s_n}\} $, 有别于传统的对地图网格化后进行遍历采样, 我们只对采样点集合$ S $中的区域进行离散采样.每一个采样点索引$ s_{i} $记录3部分数据, 分别是WiFi信息、图像信息和消防安全出口标志顶点位置坐标.

      图  3  基于Wi-Vi指纹定位的Android软件使用示意图

      Figure 3.  Illustration of the Wi-Vi based Android application

      1) WiFi指纹数据处理

      由于多径效应的存在, 为了提高WiFi指纹的鲁棒性, 对采集到的同一MAC地址的WiFi强度值做均值化处理:

      $$ \begin{align} {\overline{{RSSI}}_{m_i}} = \sum\limits_{j = 1}^{{N_c}}\frac{RSSI_{{m_i}}^{(j)}}{N_c} \end{align} $$ (5)

      式中, $ N_{c} $为同一采样点所采集的WiFi的采样次数, $ RSSI_{{m_i}}^{(j)} $为第$ j $次采集到的该点第$ m_{i} $个MAC地址所对应的RSSI值.利用式(2)和(5)即可完成对WiFi指纹数据的采集和处理.

      2) 视觉特征提取

      为了达到实时定位的目的, 本文采用了一种基于ORB算法[26]的快速、高效的图像匹配算法. ORB算法采用FAST算子用于特征点检测, 并给FAST算子赋予方向, 采用rBRIEF算子用于特征描述符计算.本文采用全局ORB算法对图像进行匹配, 并利用局部ORB算法对图像匹配的结果进行验证.传统的视觉地图对所采集的地图图像并不进行额外处理, 只赋予相应的索引, 在进行图像匹配时通过索引调用图像进行特征点检测、描述符提取和匹配等操作.本文为了提高定位算法的整体运行效率, 将耗时的地图图像特征提取在离线阶段完成, 即在Wi-Vi地图生成阶段, 提取地图图像的全局ORB描述符、局部ORB特征点及其对应的描述符, 并将以上数据存储至XML文件, 定位时通过读取XML文件获取相应的图像特征数据.

      局部ORB特征点的检测和描述符的提取方法较为成熟, 本文采用FAST-9检测子检测局部ORB特征点, 描述符的提取参照文献[26]中的方法.全局ORB描述符提取时, 首先将图像缩放成标准的图像块$ P(x, y) $, 并将图像块的中心点作为特征点所在的位置, 直接略过耗时的FAST特征点检测.在中心特征点的基础上提取图像的ORB描述符, 该描述符即是对消防安全出口标志所在场景的表征.图像块的描述符通过像素点之间的$ \tau $测试进行计算:

      $$ \begin{align} \tau (P;x, y): = \begin{cases} 1, &P(x) < P(y)\\ 0, &P(x) \ge P(y) \end{cases} \end{align} $$ (6)

      其中, $ P(x) $为图像$ P $中$ x $点处的灰度值, 经过$ \tau $测试即可获得图像块的描述符:

      $$ \begin{align} f: = \sum\limits_{i = 1}^n {{2^{i - 1}}\tau (P;x, y)} \end{align} $$ (7)

      3) 位置参考信息计算

      以整个室内场景建立世界坐标系, 消防安全出口标志4个顶点在场景中的坐标通过消防施工图纸标注和人工校验获得, 根据小孔成像模型建立图像坐标系与世界坐标系之间的关系:

      $$ \begin{align} [ {{u_m}} {{v_m}} 1]^{\rm T} \cong K[R t] [{{X_w}} {{Y_w}} {{Z_w}} 1]^{\rm T} \end{align} $$ (8)

      其中, $ [{{u_m}} {{v_m}} 1]^{\rm T} $和$ [{{X_w}} {{Y_w}} {{Z_w}}]^{\rm T} $分别为同一消防安全出口标志顶点在图像坐标系和场景世界坐标系中的坐标, $ K $、$ R $、$ t $分别为相机的内参数、旋转矩阵和平移向量.

      消防安全出口标志4个顶点处于一个平面上, 根据平面单应性, 设该单应平面处于$ Z = 0 $的平面坐标系中:

      $$ \begin{align} [ {{u_m}} {{v_m}} 1]^{\rm T} \cong H [ {{X_h}} {{Y_h}} 1]^{\rm T} \end{align} $$ (9)

      其中, $ [{{u_m}} {{v_m}} 1]^{\rm T} $和$ [{{X_h}} {{Y_h}} 1]^{\rm T} $分别为同一消防安全出口标志顶点在图像坐标系和平面坐标系中的坐标, $ H $为单应矩阵.则设场景世界坐标系与平面坐标系的关系为:

      $$ \begin{align} [{{X_w}} {{Y_w}} {{Z_w}}]^{\rm T} = {R_p} [{{X_h}} {{Y_h}} 0]^{\rm T} + {t_p} \end{align} $$ (10)

      其中, $ R_{p} $和$ t_{p} $分别为2个坐标系之间的旋转矩阵和平移向量, 通过式(9)和式(10)可以将图像点通过平面单应性映射至场景世界坐标系.

    • 基于Wi-Vi指纹的定位算法分为3个步骤, 分别是基于WiFi匹配的粗定位、基于图像匹配的图像级定位和度量级定位(Metric positioning).定位时, 用户在当前出口标志附近获取当前WiFi信息和图像信息.当前获取的WiFi信息与Wi-Vi指纹地图中的WiFi信息进行匹配, 确定粗定位范围; 在粗定位的范围内, 进一步进行图像级定位和验证, 确定用户拍摄的出口标志在采样点集合$ S $中的序号, 最后根据该序号出口标志对应的空间坐标和图像拍摄位姿确定用户在场景的精确位置.

      1) 基于WiFi匹配的粗定位

      WiFi信息中的MAC地址是一种强烈的位置约束, 在一定程度上能够反应采集当前WiFi的位置与采样点之间的空间距离关系.本文同时考虑MAC地址匹配数量和RSSI匹配的强弱, 提出一种WiFi匹配算法:

      $$ \begin{align} M(A, B) = \prod\limits_{i = 1}^N{(1 + \lambda )\exp \left( - {{\left(\frac{{{A_i} - {B_i}}}{{{A_i}}}\right)}^2}\right)} \end{align} $$ (11)

      其中, $ N $为MAC地址匹配数量, $ A_{i} $和$ B_{i} $为第$ i $个匹配到的MAC地址对应的当前WiFi的RSSI和地图WiFi的RSSI, $ \lambda \ge 0 $为经验值. $ (1+\lambda) $反应了MAC地址匹配数量带来的影响, $ \exp(- {(({A_i} -{B_i})/{A_i})^2}) $反应了同一个MAC地址下的RSSI差值所带来的影响.为了方便计算, 公式可以化简为:

      $$ \begin{align} L(A, B) & = \ln (M(A, B)) = \\ &N\ln (1 + \lambda ) - \sum\limits_{i = 1}^N {{{\left(\frac{{{A_i} - {B_i}}}{{{A_i}}}\right)}^2}} \end{align} $$ (12)

      $ L(A, B) $反映了当前WiFi与Wi-Vi指纹地图中WiFi的匹配程度, 可以很容易看出, 当$ L(A, B) $值越大时, WiFi匹配程度越高, $ L(A, B) $值取得最大值时, 说明用户当前所在的位置靠近取得最大值时采样点的位置.但是由于WiFi定位的误差较大, 当短距离内存在多个出口标志时, 只选用最大匹配值会造成较大的定位误差.因此, 在WiFi粗匹配时引入KNN算法思想, 以KNN算法的$ k $值作为返回的WiFi匹配数量, 即将$ L(A, B) $值进行从大到小排列, 取前$ k $个值所对应的图像序号进入下一步图像级定位.

      2) 基于ORB特征匹配的图像级定位与验证

      WiFi粗匹配中返回了$ k $张地图图像, 提取这$ k $张地图图像和当前定位帧的全局ORB描述符, 并分别计算这$ k $张地图图像描述符与当前帧描述符之间的Hamming距离:

      $$ \begin{align} {D_R}({f^1}, {f^2}) = \sum\limits_{i = 1}^{256} {XOR} ({f^1}, {f^2}) \end{align} $$ (13)

      其中, $ f^{1} $和$ f^{2} $分别为地图图像和当前帧图像的全局ORB描述符, 通过计算的Hamming距离对比, 利用KNN算法将Hamming距离最近地图图像作为图像级定位结果.

      ORB全局特征匹配虽然很大程度上提升了图像级定位的效率, 但是由于只提取了图像中的一个特征点, 对于相似场景的区分能力较弱.为了提高算法的鲁棒性, 本文在图像级定位的基础上进行基于ORB局部特征匹配[26]的验证.验证时只对当前图像和图像级定位所确定的最近地图图像进行一对一的匹配, 根据所匹配到的特征点的数量进行验证.设定阈值Num$ _{T} $, 当匹配到的特征点数目Num$ _{\rm matched}\ge $ Num$ _{T} $, 则认定验证成功并进行下一步度量级定位; 反之则需要用户重新进行定位.

      3) 度量级定位

      图像级定位验证成功后进行度量级定位, Wi-Vi指纹地图生成时会存储地图图像拍摄时的位姿$ H_{i} $, 通过图像级匹配可以获取最近的地图图像序号, 即可通过图像序号索引获取当时图像拍摄时的位姿$ H $.通过RANSAC (Random sample consensus)算法计算得到当前帧图像与指纹地图图像之间的单应矩阵$ H_{ml} $, 满足以下关系:

      $$ \begin{array}{*{20}{c}}[ {{u_m}} & {{v_m}} & 1]^{\rm T} \cong H_{ml} [{{u_l}}& {{v_l}} &1]^{\rm T} \end{array}] $$ (14)

      和$ \begin{array}{*{20}{c}}[{{u_l}} & {{v_l}} &1]^{\rm T} \end{array}]$分别为地图图像与当前帧图像所建立的图像坐标系, 则通过下列公式, 可以获得当前帧图像与世界坐标系之间的关系:

      $$\begin{array}{*{20}{c}} {{{\left[ {\begin{array}{*{20}{c}} {{u_l}}&{{v_l}}&1 \end{array}} \right]}^{\rm{T}}} \cong H_{ml}^{ - 1}H{{\left[ {\begin{array}{*{20}{c}} {{X_h}}&{{Y_h}}&1 \end{array}} \right]}^{\rm{T}}} \cong }\\ {{H_l}{{\left[ {\begin{array}{*{20}{c}} {{X_h}}&{{Y_h}}&1 \end{array}} \right]}^{\rm{T}}}} \end{array}$$ (15)

      对于小孔成像模型有:

      $$ \begin{array}{*{20}{c}} {H_l} \cong K [{{r_1}} & {{r_2}} &1]^{\rm T} \end{array}] $$ (16)

      其中, $ K $为摄像机内参数矩阵, 当前图像拍摄的位姿可以通过如下公式计算:

      $$ \begin{align} \begin{cases} R = \Bigg[ \dfrac{{{K^{ - 1}}{H_l}^{(1)}}}{{\| {{K^{ - 1}}{H_l}^{(1)}} \|}} \dfrac{{{K^{ -1}}{H_l}^{(2)}}}{{\| {{K^{ - 1}}{H_l}^{(2)}}\|}} \! \dfrac{{{K^{ - 1}}{H_l}^{(1)}}}{{\| {{K^{ -1}}{H_l}^{(1)}} \|}} \otimes \\\qquad\dfrac{{{K^{ - 1}} {H_l}^{(2)}}}{{\| {{K^{ - 1}}{H_l}^{(2)}} \|}} \Bigg] \\ t = {K^{ - 1}}\dfrac{{{H_l}^{(3)}}}{{\| {{K^{ - 1}}{H_l}^{(1)}} \|}} = {K^{ - 1}}\dfrac{{{H_l}^{(3)}}}{{\| {{K^{ -1}}{H_l}^{(2)}} \|}} \end{cases} \end{align} $$ (17)

      通过当前图像拍摄的位姿, 可以通过以下公式获取相机在场景世界坐标系中的位置:

      $$ \begin{align} Position = \begin{bmatrix} 1&0&0\\ 0&1&0 \end{bmatrix} \left[ { - {R_p}{R^{ - 1}}t + {t_p}} \right] \end{align} $$ (18)

      其中, $ \begin{bmatrix} 1 & 0 & 0\\ 0 & 1 & 0 \end{bmatrix} $为正交投影矩阵, 通过式(18)即求解出相机在场景世界坐标系中的二维坐标.

    • 根据所提出的定位算法, 在Android平台上进行定位软件设计, 利用所设计的Android application在办公楼和商场这2类典型室内场景中进行测试.实验的目的在于测试本文所提出的多尺度定位算法的性能, 包括WiFi定位算法、图像级定位算法和度量级定位算法.并与国内外最新的相关文献进行对比, 对本文算法进行比较和分析.如图 3所示为基于Wi-Vi指纹定位的Android软件使用示意图.所设计的Android定位软件能够返回WiFi定位结果, 图像级定位结果和经过度量级定位修正后的最终定位结果, 其中WiFi定位和图像级定位的真值为当前出口标志的编号, 最终定位结果的真值为当前位置在室内场景内的坐标, 通过人工测量获得.定位时, 不同的实验人员持不同类型的手机(MIUI 1、MIUI 2A、HUAWEI P7、SAMSUNG T710、MEIZU MX5)使用定位软件, 所选用的5款手机涵盖了目前市面上常见的品牌、配置和Android版本, 其配置从低配双核1.5 GHz (MIUI 1)至高配8核2.2 GHz (MEIZU MX5)不等, 操作系统从Android 2.3 (MIUI 1)至Android 5.0 (MEIZU MX5)不等, 以此对本文所提出的算法和软件进行评估.

      选用的场景分别是武汉某大学校区办公楼和武汉奥山世纪广场.选用办公楼的4楼和5楼进行实验, 如图 4所示, 为办公楼4楼和5楼的CAD平面图. 4楼有17个消防安全出口标志, 5楼有16个消防安全出口标志, 共计33个消防安全出口标志, 实验中对2个楼层中的消防安全出口标志进行了预先编号.

      图  4  办公楼4、5楼CAD平面图(方块表示标志消防安全出口标志; 预先对每个出口标志进行编号)

      Figure 4.  CAD map of the fourth and fifth floor of office building (Exit signs are represented by blocks; Exit signs are pre-numbered)

      选用奥山世纪城3楼和$ -1 $楼作为实验场景, 其CAD平面图如图 5所示, 3楼建筑面积约为2万平米, 共有20个消防安全出口标志, $ -1 $楼的建筑面积约为2万平米, 共有60个消防安全出口标志.实验中对消防安全出口标志进行了预先编号.

      图  5  奥山世纪城3楼和−1楼CAD平面图(方块表示消防安全出口标志, −1楼标志过于密集, 仅用虚线标出出口标志集中区域; 预先对每个出口标志进行编号)

      Figure 5.  CAD map of the third floor and −1st floor of Orsun century city (Exit signs are represented by blocks, signs of −1st floor are not listed here due to too dense of signs; Exit signs are pre-numbered)

      图 6所示为所选用场景采集的WiFi数据分布图 6 (a)~6 (c)和图像数据图 6 (d)~6 (e).采集的WiFi数据包括MAC地址和对应的RSSI值, 采集的图像分辨率为$ 800\times 600 $ Pixel.办公楼场景的特点是人员流动较大, WiFi信号比较多, 但大多数WiFi信号强度都不高.且经常有来往人员自设热点, 信号的变动比较大, 部分出口标志的间隔很小, 最小间隔为3米.所选用的奥山世纪城3楼为商铺区, WiFi信号的数量较办公楼少, 光照变化强烈, 且存在大量相似场景. $ -1 $楼为停车场和美食区, 其特点是WiFi数量较少, 但WiFi的平均RSSI高于办公楼场景, 出口标志相对密集, 最小间隔仅为1.5米.

      图  6  实验中采集的WiFi数据分布和图像数据

      Figure 6.  Collected WiFi data distribution and image data

      对所采集的数据按照第1.2.1节所提出的方法进行处理生成Wi-Vi指纹地图.如表 1所示, 为节选索引1处的Wi-Vi指纹, 包括WiFi指纹数据、图像数据和参考坐标.其中WiFi指纹包括了MAC地址信息和RSSI值; 图像数据中包括场景的全局特征、局部特征以及单应矩阵; 参考坐标为消防安全出口标志4个顶点在整个场景中的三维坐标.

      表 1  Wi-Vi指纹

      Table 1.  Wi-Vi fingerprint

      索引 Wi-Vi特征
      1 WiFi指纹 MAC [00238975abc0, 24dec63766a0, 24dec637ac40, 24dec638f120, 00238979acc0, 002389799c80, 24dec6379740, 24dec6390fe0, 24dec63905e0, 24dec6376f40, 002389798be0, 00238975b1b0]
      RSSI (dBm) [-81, -81, -83, -81, -63, -81, -82, -73, -78, -83, -86, -85]
      图像数据 全局特征 [211, 80, 47, 62, 40, 234, 93, 24, 180, 91, 195, 245, 215, 156, 59, 121, 196, 129, 255, 199, 175, 5, 119, 117, 209, 35, 120, 129, 124, 85, 190, 83]
      局部特征 (416, 306), [157, 73, 7, 244, 149, 70, 239, 252, 148, 226, 66, 66, 113, 99, 49, 227, 88, 100, 50, 239, 105, 212, 61, 174, 41, 139, 239, 4, 63, 121, 48, 160] ……
      单应矩阵 [1.1, 3.2, 336.0; 0, 3.5, 281.0; 0, 0, 1]
      参考坐标(mm) (8 000, 7 800, 2 200); (8 000, 8 050, 2 200); (8 000, 8 050, 1 050); (8 000, 7 800, 1 050)
    • 实验时利用所设计的Android软件在每个出口标志进行10次验证, 即利用式(12)将当前WiFi与Wi-Vi指纹地图中的WiFi指纹数据进行10次匹配.如图 7所示为WiFi定位结果.本文利用KNN算法获取WiFi粗定位范围, 由于生成Wi-Vi指纹地图时, 在每个采样点采集了3次数据, 因此$ k $值的取值范围为$ 1\le k\le3n $, 其中$ n $为对应场景的采样点的数目.当$ k = 3n $时, 定位结果的准确率必为100 %.所以, KNN的$ k $值越小说明算法的性能越强.从图 7可以看出, 在办公楼、奥山世纪城3楼和奥山世纪城$ -1 $楼实验中, 当$ k $分别等于8、4、9时, WiFi粗定位的结果中必包含正确的采样点索引号.

      图  7  WiFi定位结果

      Figure 7.  The result of WiFi positioning

    • WiFi定位返回了粗定位索引, 根据索引在视觉特征XML文件中提取对应的视觉特征描述符, 并提取当前图像的视觉特征描述符, 根据第1.2.2节式(2)中的方法进行匹配和验证.图 8所示为节选的2张图像的全局特征与局部特征匹配图.

      图  8  图像全局特征与局部特征匹配

      Figure 8.  Holistic and local feature matching for a pair of image

      图 8中左侧图像为Wi-Vi指纹地图中的图像, 右侧图像为当前帧图像, 圆点为2幅图像的全局特征点, 全局描述符为图中所示的256位字符.图中还展示了部分局部特征点和局部特征描述符. 2幅图像之间的连线连接匹配到的特征点, 计算得到Num$ _{\rm matched} = 257 $, 大于设定的经验数Num$ _{T} = 20 $, 验证成功.如图 9所示, 为办公楼、奥山世纪城3楼和奥山世纪城$ -1 $楼实验的图像级定位结果.从图 9可以看出, 办公楼4楼和5楼的图像级定位准确率为97.9%, 奥山世纪城3楼的图像级定位准确率为97.5%, 奥山世纪城$ -1 $楼的图像级定位准确率为98.3%.

      图  9  图像级定位结果

      Figure 9.  The results of image-level positioning

    • 图像级定位返回与当前图像匹配最近的地图图像, 根据索引号获取对应的单应矩阵$ H $, 同时根据匹配到的特征点获取图像之间的单应矩阵$ H_{ml} $, 利用第1.2.2节式(3)所示度量级定位获取最终定位结果, 如图 10所示为最终的定位误差累计分布图.从图 10中可以看出, 在办公楼4楼和5楼实验中, 定位误差小于0.2米的定位次数占总实验次数的76.7%, 定位误差小于1米的定位次数占比为97.9%, 定位误差小于3米的定位次数占比为99.4%;在奥山世纪城3楼实验中, 定位误差小于0.2米的定位次数占总实验次数的70.5%, 定位误差小于1米的定位次数占比为97.5%, 定位误差小于3米和5米的定位次数占比为98.5%;在奥山世纪城$ -1 $楼的实验中, 定位误差小于0.2米的定位次数占总实验次数的75.5%, 定位误差小于1米的定位次数占比为98.3%, 定位误差小于3米的定位次数占比为98.7%, 定位误差小于5米的定位次数占比为99.7%.所有场景实验中, 定位误差小于1米的占比均在97%以上, 最大定位误差均小于6米.

      图  10  度量级定位修正后的最终定位结果

      Figure 10.  The results of final positioning after matric positioning

      从以上实验数据可以看出: 1) WiFi粗定位中, 当$ k = 9 $时, 3个场景的定位准确率全部收敛, 进入图像级定位的候选集被大大减少, $ k $值的优化有助于提升算法的整体效率和图像匹配的准确率. 2)通过WiFi定位与视觉定位的融合, 很大程度上提升了图像级定位的准确率, 各个场景均达到97%以上的图像级定位准确率. 3)算法的定位误差主要来源于图像级定位, 度量级定位由于完善的理论模型和高鲁棒性算法, 定位精度较高, 在图像级定位返回正确结果的基础上, 定位误差均小于1米.

    • 办公楼场景实验中, 还与文献[13-14, 18-19, 22-23]中的方法进行了定位耗时与定位误差的对比.文献[13-14, 18-19, 22-23]中的方法均可分为离线和在线2部分, 其中文献[13-14]实验对场景进行$ 1{ \rm m} \times 1 { \rm m} $的网格化处理, 以网格为采样点离线采集WiFi数据, 以生成文献[13]中的WiFi信号等强度轮廓线和文献[14]中的WiFi指纹, 定位时文献[14]中的KNN参数$ k $取2, 即据匹配到的最近的2个点的中心点作为定位结果.文献[18-19]对比实验中, 以制图部分采集的图像作为文献[18]中的关键帧和文献[19]的地图数据集, 定位部分的测试集作为文献[18-19]的测试集, 且设置文献[18]中的滑窗大小为4张图像.文献[22]中利用SfM算法进行3D模型建立, 本文采用VisualSFM[27]进行3D模型的建立, 2帧图像之间的最小匹配点数设置为15.文献[23]对比实验时, 由于楼道宽度为3米, 对场景进行$ 3{ \rm m} \times 3 { \rm m} $的划分, STD (Sequence trend determine)算法中$ \beta $取值为5, 表 2所示为本文方法与文献中方法的对比实验结果.从表 2可以看出, 本文算法的平均定位误差为0.3 m, 文献[13-14]中提出的WiFi定位方法平均定位误差分别为4.5 m和3.1 m, 文献[18]中提出的Harris $ + $ ZNCC方法平均定位误差为0.8 m, 文献[19]中提出的基于SURF特征点匹配的方法平均定位误差为1.0 m, 本文算法的平均定位误差均小于文献[13-14, 18-19, 22-23]中方法的定位误差, 并且本文算法在实验中误差小于1 m的实验次数占比为98%, 均高于文献[13-14, 18-19, 22-23]中方法.

      表 2  定位误差与定位耗时对比实验

      Table 2.  Positioning error results and time consuming comparison

      方法 平均定位耗时(s) 平均定位误差(m) 误差$ \leq 1 $ m的占比(%)
      本文提出的方法 0.6 0.3 98
      文献[13]的方法 0.1 4.5 30
      文献[14]的方法 5.0 3.1 31
      文献[18]的方法 1.8 0.8 77
      文献[19]的方法 15.1 1.0 94
      文献[22]的方法 22 3.1 37
      文献[23]的方法 2.5 2.0 35

      从对比实验数据可以看出, 单一的WiFi定位算法耗时低, 但是定位误差较大.视觉定位算法定位误差较小, 但由于图像特征的提取与匹配较为耗时, 其定位耗时较大.而文献[22]中虽然结合了WiFi定位与视觉定位, 但其所建立的SfM模型过于庞大, 无法进行实时定位, 且所建立的模型本身就存在误差, 导致基于该模型定位的定位误差进一步加大.因此, 该方法在大型室内场景中应用有一定的局限性, 可以应用于较小的室内场景中.文献[23]在WiFi定位部分由于采用的是10秒1次的Probe request, 数据稀疏, 且视觉部分只是采用图像中检测的目标框对目标位置进行估计, 算法的整体误差较大.本文算法与上述文献相比, 充分利用WiFi定位与视觉定位的优点, 在WiFi定位的基础上采用视觉定位方法, 提升定位精度, 且通过优化WiFi指纹定位$ k $值以减少图像匹配计算量.本文还采用全局ORB特征提取与匹配方法, 使得2张图像的平均匹配耗时从260 ms缩短为5 ms, 大大提升算法效率, 使得本文算法的整体平均耗时仅为0.6 s, 可以达到实时定位的要求.

    • 本文利用消防安全出口标志作为室内环境的数据采样点, 提出一种新的定位指纹-Wi-Vi指纹, 并提出基于Wi-Vi指纹的多尺度定位算法.通过不同智能手机在12 000平米办公楼和4万平米商场进行实地测试, 实验结果表明, 本文算法在实时定位的基础上, 各个实验场景的图像级定位达到97%以上的准确率, 平均定位误差在0.5米以下.本文所提出的定位方法不仅可以作为一种独立使用的高效的室内定位算法, 同时还可与目前主流的定位方法相结合或为其他定位方法提供稳定可靠的关键帧定位, 为解决室内定位问题建议了一种新的思路.

参考文献 (27)

目录

    /

    返回文章
    返回