2.793

2018影响因子

(CJCR)

  • 中文核心
  • EI
  • 中国科技核心
  • Scopus
  • CSCD
  • 英国科学文摘

留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

基于事件相机的合成孔径成像

余磊 廖伟 周游龙 杨文 夏桂松

余磊, 廖伟, 周游龙, 杨文, 夏桂松. 基于事件相机的合成孔径成像. 自动化学报, 2020, 45(x): 1−14. doi: 10.16383/j.aas.c200388
引用本文: 余磊, 廖伟, 周游龙, 杨文, 夏桂松. 基于事件相机的合成孔径成像. 自动化学报, 2020, 45(x): 1−14. doi: 10.16383/j.aas.c200388
Yu Lei, Liao Wei, Zhou You-Long, Yang Wen, Xia Gui-Song. Event camera based synthetic aperture imaging. Acta Automatica Sinica, 2020, 45(x): 1−14. doi: 10.16383/j.aas.c200388
Citation: Yu Lei, Liao Wei, Zhou You-Long, Yang Wen, Xia Gui-Song. Event camera based synthetic aperture imaging. Acta Automatica Sinica, 2020, 45(x): 1−14. doi: 10.16383/j.aas.c200388

基于事件相机的合成孔径成像


DOI: 10.16383/j.aas.c200388
详细信息
    作者简介:

    武汉大学电子信息学院副教授. 主要研究方向为稀疏信号处理, 图像处理和神经形态视觉感知. 本文通信作者. E-mail: ly.wd@whu.edu.cn

    武汉大学电子信息学院研究生. 主要研究方向为数字图像处理. E-mail: 2016301200164@whu.edu.cn

    武汉大学电子信息学院研究生. 主要研究方向为事件相机图像重建. E-mail: zhouyl2019@whu.edu.cn

    武汉大学电子信息学院教授. 主要研究方向为图像处理与机器视觉, 多模态信息感知与融合. E-mail: yangwen@whu.edu.cn

    武汉大学计算机学院教授, 主要研究兴趣包括计算机视觉、模式识别与智能系统、遥感图像解译等. E-mail: guisong.xia@whu.edu.cn

  • 基金项目:  国家自然科学基金(61871297)资助, 中央高校基本科研业务费专项资金(2042020kf0019)资助

Event Camera Based Synthetic Aperture Imaging

More Information
  • Fund Project:  Supported by National Natural Science Foundation of China (61871297), Fundamental Research Funds for the Central Universities of China (2042020kf0019)
  • 摘要: 合成孔径成像通过多角度获取目标信息来等效大孔径和小景深相机成像. 因此, 该技术可以虚化遮挡物, 实现对被遮挡目标的成像. 然而, 在密集遮挡和极端光照条件下, 由于遮挡物的密集干扰和相机本身较低的动态范围, 基于传统相机的合成孔径成像无法有效地对被遮挡目标进行成像. 本文利用事件相机低延时、高动态的特性, 提出基于事件相机的合成孔径成像方法. 事件相机产生异步事件数据, 具有极低的延时, 能够以连续视角观测场景, 从而消除密集干扰的影响. 而事件相机的高动态范围使其能够有效处理极端光照条件下的成像问题. 通过分析场景亮度变化与事件相机输出的事件点之间的关系, 从对焦后事件点重建出被遮挡目标, 实现基于事件相机的合成孔径成像. 实验结果表明, 本文方法与传统方法相比, 在密集遮挡条件下重建图像的对比度、清晰度、峰值信噪比和结构相似性指数均有较大提升. 同时, 在极端光照条件下, 本文方法能有效解决过曝/欠曝问题, 重建出清晰的被遮挡目标图像.
  • 图  1  基于传统相机的SAI和基于事件相机的SAI效果对比. 第1列分别为拍摄实景和目标图像. 第2、3、4列分别对应密集遮挡、极高光照条件、极低光照条件下, 基于传统相机的SAI和本文提出的基于事件相机SAI的成像结果对比.

    Fig.  1  Comparison of traditional camera based SAI and event camera based SAI. The first column are experimental scene and object image. Columns 2, 3, and 4 are correspond to the comparison of conventional camera based SAI results and event camera based SAI results under dense occlusions, extreme high light and extreme low light conditions.

    图  2  基于传统相机的合成孔径成像[4]

    Fig.  2  Traditional camera based SAI[4]

    图  3  基于事件相机的合成孔径成像系统原型

    Fig.  3  Prototype of synthetic aperture imaging system based on event camera

    图  4  亮度变化导致事件相机激发事件点数据. 光学成像系统等效于一个低通滤波器, 场景亮度的突变传入相机后转变为连续的亮度变化, 事件相机对亮度变化作出响应, 激发正极性(右下子图)或负极性(右上子图)事件点.

    Fig.  4  Event camera generates events when brightness changes. The optical imaging system is equivalent to a low-pass filter. The sudden change of brightness is converted into a continuous brightness change in the camera. Event camera responds to the brightness change and generates positive (bottom-right inset) or negative (top-right inset) events.

    图  5  极端光照条件下事件相机输出的事件流数据. 第一、二行分别对应于极高、极低光照下事件相机输出的三维事件点与事件点数量分布图.

    Fig.  5  Event stream generated by event camera under extreme low light condition. The first and second row are 3-D event stream and the distribution image of event number in extremely high or low light condition.

    图  6  两种不同类型的遮挡物. 相较于灌木枝丛, 纸板的缝隙数量极少, 且缝隙之间的间距较大.

    Fig.  6  Two different types of occluders. Compared with dense bushes, the number of gaps in cardboard is very small, and the space between the gaps is large.

    图  7  PSNR与负重建阈值阈值的关系

    Fig.  7  Relationship between PSNR and negative reconstruction threshold

    图  8  PSNR与尺度因子的关系

    Fig.  8  Relationship between PSNR and scale factor

    图  9  灌木枝丛遮挡条件下的多深度合成孔径成像结果与对比. 第一行为传统合成孔径成像结果, 第二行基于固定阈值重建法的成像结果, 第三行为基于自适应阈值重建法的成像结果.

    Fig.  9  Comparison of SAI results at different focus depths under the condition of dense bushes occlusion. The first row are SAI-T, the second row are reconstructed results with fixed thresholds , the third row are reconstructed results with adaptive thresholds.

    图  10  灌木枝从遮挡条件下的合成孔径成像结果与对比. 第一、二行分别对应于几何目标与玩具熊目标.

    Fig.  10  Comparison of SAI results under the condition of dense bushes occlusion condition. The first and second rows correspond to geometric object and teddy bear.

    图  11  不同密集遮挡条件情况下的合成孔径成像结果与对比. 第一行为极端密集遮挡情况, 第二行为一般密集遮挡情况, 第三行为稀疏遮挡情况.

    Fig.  11  Comparison of SAI results under different density occlusions condition. The first row are extremely dense occlusion, the second row are normal dense occlusion condition, the third row are sparse occlusion condition.

    图  12  极端光照条件下的合成孔径成像结果与对比. 第一、二行对应于极高光照条件下, 几何目标与玩具熊目标的合成孔径成像结果, 第三、四行对应于极低光照条件下, 几何目标与玩具熊目标的合成孔径成像结果.

    Fig.  12  Comparison of SAI results under extrme light conditions. The first and second rows correspond to geometric object and teddy bear under extremely high light condition,and the third and fourth rows correspond to geometric object and teddy bear under extremely low light condition.

    表  1  灌木枝丛遮挡条件下的多深度合成孔径成像质量对比

    Table  1  Quantitative comparison of multi-depth SAI results under dense bushes occlusion condition

    对焦深度 方法 PSNR SSIM
    0.4m 传统方法 16.72 dB 0.2167
    固定阈值重建 17.73 dB 0.2919
    自适应阈值重建 21.13 dB 0.3061
    0.8m 传统方法 15.41 dB 0.2693
    固定阈值重建 15.42 dB 0.2782
    自适应阈值重建 21.73 dB 0.3136
    1.2m 传统方法 17.62 dB 0.0916
    固定阈值重建 18.03 dB 0.1759
    自适应阈值重建 25.22 dB 0.4518
    下载: 导出CSV

    表  2  灌木枝丛遮挡条件下的合成孔径成像质量对比

    Table  2  Quantitative comparison of SAI results under the dense bushes occlusion condition

    目标类型 方法 PSNR SSIM
    几何目标 传统方法 13.45 dB 0.2313
    固定阈值重建 17.57 dB 0.2671
    自适应阈值重建 18.03 dB 0.2646
    玩具熊 传统方法 6.952 dB 0.1439
    固定阈值重建 7.795 dB 0.2175
    自适应阈值重建 9.199 dB 0.2334
    下载: 导出CSV

    表  3  不同密集遮挡情况下的多深度合成孔径成像质量对比

    Table  3  Quantitative comparison of SAI results under different density occlusions condition

    遮挡密集程度 方法 PSNR SSIM
    极端密集遮挡 传统方法 11.20 dB 0.1476
    固定阈值重建 17.14 dB 0.1884
    自适应阈值重建 18.52 dB 0.1741
    一般密集遮挡 传统方法 13.37 dB 0.4028
    固定阈值重建 18.54 dB 0.1840
    自适应阈值重建 19.51 dB 0.2037
    稀疏遮挡 传统方法 14.35 dB 0.5508
    固定阈值重建 11.22 dB 0.3384
    自适应阈值重建 14.19 dB 0.3912
    下载: 导出CSV
  • [1] Gershun A. The light field. Journal of Mathematics and Physics, 1939, 18(1-4): 51−151 doi:  10.1002/sapm193918151
    [2] Levoy M, Hanrahan P. Light field rendering. In: Proceedings of the 23rd Annual Conference on Computer Graphics and Interactive Techniques. ACM Press, New York, NY, USA: ACM, 1996.31−42.
    [3] Zhang X, Zhang Y, Yang T, Yang Y. Synthetic aperture photography using a moving camera-IMU system. Pattern Recognition, 2017, 62: 175−188 doi:  10.1016/j.patcog.2016.07.019
    [4] Vaish V, Wilburn B, Joshi N, Levoy M. Using plane+parallax for calibrating dense camera arrays. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Washington, DC, USA: IEEE 2004.1: I−I.
    [5] Vaish V, Garg G, Talvala E, Antunez E, Wilburn B, Horowitz M, et al. Synthetic aperture focusing using a shear-warp factorization of the viewing transform. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR)-Workshops. San Diego, CA, USA: IEEE 2005.129−129.
    [6] 项祎祎, 刘宾, 李艳艳. 基于共焦照明的合成孔径成像方法. 光学学报, 2020, 40(08): 73−79
    [7] Yang T, Zhang Y, Tong X, Zhang X, Yu R. A new hybrid synthetic aperture imaging model for tracking and seeing people through occlusion. IEEE Transactions on Circuits and Systems for Video Technology, 2013, 23(9): 1461−1475 doi:  10.1109/TCSVT.2013.2242553
    [8] Yang T, Zhang Y, Tong X, Zhang X, Yu R. Continuously tracking and see-through occlusion based on a new hybrid synthetic aperture imaging model. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Colorado Springs, USA: IEEE, 2011.3409−3416.
    [9] Joshi N, Avidan S, Matusik W, Kriegman D J. Synthetic aperture tracking: tracking through occlusions. In: Proceedings of the IEEE 11th International Conference on Computer Vision (ICCV). Rio de Janeiro, Brazil: IEEE, 2007.1−8.
    [10] 周程灏, 王治乐, 朱峰. 大口径光学合成孔径成像技术发展现状. 中国光学, 2017, 10(01): 25−38
    [11] Pei Z, Li Y, Ma M, Li J, Leng C, Zhang X, et al. Occluded-object 3D reconstruction using camera array synthetic aperture imaging. Sensors, 2019, 19(3): 607 doi:  10.3390/s19030607
    [12] Pei Z, Zhang Y, Chen X, Yang Y. Synthetic aperture imaging using pixel labeling via energy minimization. Pattern Recognition, 2013, 46(1): 174−187 doi:  10.1016/j.patcog.2012.06.014
    [13] Lichtsteiner P, Posch C, Delbruck T. A 128× 128 120 dB 15 μs latency asynchronous temporal contrast vision sensor. IEEE Journal of Solid-State Circuits, 2008, 43(2): 566−576 doi:  10.1109/JSSC.2007.914337
    [14] Brandli C, Berner R, Yang M, Liu S, Delbruck T. A 240 × 180 130 dB 3 μs Latency Global Shutter Spatiotemporal Vision Sensor. IEEE Journal of Solid-State Circuits, 2014, 49(10): 2333−2341 doi:  10.1109/JSSC.2014.2342715
    [15] Isaksen A, McMillan L, Gortler S J. Dynamically reparameterized light fields. In: Proceedings of the 27th Annual Conference on Computer Graphics and Interactive Techniques. ACM Press, New York, NY, USA: 2000.297−306.
    [16] Yang J C, Everett M, Buehler C, McMillan L. A real-time distributed light field camera. Rendering Techniques, 2002, 2002: 77−86
    [17] Wilburn B, Joshi N, Vaish V, Talvala E, Antunez E, et al. High performance imaging using large camera arrays. In: Proceedings of ACM SIGGRAPH 2005 Papers. Association for Computing Machinery, New York, NY, USA: ACM, 2005.765−776.
    [18] Vaish V, Levoy M, Szeliski R, Zitnick C L, Kang S B. Reconstructing occluded surfaces using synthetic apertures: Stereo, focus and robust measures. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR). New York, NY, USA: IEEE, 2006.2: 2331−2338.
    [19] Pei Z, Zhang Y, Yang T, Zhang X, Yang Y. A novel multi-object detection method in complex scene using synthetic aperture imaging. Pattern Recognition, 2012, 45(4): 1637−1658 doi:  10.1016/j.patcog.2011.10.003
    [20] Maqueda A I, Loquercio A, Gallego G, Garcia N, Scaramuzza D. Event-based vision meets deep learning on steering prediction for self-driving cars. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Salt Lake City, Utah, USA: IEEE, 2018.5419−5427.
    [21] Zhu A Z, Atanasov N, Daniilidis K. Event-based visual inertial odometry. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Honolulu, Hawaii, USA: IEEE, 2017.5391−5399.
    [22] Vidal A R, Rebecq H, Horstschaefer T, Scaramuzza D. Ultimate SLAM? Combining events, images, and IMU for robust visual SLAM in HDR and high-speed scenarios. IEEE Robotics and Automation Letters, 2018, 3(2): 994−1001 doi:  10.1109/LRA.2018.2793357
    [23] Cohen G, Afshar S, Morreale B, Bessell T, Wabnitz A, Rutten M, et al. Event-based sensing for space situational awareness. The Journal of the Astronautical Sciences, 2019, 66(2): 125−141 doi:  10.1007/s40295-018-00140-5
    [24] Kim H, Leutenegger S, Davison A J. Real-time 3D reconstruction and 6-DoF tracking with an event camera. In: Proceedings of the European Conference on Computer Vision (ECCV). Amsterdam, Netherlands: Springer, Cham, 2016.349−364.
    [25] Barua S, Miyatani Y, Veeraraghavan A. Direct face detection and video reconstruction from event cameras. In: Proceedings of the IEEE Winter Conference on Applications of Computer Vision (WACV). Lake Placid, NY, USA: IEEE, 2016.1−9.
    [26] Watkins Y, Thresher A, Mascarenas D, Kenyon G T. Sparse coding enables the reconstruction of high-fidelity images and video from retinal spike trains. In: Proceedings of the International Conference on Neuromorphic Systems (ICONS). New York, NY, USA: ACM, 2018.1−5.
    [27] Scheerlinck C, Barnes N, Mahony R. Continuous-time intensity estimation using event cameras. In: Proceedings of the Asian Conference on Computer Vision (ACCV). Perth, Australia: Springer, Cham, 2018.308−324.
    [28] Rebecq H, Ranftl R, Koltun V, Scaramuzza D. Events-to-video: Bringing modern computer vision to event cameras. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Long Beach, CA, USA: IEEE, 2019.3857−3866.
    [29] Scheerlinck C, Rebecq H, Gehrig D, Barnes N, Mahny R, Scaramuzza D. Fast image reconstruction with an event camera. In: Proceedings of the IEEE Winter Conference on Applications of Computer Vision (WACV). Colorado, USA: IEEE, 2020.156−163.
    [30] Wang L, Ho Y S, Yoon K J. Event-based high dynamic range image and very high frame rate video generation using conditional generative adversarial networks. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Long Beach, CA, USA: IEEE, 2019.10081−10090.
    [31] Goodman J W. Introduction To Fourier Optics. Colorado: Roberts and Company Publishers, 1995.
    [32] Hartley R, Zisserman A. Multiple view geometry in computer vision. Cambridge: Cambridge University Press, 2003.
    [33] Zhang Z. A Flexible New Technique for Camera Calibration. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2000, 22(11): 1330−1334 doi:  10.1109/34.888718
    [34] Wang L, Kim T K, Yoon K J. EventSR: From Asynchronous Events to Image Reconstruction, Restoration, and Super-Resolution via End-to-End Adversarial Learning. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR). IEEE, 2020.8315−8325.
    [35] Li H, Li G, Liu H, Shi L. Super-resolution of spatiotemporal event-stream image. Neurocomputing, 2019, 335: 206−214 doi:  10.1016/j.neucom.2018.12.048
    [36] Choi J, Yoon K J. Learning to Super Resolve Intensity Images From Events. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR). IEEE, 2020.2768−2776.
  • [1] 顾炼, 许诗起, 竺乐庆. 基于FlowS-Unet的遥感图像建筑物变化检测[J]. 自动化学报, doi: 10.16383/j.aas.c180122
    [2] 马艳阳, 叶梓豪, 刘坤华, 陈龙. 基于事件相机的定位与建图算法: 综述[J]. 自动化学报, doi: 10.16383/j.aas.c190550
    [3] 聂祥丽, 黄夏渊, 张波, 乔红. 极化合成孔径雷达图像相干斑抑制和分类方法综述[J]. 自动化学报, doi: 10.16383/j.aas.c180097
    [4] 周则明, 孟勇, 黄思训, 胡宝鹏. 基于能量最小化的星载SAR图像建筑物分割方法[J]. 自动化学报, doi: 10.16383/j.aas.2016.c150460
    [5] 陈伟, 张晓婷. 正交旋转不变 V 矩及其在图像重建中的应用[J]. 自动化学报, doi: 10.16383/j.aas.2015.c140347
    [6] 张东晓, 鲁林, 李翠华, 金泰松. 基于亚像素位移的超分辨率图像重建算法[J]. 自动化学报, doi: 10.3724/SP.J.1004.2014.02851
    [7] 涂波, 刘璐, 刘一会, 金野, 汤俊雄. 一种扩展小孔成像模型的鱼眼相机矫正与标定方法[J]. 自动化学报, doi: 10.3724/SP.J.1004.2014.00653
    [8] 肖照林, 王庆, 杨恒, 周果清. 基于随机遮挡孔径的光场图像混叠检测方法[J]. 自动化学报, doi: 10.3724/SP.J.1004.2014.00247
    [9] 郭复胜, 高伟. 基于辅助信息的无人机图像批处理三维重建方法[J]. 自动化学报, doi: 10.3724/SP.J.1004.2013.00834
    [10] 康慧, 高红霞, 胡跃明, 郭琪伟. 基于Bregman迭代的CT图像重建算法[J]. 自动化学报, doi: 10.3724/SP.J.1004.2013.01570
    [11] 苏衡, 周杰, 张志浩. 超分辨率图像重建方法综述[J]. 自动化学报, doi: 10.3724/SP.J.1004.2013.01202
    [12] 李展, 张庆丰, 孟小华, 梁鹏, 刘玉葆. 多分辨率图像序列的超分辨率重建[J]. 自动化学报, doi: 10.3724/SP.J.1004.2012.01804
    [13] 孙琰玥, 何小海, 宋海英, 陈为龙. 一种用于视频超分辨率重建的块匹配图像配准方法[J]. 自动化学报, doi: 10.3724/SP.J.1004.2011.00037
    [14] 张峰, 史利民, 孙凤梅, 胡占义. 一种基于图像的室内大场景自动三维重建系统[J]. 自动化学报, doi: 10.3724/SP.J.1004.2010.00625
    [15] 戴培山, 王博亮, 鞠颖. 视网膜血管图像分割及眼底血管三维重建[J]. 自动化学报, doi: 10.3724/SP.J.1004.2009.01168
    [16] 于忠党, 王龙山. 基于LS-SVR的图像噪声去除算法研究[J]. 自动化学报, doi: 10.3724/SP.J.1004.2009.00364
    [17] 禹晶, 苏开娜, 肖创柏. 一种改善超分辨率图像重建中边缘质量的方法[J]. 自动化学报, doi: 10.1360/aas-007-0577
    [18] 刘国才, 王耀南. 多层Mumford-Shah向量值图像分割、去噪与重建模型[J]. 自动化学报, doi: 10.1360/aas-007-0602
    [19] 王风, PRINET Veronique, 马颂德. 用干涉合成孔径雷达技术获取地表三维信息[J]. 自动化学报
    [20] 陈书海. 去除系统模糊的图像复原方法[J]. 自动化学报
  • 加载中
计量
  • 文章访问数:  8
  • HTML全文浏览量:  2
  • 被引次数: 0
出版历程
  • 收稿日期:  2020-06-17
  • 录用日期:  2020-09-14

基于事件相机的合成孔径成像

doi: 10.16383/j.aas.c200388
    基金项目:  国家自然科学基金(61871297)资助, 中央高校基本科研业务费专项资金(2042020kf0019)资助
    作者简介:

    武汉大学电子信息学院副教授. 主要研究方向为稀疏信号处理, 图像处理和神经形态视觉感知. 本文通信作者. E-mail: ly.wd@whu.edu.cn

    武汉大学电子信息学院研究生. 主要研究方向为数字图像处理. E-mail: 2016301200164@whu.edu.cn

    武汉大学电子信息学院研究生. 主要研究方向为事件相机图像重建. E-mail: zhouyl2019@whu.edu.cn

    武汉大学电子信息学院教授. 主要研究方向为图像处理与机器视觉, 多模态信息感知与融合. E-mail: yangwen@whu.edu.cn

    武汉大学计算机学院教授, 主要研究兴趣包括计算机视觉、模式识别与智能系统、遥感图像解译等. E-mail: guisong.xia@whu.edu.cn

摘要: 合成孔径成像通过多角度获取目标信息来等效大孔径和小景深相机成像. 因此, 该技术可以虚化遮挡物, 实现对被遮挡目标的成像. 然而, 在密集遮挡和极端光照条件下, 由于遮挡物的密集干扰和相机本身较低的动态范围, 基于传统相机的合成孔径成像无法有效地对被遮挡目标进行成像. 本文利用事件相机低延时、高动态的特性, 提出基于事件相机的合成孔径成像方法. 事件相机产生异步事件数据, 具有极低的延时, 能够以连续视角观测场景, 从而消除密集干扰的影响. 而事件相机的高动态范围使其能够有效处理极端光照条件下的成像问题. 通过分析场景亮度变化与事件相机输出的事件点之间的关系, 从对焦后事件点重建出被遮挡目标, 实现基于事件相机的合成孔径成像. 实验结果表明, 本文方法与传统方法相比, 在密集遮挡条件下重建图像的对比度、清晰度、峰值信噪比和结构相似性指数均有较大提升. 同时, 在极端光照条件下, 本文方法能有效解决过曝/欠曝问题, 重建出清晰的被遮挡目标图像.

English Abstract

余磊, 廖伟, 周游龙, 杨文, 夏桂松. 基于事件相机的合成孔径成像. 自动化学报, 2020, 45(x): 1−14. doi: 10.16383/j.aas.c200388
引用本文: 余磊, 廖伟, 周游龙, 杨文, 夏桂松. 基于事件相机的合成孔径成像. 自动化学报, 2020, 45(x): 1−14. doi: 10.16383/j.aas.c200388
Yu Lei, Liao Wei, Zhou You-Long, Yang Wen, Xia Gui-Song. Event camera based synthetic aperture imaging. Acta Automatica Sinica, 2020, 45(x): 1−14. doi: 10.16383/j.aas.c200388
Citation: Yu Lei, Liao Wei, Zhou You-Long, Yang Wen, Xia Gui-Song. Event camera based synthetic aperture imaging. Acta Automatica Sinica, 2020, 45(x): 1−14. doi: 10.16383/j.aas.c200388
  • 合成孔径成像(Synthetic aperture imaging, SAI) 作为光场[1, 2]计算成像领域的重要分支, 克服了单一视角拍摄时对遮挡目标无法有效成像的问题, 如图1(a), (e)所示. 通过将相机在多视角拍摄的图像帧进行映射与合成, 合成孔径成像可等效于一个虚拟的大孔径和小景深相机成像, 因此能够虚化远离对焦平面的遮挡物, 实现对被遮挡目标的成像, 在遮挡物去除[3, 4, 5, 6], 目标识别与跟踪[7, 8, 9, 10]以及场景三维重建[11]等方面具有极高的应用价值.

    图  1  基于传统相机的SAI和基于事件相机的SAI效果对比. 第1列分别为拍摄实景和目标图像. 第2、3、4列分别对应密集遮挡、极高光照条件、极低光照条件下, 基于传统相机的SAI和本文提出的基于事件相机SAI的成像结果对比.

    Figure 1.  Comparison of traditional camera based SAI and event camera based SAI. The first column are experimental scene and object image. Columns 2, 3, and 4 are correspond to the comparison of conventional camera based SAI results and event camera based SAI results under dense occlusions, extreme high light and extreme low light conditions.

    然而, 在密集遮挡和极端光照条件下, 由于遮挡物的密集干扰和相机本身较低的动态范围, 基于传统相机的合成孔径成像无法有效地对被遮挡目标进行成像. 图1(b)给出了传统和成孔径成像方法在密集遮挡条件下的成像结果. 由于遮挡物过于密集, 减少了来自被遮挡目标的信息, 而增加了遮挡物的干扰, 因此会严重影响成像结果的清晰度和对比度. 针对这一问题, 现有方法通过移除干扰像素点, 从而提高对被遮挡目标的成像效果[11, 12]. 但是, 密集遮挡会大大降低遮挡物像素标记的准确度, 从而影响合成孔径成像的质量. 图1(c), (d)给出了传统合成孔径成像方法在极端光照下的成像结果. 由于传统相机的动态范围较低, 不可避免会引起过曝光/欠曝光问题, 导致无法对目标有效成像. 对于这一问题, 目前仍然没有有效的改善方法.

    针对上述问题, 本文提出了一种基于事件相机的合成孔径成像方法, 能够有效提升在密集遮挡条件下的合成孔径成像质量; 同时, 在极端光照条件下也能有效地对被遮挡目标进行成像. 事件相机是受生物视觉启发的一类新型视觉传感器, 例如动态视觉传感器 (Dynamic Vision Sensor, DVS)[13] 和动态主动像素视觉传感器 (Dynamic and Active-pixel Vision Sensor, DAVIS)[14]. 与传统相机不同, 事件相机感知场景的对数域亮度变化, 输出异步事件流数据, 具有极低的延时和极高的动态范围. 与高延时的传统相机相比, 事件相机能够以极低的延时响应亮度的瞬时变化. 因此, 在合成孔径过程中, 事件相机能够连续地对场景和目标进行感知. 在密集遮挡条件下, 事件相机能够获取更多的被遮挡目标信息, 从而提升成像质量, 如图1(f)所示. 此外, 具有极高动态范围的事件相机能在极端光照条件下, 根据亮度变化稳定地输出事件流, 进行合成孔径成像, 如图1(g), (h)所示. 利用事件相机进行多视角信息采集后, 进一步将事件流在目标深度下 映射, 完成对焦. 最后, 通过分析场景亮度与事件点数量的关系, 并针对亮度重建过程中存在的事件点抵消以及图像对比度下降问题, 本文提出基于非对称和自适应阈值的图像重建方法, 利用事件流进行亮度重建, 得到高清晰度、对比度的目标重建图像.

    论文的主要贡献如下:

    (1)本文提出利用事件相机进行合成孔径成像, 系统分析了基于事件相机合成孔径成像的基本原理、方法和优势.

    (2)针对基于事件相机合成孔径成像中存在的事件点抵消与图像对比度下降问题, 本文提出基于非对称和自适应阈值的合成孔径成像重建方法, 进一步提升了重建图像的质量.

    (3)通过实验表明, 本文方法不仅能够极大提升密集遮挡条件下的成像质量. 同时, 还能解决极端光照条件下的过曝光/欠曝光问题, 对被遮挡目标进行有效成像. 因此, 对于密集丛林遮挡、夜间穿透成像、昼间天文观测等极端场景, 本文方法具有极高的应用价值.

    下文安排如下: 第一节介绍了合成孔径成像和事件相机的基本原理与相关工作; 第二节介绍了基于事件相机的合成孔径成像原理与实现方法; 第三节在密集遮挡与极端光照下进行合成孔径成像实验, 验证本文方法的可行性、有效性; 第四节得出结论并介绍进一步的研究方向.

    • 图2为基于传统相机的合成孔径成像过程, 将相机在多视角输出的图像帧在一定对焦深度下进行映射与合成, 从而模拟一个虚拟的大孔径相机成像. 上述过程可以表示为

      $$ {I_{SAI}} = \frac{1}{L}\sum\limits_{i = 1}^L {f({I_i},{H_i(d)})} $$ (1)

      图  2  基于传统相机的合成孔径成像[4]

      Figure 2.  Traditional camera based SAI[4]

      其中, $ I_{i} $ 为相机输出的第 $ i $ 帧图像, $ H_{i}(d) $ 为将 $ I_{i} $ 对焦于深度 $ d $ 时的映射矩阵, $ f $ 表示映射过程, $ L $ 为图像帧总数, $ I_{SAI} $ 为合成孔径成像结果. 由于相机的孔径越大, 景深越小, 当虚拟相机的孔径足够大时, 可以通过虚化前景遮挡物, 实现“透视”的效果[15].

      现有的合成孔径成像方法主要采用传统相机进行成像, 利用移动的相机[2, 3]或相机阵列[16, 17]进行多视角拍摄, 采集光场信息. Vaish 等人提出平面+视差的方法校准相机阵列, 进行合成孔径成像[4]. 然而, 该方法要求对焦平面与相机平面保持严格平行. 针对此局限, Vaish 等人根据相机多视图原理[32], 提出了相机平面与聚焦平面相交时的合成孔径成像方法, 完成遮挡去除任务[5]. 然而, 受遮挡物光线干扰以及相机动态范围的限制, 传统合成孔径成像方法在密集遮挡极端光照下的目标重建性能较差.

      传统合成孔径成像在进行图像叠加时, 像素点可能来源于遮挡物像素, 对合成孔径成像结果的清晰度和对比度造成影响. 当遮挡物过于密集时, 目标信息的减少和遮挡干扰的增加可能导致无法有效重建被遮挡目标. 针对此问题, Vaish 等[18] 提出利用熵、中值、合成聚焦等方法来消除遮挡物像素对合成孔径成像的影响, 但是在遮挡物十分密集的情况下效果较差. Yang 等人通过对遮挡物进行深度估计, 得到遮挡物体的实际深度, 优化了合成孔径成像结果, 并将其用于严重遮挡场景下的行人追踪任务[8]. Pei 等人利用背景减法算法去除动态遮挡物来提高成像质量[19]. 然而, 该方法不适用于目标静止的场景. Yang等人利用能量最小化对函数像素进行二值标记, 但是该方法对场景的亮度和颜色十分敏感, 在复杂室外场景的遮挡物标记效果较差[12]. Pei等人设计能量函数对图像帧中的遮挡物像素进行标记和分类, 并进行场景的3D 重建[11]. 针对前景遮挡物干扰的问题, 现有方法在场景复杂以及遮挡物密集的场景下难以准确地区分遮挡像素与目标像素.

      此外, 传统相机的动态范围较低, 在极端光照下易出现过曝光、欠曝光问题. 尤其在场景亮度偏低时, 相机输出的图像帧还夹杂大量噪声, 直接影响合成孔径成像的目标重建质量, 如图1(d)所示. 针对这一问题, 目前尚无有效的解决方法.

    • 事件相机是受生物视觉系统启发的一类新型视觉传感器, 与传统相机相比存在一定区别. 传统相机基于帧进行成像, 输出同步图像帧, 像素点代表场景的绝对亮度; 事件相机基于像素点独立成像, 输出包含大量事件点的异步事件流, 事件流表示场景在对数域的亮度变化.

      事件点数据包含了亮度变化事件的像素坐标、触发时间和极性三类信息. 本文将事件点定义为

      $$ e_{i}(x,t) = \sigma_{i}\delta (x-x_{i})\delta (t-t_{i}) $$ (2)

      其中, $i \in 1,2,3,\cdots$ 为事件点序号, $ \delta(x),\delta(t) $ 分别表示为空间、时间上的单位冲激函数, $ x_{i} $ 为第 $ i $ 个事件的像素坐标, $ t_{i} $ 是第 $ i $ 个事件点的触发时间, $\sigma_{i}\in \{1,-1\}$ 为事件极性, 其取值由以下函数确定

      $$ {\sigma _i} = \rho \left(\log \left(\frac{{I({x_i})}}{{{I_{reset}}({x_i})}} \right),c\right) $$ (3)

      其中, $ I(x_i) $ 为图像 $ I $ $ x_{i} $ 位置像素点的亮度值, $ I_{reset}(x_i) $ $ x_{i} $ 位置像素点产生上一个事件点时的亮度值, $ c $ 为事件点的激发阈值, $ \rho $ 为一个截断函数

      $$ \rho (p,c) = \left \{ \begin{array}{*{20}{l}} + 1, \quad p \ge c \\ - 1, \quad p \le -c \end{array} \right. $$ (4)

      由此可见, 当对数域亮度增量大于 $ c $ 时, 激发正极性事件点, 此时 $ \sigma_{i} = 1 $ ; 当对数域亮度增量小于 $ -c $ 时, 激发负极性事件点, 此时 $ \sigma_{i} = -1 $ , 当对数域亮度增量的绝对值小于 $ c $ 时, 事件相机无输出.

      与逐帧成像的传统相机相比, 逐像素点独立成像的事件相机延时极低, 能够及时响应像素的亮度变化并输出事件流, 从而记录任意时刻的亮度变化情况. 此外, 在对数域感知亮度变化的特性 使相机具有很高的动态范围, 在极端光照条件下仍然能稳定地输出事件流.

      利用事件相机的低延时和高动态性质, 可以解决诸如高速运动、极端光照条件下的视觉感知问题, 例如自动驾驶[20], 高速SLAM[21, 22, 24], 全天候空间监测[23]等等. 此外, 事件相机也被广泛应用于高帧率、高动态范围视频生成以及场景三维重建中. Kim等人利用事件相机的低延时特性, 实现实时、高精度的六自由度跟踪以及场景三维重建[24]. Barua等人提出了一种基于子图像块的稀疏重建方法, 利用事件流和图像帧在带噪声情况下进行高帧率视频重建[25]. Watkins等人依据生物视网膜模型, 利用稀疏编码技术从事件流数据中重建高保真度、高帧率的图像[26]. Scheerlinck等人利用事件相机高动态范围的特性, 提出一种基于事件流和图像帧的互补滤波器算法, 能够在极端光照条件下重建出高对比度的图像[27]. Rebecq提出了一种新的递归网络(E2VID), 利用事件流生成高帧率视频, 该网络输出的重建图像质量远高于现有的重建方法[28]. Scheerlinck等人提则出了一种轻量级的神经网络(FireNet), 与Rebecq等人提出的E2VID网络 相比, FireNet有效降低了网络计算量, 提高了运行速率, 并且能够输出质量相当的重建图像[29]. Wang等人应用条件生成对抗网络, 利用纯事件流数据生成高动态范围、无动态模糊的高帧率视频[30].

      针对于合成孔径成像, 由于基于传统相机的合成孔径成像在遮挡物密集时, 图像帧中遮挡物像素点占比远大于目标像素点, 从而导致图像帧在对焦、累加后, 得到的重建图像仍然无法有效地去除遮挡物, 对目标的重建效果较差. 且传统相机的动态范围较低, 在极端光照下易产生过曝光、欠曝光问题, 导致场景细节丢失. 因此, 本文采用低延时、高动态范围的事件相机进行合成孔径成像, 解决传统合成孔径成像在密集遮挡或极端光照条件下, 无法对被遮挡目标有效成像的问题.

    • 基于传统相机的合成孔径成像, 是将多视角拍摄的图像帧在目标所在深度下进行对焦和合成, 得到被遮挡目标的重建图像; 而基于事件相机的合成孔径成像, 则是将多视角采集的异步事件流进行对焦, 再通过图像亮度重建, 得到被遮挡目标的重建图像. 基于事件相机的合成孔径成像系统原型如图3所示. 虚拟对焦平面 $ \pi_{f} $ 是我们需要拍摄的平面, $ OC $ 是放置于相机平面 $ \pi_{C} $ $ \pi_{f} $ 之间的遮挡物. 由于 $ OC $ 的遮挡, 相机在单一视角无法对 $ \pi_{f} $ 进行完全观测. 这里我们利用事件相机进行合成孔径成像来观测目标平面.

      图  3  基于事件相机的合成孔径成像系统原型

      Figure 3.  Prototype of synthetic aperture imaging system based on event camera

      简单起见, 以 $ \pi_{f} $ 上的目标 $ P $ 来介绍基于事件相机的合成孔径成像系统工作原理. 定义 $ t $ 时刻事件相机在 $ \pi_{C} $ 上所处的位置为 $ C_{t} $ , 并假设相机实际对焦于参考平面 $ \pi_{ref} $ , 场景中的物体保持静止, 在移 动拍摄过程中, 事件相机始终位于平面 $ \pi_{C} $ 上, 且相机光轴垂直于该平面. 随着相机以匀速 $ v $ 向左平 移, $ P $ $ t_{m} $ 时刻附近在相机视野内被 $ OC $ 逐渐遮挡, 此时 $ P $ 在图像中的像素坐标为 $ x^{P}_{m} $ ; 于 $ t_{n} $ 时刻附近逐渐重现于相机视野, 此时 $ P $ 在图像中的坐标为 $ x^{P}_{n} $ . 如果 $ P $ $ OC $ 存在亮度差 $ |\Delta I| $ , $ P $ 被遮挡和重现的过程会引起 $ x^{P}_{m} $ , $ x^{P}_{n} $ 处的像素点亮度分别在 $ t_{m} $ , $ t_{n} $ 时刻发生改变, 如图4所示. 根据傅里叶光学理论[31], 光学成像系统等效于一个低通滤波器. 由于高频信息的缺失, $ t_{m} $ , $ t_{n} $ 时刻的亮度突变在输入相机后被平滑化, 转变为一段时间内的连续亮度变化. 事件相机对像素点的亮度变化作出响应, 并激发正极性(右下子图)或负极性(右上子图)事件点.

      图  4  亮度变化导致事件相机激发事件点数据. 光学成像系统等效于一个低通滤波器, 场景亮度的突变传入相机后转变为连续的亮度变化, 事件相机对亮度变化作出响应, 激发正极性(右下子图)或负极性(右上子图)事件点.

      Figure 4.  Event camera generates events when brightness changes. The optical imaging system is equivalent to a low-pass filter. The sudden change of brightness is converted into a continuous brightness change in the camera. Event camera responds to the brightness change and generates positive (bottom-right inset) or negative (top-right inset) events.

      根据前文分析可以得到, 由于亮度差 $ |\Delta I| $ 的存在, 随着事件相机不断移动, 当在缝隙期间观测时, 目标 $ P $ 对应的像素亮度会发生变化, 从而触发事件流. 这些事件点与 $ P $ $ OC $ 的亮度差 $ |\Delta I| $ 有关, 因此包含了 $ P $ 的光线信息. 然而, 由于相机在不同时刻的位置 $ C_{t} $ 不同, $ P $ 在多视角所引发事件点的空间坐标不一致, 其光线信息在图像中仍处于分散(离焦)状态. 为了将光线信息对齐, 需要对事件流进行对焦.

    • 传统合成孔径成像的对焦方法, 是将图像帧在对焦深度下进行逐帧映射, 完成目标光线信息的对齐; 而基于事件相机的合成孔径成像对焦方法, 则是将事件流中的事件点在对焦深度下进行逐点映射, 来完成目标光线的对齐工作. 由于事件流中的事件点是相互独立的, 事件点映射的实质是单个像素点坐标的映射. 因此, 本文首先讨论单个像素点坐标在不同相机位置下的映射关系, 藉由此关系, 对事件点进行逐点映射和对齐.

      仍然以图3中的目标 $ P $ 为例, 分析像素点坐标的映射方式. 首先定义 $ C_{t_{ref}} $ 为参考相机位置, 并以此为基准位置, 将 $ P $ 于不同相机位置引发的事件点坐标在 $ C_{t_{ref}} $ 的对应的成像平面上进行对齐. 定义 $ x^{P}_{ref,m} $ 是像素坐标 $ x^{P}_{m} $ 通过映射后, 在 $ C_{t_{ref}} $ 位置的像素坐标, $ X^{P}_{m}, X^{P}_{ref,m} $ 是分别对应于 $ x^{P}_{m}, x^{P}_{ref,m} $ 的相机坐标系坐标, 根据相机的针孔成像模型[19], 像素坐标系坐标 $ x $ 与相机坐标系坐标 $ X $ 的关系为

      $$ x = KX/d $$ (5)

      其中, $ K $ 为相机的内参矩阵, $ d $ 为合成孔径的焦距, 即相机坐标系下, 目标 $ P $ 与相机平面 $ \pi_{C} $ 之间的距离. 根据相机的多视图几何原理[32], $ X^{P}_{m}, X^{P}_{ref,m} $ 之间的变换关系满足刚体变换, 即

      $$ X^{P}_{ref,m} = R_{m}X^{P}_{m}+T_{m} $$ (6)

      其中, $ R_{m} $ $ T_{m} $ 是相机坐标系下, $ C_{t_{ref}} $ $ C_{t_{m}} $ 之间的旋转、平移矩阵. 利用公式(5)、(6), 可以推导出 $ P $ 在对应参考位置 $ C_{t_{ref}} $ 的像素坐标 $ x^{P}_{ref,m} $ 和对应 $ C_{t_{m}} $ 的像素坐标 $ x^{P}_{m} $ 之间的映射关系

      $$ {x^{P}_{ref,m}} = K{R_{m}}{K^{ - 1}}{x^{P}_{m}} + K{T_{m}}/d$$ (7)

      根据公式(7), 我们进一步对事件点进行逐点映射, 实现事件流对焦. 定义事件相机在移动拍摄过程中, 共输出了包含 $ M $ 个事件点的事件流, $ e_{i}(x,t) $ 为事件流中的事件点数据. 将 $ e_{i}(x,t) $ 经映射后的事件点定义为

      $$ \begin{split} e_{ref,i}(x,t) =& \sigma_{i}\delta (x-x_{ref,i})\delta (t-t_{i}), \\ & i \in \{1,2,\cdots,M\} \end{split} $$ (8)
      $$ {x_{ref,i}} = K{R_{i}}{K^{ - 1}}{x_{i}} + K{T_{i}}/d $$ (9)

      其中, $ x_{ref,i} $ $ x_{i} $ 经过映射后的事件坐标, $ R_{i} $ $ T_{i} $ 是相机坐标系下, $ C_{t_{ref}} $ $ C_{t_{i}} $ 之间的旋转、平移矩阵. 至此, 我们通过事件点映射完成了事件流的对焦工作, $ \pi_{f} $ 上目标所引发的事件点经映射后, 在 $ C_{t_{ref}} $ 位置被成功对齐, 它们的光线信息处于聚焦状态; 远离 $ \pi_{f} $ 的目标所引发的事件点未被成功对齐, 这些光线信息仍然处于离焦状态.

      由于图像帧中的像素值代表了场景的绝对亮度, 基于传统相机的合成孔径成像在完成对焦后, 将图像帧进行叠加取平均即可得到重建图像. 然而, 事件点仅包含对数域的亮度变化信息, 而不直接反映绝对亮度值. 因此在完成事件流对焦后, 不能直接通过事件点累加得到重建结果, 还需要设计合适的算法对事件流进行图像亮度重建.

    • 事件流是描述场景亮度变化的一类数据, 与场景的亮度值存在一定联系. 本节首先探究场景亮度与事件点数量的关系, 并以此为基础进行图像的亮度重建. 定义 $ I_{OC} $ $ OC $ 在图像中的亮度值, $ I(x^P) $ $ P $ 可见时, 对应于图像中坐标为 $ x^{P} $ 处像素的亮度值, $ OC $ $ P $ 的亮度差大小 $ |\Delta I| = |I_{OC}-I(x^{P})| $ . 由于事件相机具有极低的延时, 能够及时响应像素的亮度变化, 并立即激发事件点. 那么, 根据公式(3), 可以推导出 $ x^{P} $ 每发生一次亮度变化时, 理论激发的最大事件点个数

      $$ \begin{split} &N_{max}(I(x^{P}))= \\ & \left \{ \begin{array}{*{20}{l}} \left\lfloor {\log \left(\frac{{{I_{OC}} + |\Delta I|}}{{{I_{OC}}}} \right)/|c|} \right\rfloor, \quad I_{OC} < I(x^{P}) \\ \left\lfloor {\log \left(\frac{{{I_{OC}}}}{{{I_{OC}} - |\Delta I|}} \right)/|c|} \right\rfloor, \quad I_{OC} > I(x^{P})\\ 0, \quad {\rm{otherwise}} \end{array} \right.\\[-20pt] \end{split} $$ (10)

      其中, $ \left\lfloor \cdot \right\rfloor $ 为向下取整算子. 通过公式(10), 我们建立了 $ I_{OC} $ , $ I(x^{P}) $ $ N_{max}(I(x^{P})) $ 之间的联系: 在 $ I_{OC} $ 固定的情况下, $ N_{max}(I_{P}) $ 仅和 $ I_{OC} $ $ N_{max}(I(x^{P})) $ 的亮度差 $ |\Delta I| $ 有关, $ |\Delta I| $ 越大, 像素点发生单次亮度变化激发的事件点越多.

    • 针对利用公式(10)直接进行反向亮度重建时, 可能出现事件点抵消和图像对比度下降的问题, 本节提出了基于非对称和自适应阈值的图像亮度重建方法.

      由于事件相机具有微秒级的响应速度, 因此我们可以假设相机在拍摄时可以及时响应亮度变化并输出事件点, 即 $ I_{OC} $ , $ I(x^{P}) $ $ N_{mas}(I(x^{P})) $ 之间满足公式(10). 不失一般性, 本文以下的讨论基于遮挡物亮度低于后方场景亮度, 在其他场景下时可以依次进行类比. 在遮挡物亮度最低的情况下, 我们可以将 $ I_{OC} $ 作为最低亮度基准, 直接建立 $N_{max} (I(x^{P}))$ $ I(x^{P}) $ 之间的单调关系, 即 $ I(x^{P}) $ 的亮度值越大, $ x^{P} $ 发生一次亮度变化激发的事件点 $N_{max} (I(x^{P}))$ 越多, 如图4所示.

      事件点抵消问题: 由于事件相机的对称激发阈值, 在亮度重建过程中会存在正、负极性事件点抵消的问题. 定义 $ I_{SAI} $ 为事件流的亮度重建图像, 利用公式(10)进行亮度重建, 并考虑对正、负极性事件点设置对称重建阈值 $ c $ . 此条件下, 图像亮度重建的过程可以描述为

      $$ {I_{SAI}}(x,t) = {I_0}\cdot \exp \left(c \int_0^{{t}} {{e_{ref,i}}(x,s)ds} \right) $$ (11)

      其中, $ I_{0} $ 是亮度重建的初值, $ I_{SAI}(x,t) $ $ t $ 时刻, $ I_{SAI} $ 中坐标为 $ x $ 处像素点的亮度值. 由于事件相机具有对称的激发阈值, 同一目标在被遮挡和重现的过程中分别产生了数量相同、极性相反的事件点. 如果利用公式(11)进行重建时仍设定对称的阈值, 显然会出现正、负事件点相互抵消的情况, 导致亮度重建错误.

      本文提出非对称阈值法来解决事件点抵消的问题, 该方法针对不同极性的事件点, 设置非对称阈值进行亮度重建, 将公式(11)更新为

      $$ {I_{SAI}}(x,t) = {I_0}\cdot \exp \left( \int_0^{{t}} {c(\sigma_{i}){e_{ref,i}}(x,s)ds} \right) $$ (12)

      $ c $ 为非对称阈值函数

      $$ c(\sigma_{i}) = \left \{ \begin{array}{*{20}{l}} c_{on}, \quad \sigma_{i} = 1 \\ c_{off}, \quad \sigma_{i} = -1 \end{array} \right. $$ (13)

      其中, $ c_{on} $ $ c_{off} $ 非对称重建阈值. 本文在3.1节实验部分通过分析重建阈值对图像质量的影响, 选取 $ c_{on} = 1.5 $ , $ c_{off} = 0.3 $ . 由于 $ c_{on}>c_{off} $ , 正极性事件点的影响程度在亮度重建时远大于负极性事件点, 有效地防止了正负极性事件点数量相同导致亮度抵消的问题. 而且, 由于遮挡物的亮度低于后方场景亮度, 事件点数量越多, 说明该区域的亮度越高, 根据事件点数量可以有效地区分场景亮度, 进行亮度重建.

      图像对比度下降问题: 基于非对称阈值的重建方法还可能存在图像对比度下降的问题. 根据公式(12), 当采用非对称的固定阈值计算时, 随着参与计算的事件点数量增加, 像素点亮度呈指数关系变化, 事件点数量的差异可能使 $ I_{SAI} $ 中部分区域的重建亮度远大于其余区域, 导致图像整体对比度下降. 针对此问题, 本文提出一种基于非对称和自适应阈值的亮度重建方法. 该方法在进行亮度重建时, 根据事件点极性和当前像素的亮度值, 计算重建阈值, 从而防止局部区域亮度过高的问题. 对公式(12)做进一步修改

      $$ \begin{split} &{I_{SAI}}(x,t) = \\ & {I_0}\cdot \exp \left( \int_0^{{t}} {c_{AT}(\sigma_{i},I_{SAI}(x,s)){e_{ref,i}}(x,s)ds} \right) \end{split} $$ (14)

      其中, $ c_{AT} $ 为非对称和自适应阈值函数

      $$ \begin{split} &c_{AT}(\sigma_{i},I_{SAI}(x,t)) = \\ &\left \{ \begin{array}{*{20}{l}} c_{on}\exp ( -\lambda I_{SAI} (x,t)), \quad \sigma_{i} = 1 \\ c_{off}\exp ( \lambda I_{SAI} (x,t)), \quad \sigma_{i} = -1 \end{array}\right. \end{split} $$ (15)

      其中, $ \lambda $ 为尺度因子, 用于调整像素亮度值对阈值的影响程度. $ \lambda $ 越大, 像素亮度值对阈值计算的影响越大. 利用公式(15)进行重建时, 当前像素点 的亮度值越大 (小), 计算的正极性重建阈值越小 (大), 负极性阈值越大 (小), 从而避免重建图像中的部分像素亮度值远高于其余像素, 导致图像对比度下降.

    • 基于事件相机的合成孔径成像算法如算法 1所示. 首先, 将事件相机采集的事件流和相机内参矩阵 $ K $ 作为算法的参数输入, 初始化合成孔径成像 结果 $ I_{SAI} $ 并设定聚焦深度 $ d $ . 在确定参考相机位置 $ C_{t_{ref}} $ 后, 将事件点坐标 进行映射, 并判断映射后的坐标是否处于重建图像范围内. 对于处于图像范围 内的事件点, 则根据事件极性和当前像素亮度计算重建阈值, 对图像进行更新.

      利用事件相机感知亮度变化的特性, 以及低延时、高动态范围的优势, 基于事件相机的合成孔径成像方法能够在密集遮挡与极端光照环境下有效地进行合成孔径成像任务:

      密集遮挡: 传统相机在密集遮挡时, 图像帧中遮挡物像素占比远高于目标像素, 导致传统合成孔径成像无法有效重建出被遮挡目标. 而事件相机在移动拍摄时, 目标与遮挡物的亮度差使遮挡物边缘附近的像素点亮度发生改变并激发大量事件点, 这些事件点包含了目标的光线信息. 由于这类事件点仅在遮挡物边缘区域产生, 遮挡物的密集程度仅影响事件点产生的总量, 即遮挡物越密集, 边缘缝隙越多, 相机输出的事件点总量越多, 更有利于目标光线信息的采集. 此外, 极低延时的特性使事件相机在移动时可以及时响应亮度的瞬时变化, 以连续的视角观测场景. 因此, 在遮挡物密集, 可观测区域较少的条件下, 与高延时的传统相机相比, 事件相机能获取更丰富的目标光线信息, 进而有效重建被遮挡目标.

      极端光照: 传统相机的动态范围较低, 在极端光照下易产生过曝光、欠曝光问题, 严重影响合成孔径成像结果的清晰度与对比度, 甚至无法正确地重建目标. 而对数域感知亮度变化的特性使事件相机具有极高的动态范围, 在极端光照下仍然能够根据场景的亮度变化稳定输出事件流, 从而有效获取目标的光线信息并进行重建, 如图5所示.

      图  5  极端光照条件下事件相机输出的事件流数据. 第一、二行分别对应于极高、极低光照下事件相机输出的三维事件点与事件点数量分布图.

      Figure 5.  Event stream generated by event camera under extreme low light condition. The first and second row are 3-D event stream and the distribution image of event number in extremely high or low light condition.

      算法 1 基于事件相机的合成孔径成像算法

      输入: 事件流数据 $\{e_{i}(x,t),i \in \{1,2,\cdots,M\}\}$ , 相机内参矩阵 $ K $ ;

      输出: 合成孔径成像结果 $ I_{SAI} $

      1: 初始化 $ I_{SAI}=I_{0},c_{on},c_{off},\lambda $ , 对焦深度 $ d $ ;

      2: for $e_{i}(x,t),i \in \{1,2,\cdots,M\}$ do

      3: 利用公式(9)计算 $ x_{{ref},{i}} $ ;

      4: if $ x_{{ref},{i}} \in I_{SAI} $ then

      5: if $ \sigma_{i}=1 $ then

      6: $ c = {c_{on}}\exp ( - \lambda I_{SAI}(x_{ref,i})) $ ;

      7: else

      8: $ c = {c_{off}}\exp (\lambda I_{SAI}(x_{{ref,i}})) $ ;

      9: end if

      10: $ I_{SAI}(x_{ref,i}) =I_{SAI}(x_{ref,i})\exp (\sigma_ic) $ ;

      11: end if

      12: end for

    • 本节将分别针对密集遮挡和极端光照场景进行合成孔径成像实验, 通过与传统方法进行对比, 验证本文方法的可行性和有效性.

    • 本文提出的基于事件相机的合成孔径成像系统主要采用DAVIS346 事件相机进行场景信息感知. 分别采用图6中的灌木枝丛和极少缝隙的纸板模拟密集遮挡物. 将相机放置于移动的导轨上进行多视角场景信息采集. 由于DAVS346 能够在输出事件流的同时输出灰度图像帧, 为了保证相同的实验场景, 本文直接采用该相机同步输出的图像帧进行传统合成孔径成像[3]. DAVIS346相机中的APS和DVS传感器共用相同的光心, 因此二者的内参矩阵相同. 本文通过张正友标定法[33]对APS传感器进行标定, 得到相机的内参矩阵 $ K $ . 不失一般性, 为了简化实验, 假设相机以匀速 $ v_{track} $ 运动. 并假设导轨所在的平面为相机平面, 相机坐标系的 $ X $ 轴与导轨运动方向平行, 不同位置处相机的光轴保持平行. 那么, 公式(9)中的 $ R_{i} $ 退化为一个单位阵, $T_{{i}} = \left[ {{v_{track}}({t_i} - {t_{ref}})}\;\;0\;\;0 \right]^{\mathrm{T}}$ . 在后续实验过程中, 采集时长1 $ s $ 内的事件流用于本文方法, 并同时采集对应的40帧同步图像帧用于传统合成孔径成像. 分别利用峰值信噪比 (Peak Signal-to-noise Ratio, PSNR), 结构相似性 (Structural Similarity Index, SSIM) 对两种方法的结果作客观评价, 其中参考图像为无遮挡条件下输出的图像帧.

      图  6  两种不同类型的遮挡物. 相较于灌木枝丛, 纸板的缝隙数量极少, 且缝隙之间的间距较大.

      Figure 6.  Two different types of occluders. Compared with dense bushes, the number of gaps in cardboard is very small, and the space between the gaps is large.

      算法1中待设定的参数包括: 正重建阈值 $ c_{on} $ , 负重建阈值 $ c_{off} $ 和尺度因子 $ \lambda $ , 本文主要通过实验的方式来对以上三个参数进行设置. 首先, 将正重建阈值固定为 $ c_{on} = 1.5 $ , 通过观察不同的负重建阈值和尺度因子对PSNR的影响, 来对这两个参数进行选取. 图7给出了负重建阈值 $ c_{off} $ 取值对PSNR的影响曲线. 可以发现, 当 $ c_{off} = 0.3 $ 时, 重建图像的PSNR值最高, 因此在后续实验中设置 $ c_{off} = 0.3 $ . 同时, 通过实验可以发现, 当 $ c_{off} $ 接近于 $ c_{on} $ 时, 由于出现了2.3.2节中讨论的事件点抵消问题, 降低了重建图像的质量. 图8给出了尺度因子 $ \lambda $ 对PSNR的影响, 可以发现, 当 $ \lambda = 2.5 $ 时, 重建图像的PSNR值最大, 因此在后续实验中设置 $ \lambda = 2.5 $ .

      图  7  PSNR与负重建阈值阈值的关系

      Figure 7.  Relationship between PSNR and negative reconstruction threshold

      图  8  PSNR与尺度因子的关系

      Figure 8.  Relationship between PSNR and scale factor

    • 选取如图6(a)所示的灌木枝丛作为密集遮挡物, 测试本文方法在密集遮挡下的目标重建能力. 与图(b)中的纸板相比, 灌木枝丛具有较多缝隙, 更容易获取目标的信息.

    • 本节在灌木枝丛遮挡下进行多深度目标重建, 分别在距离导轨 $ 0.4 m $ , $ 0.8 m $ $ 1.2 m $ 处放置平面几何目标. 利用本文方法在不同深度下进行目标重建, 并对比传统方法的重建结果.

      图9给出了本文方法与传统方法在不同深度下的目标重建结果. 第一行为基于传统相机的合成孔径成像结果, 在不同对焦深度下, 传统方法能够实现对应几何目标的重建. 但由于密集遮挡物光线的干扰, 重建图像中目标区域细节差, 对比度低, 图像整体亮度不均. 第二行为基于固定阈值法重建的合成孔径成像结果, 与传统方法相比, 固定阈值法重建出的几何目标在清晰度上有较大提升, 但是图像对比度较低. 这是由于场景顶部的日光灯管亮度较高, 在事件相机移动拍摄时灯管区域产生的事件点远多于其余区域. 因此, 当利用固定阈值法进行重建时, 事件点数量的巨大差异引起重建结果中灯管区域的亮度远高于其余区域, 进而导致整体图像对比度下降. 此外, 随着对焦深度的增加, 合成孔径逐渐对焦于灯管区域, 使该区域的事件点更加集中, 进一步加重了图像对比度下降问题. 第三行为基于自适应阈值重建的合成孔径成像结果, 与传统方法和基于固定阈值重建法相比, 基于自适应阈值的事件流重建能恢复出高清晰度、对比度的目标图像. 这是由于事件点数量与场景亮度的关系不受遮挡物密集程度的影响, 并且低延时的事件相机在移动拍摄时能够及时根据亮度变化输出事件点, 采集更丰富、完整的光场信息. 此外, 基于自适应阈值的重建方法能够在重建时根据像素亮度调整重建阈值, 从而有效提高重建图像的对比度. 与传统方法相比, 本文方法在灌木枝丛遮挡下的的重建结果整体亮度均匀, 且清晰度和对比度更高.

      图  9  灌木枝丛遮挡条件下的多深度合成孔径成像结果与对比. 第一行为传统合成孔径成像结果, 第二行基于固定阈值重建法的成像结果, 第三行为基于自适应阈值重建法的成像结果.

      Figure 9.  Comparison of SAI results at different focus depths under the condition of dense bushes occlusion. The first row are SAI-T, the second row are reconstructed results with fixed thresholds , the third row are reconstructed results with adaptive thresholds.

      表1给出了本文方法与传统方法得到的目标重建图像的PSNR和SSIM指标. 由于目标在重建图像中只占据小部分区域, 为了尽量消除目标以外区域的影响, 本文在计算图像质量指标时, 分别裁剪出重建图像中的对应目标区域进行计算, 如图9中的方框区域所示. 基于固定阈值重建和自适应阈值重建的事件相机SAI结果在PSNR和SSIM上均优于传统方法. 自适应阈值重建法在三处不同深度重建的目标均取得了最高的PSNR和SSIM指标, 与传统方法相比, 对应于深度为 $ 0.4m,0.8m,1.2m $ 处的重建目标在PSNR上分别提升了约5dB, 6dB, 8dB; 在SSIM上分别提升了二分之一、五分之一和五倍. 从主、客观分析可以得出, 基于自适应阈值的事件相机SAI在密集树丛遮挡条件下进行多深度目标重建时, 可以得到更高质量的目标重建图像.

      表 1  灌木枝丛遮挡条件下的多深度合成孔径成像质量对比

      Table 1.  Quantitative comparison of multi-depth SAI results under dense bushes occlusion condition

      对焦深度 方法 PSNR SSIM
      0.4m 传统方法 16.72 dB 0.2167
      固定阈值重建 17.73 dB 0.2919
      自适应阈值重建 21.13 dB 0.3061
      0.8m 传统方法 15.41 dB 0.2693
      固定阈值重建 15.42 dB 0.2782
      自适应阈值重建 21.73 dB 0.3136
      1.2m 传统方法 17.62 dB 0.0916
      固定阈值重建 18.03 dB 0.1759
      自适应阈值重建 25.22 dB 0.4518
    • 在本节实验中, 仅在距离导轨一定深度处放置平面几何图形或玩具熊目标, 在灌木枝丛遮挡下进行单一深度目标的图像重建. 从主、客观方面对重建图像进行评价, 并对比传统方法的重建结果.

      图10分别给出了几何目标或玩具熊目标在灌木枝丛遮挡下的合成孔径成像结果, 几何目标与导轨的距离为 $ 0.6m $ , 玩具熊目标与导轨的距离为 $ 0.4m $ . 无遮挡时, 目标在相机视野内清晰可见; 在有灌木枝丛遮挡时, 相机在单一视角无法有效观测目标. 传统合成孔径成像能够重建出被遮挡目标, 但由于密集遮挡的干扰, 图像中目标区域的对比度低、细节差. 与传统方法相比, 基于固定阈值和自适应阈值重建的事件相机SAI均能更有效、完整地重建出被遮挡目标, 而自适应阈值重建法得到的重建图像有更高的对比度和图像细节, 并且图像亮度更均匀. 此外, 由于相机在向右移动时, 相机视野内的目标也发生了相对移动, 导致在目标的左(右)侧边缘产生负(正)极性事件点. 因此, 在本文方法的重建结果中, 被遮挡目标的左(右)侧呈现出较暗(亮)的边缘.

      图  10  灌木枝从遮挡条件下的合成孔径成像结果与对比. 第一、二行分别对应于几何目标与玩具熊目标.

      Figure 10.  Comparison of SAI results under the condition of dense bushes occlusion condition. The first and second rows correspond to geometric object and teddy bear.

      表2给出了传统方法与本文方法得到的目标重建图像的PSNR和SSIM指标. 在几何目标实验中, 与传统方法相比, 基于固定阈值和自适应阈值重建的事件相机SAI在PSNR的提升超过4dB, 在SSIM上优于传统方法. 在玩具熊目标实验中, 基于 自适应阈值的重建结果在PSNR的提升超过2dB, 在SSIM上提升近一倍, 并优于固定阈值重建法. 从主、客观分析可以得出, 基于自适应重建阈值的事件相机SAI在灌木枝丛遮挡下进行单深度目标重建时, 能得到更高质量的目标重建图像.

      表 2  灌木枝丛遮挡条件下的合成孔径成像质量对比

      Table 2.  Quantitative comparison of SAI results under the dense bushes occlusion condition

      目标类型 方法 PSNR SSIM
      几何目标 传统方法 13.45 dB 0.2313
      固定阈值重建 17.57 dB 0.2671
      自适应阈值重建 18.03 dB 0.2646
      玩具熊 传统方法 6.952 dB 0.1439
      固定阈值重建 7.795 dB 0.2175
      自适应阈值重建 9.199 dB 0.2334
    • 本节实验采用极少缝隙的纸板作为遮挡物, 基于传统方法和本文方法进行几何目标的重建任务. 纸板遮挡物如图6(b)所示, 固定纸板的缝隙宽度为 $ 2mm $ 来模拟极端密集遮挡情况. 在此情况下, 相机更难获取目标后方目标的信息, 因此更具有挑战性. 此外, 我们还采用了缝隙宽度分别为 $ 5mm $ $ 13mm $ 的黑色纸板来模拟一般密集遮挡和稀疏遮挡情况进行合成孔径成像实验, 并进行对比和分析.

      图11给出了不同密集遮挡情况下的合成孔径成像结果. 在极端密集遮挡情况下, 普光相机只能通过纸板间的极少缝隙对目标进行观测. 传统相机SAI无法有效地重建被遮挡目标, 并且图像中存在大量黑色条纹. 这是由于传统相机的帧率较低, 因此输出的连续图像帧之间存在一定时间间隔, 而相机在该间隔内无法采集场景信息, 导致部分区域信息的缺失. 因此, 传统方法无法对这些区域进行重建. 本文方法在极端密集遮挡情况下则清晰地重建出了几何目标, 其归功于事件相机的极低延时, 能够及时响应任意时刻的亮度变化, 因此能以连续的视角对场景进行感知, 获取更完整、丰富的场景信息. 在一般密集遮挡情况下, 传统相机可以通过缝隙获取更丰富的目标信息, 因此传统SAI的结果图像中黑色条纹区域显著减少, 并且几何目标也更加清晰. 而本文方法在一般密集遮挡下依旧能够重建出清晰的目标图像. 在稀疏遮挡情况下, 相机在单一视角即可观测到大部分的后方场景. 因此, 传统SAI的结果图像中有效地重建出了被遮挡目标, 接近于参考图像, 但仍然受到遮挡物光线的影响. 本文方法在稀疏遮挡情况下对目标的成像效果较差, 这是由于本文方法依靠相机移动时, 在遮挡物缝隙边缘处产生的事件点来获取场景信息. 当遮挡物过于稀疏时, 在遮挡物边缘处产生的事件点总量减少, 导致获取的场景信息减少.

      图  11  不同密集遮挡条件情况下的合成孔径成像结果与对比. 第一行为极端密集遮挡情况, 第二行为一般密集遮挡情况, 第三行为稀疏遮挡情况.

      Figure 11.  Comparison of SAI results under different density occlusions condition. The first row are extremely dense occlusion, the second row are normal dense occlusion condition, the third row are sparse occlusion condition.

      表3给出了不同密集遮挡情况下, 传统方法结果与本文方法结果对应的PSNR和SSIM指标. 在极端密集遮挡情况下, 本文方法得到的重建图像在PSNR和SSIM上均优于传统方法. 与传统方法相比, 基于自适应阈值重建的事件相机SAI在PSNR上提升了超过7dB, 在SSIM上提升了约五分之一. 在一般密集遮挡情况下, 基于自适应阈值重建法的结果在PNSR上相较于传统方法提升了超过6dB, 但是在SSIM上已经低于传统方法. 在稀疏遮挡情况下, 传统方法的结果在PSNR和SSIM上均优于本文方法. 综上所述, 本文方法在极端密集遮挡情况下能较好地对被遮挡目标进行成像, 在一般密集遮挡情况下也能有效进行成像, 在稀疏遮挡情况的成像质量不如传统方法. 而传统方法在极端密集遮挡情况下的成像质量较差, 但随着遮挡物密集程度降低, 成像质量逐渐提高, 并在稀疏遮挡情况下的成像质量超过了本文方法.

      表 3  不同密集遮挡情况下的多深度合成孔径成像质量对比

      Table 3.  Quantitative comparison of SAI results under different density occlusions condition

      遮挡密集程度 方法 PSNR SSIM
      极端密集遮挡 传统方法 11.20 dB 0.1476
      固定阈值重建 17.14 dB 0.1884
      自适应阈值重建 18.52 dB 0.1741
      一般密集遮挡 传统方法 13.37 dB 0.4028
      固定阈值重建 18.54 dB 0.1840
      自适应阈值重建 19.51 dB 0.2037
      稀疏遮挡 传统方法 14.35 dB 0.5508
      固定阈值重建 11.22 dB 0.3384
      自适应阈值重建 14.19 dB 0.3912
    • 本节将针对极端光照条件下, 基于本文方法和传统方法进行合成孔径成像实验. 使用灌木枝从作为遮挡物, 分别采用几何图形和玩具熊作为目标, 在极高和极低光照条件下进行目标重建.

      图12给出了极端光照条件下的合成孔径成像结果与对比. 在极高光照条件下, 传统相机出现了严重的过曝光问题, 即使没有遮挡物, 相机也无法有效地观测目标. 从传统方法在极高光照条件下的成像结果可以发现, 过曝光问题严重影响了合成孔径成像质量, 无法对被遮挡目标进行重建, 而本文方法则有效地重建出了几何目标和玩具熊目标. 由于传统相机直接获取场景的绝对亮度值, 因此在极低光照下传统相机无法区分目标与背景, 同时输出的图像帧中包含噪声. 从成像结果可以发现, 传统方法在极低光照条件下几乎无法对目标进行成像, 并且图像中包含了大量噪声, 而本文方法仍然能够有效重建被遮挡目标, 并且图像具有较高的清晰度和对比度. 这是由于事件相机具有极高的动态范围, 在极端光照条件下仍然能够灵敏感知亮度变化并稳定输出事件点, 从而对被遮挡目标进行有效成像. 从固定阈值和自适应阈值法的重建结果对比可以得到, 自适应阈值重建法在极端光照条件下也能重建出更清晰、细节丰富、亮度更加均匀的图像.

      图  12  极端光照条件下的合成孔径成像结果与对比. 第一、二行对应于极高光照条件下, 几何目标与玩具熊目标的合成孔径成像结果, 第三、四行对应于极低光照条件下, 几何目标与玩具熊目标的合成孔径成像结果.

      Figure 12.  Comparison of SAI results under extrme light conditions. The first and second rows correspond to geometric object and teddy bear under extremely high light condition,and the third and fourth rows correspond to geometric object and teddy bear under extremely low light condition.

    • 在密集遮挡与极端光照条件下, 由于遮挡物的密集干扰与相机本身较低的动态范围, 基于传统相机的合成孔径成像无法有效地对被遮挡目标进行成像. 针对这一问题, 本文利用事件相机的极低延时和极高动态范围特性, 提出了一种基于事件相机的合成孔径成像方法. 该方法利用感知亮度变化的事件相机进行多视角目标信息采集. 然后, 根据相机多视图几何原理, 将事件流在目标深度下对焦. 通过分析场景亮度与事件点数量的关系, 提出基于非对称和自适应阈值 的亮度重建方法, 解决了基于事件相机合成孔径成像中存在的事件点抵消与图像对比度下降问题, 进一步提升 成像质量. 实验结果表明, 本文方法与传统方法相比, 在密集遮挡条件下在清晰度、对比度、峰值信噪比和结构相似性指标上均有较大提升. 同时, 本文方法能解决极端光照条件下的过曝光/欠曝光问题, 对被遮挡目标进行有效成像.

      虽然本文方法在密集遮挡与极端光照条件下进行合成孔径成像时, 与传统方法相比具有较大优势, 但是也存在一些局限. 首先, 与基于传统移动相机的合成孔径成像类似[3], 本文方法对事件相机的移动方式存在一些要求, 即相机始终在一个相机平面内移动, 且相机的光轴始终垂直于相机平面, 并且需要保证场景处于静止状态, 否则本文方法将无法正确进行事件流映射, 导致无法进行有效地成像. 其次, 本文方法依靠在密集遮挡物边缘产生的事件点来获取场景信息. 当遮挡物过于稀疏, 或者遮挡物在场景中只占一小部分时, 本文方法可能也无法有效地进行成像. 最后, 与普通的光学相机相比, 目前市面上的事件相机分辨率较低. 因此, 当观测目标较小, 或距离相机过远时, 分辨率的限制可能会导致重建目标的细节较差.

      因此, 在今后的研究中, 我们将尝试融合普光图像与事件流数据进行合成孔径成像, 进一步提高合成孔径成像在复杂遮挡物、极端光照场景下的成像性能. 此外, 参考文献[34], [35], [36]的方法, 我们将针对事件流重建的特性, 进行重建图像的超分辨率复原, 来弥补事件相机在分辨率上的局限.

WeChat 关注分享

返回顶部

目录

    /

    返回文章
    返回