2.845

2023影响因子

(CJCR)

  • 中文核心
  • EI
  • 中国科技核心
  • Scopus
  • CSCD
  • 英国科学文摘

留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

基于特征相关性的牵引系统主回路接地故障诊断

陈志文 李学明 徐绍龙 彭涛 阳春华 桂卫华

付婧祎, 余磊, 杨文, 卢昕. 基于事件相机的连续光流估计. 自动化学报, 2023, 49(9): 1845−1856 doi: 10.16383/j.aas.c210242
引用本文: 陈志文,  李学明,  徐绍龙,  彭涛,  阳春华,  桂卫华.  基于特征相关性的牵引系统主回路接地故障诊断.  自动化学报,  2021,  47(7): 1516−1529 doi: 10.16383/j.aas.c190588
Fu Jing-Yi, Yu Lei, Yang Wen, Lu Xin. Event-based continuous optical flow estimation. Acta Automatica Sinica, 2023, 49(9): 1845−1856 doi: 10.16383/j.aas.c210242
Citation: Chen Zhi-Wen,  Li Xue-Ming,  Xu Shao-Long,  Peng Tao,  Yang Chun-Hua,  Gui Wei-Hua.  Feature correlation-based ground fault diagnosis method for main circuit of traction system.  Acta Automatica Sinica,  2021,  47(7): 1516−1529 doi: 10.16383/j.aas.c190588

基于特征相关性的牵引系统主回路接地故障诊断

doi: 10.16383/j.aas.c190588
基金项目: 国家自然科学基金(61803390, 61790571, 61773407), 轨道交通节能控制与安全监测湖南省重点实验室(2017TP1002), 高性能复杂制造国家重点实验室自主研究课题(ZZYJKT2020-14), 博士后基金(2019T120713)资助
详细信息
    作者简介:

    陈志文:中南大学自动化学院副教授. 2016年获得德国杜伊斯堡−埃森大学博士学位. 主要研究方向为基于模型和数据驱动的故障诊断技术. E-mail: zhiwen.chen@csu.edu.cn

    李学明:株洲中车时代电气股份有限公司高级工程师. 2011年在中南大学获硕士学位. 主要研究方向为牵引系统故障诊断与预测. 本文通信作者. E-mail: lxm_hnu@163.com

    徐绍龙:株洲中车时代电气股份有限公司高级工程师. 2016年在浙江大学获硕士学位. 主要研究方向为牵引系统控制, 故障诊断与预测. E-mail: xusl@csrzic.com

    彭涛:中南大学自动化学院教授. 2005年获得中南大学博士学位. 主要研究方向为复杂系统的故障诊断与容错控制. E-mail: pandtao@csu.edu.cn

    阳春华:中南大学自动化学院教授. 1985年获得中南工业大学学士学位. 主要研究方向为复杂工业过程建模与优化, 故障诊断与智能化系统. E-mail: ychh@csu.edu.cn

    桂卫华:中国工程院院士, 中南大学自动化学院教授. 1981年获得中南矿冶学院硕士学位. 主要研究方向为复杂工业过程建模, 优化与控制应用和知识自动化. E-mail: gwh@csu.edu.cn

Feature Correlation-based Ground Fault Diagnosis Method for Main Circuit of Traction System

Funds: National Natural Science Foundation of China (61803390, 61790571, 61773407), Key Laboratory of Energy Saving Control and Safety Monitoring for Rail Transportation (2017TP1002), the Project of State Key Laboratory of High Performance Complex Manufacturing, Central South University (ZZYJKT2020-14), Postdoctoral Foundation (2019T120713)
More Information
    Author Bio:

    CHEN Zhi-Wen Associate professor at the School of Automation, Central South University. He received his Ph.D. degree from University of Duisburg-Essen, Germany in 2016. His research interest covers model-based and data-based fault diagnosis

    LI Xue-Ming Senior engineer at Zhuzhou CRRC times Electric Co., Ltd. He received his master degree from Central South University in 2011. His research interest covers traction system control, fault diagnosis and prediction. Corresponding author of this paper

    XU Shao-Long Senior engineer at Zhuzhou CRRC times Electric Co., Ltd. He received his master degree from ZheJiang University in 2016. His research interest covers traction system control, fault diagnosis and prediction

    PENG Tao Professor at School of Automation, Central South University. She received her Ph.D. degree from Central South University in 2005. Her research interest covers fault diagnosis and fault tolerant control for complex systems

    YANG Chun-Hua Professor at the School of Automation, Central South University. She received her bachelor degree from Central South University of Technology in 1985. Her research interest covers complex industrial process modeling and optimization, fault diagnosis and intelligent system

    GUI Wei-Hua Academician of the Chinese Academy of Engineering, and professor at the School of Automation, Central South University. He received his master degree from Central South Institute of Mining and Metallurgy in 1981. His research interest covers complex industrial process modeling, optimization and control applications, and knowledge automation

  • 摘要:

    本文针对目前机车、动车牵引系统中主回路接地故障的精确定位问题, 提出了一种基于特征相关性的故障诊断方法. 该方法通过在线计算与故障关联的特征变量, 提取相关故障特征指标, 并考虑各故障特征指标间的相关性, 利用典型相关分析得到残差, 以实现快速故障检测. 进一步, 构建基于残差方向的故障隔离方法, 实现准确地故障定位. 现场实验表明, 与传统基于相关性的故障诊断方法以及实际工程应用方法相比, 在存在较大测量噪声与暂态工况变化时, 本文所提方法能实现更好的故障检测与隔离性能, 具有良好的应用价值.

  • 光流(Optical flow, OF)估计一直是图像处理与计算机视觉领域中一个核心的研究课题. 近年来, 随着计算机软硬件水平的提高, 各类光流估计算法层出不穷, 光流技术在跟踪[1-2]、运动分割[3-4]、导航[5-6]和图像配准[7-8]等应用领域凸显出了越来越重要的作用. 特别是在高速运动场景中, 由于空间物体运动位置的快速变化, 对运动数据的获取和光流的计算提出了更高要求, 连续且高精度的光流估计算法[9]更是被国内外学者广泛研究, 其获得的光流估计结果也能为后续各类视觉任务打下良好基础.

    然而, 由于相机自身较低的时间分辨率, 传统光学相机在高速运动场景下, 难以连续捕捉到物体在成像平面中位置的快速变化, 导致输出图像帧存在运动模糊, 因此低帧率的数据使得基于传统相机的光流估计算法无法有效地进行连续的光流估计. 如图1(a)所示, 向右做高速运动的棋盘格由传统光学相机成像, 由于传统相机曝光时间较长, 棋盘格在亮度图像帧中出现了运动模糊. 通过传统Horn-Schunck算法[10]获得的光流结果如图1(b)所示, 随着棋盘格运动速度加快, 受到亮度图像运动模糊的影响, 传统算法所估计的光流精度逐渐降低, 甚至输出与实际运动反向的光流结果.

    图 1  基于传统相机和基于事件相机的光流估计效果对比 ((a)传统相机输出图像帧序列; (b)传统Horn-Schunck 算法的光流估计结果; (c)事件相机输出事件流; (d)本文EDI-CLG算法光流估计结果)
    Fig. 1  Comparison of traditional camera and event camera based optical flow ((a) The samples of images acquired by traditional camera; (b) The results using Horn-Schunck algorithm; (c) The event data generated by event camera; (d) The results using the proposed EDI-CLG algorithm)

    近年来, 针对基于传统光学相机的光流估计算法易受运动模糊影响的问题, 基于事件相机[11-12]的光流估计算法受到了广泛关注. 事件相机是一种新型的仿生传感器, 不同于传统相机通过固定时间间隔采样获取图像帧, 该相机具有独立的像素, 这些像素只在场景的亮度变化超过一定阈值时异步地进行成像. 此外, 事件相机具有高时间分辨率的特性, 受运动模糊问题影响较少[13], 因此能够对空间物体的运动进行连续捕捉, 获取瞬时的运动数据有利于进行连续的光流估计. 图1(c)展示了棋盘格高速运动生成的事件点, 红色表示亮度增强, 蓝色表示亮度减弱. 可以看出, 事件相机捕捉到的运动信息在时间上具有连续性, 基于此估计出的如图1(d)所示的光流结果, 不仅在时间上具有连续性特征, 而且更加精确.

    目前, 基于事件相机的光流估计算法主要分为单纯基于事件流算法和联合事件流与亮度图像算法两种. 由于事件流数据不能如图像帧一样完整地反映场景的纹理信息, 因此单纯基于事件流的光流估计算法[14-16]仅能反映事件点触发位置的光流信息, 无法得到完整的场景运动信息. 此外, 由于事件数据存在大量噪声[17], 也降低了光流估计的准确性. 动态和主动像素视觉传感器(Dynamic and active-pixel vision sensor, DAVIS)相机由Berner等[18]开发. 该传感器结合了动态视觉传感器(Dynamic vision sensor, DVS)[19-20] 和传统的主动像素传感器(Active pixel sensor, APS), 不仅输出异步事件流, 还可以输出固定帧率的亮度图像. 基于此, Almatrafi等[21]提出了联合DVS和APS数据的光流估计方法, 提高了事件相机光流估计的准确性和鲁棒性. 然而, 由于APS传感器输出的亮度图像依然不可避免地受到运动模糊影响且该算法由于依赖亮度图像获取空间梯度, 只能估计出建帧时刻的非连续光流, 因此并不能保证高速运动场景下光流的精度和连续性.

    针对上述问题, 本文基于亮度恒定假设和事件产生模型利用事件相机输出事件流的低延时性质, 融合存在运动模糊的亮度图像帧, 提出基于事件相机的连续光流估计算法. 通过研究模糊图像帧与曝光时间内生成事件点之间的关系, 可以重建出连续的清晰亮度图像, 从而使算法受运动模糊的影响较少. 最后在计算光流时, 添加平滑约束获得更具鲁棒性的稠密光流, 最终实现高速运动场景下受运动模糊影响较小的连续光流估计.

    本文的主要贡献如下:

    1)针对基于传统光学相机的光流估计算法易受运动模糊影响问题, 本文通过研究模糊图像帧与曝光时间内生成事件点之间的关系, 理论上推导了联合事件和图像的连续光流模型, 建立了任意时刻光流、图像和事件之间的关系.

    2)基于联合事件和图像的连续光流模型, 提出HS (Horn-Schunck)和结合局部与全局(Combining local and global, CLG)平滑约束的光流估计方法, 提升了重建光流的精度和平滑性.

    3)通过实验表明, 本文方法不仅能够较大提升基于事件相机光流估计的精度, 同时还能解决目标高速运动条件下如何进行连续且稳定的光流估计问题. 因此, 对于高速运动的极端场景, 本文方法具有一定优势.

    在基于传统相机的光流估计方法中, 光流可以通过连续图像帧间的相关性以及图像上特定像素在空间和时间上的变化得到. 一般地, 坐标$ (x,y) $上的像素在$ t $时刻的亮度值可以表示为${\boldsymbol{I}}(x,y,t)$, 为简便起见, 有时将$\boldsymbol I $的坐标变量默认省略. 在环境不变时, 用同一相机拍摄的图像序列之间有很强关联性, 因此可以引入光流的“亮度恒定”假设[10, 22]即随着时间的变化, 在图像平面移动的像素点亮度值不变. 对于$ t $时刻在坐标$ (x,y) $上的像素点, 经过$ \Delta t $时间, 移动到$ (x+\Delta x,y+\Delta y) $, 则:

    $$ {\boldsymbol{I}}(x+\Delta x,y+\Delta y,t+\Delta t) = {\boldsymbol{I}}(x,y,t) $$ (1)

    基于这一假设, 将式(1)按一阶泰勒展开后, 再忽略高阶项, 可以得到光流约束方程:

    $$ \frac{\partial {\boldsymbol{I}}}{\partial x}\frac{\Delta x}{\Delta t} + \frac{\partial {\boldsymbol{I}}}{\partial y}\frac{\Delta y}{\Delta t} = -\frac{\partial {\boldsymbol{I}}}{\partial t} $$ (2)

    令光流矢量$ {\boldsymbol{v}} = (v_1,v_2) $, 其中$v_1 = {\Delta x}/{\Delta t}$, $v_2 = {\Delta y}/{\Delta t}$分别表示像素在$ x $和$ y $轴上的运动速度即光流. 再令图像的空间梯度$ \nabla {\boldsymbol{I}} = (I_x,I_y) $, 其中$I_x =\frac {\partial {\boldsymbol{I}}}{\partial x}$, $I_y =\frac {\partial {\boldsymbol{I}}}{\partial y}$分别表示图像在$ x $和$ y $方向上的梯度. 则可以得到式(2)的矩阵形式:

    $$ -\frac{{\rm{d}}{\boldsymbol{I}}}{{\rm{d}}t} = \nabla {\boldsymbol{I}}\cdot {\boldsymbol{v}} $$ (3)

    但仅有光流约束方程不足以估计出二维运动场. 因此, Horn等[10]通过正则化方式提高全局空间的一致性, 提出速度平滑假设, 将问题转化为可求解的凸函数, 也就是HS光流法. Lucas等[22]提出基于光流场局部空间一致性的Lucas-Kanade光流, 提高算法的准确性和鲁棒性. 随后, Black等[23]提出分段平滑的假设来改进全局平滑, 黄波等[24]通过引入二维标号场改进了HS光流. Fortun等[25]则通过最小化光流的大小来引入额外的约束, 进一步提升了算法的精度.

    然而, 由于传统相机的时间分辨率较低, 在某些高速运动的极端场景下, 容易出现运动模糊, 导致光流估计算法的性能急剧下降. 因此基于传统相机的光流估计算法无法有效地保证高速运动场景下光流估计的准确性和稳定性. 针对运动模糊问题, 现有方法大多数基于线性运动的假设, 在此基础上, 通过求解模糊问题得到相应的光流估计[26-27]. 但是, 由于场景运动较为复杂, 无法满足线性运动假设, 从而影响光流估计的精度[28].

    事件相机是受生物视觉系统启发的一类新型视觉传感器, 与传统相机存在一定区别. 传统相机基于帧进行成像, 输出同步图像帧, 像素点代表场景的绝对亮度; 事件相机基于像素点独立成像, 输出包含大量事件点的异步事件流, 事件流表示场景在对数域的亮度变化. 事件点数据包含了亮度变化事件的像素坐标、触发时间和极性三类信息. 在像素平面上, 若像素${\boldsymbol{u}} = (x,y)^{\rm{T}}$在$ t $时刻上的对数光强值与上一时刻的对数光强值之差超过一定的阈值$ C $, 则激发事件${\boldsymbol{e}}:=\left\langle {\boldsymbol{u}},t,p\right\rangle$:

    $$ {\boldsymbol{V}}({\boldsymbol{u}},t)-{\boldsymbol{V}}({\boldsymbol{u}},t-\Delta t) = p \cdot C $$ (4)

    式中, ${\boldsymbol{V}}:= \lg{\boldsymbol{I}}$表示图像对数域的亮度值; 阈值$ C>0 $; $ \Delta t $是距离该像素上一次激发事件经过的时间; $p\in{\left\{1,-1\right\}}$表示事件的极性, $ p $为正表示光强增强, 为负表示光强减弱.

    与逐帧成像的传统相机相比, 逐像素点独立成像的事件相机延时极低, 能够及时响应像素的亮度变化并输出事件流, 从而记录任意时刻的亮度变化情况. 事件相机的低延时性质, 使其特别适用于高速和高动态范围场景的视觉任务, 例如自动驾驶[29]、高速同时定位与地图构建[30]、光流估计等.

    针对基于事件相机的光流估计问题, 目前常见方法是将恢复图像像素强度作为预处理步骤, 以适应传统算法. 如Benosman等[14]利用短时间内事件的逐像素直方图来代替像素值, Bodo等[31]使用中心差分来改善空间梯度的质量, Tobias等[32]则利用空间梯度和时间梯度之间的耦合来提高鲁棒性. 但由于从事件到强度转换过程中信息的丢失, 这些算法与基于帧的光流估计算法相比, 精度较差.

    另一种常见方法是利用事件相机的特性来估计光流. Gallego等[15]通过图像对比度最大化, 以产生运动补偿的图像来同时估计光流和深度. Lagorce等[16]开发算法来拟合时空流形以估计平滑的边缘运动. Liu等[33]提出一种基于事件的块匹配算法来估计光流的方向, 并在文献[34]中融合了速度的计算. Barranco等[35]提出一种基于相位的方法来计算高频纹理区域的光流, 并尝试重建强度信号, 以避免纹理边缘处可能存在的问题. Bardow等[36]通过建立窗口, 将亮度恒定和平滑先验组合为代价函数, 并通过变分法进行优化, 实现光流和亮度的估计. 这些算法在一定程度上提高了光流估计的精度, 但由于事件流数据不能如图像帧一样完整地反映场景的纹理信息, 因此基于事件相机的光流估计算法仅能反映事件点触发位置的光流信息, 无法得到完整的场景运动信息.

    近年来, 联合事件生成模型和“亮度恒定”假设进行光流估计的方法[37]得到了广泛关注. 其中, 部分方法基于事件的二重积分(Event-based dou-ble integral, EDI)模型[38], 如Pan等[39]利用该模型提出了联合光流估计和亮度图像去模糊算法, 实验结果表明, 利用EDI模型可以降低运动模糊的影响, 有利于提升光流估计的精度. 因此, 本文算法同样基于EDI模型, 并通过结合事件流和亮度图像各自的优势, 提出基于事件相机的连续光流估计算法, 以解决现有的传统光流估计算法易受运动模糊的影响, 以及单纯基于事件流的光流估计算法空间信息不足的问题.

    本节研究基于事件相机的连续光流估计方法, 结构安排如下: 第2.1节简要介绍EDI模型, 第2.2节推导联合EDI模型和“亮度恒定”假设的连续稀疏光流估计方法, 第2.3节分别添加两种平滑约束, 最终求得对噪声具有鲁棒性的连续稠密光流场.

    EDI模型[38]利用事件点的高时间分辨率优势, 可以重建出受运动模糊影响较少的连续清晰亮度图像. 相机APS模块具有曝光时间, 因此其输出的亮度图像在相机或场景内运动目标做高速运动的情况下, 会产生运动模糊. 假定第$ i $帧亮度图像为${\boldsymbol{Y}}[i] \in {\bf R}^{M \times N}$, 曝光时间为$ T $, 曝光起始时刻用$ t_i $表示, 则图像生成模型可以表示为:

    $$ {\boldsymbol{Y}}[i] = \frac{1}{T}\int_{t_i}^{t_i+T}{\boldsymbol{I}}(t){\rm{d}}t $$ (5)

    式中, $ {\boldsymbol{I}}(t) $表示在$t \in {\bf{R}}$时刻的瞬时清晰亮度图像, 这个生成模型可以解释为由于亮度图像$ {\boldsymbol{I}}(t) $在$ T $时间内的快速变化, 导致输出图像$ {\boldsymbol{Y}}[i] $模糊. 为了更直观地表示事件, 用连续时间信号来定义离散事件序列, 对于像素平面上的每一个像素$ (x,y) $, 定义$ {\boldsymbol{e}}_{xy}(t) $为连续时间$ t $的函数:

    $$ {\boldsymbol{e}}_{xy}(t) = p\delta(t-t_{e}) $$ (6)

    式中, $ \delta(\cdot) $表示狄拉克函数, $ t_e $表示事件被激发的时刻. 定义$ {\boldsymbol{I}}(f) $是$ f $时刻的瞬时清晰亮度图像, 结合式(4)和式(6), 可得:

    $$ {\boldsymbol{I}}(t) = {\boldsymbol{I}}(f)\exp\left\{\int_{f}^{t}C\cdot {\boldsymbol{e}}_{xy}(\tau){\rm{d}}\tau\right\} $$ (7)

    将式(7)代入亮度图像生成模型式(5), 可以得到曝光时间内的模糊图像与事件点, 以及时刻$ f $的瞬时清晰亮度图像之间的关系:

    $$ \begin{split} {\boldsymbol{Y}}[i] =\;& \frac{1}{T}\int_{t_i}^{t_i+T}{\boldsymbol{I}}(f)\exp\left\{\int_{f}^{t}C\cdot {\boldsymbol{e}}_{xy}(\tau){\rm{d}}\tau\right\}{\rm{d}}t =\\ &{\boldsymbol{I}}(f)\cdot\frac{1}{T}\int_{t_i}^{t_i+T}\exp\left\{\int_{f}^{t}C\cdot {\boldsymbol{e}}_{xy}(\tau){\rm{d}}\tau\right\}{\rm{d}}t \end{split} $$ (8)

    然后, 可以定义:

    $$ {\boldsymbol{E}}_{i}(f) = \frac{1}{T}\int_{t_i}^{t_i+T}\exp\left\{\int_{f}^{t}C\cdot {\boldsymbol{e}}_{xy}(\tau){\rm{d}}\tau\right\}{\rm{d}}t $$ (9)

    最终, 可将式(8)写为:

    $$ {\boldsymbol{Y}}[i] = {\boldsymbol{I}}(f)\cdot {\boldsymbol{E}}_{i}(f) $$ (10)

    式中, $ {\boldsymbol{E}}_{i}(f) $表示第$ i $帧亮度图像曝光时间内生成事件点的二重积分, $ {\boldsymbol{I}}(f) $表示任意时刻$ f $的瞬时清晰亮度图像, 两者均在时间上具有连续性特征. 式(10)将模糊图像、瞬时清晰亮度图像和事件点之间建立了联系. 而模糊图像和事件点是已知的, 就可以通过式(10)计算出任意时刻的瞬时清晰亮度图像.

    EDI模型仅仅考虑了模糊图像的去模糊问题, 本节进一步结合光流约束方程研究基于EDI模型的连续光流估计问题.

    若将EDI模型重建出的瞬时清晰亮度图像看作式(3)中的亮度图像$ {\boldsymbol{I}} $, 即:

    $$ {\boldsymbol{I}} = \frac{{\boldsymbol{Y}}[i]}{{\boldsymbol{E}}_{i}(f)} $$ (11)

    则亮度图像$ {\boldsymbol{I}} $对时间$ f $求导得:

    $$ {\boldsymbol{I}}_f = \frac{{\rm{d}}\left\{\frac{{\boldsymbol{Y}}[i]}{{\boldsymbol{E}}_{i}(f)}\right\}}{{\rm{d}}f} = \frac{-{\boldsymbol{Y}}[i]\cdot \frac{{\rm{d}}{\boldsymbol{E}}_i}{{\rm{d}}f}}{{\boldsymbol{E}}_{i}^{2}(f)} = -\frac{{\boldsymbol{Y}}[i]}{{\boldsymbol{E}}_{i}^{2}(f)}\cdot \frac{{\rm{d}}{\boldsymbol{E}}_i}{{\rm{d}}f} $$ (12)

    可以结合式(3)和式(10), 推导出联合事件流和亮度图像的连续光流估计方法:

    $$ \frac{{\boldsymbol{Y}}[i]}{{\boldsymbol{E}}_{i}^{2}(f)}\cdot \frac{{\rm{d}}{\boldsymbol{E}}_i}{{\rm{d}}f} = \nabla\left\{\frac{{\boldsymbol{Y}}[i]}{{\boldsymbol{E}}_{i}(f)}\right\}\cdot {\boldsymbol{v}}(f) $$ (13)

    式中, $ {\boldsymbol{v}}(f) $表示$ f $时刻的光流场, 且关于$ f $连续. 另外, 根据式(9)可以求出导数$\frac{{\rm{d}}{\boldsymbol{E}}_i}{{\rm{d}}f}$:

    $$ \begin{split} \frac{{\rm{d}}{\boldsymbol{E}}_i}{{\rm{d}}f} = \;& \frac{1}{T}\int_{t_i}^{t_i+T}\exp\left(\int_{f}^{t}C\cdot {\boldsymbol{e}}_{xy}(\tau){\rm{d}}\tau\right) \cdot \\ &\left(-C\cdot {\boldsymbol{e}}_{xy}(f)\right){\rm{d}}t =\\ &\frac{1}{T}\int_{t_i}^{t_i+T}\exp\left(\int_{f}^{t}C\cdot {\boldsymbol{e}}_{xy}(\tau){\rm{d}}\tau\right) \cdot \\ &\left(-C\cdot p\delta(f-t_{e})\right){\rm{d}}t =-Cp{\boldsymbol{E}}_{i}(f) \delta(f-t_e) \end{split} $$ (14)

    则式(12)可更新为:

    $$ {\boldsymbol{I}}_f = Cp\frac{{\boldsymbol{Y}}[i]}{{\boldsymbol{E}}_{i}(f)}\delta(f-t_{e}) $$ (15)

    最终, 将式(14)代入式(13), 求得基于连续清晰亮度图像重建的光流计算公式:

    $$ -Cp\frac{{\boldsymbol{Y}}[i]}{{\boldsymbol{E}}_{i}(f)}\delta(f-t_{e}) = \nabla\left\{\frac{{\boldsymbol{Y}}[i]}{{\boldsymbol{E}}_{i}(f)}\right\}\cdot {\boldsymbol{v}}(f) $$ (16)

    上式给出了任意时刻$ f $的连续光流$ {\boldsymbol{v}}(f) $与模糊图像$ {\boldsymbol{Y}}[i] $和事件流数据$ {\boldsymbol{E}}_{i}(f) $之间的关系. 第2.3节中, 将利用这个关系并结合平滑约束, 进一步得到优化的光流估计.

    2.3.1   HS平滑约束的连续光流估计

    HS光流法是一种基于全局的方法[40], 它除了需要满足Lucas-Kanade光流法的亮度恒定、时间连续和运动位移小的假设外, 还需要满足图像光流场全局平滑的假设. 使用$ {\boldsymbol{I}} $简化表示$ {\boldsymbol{I}}(f) $, 令光流矢量$ {\boldsymbol{v}} = (v_1,v_2) $, 定义一个能量函数:

    $$\begin{split} {\boldsymbol{H}}(v_1,v_2) =\;& \iint[(I_x v_1+I_y v_2+I_f)^2\;+\\ &\alpha(\vert\nabla v_1 \vert^2+\vert\nabla v_2 \vert^2)]{\rm{d}}x{\rm{d}}y \end{split} $$ (17)

    式中, $ I_x $、$ I_y $和$ I_f $分别表示图像$ {\boldsymbol{I}} $在$ x $、$ y $方向上的导数和对时间的导数, $ \nabla $表示求梯度, 该能量函数的$ (I_x v_1+I_y v_2+I_f)^2 $是灰度变化因子, $\alpha(\vert\nabla v_1 \vert^2\;+ \vert\nabla v_2 \vert^2)$是平滑因子, $ \alpha $为正则化参数, 调节光流场的平滑程度, 理想的光流场应该使得灰度变化因子和平滑因子之和最小, 即亮度恒定且运动平滑. 为了便于推导, 令:

    $$ L = (I_x v_1+I_y v_2+I_f)^2+\alpha(\vert\nabla v_1 \vert^2+\vert\nabla v_2 \vert^2) $$ (18)

    将$ L $对$ v_1 $和$ v_2 $分别进行求导, 得:

    $$ \left\{\begin{aligned} &\Delta v_1-\frac{1}{\alpha}(I_x^2 v_1+I_x I_y v_2+I_x I_f) = 0 \\ &\Delta v_2-\frac{1}{\alpha}(I_x I_y v_1+I_y^2 v_2+I_y I_f) = 0 \end{aligned}\right.$$ (19)

    式中, $ \Delta $是拉普拉斯算子操作, 可表示为:

    $$ \Delta: = \partial_{xx}+\partial_{yy} $$ (20)

    本文用以下公式代替:

    $$ \Delta {\boldsymbol{m}}(x,y) = \bar{{\boldsymbol{m}}}(x,y)-{\boldsymbol{m}}(x,y) $$ (21)

    式中, $ \bar{{\boldsymbol{m}}}(x,y) $为$ {\boldsymbol{m}}(x,y) $的拉普拉斯估计值:

    $$ \begin{split} \bar{{\boldsymbol{m}}}(x,y) =\;& \frac{1}{6}[{\boldsymbol{m}}(x-1,y)+{\boldsymbol{m}}(x,y+1)\;+ \\ &{\boldsymbol{m}}(x+1,y)+{\boldsymbol{m}}(x,y-1)] \;+\\ &\frac{1}{12}[{\boldsymbol{m}}(x-1,y-1)+{\boldsymbol{m}}(x-1,y+1)]\; +\\ &\frac{1}{12}[{\boldsymbol{m}}(x+1,y+1)+{\boldsymbol{m}}(x+1,y-1)] \end{split}$$ (22)

    进行拉普拉斯操作替换后, 将式(19)更新为:

    $$\left\{ \begin{aligned} &(I_x^2+\alpha)v_1+I_x I_y v_2 = \alpha\bar{v}_1-I_x I_f \\ &(I_y^2+\alpha)v_2+I_x I_y v_1 = \alpha\bar{v}_2-I_y I_f \end{aligned}\right.$$ (23)

    使用Gauss-Seidel迭代方法[40], 利用估计的空间梯度、时间导数和上一次迭代的速度估计结果来计算一组新的速度估计值, 得到迭代式:

    $$ \left\{\begin{aligned} &v_1^{k+1} = \bar{v}_1^k-\frac{I_x(I_x\bar{v}_1^k+I_y\bar{v}_2^k+I_f)}{\alpha+I_x^2+I_y^2} \\ &v_2^{k+1} = \bar{v}_2^k-\frac{I_y(I_x\bar{v}_1^k+I_y\bar{v}_2^k+I_f)}{\alpha+I_x^2+I_y^2} \end{aligned}\right. $$ (24)

    式中, $ \bar{v}_1^k $和$ \bar{v}_2^k $表示上一次迭代结果的拉普拉斯估计值. 将式(11)和式(15)代入迭代式(24), 计算$ v_1 $和$ v_2 $在第$ k $步迭代的估计值. 通过多次迭代收敛, 最终得到光流的估计结果. 本文设定迭代终止条件为光度一致性误差$\lambda_k := I_xv_1^k+I_yv_2^k+I_f$的变化小于某个阈值$ \lambda^{\theta} $:

    $$ \vert \lambda_k-\lambda_{k-1} \vert < \lambda^{\theta} $$ (25)

    本文实验中选取$ \lambda^{\theta} = 1\times10^{-6} $. 具体算法见算法1. 其中, 时间间隔$ \Delta f $将每一帧亮度图像的曝光时间$ T $进行${T}/{\Delta f}$等分, 决定了$ T $时间内的连续光流估计次数.

    2.3.2   CLG平滑约束的连续光流估计

    通常情况下, 基于局部的光流估计方法对噪声更具鲁棒性, 而基于全局的光流估计方法则产生更加精确的稠密光流场. CLG光流法[41]结合了局部方法和全局方法各自的优势, 产生对噪声具有鲁棒性的稠密光流场, 其最小化能量函数可以表示为:

    $$ {\boldsymbol{H}}_{CLG}({\boldsymbol{\omega}}) = \iint({\boldsymbol{\omega}}^{\rm{T}}J_\rho(\nabla_3{\boldsymbol{I}}){\boldsymbol{\omega}}+\alpha\vert{\nabla{\boldsymbol{\omega}}}\vert^2){\rm{d}}x{\rm{d}}y $$ (26)

    式(26)中各个参数的定义如下:

    $$ {\boldsymbol{\omega}}:= (v_1,v_2,1)^{\rm{T}} $$ (27)
    $$ \vert{\nabla{\boldsymbol{\omega}}}\vert^2 := \vert{\nabla v_1}\vert^2+\vert{\nabla v_2}\vert^2 $$ (28)
    $$ \nabla_3{\boldsymbol{I}} := (I_x,I_y,I_f)^{\rm{T}} $$ (29)
    $$ J_\rho(\nabla_3{\boldsymbol{I}}) := K_\rho*(\nabla_3{\boldsymbol{I}}\nabla_3{\boldsymbol{I}}^{\rm{T}}) $$ (30)

    式中, $ K_\rho $是高斯核, $ \rho $表示高斯核的邻域窗口大小, “$*$”表示卷积操作, 参数$ \alpha $调节平滑程度. 使用类似第2.3.1节中HS平滑约束迭代公式的推导过程, 可得CLG平滑约束的光流迭代公式:

    $$ \left\{\begin{aligned} &v_1^{k+1} = \bar{v}_1^k\;-\\ &\;\;\;\;\qquad\frac{K_\rho*(I_x^2)\bar{v}_1^k+K_\rho*(I_xI_y)\bar{v}_2^k+K_\rho*(I_xI_f)}{\alpha+K_\rho*I_x^2+K_\rho*I_y^2} \\ &v_2^{k+1} = \bar{v}_2^k\;-\\ &\;\;\;\;\qquad\frac{K_\rho*(I_y^2)\bar{v}_2^k+K_\rho*(I_xI_y)\bar{v}_1^k+K_\rho*(I_yI_f)}{\alpha+K_\rho*I_x^2+K_\rho*I_y^2} \end{aligned}\right. $$ (31)

    将式(11)和(15)代入迭代式(31), 计算$ v_1 $和$ v_2 $在第$ k $步迭代的估计值. 迭代收敛条件与第2.3.1节相同, 经过多次迭代, 最终得到连续稠密光流的估计结果. 与Pan等[39]方法不同的是, 本文方法利用EDI模型重建连续清晰亮度图像的优势, 推导出同样在时间上具有连续性的光流估计方法, 因此在高速运动的极端场景下具有一定的优势, 而文献[39]则基于曝光时间内光流恒定的假设, 对亮度图像进行去模糊操作.

      算法1. 基于事件相机的连续光流估计算法

    输入. 亮度图像序列 $ \{{\boldsymbol{Y}}[i]\}_{i=1}^l $, 事件流数据$ \{{\boldsymbol{e}}_{k}\}_{k=1}^m $, 时间间隔$ \Delta f $, 迭代初始值$ v_1=0 $、$ v_2=0 $, 参数$ \alpha $、$ \lambda^\theta $.

    输出. 连续光流估计结果$ {\boldsymbol{v}}(f) $.

    1) for 每一帧亮度图像$ {\boldsymbol{Y}}[i] $ do;

    2)提取时间$ [t_i,t_i+T] $内对应的事件流;

    3) for $f=t_i:\Delta f:(t_i+T)$ do;

    4)根据式(9)计算$ f $时刻的事件点二重积分$ {\boldsymbol{E}}_i(f) $;

    5)根据式(11)重建$ f $时刻的清晰亮度图像$ {\boldsymbol{I}} ;$

    6)根据式(15)计算$ f $时刻的清晰亮度图像时间导数$ {\boldsymbol{I}}_f $;

    7) while $ \vert \lambda_k-\lambda_{k-1} \vert > \lambda^{\theta} $ do;

    8)根据式(24) (HS)或式(31) (CLG)计算连续光流$ {\boldsymbol{v}}(f) $;

    9) end while;

    10) end for;

    11) end for.

    本文使用两组数据集对算法进行测试. 第1组来自Bodo等[31]提供的数据集, 由DAVIS240相机[18]录制且带有光流真实值. 该数据集场景简单, 所有事件点均由相机低速运动生成. 图2展示了该数据集中TranslBoxes、RotDisk和TranslSin三个数据的亮度图像和对应事件帧, 对应结果如图3图4所示. 第2组是运动模糊数据集, 图5(a)展示了该数据集中三个数据的亮度图像, 前两行数据来自Pan等[38]提供的真实模糊事件数据集, 第3行数据为使用DAVIS346相机录制的真实模糊事件数据. 第2组数据集包含高速运动导致亮度图像模糊的更具挑战性的情况, 可以用于验证本文算法在极端场景下的鲁棒性, 但不带有光流真实值. 在实验中, 将本文提出的引入HS约束和CLG约束的连续光流估计模型分别命名为EDI-HS和EDI-CLG.

    图 2  DAVIS240数据集的亮度图像和对应事件帧 ((a) TranslBoxes数据; (b) RotDisk数据; (c) TranslSin数据)
    Fig. 2  Brightness image and corresponding event frame of DAVIS240 datasets ((a) TranslBoxes dataset; (b) RotDisk dataset; (c) TranslSin dataset)

    算法1中待设定的参数为平滑约束的正则化参数$ \alpha $. 本文主要通过实验方式对该参数进行设置, 选择带有标准偏差的平均端点误差(Average end point error, AEE)和平均角度误差(Average angular error, AAE)以及均方误差(Mean square error, MSE)来作为光流精度的衡量指标. AEE表示光流大小与真实值的误差, 单位为%:

    $$ {\rm{AEE}} = \frac{1}{N}\sum\limits_{i = 1}^{N}\sqrt{({\boldsymbol{v}}_{x,i}-{\boldsymbol{u}}_{x,i})^2+({\boldsymbol{v}}_{y,i}-{\boldsymbol{u}}_{y,i})^2}\frac{1}{|{\boldsymbol{u}}_i|} $$ (32)

    AAE表示光流方向与真实值的误差, 单位为(°):

    $$ {\rm{AAE}} = \frac{1}{N}\sum\limits_{i = 1}^{N}\arccos \frac{{\boldsymbol{v}}_{x,i} {\boldsymbol{u}}_{x,i}+{\boldsymbol{v}}_{y,i} {\boldsymbol{u}}_{y,i}}{|{\boldsymbol{v}}_i||{\boldsymbol{u}}_i|} $$ (33)

    MSE可用如下公式表示:

    $$ {\rm{MSE}}=\frac{1}{N}\sum\limits_{i = 1}^{N}[({\boldsymbol{v}}_{x,i}-{\boldsymbol{u}}_{x,i})^2+({\boldsymbol{v}}_{y,i}-{\boldsymbol{u}}_{y,i})^2] $$ (34)

    式中, $ {\boldsymbol{v}}_i = (v_x,v_y)_i $表示第$ i $个光流测量值, ${\boldsymbol{u}}_i = (u_x,u_y)_i$表示相应的光流真实值.

    采用第1组DAVIS240数据集进行实验, 通过观察不同的正则化参数对所计算光流的平均端点误差和平均角度误差的影响, 对参数进行选取. 在$ \alpha $取值为[0, 3000]范围内进行了大量实验, 通过实验发现, 在各数据集上, 当$\alpha > 2$时, 两种误差都随$ \alpha $的增大而升高, 光流质量变差. 因此, 图3展示了$ \alpha $取值在区间[0, 2]上对所得光流的平均端点误差和平均角度误差的影响曲线. 可以发现, 相较于平均角度误差, 平均端点误差受参数$ \alpha $的影响更小且平均端点误差随$ \alpha $的增大而缓慢升高, 平均角度误差随$ \alpha $的增大呈现先降低后升高趋势. 当$ \alpha = 0.75 $左右时, 可以同时保证两种误差均为较低, 因此在后续实验中设置$ \alpha = 0.75 $.

    图 3  正则化参数$ \alpha $与光流误差的关系曲线 ((a) TranslBoxes数据; (b) RotDisk数据; (c) TranslSin数据)
    Fig. 3  Relationship between optical flow error and regularization parameter $ \alpha $ ((a) TranslBoxes dataset; (b) RotDisk dataset; (c) TranslSin dataset)

    为验证本文算法的精度, 将它们与现有的基于事件相机的光流估计算法进行比较, 分别为Almatrafi等[21]提出的联合DVS和APS数据的光流估计方法、图像对比度最大化光流估计法[15]和局部平面拟合光流估计法[16]. 将它们分别命名为DAVIS-OF、DVS-CM 和DVS-LP. 其中, DAVIS-OF光流估计算法在添加CLG平滑约束时取得了最好的效果, 因此本文在进行对比实验时, 也对其添加了CLG平滑约束.

    首先, 使用第1组DAVIS240数据集对算法进行实验测试. 表1展示了各个算法在这3个数据上的光流估计结果与真实值之间的误差, 精度排名第1和第2的算法分别使用加粗和下划线标注. 总体上, EDI-CLG的结果最好, 在3个数据上的误差都比较小, EDI-HS在TranslBoxes和TranslSin两个数据上的结果比另外3种现有算法更优, 且EDI-CLG光流结果的标准差在3个数据上都较小, 说明EDI-CLG的光流结果较为稳定, 很少有异常值, 具有良好的抗噪性能. 实验结果表明, 在DAVIS-240数据集上, 本文算法相比于其他3种对比算法, 在精度和稳定性上具有一定优势.

    表 1  DAVIS240数据集光流误差表
    Table 1  Optical flow error on DAVIS240 datasets
    数据 算法AEE ($\%$)AAE (°)MSE
    TranslBoxesDVS-CM43.65 ± 27.1521.46 ± 32.8639.94
    DVS-LP124.78 ± 92.0519.66 ± 13.7181.03
    DAVIS-OF31.20 ± 3.1817.29 ± 7.1815.57
    EDI-HS18.65 ± 2.925.13 ± 4.7217.86
    EDI-CLG18.01 ± 2.654.79 ± 3.0516.77
    RotDiskDVS-CM54.26 ± 28.3034.39 ± 25.8840.75
    DVS-LP104.63 ± 97.1520.76 ± 14.1777.25
    DAVIS-OF33.94 ± 17.0213.07 ± 8.5814.30
    EDI-HS42.93 ± 20.9114.87 ± 12.8333.10
    EDI-CLG42.44 ± 20.8613.79 ± 10.5233.02
    TranslSinDVS-CM91.96 ± 9.9543.16 ± 39.0985.41
    DVS-LP107.68 ± 70.0469.53 ± 30.8294.53
    DAVIS-OF84.78 ± 61.2256.75 ± 41.5362.61
    EDI-HS75.74 ± 51.6930.14 ± 9.9872.96
    EDI-CLG72.45 ± 44.1228.53 ± 4.9735.28
    下载: 导出CSV 
    | 显示表格

    表2展示了各个算法在3个数据上的运行时间对比, 其中运行速度排名第1和第2的算法分别使用加粗和下划线标注. 使用Matlab2014a进行光流估计的平均每帧运行时间作为衡量指标, 其中, DAVIS-OF的运行时间最短, EDI-HS的运行时间也相对较短, 而EDI-CLG的迭代过程相比于EDI-HS较为复杂, 因此运行时间略长, DVS-CM则由于逐像素迭代计算光流, 平均每帧运行时间为最长. 实验结果表明, 在DAVIS240数据集上, 本文算法的运行时间相比于现有算法具有一定的优势.

    表 2  运行时间对比
    Table 2  Comparison of running time
    算法平均每帧运行时间(s)
    DVS-CM206.85
    DVS-LP5.29
    DAVIS-OF0.52
    EDI-HS0.61
    EDI-CLG0.63
    下载: 导出CSV 
    | 显示表格

    图4为利用第1组数据集中TranslBoxes、Rot-Disk和TranslSin三个数据对本文的连续光流估计方法与其他3种光流估计算法进行测试的结果对比图. 为便于可视化, 对光流场进行了下采样. 图4包括光流真实值图像以及5种算法的光流结果图. 其中, 绿色的直线箭头表示光流, 所有光流估计结果都在事件帧图像上显示.

    图 4  DAVIS240数据集光流结果对比图 ((a)光流真实值; (b)本文EDI-HS方法; (c)本文EDI-CLG方法; (d) DAVIS-OF方法; (e) DVS-CM方法; (f) DVS-LP方法)
    Fig. 4  Comparison of optical flow results on DAVIS240 datasets ((a) Ground truth; (b) The proposed EDI-HS method; (c) The proposed EDI-CLG method; (d) The DAVIS-OF method; (e) The DVS-CM method; (f) The DVS-LP method)

    在TranslBoxes数据中, 箱子在图像上表现为向右移动, 事件帧图像中噪声较少且边缘明确. 其中, EDI-CLG的光流结果较好, 大小和方向都最接近真实值; DAVIS-OF的光流方向总体较好, 但光流大小缺乏一致性. 而DVS-CM和DVS-LP个别事件点的光流发生了明显错误, 特别是DVS-LP有些光流值幅度很小, 增加了AEE误差, 结果见表1. 在RotDisk数据中, 分隔成不同颜色区域的圆盘顺时针转动, 从真实值上可以看出, 光流方向基本都垂直于区域边缘且光流大小与圆盘半径成正比. 其中, EDI-CLG的光流比较稳定, 并且光流大小基本符合与圆盘半径的正比关系, 这有效减少了光流误差. 而EDI-HS的光流方向较好, 但是某些边缘上的光流大小比例不正确. DAVIS-OF的光流大小最符合与圆盘半径的正比关系, 但有些地方输出的光流方向不够准确. DVS-CM由于只对局部区域做对比度最大化, 光流方向并不都垂直于边缘; DVS-LP则有许多错误的光流方向, 有些甚至与运动反向. 在TranslSin数据中, 图像表现为黑白正弦曲线向左移动, 由于黑白边界并不清晰, 事件帧图像上边缘不明确且有许多噪点. 其中, EDI-HS和 EDI-CLG估计的光流方向较为一致, 但有个别光流幅值较大. 而对比算法DAVIS-OF、DVS-CM和DVS-LP输出的光流方向不稳定, 且大小也比较杂乱.

    为了验证本文算法在更具挑战性的场景下进行光流估计的准确性和稳定性, 下面使用第2组运动模糊数据集进行测试. 第2组数据集提供了高速运动导致亮度图像模糊的情况, 可以用于验证本文算法在极端场景下的鲁棒性.

    图5展示了各种算法在第2组数据集上的测试结果, 包括数据集中的模糊亮度图像、使用EDI方法重建的清晰亮度图像和各个算法的光流结果图. 第1行展示的数据是人手臂挥动黑白格图像, 第2行数据是人在室内起跳后落下, 第3行数据是高速移动的相机拍摄的棋盘格. 由图5可以看出, 在目标高速运动且亮度图像存在运动模糊的情况下, 本文提出的两种连续光流估计算法都能稳定估计光流, 光流方向都较为准确且变化较为平滑, 其中EDI-CLG估计的光流视觉效果最好, DVS-CM和DVS-LP的光流则存在异常值, 方向准确度也不高.

    图 5  运动模糊数据集光流结果对比图 ((a)运动模糊亮度图像; (b) 使用EDI方法重建的清晰亮度图像; (c)本文EDI-HS 方法; (d)本文EDI-CLG方法; (e) DVS-CM方法; (f) DVS-LP方法)
    Fig. 5  Comparison of optical flow results on motion blur datasets ((a) Brightness image with motion blur; (b) Reconstructed clear brightness image using EDI method; (c) The proposed EDI-HS method; (d) The proposed EDI-CLG method; (e) The DVS-CM method; (f) The DVS-LP method)

    通过与基于传统相机的光流估计算法对比可知, 本文算法可以在一帧亮度图像的曝光时间内进行多次光流的计算(见图1), 说明本文算法在时间上具有连续性. 然而, 当光流连续输出时, 仍需进一步测试其精度是否稳定. 因此, 将本文提出的EDI-CLG算法与 DAVIS-OF方法进行连续光流的稳定性对比实验.

    利用第1组数据集中TranslBoxes数据进行测试. 最初使用算法1得到的连续光流误差表明, 本文算法在每一帧图像的曝光边界时刻, 光流质量会比曝光中间时刻明显变差(见图6(a)图6(b)). 这是由于在亮度图像的曝光边界时刻, EDI模型对模糊图像的补偿效果比在曝光中间时刻差[38], 从而影响曝光边界时刻重建图像的质量, 进而影响到光流估计的精度. 因此, 采用Niklaus等[42]提出的亮度图像插帧算法, 将前面使用EDI模型进行重建的连续清晰亮度图像序列中每帧曝光边界时刻生成的图像, 通过前后两张图像的插帧, 替换为更高质量的重建图像, 使连续光流估计的精度得到了进一步提升.

    图 6  连续光流误差对比折线图 ((a) EDI-CLG算法改进前的平均端点误差; (b) EDI-CLG算法改进前的平均角度误差;(c) EDI-CLG算法改进后与DAVIS-OF算法的平均端点误差对比; (d) EDI-CLG算法改进后与DAVIS-OF算法的平均角度误差对比)
    Fig. 6  Continuous optical flow error comparison ((a) The average endpoint error of EDI-CLG before improvement; (b) The average angular error of EDI-CLG before improvement; (c) Comparison of the average endpoint error between the improved EDI-CLG and DAVIS-OF; (d) Comparison of the average angular error between the improved EDI-CLG and DAVIS-OF)

    图6(c)图6(d)展示了2种算法的光流估计结果与真实值之间的平均端点误差和平均角度误差对比折线图, 选择数据集中连续3帧图像进行实验, 对本文方法进行每帧图像曝光时间内连续4次光流计算. 由对比两组光流的平均端点误差和平均角度误差结果可以看出, 本文算法估计出的连续光流误差更小且在多帧曝光时间内, 可以保持精度的稳定性.

    图7展示了单帧亮度图像曝光时间内进行连续光流的精度稳定性测试的结果对比图. 其中, DAVIS-OF算法只能估计建帧时刻的非连续光流, 因此输出单张光流结果(见图7(b)). 而本文提出的EDI-CLG算法可以在单帧亮度图像的曝光时间内多次计算光流(本文实验计算4次), 如图7(c)所示. 可以看出, 与对比算法相比, 本文算法获得的光流与真实值更加接近, 而对比算法输出的光流精度较低且有些事件点处没有输出光流.

    图 7  EDI-CLG算法和DAVIS-OF算法连续光流结果对比图 ((a)光流真实值; (b) DAVIS-OF方法; (c)本文EDI-CLG方法在单帧图像曝光时间内连续4次进行光流计算的结果)
    Fig. 7  Comparison of continuous optical flow results between EDI-CLG algorithm and DAVIS-OF algorithm ((a) Ground truth; (b) The DAVIS-OF method; (c) The results of four continuous optical flow calculations within the exposure time of a frame using the proposed EDI-CLG method)

    在相机或目标高速运动的极端场景下, 由于相机自身较低的时间分辨率等局限性, 基于传统光学相机的光流估计方法难以估计出连续的光流结果. 针对这一问题, 本文提出基于事件相机的连续光流估计算法, 该算法联合了事件相机输出的DVS数据和APS数据各自优势, 不仅能够重建出任意时刻的清晰亮度图像, 而且可以保证光流估计的连续性和稳定性, 解决了相机APS数据易受运动模糊影响的问题. 在计算光流时, 本文通过引入两种平滑约束来计算稠密光流, 进一步提升了算法的鲁棒性和准确性. 实验结果表明, 本文算法相较于现有的光流估计算法, 在平均端点误差、平均角度误差和均方误差指标上, 性能均有较大提升. 在目标高速运动的极端场景下, 也依然能够有效且鲁棒地估计连续光流.

  • 图  1  牵引系统典型主电路原理图

    Fig.  1  Schematic diagram of main circuit of traction system

    图  2  故障类型F1、F2和F5的波形特征

    Fig.  2  Features of F1、F2 and F5 faults

    图  3  基于特征相关性的故障检测算法流程图

    Fig.  3  Flowchart of the feature correlation-based fault detection algorithm

    图  4  基于特征相关性的牵引主回路接地故障诊断算法原理框图

    Fig.  4  Diagram of the feature correlation-based fault diagnosis algorithm for main circuit of the traction system

    图  5  机车牵引变流器实物图

    Fig.  5  Photo of the traction converter for field test

    图  6  牵引变流器对外连接端子布置图

    Fig.  6  Layout diagram of connection terminals under traction converter cabinet

    图  7  存在故障类型F1时的检测诊断结果

    Fig.  7  Diagnosis results in F1 case

    图  10  故障残差方向显示

    Fig.  10  Illustration of five fault directions

    表  1  牵引系统常见主回路接地故障点

    Table  1  The ground points of typical faults

    序号 主回路接地点 主电路中位置 故障代号
    1 四象限输入侧正端接地 图1接地点①、③ F1
    2 四象限输入侧负端接地 图1接地点② F2
    3 正母排接地 图1接地点④ F3
    4 负母排接地 图1接地点⑤ F4
    5 逆变输出侧接地 图1接地点⑥ F5
    下载: 导出CSV

    表  2  不同接地故障类型时故障特征变量$ I_{x1} $变化规律

    Table  2  The change rules of $ I_{x1} $with different ground faults under working condition C5

    故障类型 $ I_{x1} $变化规律 $ I_{x1} $相关指标
    F1 其值在−0.5$ {\bar U_{s1}} $与0.5$ {\bar U_{s1}} $间变化, 均值, 方差, 最大值, 最大峰值
    F2 且频率与四象限模块开关频率相同
    F3 其值约为−0.5$ {\bar U_{s1}} $
    F4 其值约为0.5$ {\bar U_{s1}} $
    F5 其值在−0.5$ {\bar U_{s1}} $与0.5$ {\bar U_{s1}} $间变化,
    且频率与逆变模块开关频率相同
    下载: 导出CSV

    表  3  不同接地故障类型时故障特征变量 $ I_{x2} $变化规律(工况5)

    Table  3  The change rules of $ I_{x2} $ with different ground faults under work condition C5

    故障类型 $ I_{x2} $变化规律 $ I_{x2} $相关时域指标
    F1 $ I_{x2} $均值小于一定门槛值 (负值)
    F2 $ I_{x2} $均值大于一定门槛值 (正值) 均值
    F5 $ I_{x2} $均值约为 0
    下载: 导出CSV

    表  4  算法对比验证所采用数据

    Table  4  Test data for comparing and verifying algorithms

    序号 y 本文所提的FC-CCA方法 基于原始数据的CCA方法
    指标/变量 含义 指标/变量 含义
    1 $ y_a $ $ J_1 $ $ I_{x1} $均值 $ U_{s1} $ 中间直流电压
    2 $ y_a $ $ J_2 $ $ I_{x1} $方差 $ U_{s2} $ 半中间电压
    3 $ y_a $ $ J_5 $ $ I_{x2} $均值 $ U_2 $ 牵引变压器次边电压
    4 $ y_b $ $ J_3 $ $ I_{x1} $最大值 $ I_{r1} $ 四象限一输入电流
    5 $ y_b $ $ J_4 $ $ I_{x1} $最大峰值 $ I_{r2} $ 四象限二输入电流
    下载: 导出CSV

    表  5  不同故障类型时测量值变化情况说明

    Table  5  Description of changes in measured in different fault types

    故障类型 可检测工况
    C3 C4 C5
    F1
    F2
    F3
    F4
    F5 × ×
    下载: 导出CSV

    表  6  不同故障类型时FDR与CIR结果对比

    Table  6  Comparison results of FDR and CIR in different fault types

    故障代号 故障检测率(FDR) 正确隔离率(CIR)
    FC-CCA
    方法
    CCA
    方法
    传统工程
    方法
    FC-CCA
    方法
    CCA
    方法
    传统工程
    方法
    F1 100% 99.99% 64.09% 100% 27.48% 0%
    F2 100% 100% 79.74% 100% 14.44% 0%
    F3 100% 100% 100% 100% 61.12% 0%
    F4 100% 100% 79.03% 100% 21.93% 0%
    F5 99.84% 99.68% 94.16% 99.32% 1.42% 0%
    下载: 导出CSV
  • [1] 2018年中国轨道交通行业分析报告—市场运营态势与发展前景预测. 中国报告网, http://baogao.chinabaogao.com/yunshufuzhusheshi/342590342590.html.
    [2] Dong H. R, Ning B, Cai B. G, Hou Z. Automatic train control system development and simulation for high-speed railways. IEEE Circuits & Systems Magazine, 2010, 10(2): 6−18
    [3] 周东华, 纪洪泉, 何潇. 高速列车信息控制系统的故障诊断技术. 自动化学报, 2018, 44(7): 1153−1164

    Zhou Dong-Hua, Ji Hong-Quan, He Xiao. Fault diagnosis techniques for the information control system of high-speed trains. Acta Automatica Sinica, 2018, 44(7): 1153−1164
    [4] 杨超, 彭涛, 阳春华, 陈志文, 桂卫华. 高速列车牵引传动系统故障测试与验证仿真平台研究综述. 自动化学报, 2019, 47(12): 2218−2232

    Yang Chao, Peng Tao, Yang Chun-Hua, Chen Zhi-Wen, Gui Wei-Hua. Review of fault testing and its validation simulation platform for traction drive system of high-speed trains. Acta Automatica Sinica, 2019, 47(12): 2218−2232
    [5] Chen H. T, Jiang B. A review of fault detection and diagnosis for the traction system in high-speed trains. IEEE Transactions on Intelligent Transportation Systems, 2019: 1−16
    [6] 陶宏伟, 彭涛, 杨超, 阳春华, 陈志文, 桂卫华. 高速列车牵引整流器多类故障联合诊断方法. 自动化学报, 2019, 45(12): 2294−2302

    Tao Hong-Wei, Peng Tao, Yang Chao, Yang Chun-Hua, Chen Zhi-Wen, Gui Wei-Hua. Joint fault diagnosis method of multiclass faults for traction rectififier in high-speed train. Acta Automatica Sinica, 2019, 45(12): 2294−2302
    [7] 刘强, 方彤, 董一凝, 秦泗钊. 基于动态建模与重构的列车轴承故障检测和定位. 自动化学报, 2019, 45(12): 2233−2241

    Liu Qiang, Fang Tong, Dong Yi-Ning, Qin S. Joe. Dynamic modeling and reconstruction based fault detection and location of train bearings. Acta Automatica Sinica, 2019, 45(12): 2233−2241
    [8] 田光兴, 郝凤荣, 代兴军. HXD3系列电力机车接地方式及接地故障检测环节探析. 铁道机车与动车, 2016, 5: 27−33 doi: 10.3969/j.issn.1003-1820.2016.02.009

    Tian Guang-Xing, Hao Feng-Rong, Dai Xing-Jun. Discussion on grounding mode and ground fault detection circuit of HXD3 serial electric locomotive. Railway Locomotive and Motor Car, 2016, 5: 27−33 doi: 10.3969/j.issn.1003-1820.2016.02.009
    [9] El-Sherif N. Ground fault protection − all you need to know. IEEE Transactions on Industry Applications, 2017, 53(6): 6047−6056 doi: 10.1109/TIA.2017.2746558
    [10] RumMdkarn J, Ngaopitakkul A. Behavior analysis of winding to ground fault in transformer using high and low frequency components from discrete wavelet transform. In: Proceedings of International conference on applied system innovation, Sapporo, Japan, 2017: 13−17
    [11] Gruhn T, Glenney J, Savostianik M. Type B ground-fault protection on adjustable frequency drives. IEEE Transactions on Industry Applications, 2017, 54(1): 934−939
    [12] Wei L, Liu Z, Kerkman R. J, Skibinski G. L. Identifying ground-fault locations: Using adjustable speed drives in high-resistance grounded systems. IEEE Industry Applications Magazine, 2013, 19(2): 47−55
    [13] Hu J, Wei L, McGuire J, Liu Z. Ground fault location self-diagnosis in high resistance grounding drive systems. In: Proceedings of IEEE Energy Conversion Congress and Exposition, Pittsburgh, PA, USA, 2014: 3179−3185
    [14] Hu J, Wei L, McGuire J, Liu Z. Flux linkage detection based ground fault identification and system diagnosis in high-resistance grounding systems. IEEE Transactions on Industry Applications, 2016, 53(3): 2967−2975
    [15] 李伟, 郭晓燕, 张波. “和谐”系列电力机车传动系统接地检测比较. 机车电传动, 2010, 6: 67−69

    Li Wei, Guo Xiao-Yan, Zhang Bo. Comparisons of HXD serial locomotives drive system grounding detection. Electric Drive for Locomotives, 2010, 6: 67−69
    [16] 徐培刚, 彭军华, 罗铁军. HXD1C型机车主回路接地故障分析. 机车电传动, 2013, 36: 103−107

    Xu Pei-Gang, Peng Jun-Hua, Luo Tie-Jun. Analysis on main circuit ground fault of HXD1C locomotive. Electric Drive for Locomotives, 2013, 36: 103−107
    [17] 陈立胜, 颜罡. 交流传动电力机车主电路接地故障的检测、定位及对策分析. 电力机车与城轨车辆, 2013, 36(3): 84−86

    Chen Li-Sheng, Yan Gang. Location and countermeasure analysis of main circuit grounding fault of AC drive electric locomotive. Electric Locomotives & Mass Transit Vehicles, 2013, 36(3): 84−86
    [18] 李耘笼, 刘可安. DJJ2型动力车主接地故障分析. 电力机车与城轨车辆, 2005, 28(2): 54−55

    Li Geng-Long, Liu Ke-An. Ground fault analysis on main circuit for power car with type DJJ2. Electric Locomotives & Mass Transit Vehicles, 2005, 28(2): 54−55
    [19] Liu Y, Liu B, Zhao X, Xie M. A mixture of variational canonical correlation analysis for nonlinear and quality-relevant process monitoring. IEEE Transactions on Industrial Electronics, 2018, 65(8): 6478−6486 doi: 10.1109/TIE.2017.2786253
    [20] Chen Z. W, Ding S. X, Peng T, Yang C. H, Gui W. H. Fault detection for non-Gaussian processes using generalized correlation analysis and randomized algorithms. IEEE Transactions on Industrial Electronics, 2018, 65(2): 1559−1567 doi: 10.1109/TIE.2017.2733501
    [21] Zhang K, Peng K. X, Ding S. X, Chen Z. W, Yang X. A correlation-based distributed fault detection method and its application to a hot tandem rolling mill process. IEEE Transactions on Industrial Electronics, 2019, 67(3): 2380−2390 doi: 10.1109/TIE.2019.2901565
    [22] Chen Z. W, Li X. M, Yang C, Peng T, Yang C. H, Karimi H, Gui W. H. A data-driven ground fault detection and isolation method for main circuit in railway electrical traction system. ISA Transactions, 2019, 87: 264−271 doi: 10.1016/j.isatra.2018.11.031
    [23] Anderson T. An Introduction to Multivariate Statistical Analysis. Second Edition. New York: John Wiley and Sons, LTD: 1984
    [24] Gustafsson F. Statistical signal processing approaches to fault detection. Annual Reviews in Control, 2006, 31(1): 41−54
    [25] He Z. M, Chen Z. W, Zhou H. Y, Wang D. Y, Xing Y, Wang J. Q. A visualization approach for unknown fault diagnosis. Chemometrics and Intelligent Laboratory Systems, 2018, 172: 80−89 doi: 10.1016/j.chemolab.2017.11.013
  • 期刊类型引用(14)

    1. 钱晓仲. 基于小波包分析的低压配电系统接地故障诊断. 电工技术. 2024(03): 42-44+48 . 百度学术
    2. 黄天富,吴志武,王春光,林彤尧,黄汉斌. 基于红外测温技术的电能表电流采样回路失流故障分析. 无线电工程. 2024(06): 1536-1542 . 百度学术
    3. 肇北. 基于知识图谱的地铁车辆牵引系统典型故障分析和诊断研究. 自动化技术与应用. 2024(09): 16-20 . 百度学术
    4. 成正林,曾颖丰,李学明,李书敏. 列车牵引系统网侧电路接地故障实时诊断. 电力机车与城轨车辆. 2023(01): 72-76 . 百度学术
    5. 李学明,倪强,刘侃,徐绍龙,黄庆. 基于系统信号时序特征辨识的电力机车齿轮弛缓故障实时诊断. 中国电机工程学报. 2023(03): 1200-1210 . 百度学术
    6. 侯鑫尧,倪强,李学明,黄庆. 列车牵引传动系统温度传感器实时故障诊断与容错估计. 电气工程学报. 2023(02): 269-276 . 百度学术
    7. 李学明,郑志刚. 列车牵引传动系统水压传感器故障诊断. 电气自动化. 2022(02): 99-101+105 . 百度学术
    8. 姜宋阳,任宝珠,周鹏,李韵楠. 电力机车牵引变流器接地检测电路优化. 铁道科学与工程学报. 2022(06): 1786-1793 . 百度学术
    9. 李文平,朱荷蕾. 面向群智感知隐私保护的联邦典型相关分析方法. 系统科学与数学. 2022(11): 2859-2873 . 百度学术
    10. 徐绍龙,李学明,成正林. 温度传感器智能故障诊断和容错估计. 自动化仪表. 2021(07): 16-21 . 百度学术
    11. 李学明,徐绍龙,倪大成,黄庆,欧阳泽华. 基于时序特征模式识别的牵引电机过流实时诊断. 电机与控制应用. 2021(10): 77-83 . 百度学术
    12. 郑志刚,李学明. 基于信息融合的列车牵引系统接触器故障实时诊断. 电力机车与城轨车辆. 2021(06): 83-87 . 百度学术
    13. 牛延,徐梦洁,秦科源,王炎军. 智能变电站二次系统回路安全在线监测技术研究. 机械与电子. 2021(11): 52-56 . 百度学术
    14. 李学明,刘侃,徐绍龙,黄庆. 列车牵引系统网侧过流故障实时诊断与保护策略研究. 机车电传动. 2021(06): 81-86 . 百度学术

    其他类型引用(3)

  • 加载中
图(10) / 表(6)
计量
  • 文章访问数:  1472
  • HTML全文浏览量:  457
  • PDF下载量:  262
  • 被引次数: 17
出版历程
  • 收稿日期:  2019-08-17
  • 录用日期:  2019-11-25
  • 刊出日期:  2021-07-27

目录

/

返回文章
返回