Early Detection of Myocardial Ischemia Based on Deterministic Learning and Cardiodynamicsgram
-
摘要: 心肌缺血早期检测是心血管疾病领域重要且困难的问题. 本文采用心电动力学图(Cardiodynamicsgram, CDG)开展心电图正常及大致正常时的心肌缺血早期检测研究. 1) 在分析已有基于心电图的心肌缺血检测方法所取得的进展及不足基础上, 构建一个既有心电图发生缺血性改变、又有心电图正常及大致正常、且包括经冠脉造影检验为冠脉阻塞性病变和非阻塞性病变的较大规模心肌缺血数据集. 2) 针对上述数据集中393例心电图正常及大致正常患者, 利用确定学习生成每份心电图的心电动力学图, 提取对心肌缺血和非缺血具有显著区分能力的心电动力学特征. 并以冠脉狭窄
$ \ge$ 50%为缺血标准, 采用机器学习算法构建心肌缺血检测模型. 3) 针对上述试验中假阳性病例, 利用由确定学习生成的具有明确物理意义的心电动力学图进行逐例分析, 发现其中许多假阳性存在慢血流现象(即冠脉非阻塞性病变). 对这些慢血流病例重新进行缺血标注, 以改善心肌缺血数据集标注精度. 通过上述三个步骤构建了更为准确的心肌缺血检测模型, 其缺血检测结果: 灵敏度90.1%、特异度85.2%、准确率89.0%和受试者工作特征曲线(Receiver operating characteristic curve, ROC)下面积(Area under curve, AUC) 0.93. 综上, 本文所构建的较大规模心肌缺血数据集可为心肌缺血检测研究和临床研究提供重要的数据基础; 且构建的心肌缺血检测模型对心电图正常及大致正常患者具有较强的缺血检测能力; 特别是, 由确定学习生成的心电动力学图具有较好的可解释性, 有助于发现缺血数据标注的偏差和模型的错误, 提高心肌缺血检测准确率.Abstract: Early detection of myocardial ischemia is a crucial and challenging problem in cardiovascular disease. In this paper, early detection of myocardial ischemia with normal or nearly normal electrocardiogram (ECG) is investigated by using cardiodynamicsgram (CDG). Firstly, by analyzing the advantages and disadvantages of existing ECG-based machine learning methods for myocardial ischemia detection, a relatively large-scale myocardial ischemia dataset is constructed, which contains ischemic, nearly normal and normal ECGs, as well as coronary stenosis and non-coronary stenosis detected by coronary angiography (CAG). Secondly, for 393 patients in the above dataset with normal or nearly normal ECGs, the deterministic learning algorithm is employed to generate CDGs, and the dynamical features underlying ECGs are extracted. The ischemia of patients is defined by coronary stenosis$ \ge$ 50%, and the detection model of myocardial ischemia is established using machine learning algorithms. It is shown that ischemia detection model can distinguish myocardial ischemia from non-ischemia effectively. Thirdly, by analyzing the false-positive cases in the above trial, in which each CDG is generated with clear physical meanings, coronary slow flow phenomenons (i.e., non-obstructive coronary lesions) are found in many of the false-positive cases. These cases are re-labeled as ischemia, and a more accurate model for ischemia detection is constructed, with the sensitivity of 90.1%, specificity of 85.2%, accuracy of 89.0% and AUC (area under curve) of 0.93, respectively. As such, in this paper a relatively large-scale myocardial ischemia dataset is constructed which will provide an essential basis for future research on detection algorithms and clinical trials of myocardial ischemia. The established model has the ability to detect ischemia from patients with normal or nearly normal ECGs. Particularly, the CDGs generated by deterministic learning have favorable interpretability, which is helpful for finding the deviations of ischemic data labeling and model errors, and is capable of improving the accuracy of myocardial ischemia detection. -
人工神经网络(Artificial neural network, ANN)已经被广泛应用于各个场景, 如计算机视觉、自然语言处理、机器人控制、医疗诊断等. 然而, 随着模型参数规模的不断扩大, ANN需要更多的计算能耗以支持实现更复杂的应用任务, 这无疑限制了边缘智能设备的应用推广[1]. 尽管研究人员已经开展了关于网络量化、结构剪枝以及知识蒸馏等模型压缩技术研究, 但功耗问题依然十分突出.
作为第三代人工神经网络的脉冲神经网络(Spiking neural network, SNN), 脉冲式异步编码特征为高能效计算提供了一种生物合理的解决方案, 支持多尺度和多维度的时空信息高效处理. 与以浮点运算为主的ANN相比, SNN通过单比特的激活值避免了高能耗的浮点乘法操作, 从而实现高能效计算; 同时SNN使用具有丰富时间维度信息的生物动力学神经元, 如采用泄漏整合发放(Leaky-integrated and fire, LIF)神经元模型, 可以帮助动态积累时序输入信息, 并且只有当膜电位超过阈值时才会编码异步事件脉冲. SNN在保持生物合理性的同时展示出了计算高效性, 并在许多人工智能任务上展现出与ANN相近的精度表现. 这些关键特性使得面向SNN的类脑芯片成为研究热点, 如TrueNorth[2]、Loihi[3]和TianjiC[4]等类脑芯片, 这些神经形态芯片具有低延迟、低功耗和并行度高的特点[5].
然而, 在现有计算设备上模拟时序动态信息需要多时间步计算, 而为了保证SNN的运算精度, 这个多时间步的步长又往往设置的很高, 这就导致了推理延迟过大和推理能耗过高的问题. 如现有的SNN学习方法部分采用先ANN训练再SNN转换的方式, 在较为复杂的数据集任务或深层网络结构上, 通常需要几十到数百个时间步才能获得比较好的运算精度, 因此这类SNN模型的部署能耗很高. 此外, 部分学者提出时空依赖的反向传播方法(Spatio-temporal backpropagation, STBP)[6], 可以采用反向传播的微调方法来直接训练SNN, 能够降低计算时间步到十几个量级. 由此可见, 无论是转换方法还是直接训练方法, SNN都需要运行多个时间步, 这不可避免地增加了计算延迟与能量消耗, 对边缘设备的低功耗推理带来了挑战; 另一方面, 现有计算设备如GPU, 无法充分利用SNN稀疏二值脉冲特性, 仍然在使用高能耗的浮点乘法计算. 设计一款更适用于SNN量化计算本身的硬件加速器也迫在眉睫.
针对上述挑战, 本文从SNN的学习方法、计算能耗、硬件部署等实际应用需求出发, 提出一系列降低SNN软硬件部署能耗的方式方法, 并在实际的标准分类任务上测试通过, 本文的主要贡献如下:
1) 提出一种自适应时间步(Adaptive timestep, AT)选择算法. 通过关联输出层置信度和推理所需要的时间步, 支持更加精准地获得样本正确分类所需最小时间步, 可以有效降低平均推理延迟和能耗.
2) 提出一种表征不同时间步重要性的损失函数$ L_{\text{imp}} $. 通过设置时间步越低重要性越高的基本原则, 并使用不重置膜电位的神经元组成输出层, 保留输出层的动态时间信息. 与基于标准交叉熵损失函数的SNN相比, 本文在仅使用1个时间步时的推理准确率就可以提升27% ~ 55%.
3) 设计一款低能耗脉冲神经网络加速器以进一步降低能耗. 在硬件模拟器上开展CIFAR10、CIFAR100、CIFAR10-DVS数据集能耗实验, 自适应时间步脉冲神经网络 (Adaptive timestep improved spiking neural network, ATSNN)算法在不降低精度的情况下, 推理延迟减少36.7% ~ 58.7%、计算复杂度减少33.0% ~ 57.0%, 并且能耗仅为GPU RTX 3090Ti 的4.43% ~ 7.88%, 显示出边缘端智能应用的巨大优势.
1. 已有工作概述
Izhikevich[7]指出, 神经元模型的生物可解释性越高, 其计算复杂度越大. LIF神经元模型因为计算复杂度低以及具有生物合理性, 成为SNN最常使用的一种神经元模型. 原始的LIF模型使用微分方程表达, 通常使用的LIF模型欧拉展开迭代表达式如式(1) ~ (2)所示
$$ {\boldsymbol{u}}_{t+1}^{l} = \tau {\boldsymbol{u}}_{t}^{l}\left({\boldsymbol{1}}-{\boldsymbol{s}}_{t}^{l} \right) + {\boldsymbol{W}}^{l}{\boldsymbol{s}}_{t+1}^{l-1} $$ (1) $$ ({\boldsymbol{s}}_{t+1}^{l})_i = \begin{cases} 1, & ({\boldsymbol{u}}_{t+1}^{l})_i>V_{th} \\ 0, & \text{ otherwise } \end{cases} $$ (2) 式中, ${\boldsymbol{u}}_{t+1}^{l} $是在时间步$t+1 $时第$ l $层的神经元膜电位, $({\boldsymbol{u}}_{t+1}^{l})_i$是在时间步$ t+1 $时第$ l $层的第$ i $个神经元的膜电位, $ \tau $是膜电位衰减系数, $ {\boldsymbol{W}}^{l} $是第$ l $层的权重, $({\boldsymbol{s}}_{t+1}^{l-1})_i$是在时间步$ t+1 $时第$ l-1 $层的第$ i $个神经元发放的脉冲, $ V_{th} $是发放脉冲的膜电位阈值.
SNN每个时间步的计算与ANN十分相似, 只需将ANN的激活函数换成具有时间信息的生物神经元模型. 处理数据集样本时, 需要通过速率编码、时间编码、相位编码等方法添加时间维度信息[8], 或者将数据样本重复输入多次. 假设时间步$ t $时第$ i $个样本的输入数据为$ {\boldsymbol{x}}_{t}^{i} $, SNN的前向推理公式可以定义为
$$ \begin{array}{*{20}{l}} f_{t}({\boldsymbol{x}}_{t}^{i})=h\circ g^{L}\circ g^{L-1}\circ \cdots \circ g^{1}({\boldsymbol{x}}_{t}^{i}) \end{array} $$ (3) 式中, $ f_{t}({\boldsymbol{x}}_{t}^{i}) $是在时间步$ t $时网络的输出, $ h $是网络的输出层, $ g^{L} $是第$ L $个包含卷积池化层、全连接层和LIF神经元的模块, $\circ $表示函数的复合.
由于SNN的输出是脉冲序列, 需要对脉冲序列解码来完成后续任务. 常见的解码方式有第一峰值解码、计数解码[9]. 对于分类任务, 输出层神经元数目和类别数相同, 第一峰值解码选择第一个出现脉冲的神经元所在类为预测类别; 计数解码统计多个时间步输出层神经元的脉冲数, 选择脉冲数最多的神经元所在类为预测类别. 此外, 也有些模型如EfficientLIF-Net[10], 将神经元输出层替换成全连接层, 统计多个时间步全连接输出层的累计值, 选择累计值最大的神经元所在类为预测类别.
STBP是训练SNN常用且有效的方法. 为解决脉冲发放函数不可导的问题, STBP定义了一系列函数来逼近发放函数的导数, 如式(4)所示, 式中$ \alpha $是一个超参数. 通过梯度近似, SNN的梯度能够在时间和空间两个尺度进行传播, 使网络易于快速收敛.
$$ \frac{\partial {\boldsymbol{s}}}{\partial {\boldsymbol{u}}} = \frac{1}{\sqrt{2\pi \alpha} } \text{e}^{-\frac{({\boldsymbol{u}}-{\boldsymbol{V}}_{th})^{2}}{2\alpha} } $$ (4) 在直接训练低延迟网络方面, Bu等[11]提出膜电位的最佳初始化策略, 不仅实现高精度ANN到SNN转换, 还能缩短推理延迟. Jiang等[12]提出KLIF神经元模型, 在训练过程中动态调整代理梯度函数的斜率和宽度. Fang等[13]提出基于SEW (Spike element wise)的残差块实现SNN中的残差学习, 克服梯度爆炸问题, 以较少时间步实现高准确率. Zheng等[14]提出阈值依赖的批归一化, 在时间和空间两个维度归一化输入特征. Rathi和Roy[15]提出训练神经元膜电位衰减系数和发放阈值的算法. Guo等[16]提出信息最大化损失函数和动态调整代理梯度大小方案, 实现训练后期更为准确的反向梯度以及低延迟性能.
除了直接训练低延迟SNN外, 也有学者通过执行部分时间步获得较高准确率. 在ANN领域有早期退出(Early exit)策略, 如BranchyNet[17]通过在网络某些层加入分类器, 当分类器的置信度大于预期设定的阈值时, 就选择当前分类器的结果作为网络的输出, 否则网络继续向前传播直至后续分类器的置信度大于阈值或者传播至输出层. 早期退出策略存在早期退出分支多、网络参数多、分类器阈值难于调整等问题.
与早期退出策略相似的是时间步选择策略. Kim和Panda[18]提出在时间维度归一化输入特征, 并使用神经元随时间步变化的发放阈值作为早期退出条件. Li等[19]提出的DTSNN在选择时间步时, 计算当前时间步样本的归一化信息熵, 选择熵小于预期设定阈值的最小时间步作为该样本的推理时间步. DTSNN的动态选择时间步算法如式(5) ~ (7)所示
$$ \pi_{t}^{i} ( {\boldsymbol{x}} )=\frac{ \text{exp}\left(\frac{1}{t}\sum\limits_{k=1}\limits^{t}(f_{k}({\boldsymbol{x}}_{k}))_{i}\right) }{ { \sum\limits_{j=1}\limits^{C}} \text{exp}\left(\frac{1}{t}\sum\limits_{k=1}\limits^{t}(f_{k}({\boldsymbol{x}}_{k}))_{j}\right)} $$ (5) $$ E_{f}^{t}( {\boldsymbol{x}} )=-\frac{1}{\text{lg}C}\sum\limits_{i=1}\limits^{C} \pi_{t}^{i} ( {\boldsymbol{x}} ) \text{lg} (\pi_{t}^{i} ( {\boldsymbol{x}} )) $$ (6) $$ {\hat{T}} = \text{arg}\, \underset{{\hat{T}}}{\text{min}} \{ E_{f}^{{\hat{T}}}({\boldsymbol{x}})<\theta |1\leq {\hat{T}}< T \} \cup \{ T \} $$ (7) 式中, $ C $是类别数, $ \pi_{t}^{i} ({\boldsymbol{x}}) $是样本$ {\boldsymbol{x}} $在时间步$ t $时预测为第$ i $类的概率, $ E_{f}^{t}({\boldsymbol{x}}) $是样本$ {\boldsymbol{x}} $运行$ t $个时间步时累积的熵, $ \theta $是选择时间步的阈值, $ {\hat{T}} $是熵小于$ \theta $的最小时间步, $ T $是最大时间步.
使用网络剪枝、减少脉冲发放次数与量化技术, 通常会有效降低SNN能耗. Deng等[20]通过在损失函数中引入脉冲发放率正则化项来降低脉冲发放率. Stöckl 和 Maass[21]提出具有反馈通路的神经元来减少脉冲数目. Chen等[22]通过定义权重梯度来权衡连接关系剪枝与生长, 获得稀疏网络结构. Eshraghian等[23]、Wang等[24]分别将网络权重量化为4比特和2比特.
2. ATSNN 算法
传统的SNN使用固定时间步长推理样本, 这带来较大的推理延迟和能量消耗. 我们发现部分样本使用较小时间步推理依然可以正确预测类别信息, 而对所有样本使用相同的低时间步推理性能不佳, 同时网络在极低时间步的推理性能较差.
为此, 本文提出自适应时间步脉冲神经网络, 提出不重置神经元膜电位的输出层、低时间步更重要的损失函数$ L_{\text{imp}} $和自适应时间步选择算法. 图1(a)是LIF神经元模型与ATSNN输出层等价的神经元模型, 相较于传统的使用固定时间步长的神经元计算过程, ATSNN的输出层神经元膜电位不重置, 同时根据置信度$ CL_{t} $自适应地选择合适的推理时间步, 无需运行所有的时间步; 图1(b)是ATSNN训练和动态时间步推理过程, 黄色部分为本文的神经元及损失函数, 绿色部分为自适应时间步选择模块.
图 1 ATSNN结构及训练和动态时间推理流程图Fig. 1 ATSNN structure and training and dynamic time inference flow chart本文模型一方面在固定的低时间步推理的准确率得到了大幅提升, 另一方面能够在推理过程中自适应选择合适的时间步而不损失网络性能. 此外, 本文也针对ATSNN设计一款低功耗脉冲神经网络加速器, 并在硬件模拟器上验证ATSNN.
2.1 不重置膜电位的输出层
低延迟模型如SEWResNet[13]以及DTSNN[19]均使用全连接层并使用式(5)表达网络的输出. STBP[6]使用LIF神经元全连接层并将该层脉冲在多个时间步的累加值作为网络的输出. 第一种方案的输出层将带有时间信息的脉冲序列直接转化为实数空间的值, 损失了时间信息; 第二种方案将实数空间的神经元膜电位量化为脉冲序列并统计脉冲数, 信息表达能力大幅下降. 考虑到重置膜电位会丢失部分时间信息, 为了在输出层保留更多的信息, 并且不降低网络输出信息表达能力, 本文提出使用不重置膜电位的简化LIF模型来保留时间信息和降低量化误差, 并统计膜电位的Softmax累积值作为网络的输出, 如式(8) ~ (10)所示
$$ {\boldsymbol{u}}_{t+1}^{l} = \tau {\boldsymbol{u}}_{t}^{l} + {\boldsymbol{W}}^{l}{\boldsymbol{s}}_{t+1}^{l-1} $$ (8) $$ {\boldsymbol{o}}_{i}^{t} = \frac{\text{exp}((f_{t}({\boldsymbol{x}}_{t}))_{i})}{ { \sum\limits_{j=1}\limits^{C}} \text{exp}((f_{t}({\boldsymbol{x}}_{t}))_{j})} $$ (9) $$ {\boldsymbol{y}}_{t}=\frac{1}{t} \sum\limits_{k=1}^{t} {\boldsymbol{o}}^{k} $$ (10) 式中, $(f_{t}({\boldsymbol{x}}_{t}))_i$是在时间步$ t $时最后一层的第$ i $个神经元的膜电位, $ {\boldsymbol{x}}_{t} $代表当前时刻输入网络的数据, $ {\boldsymbol{o}}_{i}^{t} $是在时间步$ t $时网络预测为第$ i $类的概率; $ {\boldsymbol{y}}_{t} $是$ t $个时间步的累积输出向量, 在训练时根据$ {\boldsymbol{y}}_{T} $最大值所在位置作为当前样本的类别. 相比于式(1) ~ (2)的基础LIF模型, 本文的神经元模型没有重置膜电位和发放脉冲操作.
通过使用本文提出的输出层, 一方面可以保持SNN丰富的时间信息, 另一方面使用了膜电位而不是神经元脉冲序列, 这将保持网络输出表达空间、消除膜电位转换脉冲带来的量化误差并提升网络分类置信度.
2.2 低时间步更重要的损失函数$ L_{\text{imp}} $
SNN输出层的信息随着时间进行累积, 时间步越大输出层的信息量越大. 现有的SNN大多采用交叉熵损失函数, 这将平等地对待每个时间步网络的输出, 造成使用固定的低时间步推理网络准确率低的问题. 本文希望增加低时间步网络的信息量, 以此提升直接固定低时间步网络的推理性能. 为此本文设计表征低时间步更重要的函数, 如式(11)所示, 时间步越小重要性越高, 并将重要性函数与交叉熵函数结合, 提出低时间步更重要的损失函数$ L_{\text{imp}} $, 如式(13)所示
$$ I_{t} = 1 + \text{exp}\left(-1-\frac{t+1}{T}\right) $$ (11) $$ D = \sum\limits_{t = 1}^{T} I_{t} $$ (12) $$ L_{\text{imp}} = -\frac{1}{B} \sum\limits_{t = 1}^{T} \frac{I_{t}}{D} \sum\limits_{i = 1}^{C}{\boldsymbol{z}}_{i}\text{lg}({\boldsymbol{o}}_{i}^{t}) $$ (13) 式中, $ I_{t} $为第$ t $个时间步的重要性, $ D $是归一化系数, $ {\boldsymbol{o}}_{i}^{t} $是在时间步$ t $时网络预测为第$ i $类的概率, $ C $是类别数, $ {\boldsymbol{z}}_{i} $是输入样本属于第$ i $类的概率, $ B $是批次大小.
基于本文的输出层以及损失函数, 使用STBP进行模型训练, 并使用式(14)所示的代理梯度函数
$$ \frac{\partial {\boldsymbol{s}}}{\partial {\boldsymbol{u}}} = \max\left({\boldsymbol{0}}, {\boldsymbol{1}}-\frac{|{\boldsymbol{u}}-{\boldsymbol{V}}_{th}|}{{\boldsymbol{V}}_{th}}\right) $$ (14) 2.3 自适应时间步选择算法
随着时间步的增加, 网络的性能也会随之增加. 对于最大时间步为$ T $的SNN, 对每个样本使用不同的时间步依然能获得相同的准确率. 经过Softmax函数归一化的时间步$ t $时的输出$ {\boldsymbol{o}}^{t} $, 如果$ {\boldsymbol{o}}_{c}^{t} $越接近于1, 这个样本属于第$ c $类的可能性就越大. 考虑到本文提出的损失函数$ L_{\text{imp}} $会使长时间步的输出重要性减弱, 为此提出基于可变置信度的自适应时间步选择算法, 如式(15)、式(16)所示
$$ CL_{t} = CL_{\text{init}} \times \tau^{t-1}_{CL} $$ (15) $$ {\hat{T}} = \min ( \{ t |\max({\boldsymbol{o}}^{t}) > CL_{t} ,1\leq t< T \} \cup \{ T \} ) $$ (16) 式中, 超参数$ CL_{\text{init}} $是初始化置信度, 标量$ \tau_{CL} $是置信度$ CL_{t} $的衰减系数, $ {\hat{T}} $是选择的时间步, $ {\boldsymbol{o}}^{t} $是时间步$ t $时网络的输出. 若当前时间步网络输出的最大值小于置信度$ CL_{t} $, 认为此时网络的输出并不可信, 需要进行下一个时间步的计算, 直至获得可信的结果. 由于式(11)的时间步重要性随时间增大而减小, 置信度$ CL_{t} $变化趋势应与时间步重要性保持一致, 如式(15)所示.
2.4 脉冲神经网络加速器
脉冲神经网络加速器可以对SNN低功耗推理. 图2(a)为SNN常用的加速器, 由于神经元膜电位更新需要衰减操作, 因此使用了带有高能耗乘法的处理元件(Process elements, PE)用于膜电位计算, 同时SNN使用固定时间步进行推理, 没有时间步选择模块.
图 2 加速器架构((a)常规加速器; (b) DTSNN的加速器; (c)本文加速器)Fig. 2 Accelerator architecture ((a) Conventional accelerator; (b) Accelerator of DTSNN; (c) Our accelerator)图2(b)是DTSNN的硬件加速器, 在实现方式上, 采用数模混合的方式: PE更新膜电位时使用模拟信号, DT选择动态时间步时使用数字信号. 由于加速器采用了大量的模数转换器(Analog to digital converter, ADC), 引入了额外的功耗开销, 芯片面积也会明显增大. 动态时间步选择模块DT为全数字实现, 通过使用在6 KB存储器查表的方式避免复杂的指数、对数运算.
本文设计脉冲神经网络加速器, 并实现所提出的自适应时间步选择算法. 图2(c)是本文加速器的架构, 阵列大小为16$ \times $16, 包含255个PE单元、1个AT单元. PE和AT均有128 B的输入脉冲缓冲器和128 B的输出脉冲缓冲器; PE和AT数据存储器的大小分别为1 KB、3 KB.
PE是完成神经元计算、发放脉冲的处理单元, 完成输入电流累积、膜电位更新、发放脉冲三个操作. 针对式(1)中膜电位衰减需要高能耗的乘法计算, 本文使用移位和加法计算代替乘法计算, 从而降低加速器的功耗.
AT单元用于实现ATSNN的输出层以及AT算法, 由于不重置膜电位, 相较于PE少了一个多路选择器(Multiplexer, MUX), 同时加入了一个乘法器用于实现AT算法. 为降低硬件功耗, 将AT算法修改为硬件友好型, 如式(17)、式(18)所示
$$ {\boldsymbol{o}}_{i}^{t} = \text{exp}((f_{t}({\boldsymbol{x}}_t))_{i}) $$ (17) $$ CL_{t} = CL_{\text{init}} \times \tau^{t-1}_{CL} \times \sum\limits_{j=1}^{C} \text{exp}((f_{t}({\boldsymbol{x}}_t))_{j}) $$ (18) 相较于式(9)和式(15), 硬件上的AT算法在计算输出时, 将高能耗与高延迟的除法计算转换为乘法计算; 同时在硬件设计上, 通过对在数据存储参数区预存的指数值线性插值, 避免式(17)中高能耗的指数计算. 相较于DTSNN的加速器, 本文的加速器避免大量ADC带来的额外功耗开销, 同时具有更小的存储器开销.
3. 实验结果与分析
3.1 数据集与实验设置
本文使用四个静态图像数据集和两个动态数据集训练并测试网络. 静态数据集CIFAR10和CIFAR100[25], 每个数据集均有尺寸为3$ \times $32$ \times $32的
50000 张训练图像和10000 张测试图像, 类别数分别为10和100. TinyImageNet[26]总共有200类尺寸为3$ \times $64$ \times $64的100000 张训练图像和10000 张测试图像. ImageNet-100数据集是ImageNet1K[27]的子集, 具有100类尺寸为3$ \times $224$ \times $224的126689 张训练图像和5000 张测试图像. 动态数据集CIFAR10-DVS[28]通过使用DVS相机将10000 个CIFAR10图像转换成数据流, 相机的空间分辨率为128$ \times $128, 数据集的类别数为10. 动态数据集N-Caltech-101[29]有101类共8709 个数据流, 相机空间分辨率为240$ \times $180.基于NVIDIA GeForce RTX 3090Ti训练并推理本文提出的算法, 网络结构使用VGG16和ResNet19. 对于静态数据集, 使用均值和方差归一化图像. 对于数据集CIFAR10-DVS, 由于原数据集没有划分训练集和测试集, 本文参照DTSNN将其划分为
9000 个训练样本和1000 个测试样本; 对于数据集N-Caltech-101, 参照NDA[30]划分数据集, 并使用Spikingjelly[31]将动态数据集转换成与相机画幅相同的双通道图像帧.对于所有的数据集和网络, 均使用随机梯度下降(Stochastic gradient descent, SGD)优化器, 权值衰减设置为
0.0005 , 动量设置为0.9. 初始学习率为0.1, 使用余弦退火方法调整学习率; 批大小设置为256, 最大迭代次数设置为300. 本文首先使用固定时间步对网络进行训练, 然后使用提出的时间步选择算法对训练后的网络选择合适的时间步. 网络的性能有三个评价指标: 准确率、吞吐率和复杂度. 复杂度$ E $计算如式(19)所示$$ E = { \sum\limits_{l=1}\limits^{L}} fr^{l-1}\times T\times conn^{l} $$ (19) 式中, $ fr^{l-1} $为第$ l-1 $层的脉冲发放率, $ conn^{l} $为第$ l $层每个输入神经元实际连接的权重数目.
3.2 ATSNN 获得优于 DTSNN精度
为验证本文提出的ATSNN的有效性, 将本文的算法与未使用ATSNN模块的SNN和Li等[19]提出的DTSNN进行对比. 本文使用相同的参数训练SNN、DTSNN和ATSNN, 对比推理所用的平均时间步和复杂度, 并将SNN的复杂度归一化以作为基准.
表1给出各个模型在三个数据集上的性能, 表中时间步一列如2.53 (4)表示推理平均时间步为2.53, 最大时间步为4. 从表1可以看出, 在CIFAR10数据集上, ATSNN只需要2.19和2.00个时间步就能达到另外两个模型相当的准确率, 复杂度仅为SNN的67%; 在CIFAR100数据集上, ATSNN只需要2.49和2.53个时间步就能获得最好的准确率, 复杂度仅为SNN的64%; 而在CIFAR10-DVS数据集上, ATSNN的准确率接近其他两个算法, 但平均时间步和复杂度最小.
表 1 SNN、DTSNN和ATSNN在时间步、准确率和复杂度的对比Table 1 Comparison of SNN, DTSNN and ATSNN in timestep, accuracy and complexity网络结构 算法 CIFAR10 CIFAR100 CIFAR10-DVS 时间步 准确率(%) 复杂度 时间步 准确率(%) 复杂度 时间步 准确率(%) 复杂度 VGG16 SNN 4.00 91.35 1.00 4.00 66.99 1.00 10.00 72.60 1.00 DTSNN 2.53 (4) 91.13 0.79 3.58 (4) 69.68 0.96 5.70 (10) 73.30 0.56 ATSNN 2.19 (4) 91.61 0.67 2.49 (4) 70.05 0.63 4.13 (10) 73.00 0.43 ResNet19 SNN 4.00 91.86 1.00 4.00 67.22 1.00 10.00 70.00 1.00 DTSNN 2.52 (4) 91.51 0.88 3.54 (4) 67.58 1.02 6.95 (10) 70.50 0.94 ATSNN 2.00 (4) 91.84 0.67 2.53 (4) 70.64 0.64 5.57 (10) 69.50 0.63 通过调整时间步选择模块的参数, 获得DTSNN和ATSNN的准确率随平均推理时间步变化曲线. 如图3所示, 可以看到在相同准确率下, ATSNN具有更低的平均推理时间步, 因此推理延迟更低; 在相同的平均推理时间步下, ATSNN具有更高的准确率. 如图3(d)所示, 在平均时间步均约为2.4的情况下, ATSNN准确率高于DTSNN. 通过以上结果与分析, ATSNN在准确率和推理延迟上优于DTSNN.
此外, 为进一步探究ATSNN和DTSNN的计算耗能情况, 在ImageNet-100和N-Caltech-101两个数据集上对比每个时间步ATSNN相对DTSNN的计算复杂度和网络性能, 对比结果如表2所示. 表中T1表示第一个时间步的相对计算复杂度, $ \tilde{T} $是使用时间步选择算法后ATSNN相对于DTSNN的平均推理时间步, $ \Delta ACC $是ATSNN相对于DTSNN提升的准确率. 从表中可以看出在两个数据集上ATSNN能够取得更好的准确率, 同时ATSNN的计算复杂度和DTSNN相差不大, 即两个算法每个时间步计算耗能相似. 由于ATSNN使用更少的时间步进行推理, 故计算耗能更低, 计算效率更高.
表 2 每个时间步的相对计算复杂度及网络性能Table 2 Relative computational complexity per timestep and network performance数据集 T1 T2 T3 T4 T5 $\tilde{T}$ (%) $\Delta ACC$ (%) ImageNet-100 0.998 1.009 1.009 1.010 1.003 68.49 0.90 N-Caltech-101 0.959 0.977 0.978 0.959 0.989 68.32 0.45 3.3 有效的损失函数$ L_{\text{imp}} $
ATSNN的损失函数$ L_{\text{imp}} $期望低时间步网络输出的重要性更高. 为测试损失函数的效果, 在SNN的基础上, 仅将损失函数替换为交叉熵(Cross entropy)函数、DTSNN模型的损失函数(DTSNN-loss)和本文的损失函数($ L_{\text{imp}} $)并训练网络. 然后所有网络均不使用时间步选择算法, 仅使用固定的时间步(1、2、3、4)测试网络性能, 结果如图4所示.
图 4 固定时间步时使用三种损失函数的准确率Fig. 4 Accuracy by using three loss functions at fixed timestep从图4中可以看出, 使用本文的损失函数$ L_{\text{imp}} $在1个时间步的推理性能优于另外两个损失函数, 这为后续选择时间步算法实现低推理延迟且无准确率损失奠定了基础. 由此可见, 本文的损失函数$ L_{\text{imp}} $提升了网络在低时间步的表达能力.
3.4 低能耗SNN硬件加速器
本文使用SNN硬件模拟器SATA-Sim[32]实现脉冲神经网络加速器, 使用4个工作在28 nm工艺、500 MHz时钟频率条件的并行加速器运行本文模型, 同时也与GPU对比总耗能、帧率(Frames per second, FPS).
实验结果如表3所示, 表3最后一列的数值如606.1 (5.46%)表示本文加速器总耗能606.1 J, 仅为GPU耗能的5.46%. 可以明显看到, 本文的加速器能够达到GPU相同的推理速度, 但仅消耗4.43% ~ 7.88% GPU的能量. 同时本文也分析AT单元的功耗, 由于最后一层神经元数目少, AT单元的操作数远少于PE单元, 所以尽管有乘法器的存在, AT单元的总功耗不及PE的千分之一. 因此本文的硬件平台具有显著的能耗优势, 并且AT算法不会引入较大的资源消耗, 非常适合部署在终端智能设备.
表 3 加速器与GPU关于FPS、耗能对比Table 3 Comparison of FPS and energy consumption between accelerator and GPU网络结构 数据集 GPU 本文加速器 FPS 耗能(J) FPS 耗能(J) VGG16 CIFAR10 215 6814 248 537.6 (7.88%) CIFAR100 200 7499 228 543.6 (7.24%) ResNet19 CIFAR10 215 11088 212 606.1 (5.46%) CIFAR100 172 13914 180 617.2 (4.43%) 3.5 超参数的影响分析
本文的自适应时间步选择算法有两个超参数$ CL_{\text{init}} $和$ \tau_{CL} $, 在CIFAR10和CIFAR100数据集上遍历两个超参数分别从
0.9950 到0.9998 , 步长为0.0002 , 统计不同参数对算法准确率以及平均时间步的影响.图5、图6分别为不同超参数条件下的准确率和平均时间步. 从图中可以看到, 随着两个超参数的不断增大, 算法的准确率呈增大趋势, 同时所有算法的平均时间步也在提升. 这是因为当$ CL_{\text{init}} $变大、$ \tau_{CL} $变大时, ATSNN输出层需要更高的置信度才能退出选择时间步模块, 在提升推理准确率的同时也带来了时间步的增加. 超参数的选择会对网络的性能带来一定的影响, 为此设置$ CL_{\text{init}} $和$ \tau_{CL} $均为0.999, 此时ATSNN的性能如表4所示. 与表1的结果相比, 本文的算法仍然具有较低的平均时间步和较高的准确率.
表 4 默认超参数的性能Table 4 Performance with default hyperparameters数据集 网络结构 时间步 准确率(%) CIFAR10 ResNet19 1.897 (4) 91.77 CIFAR10 VGG16 2.183 (4) 91.57 CIFAR100 ResNet19 2.501 (4) 70.46 CIFAR100 VGG16 2.642 (4) 69.58 当$ \tau_{CL} $等于1时, ATSNN的自适应时间步选择算法退化为单一阈值比较, 这在CNN的早期退出经常使用. 对比本文提出的动态时间步选择方案$ (\tau_{CL} \ne1)$以及$ \tau_{CL}=1 $时的退化方案, 结果如图7所示. 实验结果表明, 本文动态时间步选择方案比退化的方案具有更好的性能. 虽然本文方案具有两个超参数, 但从前文的分析可以得知, 使用默认的超参数也可以获得较好的性能, 并且增大超参数能够提升准确率.
图 7 $ \tau_{CL}\ne1 $和$ \tau_{CL} =1$时的性能对比Fig. 7 Performance comparison between $ \tau_{CL}\ne1 $ and $ \tau_{CL}= 1 $3.6 消融实验分析
为验证本文提出的各个模块对低时间步推理的合理性和有效性, 针对网络构建过程使用到的三个模块进行消融实验. ATSNN使用的网络模型相较于SNN模型做了三处改动: 替换输出层神经元、改变输出表征以及更换损失函数. 本节在基准SNN的基础上逐步替换模块来进行消融实验, 实验使用ResNet19结构并在CIFAR10和CIFAR100两个数据集上进行, 训练的时间步均为4. 如表5所示, 第2 ~ 4列分别表示是否替换相应模块, 如第3行表示仅将输出层替换为本文的膜电位不重置LIF神经元; 第5 ~ 8列分别表示推理时间步为1 ~ 4的网络准确率.
表 5 ATSNN消融实验Table 5 Ablation experiment of ATSNN数据集 输出层神经元 损失函数 输出表征 T1 T2 T3 T4 CIFAR10 34.43 89.39 90.82 91.86 √ 47.26 89.85 90.52 91.38 √ 85.68 88.78 90.39 91.28 √ √ 86.93 89.96 91.63 91.79 √ √ √ 86.93 90.14 91.39 91.86 CIFAR100 27.13 56.68 62.53 67.22 √ 30.38 57.19 63.37 67.70 √ 52.69 63.80 67.29 69.61 √ √ 53.47 64.35 67.53 69.90 √ √ √ 53.47 65.23 68.17 70.25 通过表5可以看到, 当只替换输出层时, 推理时只使用一个时间步的网络性能得到了提升; 如果只更换损失函数, 推理时只使用一个时间步的网络准确率得到了大幅度提升, 基本上与基准SNN使用两个时间步的推理准确率相似; 当替换输出层和损失函数时, 网络在低时间步的推理性能进一步得到提升, 说明两个模块的结合有助于提升网络的性能; 最后一行为三个模块全部替换的结果, 此时低时间步推理性能和网络最终的准确率(时间步为4的推理性能)达到最高. 不过在CIFAR10数据集上, 尽管替换部分模块导致网络最终准确率下降, 但低时间步推理性能得到了提升, 这对后续的动态时间步选择十分重要. 此外在替换全部模块的情况下, 网络最终性能能够达到基准SNN的性能, 甚至超越. 因此本文提出的模块在大幅提升低时间步推理准确率的同时, 能够保持甚至提高网络最终的推理准确率.
3.7 低延迟特性对比
本文也和目前具有低延迟的SNN算法进行了比较, 结果如表6所示. 表6中时间步一列如2.51 (4)表示训练时间步为4, 推理时选择的平均时间步为2.51. 网络结构一列VGG16的参数量为138 M、ResNet19的参数量为11.2 M、SEW-ResNet34的参数量为21.5 M.
表 6 ATSNN与低延迟算法的对比Table 6 Comparison between ATSNN and low-latency algorithms数据集 算法 算法类型 网络结构 时间步 准确率 (%) CIFAR10 Conversion[11] ANN转SNN VGG16 8 90.96 STDB[33] 转换+训练 VGG16 5 91.41 EfficientLIF-Net[10] 直接训练 VGG16 5 90.30 DTSNN[19] 直接训练 VGG16 2.53 (4) 91.13 本文 直接训练 VGG16 2.56 (10) 92.09 STBP-tdBN[14] 直接训练 ResNet19 6 93.16 DTSNN[19] 直接训练 ResNet19 2.51 (4) 91.51 本文 直接训练 ResNet19 2.71 (10) 92.38 CIFAR100 STDB[33] 转换+训练 VGG16 5 66.46 Diet-SNN[15] 直接训练 VGG16 5 69.67 Real Spike[34] 直接训练 VGG16 5 70.62 RecDis-SNN[35] 直接训练 VGG16 5 69.88 本文 直接训练 VGG16 3.86 (10) 71.37 DTSNN[19] 直接训练 ResNet19 3.54 (4) 67.58 本文 直接训练 ResNet19 2.53 (10) 70.64 CIFAR10-DVS STBP-tdBN[14] 直接训练 ResNet19 6 67.80 DTSNN[19] 直接训练 ResNet19 6.95 (10) 70.50 本文 直接训练 ResNet19 5.57 (10) 69.50 ImageNet-100 EfficientLIF-Net[10] 直接训练 ResNet19 5 79.44 LocalZO[36] 直接训练 SEW-ResNet34 4 81.56 本文 直接训练 ResNet19 1.76 (5) 81.96 TinyImageNet EfficientLIF-Net[10] 直接训练 ResNet19 5 55.44 DTSNN[19] 直接训练 ResNet19 3.71 (5) 57.18 本文 直接训练 ResNet19 2.47 (5) 57.61 N-Caltech-101 MC-SNN[37] 直接训练 VGG16 20 81.24 DTSNN[19] 直接训练 VGG16 3.21 (10) 82.26 本文 直接训练 VGG16 2.19 (10) 82.63 NDA[30] 直接训练 ResNet19 10 78.60 本文 直接训练 ResNet19 2.56 (10) 80.56 通过表6的结果可以看出, ATSNN获得了最低的推理延迟. 在CIFAR10数据集上, 能以2.71个时间步获得92.38%的准确率; 在CIFAR100数据集上获得了最高分类准确率; 在CIFAR10-DVS数据集上, 本文的算法仍能以5.57个时间步获得较高准确率; 在规模更大的ImageNet-100、TinyImageNet和N-Caltech-101数据集上, ATSNN实现了最低的推理延迟和最高的准确率. 通过以上分析可以得到, 本文的算法不论是与固定低时间步的算法还是与动态选择时间步的算法相比, 均有较低的时间步以及较高的准确率, 具有较强的低延迟推理能力.
3.8 讨论
通过实验可以看出, 本文算法具有推理延迟低、复杂度低的特点, 在所有的实验中均取得了较低的推理延迟. 但在处理部分数据集时, 如表6的CIFAR10, 本文算法的准确率不及STBP-tdBN方法; 在CIFAR10-DVS数据集上, 本文算法准确率略低于DTSNN.
出现这种情况的原因主要是训练出的网络精度较低. 通过在训练时增大时间步, 发现本文算法依然比上述算法具有更低的推理延迟, 准确率相对于低时间步训练的网络得到了提升. 因此可以通过增加训练时间步解决这个问题, 同时也考虑对网络改进以提升性能.
此外, 在第3.3节中, 直接使用本文提出的损失函数$ L_{\text{imp}} $会出现准确率下降的现象(图4 时间步为4). 这是因为这项对比实验使用到的SNN模型, 其输出层为无时间信息的全连接层. 由于$ L_{\text{imp}} $会使长时间步的输出重要性减弱, 如果网络输出携带较少的时间信息, 权重无法得到有效更新, 从而导致准确率下降. 但是在本文的算法中, 输出层能够携带时间信息, 因此使用$ L_{\text{imp}} $的ATSNN能够相较其他算法提升网络的准确率.
从时间步选择算法的计算过程来看, 根据式(5) ~ (7), DTSNN每个时间步分别需要进行$ C $次除法、指数、对数运算; 从式(17)、式(18)可以看出, 本文算法每个时间步需要$ C $次指数运算. 由于除法和对数运算的计算过程较为复杂, 计算延迟高、能耗大, 难以在硬件上直接部署. 尽管DTSNN的加速器设计了专用的时间步模块实现该算法, 但所需的存储器资源是本文加速器的两倍. 综上, 本文方案相比DTSNN对硬件更加友好, 同时具有较高的推理性能、较低的推理延迟以及较低的能耗, 适合在低功耗智能终端设备上部署.
4. 结论
本文介绍了一种自适应时间步脉冲神经网络, 能够在推理过程中自动选择适当的时间步. 本文改进了 SNN 输出层与表征方式, 构建了具有时间重要性的损失函数$ L_{\text{imp}} $, 提出了可自适应选择时间步的方法, 并分析了所提自适应时间步选择算法的有效性. 此外本文也设计了一款适用于ATSNN的低功耗脉冲神经网络加速器. 实验结果表明, ATSNN 的延迟减少36.7% ~ 58.7%, 计算复杂度减少33.0% ~ 57.0%. 与目前最先进的动态时间步脉冲神经网络DTSNN相比, ATSNN 能有效缩短时间步, 提升网络准确率, 具有更高的能效. 同时, 本文加速器具有与GPU相当的推理速度, 能耗仅为GPU RTX 3090Ti的4.43% ~ 7.88%. 综上, ATSNN 能在推理过程中自适应地选择时间步, 降低复杂度、推理延迟和能耗, 有效解决了多时间步带来的问题, 非常适合在低功耗智能终端设备上部署.
-
图 4 一例心肌缺血患者的心电动力学图及CDG值
Fig. 4 The CDG and CDG value of a patient with myocardial ischemia
图 5 冠脉狭窄与非狭窄组间的CDG值差异(
$ \lozenge $ :$ p<0.01 $ 存在差异有高度统计显著性;$ \bigstar $ : 超出边界的实例.)Fig. 5 Differences of CDG values between coronary stenosis and non-stenosis groups (
$ \lozenge $ :$ p<0.01 $ was considered as statistically significant.$ \bigstar $ : subjects that were out of boundaries.)
图 7 一例冠脉单支病变男性患者, 55岁 ((a) 正常心电图; (b) 心电动力学图散乱;(c) 冠脉前降支存在80%狭窄;(d) CDG值阳性)
Fig. 7 A case of ischemic male patient with single vessel disease, 55 years old ((a) Nondiagnostic ECG; (b) Irregular CDG; (c) The left anterior descending branch of the coronary artery is with stenosis 80%; (d) The positive CDG value)
图 8 一例冠脉双支病变男性患者, 35岁 ((a) 正常心电图; (b) 心电动力学图散乱; (c) 冠脉回旋支中段50%狭窄,右冠近段100%狭窄; (d) CDG值阳性)
Fig. 8 A case of ischemic male patient with double-vessel disease, 35 years old ((a) Nondiagnostic ECG; (b) Irregular CDG; (c) The middle segment of the left circumflex artery is with stenosis 50% narrow, and the proximal segment of the right coronary artery is occluded; (d) The positive CDG value)
图 9 一例冠脉三支病变男性患者, 50岁 ((a) 正常心电图; (b) 心电动力学图散乱; (c) 中间支开口90%狭窄, 回旋支远段80%局限狭窄, 右冠远段90%局限狭窄; (d) CDG值阳性)
Fig. 9 A case of ischemic male patient with triple-vessel disease, 50 years old ((a) Nondiagnostic ECG; (b) Irregular CDG; (c) The opening of the middle branch is 90% narrow, the distal segment of the left circumflex artery is with stenosis 80%, and the distal segment of the right coronary artery is with stenosis 90%; (d) The positive CDG value)
图 10 一例非缺血女性患者, 47岁 ((a) 正常心电图; (b) 心电动力学图较为规整; (c) 正常冠脉; (d) CDG值阴性)
Fig. 10 A case of nonischemic female patient, 47 years old ((a) Normal ECG; (b) Regular CDG; (c) Normal coronary angiography; (d) The negative CDG value)
图 11 一例非缺血男性患者, 47岁 ((a) 正常心电图; (b) 心电动力学图规整; (c) 正常冠脉; (d) CDG值阴性)
Fig. 11 A case of nonischemic male patient, 47 years old ((a) Normal ECG; (b) Regular CDG; (c) Normal coronary angiography; (d) The negative CDG value)
图 12 不同缺血标注精度下分类模型的ROC曲线
Fig. 12 ROC curves of classification models at different accuracy of ischemic labeling
图 13 一例慢血流男性患者, 48岁 ((a) 正常心电图; (b) 心电动力学图散乱; (c) 冠脉无狭窄前降支慢血流; (d) CDG值阳性)
Fig. 13 A case of ischemic male patient with slow coronary flow, 48 years old ((a) Normal ECG; (b) Irregular CDG; (c) The left anterior descending branch of the coronary artery is with coronary slow flow; (d) The positive CDG value)
图 14 一例慢血流女性患者, 50岁 ((a) 正常心电图; (b) 心电动力学图散乱; (c) 冠脉无狭窄但前降支中段第一对角支慢血流; (d) CDG值阳性)
Fig. 14 A case of ischemic female patient with slow coronary flow, 50 years old ((a) Normal ECG; (b) Irregular CDG; (c) Coronary slow flow in the first diagonal branch of the coronary artery; (d) The positive CDG value)
表 1 疑似心肌缺血患者病例信息记录
Table 1 A case of suspected myocardial ischemic patient
项目 信息记录 编号/来源 SHZ2944/石河子市人民医院 年龄/性别 59/男 心率/血压 68 (次/分)/200 (高), 100 (低) (mmHg) 主诉 半月前无诱因再次出现胸骨中下段拳头大小范围压迫样疼痛, 伴胸闷、心慌、出汗, 症状持续数分钟休息后缓解, 症状频繁发作, 偶有静息下发作 既往史 平素健康状况一般, 高血压 30 年, 最高达 200/100 mmHg, 无其他病史 心电图 窦性心律, 偶发室早, T波改变 冠脉造影 前降支近段斑块; 回旋支近段斑块、远段 100% 闭塞, 可见前降支到回旋支侧枝形成; 右冠中段 80% 病变, 远段 90% 弥漫性病变 临床诊断 1) 冠心病, 不稳定性心绞痛; 2) 高血压 3 级 (很高危) 
下载: 导出CSV
表 2 自建数据集与PTB数据集对比
Table 2 Comparison between PTB diagnostic dataset and the proposed dataset
来源 PTB 自建 总病例数 290 781 缺血病例 148 700 非缺血病例 52 81 心电图 基本发生缺血性改变 393 例正常或非特异性改变 缺血病因 冠脉狭窄 冠脉狭窄、慢血流
下载: 导出CSV
表 3 心电图正常或大致正常患者的人口基线特征
Table 3 Baseline characteristics of patients with normal or nearly normal ECG
类型 冠脉狭窄 (299) 非冠脉狭窄 (n = 94) p 值 冠脉慢血流 (13) 非冠脉病变 (81) 性别 (男性) 216/299 (72.2%) 9/13 (69.2%) 43/81 (53.7%) 0.005** 年龄 58±10 56±9 54±10 0.022* 收缩压 (mmHg) 129±10 131±18 127±14 0.563 舒张压 (mmHg) 77±10 85±14 77±10 0.109 心率 (beats/min) 72±10 65±6 71±10 0.012* 高血压 171/299 (57.2%) 10/13 (76.9%) 42/81 (51.9%) 0.226 糖尿病 88/299 (29.4%) 6/13 (46.2%) 18/81 (22.2%) 0.159 血脂异常 190/299 (63.5%) 8/13 (61.5%) 53/81 (65.4%) 0.937 注: 所有数据采用软件 SPSS 21.0 进行统计分析; 计量资料采用 Mann-Whitney 秩和检验, 表示为 (均值±标准差); 计数资料采用卡方检验, 用%表示; *: p < 0.05为差异有统计显著性; **: p < 0.01为差异有高度统计显著性.
下载: 导出CSV
表 4 不同缺血标注精度下, 心电动力学图的缺血检测结果
Table 4 The results of CDG in the detection of ischemia at different precision of ischemia labeling
缺血标准 灵敏度 (%) 特异度 (%) 准确率 (%) AUC 冠脉狭窄 85.1 82.6 87.8 0.88 冠脉狭窄及慢血流 90.1 85.2 89.0 0.93
下载: 导出CSV
表 5 本文方法与文献中的方法在PTB数据集上的心肌缺血检测结果对比
Table 5 Comparison of the CDG against the related literatures about myocardial ischemia detection
方法 数据 方法特点 特征数 分类器 性能 (%) 准确率 敏感度 特异度 Sharma等 (2015)[20] 导联: 12 导联心电记录: 148 MI, 52 HC 多尺度小波能量特征 72 KNN/SVM 96.00 93.00 99.00 Han等 (2019)[15] 导联: 12 导联心电记录: 28 213 MI,
5 373 HC能量熵; 形态学特征 22 SVM 92.69 80.96 80.96 Diker等 (2018[17] 导联: 不可知心电信号: 148 MI, 52 HC 形态学特征; 时域特征;
离散小波变换特征9 SVM 87.80 86.97 88.67 Sharma等 (2018)[18] 导联: II、III、aVF 导联心电信号: 3 240
下壁 MI, 3 037 HC样本熵; 归一化子带能量;
对数能量熵; 中值斜率10 KNN/SVM 81.71 79.01 79.26 Acharya等 (2017)[27] 导联: II 导联心拍: 40 182 MI, 10 546 HC 卷积神经网络 − 全连接网络 95.22 95.49 94.19 Han等 (2020)[29] 导联: 12 导联心电记录: 17 212 MI,
6 945 HC多导联残差网络 − 全连接 softmax 95.49 94.85 97.37 本文方法 导联: 12 导联心电记录: 148 MI, 52 HC 心电动力学图特征 2 SVM-Linear 97.00 98.65 92.31
下载: 导出CSV
-
[1] World Health Organization. The top 10 causes of death [Online], available: https://www.who.int/en/news-room/fact-sheets/detail/the-top-10-causes-of-death, June 16, 2020 [2] 国家卫生计生委合理用药专家委员会, 中国药师协会. 冠心病合理用药指南(第2版). 中国医学前沿杂志(电子版), 2018, 10(6): 1−130Committee of Experts on Rational Drug Use National Health and Family Planning Commission of the P. R. China, Chinese Pharmacists Association. Guideline on rational use of drugs for coronary heart disease (2nd edition). Chinese Journal of the Frontiers of Medical Science (Electronic Version), 2018, 10(6): 1−130 [3] Tamis-Holland J E, Jneid H, Reynolds H R, Agewall S, Brilakis E S, Brown T M, et al. Contemporary diagnosis and management of patients with myocardial infarction in the absence of obstructive coronary artery disease: A scientific statement from the American Heart Association. Circulation, 2019, 139(18): e891−e908 [4] Song Y B, Arbab-Zadeh A, Matheson M B, Ostovaneh M R, Vavere A, Dewey M, et al. Contemporary discrepancies of stenosis assessment by computed tomography and invasive coronary angiography. Circulation: Cardiovascular Imaging, 2019, 12(2): e007720 [5] 中华医学会心血管病学分会介入心脏病学组, 中华医学会心血管病学分会动脉粥样硬化与冠心病学组, 中国医师协会心血管内科医师分会血栓防治专业委员会, 中华心血管病杂志编辑委员会. 稳定性冠心病诊断与治疗指南. 中华心血管病杂志, 2018, 46(9): 680−694 doi: 10.3760/cma.j.issn.0253-3758.2018.09.004Interventional Cardiology Group in Chinese Society of Cardiology, Atherosclerosis and Coronary Artery Disease Group in Chinese Society of Cardiology, Chinese College of Cardiovascular Physicians, Editorial Board of Chinese Journal of Cardiology. Guideline for the diagnosis and treatment of stable coronary artery disease. Chinese Journal of Cardiology, 2018, 46(9): 680−694 doi: 10.3760/cma.j.issn.0253-3758.2018.09.004 [6] Colombo A, Panoulas V F. Diagnostic coronary angiography is getting old!. JACC: Cardiovascular Imaging, 2015, 8(1): 11−13 doi: 10.1016/j.jcmg.2014.11.003 [7] Tonino P A L, Fearon W F, De Bruyne B, Oldroyd K G, Leesar M A, Ver Lee P N, et al. Angiographic versus functional severity of coronary artery stenoses in the FAME study: Fractional flow reserve versus angiography in multivessel evaluation. Journal of the American College of Cardiology, 2010, 55(25): 2816−2821 doi: 10.1016/j.jacc.2009.11.096 [8] Park H B, Heo R, óHartaigh B, Cho I, Gransar H, Nakazato R, et al. Atherosclerotic plaque characteristics by CT angiography identify coronary lesions that cause ischemia: A direct comparison to fractional flow reserve. JACC: Cardiovascular Imaging, 2015, 8(1): 1−10 doi: 10.1016/j.jcmg.2014.11.002 [9] 王建安. 透过现象看本质: 从冠状动脉狭窄与心肌缺血的辩证关系说起. 中华心血管病杂志, 2018, 46(9): 671 doi: 10.3760/cma.j.issn.0253-3758.2018.09.001Wang Jian-An. Essence through the appearance: The relationship between coronary artery stenosis and myocardial ischemia is discussed. Chinese Journal of Cardiology, 2018, 46(9): 671 doi: 10.3760/cma.j.issn.0253-3758.2018.09.001 [10] 中华医学会心血管病学分会基础研究学组, 中华医学会心血管病学分会介入心脏病学组, 中华医学会心血管病学分会女性心脏健康学组, 中华医学会心血管病学分会动脉粥样硬化和冠心病学组. 冠状动脉微血管疾病诊断和治疗的中国专家共识. 中国循环杂志, 2017, 32(5): 421−430 doi: 10.3969/j.issn.1000-3614.2017.05.003Basic Research Group, Interventional Cardiology Group, Female Heart Health Greup, and Atherosclerosis and Coronary Heart Disease Group of Chinese Society of Cardiology. Recommendation of Chinese experts on the diagnosis and treatment of coronary microvascular disease. Chinese Circulation Journal, 2017, 32(5): 421−430 doi: 10.3969/j.issn.1000-3614.2017.05.003 [11] Thygesen K, Alpert J S, Jaffe A S, Chaitman B R, Bax J J, Morrow D A, et al. Fourth universal definition of myocardial infarction (2018). European Heart Journal, 2019, 40(3): 237−269 doi: 10.1093/eurheartj/ehy462 [12] Lilly L S. Pathophysiology of Heart Disease: A Collaborative Project of Medical Students and Faculty (July edition). New York: Wolters Kluwer, 2020. 134−153 [13] Drew B J, Pelter M M, Lee E, Zegre J, Schindler D, Fleischmann K E. Designing prehospital ECG systems for acute coronary syndromes. Lessons learned from clinical trials involving 12-lead ST-segment monitoring. Journal of Electrocardiology, 2005, 38(4 Suppl): 180−185 [14] Rouan G W, Lee T H, Cook E F, Brand D A, Weisberg M C, Goldman L. Clinical characteristics and outcome of acute myocardial infarction in patients with initially normal or nonspecific electrocardiograms (a report from the Multicenter Chest Pain Study). The American Journal of Cardiology, 1989, 64(18): 1087−1092 doi: 10.1016/0002-9149(89)90857-6 [15] Han C, Shi L. Automated interpretable detection of myocardial infarction fusing energy entropy and morphological features. Computer Methods and Programs in Biomedicine, 2019, 175: 9−23 doi: 10.1016/j.cmpb.2019.03.012 [16] Sadhukhan D, Pal S, Mitra M. Automated identification of myocardial infarction using harmonic phase distribution pattern of ECG data. IEEE Transactions on Instrumentation and Measurement, 2018, 67(10): 2303−2313 doi: 10.1109/TIM.2018.2816458 [17] Diker A, Cömert Z, Avci E, Velappan S. Intelligent system based on Genetic Algorithm and support vector machine for detection of myocardial infarction from ECG signals. In: Proceedings of the 26th Signal Processing and Communications Applications Conference (SIU). Izmir, Turkey: IEEE, 2018. 1−4 [18] Sharma L D, Sunkaria R K. Inferior myocardial infarction detection using stationary wavelet transform and machine learning approach. Signal, Image and Video Processing, 2018, 12(2): 199−206 doi: 10.1007/s11760-017-1146-z [19] Papaloukas C, Fotiadis D I, Likas A, Michalis L K. An ischemia detection method based on artificial neural networks. Artificial Intelligence in Medicine, 2002, 24(2): 167−178 doi: 10.1016/S0933-3657(01)00100-2 [20] Sharma L N, Tripathy R K, Dandapat S. Multiscale energy and eigenspace approach to detection and localization of myocardial infarction. IEEE Transactions on Biomedical Engineering, 2015, 62(7): 1827−1837 doi: 10.1109/TBME.2015.2405134 [21] Ansari S, Farzaneh N, Duda M, Horan K, Andersson H B, Goldberger Z D, et al. A review of automated methods for detection of myocardial ischemia and infarction using electrocardiogram and electronic health records. IEEE Reviews in Biomedical Engineering, 2017, 10: 264−298 doi: 10.1109/RBME.2017.2757953 [22] Goletsis Y, Papaloukas C, Fotiadis D I, Likas A, Michalis L K. Automated ischemic beat classification using genetic algorithms and multicriteria decision analysis. IEEE Transactions on Biomedical Engineering, 2004, 51(10): 1717−1725 doi: 10.1109/TBME.2004.828033 [23] Dohare A K, Kumar V, Kumar R. Detection of myocardial infarction in 12 lead ECG using support vector machine. Applied Soft Computing, 2018, 64: 138−147 doi: 10.1016/j.asoc.2017.12.001 [24] Acharya U R, Fujita H, Adam M, Lih O S, Sudarshan V K, Hong T J, et al. Automated characterization and classification of coronary artery disease and myocardial infarction by decomposition of ECG signals: A comparative study. Information Sciences, 2017, 377: 17−29 doi: 10.1016/j.ins.2016.10.013 [25] Bousseljot R, Kreiseler D, Schnabel A. Nutzung der EKG-signaldatenbank cardiodat der PTB über das internet. Biomedizinische Technik, 1995, 40(1): 317−318 [26] Taddei A, Distante G, Emdin M, Pisani P, Moody G B, Zeelenberg C, et al. The European ST-T database: Standard for evaluating systems for the analysis of ST-T changes in ambulatory electrocardiography. European Heart Journal, 1992, 13(9): 1164−1172 doi: 10.1093/oxfordjournals.eurheartj.a060332 [27] Acharya U R, Fujita H, Oh S L, Hagiwara Y, Tan J H, Adam M. Application of deep convolutional neural network for automated detection of myocardial infarction using ECG signals. Information Sciences, 2017, 415-416: 190−198 doi: 10.1016/j.ins.2017.06.027 [28] Tan J H, Hagiwara Y, Pang W, Lim I, Oh S L, Adam M, et al. Application of stacked convolutional and long short-term memory network for accurate identification of CAD ECG signals. Computers in Biology and Medicine, 2018, 94: 19−26 doi: 10.1016/j.compbiomed.2017.12.023 [29] Han C, Shi L. ML–ResNet: A novel network to detect and locate myocardial infarction using 12 leads ECG. Computer Methods and Programs in Biomedicine, 2020, 185: Article No. 105138 [30] Rajkomar A, Dean J, Kohane I. Machine learning in medicine. New England Journal of Medicine, 2019, 380(14): 1347−1358 doi: 10.1056/NEJMra1814259 [31] Wang C, Dong X D, Ou S X, Wang W, Hu J M, Yang F F. A new method for early detection of myocardial ischemia: Cardiodynamicsgram (CDG). Science China Information Sciences, 2016, 59(1): 1−11 [32] Wang C, Hill D J. Deterministic Learning Theory for Identification, Recognition, and Control. Boca Raton: CRC Press, 2009. [33] Deng M Q, Tang M, Wang C, Shan L, Zhang L F, Zhang J T, et al. Cardiodynamicsgram as a new diagnostic tool in coronary artery disease patients with nondiagnostic electrocardiograms. The American Journal of Cardiology, 2017, 119(5): 698−704 doi: 10.1016/j.amjcard.2016.11.028 [34] Jurko S, Rozinaj G. High resolution of the ECG signal by polynomial approximation. Radioengineering, 2006, 15(1): 32−37 [35] 中华医学会心血管病学分会, 中华心血管病杂志编辑委员会. 推荐在我国采用心肌梗死全球统一定义. 中华心血管病杂志, 2008, 36(10): 867−869 doi: 10.3321/j.issn:0253-3758.2008.10.002Chinese Society of Cardiology, Editorial Board of Chinese Journal of Cardiology. Recommendation of the application of universal definition of myocardial infarction in China. Chinese Journal of Cardiology, 2008, 36(10): 867−869 doi: 10.3321/j.issn:0253-3758.2008.10.002 [36] 何永福. 冠状动脉慢血流现象病理生理机制及治疗进展. 心血管病学进展, 2018, 39(3): 448−452He Yong-Fu. Pathophysiological mechanism and treatment of slow blood flow in coronary artery. Advances in Cardiovascular Diseases, 2018, 39(3): 448−452 [37] 王帅, 薛强, 刘毅, 关欣, 陶凌. 大样本冠状动脉慢血流的相关因素分析. 心脏杂志, 2017, 29(2): 180−183Wang Shuai, Xue Qiang, Liu Yi, Guan Xin, Tao Ling. Analysis of risk factors for slow coronary flow in 958 patients. Chinese Heart Journal, 2017, 29(2): 180−183 [38] Hawkins B M, Stavrakis S, Rousan T A, Abu-Fadel M, Schechter E. Coronary slow flow-prevalence and clinical correlations. Circulation Journal, 2012, 76(4): 936−942 doi: 10.1253/circj.CJ-11-0959 [39] Wang C, Hill D J. Deterministic learning and rapid dynamical pattern recognition. IEEE Transactions on Neural Networks, 2007, 18(3): 617−630 doi: 10.1109/TNN.2006.889496 [40] Wang C, Hill D J. Learning from neural control. IEEE Transactions on Neural Networks, 2006, 17(1): 130−146 doi: 10.1109/TNN.2005.860843 [41] Yuan C Z, Wang C. Design and performance analysis of deterministic learning of sampled-data nonlinear systems. Science China Information Sciences, 2014, 57(3): 1−18 [42] 王聪, 陈填锐, 刘腾飞. 确定学习与基于数据的建模及控制. 自动化学报, 2009, 35(6): 693−706 doi: 10.3724/SP.J.1004.2009.00693Wang Cong, Chen Tian-Rui, Liu Teng-Fei. Deterministic learning and data-based modeling and control. Acta Automatica Sinica, 2009, 35(6): 693−706 doi: 10.3724/SP.J.1004.2009.00693 [43] Wang C, Chen T R. Rapid detection of small oscillation faults via deterministic learning. IEEE Transactions on Neural Networks, 2011, 22(8): 1284−1296 doi: 10.1109/TNN.2011.2159622 [44] 王聪, 文彬鹤, 司文杰, 彭滔, 袁承志, 陈填锐等. 轴流压气机旋转失速建模与检测: I—基于确定学习理论与高阶Moore-Greitzer模型的研究. 自动化学报, 2014, 40(7): 1265−1277Wang Cong, Wen Bin-He, Si Wen-Jie, Peng Tao, Yuan Cheng-Zhi, Chen Tian-Rui, et al. Modeling and detection of rotating stall in axial flow compressors: Part I - Investigation on high-order M-G models via deterministic learning. Acta Automatica Sinica, 2014, 40(7): 1265−1277 [45] 王乾, 王聪. 基于确定学习理论和Lempel-Ziv复杂度的非线性系统动态特征提取. 自动化学报, 2018, 44(10): 1812−1823Wang Qian, Wang Cong. Dynamic feature extraction of nonlinear systems with deterministic learning theory and spatio-temporal Lempel-Ziv complexity. Acta Automatica Sinica, 2018, 44(10): 1812−1823 [46] Kors J A, Van Herpen G, Sittig A C, Van Bemmel J H. Reconstruction of the Frank vectorcardiogram from standard electrocardiographic leads: Diagnostic comparison of different methods. European Heart Journal, 1990, 11(12): 1083−1092 doi: 10.1093/oxfordjournals.eurheartj.a059647 [47] Dower G E, Machado H B. XYZ data interpreted by a 12-lead computer program using the derived electrocardiogram. Journal of Electrocardiology, 1979, 12(3): 249−261 doi: 10.1016/S0022-0736(79)80058-8 [48] Dower G E, Machado H B, Osborne J A. On deriving the electrocardiogram from vectorcardiographic leads. Clinical Cardiology, 1980, 3(2): 87−95 doi: 10.1002/clc.1980.3.2.87 [49] Dower G E, Yakush A, Nazzal S B, Jutzy R V, Ruiz C E. Deriving the 12-lead electrocardiogram from four (EASI) electrodes. Journal of Electrocardiology, 1988, 21 Suppl: S182−S187 [50] Zhang Z Z, Chen P J, McGough M, Xing F Y, Wang C B, Bui M, et al. Pathologist-level interpretable whole-slide cancer diagnosis with deep learning. Nature Machine Intelligence, 2019, 1(5): 236−245 doi: 10.1038/s42256-019-0052-1 [51] Guidotti R, Monreale A, Ruggieri S, Turini F, Giannotti F, Pedreschi D. A survey of methods for explaining black box models. ACM Computing Surveys, 2019, 51(5): Article No. 93 [52] 纪守领, 李进锋, 杜天宇, 李博. 机器学习模型可解释性方法、应用与安全研究综述. 计算机研究与发展, 2019, 56(10): 2071−2096 doi: 10.7544/issn1000-1239.2019.20190540Ji Shou-Ling, Li Jin-Feng, Du Tian-Yu, Li Bo. Survey on techniques, applications and security of machine learning interpretability. Journal of Computer Research and Development, 2019, 56(10): 2071−2096 doi: 10.7544/issn1000-1239.2019.20190540 [53] Verrier R L, Klingenheben T, Malik M, El-Sherif N, Exne D V, Hohnloser S H, et al. Microvolt T-wave alternans Physiological basis, methods of measurement, and clinical utility-consensus guideline by International Society for Holter and Noninvasive Electrocardiology. Journal of the American College of Cardiology, 2011, 58(13): 1309−1324 doi: 10.1016/j.jacc.2011.06.029 期刊类型引用(4)
1. 任好，马亚杰，姜斌，刘成瑞. 基于零和微分博弈的航天器编队通信链路故障容错控制. 自动化学报. 2025(01): 174-185 . 
本站查看2. 罗世坚，常琪，项玥，郭胜辉. 含变化时延和集总扰动的智能网联车编队控制. 控制与决策. 2025(04): 1293-1302 . 百度学术3. 徐会彬，方龙，张莎. 车联网中基于stacking集成学习的攻击检测模型. 电信科学. 2024(12): 38-50 . 百度学术4. 张锐. 面向车联网的基于卷积神经网络的入侵检测模型. 电信科学. 2024(12): 51-62 . 百度学术其他类型引用(4)
-
下载:
计量
- 文章访问数: 2166
- HTML全文浏览量: 360
- PDF下载量: 227
- 被引次数: 8
