A Novel Method Based on Dynamic Model Correction on Train Integrated Navigation Positioning
-
摘要: 扩展卡尔曼滤波(Extended Kalman filter, EKF)的准确性依赖于观测的质量、观测对象的非线性程度及动态模型的准确性. 该方法通常假设其动态模型是不变的, 而且默认为非线性程度较弱, 这些在实际的车辆运动中都是不可靠的处理方式. 本文提出了一种利用最小二乘支持向量机(Least squares support vector machine, LSSVM)的技术增强扩展卡尔曼滤波的新算法. LSSVM改进后的EKF算法(LSSVM-EKF)一定程度上弥补了EKF处理强非线性问题的不足; 而且可以自适应地估计历史数据的动态建模偏差, 并使用估计偏差来补偿动态模型. 开发了一种引入Allan方差的K折交叉验证方法来确定LSSVM的训练参数; 将动态模型偏差通过有限数据集与LSSVM一起训练; 并引入无损变换将LSSVM与EKF进行了集成. 为了验证算法, 最后设计了车载试验, 并采用列车数据验证了文中所提的方法, 结果表明LSSVM-EKF可以较好地适应实际车辆运动环境, 可以提供一种可用的车辆定位方法.Abstract: The accuracy of extended Kalman filter (EKF) depends on the quality of the observation, the degree of nonlinearity of the observed object, and the accuracy of the dynamic model. The default is that the degree of nonlinearity is weak, and it is usually assumed that the dynamic model is constant, which is an unreliable treatment in actual vehicle motion. This paper proposes a new algorithm for enhancing the extended Kalman filtering using the technique of least squares support vector machine (LSSVM). The improved EKF algorithm (LSSVM-EKF) of LSSVM compensates for the insufficiency of the strong nonlinear problem of the EKF processing to some extent; and it can adaptively estimate the dynamic modeling deviation of historical data and use the estimated bias to compensate the dynamic model. A K-fold cross-validation method that introduces the Allan variance is developed to determine the training parameters of the LSSVM. The dynamic model deviation is trained with the LSSVM through the finite data set. The lossless transform is introduced to integrate the LSSVM with the EKF. In order to verify the algorithm, the paper finally designs the vehicle test, and uses the train data to verify the proposed method. The results show that LSSVM-EKF can adapt to the actual vehicle motion environment and provide a usable vehicle positioning method.
-
情感识别是人机交互的重要研究问题之一, 其研究目的是建立可识别人类情感并做出正确反馈的机器人系统, 使人机交互过程更加友好, 自然与智能.本文采用二维情感表示理论[1], 将人类情感表示为"激活度(Arousal)－效价值(Valence)"二维空间中的坐标点(图 1).其中, 激活度用于表现人类情感激励程度的大小, 效价值用于表现人类对情感状态评价的好坏.如人类高兴时, 情感的激活度与效价值的数值均较高.二维情感表示模型可更加充分地表达和量化人类情感状态, 是多数情感识别模型使用的情感表示方法.图 1表示通过图片、视频等外部刺激可诱导出人类不同的情感状态, 进而通过多种传感器采集人类情感的多模态信号用于情感识别.
本文所针对的人脸视频是普通摄像头、深度相机等采集到的人类面部表情信号, 可帮助分析人类直观与外在的情感状态.脑电信号是脑活动产生的微弱生物电于头皮处收集放大的信号, 是大脑内亿万神经元活动在大脑皮层的综合反映, 可帮助分析人类深层与内在的情感状态.使用人脸视频和脑电信号两种模态的情感识别模型可综合人类外在与内在的情感信息, 从而给出更准确的识别结果.通过分析实验参与人员的人脸视频与脑电信号, 识别整段情感信号中实验参与人员的情感激活度和效价值.
传统多模态情感识别方法的基本思路是手动设计提取各模态的特征, 然后进行多模态信号的融合, 最后利用标记数据集训练模式分类器[2-4].然而, 这类方法在处理较大规模的人类情感数据时效率较低.近年流行的深度学习方法具有强大的特征表达能力(例如LSTM (Long-short term memory neural network)在处理时序信号时可达到良好的效果).目前多数基于脑电信号与人脸视频的情感识别方法将两个模态的信号视作时间序列, 对两个模态分别构建LSTM情感识别模型学习得到各个序列的识别结果, 最终将识别结果进行决策层融合[5-6].这些方法在识别效果上优于传统方法.
然而, 该研究内容中仍有两个关键问题亟待解决.一是如何以交互协同的方式融合人类情感的异构多模态信号, 进而给出更加准确的情感识别结果.二是如何从包含大量冗余信息的多模态信号中迅速定位情感关键信息, 从而提升模型的效率和准确率.以一段2分钟的人脸视频为例, 它记录了一位实验参与人员在观看喜剧影像时的表情信息.此视频中, 实验参与人员只有约10秒开怀大笑的表情, 其余视频帧对情感识别是冗余的.
针对以上两个问题, 本文提出了视频-脑电信号交互协同的LSTM情感识别模型, 同时引入了空域频带注意机制和时域注意机制.其结构如图 2所示, 该模型包括特征提取与交互协同两个相互耦合关联的阶段, 以"选择性聚焦"的方式分析人类情感的各模态时间序列, 进而给出情感识别结果.在特征提取阶段, 首先将原始脑电信号可视化为${\alpha}$波, ${\beta}$波与${\theta}$波的图像序列以保留脑电信号的时域-空域信息, 从而令两个模态更高效地交互协同工作; 然后提取基于卷积神经网络(Convolution neural network, CNN)[7]的人脸视频帧与对应的可视化脑电图像的特征.在交互协同阶段, 首先使用LSTM[8]融合两个模态的特征并对该特征序列进行学习; 接下来预测下一时间点上"聚焦"的关键信号帧的时间信息, 将预测反馈至特征提取阶段; 重复上述过程直至序列结束, 最终计算出整段信号的情感识别结果.这一过程中, 通过空域频带注意机制, 模型对脑电信号的${\alpha}$波, ${\beta}$波与${\theta}$波可视化图像进行重要度计算, 从而有效利用脑电信号空域关键信息; 通过时域注意机制, 预测下一时间点的关键信号帧时间信息, 高效利用情感数据的时域关键信息.
基于上述思想, 本文的章节安排如下:第1节综述情感识别的国内外研究现状; 第2节阐述了基于长短记忆与信息注意的视频-脑电信号交互协同情感识别模型; 第3节描述了模型的训练过程; 第4节给出了模型的计算实验评价结果; 第5节对本文工作进行总结.
1. 相关工作
深度神经网络(Deep neural network, DNN)具有强大的挖掘数据深层、潜在表达特征的能力, 近年来被广泛应用于多模态情感识别领域[5-6, 9]. He等[9]首先手动设计提取人脸视频、音频信号与心电信号的特征, 然后提出了基于双向长短记忆神经网络(Bi-directional LSTM, BLSTM)的情感识别模型, 其中第一层三组BLSTM分别用于识别三个模态的信号所表达的情感状态, 第二层一组BLSTM用于将三个模态上的识别结果进行决策级融合, 进而给出情感状态的最终识别结果. Koelstra等[10]和Huang等[11]对脑电信号和人脸视频分别提取情感特征、构建情感识别模型并基于决策级融合取得良好的情感识别效果.其中, 提取有效的脑电信号情感特征是问题研究的关键, Koelstra等和Huang等使用的是脑电信号空域-频域特征.神经科学研究表明, 脑电的${\delta}$波(1~4 Hz)、${\theta}$波(4~8 Hz)、${\alpha}$波(8~13 Hz)、${\beta}$波(13~30 Hz)和${\gamma}$波(36~44 Hz)等5个频段与人类情感状态密切相关.因此, 在提取脑电频域特征时, 多数学者将原始脑电信号映射在5个频段, 再从其中提取各头皮电极相关的频域特性, 进而组合为特征向量.以上方法需直接分析包含大量冗余信息的各模态情感信号.为了剔除冗余信息, Zhalehpour等[12]首先利用Maximum dissimilarity-based模型从人脸视频中提取关键信号帧, 然后设计情感识别模型分别分析人脸视频中的关键帧和音频信号, 最后进行决策级融合计算出情感识别的结果.但这种方法依旧需要分析整段人脸视频, 会降低模型效率.
以上提到的方法在多模态情感识别任务中均可取得良好的识别效果.本文在情感识别当前进展的基础上进行了两点改进:一是将多模态信号以交互协同的方式进行融合; 二是设计可有效且迅速定位关键信息的情感识别模型.
2. 视频-脑电信号交互协同的情感识别模型
本文将情感识别视作一个以"选择性聚焦"方式分析人类情感各模态的时间序列信号的过程.该过程受启发于人类视觉系统的注意机制[13].人类观察场景时, 并非一次性理解整个场景, 而是动态地"聚焦"视觉空间中的多个局部获取信息, 再将获取的信息综合以理解当前的场景.同理, 所提的情感识别模型接收到人类情感的各模态信号时, 对每一时间点的信号进行学习并预测出下一时间点将要"聚焦"的关键信号帧, 反复进行分析与预测, 直到获取充足的信息进而给出情感识别结果.
其框架如图 2所示, 本文提出的脑电信号与人脸视频交互协同的LSTM情感识别模型主要包括特征提取与交互协同两个阶段.在特征提取阶段, 首先选取需要"聚焦"的关键信号帧进行数据预处理, 然后提取出表达与泛化能力较强的特征; 在交互协同阶段, 首先将两个模态的特征融合并进行学习.特别之处在于, 本文还会通过空域频带注意机制对脑电信号中${\alpha}$波、${\beta}$波与${\theta}$波的可视化图像进行重要度计算; 通过时域注意机制进行强化学习(Reinforcement learning, RL)[14], 计算下一时间点需要"聚焦"的关键信号帧时间信息并反馈至特征提取阶段.最终, 利用情感分类器输出情感识别结果.在该模型下, 输入信号和模型行动之间构成一个闭环-一个有选择地反复"聚焦"人类情感多模态的信号, 进行情感识别的过程.
在上述基本模型的基础上, 以下章节将展开说明人脸视频-脑电信号交互协同情感识别方法的实现过程.
2.1 基于CNN的特征提取过程
本文输入信号为实验参与人员观看情感诱导视频时采集到的人脸视频与脑电信号.其中, 人脸视频是普通摄像机采集到的实验参与人员的面部活动信号, 属于视觉信号.脑电信号(EEG)是指按照时间顺序, 在头皮表层记录下的由大脑神经元自发性、节律性运动而产生的电位[15], 属于生理信号.脑电信号的采集方式是让实验参与人员在观看情感诱导视频时佩戴电极脑电帽, 从而得到人类大脑皮层上32个不同位置的脑电信号.两个异构的信号难以直接融合, 为此本文提出提取表达能力与泛化能力较强的特征, 同时令两模态的特征有效地交互协同.针对人脸视频, 基于CNN提取面部表情特征; 与传统特征提取方法相比, CNN具有更强大的挖掘数据深层潜在的分布式表达特征的能力.针对脑电信号, 本文首先将脑电信号转化为三组频带的图像序列, 这种可视化处理保留脑电信号的时域-空域特征的同时将两个模态的信号统一为图像.然后基于CNN与空域频带注意机制提取脑电图像的特征.
如图 3所示, 人脸视频的特征提取过程为:首先, 利用Faster-RCNN模型[16]检测出视频帧中人脸区域; 然后, 利用CNN对人脸区域提取特征; 最后, 利用全连接层处理特征输出最终特征向量${\pmb x_{v, n}}$.图 4显示的是VGG-16三个卷积层输出的特征图.
图 4 人脸视频帧(Frame78)的卷积层特征图Fig. 4 The feature maps of three convolution layers on Frame78如图 3所示, 脑电信号的特征提取则较为复杂:首先, 原始的脑电信号通过小波软阈值算法去除伪迹[17], 从而得到相对纯净的信号; 然后, 借鉴[18]中数据处理方法将脑电信号划分为每段持续时长为$T$的片段($1/T$对应于人脸视频的帧率); 接下来, 在${t^{th}}$段数据内提取${\alpha}$波、${\beta}$波与${\theta}$波三个脑电波频带的频谱能量信息并可视化至相应的电极帽32个电极上得到三个频带的脑电图像(图 5), 可以看出随着人类情感激活度的上升${\beta}$波在前额出会明显增强; 最后, 利用CNN对三个频带的脑电图像分别提取层特征${\pmb e}_{\alpha, n}$, ${\pmb e}_{\beta, n}$和${\pmb e}_{\theta, n}$进行融合, 如式(1)与式(2)所示.
图 5 人脑电信号可视化示意图(从上到下:人脸视频帧; 对应的脑电信号可视化图; ${\alpha}$波可视化图; ${\beta}$波可视化图; ${\theta}$波可视化图.从左到右:情感信号第31帧; 第78帧; 第90帧; 第98帧; 第118帧)Fig. 5 The visualization of EEG signals (From top to down: video frames; the visualization of corresponding EEG signals; the visualization of ${\alpha}$ wave; the visualization of ${\beta}$ wave; the visualization of ${\theta}$ wave. From left to right: the 31st frame; the 78th frame; the 90th frame; the 98th frame; the 118th frame in the emotion data)计算中利用空域频带注意机制计算三组特征的重要度${\pmb e'_{n}}$, 最后利用全连接层(Fully-connected layer)处理${\pmb e'_{n}}$输出特征向量${\pmb x}_{e, n}$.
$$ \begin{equation} {\pmb e'}_{n}= {\pmb e}_{\alpha, n}{\theta_{en, 1}} +{\pmb e}_{\beta, n}{\theta_{en, 2}}+{\pmb e}_{\theta, n}{\theta_{en, 3}} \end{equation} $$ (1) 式中, ${\theta_{en, 1}}$, ${\theta_{en, 2}}$, ${\theta_{en, 3}}$分别表示分配给${\pmb e_{\alpha, n}}$, ${\pmb e_{\beta, n}}$, ${\pmb e_{\theta, n}}$的重要度:
$$ \begin{equation} {\theta_{en, i}}=\frac{{\rm exp}({{\pmb W}_{h, i}} {{\pmb h}_{n-1}}+{b_{n, i}})} { \sum\limits_{j=1}^3 {\rm exp}({\pmb W}_{h, j} {\pmb h}_{n-1}+b_{n, j})}, \quad \ i=1, 2, 3 \end{equation} $$ (2) 式中, ${\pmb W_{h, i}}$表示待学习的权重矩阵, ${b_{n, i}}$表示偏差. ${\pmb h_{n-1}}$表示多层LSTM上一个时间点$n-1$的隐状态.
2.2 基于LSTM与注意机制的交互协同过程
交互协同过程如图 6所示, 本文使用一个两层LSTM[8] (其中, 第一层包括两个共享参数的LSTM)对两个模态的特征序列进行融合与学习. LSTM擅长处理时间序列, 同时可避免传统循环神经网络的长距离依赖问题.本文还引入时域注意机制以强化学习的方式学习预测下一时间点需要"聚焦"的信号帧, 最后基于Softmax分类器[19]完成情感识别功能.
图 6 基于LSTM与注意机制的交互协同过程Fig. 6 The process of emotion recognition based on LSTM and attention mechanism本文以硬注意机制(Hard attention)[20-21]为理论基础, 提出了时间注意机制.该机制工作流程主要分为4个部分:观察(Glimpse)部分、核心(Core)部分、行为(Action)部分和奖励(Reward)部分.给定一段长度为$T$的人脸视频和脑电信号, 将行为序列最大长度预设值为${N_{\rm max}}$, 则在时间点$n$:
1) 观察(Glimpse)部分:该部分首先接收聚焦位置${f_n}$以及该位置两个模态的特征向量${\pmb x_{v, n}}$、${\pmb x_{e, n}}$, 第一层LSTM将两个模态的特征与上一时间点的状态处理为两组隐状态, 并拼接成一个特征向量, 从而实现多模态信号融合.
2) 核心(Core)部分:该部分由第二层LSTM层组成.将观察(Glimpse)部分输出的情感特征及上一时间点的LSTM隐藏层状态${\pmb h}_{n-1}$作为输入, 并输出新的隐藏层状态${\pmb h}_n$.该部分包含对历史聚焦的情感信息的整合.
3) 行为(Action)部分:该部分用来预测下一时间点上的关键信号帧时间位置${f_{n+1}}$, 最终在最后一个时间点使用Softmax分类器输出情感识别结果${{\pmb p}=(p_1, \cdots, p_C)^{\rm T}}$. ${p_k=p(C_k|{\pmb h_N})}$, ${k=1, \cdots, C}$表示情感状态属于${C_k}$类的概率.其中, 预测过程的终止条件为:下一时间点上的关键信号帧时间位置为给定情感信号的最后一帧, 即${f_{n+1}=T}$; 或行为序列长度达到最大设定值, 即${N=N_{\rm max}}$.
4) 奖励(Reward)部分:在每一次采样分析后, 都反馈一个奖励信息.在时间注意机制的作用下, 情感识别模型工作过程是一个强化学习的过程.文中模型无法一次性完整地观察到环境的, 即每次采样所得是两个模态情感信号的局部信息.在该条件下, 模型应自主学习策略${{\pmb \pi}({\pmb a_n} |{\pmb s_{1:n}}; {\pmb \theta})}$.其中, ${\pmb \alpha_n}$表示在时间点$n$情感识别模型在该策略下的行为, 即计算下一时刻需要"聚焦"的信号帧的时间信息${f_{n+1}}$. ${\pmb s}_{1:n}$表示历史状态(包括当前时间点), 即时间注意机制部分的输入和输出时间序列.所以, 参数为$\pmb \theta$的策略$\pmb \pi$ (即${\pmb \pi_\theta}$)就是根据当前输入和历史观察分析结果, 计算出下一时间步"聚焦"的关键信号帧的策略.我们的目标是希望能找到某一策略, 从而得到最大化的奖励信息时间累积和.奖励的累积和具有延时性, 即${R_N=\begin{matrix} \sum_{n=1}^N r_n \end{matrix}}$, 其中$R_N$是指在$N$个时间点内进行一次情感识别后得到的总奖励, $r_n$则是一次识别中每个聚焦分析行为得到的奖励, 在本文中与整个行为序列结束后的奖励一致.
3. 情感识别模型训练
3.1 损失函数
本文使用标准反向传播(Backpropagation through time, BPTT)[8]训练$\pmb p$.该模型目标是最小化损失函数, 该损失函数由交叉熵函数和正则项组成.正则项是为了防止三个频带的脑电信号的重要度差距过大.
$$ \begin{align} L=\, &-\sum\limits_{k=1}^C {(y_k{\rm log} {p_k}+(1-y_k){\rm log} {(1-p_k)})}+ \nonumber\\ &\mu \sum\limits_{j=1}^3 {\left({\frac {1}{3}}-{\frac {\begin{matrix} \sum\limits_{n=1}^N {\theta_{en, j}} \end{matrix} }{N}}\right)^2} \end{align} $$ (3) 式中, ${{\pmb y}=(y_1, \cdots, y_C)^{\rm T}}$, ${k=1, \cdots, C}$表示Ground truth, 是一个One-hot编码向量. $p_k$表示给定信号的情感状态属于第$k$类的概率. $\mu$为平衡系数, 本文设置为0.02.
在空域频带注意机制的作用下, 情感识别模型会随着时间点的增长而忽略某些频带, 但是这些频带的信息对情感识别结果同样起着一定作用.因此本文设计了如式(3)所示的正则项, 目的是限制模型对三个频带的脑电波特征分配尽可能均衡的重要度量.
3.2 奖励函数
由于${f_{n+1}}$具有不可微的性质, 因此本文使用基于策略梯度(Policy gradient)[14]的强化学习进行训练.给定序列空间${\pmb A}$, ${p_{\theta}({\pmb \tau})}$表示${\pmb A}$上参数为${\pmb \theta}$的分布, 其中${{\pmb \tau} \in {\pmb A}}$是一组状态行为序列.强化学习的目标函数为:
$$ \begin{equation} {J({\pmb \theta})}=\sum\limits_{{\pmb \tau} \in {\pmb A}}^{} {p_{\theta}({\pmb \tau})r({\pmb \tau})} \end{equation} $$ (4) 式中, ${r({\pmb \tau})}$表示每种可能发生的序列带来的奖励; ${J({\pmb \theta})}$表示可能发生的序列分布下的期望奖励.本文希望学习网络参数$\pmb \theta$, 以最大化${f_{n+1}}$序列的期望奖励.
该目标函数的梯度表示为:
$$ \begin{equation} {\nabla J({\pmb \theta})}=\sum\limits_{{\pmb \tau} \in {\pmb A}}^{} {p_{\theta}({\pmb \tau}) \nabla \log {p_{\theta}({\pmb \tau})}r({\pmb \tau})} \end{equation} $$ (5) 一般情况下模型无关的强化学习任务(Model-free reinforcement learning)中, 策略梯度通过采样进行估计.本文使用蒙特卡罗策略梯度方法[14], 该方法基本思想是持续探索, 即令模型探索环境, 根据当前策略生成一个从起始状态到终止状态的状态-动作序列.
利用蒙特卡罗法采样[22]和近似估算, 即根据当前策略随机采样得到${M}$个序列:
$$ \begin{equation} {\nabla J({\pmb \theta})} \approx \frac {1}{M} \sum\limits_{m=1}^{M} \nabla \log {p_{\theta}({\pmb \tau})}r({\pmb \tau}) \end{equation} $$ (6) 假设第$m$条序列为${{{\pmb \tau}^m}=\left\{{{\pmb s_1^m}, {\pmb a_1^m}, \cdots, {\pmb s_N^m}, {\pmb a_N^m}}\right\}}$, 其似然概率为:
$$ \begin{equation} {p_\theta ({\pmb \tau^m})}=\prod\limits_{n=1}^N {P({\pmb s_{n+1}^m}|{\pmb s_n^m}, {\pmb a_n^m}){\pmb \pi_\theta}({\pmb a_n^m}|{\pmb s_n^m})} \end{equation} $$ (7) 式中, $P$表示状态转移概率; ${\pmb \pi_\theta}$表示行为策略, 本文在训练过程中使用的高斯策略.在时间点$n$, 第$m$个行为序列下, ${\pmb s_{n+1}^m}$表示该策略的下一时间点的状态; ${\pmb a_n^m}$表示该策略的当前行为(即$f_{n+1}$); ${\pmb s_n^m}$表示该策略的状态.
因此, 蒙特卡洛策略梯度表达式如下:
$$ \begin{equation} {\nabla J({\pmb \theta})}=\frac {1}{M} \sum\limits_{m=1}^{M} {\sum\limits_{n=1}^{N} {\nabla \log {\pmb \pi_\theta}({\pmb a_n^m}|{\pmb s_n^m})R^m}} \end{equation} $$ (8) 式中, $R^m$表示第$m$个序列下获得的奖励.
本文仅考虑整组行为序列完成后的奖励, 如式(9)所示:
$$ \begin{equation} R'=\begin{cases} \lambda_{tp}, &\mbox {若正检} \\ \lambda_{fp}, &\mbox {若误检} \end{cases} \end{equation} $$ (9) 式中, ${\lambda_{tp}\ (>0)}$, ${\lambda_{fp}\ ( < 0)}$分别表示每一时间点的正检和误检的奖励数值, 本文方法会重点惩罚误检项.
同时考虑到有效情感信息的稀疏性, 还加入如式(10)所示的稀疏性约束项${\lambda_{\rm sparse}N < 0}$, 从而令模型观察尽可能少的信号同时获得尽可能高的准确率.
$$ \begin{equation} R=\lambda_rR'+{\lambda_{\rm sparse}N} \end{equation} $$ (10) 式中, ${\lambda_r}$表示奖励因子, 数值大于零; ${\lambda_{\rm sparse}}$表示稀疏性因子, 数值小于零; $N$表示行为序列的长度.
策略迭代的基本思路为:
$$ \begin{equation} {\pmb \theta}={\pmb \theta}+{\pmb \varepsilon \nabla J({\pmb \theta})} \end{equation} $$ (11) 式中, ${\pmb \varepsilon}$表示步长因子, 即算法的学习率.
4. 实验结果与分析
4.1 实验数据与评价指标
为了验证本文方法的有效性, 本节在MAHNOB-HCI数据集[15]与DEAP数据集[23]上进行实验, 主要针对情感的激活度和效价值进行识别, 并采用识别准确率(Classification rate)和F1-${score}$作为识别效果的评价指标.
MAHNOB-HCI数据集是一个多模态情感识别及隐性标注(Implicit tagging)数据集, 包括采集自27位实验参与人员观看20段视频时的527组原始人脸视频、音频和脑电信号.在看完每段视频后, 实验参与人员使用(Self-assessment manikin, SAM)[1]标定情感的激活度, 效价值, 分为9个级别(分别为1~9).同时使用离散情感标签标定情感, 该数据集根据标签将实验人员情感的激活度和效价值各分为三类.
DEAP是一个多模态情感识别数据集, 包括采集自32位实验参与人员观看40段音乐视频时的人脸视频、外部生理信号和脑电信号.其中, 10位实验参与人员的数据中不包括人脸视频.在看完每段视频后, 实验参与人员使用(SAM)[1]标定情感的激活度, 效价值(数值为1~9).如表 1所示, 该数据集根据数值大小将情感的激活度和效价值分别分为3个级别.
表 1 激活度和效价值的三分类Table 1 Valence and arousal class with range激活度 效价值 Low 1~4.5 1~4.5 Medium 4.5~5.5 4.5~5.5 High 5.5~9 5.5~9 本文使用识别准确率和F1-${score}$两个指标对模型识别结果进行评价.识别准确率(Classification rate, CR)表示测试集中正确分类的样本数与测试集样本总量的百分比(式(12)). F1-${score}$是统计学中用来衡量多分类模型精确度的一种指标, 可看作是模型精确率(Precision)和召回率(Recall)的一种加权平均, 可兼顾模型的精确率和召回率(式(13)).
$$ \begin{equation} CR=\frac {N_{TP}} {N_{\rm data}} \end{equation} $$ (12) $$ \begin{equation} CR=\frac {2N_{TP}} {2N_{TP}+N_{FP}+N_{FN}} \end{equation} $$ (13) 式中, ${N_{\rm data}}$表示测试集中情感数据的样本总量; ${N_{TP}}$、${N_{FP}}$与${N_{FN}}$表示所有测试样本中的正检总量、误检总量与漏检总量.
4.2 实现细节
本文使用MAHNOB-HCI数据集进行模型训练, 使用MAHNOB-HCI的测试集与DEAP数据集进行模型测试.将MAHNOB-HCI数据集中27位实验参与人员的数据以5:1:1的比例分为训练集A, 验证集A'和测试集B.在数据预处理过程中, 将数据集的人脸视频降采样为8 fps.同时检测并裁减出视频中人脸图像, 重缩放图像尺寸为${227 \times\, 227}$.在训练过程中, 本文使用Adam方法[24]来更新参数.每次更新使用的样本集是通过经验回放机制从训练集A中抽取mini-batch = 12个样本得到.为了防止模型过拟合, 本文将dropout的数值设置为0.5.将最大时间步${N_{\rm max}}$的数值设置30.另外, 本文中使用的所有经过fine-tune的VGG-16网络[25]被固定参数, 仅用来提取特征.
为了有效地训练模型, 本文将两层LSTM分为3个模块分别进行训练:在训练第一层用来处理人脸视频特征的LSTM时, 先去掉该层用来处理脑电信号特征的LSTM, 并将第二层LSTM的神经元数目设置为1 024个.同理地, 在训练第一层用来处理脑电信号特征的LSTM时, 先去掉该层用来处理人脸视频特征的LSTM, 并将第二层LSTM的神经元数目设置为1 024个.在训练第二层LSTM时, 将已预训练的第一层LSTM进行参数固定.
4.3 多种情感识别方法结果对比
本文首先将提出的模型与其他经典模型的识别效果进行对比(表 2), 本文提出的模型对激活度与效价值的识别率和F1-${score}$相对其他方法均有明显提升.在MAHNOB-HCI数据集上与当前识别效果最好的方法相比, 情感激活度识别准确率和F1-${score}$分别提升了0.6 %和0.014, 情感效价值识别准确率和F1-${score}$分别提升了${1.5 \%}$和0.012.识别效果提升的原因在于其余方法均需直接分析包含大量冗余信息的多模态情感信号, 而本文提出的模型则引入了信息注意机制, 从而压缩了冗余信息并提升了准确率.同时从表 2可以看出, 对情感效价值的识别效果优于对情感激活度的识别效果.这是因为情感激活度用于表现情感激励程度的大小, 情感效价值用于表现人类对情感状态评价的好坏, 相比之下效价值更容易被直观地分析和理解.特别地, 在MAHNOB-HCI测试集B上基线方法对整段情感信号的脑电情感特征序列和眨眼特征序列进行融合并基于SVM分类器进行情感识别, 在效价值识别上取得了较好的效果, 这是因为眨眼特征对效价值识别做出了一定贡献, 但对激活度的识别却无明显效果.总体来说, 本文提出的模型具有更好的效果, 且仅需分析${10 \%}$的信号.
表 2 不同方法在MAHNOB-HCI数据集与DEAP数据集上的识别效果Table 2 The recognition result of different methods on MAHNOB-HCI dataset and DEAP dataset激活度 效价值 CR ($\%$) F1-${score}$ CR ($\%$) F1-${score}$ Baseline[15](MAHNOB-HCI) 67.7 0.620 ${\bf{76.1}}$ ${\bf{0.740}}$ Koelstra et al.[10] (MAHNOB-HCI) 72.5 0.709 73.0 0.718 Huang et al.[11] (MAHNOB-HCI) 63.2 66.3 VGG-16+本文模型(MAHNOB-HCI) ${\bf{73.1}}$ ${\bf{0.723}}$ 74.5 0.730 VGG-16+本文模型(DEAP) ${\bf{85.8}}$ ${\bf{84.3}}$ 本文还将模型对MAHNOB-HCI数据集中三组数据样本的识别效果可视化至图 7, 可以看出对模型可准确识别出整段情感信号中实验参与人员的情感激活度和效价值.第一组数据样本和第三组数据样本分别为高激活度低效价值(情绪紧张)样本和低激活度低效价值(情绪悲伤)样本, 本文模型对两组数据的识别效果均较为准确; 第二组数据样本为中激活度高效价值(情绪高兴)样本, 本文模型对该数据样本的效价值识别效果准确而激活度识别有偏差, 原因是模型对情感"高兴"程度的认知可能与实际有偏差.
图 7 本文模型在MANNOB-HCI数据集上的可视化识别结果(从上到下分别为三组情感数据中的人脸视频.从左到右分别为情感数据; Groundtruth与本文模型的识别结果)Fig. 7 The visualization of results of the proposed model on MAHNOB-HCI dataset (From up to down: three groups of emotion data. From left to right: emotion data; the groundtruth and results of the proposed model)4.4 注意机制可视化
本文从MAHNOB-HCI测试集B中选定样本进行单组情感识别测试, 并将每一时间步上的情感关键信息可视化为图 8与图 9.其中, 在可视化时域注意机制时仅选取4个时间步显示.图中上侧条形从下到上分别代表每个时间上脑电信号$\alpha$, $\beta$, $\theta$三个频带的重要度.从图示可以直观看出, 本文提出的模型可迅速且精确地定位有效信息, 并在有效信息的区域更加频繁地分析数据以得到更准确的识别结果.此图中有一个有趣的现象, 当该名实验参与人员越来越紧张(情感激活度越来越高)时, 脑电$\beta$波会逐渐占据主导地位.这与生理学中脑电$\beta$波会在人类处于紧张、焦虑、恐慌等情感状态时占据主导地位的结论一致.随着脑电$\beta$波变强, 人类身体会越来越处于紧张的状态, 这种情况下人类身心能量快速消耗, 容易感受到压迫与疲倦.而图 9中, 当人类的情感状态保持稳定的低激活度状态时, $\alpha$波占据主导地位.生理学研究表明, 当人类脑电波主要频率处于$\alpha$波时, 人类处于意识清醒且身心放松的状态, 也是人类思考的最佳状态.
图 8 高激活度数据样本注意机制可视化结果Fig. 8 The presentation of the band attention weights on EEG signals and the temporal attention policy for a "nervous" man with high arousal
图 9 低激活度数据样本注意机制可视化结果Fig. 9 The presentation of the band attention weights on EEG signals and the temporal attention policy for a "nervous" man with low arousal4.5 模型增量化研究
为了量化本文提出的情感识别模型中不同部分的效果, 本文在MAHNOB-HCI测试集B与DEAP数据集上设置了一组模型增量实验.经过测试得到如表 3与表 4的测试结果, 其中, w/o band and temp表示在本文提出的模型基础上, 去掉空域频带注意和时域注意机制; w/o band表示在本文提出的模型基础上, 去掉空域频带注意机制; w/o temporal表示在本文提出的模型基础上, 去掉时域注意机制; vis-EEG-LSTM表示本文提出的模型.表 3与表 4显示, 空域频带注意和时域注意机制的引入能提升激活度和效价值的识别率和F1-${score}$.这是因为空域频带注意机制的引入有效利用了脑电信号的空域-时域-频域信息, 并且结合了脑电信号在不同情感状态下具有不同主导作用的生理学现象; 时域注意机制的引入则解决了情感识别中存在的噪声干扰、计算冗余等问题.此外, 通过对比可看出时域注意机制的引入对识别效果的提升具有更大的作用, 这是因为包含大量冗余情感信息的人脸视频和脑电信号会大大降低情感识别的准确率, 而本文使用的时域注意机制可有效地辅助模型"聚焦"信号中的关键情感信息, 从而进行更准确可靠的情感识别.
表 3 本文提出的情感识别模型的识别准确率和F1-${score}$(MAHNOB-HCI数据集)Table 3 The classification rate and F1-${score}$ of ablation studies on MAHNOB-HCI dataset激活度 效价值 CR ($\%$) F1-${score}$ CR ($\%$) F1-${score}$ w/o band and temp 66.4 0.650 68.9 0.678 w/o band 70.9 0.690 73.0 0.711 w/o temporal 69.7 0.680 70.4 0.695 vis-EEG-LSTM ${\bf{73.1}}$ ${\bf{0.723}}$ ${\bf{74.5}}$ ${\bf{0.730}}$ 表 4 本文提出的情感识别模型的识别准确率和F1-${score}$ (DEAP数据集)Table 4 The classification rate and F1-${score}$ of ablation studies on DEAP dataset激活度 效价值 CR ($\%$) F1-${score}$ CR ($\%$) F1-${score}$ w/o band and temp 79.1 0.774 78.5 0.770 w/o band 83.1 0.816 82.5 0.809 w/o temporal 78.1 0.754 81.4 0.805 vis-EEG-LSTM ${\bf{85.8}}$ ${\bf{0.837}}$ ${\bf{84.3}}$ ${\bf{0.831}}$ 4.6 单模态与双模态情感识别对比
为了对比人脸视频和脑电信号在情感识别任务中发挥的作用, 本文在MAHNOB-HCI测试集B与DEAP数据集上使用本文提出的模型, 针对人脸视频和脑电信号两个模态分别进行情感识别实验.测试结果如表 5与表 6所示, 在MAHNOB-HCI数据集上使用人脸视频的识别效果要好于使用脑电信号的识别效果.其原因是MAHNOB-HCI数据集的人脸视频中实验参与人员面部表情变化明显, 更容易提取有效的表情信息.而脑电信号的变化则比较复杂, 相比面部表情较难区分.而在DEAP数据集上使用脑电信号的识别效果要好于使用人脸视频的识别效果.其原因是该数据集采集到的人脸视频中人类面部表情变化非常细微, 较难分析.同时实验结果均显示令两个模态交互协同可提升情感识别效果.这是因为在情感表达过程中人脸表情与脑电信号尽管是相互分离的两个模态, 但是本质上具有相关性.合理利用多模态的信号进行情感识别可综合各个模态的优势, 从而令识别结果更加准确可靠.
表 5 两种单模态情感识别与多模态情感识别的识别准确率和F1-${score}$ (MAHNOB-HCI数据集)Table 5 The classification rate and F1-${score}$ of uni-modal and bi-modal emotion recognition on MAHNOB-HCI dataset激活度 效价值 CR ($\%$) F1-${score}$ CR ($\%$) F1-${score}$ 人脸视频 70.8 0.691 72.9 0.711 脑电信号 69.9 0.673 73.3 0.720 人脸视频+脑电信号 ${\bf{73.1}}$ ${\bf{0.723}}$ ${\bf{74.5}}$ ${\bf{0.730}}$ 表 6 两种单模态情感识别与多模态情感识别的识别准确率和F1-${score}$(DEAP数据集)Table 6 The classification rate and F1-${score}$ of uni-modal and bi-modal emotion recognition on DEAP dataset激活度 效价值 CR ($\%$) F1-${score}$ CR ($\%$) F1-${score}$ 人脸视频 67.1 0.653 66.3 0.650 脑电信号 84.7 0.815 83.4 0.819 人脸视频+脑电信号 ${\bf{85.8}}$ ${\bf{0.837}}$ ${\bf{84.3}}$ ${\bf{0.831}}$ 综上所述, 本文提出的基于长短记忆与信息注意的视频-脑电信号交互协同情感识别方法可综合人类内在与外在的情感信息, 更准确地给出识别结果.
5. 结论
本文提出了一种基于长短记忆与信息注意的视频-脑电信号交互协同情感识别方法.该方法具有两个模态信号综合作用、相互补充的优势, 可准确识别人类的情感状态.为了更有效地利用脑电信号的空域关键信息, 所提出方法将脑电信号转换为图像序列, 并利用空域频带注意机制对$\alpha$, $\beta$, $\theta$三个频带的脑电信号进行重要度计算.为了有效利用情感数据的时域关键信息, 引入时域注意机制自动定位情感数据中的关键信号帧.在两个数据集的实验结果表明, 所提出的情感识别模型能够实现更准确的识别效果.然而, 自然场景下得人类情感状态不同于特定数据集, 会随时间发生变化.在保证情感识别效果的前提下, 如何识别一段情感信号中的不同情感状态仍然是未来需要研究的重点问题.
-
表 1 计算量对比结果
Table 1 Comparison of calculation results
算法名称 绝对误差 (%) 具体运行时间 (s) NN 3.35 10.6 SVM 5.83 7.2 LSSVM 3.58 3.5 
下载: 导出CSV
表 2 车载定位测量硬件主要参数
Table 2 Main parameters of vehicle positioning measurement hardware
性能指标 参数 IMU更新率 30 (Hz) 陀螺仪分辨率 0.007 (°/s) 陀螺仪零偏稳定性 0.007 (25 ℃, 1δ) (°/s) 陀螺仪随机游走 2.4 (25 ℃, 1δ) (°/ √Hz) 加速度计分辨率 0.33 (mg) 加速度计零偏稳定性 0.2 (25 ℃, 1δ) (mg) 加速度计随机游走 0.2 (25 ℃, 1δ) (m/s√Hz) 卫星板卡更新率 10 (Hz) 卫星单点定位精度 H: 3.0; V: 5.0 (m) 卫星测速精度 0.03 (m/s)
下载: 导出CSV
表 3 车载实验速度误差的分析
Table 3 Analysis of the speed error in vehicle test
误差类型 算法 EKF SVM-EKF LSSVM-EKF 东向速度误差最大值) 2.44991596 1.64263965 1.08354018 东向速度误差均值 −0.51657986 −0.29959351 −0.21635647 东向速度平均绝对误差 0.57636153 0.35360989 0.23635647 东向速度误差均方差 0.46827009 0.17819068 0.10034921 北向速度误差最大值 5.95754509 4.48745292 1.98934116 北向速度误差均值 −0.17019196 −0.18793186 −0.08884883 北向速度平均绝对误差 0.81400385 0.65518412 0.30342385 北向速度误差均方差 0.92862895 0.59494707 0.12433562
下载: 导出CSV
表 4 车载实验位置误差的分析
Table 4 Analysis of the position error in vehicle test
误差类型 算法 EKF SVM-EKF LSSVM-EKF 东向位置平均绝对误差 5.51618956 2.98874558 1.56598758 东向位置误差均方差 115.59446073 43.27129604 7.76993031 北向位置平均绝对误差 7.02954699 2.58372839 1.47242455 北向位置误差均方差 137.35228157 21.28974173 6.65581029
下载: 导出CSV
表 5 卫星失锁情况下位置误差的分析
Table 5 Analysis of position error in case of satellite losing lock
误差类型 算法 EKF SVM-EKF LSSVM-EKF 东向速度误差最大值 71.277860 65.305870 32.099340 东向位置误差标准差 15.482577 10.476818 5.175138 北向位置误差最大值 57.812430 31.018930 15.966400 北向位置误差标准差 14.494762 6.471339 3.008621
下载: 导出CSV
表 6 列车北向位置误差对比
Table 6 Comparison of train northward position error
算法名称 北向位置误差标准差 KF 7.303605 EKF 3.888531 LSSVM-EKF 1.682587
下载: 导出CSV
-
[1] 王勋, 左启耀, 洪诗聘, 陈亮, 杨晓昆. 一种基于卡尔曼滤波的定位解算性能评估新方法. 导航定位与授时, 2018, 5(5): 73−821 Wang Xun, Zuo Qi-Yao, Hong Shi-Pin, Chen Liang, Yang Xiao-Kun. A noved evaluation method of positioning resolution performance based on Kalman filtering. Navigation and Timing, 2018, 5(5): 73−82 [2] 黄伟杰, 张国山. 基于快速不变卡尔曼滤波的视觉惯性里程计. 控制与决策, 2018. DOI: 10.13195/j. kzyjc. 2018. 0239Huang Wei-Jie, Zhang Guo-Shan. Visual-inertial odometer based on fast invariant Kalman filter. Control and Decision, 2018. DOI: 10.13195/j. kzyjc. 2018. 0239 [3] 燕必希, 朱立夫, 董明利, 孙鹏, 王君. 卡尔曼滤波单目相机运动目标定位研究. 仪器仪表学报, 2018, 39(8): 220−2293 Yan Bi-Xi, Zhu Li-Fu, Dong Ming-Li, Sun Peng, Wang Jun. Research on Kalman filtering in moving target loction with monocular camera. Chinese Journal of Scientific Instrument, 2018, 39(8): 220−229 [4] Kalman, R E, Bucy, R S. New results in linear filtering and prediction Theory. Journal of Basic Engineering ASME Transaction series D, 1960, 83. [5] 管庆林, 樊春明, 朱正平, 彭飞. 单点定位中一种载波相位平滑伪距方法. 测绘科学, 2019, 44(2): 116−1215 Guan Qing-Lin, Fan Chun-Ming, Zhu Zheng-Ping, Peng Fei. A carrier phase smoothing pseudorange method in single point positioning. Surveying Science, 2019, 44(2): 116−121 [6] 张悦, 袁莉芬, 何怡刚, 吕密. 基于量子粒子群优化容积卡尔曼滤波的LANDMARC室内定位算法. 电子测量与仪器学报, 2018, 32(2): 72−796 Zhang Yue, Yuan Li-Fen, He Yi-Gang, Lv Mi. LANDMARC indoor positioning algorithm based on quantum particle swarm optimization volume Kalman filter. Journal of Electronic Measurement and Instrument, 2018, 32(2): 72−79 [7] 王鼎杰, 孟德利, 李朝阳, 董毅, 吴杰. 抗野值自适应卫星/微惯性组合导航方法. 仪器仪表学报, 2017, 38(12): 2952−29587 Wang Ding-Jie, Meng De-Li, Li Chao-Yang, Dong Yi, Wu Jie. Adaptively outlier-restrained GNSS/MEMS-INS integrated navigation method. Chinese Journal of Scientific Instrument, 2017, 38(12): 2952−2958 [8] 刘射德, 陈光武, 王迪, 徐琛. 一种基于GPS/DR/MM组合的列车定位方法研究. 铁道科学与工程学报, 2018, 15(2): 474−482 doi: 10.3969/j.issn.1672-7029.2018.02.0278 Liu She-De, Chen Guang-Wu, Wang Di, Xu Chen. Train integrated positioning method based on GPS/DR/MM. Journal of Railway Science and Engineering, 2018, 15(2): 474−482 doi: 10.3969/j.issn.1672-7029.2018.02.027 [9] Liu J, Cai B G, Wang J. A GNSS/trackmap cooperative train positioning method for satellite-based train control. In: Proceedings of the 17th International IEEE Conference on Intelligent Transportation Systems (ITSC). Qingdao, China: IEEE, 2014. 2718−2724 [10] 衷路生, 李兵, 龚锦红, 张永贤, 祝振敏. 高速列车非线性模型的极大似然辨识. 自动化学报, 2014, 40(12): 2950−299410 Zhong Lu-Sheng, Li Bing, Gong Jin-Hong, Zhang Yong-Xian, Zhu Zhen-Min. Maximum likelihood identification of multiple point model for high-speed electriced multiple units. Acta Automatica Sinica, 2014, 40(12): 2950−2994 [11] 刘江, 蔡伯根, 唐涛, 王剑. 基于GPS与惯性测量单元的列车组合定位系统. 中国铁道科学, 2010, 31(1): 123−12911 Liu Jiang, Cai Bogen, Tang Tao, Wang Jian. Train integrated positioning system based on GPS and inertial measurement unit. China Railway Science, 2010, 31(1): 123−129 [12] 刘昊, 陈光武, 魏宗寿, 程鉴皓. 改进的最小二乘自适应滤波陀螺仪去噪方法. 仪器仪表学报, 2018, 39(4): 107−11412 Liu Hao, Chen Guang-Wu, Wei Zong-Shou, Cheng Jian-Wei. An improved least squares adaptive filtering gyroscope denoising method. Chinese Journal of Scientific Instrument, 2018, 39(4): 107−114 [13] 王迪, 陈光武, 杨厅. 一种快速高精度GPS组合定位方法研究. 铁道学报, 2017, 39(2): 67−73 doi: 10.3969/j.issn.1001-8360.2017.02.01013 Wang Di, Chen Guang-Wu, Yang Ting. Study on a fast and precise GPS integrated positioning method. Journal of the China Railway Society, 2017, 39(2): 67−73 doi: 10.3969/j.issn.1001-8360.2017.02.010 [14] 王迪, 陈光武, 刘射德, 杨扬. 基于GNSS双差定姿的区间列车轨道占用判别方法研究. 铁道学报, 2018, 40(11): 81−87 doi: 10.3969/j.issn.1001-8360.2018.11.01114 Wang Di, Chen Guang-Wu, Liu She-De, Yang Yang. Study on GNSS double difference attitude determination based train track occupancy discrimination method. Journal of the China Railway Society, 2018, 40(11): 81−87 doi: 10.3969/j.issn.1001-8360.2018.11.011 [15] 张敬堂, 董艳婷, 翟燕. 基于SVM的GPS/DR组合定位算法研究. 信息工程大学学报, 2010, 11(4): 443−447 doi: 10.3969/j.issn.1671-0673.2010.04.01415 Zhang Jing-Tang, Dong Yan-Ting, Zhai Yan. Study on GPS/DR integratde location method based on SVM. Journal of Information Engineering University, 2010, 11(4): 443−447 doi: 10.3969/j.issn.1671-0673.2010.04.014 [16] Caron F, Duflos E, Vanheeghe P. Introduction of contextual information in a multisensor EKF for autonomous land vehicle positioning. In: Proceedings of the 2005 IEEE Networking, Sensing and Control. Villeneuve d'Ascq, France: IEEE, 2005. 592−597 [17] 17 Yang Y, Chen G W, Wang J W, Li C D. Study on train combination location method based on grey neural network. Journal of Measurement Science and Instrumentation, 2019, 10(2): 143−149 [18] 衷路生, 梁爽, 龚锦红, 张永贤. 基于LS-SVM的高速列车广义非线性模型子空间辨识. 中国科技论文, 2015, 10(19): 2225−2231, 2241 doi: 10.3969/j.issn.2095-2783.2015.19.00218 Zhong Lu-Sheng, Liang Shuang, Gong Jin-Hong, Zhang Yong-Xian. Subspace identification of generalized nonlinear model for high-speed, using least squares support vector machine. China Science Paper, 2015, 10(19): 2225−2231, 2241 doi: 10.3969/j.issn.2095-2783.2015.19.002 [19] 阎威武, 邵惠鹤. 支持向量机和最小二乘支持向量机的比较及应用研究. 控制与决策, 2003, 18(3): 358−360 doi: 10.3321/j.issn:1001-0920.2003.03.02519 Yan Wei-Wu, Shao Hui-He. Application of support rector machines and least squares support vector machines to heart disease diagnoses. Control and Decision, 2003, 18(3): 358−360 doi: 10.3321/j.issn:1001-0920.2003.03.025 [20] 徐爱功, 蔡赣飞, 潘峰, 隋心, 郝雨时, 刘韬. RBF神经网络辅助的UWB/INS组合导航算法. 导航定位学报, 2018, 6(3): 41−46 doi: 10.3969/j.issn.2095-4999.2018.03.00820 Xu Ai-Gong, Cai Gan-Fei, Pan Feng, Sui Xin, Hao Yu-Shi, Liu Wei. RBF neural network aided UWB/INS integrated navigation algorithm. Journal of Nautical Navigation, 2018, 6(3): 41−46 doi: 10.3969/j.issn.2095-4999.2018.03.008 [21] Jiang Z Q, Liu C H, Zhang G, Wang Y P, Huang C K, Liang J Y. GPS/INS integrated navigation based on ukf and simulated annealing optimized SVM. In: Proceedings of the 78th IEEE Vehicular Technology Conference (VTC Fall), Las Vegas, NV, USA: IEEE, 2013. 1−5 [22] 22 Rafael T M, Carlos C C, Javier T M. A multiple-model particle filter fusion algorithm for GNSS/DR slide error detection and compensation. Applied Sciences, 2018, 8(3): 445-1−445-9 [23] 23 Wang S S. A BLE-based pedestrian navigation system for car searching in indoor parking garages. Sensors (Basel, Switzerland), 2018, 18(5): 1442-1−1442-18 [24] 24 Song X, Li X, Tang W C, Zhang W G. RFID/In-vehicle sensors-integrated vehicle positioning strategy utilising LSSVM and federated UKF in a tunnel. Journal of Navigation, 2016, 69(4): 845−868 doi: 10.1017/S0373463315000946 [25] 25 Chen X Y, Xu Y, Li Q H, Tang J, Sheng C. Improving ultrasonic-based seamless navigation for indoor mobile robots utilizing EKF and LS-SVM. Measurement, 2016, 92: 243−251 doi: 10.1016/j.measurement.2016.06.025 [26] Shao Y H, Li C N, Huang L W, Wang Z, Deng N Y, Xu Y. Joint sample and feature selection via sparse primal and dual LSSVM. Knowledge-Based Systems, 2019. [27] 27 Xue X H, Xiao M. Deformation evaluation on surrounding rocks of underground caverns based on PSO-LSSVM. Tunnelling and Underground Space Technology, 2017, 69(Oct.): 171−181 期刊类型引用(7)
1. 彭金柱，刘涵菲，卞英楠. 基于SVR-LSTM的人体上肢运动遮挡轨迹补偿方法. 郑州大学学报(理学版). 2025(01): 1-7 . 
百度学术2. 孙强，陈远. 多层次时空特征自适应集成与特有-共享特征融合的双模态情感识别. 电子与信息学报. 2024(02): 574-587 . 百度学术3. 张林，易先鹏，王广杰，范心宇，刘辉，王雪松. 基于网格重构学习的染色体分类模型. 自动化学报. 2024(10): 2013-2021 . 本站查看4. 潘雨帆，史磊，周宏宇，倪少权，张骏，郭孜政. 基于LSTM-Attention的高速铁路司机警觉度预测. 铁道学报. 2023(11): 29-37 . 百度学术5. 孟亚. 基于个性化自适应学习的海量资源安全威胁信息定向识别模型. 微型电脑应用. 2022(08): 125-128 . 百度学术6. 施冬梅，肖锋. 基于改进长短时记忆网络的驾驶行为检测方法研究. 汽车工程. 2021(08): 1203-1209+1262 . 百度学术7. 韩广，卜桐，王明明，郑海青，孙晓云，金龙. 基于双通道双向长短时记忆网络的铁路行车事故文本分类. 铁道学报. 2021(09): 71-79 . 百度学术其他类型引用(11)
-
下载:
计量
- 文章访问数: 2075
- HTML全文浏览量: 452
- PDF下载量: 169
- 被引次数: 18
