Feature Fusion Analysis of Simultaneously Recorded EEG-fMRI in Emotion Cognitive Reappraisal
-
摘要: 脑电(Electroencephalography, EEG)与功能磁共振成像(Functional magnetic resonance imaging, fMRI)为脑科学研究提供了互补的时空信息. 为研究大脑在对情绪图片采取认知重评策略时的神经活动, 基于同步采集的EEG-fMRI数据, 应用典型相关分析、经验模态分解及k-均值聚类等算法对融合情绪数据进行交叉关联和盲源分离, 得到空间上的fMRI图像和与之对应的EEG时间演变信号. 结果表明: 时域上, CCA分离出的脑电成分在认知重评状态下有明显的晚期正电位(Late positive potential, LPP) (潜伏期200ms～900ms)出现, 而且认知重评策略诱发下的LPP 波幅明显小于观看负性诱发的LPP波幅(F(1, 224)= 28.72, P<0.01), 而大于观看中性诱发的LPP波幅(F(1, 224)= 63.32, P<0.01); 与之对应的空域上, 可以明显地看出和情绪调节相关的扣带回, 额叶、颞叶等区域有明显激活区, 采用情绪认知重评策略时的脑区激活强度明显小于观看负性状态, 而大于观看中性, 且观看中性状态下被激活的与情绪相关的区域相对较少. 研究表明, 这种融合数据分析技术通过计算两种模态数据之间潜在的线性相关性, 可以有效地分离出大脑在时空上神经活动情况, 达到了同时描绘出大脑神经活动的时间信息与空间信息的效果.Abstract: Electroencephalography (EEG) and functional magnetic resonance imaging (fMRI) provide complementary spatio-temporal information for brain function study. In order to study the neural activity during the process of cognitive reappraisal strategy when emotional images are taken, canonical correlation analysis (CCA), empirical mode decomposition (EMD) and k-means clustering algorithms are used to finish the steps of cross-correlation and blinded source separate for simultaneously acquired EEG-fMRI emotion data. Spatial maps for fMRI data and the corresponding temporal evolution features of EEG signals are thus obtained. The results show that EEG components separated by CCA in cognitive reappraisal state have obviously late positive potential (LPP), with latency from 200ms～900ms, meanwhile the amplitudes of LPP evoked by taking cognitive reappraisal strategy are less than that evoked by watching negative images (F(1, 224)= 28.72, P<0.01), but more than that evoked by watching neutral images (F(1, 224)= 63.32, P<0.01). The corresponding spatial regions have apparent activation regions, such as cingulate, frontal, temporal lobe and other regions related to emotion regulation. What is more, the activation intensity evoked by taking cognitive reappraisal strategy is significantly less than that evoked by watching negative images, while it is more than that evoked by watching neutral images. The activated areas related to emotion are small when participants are watching neutral images. This fusion data processing technology computes the potential linear correlation between two modal data, which can effectively separate neural activities of the brain both in spatial and temporal domains, and can achieve the effects of obtaining temporal and spatial information of the brain activity at the same time.
-
在近一个世纪的大脑功能研究中,脑电(Electroencephalography,EEG)研究和功能磁共振成像(Functional magnetic resonance imaging,fMRI)研究一直处于非常重要位置. EEG信号是一种神经点活动,它是由大脑的椎体细胞产生的,其毫秒级别的时间分辨率为神经元活动提供了合适的时序动态.而EEG信号在空间分布上有很大的局限性,由于大脑中的脑脊髓液、头皮、颅骨等导体的作用,所记录到的任意一点的EEG信号都有可能是多个脑区中神经活动的混合过程,通过EEG信号反演出大脑神经活动的具体位置是国际上公认的难题.因此,EEG信号具有较低的空间分辨率,但具有很高的时间分辨率. fMRI测量的是大脑脱氧血红蛋白和含氧血红蛋白的磁化率变化引起的血氧水平依赖(Blood oxygenation level-dependent,BOLD)信号.当施加外界的刺激时,在T2加权成像上BOLD信号随之增大. fMRI所用到的空间体素大小通常为50 mm3,因此在空间上为脑科学研究提供了更高的空间分辨率[1].但BOLD信号一般响应时间在1 s~5 s,所以在时间分辨率上有很大的劣势.随着脑科学研究的不断深入,科学家们发现脑科学的单模态研究在时空上有很强的单方面制约性,人们希望通过对大脑的时间和空间两方面信息的整合来实现多模态观测,这对研究精神类疾病的发病机制和认知科学的研究都起到了至关重要的作用,而EEG与fMRI在时空上的互补性为两种模态研究提供了融合的可行性[2-3].该研究也为人机融合控制系统研究[4]提供了理论和实践依据,为医疗康复领域的快速发展提供动力.
EEG-fMRI融合框架大致可以分为三种: 1)空间约束,即基于fMRI空间约束的EEG源成像[5].该融合框架是通过对fMRI空间信息的研究,使用fMRI空间信息约束EEG信号中的源位置.其方法通常是采用独立成分分析(Independent component analysis,ICA)算法从fMRI中提取大脑功能网络的感兴趣区域(Region of interest,ROI)并以之作为EEG源定位的先验信息,其核心思想就是利用fMRI的空间先验信息来提高EEG源定位的精确度[6]. 2)时间预测,即基于EEG时间先验信息的fMRI成像研究.这种框架在EEG-fMRI融合研究中得到广泛应用,采用的是以EEG信息作为预测的基础上对fMRI时间进程进行建模,根据神经活动的EEG时间信息的强度,对BOLD信号解卷积,得到和生理假设更贴切的血氧动力学函数(Hemodynamic response function,HRF).该方法通常采用ICA算法提取EEG数据中的单次试验(Trail) ERP特征作为先验信息,然后对fMRI信号进行HRF重建[7]. 3)融合框架为对称融合,即EEG-fMRI时空对称融合.该方法采用共同的构造模型来融合两种模态的数据,通常采用ICA算法对EEG与fMRI数据分别在时间和空间上做独立成分分解,之后基于EEG和fMRI的独立成分,分别在空间模式和时间过程上建模.时空对称融合方法结合空间约束和时间预测两种模型并进行时空的并行整合来达到时间和空间上的融合[8].典型相关分析(Canonical correlation analysis,CCA)方法基于线性混合模型从各组数据中分别提取相关的典型相关成分(EEG的时间信息、 fMRI的空间信息),通过寻找两种模态数据的最大共变性确定数据集中成分之间的相关性,并计算相关系数.可以通过这种方法确定与EEG波形相类似的fMRI激活区域的动力学响应.与使用单一变量确定EEG一个潜伏期内特征和单个fMRI激活区域之间关系的方法不同,这种方法可以确定若干潜伏期的波形特征和一些fMRI激活区域之间的关系.因此CCA方法可以更好应用于研究脑功能区域定位和神经元之间的功能连接,应用到多被试、多模态的数据处理之中[9].
近年来情绪认知重评的研究越来越热门,已经成为认知神经学、临床医学、社会学等诸多领域的热门话题.认知重评是先行关注策略的一种发生在个体情绪产生的早期,就是要通过转变认知视角以调整情绪事件对自身的影响,通常通过对类似恶心、恐惧、自卑等负性事件的重新看待来淡化负性情绪的影响以此达到认知重评的目的[10].在情绪认知重评的国内外研究中,通常对单一模态数据单独进行分析.通过对情绪调节过程中所产生的EEG信号的研究,发现事件相关电位(Event related potential,ERP)的一个重要成分---晚期正电位(Late positive potential,LPP)反映了对情绪的调节作用[11]. LPP波幅会在300 ms左右呈现一个正向的波形并在300 ms~800 ms达到最大值,之后逐渐降低[12-13]. fMRI技术也是情绪认知研究的重要方法,fMRI技术能够从空间角度描述大脑中哪些脑区参与了情绪的调节.研究表明,在使用调节策略时,大脑的扣带回、额叶、颞叶等区域会发生不同程度的激活,基于这一情况来研究大脑内部的神经活动[14].
本文采用经典情绪认知重评视觉刺激实验范式,通过同步EEG-fMRI采集技术,获得EEG和fMRI数据,结合EEG较高的时间分辨率和fMRI较高的空间分辨率的优势,从时域和空域两个角度同时研究大脑在认知重评时的神经活动.首先,对采集到的数据进行预处理,去除EEG信号中在核磁环境下所产生梯度场噪声和心电、眼电、肌电等噪声,对fMRI图像进行时间校准、头动校正、空间标准化、空间平滑等预处理;然后,分别对预处理之后EEG与fMRI数据做特征提取,提取EEG中ERP潜伏期内的波幅特征并使用HRF函数对EEG时间序列进行卷积,运用聚类的方法和标准脑模板---自动解剖图集(Anatomical automatic labeling,AAL)提取fMRI中的感兴趣区域;最后,使用CCA算法计算这两种模态数据之间的相关性,找出相关系数较大的成分,并研究其时间信息与空间信息,观察LPP时,空间上的激活区域是否与情绪变化相关.研究表明,通过CCA融合框架得到的LPP成分在500 ms达到最大,并且采用认知重评策略的LPP波幅低于观看负性的LPP波幅而高于观看中性的LPP波幅;在fMRI激活区域方面,在降低负性状态下参与情绪加工的杏仁核、额叶和扣带回等感兴趣区域的激活强度明显低于观看负性的感兴趣区域,并且高于观看中性的感兴趣区域.因此,CCA融合框架可以准确地获得情绪认知重评EEG-fMRI时间和空间上的融合信息.
1. 方法
融合框架的原理图如图 1所示. EEG信号通过预处理、经验模态分解(Empirical mode decomposition,EMD)等算法提取相应特征之后得到特征矩阵${Y}_{\_\rm EEG}$,是不同试次的时间序列与HRF函数卷积之后的矩阵,行表示单个试验的时间序列,列表示试验数.同样地,使用聚类算法提取fMRI数据特征之后,得到特征矩阵${Y}_{\_\rm fMRI}$,包括不同扫描次数的感兴趣区域.矩阵的行表示每次扫描的感兴趣区域,列表示扫描次数.即EEG的试验数与fMRI的扫描次数相对应,EEG的单个试次时间序列与fMRI的每次扫描感兴趣区域相对应之后,通过多模态数据试验之间(Trail to trail)的变化计算得到最大相关矩阵${M}$,最后得到分解出来的相关成分${C}$.在此框架中,每个成分都有且只有一个在另外一种模态数据中与之相关的成分.
总体模型通过式(1)得到,
$ {Y}_{k}={M}_{k}{C}_{k},\ k=1,2,3,\cdots,N $
(1) 式中,${Y}_{k}\in {\bf R}^{T\times V_{k}}$,${M}_{k}\in {\bf R}^{ T\times D}$,${C}_{k}={\bf R}^{D\times V_{k}}$,$T$是${Y}_{k}$时间点数,$k$表示模态数,$V_{k}$是${Y}_{k}$中的变量数量(fMRI中的脑区个数或者是EEG中单个Trail的时间点数),$D$是矩阵${Y}_{k}$的秩的最小值.对每种模态数据而言,相关矩阵${M}_{k}$中第$i$列矩阵$({M}_{k}^{(i)},i = 1,2,\cdots,D)$满足以下属性:
1) 典型变量处于同一组中互不相关,即每一个数据矩阵${M}_{k}$中的${M}_{k}^{(i)}$之间不相关,每一个数据集都有零均值和单位方差.
2) 仅仅在相应的指标中,相关矩阵${M}_{k}^{(i)}$才有非零的相关系数,并且相关系数$r_{k,l}^{(i)}={M}_{k}^{(i)^{\rm T}}{M}_{l}^{(i)}$.这里的相关矩阵${M}$是可以由下一节介绍的典型相关分析算法获得.
1.1 经验模态分解
EMD算法可以将任何复杂的数据集分成一系列的固有模态函数(Intrinsic mode function,IMF)之和. EMD分解过程如下:
1) 设输入信号为${X}(t)$,找出${X}(t)$的所有局部极大值和局部极小值.
2) 计算输入信号的上包络线${e}_{u}(t)$与下包络线${e}_{l}(t)$,并计算其均值曲线${m}(t)$.
3) 根据IMF约束条件从${X}(t)$中计算出第一个IMF分量${IMF}_{1}(t)$.
4) 把分离出第一个IMF分量之后的剩余信号记为${r}_{1}(t)$.如果${r}_{1}(t)$大于一个零值点,就将${r}_{1}(t)$作为一个新的原始信号返回第1)步重新计算出下一个IMF.如此循环计算,直到最后一个剩余信号${r}_{n}(t)$没有经过零点的值或者是${r}_{n}(t)$有足够小的频率以至于不能再进行IMF分解.因此,原始信号可表示为:
$ {X}(t)=\sum_{k=1}^{n}{IMF}_{k}(n)+{r}_{n}(t) $
(2) 1.2 k-均值聚类算法
$k$-均值聚类($k$-means clustering)算法是比较常用的一种聚类算法.其主要原则是一个对象要划分到一个类中,是通过多次的反复迭代,使得相同簇内的元素具有尽可能高的相似度、不同簇之间的相似度尽可能低.具体步骤为: 1)对于数据对象集,任意选取$K$个对象作为初始的类中心; 2)根据类中对象的平均值,将每个对象重新赋给最相似的类; 3)更新类的平均值,即计算每个类中对象的平均值; 4)重复第2)步、第3)步直到不再发生变化.
1.3 典型相关分析(CCA)算法
设有两组零均值随机变量${X}$与${Y}$,令${X}=[{x}_{1},{x}_{2},\cdots,{x}_{n}]$与${Y}=[{y}_{1},{y}_{2},\cdots,{y}_{n}]$,CCA的目标在于寻找一对投影向量${ u}$和${ v}$,满足${ z}_{1} = { u}^{\rm T}{X}$和 ${{ z}_{2}}={ v}^{\rm T}{Y}$之间具有最大的相关系数,其准则函数为:
$ {\rm arg} \max\limits_{{ u},{ v}} \rho=\frac{{ w}^{\rm T}{S}_{xy}{ v}}{\sqrt{{ u}^{\rm T}{S}_{xx}{ u}}\times \sqrt{{ v}^{\rm T}{S}_{yy}{ v}}} $
(3) 其中,矩阵${S}_{xx}$和${S}_{yy}$分别代表的是矩阵${X}$和${Y}$的协方差,${S}_{xy}$表示的是${X}$和${Y}$之间的互协方差矩阵,可令${ u}^{\rm T}{S}_{xx}{ u} = { v}^{\rm T}{S}_{yy}{ v} = 1$,求出一对矢量(${ u}_{1}$和${ v}_{1}$)并作为第一对投影矢量;当得到前$k-1$对投影矢量(${ u}_{i}$和${ v}_{i}$) ($i=1,\cdots,k-1)$后,第$k$对投影矢量满足如下约束条件:
$ \left\{ \begin{matrix} u_{k}^{\text{T}}{{S}_{xx}}{{u}_{k}}=v_{k}^{\text{T}}{{S}_{yy}}{{v}_{k}}=1 \\ u_{i}^{\text{T}}{{S}_{xx}}{{u}_{k}}=v_{i}^{\text{T}}{{S}_{yy}}{{v}_{k}}=0,i=1,2,\cdots ,k-1 \\ \end{matrix} \right. $
(4) 利用Lagrange乘数法,可得两个广义本征方程:
$ \begin{matrix} {{S}_{xy}}S_{yy}^{-1}{{S}_{yx}}u={{\lambda }^{2}}{{S}_{xx}}u \\ {{S}_{yx}}S_{xx}^{-1}{{S}_{xy}}v={{\lambda }^{2}}{{S}_{yy}}v \\ \end{matrix} $
(5) 记${ w}=[{ u}^{\rm T},{ v}^{\rm T}]^{\rm T}$,$\lambda=[\lambda_{1},\lambda_{2},\cdots,\lambda_{d},\lambda_{d+1},\cdots,$\\$\lambda_{i}]$为特征值,且$\lambda\neq0$,与非零特征值$\lambda_{i}$相对应的特征向量为${ u}_{i}$和${ v}_{i}$,这里$i=1,\cdots,d$,则典型变量${M}_{i}$可由特征向量变化得到,并根据${M}_{i}$计算各随机变量的相关成分${C}_{i}$与典型相关系数$r_{i}$:
$ \begin{matrix} {{C}_{i}}={{(M_{i}^{\text{T}}{{M}_{i}})}^{-1}}M_{i}^{\text{T}}{{x}_{i}} \\ r_{x,y}^{(i)}=M_{x}^{(i)\text{T}}M_{y}^{i} \\ \end{matrix} $
(6) 2. 实验设计
2.1 实验对象
本实验共采集25名健康成年人的EEG-fMRI数据,20男 5女,年龄在19岁至24岁之间(平均22岁),所有被试都是右利手,都没有神经系统及眼科疾病.所有实验均通过常州大学伦理委员会批准且签署被试知情同意书.
2.2 实验设备
同步采集系统结构图如图 2所示.系统分为两部分: MR控制及EEG数据采集室和MR扫描室. MR控制及EEG数据采集室主要构成如下: Net-station采集回放分析软件(含特殊去噪功能)、E-prime呈现刺激电脑、放大器时钟同步接收盒、转换器、响应盒、数据线、系统时钟接口、TR事件接口及其他附属配件.扫描室有fMRI扫描仪、放大器屏蔽系统(Field isolation containment system,FICS)、响应盒及刺激呈现装置(如投影仪).
图 2 同步EEG-fMRI数据采集系统结构图Fig. 2 Constructional detail of simultaneously EEG-fMRI data acquisition system同步EEG-fMRI实验在常州市第二人民医院影像科进行.脑电设备采用了美国EGI公司的64导核磁型脑电采集系统,电极位置遵循国际10-10电极系统空间分布,参考电极为Cz电极,采集软件是Net-station,采样频率为250 Hz,每个电极处的头皮电阻抗低于50 kΩ.核磁设备为Philips公司的3.0 T超导型功能磁共振成像系统,fMRI扫描参数: TR = 2 000 ms,TE = 35 ms,翻转角(Flip angle)为90°,视野(FOV) = 230 mm×180 mm,层厚4 mm,连续扫描24层,实验采用无间隔顺序扫描的扫描方式.融合实验通过时钟同步盒使EEG与fMRI数据采集的时间达到同步.
2.3 实验范式
本次实验采用视觉刺激实验范式[11],单次实验共有120张刺激图片,包含 40张中性图片(如日常生活用品、景观、食物等)和 80张负性图片(伤残、暴力、灾难等).试验中所选的刺激图片均来自国际情绪图片库(International affective picture system,IAPS).情绪图片的唤醒度(中性图片: $M $= 2.91,$SD $= 1.93;负性图片: $M $= 5.71,$SD $= 2.61).
实验用E-Prime软件进行流程化设计,实验总共进行4次时钟循环,每个循环有30次试验,共120次试验;其中,观看中性40次,观看负性40次和降低负性40次,图片均为随机呈现.单次试验的流程为:首先是在屏幕上会出现4秒的情绪调节提示词(包括"降低"和"观看"),之后是2秒的空屏,接下来是6秒的任务态("观看"提示词后面是负性图片和中性图片随机出现,"降低"提示词后面出现的是负性图片),最后是4秒的放松时间.实验范式如图 3所示.实验开始之前会对被试进行一个简单的训练,主要目的是确保被试在实验时可以根据研究所要求的方式调节情绪.实验要求当出现"观看"提示词时,被试应该以正常的心态观看后面出现的负性图片或者中性图片,这一部分要求被试不需要进行情绪调节,被试看到图片时是什么样的情绪状态就表现出这样的情绪状态.当出现"降低"提示词时,紧接着出现的是负性刺激图片,这一部分要求被试使用情绪调节策略完成实验,如以第三者的心态观看图片或者想象这种负性的场景是电影中的场景.
3. 数据处理
认知重评EEG-fMRI实验数据分析主要包括三个部分:数据的预处理、特征提取和基于CCA算法的数据融合,图 4为数据处理总体框图.由于同步采集到的原始EEG信号与fMRI数据或多或少都会存在各种各样的噪声,比如,梯度场噪声、心电噪声、肌电、头动等噪声,因此,首先要进行预处理及标准化处理.使用Net-station软件和EEGLAB软件预处理EEG数据,使用SPM等工具箱预处理fMRI数据,并分别对两种数据模态进行标准化使其保持零均值与单位方差;然后分别提取EEG信号与fMRI图像的特征.其中,在EEG特征方面,提取脑电信号的LPP潜伏期内的波幅作为EEG时间特征;在fMRI特征方面,提取基于AAL模板的90个感兴趣区域(ROIs)并分别计算每个ROI上的均值作为fMRI空间特征.最后对EEG时间特征与fMRI空间特征做相关分析并计算其最大相关系数,寻找其相关性.
3.1 EEG预处理
首先对采集到的情绪认知重评核磁环境下EEG数据在Net-station软件上进行预处理,其目的在于去除EEG信号中的梯度场、心电、工频干扰等噪声.处理步骤依次为: 梯度场去噪、滤波:滤波范围(0.01 Hz~40 Hz)、心电去噪、分段($-200$ ms$ \sim$ 1 500 ms)、 伪迹检测、坏通道替换、基线校准.
由于Net-station预处理之后的信号还残留一些肌电、工频、眼动等噪声,本文使用EEGLAB工具箱,首先对单个被试EEG信号做平均重参考,之后进行独立成分分析[15],最后使用ADJUST (Automatic EEG artifact detector based on the joint use of spatial and temporal features)插件去除EEG信号中的噪声成分.
3.2 fMRI预处理
在采集时,由于被试在核磁室中总会出现如头动等状况,会导致fMRI信号发生漂移,所以在对fMRI数据进行特征提取之前先做预处理.本次数据预处理是在Matlab中的SPM8 (Statistical parametric mapping)工具包以及REST (Resting-state fMRI data analysis toolkit)工具箱中完成.预处理主要包括时间层校正(Slice time)、头动校正(Realignment)、空间标准化(Normalize)、空间平滑(Smooth)及滤波.
3.3 EEG特征提取
对于经过预处理及标准化后的EEG信号,提取具有LPP特征的潜伏期波幅作为后续融合分析的脑电特征.首先,选取情绪调节研究中LPP波幅特征明显的Poz电极脑电信号.由于LPP潜伏期为200 ms~900 ms,对于情绪认知重评中三种情绪刺激状态数据(每种情绪状态有40个Trails数据),选取刺激呈现之后的900 ms (225个连续不断的采样)信号波幅作为特征;接着,使用EMD算法分别对每个试验的信号去噪[16].为了和fMRI数据的时间进程保持一致,首先分别对EEG数据中三种不同情绪刺激下的40个Trails进行补零操作,把EEG数据的一个Trail变成5个Trails,此时每种情绪刺激状态下Trails个数为40×5.之后分别把每个潜伏期的动态信息和HRF函数卷积得到格式为Trails (200)× Latencies (225)的数据.
3.4 fMRI特征提取
预处理及标准化后的单个被试fMRI数据为四维矩阵(一维的时间点和三维的空间体素(Voxels)),需要将其中的三维空间体素降维到一维.由于BOLD信号往往有4 s~8 s的延迟[17],因此,每个试次(Trails)中取刺激呈现之后的5个时间点.即每种刺激状态下的时间维度为扫描次数(Trails $\times$ 5 = 200).根据实验范式分别提取与EEG信号相对应的不同情绪状态下的fMRI数据.为了提取更准确的和情绪相关的感兴趣区域,对上述操作之后的数据做了$k$-means聚类处理,并以此制作Mask,并根据此Mask去掉数据中一些和研究无关的背景.使用SPM软件,根据AAL模板对每个时间点计算出全脑90个感兴趣区域的均值来表示每个感兴趣区域.
3.5 数据融合
为了消除个体间的差异,把所有被试经过特征提取后的EEG和fMRI特征叠加平均之后作为CCA的输入信号.输入信号都是200行的矩阵,其中EEG数据每行有225个采样点,fMRI数据每行有90个脑区均值.两种模态数据经过CCA计算相关系数,并通过交叉验证的方法计算出变换矩阵${M},$并根据融合框架部分介绍的重构方法通过变换矩阵${M}$及式(6)得到时域和空域上的相关成分.
4. 结果及分析
图 5为某个被试在降低负性状态下的EEG及fMRI特征提取之后某个Trial结果.其中5 (a)为EEG特征提取之后的某个Trail的波形; 5 (b)为聚类算法制作掩膜之后,掩膜降低了fMRI数据复杂度,并得到其中一幅脑区激活图.从图 5可以看出,经过EMD去噪和特征提取之后的EEG数据与认知重评的LPP成分接近.基于聚类的fMRI特征提取结果可以得到包含与情绪认知重评相关的额叶、颞叶、扣带回等脑区,为后续EEG-fMRI融合研究奠定基础.
图 5 某个被试降低负性状态下EEG-fMRI特征提取结果Fig. 5 Outcome of EEG-fMRI feature extraction in decrease-negative condition by one subject采用CCA算法对情绪认知重评实验范式下的EEG、fMRI两种模态数据之间的相关性计算,得到90个相关成分.本文主要关注EEG中试次之间的时间变化与fMRI空间感兴趣区域之间具有较大相关性的EEG-fMRI相关成分.通过计算相关系数贡献率$P_{i}\,$($P_{i}>90%$,$P_{i}=r_{i}/\sum r_{i}$)的方法选取贡献率大于$90%$的相关成分(见表 1).其中,观看中性有5个相关成分,观看负性有7个相关成分,降低负性有6个相关成分;然后分别叠加平均每种情绪刺激状态下的EEG与fMRI相关成分,图 6~8为所有被试在三种情绪状态下的EEG-fMRI相关成分叠加平均的结果,其中(a) 为Poz电极处同一种情绪状态下时域上的相关成分叠加平均结果图,横坐标为时间,单位为毫秒(ms),纵坐标为幅值(由于得到的是时域上的相关成分,只能反映潜伏期的波形趋势,不能反映电压大小,因此无量纲); (b) 为同一种状态下空域上的相关成分叠加平均结果图,图中显示大脑16层切片,彩色部分为激活区域,右边彩色条为激活强度经过Z变换的结果.如图 6 (a)为观看中性状态下5个EEG典型相关成分叠加平均波形,结果表明被试在中性图片呈现后300 ms~600 ms出现LPP成分,且在500 ms时达到最大.图 7 (a)为观看负性状态下7个EEG典型相关成分叠加平均,结果表明被试在负性图片呈现后100 ms~700 ms出现LPP成分,且在400 ms时达到最大.图 8 (a)为降低负性状态下6个EEG典型相关成分叠加平均,结果表明被试在采用认知重评策略后200 ms~700 ms出现LPP成分,且在450 ms时达到最大.图 9为上述三种情绪EEG曲线对比图,使用SPSS软件对三种情绪状态的EEG平均相关成分进行统计学分析,得到观看负性与观看中性的均差值为21,$F (1,224)= 236.79$~($P < 0.01$);观看负性与降低负性的均差值为9,$F (1,224)= 28.72$~($P < 0.01$);降低负性与观看中性的均差值为11.99,$F (1,224)= 63.32$~($P < 0.01$).统计分析结果显示三种情绪状态下的LPP有明显差异.采用认知重评策略时的LPP波幅低于观看负性时的LPP波幅,而且明显高于观看中性的LPP波幅.该结果与文献所报道的结论基本一致[18].图 6(b) 为观看中性状态下5个fMRI典型相关成分叠加平均,结果表明被试在观看中性图片时情绪相关脑区(如杏仁核、海马、颞叶等)有少量激活,多数激活区域分布在与情绪反应无关的脑区,且激活强度相对较小.图 7 (b)和图 8(b) 分别为观看负性降低负性状态下7个和6个fMRI典型相关成分叠加平均,结果表明被试在这两种情绪状态下,情绪相关脑区(如杏仁核、海马、颞叶等)被大量激活,且激活强度相对较大.
表 1 三种情绪状态下具有较大相关性EEG-fMRI相关成分Table 1 Correlation component of EEG-fMRI which has higher correlation by three emotion conditions相关成分 相关系数 观看中性 观看负性 降低负性 成分1 0.944 0.966 0.913 成分2 0.888 0.947 0.801 成分3 0.841 0.877 0.731 成分4 0.741 0.816 0.716 成分5 0.681 0.765 0.606 成分6 N/A 0.660 0.537 成分7 N/A 0.584 N/A 
图 6 观看中性状态下EEG-fMRI相关成分平均结果Fig. 6 Average outcome of EEG-fMRI correlation components by look-neutral condition
图 7 观看负性状态下EEG-fMRI相关成分平均结果Fig. 7 Average outcome of EEG-fMRI correlation components by look-neutral condition
图 8 降低负性状态下EEG-fMRI相关成分平均结果Fig. 8 Average outcome of EEG-fMRI correlation components by decrease-negative condition
图 9 基于CCA算法的所有被试不同情绪状态的EEG相关成分叠加平均Fig. 9 Outcome of averaging all of subjects' EEG correlation components based on CCA algorithm by three emotion conditions通过对三种情绪状态下的fMRI相关成分分别叠加平均可以清楚得看出,观看负性状态下在大脑的颞叶、额叶、扣带回等和情绪相关区域有明显地激活(如表 3,图 7(b) 所示).同样的降低状态下在杏仁核、颞叶、扣带回、额叶、海马等情绪相关区域有很明显的激活,而且杏仁核、海马和扣带回在情绪调节过程中起到很重要的作用(如表 4,图 8 (b)所示).从激活强度($Z$ score)角度分析,采用认知重评策略的降低状态下的脑区(特别是直接参与情绪加工的杏仁核(41区)、眶部额下回(15区)和前扣带和旁扣带回(31区))激活强度明显弱于观看负性状态.而在观看中性状态下,这些脑区激活强度最小(如表 2,图 6(b) ).这一结果和情绪相关文献报道的结果一致[19].
表 3 观看负性状态下fMRI相关成分叠加平均激活区域Table 3 Average ROIs of fMRI correlation components by decrease-negative观看中性状态fMRI激活区域 ROIs(编号) AAL标签 Z score 颞下回(90) Temporal Inf R 3.980 额中回(8) Frontal Mid R 3.767 眶部额下回(15) Frontal Mid Orb R 2.264 前扣带和旁扣带回(31) Frontal Sup R 1.970 颞极: 颞中回(88) Temporal Pole Mid R 1.674 杏仁核(41) Frontal Mid L 1.492 背外侧额上回(3) Frontal Sup L 1.100 颞下回(89) Temporal Inf L 0.675 颞中回(86) Temporal Mid R 0.297 三角部额下回(13) Frontal Inf Tri L 0.037 眶内额上回(26) Frontal Mid Orb R 0.004 颞极: 颞中回(87) Temporal Pole Mid L -0.12 背外侧额上回(4) Cingulum Ant L -0.284 内侧额上回(24) Frontal Sup Medial R -0.287 表 4 降低负性状态下fMRI相关成分叠加平均激活区域Table 4 Average ROIs of fMRI correlation components by decrease-negative condition观看中性状态fMRI激活区域 ROIs(编号) AAL标签 Z score 丘脑(77) Thalamus L 1.260 前扣带和旁扣带脑回(31) Cingulum Ant L 0.824 杏仁核(41) Amygdala L 0.512 眶部额下回(15) Frontal Inf Orb L 0.207 内侧和旁扣带脑回(34) Cingulum Mid R -0.066 岛盖部额下回(11) Frontal Inf Oper L -0.116 内侧和旁扣带脑回(33) Cingulum Mid L -0.327 海马旁回(39) ParaHippocampal L -0.417 颞中回(85) Temporal Mid L -0.476 中央前回(1) Precentral L -0.483 海马旁回(40) ParaHippocampal R -0.487 内侧额上回(23) Frontal Sup Medial L -0.498 后扣带回(35) Cingulum Post L -0.529 前扣带和旁扣带脑回(32) Cingulum Ant R -0.533 眶部额上回(5) Frontal Sup Orb L -0.587 距状裂周围皮层(43) Calcarine L -0.59 内侧额上回(24) Frontal Sup Medial R -0.594 楔前叶(68) Precuneus R -0.664 颞下回(89) Temporal Inf L -0.683 颞极: 颞上回(83) Temporal Pole Sup L -0.694 梭状回(55) Fusiform L -0.709 颞极: 颞中回(88) Temporal Pole Mid R -0.869 表 2 观看中性状态下fMRI相关成分叠加平均激活区域Table 2 Average ROIs of fMRI correlation components by look-neutral condition观看中性状态fMRI激活区域 ROIs(编号) AAL标签 Z score 尾状核(71) Caudate L 0.078 嗅皮质(22) Olfactory R -0.027 脑岛(29) Insula L -0.044 豆状壳核(74) Putamen R -0.076 海马旁回(39) ParaHippocampal L -0.111 顶上回(59) Parietal Sup L -0.13 尾状核(72) Caudate R -0.171 枕中回(52) Occipital Mid R -0.333 眶部额上回(6) Frontal Sup Orb R -0.347 丘脑(77) Thalamus L -0.356 杏仁核(41) Amygdala L -0.414 海马(38) Hippocampus R -0.46 颞中回(86) Temporal Mid R -0.471 海马旁回(40) ParaHippocampal R -0.474 海马(37) Hippocampus L -0.536 三角部额下回(13) Frontal Inf Tri L -0.561 眶部额下回(15) Frontal Inf Orb L -0.578 岛盖部额下回(11) Frontal Inf Oper L -0.592 颞极: 颞上回(83) Temporal Pole Sup L -0.609 额中回(7) Frontal Mid L -0.619 顶上回(60) Parietal Inf R -0.677 豆状壳核(73) Putamen L -0.785 前扣带和旁扣带脑回(31) Rectus R -0.789 内侧额上回(23) Frontal Sup Medial L -0.968 5. 讨论
对情绪反应的修正是情绪调节的主要目的,研究表明情绪反应诱发的时域上的LPP成分与空域上的感兴趣区域在情绪调节过程中会发生明显的变化,关注认知重评策略对LPP和情绪相关脑区的影响是情绪相关研究的重点.由于大脑中情绪的变化很微弱,成功提取出这种变化也是当前的难点.本研究在前人的基础上基于CCA算法计算认知重评EEG与fMRI之间的相关性,通过提取两种模态数据之间的相关成分,并分别从时域和空域上分析EEG-fMRI相关成分.本文在EMD算法与$k$-均值算法的去噪和特征提取的基础上,运用CCA在解决情绪认知重评EEG-fMRI融合问题上具有一定创新性.作为数据驱动方法,它为EEG和fMRI交叉模型之间的关系提供了最小模型假设.基于CCA的数据融合方法与单模态源分离的方法不同的是,CCA是在数据统计的基础上进行交叉模态分解,是基于二阶的统计分析,比独立性统计这样的高阶统计分析的限制条件更少,适用范围更广.对于情绪认知重评这种微弱变化,CCA算法可以更精确地关联出EEG与fMRI的相关成分以达到两种模态数据融合的目的,从而可以从时域和空域两个角度来分析情绪认知重评期间大脑的变化.
研究表明,CCA算法可以更精确地提取出情绪认知重评EEG-fMRI融合数据的相关成分,并且三类情绪之间无论是在时域上还是空域上都有很大的区分度.结果显示被试在观看负性图片时的LPP波幅明显高于观看中性图片及采取重评策略之后的LPP波幅,在采取认知重评策略之后200 ms~700 ms负性情绪得到抑制,在调节过程中负责情绪加工的杏仁核、额叶、扣带回等脑区有明显激活,并且使得负性情绪在情绪相关脑区上得到抑制.如表 2~4所示,和情绪加工相关的脑区如杏仁核(AAL 41)、眶额区(AAL 15)、扣带皮层(AAL 31)等脑区在负性刺激状态下激活强度更大,而且为了减少负面情绪的影响,在加入认知重评策略后出现的激活相比于未采取策略前明显减弱.由此分析可知,认知重评的情绪调节策略确实起到了抑制情绪相关脑区激活的作用,但这种负性情绪的抑制策略只能减弱情绪反应而非彻底消除,这种现象也确实符合认知重评的意义.总之,本研究采用CCA算法为情绪调节中认知重评策略提供了时域和空域上的证据,为后续的情绪认知重评时空研究提供了一个好的研究方法;其相对准确的相关成分分离在认知心理学研究、临床诊断治疗和康复医疗方面具有广阔的应用价值;在脑机接口研究方面,为基于融合技术的脑区准确定位、ERP的精准诱发时间确定及特征提取识别研究方面提供了新颖的技术手段.
-
图 2 同步EEG-fMRI数据采集系统结构图
Fig. 2 Constructional detail of simultaneously EEG-fMRI data acquisition system
图 5 某个被试降低负性状态下EEG-fMRI特征提取结果
Fig. 5 Outcome of EEG-fMRI feature extraction in decrease-negative condition by one subject
图 6 观看中性状态下EEG-fMRI相关成分平均结果
Fig. 6 Average outcome of EEG-fMRI correlation components by look-neutral condition
图 7 观看负性状态下EEG-fMRI相关成分平均结果
Fig. 7 Average outcome of EEG-fMRI correlation components by look-neutral condition
图 8 降低负性状态下EEG-fMRI相关成分平均结果
Fig. 8 Average outcome of EEG-fMRI correlation components by decrease-negative condition
图 9 基于CCA算法的所有被试不同情绪状态的EEG相关成分叠加平均
Fig. 9 Outcome of averaging all of subjects' EEG correlation components based on CCA algorithm by three emotion conditions
表 1 三种情绪状态下具有较大相关性EEG-fMRI相关成分
Table 1 Correlation component of EEG-fMRI which has higher correlation by three emotion conditions
相关成分 相关系数 观看中性 观看负性 降低负性 成分1 0.944 0.966 0.913 成分2 0.888 0.947 0.801 成分3 0.841 0.877 0.731 成分4 0.741 0.816 0.716 成分5 0.681 0.765 0.606 成分6 N/A 0.660 0.537 成分7 N/A 0.584 N/A 
下载: 导出CSV
表 3 观看负性状态下fMRI相关成分叠加平均激活区域
Table 3 Average ROIs of fMRI correlation components by decrease-negative
观看中性状态fMRI激活区域 ROIs(编号) AAL标签 Z score 颞下回(90) Temporal Inf R 3.980 额中回(8) Frontal Mid R 3.767 眶部额下回(15) Frontal Mid Orb R 2.264 前扣带和旁扣带回(31) Frontal Sup R 1.970 颞极: 颞中回(88) Temporal Pole Mid R 1.674 杏仁核(41) Frontal Mid L 1.492 背外侧额上回(3) Frontal Sup L 1.100 颞下回(89) Temporal Inf L 0.675 颞中回(86) Temporal Mid R 0.297 三角部额下回(13) Frontal Inf Tri L 0.037 眶内额上回(26) Frontal Mid Orb R 0.004 颞极: 颞中回(87) Temporal Pole Mid L -0.12 背外侧额上回(4) Cingulum Ant L -0.284 内侧额上回(24) Frontal Sup Medial R -0.287
下载: 导出CSV
表 4 降低负性状态下fMRI相关成分叠加平均激活区域
Table 4 Average ROIs of fMRI correlation components by decrease-negative condition
观看中性状态fMRI激活区域 ROIs(编号) AAL标签 Z score 丘脑(77) Thalamus L 1.260 前扣带和旁扣带脑回(31) Cingulum Ant L 0.824 杏仁核(41) Amygdala L 0.512 眶部额下回(15) Frontal Inf Orb L 0.207 内侧和旁扣带脑回(34) Cingulum Mid R -0.066 岛盖部额下回(11) Frontal Inf Oper L -0.116 内侧和旁扣带脑回(33) Cingulum Mid L -0.327 海马旁回(39) ParaHippocampal L -0.417 颞中回(85) Temporal Mid L -0.476 中央前回(1) Precentral L -0.483 海马旁回(40) ParaHippocampal R -0.487 内侧额上回(23) Frontal Sup Medial L -0.498 后扣带回(35) Cingulum Post L -0.529 前扣带和旁扣带脑回(32) Cingulum Ant R -0.533 眶部额上回(5) Frontal Sup Orb L -0.587 距状裂周围皮层(43) Calcarine L -0.59 内侧额上回(24) Frontal Sup Medial R -0.594 楔前叶(68) Precuneus R -0.664 颞下回(89) Temporal Inf L -0.683 颞极: 颞上回(83) Temporal Pole Sup L -0.694 梭状回(55) Fusiform L -0.709 颞极: 颞中回(88) Temporal Pole Mid R -0.869
下载: 导出CSV
表 2 观看中性状态下fMRI相关成分叠加平均激活区域
Table 2 Average ROIs of fMRI correlation components by look-neutral condition
观看中性状态fMRI激活区域 ROIs(编号) AAL标签 Z score 尾状核(71) Caudate L 0.078 嗅皮质(22) Olfactory R -0.027 脑岛(29) Insula L -0.044 豆状壳核(74) Putamen R -0.076 海马旁回(39) ParaHippocampal L -0.111 顶上回(59) Parietal Sup L -0.13 尾状核(72) Caudate R -0.171 枕中回(52) Occipital Mid R -0.333 眶部额上回(6) Frontal Sup Orb R -0.347 丘脑(77) Thalamus L -0.356 杏仁核(41) Amygdala L -0.414 海马(38) Hippocampus R -0.46 颞中回(86) Temporal Mid R -0.471 海马旁回(40) ParaHippocampal R -0.474 海马(37) Hippocampus L -0.536 三角部额下回(13) Frontal Inf Tri L -0.561 眶部额下回(15) Frontal Inf Orb L -0.578 岛盖部额下回(11) Frontal Inf Oper L -0.592 颞极: 颞上回(83) Temporal Pole Sup L -0.609 额中回(7) Frontal Mid L -0.619 顶上回(60) Parietal Inf R -0.677 豆状壳核(73) Putamen L -0.785 前扣带和旁扣带脑回(31) Rectus R -0.789 内侧额上回(23) Frontal Sup Medial L -0.968
下载: 导出CSV
-
[1] Logothetis N K. What we can do and what we cannot do with fMRI. Nature, 2007, 453(9197): 869-878 [2] Zou L, Zhang Y, Qian N, Zhou R L. Emotion cognitive reappraisal research based on simultaneous recording of EEG and BOLD responses. In: Proceedings of the 10th International Symposium on Neural Networks. Dalian, China: Springer, 2013. 52-59 [3] Maloney T C, Tenney J R, Szaflarski J P, Vannest J. Simultaneous electroencephalography and functional magnetic resonance imaging and the identification of epileptic networks in children. Journal of Pediatric Epilepsy, 2015, 4(4): 174-183 [4] 王行愚, 金晶, 张宇, 王蓓. 脑控: 基于脑-机接口的人机融合控制. 自动化学报, 2013, 39(3): 208-221Wang Xing-Yu, Jin Jing, Zhang Yu, Wang Bei. Brain control: human-computer integration control based on brain-computer interface. Acta Automatica Sinica, 2013, 39(3): 208-221 [5] Vulliemoz S, Rodionov R, Carmichael D W, Thornton R, Guye M, Lhatoo S D, Michel C M, Duncan J S, Lemieux L. Continuous EEG source imaging enhances analysis of EEG-fMRI in focal epilepsy. NeuroImage, 2010, 49(4): 3219-3229 [6] Henson R N, Flandin G, Friston J K, Mattout J. A parametric empirical Bayesian framework for fMRI-constrained MEG/EEG source reconstruction. Human Brain Mapping, 2010, 31(10): 1512-1531 [7] Bridwell A D, Wu L, Eichele T, Calhoun V D. The spatiospectral characterization of brain networks: fusing concurrent EEG spectra and fMRI maps. NeuroImage, 2013, 69: 101-111 [8] Lei X, Qiu C, Xu P, Yao D Z. A parallel framework for simultaneous EEG/fMRI analysis: methodology and simulation. NeuroImage, 2010, 52(3): 1123-1134 [9] Correa N M, Eichele T, Adali T, Li Y-O, Calhoun V D. Multi-set canonical correlation analysis for the fusion of concurrent single trial ERP and functional MRI. NeuroImage, 2010, 50(4): 1438-1445 [10] Wessing I, Rehbein M A, Romer G, Achtergarde S, Dobel C, Zwitserlood P, Fürniss T, Junghöfer M. Cognitive emotion regulation in children: reappraisal of emotional faces modulates neural source activity in a frontoparietal network. Developmental Cognitive Neuroscience, 2015, 13: 1-10 [11] Yuan L, Zhou R L, Hu S Q. Cognitive reappraisal of facial expressions: electrophysiological evidence of social anxiety. Neuroscience Letters, 2014, 577: 45-50 [12] Schindler S, Wegrzyn M, Steppacher I, Kissler J. Perceived communicative context and emotional content amplify visual word processing in the fusiform gyrus. The Journal of Neuroscience, 2015, 35(15): 6010-6019 [13] Mardaga S, Lakimova G. Neurocognitive processing of emotion facial expressions in individuals with self-reported depressive symptoms: the role of personality and anxiety. Neurophysiologie Clinique, 2014, 44(5): 447-455 [14] Sarkheil P, Zilverstand A, Kilian-Hütten N, Schneider F, Goebel R, Mathiak K. fMRI feedback enhances emotion regulation as evidenced by a reduced amygdala response. Behavioural Brain Research, 2015, 281: 326-332 [15] Delorme A, Makeig S. EEGLAB: an open source toolbox for analysis of single-trial EEG dynamics including independent component analysis. Journal of Neuroscience Methods, 2004, 134(1): 9-21 [16] Navarro X, Porée F, Beuchée A, Carrault G. Denoising preterm EEG by signal decomposition and adaptive filtering: a comparative study. Medical Engineering and Physics, 2015, 37(3): 315-320 [17] Scheeringa R, Petersson K M, Oostenveld R, Norris D G, Hagoort P, Bastiaansen M C M. Trial-by-trial coupling between EEG and BOLD identifies networks related to alpha and theta EEG power increases during working memory maintenance. NeuroImage, 2009, 44(3): 1224-1238 [18] Paul S, Simon D, Kniesche R, Kathmann N, Endrass T. Timing effects of antecedent- and response-focused emotion regulation strategies. Biological Psychology, 2013, 94(1): 136-142 [19] Liu Y L, Huang H Q, McGinnis-Deweese M, Keil A, Ding M Z. Neural substrate of the late positive potential in emotional processing. The Journal of Neuroscience, 2012, 32(42): 14563-14572 期刊类型引用(9)
1. 喻国明，武迪. “向心趋势”与“离心趋势”：认知神经传播学的双路演进——2024年认知神经传播学研究综述. 教育传媒研究. 2025(01): 5-11 . 
百度学术2. 韩毅初，吴曼绮，陈九思，高欣然. 贫困大学生歧视知觉与情绪适应的关系：拒绝敏感性与认知重评的链式中介作用. 湖州师范学院学报. 2024(07): 48-55 . 百度学术3. 黄海，李文杰，邹凌. 薛定谔滤波结合阈值算法在核磁脑电梯度伪迹去噪的应用. 电子测量技术. 2023(13): 155-162 . 百度学术4. 刘文正，张昊，杨柳，古悦. 基于脑电图与功能近红外成像的工作记忆神经血管耦合分析. 生物医学工程学杂志. 2022(02): 228-236+247 . 百度学术5. 张蔚，姜忠义，李文杰，邹凌. 基于偶极子特征优化的情绪重评同步EEG-fMRI源定位研究. 中国生物医学工程学报. 2021(03): 280-290 . 百度学术6. 刘茵，姜忠义，邹凌，毕卉，张蔚. PEB模型在同步核磁-脑电源定位中的应用. 现代电子技术. 2020(06): 156-159 . 百度学术7. 邹凌，吴帆，毕卉，田博帆，宋志伟，王苏弘. 基于皮尔逊最优电极选择的ADHD患者脑电特征提取及分类研究. 图学学报. 2020(03): 417-423 . 百度学术8. 王凯，严瀚莹，邹凌. 基于实时约束独立成分分析方法的核磁脑电信号去噪研究. 生物医学工程学杂志. 2019(01): 7-15+23 . 百度学术9. 孙小棋，李昕，蔡二娟，康健楠. 改进模糊熵算法及其在孤独症儿童脑电分析中的应用. 自动化学报. 2018(09): 1672-1678 . 本站查看其他类型引用(5)
-
下载:
计量
- 文章访问数: 3328
- HTML全文浏览量: 1227
- PDF下载量: 853
- 被引次数: 14
