-
摘要:
情感计算是现代人机交互中的一个重要研究方向, 旨在研究与开发能够识别、解释、处理和模拟人类情感的理论、方法与系统. 脑电、心电、皮肤电等生理信号是情感计算中重要的输入信号. 本文总结了近年来基于脑电等生理信号的情感计算研究所取得的进展. 首先介绍情感计算的相关基础理论, 不同生理信号与情感变化之间的联系, 以及基于生理信号的情感计算工作流程和相关公开数据集. 接下来介绍生理信号的特征工程和情感计算中的机器学习算法, 重点介绍适合处理个体差异的迁移学习、降低数据标注量的主动学习和融合特征工程与学习器的深度学习算法. 最后, 指出基于生理信号的情感计算研究中面临的一些挑战.
Abstract:Affective computing is an important research area in modern human-machine interaction. It aims to develop systems that can recognize, interpret, analyze and emulate human emotions. Physiological signals, e.g., electroencephalogram, electrocardiogram, galvanic skin response, etc., are important inputs in affective computing. This paper summarizes recent progresses on physiological signals based affective computing, particularly, electroencephalogram based affective computing. It first introduces the basic theories of affective computing, the relationship between the changes of physiological signals and affects, the flowchart of physiological signals based affective computing, and common public datasets. Next, it introduces typical feature engineering and machine learning algorithms, particularly transfer learning, active learning and deep learning. Finally, it points out some challenges and future research directions in physiological signals based affective computing.
-
情感(Affect)遍布于人们的日常生活中. 根据《心理学大辞典》[1]的定义, 情感是人类对客观事物和自己需求相比较之后产生的态度和体验. 情感能反映一个人当下的生理心理状态, 也对人们的认知、沟通和决策等产生重要影响[2]. 情感的变化通常是在外界环境的刺激之下产生的, 会伴有个体表征和心理反应的变化, 因此可以通过科学的方法来进行测量和模拟.
情感计算(Affective computing)[3]是一个跨学科研究领域, 涉及计算机科学、心理学和认知科学等多个学科, 旨在研究和开发能够识别、解释、处理和模拟人类情感的理论、方法和系统. 其研究发展简史如图1所示. 1986年, 人工智能奠基人之一、图灵奖获得者、麻省理工学院Minsky教授在其著作The Society of Mind[4]中最早提出了让计算机能够识别情感的概念. 1997年, 麻省理工学院Picard教授发表了关于情感计算的首部专著Affective Computing[5], 情感计算正式成为现代计算机学科的一个分支. 2010年, IEEE计算机学会、计算智能学会和系统、人和控制论学会共同创办了第一个情感计算领域的学术期刊IEEE Transactions on Affective Computing.
情感计算的常见输入信号包括视频(面部表情、肢体动作等)、音频、文本、生理信号等. 与面部表情等不同, 脑电等生理信号不易伪装, 更能反应个体的真实情绪状态, 因而基于生理信号的情绪识别在诸如临床诊断、治疗等方面有着重要作用[6]. 又如在交通运输领域, 驾驶员的愤怒、焦虑等负面情绪会严重影响专注度, 可能导致交通事故. 利用可穿戴设备对驾驶员的情绪状态进行实时监测, 能够有效减少交通事故. 随着5G技术、物联网、人机交互、机器学习尤其是深度学习等技术的不断发展, 基于脑电等生理信号的情感计算在医疗保健、媒体娱乐、信息检索、教育以及智能可穿戴设备等领域都有着广阔的应用前景.
本文对基于生理信号的情感计算进行综述与展望. 文章组织结构如下: 第1节介绍情感计算的相关基础理论; 第2节介绍情感计算中常用的生理信号类型; 第3节介绍基于生理信号的情感计算流程; 第4节介绍基于脑电等生理信号的情感计算常用公开数据集; 第5节总结情感计算中生理信号的特征处理方法; 第6节详细介绍基于生理信号的情感计算中的机器学习算法; 第7节指出基于脑电等生理信号的情绪识别研究面临的一些挑战; 最后, 第8节对全文进行总结.
1. 情感计算基础理论
1.1 情感计算的定义
1997年, 麻省理工学院Picard教授在其专著Affective Computing[5]中明确定义了情感计算的概念: 情感计算是指因为情感引发的、和情感相关的、或者能够影响和决定情感变化的因素的计算.
根据各个领域近年来所取得的研究成果, 科学家们总结出, 情感是人类在适应社会环境的过程中所逐渐形成的一种机制. 由于个体生活环境的差异, 导致不同个体面临相同的环境刺激时, 既可能会产生相同或相似的情感变化, 也可能产生截然不同的情感变化. 这种心理机制能够起到趋利避害的作用. 计算机虽然具备强大的逻辑计算能力, 但是由于缺少与人类相似的心理机制, 使人类在与计算机进行人机交互时往往不能进行更深入的交流. 情感理论是解决这一问题的有效方法. 所以一个实现计算机智能化的有效手段就是将逻辑计算与情感计算相结合, 这也是目前众多研究者重点关注的一个研究课题.
1.2 情绪唤醒的经典理论
根据心理学家的研究, 对人类情绪产生关键影响的因素主要包括环境变化、个体需求和认知[7]. 其中环境变化是情绪产生的先决条件, 同时个体需求以及认知也会对人类的情绪产生不同程度的影响.
对于情绪具体是如何产生以及变化的, 目前在心理学上并没有统一的理论. 现有的主要理论包括: 刺激和响应理论、生理反应和表现理论、主观认知和评价理论等. 其中刺激和响应理论的应用相对更为广泛. 该理论认为, 情绪的唤醒和产生的关键因素是主体对客观事物和环境的评价水平.
刺激和响应理论的一个代表性的研究工作是1990年Ortony、Clore和Collins[8]提出的OCC (OCC为三位作者名字首字母缩写)理论. OCC情感理论根据诱发情绪的条件将情绪划分为三类, 分别是: 由事件诱发的情绪、由个体行为诱发的情绪、和对对象的看法诱发的情绪. 基于该标准, OCC情感理论具体列出了22类情绪的层次结构. 在该模型中, 恐惧、愤怒、高兴和悲伤是最经常出现的4种情绪. OCC理论较早地以计算机实现为目的进行情感理论建模, 在诸多人机交互技术中得到了较为广泛的应用.
1.3 情绪模型分类
由于情绪本身具有非常高的复杂性和抽象性, 导致诸多研究者在做情感计算相关工作时并不能达成统一的情绪分类标准. 目前, 研究者们通常将情绪模型分为离散型模型和连续型模型两种.
离散型情绪模型可以从范畴观的角度进行理解. 中国古代文献 《礼记》 将情绪分为喜、怒、哀、乐、爱、恶、欲等7种类别. 文献 《白虎通》 则将情绪划分为喜、怒、哀、乐、爱、恶等6种类别. 中国著名心理学家林传鼎[9]将 《说文》 中354个表示情绪状态的字划分为安静、愤怒、喜悦等18种情绪状态. 1971年, 美国心理学家Ekman等[10]通过分析人类的面部表情, 将人类的情绪划分为生气、讨厌、害怕、高兴、悲伤和惊讶等6种基本情绪类别. 1993年, 美国应激理论的现代代表人物之一Lazarus[11]将情绪划分为生气、焦虑、幸福等15种类别, 并且每一种情绪状态都有一个相应的核心相关主题. 2003年, 心理学家Plutchik[12]将情绪划分为8种基本类别: 生气、害怕、悲伤、讨厌、期待、惊讶、赞成、高兴. 这些离散型情绪划分方法相对比较简单和容易理解, 在许多情绪识别研究中得到了广泛应用.
连续型情绪模型可以从维度观的角度进行理解. 情绪的维度空间模型又可以分为二维、三维等不同类型. 情绪二维表示模型最早由心理学家Russell[13]在1980年提出, 如图2 (a) 所示. 该模型的横轴和纵轴分别表示愉悦度(Valence)和唤醒度(Arousal). 愉悦度表示情绪的愉悦程度, 唤醒度表示情绪的强烈程度. 模型的四个极点表示四种不同的离散情绪类别: 高兴(高愉悦/高唤醒)、轻松(高愉悦/低唤醒)、厌烦(低愉悦/低唤醒)、惊恐(低愉悦/高唤醒). 在文献中, 该二维表示模型经常被称为VA (Valence-arousal)模型.
由于情绪的二维空间表示无法有效区分某些基本情绪, 如害怕和愤怒, Mehrabian[14]提出了情绪的三维空间表示, 在愉悦度和唤醒度的基础上又增加了支配度(Dominance), 如图2 (b) 所示: 愤怒的支配度高, 而害怕的支配度低. 在文献中, 该三维表示模型经常被称为VAD (Valence-arousal-dominance)模型.
上述VA和VAD模型是目前受到较高认同并且得到广泛使用的两种维度型情绪模型.
2. 情感计算中的生理信号
人类的情绪变化通常会伴随着生理信号的变化. 生理信号相较于面部表情或者语音信号的优点在于生理信号更能反应真实情绪状态, 而面部表情和语音信号对情绪的表征不够细腻, 且易于伪装. 因此, 生理信号是情感计算的重要输入信号.
用于情感计算的生理信号主要包括脑电、眼动、肌电、皮肤电、心电和呼吸等, 如表1所示. 由于这些生理信号的频率通常比较低, 且采集时易受到外界环境影响, 因此通常需要专门的设备进行采集, 并且在采集之后需要进一步对信号进行预处理, 以提高信号质量和情感计算效果.
表 1 情感计算中常用的生理信号Table 1 Common physiological signals in affective computing生理信号类别 英文名称 英文缩写 脑电图 Electroencephalogram EEG 肌电图 Electromyogram EMG 心电图 Electrocardiogram ECG 眼电图 Electrooculogram EOG 心率变异性 Heart rate variability HRV 皮肤电反应 Galvanic skin response GSR 皮肤电应答 Electrodermal response EDR 皮肤电活动 Electrodermal activity EDA 血压信号 Blood pressure BP 皮肤温度 Skin temperature ST 呼吸模式 Respiration pattern RSP 光电容积脉搏波 Photoplethysmogram PPG 眼动信号 Eye movement EM 脉搏信号 Pulse rate PR 血氧饱和度 Oxygen saturation SpO2 其中, 脑电图(EEG)是通过脑电帽, 在头皮处将人的大脑产生的微弱生物电信号收集、放大并记录而得到的信号[15]. 在频域中通常将脑电信号划分为5个频段, 不同频段能够反应出大脑的不同活动状态, 如表2所示.
表 2 脑电频率划分Table 2 Frequency bands of EEG脑波 频率 人体状态 $ \delta $ 0.1 ~ 3 Hz 深度睡眠且没有做梦时 $ \theta $ 4 ~ 7 Hz 成人情绪受到压力、失望或挫折时 $ \alpha $ 8 ~ 12 Hz 放松、平静、闭眼但清醒时 $ \beta $ 12.5 ~ 28 Hz 放松但精神集中、激动或焦虑 $ \gamma $ 29 ~ 50 Hz 提高意识、幸福感、放松、冥想 Zheng等[16]关注不随时间变化的稳定情感模式. 他们的研究结果表明: 稳定的模式会出现在一整个试次中; 在
$ \beta $ 和$ \gamma $ 频段, 颞叶区域对于积极情绪的激活远大于对消极情绪的激活; 正常情绪的神经模式在枕叶和顶叶区域有较为明显的$ \alpha $ 频段响应; 对于消极情绪, 其神经模式在顶叶和枕叶区域有较为明显的$ \delta $ 频段响应, 同时在额叶前部有较高的$ \gamma $ 频段响应. 此外, 在不同试次之间的结果表明, 以上不同情绪对应的模式也具有稳定性. 该研究表明情绪状态、大脑神经活动区域以及EEG信号频段之间有一定联系, 并且同一个体基于EEG的情感模式是稳定的.在基于脑电信号的情绪识别任务中, 需要对脑电信号进行预处理以提高信号的质量. 预处理一般包括降采样、滤波、去除伪迹以及特征提取等环节. 常见的脑电信号分析方法有独立成分分析(Independent component analysis, ICA)、功率谱密度分析(Power spectral density, PSD)、小波分析(Wavelet analysis, WA)等[17-18]. 更具体的脑电信号特征提取及分类器设计等工作将在后文中进行详细介绍.
除脑电信号外, 其他生理信号也被证实与个体情绪状态之间存在诸多联系. 如心率信号对于积极情绪和消极情绪的识别有很大帮助[19]. 基于心率信号可得到心率变异性(HRV)指标[20], 即逐次心跳周期的变化情况. 当受试者受到刺激时, 心率变异性会被抑制; 而当受试者处于放松状态时, 心率变异性则会回到正常状态. 又比如人类情感的变化通常会引起皮肤的生理反应. 皮肤是人体和外界接触最紧密的器官, 研究表明[1], 皮肤电反应(GSR)对于情绪识别有很大帮助. 皮肤电反应的原理是: 当机体受到外界刺激或者情绪状态发生变化时, 其神经系统的活动会引起皮肤内血管的舒张和收缩以及汗腺分泌等变化, 从而导致电阻发生改变. 当受试者受到强烈刺激、情绪波动较大时, 皮肤电变化较大; 而当受试者情绪变化较小时, 皮肤电变化也较小.
进一步地, 我们通过谷歌学术检索了2010年以来公开发表的标题中同时含有生理信号与情感计算等关键词的文章, 检索结果如表3所示. 在基于生理信号的情感计算研究工作中, 脑电信号占据主导地位, 因为情绪与人的大脑思维密切相关. 因此, 脑电信号是本综述关注的焦点. 基于心电图、心率变异性、皮肤电、肌电等生理信号的情感计算研究工作相对较少, 而基于血压、脉搏、皮肤温度、眼电、血氧等生理信号的研究工作更少.
表 3 谷歌学术中2010年以来基于生理信号的情感计算工作统计Table 3 Statistics of physiological signal based affective computing Google Scholar publications since 2010生理信号类型 对应检索关键词 文献数量 脑电图 EEG OR Electroencephalogram 913 心电图 ECG OR Electrocardiogram 70 心率变异性 HRV OR (Heart rate variability) 38 皮肤电 GSR OR EDA OR EDR OR Electrodermal 27 肌电图 EMG OR Electromyogram 25 光电容积脉搏波 PPG OR Photoplethysmogram 13 血压 Blood pressure 7 脉搏 Pulse rate 4 皮肤温度 Skin temperature 3 眼电图 EOG OR Electrooculogram 2 血氧 SpO2 OR (Oxygen saturation) OR (Blood oxygen) 2 总计 1104 注: “情感计算” 对应的检索关键词为: (emotion OR emotional OR affect OR affective) + (recognize OR recognition OR classify OR classification OR detect OR detection OR predict OR prediction OR estimate OR estimation OR model OR state OR computing). 因此, 在接下来的内容中, 我们重点关注基于脑电信号的情感计算研究工作, 并简要介绍其他外围生理信号. 此外, 融合脑电与其他外围生理信号的情感计算研究也是我们关注的一个重点.
3. 基于生理信号的情感计算任务流程
在进行情绪识别相关任务时, 既可以使用一种生理信号, 也可以将多种生理信号融合. 以脑电信号为例, 基于脑电的情绪识别主要包括以下步骤[21]:
$ 1) $ 对被试进行外界刺激, 使其产生高兴、悲伤、愤怒等情绪变化, 同时采集被试的脑电信号. 刺激方式包括图片[22]、视频[23]、音乐[24]等.$ 2) $ 对所采集的脑电信号进行预处理, 包括降采样、去除眼动信号和肌电信号等噪声, 以及带通滤波、空间滤波等.$ 3) $ 特征提取和特征选择.$ 4) $ 训练分类器以及测试.在基于EEG的情绪识别任务中, 需要考虑的因素有: 被试的数量、性别、识别的情绪类别、诱发情绪变化的方式、使用的脑电设备及相关的电极位置、EEG信号预处理方法、特征提取方法以及分类器设计等[25].
在基于多生理信号的情感计算任务中, 每种生理信号的获取及特征处理流程与步骤1)~3)相似. 进一步地, 需要将不同生理信号的特征进行选择和融合, 之后应用于具体的情感计算任务. 表4总结了部分情感计算工作中所使用的生理信号类型.
表 4 部分最近的基于生理信号的情感计算工作Table 4 Some recent studies on physiological signals based affective computing4. 情感计算常用公开数据集
近年来, 随着情感计算逐渐成为一个研究热点, 许多研究者进行了相关实验, 并发布多个基于脑电等生理信号的情感计算公开数据集, 表5总结了常用的基于EEG等生理信号的情感计算数据集. 其中, SEED (SJTU emotion eeg dataset)和DEAP (Database for emotion analysis using physiological signals)数据集是目前基于生理信号的情感计算中使用最为广泛的两个数据集.
表 5 情感计算常用公开数据集Table 5 Popular public affective computing datasets数据集 内容说明 任务模型 MAHNOB-HCI[34] 27 名被试的 EEG 及多种生理信号和图片、视频信息 VAD 模型 RECOLA[35] 46 名被试的 ECG、EOG 及音频、视频信息 VA 模型 DECAF[36] 30 名被试的 EOG、ECG、EMG 和视频信息 VA 模型 ASCERTAIN[37] 58 名被试的 EEG、ECG、GSR 和图片信息 5 种情绪类别, VA 模型 AMIGOS[38] 40 名被试的 EEG、ECG、GSR 及图片、视频信息 5 种情绪类别, VA 模型 DREAMER[39] 23 名被试的 EEG、ECG VAD 模型 RCLS[40] 14 名被试的 EEG 3 种情绪类别 MPED[41] 23 名被试的 EEG、ECG、RSP、GSR 7 种情绪类别 HR-EEG4EMO[42] 27 名被试的 EEG 高兴、悲伤两种情绪类别 SEED[21, 33] 15 名被试, 每名被试 3 次实验的 EEG 3 种情绪类别 SEED-IV[33] 15 名被试, 每名被试 3 次实验的 EEG、EM 4 种情绪类别 DEAP[43] 32 名被试的 EEG、EOG、EMG、GSR、RSP、BP、ST VAD 模型 SEED[21, 33]是由上海交通大学吕宝粮教授2015年10月公开发布的基于62导EEG信号的情感计算数据集. 目前该数据集包括三个子集: SEED、SEED-IV和SEED-VIG. SEED是最早发布的三类情绪数据集, SEED-IV是四类情绪数据集, 而SEED-VIG是一个警觉度估计数据集. 其中, SEED数据集是通过电影视频片段来诱发被试者的不同情绪, 它主要由两部分组成. 一部分是获取的被试在实验中的EEG信号, 这些EEG信号在采集后进行了降采样、滤波以及伪迹去除等操作, 以提高脑电信号的质量(值得指出的是, 从信号处理的角度, 对采样信号先进行滤波, 然后进行降采样处理更利于保留原始信号中包含的信息); 另一部分数据是对预处理后的EEG信号进行的特征提取, 包括功率谱密度(PSD)、微分熵(Differential entropy, DE)、微分熵的不对称差(Differential asymmetry, DASM)、微分熵的不对称商(Rational asymmetry, RASM)等多种特征. 同时还通过移动平均和线性动态系统(Linear dynamic system, LDS)对特征进行了平滑. 关于SEED三分类情绪识别数据集更具体的介绍可参考[21, 33].
DEAP[43]是由伦敦玛丽皇后大学Koelstra等采集并公开的用于情感计算的多模态生理数据库. 采样数据包含40个通道: 32导EEG信号, 2导肌电信号, 2导眼电信号(1导水平眼电信号, 1导垂直眼电信号), 1导皮肤电信号, 1导体温信号, 1导呼吸信号, 和1导血压信号. 该数据库中被试的情绪是通过音乐视频来诱发的. 实验中, 被试观看40段长度为1分钟的音乐视频, 并填写自我评估量表(Self-assessment manikins, SAM). 自我评估量表包含唤醒度(Arousal)、效价度(Valence)、支配度(Dominance)和喜好度(Liking)等信息. 前22名被试在观看视频时的面部表情信息也包含在数据库中. 关于DEAP数据集更详细的信息可参考文献[43].
5. 生理信号特征处理
在基于生理信号的情绪识别任务中, 生理信号特征处理和分类器设计是影响情绪识别准确率的两个关键因素. 本节重点介绍基于脑电和心率变异性的情绪识别任务中生理信号的特征处理方法, 以及不同生理信号特征融合对情绪识别效果的影响.
5.1 EEG特征提取、平滑与降维
EEG信号是多通道时间序列, 从传统信号处理的角度分析, EEG信号可以提取的特征主要包括时域特征、频域特征和时频域特征[44-45], 也可通过离散小波变换[46]等方式进行特征提取. 目前, 在情绪识别任务中, 一种更为有效且常用的特征提取方式为微分熵特征(DE). 微分熵特征由Duan等[47]于2013年提出, 其计算公式为:
$$ \begin{split} h(X)=\;& -\int_{-\infty}^{+\infty} {\frac{1}{\sqrt{2\pi\sigma^2}}}{{\rm{e}}}^{-\tfrac{(x-\mu)^2}{2\sigma^2}}\times\\ &\log_2\left(\frac{1}{\sqrt{2\pi\sigma^2}} {{\rm{e}}}^{-\tfrac{(x-\mu)^2}{2\sigma^2}}\right)\,\mathrm{d}x =\\ & \frac{1}{2}\log_2\left(2\pi{e}\sigma^2\right) \end{split} $$ 其中, 时间序列
$ X $ 服从高斯分布${\rm{N}}(\mu,\sigma^2)$ . Duan等在SEED数据集的6个用户上进行了情绪识别实验, 验证了DE特征情绪识别有效性. 此外, 由于大脑不同分区受到刺激时会产生不同程度反应, 基于DE特征, Duan等又提出了微分熵的不对称差(DASM)和微分熵的不对称商(RASM)两种特征.以上EEG信号特征提取方式主要考虑普通电信号的常规特征. 情感脑机接口中, 针对脑电信号的特征提取, 不同电极通道和受试者性别是需要额外考虑的因素. 为此, Moon等[48]在情绪识别任务中考虑了大脑连通性特征来有效捕捉非对称的大脑活动模式, 并与功率谱密度特征组合作为卷积神经网络的输入用于模型训练. 其中, 两个电极连通性的计算指标有皮尔逊相关系数(Pearson correlation coefficient, PCC)、相位锁定值(Phase locking value, PLV)和相位滞后指数(Phase lag index, PLI).
男性和女性对于外界环境的情绪感知存在很大的差异, 这会在脑电信号中有所反应. 在情绪识别问题中, Yan等[49]的研究结果表明, 在多数频段和脑区, 女性大脑的活跃程度要低于男性, 尤其是对于恐惧情绪. 与男性相比, 女性在恐惧情绪下更有多样性, 而男性则在悲伤情绪下有更大的个体差异. 在利用脑电信号分析不同性别在情绪诱发时的关键脑区研究中, Yan等[50]的实验结果表明, 对于男性和女性, 不同情绪下的神经模式侧重于不同的关键脑区, 其中女性偏右侧化而男性偏左侧化. 这两项研究结果都表明了性别因素对情绪识别效果的影响, 然而目前并没有针对性别特别设计的EEG信号特征提取方式.
由于EEG信号是非线性时间序列, Soroush等[51]提出了一种非常新颖的特征提取方式, 他们将脑电相空间重构并转换成新的状态空间, 然后利用庞加莱平面对状态空间进行数学描述, 从而对脑电动力学实现量化并进行特征提取. 需要指出的是, 这种方式所提取出的特征所表征的生理意义目前还不明确, 尚待进一步研究.
以上特征都是手工提取的. 利用神经网络进行深度特征提取的相关工作在第6.3.1节中进行介绍. 对手工提取的特征进行平滑处理能提高其质量. 同时, 对特征进行降维处理能有效减少模型训练时间.
在提取的特征序列中, 除了与情绪相关的脑电特征, 可能还会掺杂其他大脑活动产生的脑电特征, 如听觉和视觉等行为产生的特有的脑电特征. 为了只利用与情绪相关的特征序列, 需要去除这些无关成分. 情绪变化一般不会非常剧烈, 而是平缓稳定的. 在实际操作中, 得到的特征序列常常可以观察到剧烈的变化. 由此可见, 脑电特征序列里变化非常剧烈的部分往往是由情绪无关的脑电活动等引起的, 可以利用情绪变化缓慢的特性对其进行去除. 常用的脑电特征平滑算法有滑动平均平滑算法和线性动力系统平滑算法[52]. Pham等[53]对EEG特征使用Savitzky-Golay方法进行了平滑处理. Savitzky-Golay平滑器是一种基于局部最小二乘多项式逼近的数据平滑方法, 可以在保持波形峰值形状和高度的同时降低噪声.
此外, 由于脑电信号的特征维数较高, 导致模型训练需要较大的时间开销. 为了有效降低特征维数, Hu等[54]在基于EEG的注意力识别任务中使用了基于相关性的特征选择方法. Zheng等[55]在基于EEG的情绪识别任务中, 提出使用群稀疏典型相关性分析(Group sparse canonical correlation analysis, GSCCA) 进行EEG通道选择. Özerdem等[56]使用人工神经网络在情绪识别任务中进行了EEG通道选择相关研究. 值得注意的是, 在脑电信号通道选择的研究工作中, 由于不同研究者采用的研究方法不同, 并且任务场景、所使用的脑电设备等都不尽相同, 最终选择的EEG信号通道也存在差别.
5.2 外围生理信号特征处理
与EEG不同, 外围生理信号通道数很少, 因而相应的特征提取方式也较少. 需要进行特征提取的外围生理信号主要有心电、肌电、皮肤电以及光电容积脉搏波. Picard等[57]提出6种生理信号常用的传统统计特征, 包括原始信号的均值、标准差、一阶差分绝对值的均值、二阶差分绝对值的均值, 以及规范化信号的一阶和二阶差分绝对值的均值. 这6种传统的特征提取方式都可以用在心电等生理电信号上.
基于心电图(ECG)的时域和频域信息可以分别计算心率(HR)和心率变异性(HRV)[39], 这是基于心电的情绪识别任务中最为常见的两个特征. 研究表明, 人在诱发愉悦等正面情绪时, 心率的峰值可能会增加, 而心率变异性在受到恐惧或快乐等刺激时会被抑制, 情绪平静时则会恢复正常. 此外, 基于心电图中QRS波群计算的均值、标准差等统计特征对于情绪识别也有一定帮助. 进一步地, 还可以通过经验模态分解获取ECG的本征函数及对应的瞬时频率特征[58], 或者利用小波包字典和离散余弦变换提取ECG信号的MP (Matching pursuit)系数作为情感计算特征[59]. 最后, 高阶统计量(High order statistics, HOS)也被用于增强心电信号的R峰检测和拍频分类.
与心电相比, 皮肤电信号(GSR)的特征提取主要为基于时域或频域信息的统计特征[60], 如中位数、均值、标准差、最大值、最小值、一阶差分、二阶差分等经典统计参数[61], 或者高阶的偏度和峰度特征. 频域中还可以计算最大谱幅对应的频率以及一些基于高阶谱的信息[62]. 此外, GSR信号也可通过离散余弦变换提取MP系数[59]. 在具体的情绪识别任务中, 由于所提取的一些高阶特征所表征的生理意义不易理解, 可使用PCA、LDA等方法对这些统计参数进行特征选择, 以提高情绪识别效果[59].
前文提到的高阶统计量是一种有效的特征提取方式, 被广泛应用于生物信号处理等领域[63]. 与一阶和二阶统计量相比, 基于HOS的参数更适合非高斯和非线性系统. 具体地, 高阶特征中3阶的偏度(Skewness)和4阶的峰度(Kurtosis)特征尤为常用. 偏度指数据分布在其均值周围的不对称程度, 峰度指分布尾部相对于正态分布的相对冗余程度. 对于面部肌电信号(EMG), 高阶统计特征相较于传统统计特征能更有效地保留EMG中的情绪信息.
除高阶统计特征外, 对EMG进行离散小波变换也是一种常用的特征提取方式[64-65]. 基于离散小波变换的非参数特征提取是一种新颖的将肌电信号分解到不同频率范围的方法. 与快速傅里叶变换或短时傅里叶变换等传统方法相比, 离散小波变换提供了有效的时频分辨率, 被认为是解读肌电信号中的情绪状态信息的有效手段. 具体地, 利用离散小波变换对肌电信号进行分解, 得到不同频率范围内的小波系数, 根据小波系数计算出原始信号的功率等统计特征用于情绪识别任务.
光电容积脉搏波(PPG)描记技术是红外无损检测技术在生物医学中的应用, 主要用于人体运动心率检测. 其原理为: 通过光电传感器, 检测经过人体血液和组织吸收后的反射光强度的不同, 描记出血管容积在心动周期内的变化, 从得到的脉搏波形中计算出心率. 在基于生理信号的情感计算中, PPG信号除了可以计算出心率用于模型的输入, 其在时域、频域中的均值、标准差等经典统计参数也可以作为模型输入[61]. 此外, 庞加莱截面可以量化高维相空间中轨迹的几何模式, 将PPG信号的二维相空间进行重构, 然后形成不同的庞加莱截面, 进而可以提取几何指标作为PPG信号特征[66]. 为了提高情绪识别模型鲁棒性, 也可使用粒子滤波器去除PPG信号中的噪声[67].
在情感计算中, 眼电图(EOG)是一种较少使用的生理电信号. EOG信号的均值、标准差、信号能量以及提取出的眨眼频率等信息对于情绪识别有一定帮助[68].
外围生理信号中, 除以上提到的心电、肌电、皮肤电、光电容积脉搏波和眼电等生理电信号, 心率、心率变异性、脉搏、脉搏变异性(Pulse rate variability, PRV)、皮肤温度、血氧饱和度、呼吸模式、血压[69]等有明确生理意义的信号也经常作为情绪识别模型输入. 其中心率变异性可以通过心电或脉搏进行计算得到, 其与情绪状态之间的联系得到了较多研究[70-72]. HRV和PRV的时域或频域统计参数对于情绪识别也有一定帮助[73]. 庞加莱散点图是二维相空间上的时间序列表示. 时间序列的动力学通过庞加莱散点图更容易理解, 因而也可利用庞加莱散点图对HRV和PRV序列进行分析[74].
总结来说, 外围生理信号的特征提取主要分为3类. 一是具有明确生理意义的信号, 主要包括心率、心率变异性、脉搏、脉搏变异性、皮肤温度、血氧饱和度、呼吸模式和血压等. 二是基于心电、肌电、皮肤电、眼电和PPG等生理电信号在时域或频域中所提取的均值、标准差、一阶差分、二阶差分等传统统计特征. 三是基于心电等生理电信号提取的偏度、峰度等高阶统计特征, 或利用庞加莱映射、离散小波变换等提取的特征.
5.3 生理信号特征融合
在情绪识别任务中, 将脑电、心电等多种生理信号的特征组合在一起作为模型的输入, 有助于提升情绪识别效果.
Zheng等[75]融合脑电特征与眼动信号特征进行情绪识别. Guo等[76]进一步融合了眼睛的图像信息, 并对比了这3种模态信号在不同组合下的情绪识别效果. Becker等[42]对比了脑电、皮肤电、心电、呼吸、血氧、脉搏等不同生理信号组合的情绪识别准确率. 实验结果显示, 不同生理信号特征对于情绪识别具有一定的互补性[77], 如在三分类情绪识别任务中, 脑电信号更容易区分正面和负面情绪, 而眼动信号相对于脑电信号能更好地区分中性和负面情绪. Wu等[78]使用联合稀疏表示(Joint sparse representation, JSR) 将特征融合问题转化为优化问题, 将不同特征的稀疏矩阵结合在一起, 最终得到所有特征的联合稀疏表示. 此外, 很多研究者也使用深度学习进行多模态生理信号的情感计算, 相关研究工作将在第6.3.2节中介绍.
除了将脑电信号与其他生理信号进行特征融合, Thammasan等[79]在音乐诱发的情绪识别任务中, 将EEG特征与音乐特征进行融合, 这是一项非常新颖的工作, 该工作证明了音乐模态特征能有效缓解EEG的不稳定性.
上述工作都将EEG特征与其他信号特征融合进行情绪识别, 且都指出脑电信号与其他生理信号之间存在互补性. 融合多生理信号的情绪识别是目前和未来的一个重要研究方向.
6. 情感计算中的机器学习
情感计算中另一个核心问题是情感模型的设计. 其中所涉及到的机器学习算法也是本文重点研究与总结的工作.
Doma等[80]在DEAP数据集上对比了PCA、朴素贝叶斯、逻辑回归、kNN、支持向量机、决策树等传统机器学习方法的性能, 其中PCA和SVM的表现相对更好. 但是, 这里的结果与数据集和实验设置相关, 并不一定能推广到其他问题中.
基于脑电等生理信号的情绪识别算法研究主要包括迁移学习、主动学习、深度学习等.
6.1 迁移学习
迁移学习[81]主要用于处理测试数据与训练数据不服从独立同分布的场景, 非常适合处理情感计算中的个体差异问题. 具体地, 情感计算中的迁移学习使用源域(来自其他用户的数据或知识)来帮助目标域(新用户)进行学习. Wu等[82]综述了2016年以来迁移学习在脑机接口中的应用, 包括基于脑电的情感脑机接口系统.
传统的迁移学习方法有迁移成分分析(Transfer component analysis, TCA)[83]、直推式参数迁移(Transductive parameter transfer, TPT)[84]、TrAdaBoost[85]、风格迁移映射(Style transfer mapping, STM)[86-87]等方法. Zheng等[88]对比了TCA、KPCA (Kernel principal component analysis)[89]、TPT等三种迁移学习方法在SEED数据集上的表现, 发现TPT效果最优. TPT首先在多个源域用户上分别训练SVM分类器, 再学习每个源域用户的分类器参数与数据分布之间的回归函数, 最后以目标域用户的数据分布为输入, 通过回归函数得到适用于目标域用户的分类器.
Zhang等[85]在情绪识别任务中, 提出一种基于个体相似度的迁移学习框架. 具体是通过使用最大均值差异(Maximum mean discrepancy, MMD)[90]对个体差异性进行度量, 然后使用TrAdaBoost训练模型. MMD的计算公式为:
$$ MMD^2(X,Y) = \bigg|\bigg|\sum\limits_{i = 1}^{n_s} \phi(x_i) - \sum\limits_{j = 1}^{n_t} \phi(y_j)\bigg|\bigg|^2_H $$ 其中,
$ X $ 和$ Y $ 分别表示源域和目标域的分布,$ n_s $ 和$ n_t $ 表示源域和目标域的样本数,$ \phi $ 表示映射函数.Li等[91]将风格迁移映射应用到基于脑电信号的多源域跨用户情感识别. 迁移风格映射是将目标域的数据映射到源域特征空间中, 从而使在源域训练的分类器在目标域中也能取得较好的测试效果.
上述研究结果表明, 在不同情绪识别场景中, 选择合适的迁移学习方法对于情绪识别准确率的提升有一定帮助. 与以上在同一数据集内部进行跨用户迁移不同, Lan等[92]首次进行了跨数据集迁移的情绪识别研究, 但是其准确率还有很大的提升空间. 郑伟龙等[93]提出一种新的从眼睛的扫视轨迹进行知识迁移的异质迁移学习方法. 他们引入了基于扫视轨迹和基于脑电信号的核矩阵, 并提出了改进的直推式参数迁移学习算法, 以实现跨被试脑电情感模型的构建. 该方法与传统方法相比, 具有两个优点: 一是利用了目标被试容易获取的眼动追踪数据进行被试迁移, 二是在目标被试只有眼动追踪数据的情况下, 仍然能够从其他被试的历史数据中学到脑电信号的情绪类别判别信息.
6.2 主动学习
在机器学习任务中, 往往需要大量有标签训练数据以获得更好性能. 但是, 在许多实际应用场景中, 获取未标注的数据相对容易, 标注过程却很困难, 通常需要投入大量时间和人力资源. 数据标注难问题在情感计算中尤其突出. 例如, 在语音信号的情感估计问题中, 可以很容易地记录大量语音, 但是要对语音进行三个维度的评估[94] (愉悦度、唤醒度和优势度), 评估者须反复倾听, 仔细检查. 此外, 由于情感估计具有主观性, 且部分数据可能只存在细微差异, 通常需要多个评估者. 例如, VAM语料库[95]用到6~17个评估者, IADS-2[96]用到超过110个评估者.
除了第6.1节介绍的迁移学习方法外, 主动学习[97]也可用来大幅降低情感计算中的标注数据量[98-104]. 主动学习从大量无标注数据中选择少量最有用的数据来标注(并非所有训练数据都是平等的), 从而可以用最少的标注数据训练出更好的模型.
Wu和Parsons[98]使用主动类别选择(Active class selection)进行基于多种生理信号的唤醒度(Arousal)分类, 取得比传统标注更好的效果: 使用同等数量的标注数据, 通过主动类别选择选出的样本能够取得比随机标注样本更高的分类准确度. 主动类别选择的基本思想是在多分类问题中优化每个类别应标注的样本量, 而不是各个类别标注同样数量的样本.
Wu等[103]也进行了基于脑电信号的驾驶员疲劳状态估计. 通过主动学习选出在输入域和输出域上多样性都高的脑电样本进行标注, 能取得比随机选择样本标注更低的估计误差.
值得一提的是, 主动学习和迁移学习也可以相互结合, 取得比单独使用主动学习或迁移学习更好的效果. Wu等[99]提出一种融合迁移学习和主动类别选择的方法, 在基于多种生理信号的唤醒度分类问题中取得比单独使用迁移学习和主动类别选择更高的准确度.
6.3 深度学习
随着深度学习的快速发展, 其在情感脑机接口中也得到了越来越多的应用[21, 105-108]. 基于深度学习的情感脑机接口主要有以下三个研究热点: 一是利用深度学习技术挖掘脑电信号中的深层情感特征; 二是利用神经网络将脑电信号与其他生理信号进行深度融合; 三是利用深度迁移学习技术提升基于脑电信号的情绪识别准确率.
6.3.1 深度特征提取
众多研究表明, 脑电信号及其他外围生理信号的变化与人的情绪变化之间存在诸多联系[16, 21, 47]. 深度学习能有效学习样本的深层特征表示, 对挖掘生理信号中所蕴涵的情感状态信息有很大帮助. 表6总结和对比了不同神经网络模型在情绪识别任务中的表现.
表 6 不同深度特征提取方式及效果Table 6 Different deep learning methods of feature extract and their effects作者及参考文献 神经网络模型 数据集 准确率 Yin等[109] 堆叠式自编码器 DEAP 83.0 % (Valence/2)、84.1 % (Arousal/2) Fourati等[110] 回声状态网络 DEAP 71.0 % (Valence/2)、68.3 % (Arousal/2) Ren等[111] 融合大脑不对称特性的回声状态网络 DEAP 78.2 % (Average/4) Liu等[112] 多层次特征引导胶囊网络 DEAP 98.0 % (Valence/2)、98.3 % (Arousal/2)、98.3 % (Dominance/2) Wu等[113] 关键子网络选择 SEED 81.5 % (Average/3) Yang等[114] 具有子网节点的分层网络模型 SEED 85.7 % (Average/3) Wang等[115] 双向长短期记忆网络 SEED 95.0 % (Average/3) Zhang等[116] 变分路径推理 SEED 94.3 % (Average/3) Cimtay等[117] 卷积神经网络 SEED 73.7 % (Average/3)、82.9 % (Average/2) 注: (Valence/2)表示Valence维度2分类准确率, (Average/4)表示情绪4分类准确率. 在基于脑电等生理信号的情绪识别中, 表6中提到的不同深度特征表示方式相较于传统的手工特征提取具有更好效果, 但其所学习到的特征也更难被理解. 另外, 基于生理信号的情感计算是当前较新的研究领域, 情绪识别的场景设置尚无统一标准, 因而从有限实验结果中很难总结出哪种深度学习方法效果更好. 比如, Yang等[114]和Wang等[115]都在SEED数据集上进行了相关实验, 但由于实验场景设置不同, 不能轻易认为双向长短期记忆神经网络比具有子网节点的分层网络模型更适合基于脑电的情绪识别.
6.3.2 多模生理信号融合
基于脑电等生理信号的情绪识的另一个研究焦点是如何融合多种模态生理信号. 不同模态的生理信号包含了人类情感的不同信息表示, 有效融合不同模态的信息能够有效提高情感计算系统性能.
为了学习EEG信号与其他生理信号之间的相关性, Ma等[118]提出了一种多模态残差LSTM网络模型(Multimodal residual LSTM network, MM-ResLSTM), 该模型既包含残差网络提供的空间快捷方式路径, 也包含LSTM网络提供的时间快捷方式路径, 进而能够高效地学习到与情感相关的深层特征表示.
Zheng等[33]提出了一种基于6个对称颞叶EEG电极(FT7、T7、TP7、FT8、T8、TP8)和眼动信号进行情感识别的多模态框架. 先将EEG信号与眼动信号的初级特征进行初步融合, 进一步使用双峰深度自编码器(Bimodal deep auto-encoder, BDAE)来提取EEG信号和眼动信号的深层特征表示. Liu等[119]使用深度典型相关性分析(Deep canonical correlation analysis, DCCA)融合脑电与眼动信号.
Rayatdoost等[120]设计了一种跨模态编码器来联合学习从EEG、EMG和EOG等信号中提取的特征. 该跨模态编码器是一种表情导向的编码网络, 先将EEG信号不同频段的PSD特征转换成频谱地形图, 然后通过卷积网络提取新的特征, 学习对情绪状态的非线性表征. 该表征以EMG和EOG特征中提取的面部表情特征为引导, 可以针对特定的情绪识别任务进行优化.
除以上提到的关于多模态生理信号融合的研究, 在多模态场景下, 还存在模态信息缺失、标签信息不完整等情况. Du等[121]针对该问题, 提出了一种多视图深度生成模型, 可以学习到多模态的联合深度表示, 同时能够对每个模态的重要性进行评估. 进一步地, 将多视图模型扩展为半监督学习框架, 以解决数据标签缺失问题. 针对模态数据缺失问题, 则是将缺失的视图视为一个隐变量, 然后在推理过程中进行集成.
6.3.3 深度迁移学习
与传统的非深度迁移学习相比, 深度迁移学习在许多任务场景中能显著提升迁移学习效果, 其在情绪识别中也有许多相关研究.
受传统迁移学习方法TCA的启发, Long等[122]提出了深度网络自适应(Deep adaptation network, DAN)方法, 在神经网络的深层使用多核MMD (Multi kernel MMD, MK-MMD)[123]对源域和目标域进行适配, 以缓解域间差异. Li等[124]将DAN框架应用到情绪识别任务中, 取得了比传统迁移学习方法更高的准确率. 与迁移学习中的联合概率适配方法(Joint distribution adaptation, JDA)[125]相似, Li等[126]在使用神经网络进行情感计算建模时, 在网络的浅层使用对抗训练来适配边缘分布, 深层使用协同强化的方式适配条件分布, 从而实现源域和目标域的联合分布自适应.
近年来, 随着ADDA[127]等基于对抗机制的迁移学习方法的提出, 深度对抗网络迁移逐渐成为深度迁移学习方法中的主流. 在基于脑电的跨被试情绪识别任务中, Luo等[128]提出了一种基于Wasserstein生成对抗网络[129] (Wasserstein generative adversarial network, WGAN)的域适应方法(WGANDA), 包括源域和目标域生成器、判别器和分类器四个部分以及预训练和对抗训练两个步骤. 在预训练阶段, WGANDA首先通过两个域生成器将源域和目标域映射到一个高维公共空间. 在对抗训练阶段, WGANDA使用对抗的方式减小两个映射的距离. WGANDA能够很好地解决跨被试情绪识别模型中存在的域偏移问题.
Ma等[130]在域对抗网络(Domain-adversarial neural network, DANN)[131]的基础上提出了域残差网络(Domain residual network, DResNet). 其基本思想是, 给定
$ k $ 个域的训练数据, 模型的特征提取器包含一套共享权值的标签信息参数和$ k $ 套分配给各个域的域偏差参数. 该结构类似残差网络, 优点是其为一个域泛化框架, 在情感模型训练阶段不需要目标域被试的任何信息.由于大脑的左右半球之间具有不对称性, Li等[132]将其与对抗机制结合, 提出了双半球域对抗神经网络模型(Bi-hemispheres domain adversarial neural network, BiDANN). 该网络将大脑左右半球的EEG信号分别映射到易于区分的特征空间中, 从而使数据的特征表示更容易分类, 并在预测过程中使用一个全局和两个局部域判别器, 以缩小测试数据和训练数据之间的分布差异.
以上深度迁移学习方法在情绪识别中都取得了较好的效果. 值得注意的是, 在基于脑电或其他生理信号的情绪识别任务中, 众多深度学习方法都是基于卷积神经网络进行的. 只有少部分工作[133-134]研究了LSTM在情绪识别任务中的应用. 由于脑电等生理信号为时间序列, 而LSTM等循环神经网络比卷积神经网络更适合处理时序信息, 其在基于生理信号的情感计算中的应用值得进一步研究.
此外, 图网络是近年来的研究热点, 也有研究者将其引入到情绪识别中, 用以缓解个体之间的差异性. Zhao等[135-136]使用高阶相关模型的超图结构来构建生理信号与人格之间的关系. 考虑到在超图中不同顶点、超边和模式的重要性不同, 进一步提出顶点加权多模式多任务超图学习(Vertex-weighted multi-modal multi-task hypergraph learning, VM2HL)来构建个性化的情绪识别模型. Song等[137-138]提出了样本自适应图(Instance adaptive graph, IAG)和动态图卷积神经网络(Dynamical graph convolutional neural networks, DGCNN)模型用于缓解个体差异性, 通过图结构来表示不同区域脑电之间的动态关系. 此外, Song等还提出了一种稀疏图形表示, 以提取更多的有区分性的特征.
7. 基于生理信号的情感计算研究挑战
基于脑电等生理信号的情感计算研究虽然已取得诸多进展, 但是依然存在下列挑战和需要进一步研究的问题:
1) 情感计算基础理论研究. 目前关于情绪识别的理论基础主要有离散型模型和连续型模型. 二者之间虽然有一定关联, 但是尚未形成统一的理论框架. 此外, 情感计算中的外显信息(如高兴、悲伤等情绪类别) 与内隐信息(如EEG信号不同频段对应高兴、悲伤等情绪类别的信号特征) 之间的联系也值得进一步研究. 挖掘出二者之间的联系对于理解脑电信号表示的不同情绪状态有非常重要的作用.
2) 外部诱发情绪与内部诱发情绪之间的差异性问题. 目前公开的用于情感计算的数据集几乎都是采用图像、视频、音频等外部方式诱发情绪变化. 这些都是被动的情绪变化, 与现实场景中个体主动产生的情绪变化之间存在差异, 也可能导致二者的脑电信号存在差异. 因此, 如何解决外部诱发情绪变化与内部主动情绪变化之间的差异也是一个值得研究的课题.
3) 生理信号的高质量采集和预处理. 情感计算中使用到EEG、EOG、EMG、HRV、GSR、ST等多种生理信号, 所需设备繁多, 实验中需要尽量减小信号采集过程中的噪声. 其中脑电信号的采集较为复杂, 并且脑电信号容易受到外界因素的干扰, 实验需要耗费一定的时间和精力. 高效、高质量地采集脑电等生理信号是情感计算的重要环节. 对原始脑电信号的预处理也非常重要. 有效的预处理可以去除原始脑电信号中的噪声, 提高信号质量, 有助于特征提取.
4) 生理信号的特征提取、选择和融合问题. 不同生理信号有不同的特征提取方式, 以脑电信号为例, 其特征提取方式种类繁多, 常用的特征有功率谱密度、微分熵、微分熵的不对称差、微分熵的不对称商、离散小波分析、经验模态分解经验模态分解一样本熵 (EMD_SampEn)、统计特征(均值、方差等)等. 如何提取合适的特征或融合不同特征等都会对情感计算模型产生重要影响.
5) 个体差异性问题. 由于不同被试个体之间在生理、心理等方面都存在差异, 对于同一个情绪诱发视频, 不同个体所诱发的情绪不一定完全相同. 即使产生相同的情绪, 由于个体间生理上的差异, 所产生的脑电等生理信号一般也会存在一定差异. 有效解决个体差异问题, 从个体的角度, 可以构建个性化的情感计算模型. 但由于生理信号的采集和标注会带来较大的成本, 构建泛化能力更好的情绪识别模型是一个相对更经济的解决办法. 提高情感计算模型的泛化能力的一个有效方法是迁移学习[82].
6) 用户隐私问题. 用户个人信息的隐私保护是互联网时代的一个重要伦理道德问题. 情感计算中采集的脑电等生理信号属于用户的私人信息, 因此也需要注意隐私保护. 目前这方面的研究才刚刚开始[139-140].
8. 总结
本文对近年来基于脑电等生理信号的情感计算研究进展进行了综述. 首先介绍了情感计算的相关理论基础和常用的生理信号类型, 以及离散和连续两种情绪模型. 接着总结了情感计算任务的整体流程, 包括生理信号的采集、预处理、特征提取、特征平滑、特征融合、模型训练与测试等, 并介绍了基于生理信号的情绪识别常用公开数据集. 然后重点介绍了为解决情感计算中个体差异的迁移学习方法、减少标注数据量的主动学习方法、以及基于深度学习的生理信号的深层情感表示和多模态生理信号的特征融合等相关算法. 最后, 分析总结了基于生理信号的情感计算领域面临的挑战及未来需要进一步解决的问题.
-
表 1 情感计算中常用的生理信号
Table 1 Common physiological signals in affective computing
生理信号类别 英文名称 英文缩写 脑电图 Electroencephalogram EEG 肌电图 Electromyogram EMG 心电图 Electrocardiogram ECG 眼电图 Electrooculogram EOG 心率变异性 Heart rate variability HRV 皮肤电反应 Galvanic skin response GSR 皮肤电应答 Electrodermal response EDR 皮肤电活动 Electrodermal activity EDA 血压信号 Blood pressure BP 皮肤温度 Skin temperature ST 呼吸模式 Respiration pattern RSP 光电容积脉搏波 Photoplethysmogram PPG 眼动信号 Eye movement EM 脉搏信号 Pulse rate PR 血氧饱和度 Oxygen saturation SpO2 
下载: 导出CSV
表 2 脑电频率划分
Table 2 Frequency bands of EEG
脑波 频率 人体状态 $ \delta $ 0.1 ~ 3 Hz 深度睡眠且没有做梦时 $ \theta $ 4 ~ 7 Hz 成人情绪受到压力、失望或挫折时 $ \alpha $ 8 ~ 12 Hz 放松、平静、闭眼但清醒时 $ \beta $ 12.5 ~ 28 Hz 放松但精神集中、激动或焦虑 $ \gamma $ 29 ~ 50 Hz 提高意识、幸福感、放松、冥想
下载: 导出CSV
表 3 谷歌学术中2010年以来基于生理信号的情感计算工作统计
Table 3 Statistics of physiological signal based affective computing Google Scholar publications since 2010
生理信号类型 对应检索关键词 文献数量 脑电图 EEG OR Electroencephalogram 913 心电图 ECG OR Electrocardiogram 70 心率变异性 HRV OR (Heart rate variability) 38 皮肤电 GSR OR EDA OR EDR OR Electrodermal 27 肌电图 EMG OR Electromyogram 25 光电容积脉搏波 PPG OR Photoplethysmogram 13 血压 Blood pressure 7 脉搏 Pulse rate 4 皮肤温度 Skin temperature 3 眼电图 EOG OR Electrooculogram 2 血氧 SpO2 OR (Oxygen saturation) OR (Blood oxygen) 2 总计 1104 注: “情感计算” 对应的检索关键词为: (emotion OR emotional OR affect OR affective) + (recognize OR recognition OR classify OR classification OR detect OR detection OR predict OR prediction OR estimate OR estimation OR model OR state OR computing).
下载: 导出CSV
表 4 部分最近的基于生理信号的情感计算工作
Table 4 Some recent studies on physiological signals based affective computing
下载: 导出CSV
表 5 情感计算常用公开数据集
Table 5 Popular public affective computing datasets
数据集 内容说明 任务模型 MAHNOB-HCI[34] 27 名被试的 EEG 及多种生理信号和图片、视频信息 VAD 模型 RECOLA[35] 46 名被试的 ECG、EOG 及音频、视频信息 VA 模型 DECAF[36] 30 名被试的 EOG、ECG、EMG 和视频信息 VA 模型 ASCERTAIN[37] 58 名被试的 EEG、ECG、GSR 和图片信息 5 种情绪类别, VA 模型 AMIGOS[38] 40 名被试的 EEG、ECG、GSR 及图片、视频信息 5 种情绪类别, VA 模型 DREAMER[39] 23 名被试的 EEG、ECG VAD 模型 RCLS[40] 14 名被试的 EEG 3 种情绪类别 MPED[41] 23 名被试的 EEG、ECG、RSP、GSR 7 种情绪类别 HR-EEG4EMO[42] 27 名被试的 EEG 高兴、悲伤两种情绪类别 SEED[21, 33] 15 名被试, 每名被试 3 次实验的 EEG 3 种情绪类别 SEED-IV[33] 15 名被试, 每名被试 3 次实验的 EEG、EM 4 种情绪类别 DEAP[43] 32 名被试的 EEG、EOG、EMG、GSR、RSP、BP、ST VAD 模型
下载: 导出CSV
表 6 不同深度特征提取方式及效果
Table 6 Different deep learning methods of feature extract and their effects
作者及参考文献 神经网络模型 数据集 准确率 Yin等[109] 堆叠式自编码器 DEAP 83.0 % (Valence/2)、84.1 % (Arousal/2) Fourati等[110] 回声状态网络 DEAP 71.0 % (Valence/2)、68.3 % (Arousal/2) Ren等[111] 融合大脑不对称特性的回声状态网络 DEAP 78.2 % (Average/4) Liu等[112] 多层次特征引导胶囊网络 DEAP 98.0 % (Valence/2)、98.3 % (Arousal/2)、98.3 % (Dominance/2) Wu等[113] 关键子网络选择 SEED 81.5 % (Average/3) Yang等[114] 具有子网节点的分层网络模型 SEED 85.7 % (Average/3) Wang等[115] 双向长短期记忆网络 SEED 95.0 % (Average/3) Zhang等[116] 变分路径推理 SEED 94.3 % (Average/3) Cimtay等[117] 卷积神经网络 SEED 73.7 % (Average/3)、82.9 % (Average/2) 注: (Valence/2)表示Valence维度2分类准确率, (Average/4)表示情绪4分类准确率.
下载: 导出CSV
-
[1] 林崇德, 杨治良, 黄希庭. 心理学大辞典. 上海: 上海教育出版社, 2003.Lin Chong-De, Yang Zhi-Liang, Huang Xi-Ting. The Comprehensive Dictionary of Psychology. Shanghai: Shanghai Educational Publishing House, 2003. [2] 陶建华, 李雅. 情感计算研究进展. 中国计算机学会通讯, 2016, 12(10): 62−70Tao Jian-Hua, Li Ya. Advances in affective computing. Communications of China Computer Federation, 2016, 12(10): 62−70 (查阅所有网上资料, 未找到对应的英文翻译, 请联系作者确认) [3] Affective computing [Online], available: https://en.wikipedia.org/wiki/Affective_computing, January 12, 2021 [4] Minsky M. The Society of Mind. New York: Simon and Schuster, 1986. [5] Picard R W. Affective Computing. Cambridge: MIT Press, 1997. [6] Liu Y S, Sourina O, Nguyen M K. Real-time EEG-based emotion recognition and its applications. Transactions on Computational Science XII. Berlin: Springer, 2011. 256−277 [7] 林文倩. 生理信号驱动的情绪识别及交互应用研究 [博士学位论文], 浙江大学, 中国, 2019Lin Wen-Qian. Emotion Recognition and Application Based on Physiological Signals [Ph. D. dissertation], Zhejiang University, China, 2019 [8] Ortony A, Clore G L, Collins A. The Cognitive Structure of Emotions. Cambridge: Cambridge University Press, 1990. [9] 林传鼎. 心理学词典. 南昌: 江西科学技术出版社, 1986.Lin Chuan-Ding. Dictionary of Psychology. Nanchang: Jiangxi Science and Technology Press, 1986. [10] Ekman P, Friesen W V. Constants across cultures in the face and emotion. Journal of Personality and Social Psychology, 1971, 17(2): 124−129 doi: 10.1037/h0030377 [11] Lazarus R S. From psychological stress to the emotions: A history of changing outlooks. Annual Review of Psychology, 1993, 44: 1−22 doi: 10.1146/annurev.ps.44.020193.000245 [12] Plutchik R. Emotions and Life: Perspectives from Psychology, Biology, and Evolution. Washington: American Psychological Association, 2003. [13] Russell J A. A circumplex model of affect. Journal of Personality and Social Psychology, 1980, 39(6): 1161−1178 doi: 10.1037/h0077714 [14] Mehrabian A. Pleasure-arousal-dominance: A general framework for describing and measuring individual differences in temperament. Current Psychology, 1996, 14(4): 261−292 doi: 10.1007/BF02686918 [15] Electroencephalography [Online], available: https://en.wikipedia.org/wiki/Electroencephalography, January 12, 2021 [16] Zheng W L, Zhu J Y, Lu B L. Identifying stable patterns over time for emotion recognition from EEG. IEEE Transactions on Affective Computing, 2019, 10(3): 417−429 doi: 10.1109/TAFFC.2017.2712143 [17] 张冠华, 余旻婧, 陈果, 韩义恒, 张丹, 赵国朕, 等. 面向情绪识别的脑电特征研究综述. 中国科学: 信息科学, 2019, 49(9): 1097−1118Zhang Guan-Hua, Yu Min-Jing, Chen Guo, Han Yi-Heng, Zhang Dan, Zhao Guo-Zhen, et al. A review of EEG features for emotion recognition. Science in China (Information Sciences), 2019, 49(9): 1097−1118 [18] Mehdizadehfar V, Ghassemi F, Fallah A, Pouretemad H. EEG study of facial emotion recognition in the fathers of autistic children. Biomedical Signal Processing and Control, 2020, 56: 101721 doi: 10.1016/j.bspc.2019.101721 [19] Cacioppo J T, Tassinary L G. Principles of Psychophysiology: Physical, Social and Inferential Elements. Cambridge: Cambridge University Press, 1990. [20] Heart rate variability [Online], available: https://en.wikipedia.org/wiki/Heart_rate_variability, January 12, 2021 [21] Zheng W L, Lu B L. Investigating critical frequency bands and channels for EEG-based emotion recognition with deep neural networks. IEEE Transactions on Autonomous Mental Development, 2015, 7(3): 162−175 doi: 10.1109/TAMD.2015.2431497 [22] Sohaib A T, Qureshi S, Hagelbäck J, Hilborn O, Jerčić P. Evaluating classifiers for emotion recognition using EEG. In: Proceedings of the 7th International. Las Vegas, USA: Springer, 2013. 492−501 [23] Nie D, Wang X W, Shi L C, Lv B L. EEG-based emotion recognition during watching movies. In: Proceedings of the 5th International IEEE/EMBS Conference on Neural Engineering. Cancun, Mexico: IEEE, 2011. 667−670 [24] Lin Y P, Wang C H, Jung T P, Wu T L, Jeng S K, Duann J R. EEG-based emotion recognition in music listening. IEEE Transactions on Biomedical Engineering, 2010, 57(7): 1798−1806 doi: 10.1109/TBME.2010.2048568 [25] Alarcão S M, Fonseca M J. Emotions recognition using EEG signals: A survey. IEEE Transactions on Affective Computing, 2019, 10(3): 374−393 doi: 10.1109/TAFFC.2017.2714671 [26] Domínguez-Jiménez A, Campo-Landines C, Martínez-Santos J C, Delahoz E J, Contreras-Ortiz S H. A machine learning model for emotion recognition from physiological signals. Biomedical Signal Processing and Control, 2020, 55: 101646 doi: 10.1016/j.bspc.2019.101646 [27] Joesph C, Rajeswari A, Premalatha B, Balapriya C. Implementation of physiological signal based emotion recognition algorithm. In: Proceedings of the 36th International Conference on Data Engineering (ICDE). Dallas, USA: IEEE, 2020. 2075−2079 [28] Zhu Q Y, Lu G M, Yan J J. Valence-arousal model based emotion recognition using EEG, peripheral physiological signals and facial expression. In: Proceedings of the 4th International Conference on Machine Learning and Soft Computing. Haiphong City, Viet Nam: ACM, 2020. 81−85 [29] Fabiano D, Canavan S. Emotion recognition using fused physiological signals. In: Proceedings of the 8th International Conference on Affective Computing and Intelligent Interaction (ACII). Cambridge, UK: IEEE, 2019. 42−48 [30] Chang E J, Rahimi A, Benini L, Wu A Y A. Hyperdimensional computing-based multimodality emotion recognition with physiological signals. In: Proceedings of the 2019 IEEE International Conference on Artificial Intelligence Circuits and Systems (AICAS). Hsinchu, China: IEEE, 2019. 137−141 [31] Zhu J J, Zhao X B, Hu H, Gao Y. Emotion recognition from physiological signals using multi-hypergraph neural networks. In: Proceedings of the 2019 IEEE International Conference on Multimedia and Expo (ICME). Shanghai, China: IEEE, 2019. 610−615 [32] Ali M, Machot F A, Mosa A H, Jdeed M, Machot E A, Kyamakya K. A globally generalized emotion recognition system involving different physiological signals. Sensors, 2018, 18(6): Article No. 1905 doi: 10.3390/s18061905 [33] Zheng W L, Liu W, Lu Y F, Lu B L, Cichocki A. EmotionMeter: A multimodal framework for recognizing human emotions. IEEE Transactions on Cybernetics, 2019, 49(3): 1110−1122 doi: 10.1109/TCYB.2018.2797176 [34] Soleymani M, Lichtenauer J, Pun T, Pantic M. A multimodal database for affect recognition and implicit tagging. IEEE Transactions on Affective Computing, 2012, 3(1): 42−55 doi: 10.1109/T-AFFC.2011.25 [35] Ringeval F, Sonderegger A, Sauer J, Lalanne D. Introducing the RECOLA multimodal corpus of remote collaborative and affective interactions. In: Proceedings of the 10th IEEE International Conference and Workshops on Automatic Face and Gesture Recognition (FG). Shanghai, China: IEEE, 2013. 1−8 [36] Abadi M K, Subramanian R, Kia S M, Avesani P, Patras I, Sebe N. DECAF: MEG-based multimodal database for decoding affective physiological responses. IEEE Transactions on Affective Computing, 2015, 6(3): 209−222 doi: 10.1109/TAFFC.2015.2392932 [37] Subramanian R, Wache J, Abadi M K, Vieriu R L, Winkler S, Sebe N. ASCERTAIN: Emotion and personality recognition using commercial sensors. IEEE Transactions on Affective Computing, 2018, 9(2): 147−160 doi: 10.1109/TAFFC.2016.2625250 [38] Miranda-Correa J A, Abadi M K, Sebe N, Patras I. AMIGOS: A dataset for affect, personality and mood research on individuals and groups. IEEE Transactions on Affective Computing, 2021, 12(2): 479−493 doi: 10.1109/TAFFC.2018.2884461 [39] Katsigiannis S, Ramzan N. DREAMER: A database for emotion recognition through EEG and ECG signals from wireless low-cost off-the-shelf devices. IEEE Journal of Biomedical and Health Informatics, 2018, 22(1): 98−107 doi: 10.1109/JBHI.2017.2688239 [40] Li Y, Zheng W M, Cui Z, Zong Y, Ge S. EEG emotion recognition based on graph regularized sparse linear regression. Neural Processing Letters, 2019, 49(2): 555−571 doi: 10.1007/s11063-018-9829-1 [41] Song T F, Zheng W M, Lu C, Zong Y, Zhang X L, Cui Z. MPED: A multi-modal physiological emotion database for discrete emotion recognition. IEEE Access, 2019, 7: 12177−12191 doi: 10.1109/ACCESS.2019.2891579 [42] Becker H, Fleureau J, Guillotel P, Wendling F, Merlet I, Albera L. Emotion recognition based on high-resolution EEG recordings and reconstructed brain sources. IEEE Transactions on Affective Computing, 2020, 11(2): 244−257 doi: 10.1109/TAFFC.2017.2768030 [43] Koelstra S, Muhl C, Soleymani M, Lee J S, Yazdani A, Ebrahimi T, et al. DEAP: A database for emotion analysis; using physiological signals. IEEE Transactions on Affective Computing, 2012, 3(1): 18−31 doi: 10.1109/T-AFFC.2011.15 [44] Jenke R, Peer A, Buss M. Feature extraction and selection for emotion recognition from EEG. IEEE Transactions on Affective Computing, 2014, 5(3): 327−339 doi: 10.1109/TAFFC.2014.2339834 [45] Wang X W, Nie D, Lv B L. EEG-based emotion recognition using frequency domain features and support vector machines. In: Proceedings of the 18th International Conference on Neural Information Processing. Shanghai, China: Springer, 2011. 734−743 [46] Mohammadi Z, Frounchi J, Amiri M. Wavelet-based emotion recognition system using EEG signal. Neural Computing and Applications, 2017, 28(8): 1985−1990 doi: 10.1007/s00521-015-2149-8 [47] Duan R N, Zhu J Y, Lv B L. Differential entropy feature for EEG-based emotion classification. In: Proceedings of the 6th International IEEE/EMBS Conference on Neural Engineering (NER). San Diego, USA: IEEE, 2013. 81−84 [48] Moon S E, Jang S, Lee J S. Convolutional neural network approach for EEG-based emotion recognition using brain connectivity and its spatial information. In: Proceedings of the 2018 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). Calgary, Canada, 2018. 2556−2560 [49] Yan X, Zheng W L, Liu W, Lv B L. Identifying gender differences in multimodal emotion recognition using bimodal deep autoencoder. In: Proceedings of the 24th International Conference on Neural Information Processing. Guangzhou, China: Springer, 2017. 533−542 [50] Yan X, Zheng W L, Liu W, Lv B L. Investigating gender differences of brain areas in emotion recognition using LSTM neural network. In: Proceedings of the 24th International Conference on Neural Information Processing. Guangzhou, China: Springer, 2017. 820−829 [51] Soroush M Z, Maghooli K, Setarehdan S K, Nasrabadi A M. Emotion recognition using EEG phase space dynamics and poincare intersections. Biomedical Signal Processing and Control, 2020, 59: 101918 doi: 10.1016/j.bspc.2020.101918 [52] Shi L C, Lu B L. Off-line and on-line vigilance estimation based on linear dynamical system and manifold learning. In: Proceedings of the 2010 Annual International Conference of the IEEE Engineering in Medicine and Biology. Buenos Aires, Argentina: IEEE, 2010. 6587−6590 [53] Pham T D, Tran D, Ma W, Tran N T. Enhancing performance of EEG-based emotion recognition systems using feature smoothing. In: Proceedings of the 22nd International Conference on Neural Information Processing. Istanbul, Turkey: Springer, 2015. 95−102 [54] Hu B, Li X W, Sun S T, Ratcliffe M. Attention recognition in EEG-based affective learning research using CFS+KNN algorithm. IEEE/ACM Transactions on Computational Biology and Bioinformatics, 2018, 15(1): 38−45 doi: 10.1109/TCBB.2016.2616395 [55] Zheng W M. Multichannel EEG-based emotion recognition via group sparse canonical correlation analysis. IEEE Transactions on Cognitive and Developmental Systems, 2017, 9(3): 281−290 doi: 10.1109/TCDS.2016.2587290 [56] Özerdem M S, Polat H. Emotion recognition based on EEG features in movie clips with channel selection. Brain Informatics, 2017, 4(4): 241−252 doi: 10.1007/s40708-017-0069-3 [57] Picard R W, Vyzas E, Healey J. Toward machine emotional intelligence: Analysis of affective physiological state. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2001, 23(10): 1175−1191 doi: 10.1109/34.954607 [58] Agrafioti F, Hatzinakos D, Anderson A K. ECG pattern analysis for emotion detection. IEEE Transactions on Affective Computing, 2012, 3(1): 102−115 doi: 10.1109/T-AFFC.2011.28 [59] Goshvarpour A, Abbasi A, Goshvarpour A. An accurate emotion recognition system using ECG and GSR signals and matching pursuit method. Biomedical Journal, 2017, 40(6): 355−368 doi: 10.1016/j.bj.2017.11.001 [60] Wu G H, Liu G Y, Hao M. The analysis of emotion recognition from GSR based on PSO. In: Proceedings of the 2010 International Symposium on Intelligence Information Processing and Trusted Computing. Huanggang, China: IEEE, 2010. 360−363 [61] Udovičić G, Derek J, Russo M, Sikora M. Wearable emotion recognition system based on GSR and PPG signals. In: Proceedings of the 2nd International Workshop on Multimedia for Personal Health and Health Care. Mountain View, USA: ACM, 2017. 53−59 [62] Lanatà A, Valenza G, Scilingo E P. A novel EDA glove based on textile-integrated electrodes for affective computing. Medical & Biological Engineering & Computing, 2012, 50(11): 1163−1172 [63] Jerritta S, Murugappan M, Wan K, Yaacob S. Emotion recognition from facial EMG signals using higher order statistics and principal component analysis. Journal of the Chinese Institute of Engineers, 2014, 37(3): 385−394 doi: 10.1080/02533839.2013.799946 [64] Yang S X, Yang G Y. Emotion recognition of EMG based on improved L-M BP neural network and SVM. Journal of Software, 2011, 6(8): 1529−1536 [65] Murugappan M. Electromyogram signal based human emotion classification using KNN and LDA. In: Proceedings of the 2011 IEEE International Conference on System Engineering and Technology. Shah Alam, Malaysia: IEEE, 2011. 106−110 [66] Goshvarpour A, Goshvarpour A. Poincaré＇ s section analysis for PPG-based automatic emotion recognition. Chaos, Solitons & Fractals, 2018, 114: 400−407 [67] Lee Y K, Kwon O W, Shin H S, Jo J, Lee Y. Noise reduction of PPG signals using a particle filter for robust emotion recognition. In: Proceedings of the 2011 IEEE International Conference on Consumer Electronics-Berlin (ICCE-Berlin). Berlin, Germany: IEEE, 2011. 202−205 [68] Künecke J, Hildebrandt A, Recio G, Sommer W, Wilhelm O. Facial EMG responses to emotional expressions are related to emotion perception ability. PLoS One, 2014, 9(1): Article No. 84053 doi: 10.1371/journal.pone.0084053 [69] McCubbin J A, Merritt M M, Sollers III J J, Evans M K, Zonderman A B, Lane R D, et al. Cardiovascular-emotional dampening: The relationship between blood pressure and recognition of emotion. Psychosomatic Medicine, 2011, 73(9): 743−750 doi: 10.1097/PSY.0b013e318235ed55 [70] Quintana D S, Guastella A J, Outhred T, Hickie I B, Kemp A H. Heart rate variability is associated with emotion recognition: Direct evidence for a relationship between the autonomic nervous system and social cognition. International Journal of Psychophysiology, 2012, 86(2): 168−172 doi: 10.1016/j.ijpsycho.2012.08.012 [71] Williams D P, Cash C, Rankin C, Bernardi A, Koenig J, Thayer J F. Resting heart rate variability predicts self-reported difficulties in emotion regulation: A focus on different facets of emotion regulation. Frontiers in Psychology, 2015, 6: Article No. 261 [72] Geisler F C M, Vennewald N, Kubiak T, Weber H. The impact of heart rate variability on subjective well-being is mediated by emotion regulation. Personality and Individual Differences, 2010, 49(7): 723−728 doi: 10.1016/j.paid.2010.06.015 [73] Guo H W, Huang Y S, Lin C H, Chien J C, Haraikawa K, Shieh J S. Heart rate variability signal features for emotion recognition by using principal component analysis and support vectors machine. In: Proceedings of the 16th International Conference on Bioinformatics and Bioengineering (BIBE). Taichung, China: IEEE, 2016. 274−277 [74] Goshvarpour A, Abbasi A, Goshvarpour A. Fusion of heart rate variability and pulse rate variability for emotion recognition using lagged poincare plots. Australasian Physical & Engineering Sciences in Medicine, 2017, 40(3): 617−629 [75] Zheng W L, Dong B N, Lu B L. Multimodal emotion recognition using EEG and eye tracking data. In: Proceedings of the 36th Annual International Conference of the IEEE Engineering in Medicine and Biology Society. Chicago, USA: IEEE, 2014 [76] Guo J J, Zhou R, Zhao L M, Lv B L. Multimodal emotion recognition from eye image, eye movement and EEG using deep neural networks. In: Proceedings of the 41st Annual International Conference of the IEEE Engineering in Medicine and Biology Society (EMBC). Berlin, Germany: IEEE, 2019. 3071−3074 [77] Lu Y F, Zheng W L, Li B B, Lv B L. Combining eye movements and EEG to enhance emotion recognition. In: Proceedings of the 24th International Joint Conference on Artificial Intelligence. Buenos Aires, Argentina: AAAI, 2015 [78] Wu D P, Han X J, Wang H G, Wang R Y. Robust EEG-based emotion recognition using multi-feature joint sparse representation. In: Proceedings of the 2020 International Conference on Computing, Networking and Communications (ICNC). Big Island, USA: IEEE, 2020. 802−807 [79] Thammasan N, Fukui K I, Numao M. Multimodal fusion of EEG and musical features in music-emotion recognition. In: Proceedings of the 31st AAAI Conference on Artificial Intelligence. San Francisco, USA: AAAI, 2017. 4991−4992 [80] Doma V, Pirouz M. A comparative analysis of machine learning methods for emotion recognition using EEG and peripheral physiological signals. Journal of Big Data, 2020, 7(1): Article No. 18 doi: 10.1186/s40537-020-00289-7 [81] Pan S J, Yang Q. A survey on transfer learning. IEEE Transactions on Knowledge and Data Engineering, 2010, 22(10): 1345−1359 doi: 10.1109/TKDE.2009.191 [82] Wu D R, Xu Y F, Lv B L. Transfer learning for EEG-based brain-computer interfaces: A review of progress made since 2016. IEEE Transactions on Cognitive and Developmental Systems, to be published [83] Pan S J, Tsang I W, Kwok J T, Yang Q. Domain adaptation via transfer component analysis. IEEE Transactions on Neural Networks, 2011, 22(2): 199−210 doi: 10.1109/TNN.2010.2091281 [84] Sangineto E, Zen G, Ricci E, Sebe N. We are not all equal: Personalizing models for facial expression analysis with transductive parameter transfer. In: Proceedings of the 22nd ACM International Conference on Multimedia. Orlando, USA: ACM, 2014. 357−366 [85] Zhang X W, Liang W B, Ding T Z, Pan J, Shen J, Huang X, et al. Individual similarity guided transfer modeling for EEG-based emotion recognition. In: Proceedings of the 2019 IEEE International Conference on Bioinformatics and Biomedicine (BIBM). San Diego, USA: IEEE, 2019. 1156−1161 [86] Zhang X Y, Liu C L. Style transfer matrix learning for writer adaptation. In: Proceedings of the CVPR 2011. Colorado Springs, USA: IEEE, 2011. 393−400 [87] Zhang X Y, Liu C L. Writer adaptation with style transfer mapping. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2013, 35(7): 1773−1787 doi: 10.1109/TPAMI.2012.239 [88] Zheng W L, Lv B L. Personalizing EEG-based affective models with transfer learning. In: Proceedings of the 25th International Joint Conference on Artificial Intelligence. New York, USA: IJCAI, 2016. 2732−2739 [89] Scholköpf B, Smola A, Muller K R. Nonlinear component analysis as a kernel eigenvalue problem. Neural Computation, 1998, 10(5): 1299−1319 doi: 10.1162/089976698300017467 [90] Borgwardt K M, Gretton A, Rasch M J, Kriegel H, Schölkopf B, Smola A J. Integrating structured biological data by kernel maximum mean discrepancy. Bioinformatics, 2006, 22(14): e49−e57 doi: 10.1093/bioinformatics/btl242 [91] Li J P, Qiu S, Shen Y Y, Liu C L, He H G. Multisource transfer learning for cross-subject EEG emotion recognition. IEEE Transactions on Cybernetics, 2020, 50(7): 3281−3293 [92] Lan Z R, Sourina O, Wang L P, Scherer R, Müller-Putz G R. Domain adaptation techniques for EEG-based emotion recognition: A comparative study on two public datasets. IEEE Transactions on Cognitive and Developmental Systems, 2019, 11(1): 85−94 doi: 10.1109/TCDS.2018.2826840 [93] 郑伟龙, 石振锋, 吕宝粮. 用异质迁移学习构建跨被试脑电情感模型. 计算机学报, 2020, 43(2): 177−189 doi: 10.11897/SP.J.1016.2020.00177Zheng Wei-Long, Shi Zhen-Feng, Lü Bao-Liang. Building cross-subject EEG-based affective models using heterogeneous transfer learning. Chinese Journal of Computers, 2020, 43(2): 177−189 doi: 10.11897/SP.J.1016.2020.00177 [94] Mehrabian A. Basic Dimensions for a General Psychological Theory: Implications for Personality, Social, Environmental, and Developmental Studies. Cambridge, MA: Oelgeschlager, Gunn & Hain, 1980. [95] Grimm M, Kroschel K, Narayanan S. The Vera Am Mittag German audio-visual emotional speech database. In: Proceedings of the 2008 IEEE International Conference on Multimedia and Expo. Hannover, Germany: IEEE, 2008. 865−868 [96] Bradley M M, Lang P J. The International Affective Digitized Sounds (Second edition). Florida: University of Florida, 2007. [97] Settles B. Active Learning Literature Survey, Computer Sciences Technical Report 1648, University of Wisconsin-Madison, USA, 2009 [98] Wu D R, Parsons T D. Active class selection for arousal classification. In: Proceedings of the 4th International Conference on Affective Computing and Intelligent Interaction. Memphis, USA: Springer, 2011. 132−141 [99] Wu D R, Lance B J, Parsons T D. Collaborative filtering for brain-computer interaction using transfer learning and active class selection. PLoS One, 2013, 8(2): Article No. e56624 doi: 10.1371/journal.pone.0056624 [100] Wu D R, Lawhern V J, Gordon S, Lance B J, Lin C T. Offline EEG-based driver drowsiness estimation using enhanced batch-mode active learning (EBMAL) for regression. In: Proceedings of the 2016 IEEE International Conference on Systems, Man, and Cybernetics (SMC). Budapest, Hungary: IEEE, 2016. 730−736 [101] Liu Z, Wu D R. Unsupervised pool-based active learning for linear regression. arXiv: 2001.05028, 2020 [102] Wu D R. Pool-based sequential active learning for regression. IEEE Transactions on Neural Networks and Learning Systems, 2019, 30(5): 1348−1359 doi: 10.1109/TNNLS.2018.2868649 [103] Wu D R, Lin C T, Huang J. Active learning for regression using greedy sampling. Information Sciences, 2019, 474: 90−105 doi: 10.1016/j.ins.2018.09.060 [104] Wu D R, Huang J. Affect estimation in 3D space using multi-task active learning for regression. IEEE Transactions on Affective Computing, DOI: 10.1109/TAFFC.2019.2916040 [105] Zheng W L, Zhu J Y, Peng Y, Lu B L. EEG-based emotion classification using deep belief networks. In: Proceedings of the 2014 IEEE International Conference on Multimedia and Expo (ICME). Chengdu, China: IEEE, 2014. 1−6 [106] Thammasan N, Fukui K I, Numao M. Application of deep belief networks in EEG-based dynamic music-emotion recognition. In: Proceedings of the 2016 International Joint Conference on Neural Networks (IJCNN). Vancouver, Canada: IEEE, 2016. 881−888 [107] Li J P, Zhang Z X, He H G. Hierarchical convolutional neural networks for EEG-based emotion recognition. Cognitive Computation, 2018, 10(2): 368−380 doi: 10.1007/s12559-017-9533-x [108] Wei C, Chen L L, Song Z Z, Lou X G, Li D D. EEG-based emotion recognition using simple recurrent units network and ensemble learning. Biomedical Signal Processing and Control, 2020, 58: Article No. 101756 doi: 10.1016/j.bspc.2019.101756 [109] Yin Z, Zhao M Y, Wang Y X, Yang J D, Zhang J. H. Recognition of emotions using multimodal physiological signals and an ensemble deep learning model. Computer Methods and Programs in Biomedicine, 2017, 140: 93−110 doi: 10.1016/j.cmpb.2016.12.005 [110] Fourati R, Ammar B, Aouiti C, Sanchez-Medina J, Alimi A M. Optimized echo state network with intrinsic plasticity for EEG-based emotion recognition. In: Proceedings of the 24th International Conference on Neural Information Processing. Guangzhou, China: Springer, 2017. 718−727 [111] Ren F J, Dong Y D, Wang W. Emotion recognition based on physiological signals using brain asymmetry index and echo state network. Neural Computing and Applications, 2019, 31(9): 4491−4501 doi: 10.1007/s00521-018-3664-1 [112] Liu Y, Ding Y F, Li C, Cheng J, Song R C, Wan F, et al. Multi-channel EEG-based emotion recognition via a multi-level features guided capsule network. Computers in Biology and Medicine, 2020, 123: Article No. 103927 doi: 10.1016/j.compbiomed.2020.103927 [113] Wu X, Zheng W L, Lv B L. Identifying functional brain connectivity patterns for EEG-based emotion recognition. In: Proceedings of the 9th International IEEE/EMBS Conference on Neural Engineering (NER). San Francisco, USA: IEEE, 2019. 235−238 [114] Yang Y M, Wu Q M J, Zheng W L, Lu B L. EEG-based emotion recognition using hierarchical network with subnetwork nodes. IEEE Transactions on Cognitive and Developmental Systems, 2018, 10(2): 408−419 doi: 10.1109/TCDS.2017.2685338 [115] Wang Y X, Qiu S, Li J P, Ma X L, Liang Z Y, Li H, et al. EEG-based emotion recognition with similarity learning network. In: Proceedings of the 41st Annual International Conference of the IEEE Engineering in Medicine and Biology Society (EMBC). Berlin, Germany: IEEE, 2019. 1209−1212 [116] Zhang T, Cui Z, Xu C Y, Zheng W M, Yang J. Variational pathway reasoning for EEG emotion recognition. In: Proceedings of the 34th AAAI Conference on Artificial Intelligence. New York, USA: AAAI, 2020. 2709−2716 [117] Cimtay Y, Ekmekcioglu E. Investigating the use of pretrained convolutional neural network on cross-subject and cross-dataset EEG emotion recognition. Sensors, 2020, 20(7): Article No. 2034 doi: 10.3390/s20072034 [118] Ma J X, Tang H, Zheng W L, Lv B L. Emotion recognition using multimodal residual LSTM network. In: Proceedings of the 27th ACM International Conference on Multimedia. Nice, France: ACM, 2019. 176−183 [119] Liu W, Qiu J L, Zheng W L, Lv B L. Multimodal emotion recognition using deep canonical correlation analysis. arXiv: 1908.05349, 2019 [120] Rayatdoost S, Rudrauf D, Soleymani M. Expression-guided EEG representation learning for emotion recognition. In: Proceedings of the 2020 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). Barcelona, Spain: IEEE, 2020. 3222−3226 [121] Du C D, Du C Y, Wang H, Li J P, Zheng W L, Lv B L, et al. Semi-supervised deep generative modelling of incomplete multi-modality emotional data. In: Proceedings of the 26th ACM International Conference on Multimedia. Seoul, Republic of Korea: ACM, 2018. 108−116 [122] Long M S, Cao Y, Wang J M, Jordan M. Learning transferable features with deep adaptation networks. In: Proceedings of the 32nd International Conference on Machine Learning. Lille, France: JMLR.org, 2015. 97−105 [123] Gretton A, Sriperumbudur B K, Sejdinovic D, Strathmann H, Balakrishnan S, Pontil M, et al. Optimal kernel choice for large-scale two-sample tests. In: Proceedings of the 25th International Conference on Neural Information Processing Systems. Lake Tahoe, SUA: NIPS, 2012. 1025−1213 [124] Li H, Jin Y M, Zheng W L, Lv B L. Cross-subject emotion recognition using deep adaptation networks. In: Proceedings of the 25th International Conference on Neural Information Processing. Siem Reap, Cambodia: Springer, 2018. 403−413 [125] Long M S, Wang J M, Ding G G, Sun J G, Yu P S. Transfer feature learning with joint distribution adaptation. In: Proceedings of the 2013 IEEE International Conference on Computer Vision. Sydney, Australia: IEEE, 2013. 2200−2207 [126] Li J P, Qiu S, Du C D, Wang Y X, He H G. Domain adaptation for EEG emotion recognition based on latent representation similarity. IEEE Transactions on Cognitive and Developmental Systems, 2020, 12(2): 344−353 doi: 10.1109/TCDS.2019.2949306 [127] Tzeng E, Hoffman J, Saenko K, Darrell T. Adversarial discriminative domain adaptation. In: Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Honolulu, USA: IEEE, 2017. 2962−2971 [128] Luo Y, Zhang S Y, Zheng W L, Lv B L. WGAN domain adaptation for EEG-based emotion recognition. In: Proceedings of the 25th International Conference on Neural Information Processing. Siem Reap, Cambodia: Springer, 2018. 275−286 [129] Arjovsky M, Chintala S, Bottou L. Wasserstein GAN. arXiv: 1701.07875, 2017 [130] Ma B Q, Li H, Zheng W L, Lv B L. Reducing the subject variability of EEG signals with adversarial domain generalization. In: Proceedings of the 26th International Conference on Neural Information Processing. Sydney, Australia: Springer, 2019. 30−42 [131] Ganin Y, Ustinova E, Ajakan H, Germain P, Larochelle H, Laviolette F, et al. Domain-adversarial training of neural networks. The Journal of Machine Learning Research, 2016, 17(1): 2096−2030 [132] Li Y, Zheng W M, Cui Z, Zhang T, Zong Y. A novel neural network model based on cerebral hemispheric asymmetry for EEG emotion recognition. In: Proceedings of the 27th International Joint Conference on Artificial Intelligence. Stockholm, Sweden: IJCAI, 2018. 1561−1567 [133] Soleymani M, Asghari-Esfeden S, Fu Y, Pantic M. Analysis of EEG signals and facial expressions for continuous emotion detection. IEEE Transactions on Affective Computing, 2016, 7(1): 17−28 doi: 10.1109/TAFFC.2015.2436926 [134] Nath D, Anubhav, Singh M, Sethia D, Kalra D, Indu S. A comparative study of subject-dependent and subject-independent strategies for EEG-based emotion recognition using LSTM network. In: Proceedings of the 4th International Conference on Compute and Data Analysis. Silicon Valley, USA: ACM, 2020. 142−147 [135] Zhao S C, Ding G G, Han J G, Gao Y. Personality-aware personalized emotion recognition from physiological signals. In: Proceedings of the 27th International Joint Conference on Artificial Intelligence. Stockholm, Sweden: IJCAI, 2018. 1660−1667 [136] Zhao S C, Gholaminejad A, Ding G G, Gao Y, Han J G, Keutzer K. Personalized emotion recognition by personality-aware high-order learning of physiological signals. ACM Transactions on Multimedia Computing, Communications, and Applications. 2019, 15(1S): Article No. 14 [137] Song T F, Liu S Y, Zheng W M, Zong Y, Cui Z. Instance-adaptive graph for EEG emotion recognition. In: Proceedings of the 34th AAAI Conference on Artificial Intelligence. New York, USA: AAAI, 2020. 2701−2708 [138] Song T F, Zheng W M, Song P, Cui Z. EEG emotion recognition using dynamical graph convolutional neural networks. IEEE Transactions on Affective Computing, 2020, 11(3): 532−541 doi: 10.1109/TAFFC.2018.2817622 [139] Agarwal A, Dowsley R, McKinney N D, Wu D R, Lin C T, de Cock M, et al. Protecting privacy of users in brain-computer interface applications. IEEE Transactions on Neural Systems and Rehabilitation Engineering, 2019, 27(8): 1546−1555 doi: 10.1109/TNSRE.2019.2926965 [140] de Cock M, Dowsley R, McKinney N, Nascimento A C A, Wu D R. Privacy preserving machine learning with EEG data. In: Proceedings of the 34th International Conference on Machine Learning. Sydney, Australia: 2017 期刊类型引用(39)
1. 朱雯熙，李亭慧. 主体性与秩序正义:行政治理中情感计算的伦理反思与超越. 人文杂志. 2024(02): 111-120 . 
百度学术2. 洪杰文，黄煜. “制造”情感：人机情感的生成逻辑与隐匿性困境. 新闻大学. 2024(01): 61-77+121 . 百度学术3. 林铭炜，许江松，林佳胤，刘健，徐泽水. 面向在线教育的学习者情感识别综述. 控制与决策. 2024(04): 1057-1074 . 百度学术4. 刘斌，张泽瑞. 国内外沉浸式学习环境研究综述. 湖南科技学院学报. 2024(01): 127-132 . 百度学术5. 齐悦廷，韩海燕，韩晓宇，张婧文，李娜. 界面设计影响蒙汉用户视觉注意的脑电研究. 包装工程. 2024(06): 290-298 . 百度学术6. 毛泽民，康巧菊，宋雨，袁龙灿. 基于脑电信号的聋人情绪识别研究. 天津理工大学学报. 2024(02): 92-99 . 百度学术7. 李长庭，赵印，毕惜茜. 多模态智能审讯技术的原理与实战化应用路径研究. 中国人民公安大学学报(社会科学版). 2024(02): 22-29 . 百度学术8. 孙五俊，姜媛，方平. 混合情绪的测量：模型、方法与展望. 心理科学. 2024(04): 959-965 . 百度学术9. 司俊勇，付永华. 多模态数据融合的在线学习情感计算研究. 图书与情报. 2024(03): 69-80 . 百度学术10. 张琪，熊馨，周建华，宗静，周雕. 注意力残差网络结合LSTM的EEG情绪识别研究. 华东理工大学学报(自然科学版). 2024(04): 570-579 . 百度学术11. 李红利，刘浩雨，张荣华，成怡. 基于多维特征矩阵和改进稠密连接网络的情感分类. 东北大学学报(自然科学版). 2024(07): 928-935 . 百度学术12. 段雪莹，侯燕，吴璐琨. 机器学习算法在智能审讯中的应用. 集成电路应用. 2024(12): 380-381 . 百度学术13. 李铭，乔晓艳. 基于多导联脑电时空信息的情感分类研究. 山西大学学报(自然科学版). 2023(01): 167-175 . 百度学术14. 陈景霞，唐喆喆，林文涛，胡凯蕾，谢佳. 用于脑电数据增强和情绪识别的自注意力GAN. 计算机工程与应用. 2023(05): 160-168 . 百度学术15. 许桂芳，穆肃. 个性化学习资源推荐中文本情感识别的作用及关键技术. 中国电化教育. 2023(05): 105-112 . 百度学术16. 赵丽，李苏琦，王淑文. 脑机接口技术支持学习情感识别的应用框架及反思. 电化教育研究. 2023(05): 82-89 . 百度学术17. 苏珂，李大帅，张伟. 产品设计中用户潜在需求获取方法研究综述. 计算机集成制造系统. 2023(04): 1284-1300 . 百度学术18. 俞洋钊，何炳蔚，白丽英，张彧，俞广杰，钟发炘. 基于虚拟现实和动态加权决策融合的恐高情绪识别. 计算机系统应用. 2023(07): 35-46 . 百度学术19. 袁凯烽，侯璐，黄永锋. 基于多源域领域适应字典学习和稀疏表示的脑电情感识别方法. 南京信息工程大学学报(自然科学版). 2023(04): 412-418 . 百度学术20. 王淑娴. 基于人机交互的心理健康动态监测数据分析及系统设计. 自动化与仪器仪表. 2023(07): 28-33 . 百度学术21. 张志雯，赵丽，边琰，何兴霖，孟铜宁. 基于ELM和SVM皮电信号情绪分类识别的研究. 自动化与仪器仪表. 2023(07): 10-13 . 百度学术22. 秦天鹏，生慧，岳路，金卫. 脑电信号情绪识别研究综述. 计算机工程与应用. 2023(15): 38-54 . 百度学术23. 钟志文，陈茂洲. 基于Otsu的EEG通道选择情绪识别研究. 现代电子技术. 2023(17): 39-42 . 百度学术24. Dongrui Wu，Jiaxin Xu，Weili Fang，Yi Zhang，Liuqing Yang，Xiaodong Xu，Hanbin Luo，Xiang Yu. Adversarial attacks and defenses in physiological computing:a systematic review. National Science Open. 2023(01): 65-93 . 必应学术25. 黄雪英. 情感计算在数字行政治理中的应用、风险及规制. 江海学刊. 2023(05): 174-182 . 百度学术26. 李文政，王文娟，彭勇，孔万增. 联合双映射域适应与图半监督标签估计的脑电情感识别方法. 中国生物医学工程学报. 2023(05): 529-541 . 百度学术27. 高天书. 情感计算风险在数字行政治理中的扩张及其规制. 产业经济评论(山东大学). 2023(03): 150-169 . 百度学术28. 张涵，郑晓敏，刁肖磊，蔡冬丽. 基于注意力路由胶囊网络的多通道脑电情感识别. 华南师范大学学报(自然科学版). 2023(05): 103-110 . 百度学术29. 罗仕鉴，朱媛，石峰. 创意设计融合智能技术提升新经济新动能研究. 包装工程. 2022(02): 17-28+41 . 百度学术30. 袁密桁，董煜阳，吕晓彤. 基于EEG溯源分析的情绪调节研究. 电视技术. 2022(06): 85-90 . 百度学术31. 张静，张雪英，陈桂军，闫超. 结合3D-CNN和频-空注意力机制的EEG情感识别. 西安电子科技大学学报. 2022(03): 191-198+205 . 百度学术32. 梁圣金. 多预测融合的脑电情绪识别迁移方法. 电视技术. 2022(07): 13-18 . 百度学术33. 陈景霞，胡修文，唐喆喆，刘洋，胡凯蕾. 基于卷积联合适应网络的脑电信号情感识别. 数据采集与处理. 2022(04): 814-824 . 百度学术34. 翟雪松，许家奇，王永固. 在线教育中的学习情感计算研究——基于多源数据融合视角. 华东师范大学学报(教育科学版). 2022(09): 32-44 . 百度学术35. 卢兆麟，孙远波，宋新衡，袁若歆，宋浩，王惠萱. CASE趋势下车身造型形态设计研究现状与展望. 计算机集成制造系统. 2022(09): 2766-2781 . 百度学术36. 昝梦园，魏翌欣，乔鲲源. EEG融入自标签的自监督对比学习情感分析方法. 软件. 2022(11): 21-23 . 百度学术37. 吕宝粮，张亚倩，郑伟龙. 情感脑机接口研究综述. 智能科学与技术学报. 2021(01): 36-48 . 百度学术38. 吕宝粮，张亚倩，刘伟，郑伟龙. 基于多模态情感脑机接口的抑郁症客观评估与调控治疗. 中华精神科杂志. 2021(04): 243-251 . 百度学术39. 韩永明，张明星，耿志强. 基于心率变异性特征和PCA- SVR的PAD维度情感预测分析. 北京化工大学学报(自然科学版). 2021(05): 102-110 . 百度学术其他类型引用(107)
-
下载:
计量
- 文章访问数: 3997
- HTML全文浏览量: 5750
- PDF下载量: 1523
- 被引次数: 146
