Direct-brain-controlled Robot Direction and Speed Based on SSVEP Brain Computer Interaction
-
摘要: 直接用思维意图来控制机器人而没有大脑外周神经和肌肉的参与是人类的一个梦想，目前这一研究已成为国际前沿热点和突破点.传统的脑控机器人（Brain-controlled robot，BCR）主要控制其方向，而本文旨在探讨能够同时脑控机器人方向和速度的有效方法.采用可分类目标数多、单次识别率高且训练时间短的稳态视觉诱发电位（Steady state visual evoked potentials，SSVEP）脑机交互（Brain-computer/machine interaction，BCI/BMI）方法，为脑控机器人运动规划了向左、向右、前进和后退4个方向，设计了低速、中速和高速3级运动速度并组合了9个脑控指令；进而比较并优化了SSVEP刺激目标布局间距以及刺激目标闪烁时间，采用典型相关分析（Canonical correlation analysis，CCA）进行识别.结果表明恰当设置SSVEP刺激目标数及其布局间距和刺激目标闪烁时间，可以有效提高被试/用户直接脑控机器人的性能；优化的SSVEP刺激范式三结合适应SSVEP解码的典型相关分析，8名被试脑控机器人到达终点平均用时为2分40秒，最少用时1分29秒；同时，在脑控机器人运动过程中触碰障碍平均次数为0.88，最少碰触次数为0.本研究显示基于SSVEP的脑机交互可以作为直接脑控机器人灵活运动的一种可选方法，能够实现对机器人多个运动方向和多级速度的控制；也证实了适当增加刺激目标间距可以有效提高SSVEP-BCI脑控指令识别的正确率，说明了该脑控方法的性能与刺激被试的范式有关；再次验证了CCA算法在基于SSVEP的脑机交互中具有优良的效果.最后，为克服单一SSVEP范式存在的局限，本研究也尝试把该范式与运动想象相结合的混合范式用于脑控机器人方向和速度，并进行了初步的研究，表明可以进一步改善控制速度和提高被试舒适度.本文可望为基于SSVEP或与运动想象混合的脑机交互应用于分级或精细控制机器人方向和速度提供思路，并为直接脑控机器人技术推向实际应用打下一定的基础.Abstract: Direct use of thinking to control a robot without peripheral nerves and muscles is a dream of human beings, and this research has become a hot spot and a breakthrough point in the world. The traditional brain-controlled robot (BCR) mainly controls the direction, and this paper aims to explore the effective method to control the direction and speed of robot through brain. Using the brain-computer/interaction (BCI/BMI) method based on steady state visual evoked potential (SSVEP), 9 instructions are designed to control the robot. And the canonical correlation analysis (CCA) method is used to identify EGG patterns. The results show that appropriate setting of the target number and its layout spacing and the flashing time can effectively improve the performance of the direct-brain-controlled robot. The optimization of the SSVEP stimulus paradigm three, the average time of 8 subjects controlled robot to reach destination using 2 minutes and 40 seconds, with a minimum of 1 minutes and 29 seconds. Meanwhile, the average number of touching obstacles is 0.88, the least touch number is 0, and the maximum number of touch is 3. This study shows that the BCI based on SSVEP can be used for the direct-brain-controlled robot. In order to overcome the limitations in the single SSVEP paradigm, this study also combines motor (Hybrid-BCI) imagery to control the robot. This paper is expected to provide ideas for the direction and speed control for the brain-computer interaction based on SSVEP or combined with motor imagery, and to provide a certain basis for practical direct-brain-controlled robot technology.
-
脑机接口/脑机交互(Brain-computer/ma- chine interaction,BCI/BMI)是绕过大脑外周神经和肌肉的参与,由脑信号实现大脑 与外部设备直接的通信和控制 [1-2],其在机器人控制领域的一个重要应用 是脑控机器人(Brain-controlled robot,BCR)技术 [3-6],即用感知、思维意图控制机器人的研究.该研究是 脑科学、信息科学与控制科学交叉跨学科研究,目前已成为国际重大前沿突破点. 这一技术不仅可望战略性地用于国防军事目的,也可望为严重运动残疾患者提供 一种新的通信和控制通道 [2],从而改善他们的生活质量;更可望在特殊情况下为健康用户提供脑控机器人或外部设备 [3, 7],也提高他们生活的质量.
传统的脑控机器人研究主要实现对机器人简单的方向控制,难于实现对其速度的控制 [3, 8].但在实际应用中,需要实现对其方向的灵活控制,也需要实现对其速度的灵活控制,这些需求提出了一个很大的挑战.已有基于运动想象(Motor imagery,MI)脑电的脑机交互 范式多数是简单的运动想象模式 [9-10],仅提供小的指令集,难于满足机器人灵活运动对多个方向和多级速度 的控制需求;而复杂运动想象模式的脑功能机制及其信号特征尚没有得到充分的研究 [11],因此对复杂运动想象模式的识别精度低,目前也难于提供大指令集 [12-13].此外,实用的脑控机器人系统应满足大多数用户需要较少的或不需要训练就能够实现操控.然而,基于运动想象模 式的脑机交互性能在被试内(同一被试运动想象的能力和其状态随时间而变化)和被试间 (不同个体运动想象的能力)的变异性较大,研究表明存在严重的BCI盲问题 [14-16].
除了上述基于运动想象的脑机交互外,基于P300的脑机交互虽然其识别目标数可以超过30个,但是为保证识别精度需要至少2个重复次数,难于做到单次识别 [17],脑控机器人运动的实时 性会受到限制.相比上述两种范式,基于SSVEP的脑机交互不仅可识别的目标数多(可超过 40个) [18],能够提供大指令集(即可提供更多精细的运动控制指令),以满足脑控机器人 灵活运动对方向和速度的分级控制;而且该类脑机交互需要被试较少的适应性训练 [19].为 此,本研究拟采用基于SSVEP的脑机交互方法直接脑控机器人的方向和速度,比较普遍适用于 字符输入的该范式 [18-19],为有效用于脑控机器人接口,将根据机器人灵活运动对方向和速 度的要求,优化此范式的设计及控制策略,恰当设置SSVEP刺激目标数及其布局;然后结合优化 的刺激范式,采用适用于SSVEP解码的典型相关分析(Canonical correlation analysis,CCA)方法 [20].
此外,为克服SSVEP存在的局限,本文也对SSVEP与MI相结合脑控机器人方向和速度进行了初步 的研究.本文可望为基于SSVEP或与MI混合的脑机交互用于脑控机器人复杂灵活运动的研究和 应用提供启发,并为推动直接脑控机器人技术走向实际应用打下一定的基础.
1. 直接脑控机器人测试平台及任务
直接脑控机器人系统如图 1所示,该图表明了大脑、计算机和机器人之间的关系,由神经反馈和其他反馈构成闭环控制系统.
为测试基于SSVEP脑机接口/脑机交互直接脑控机器人的性能,本实验研究采用2015年第二届中国脑 - 机接口比赛官方 提供的脑控机器人测试平台,如图 2(a) 所示 [21].直接脑控机器人的任务是: 从起点出发,绕过障碍物,最终达到终 点,该测试平台自动记录用时以及触碰障碍物次数(每碰撞一次惩罚5秒).脑控机器人控制指令由13个字符组成,脑 机交互(BCI)系统可以通过指令控制机器人的运动方向(如前进、后退、左转和右转)和运动速度(例如可以 是低速、中速和高速三种模式),机器人通过指令获得初始速度后会由于阻力等因素的影响,运动速度在较短时间内 逐渐减小到0 [21].测试平台与BCI系统之间通信采用客户端/服务器结构,如图 2 (b)所示,测试平台为服务器端,BCI系 统为客户端,通过TCP/IP进行连接.
图 2 脑控机器人测试平台及脑控机器人系统客户/服务器结构Fig. 2 The test platform and client/server architecture \\for brain-controlled robot system2. 实验研究的材料和方法
2.1 实验被试、脑电采集设备及参数
验被试: 共8个被试(Subject,S1 $\sim$ S8),5名男性,3名女性,年龄在23 $\sim$ 27岁之间,健康状况良好,视力正常或已矫正,对实验研究均知情同意.脑电采集设备采用博睿康科技有限公司(Neuracle) 的32通道无线脑电采集系统(包括脑电帽、无线脑电放大器以及无线路由器). 采样频率设置为250 Hz,记录电极为Pz、P3、P4、PO3、PO4、PO7、 O1、Oz、O2、PO8以及参考电极Cz,接地电极为FPz,导联位置符合国际10-20标准,实验中保持电极阻抗在5 k欧姆以下.
2.2 基于SSVEP脑机交互范式和脑控机器人策略
2.2.1 基于 SSVEP 脑机交互范式
SSVEP脑机交互范式利用Matlab的Psychtoolbox (PTB)工具箱实现.采用刷新率60帧/秒 的液晶显示器,分辨率设置为1 366 × 768 (像素).刺激目标由大小为150 × 150 (像素)的9个方块 组成,如图 3所示.每个刺激目标由特定频率调制,本实验中,刺激目标从左至右,从上至下 的闪烁频率分别为[8 12 9 13 9.5 10 14 10.5 15] Hz.实验开始时,刺激界面首先静止呈现3秒,3秒后9个刺激目标分别以上述频率闪烁.
2.2.2 脑控机器人策略
为有效完成第1节中直接脑控机器人测试平台中要求的任务: 灵活的方向和速度控制,一种策略是对图 3中的9个刺激目标分别设置适当的控制机器人方向和速度的指令,如表 1所示.其中,指令串中"BCI"为控制命令头; 用户标识"ID": 01~99; 开关标识"CA": 0000 ~3333,其中不同位代表不同方向的运动,0、1、2、3分别代表0速,低速,中速及高速 [21].
表 1 一种脑控机器人策略: SSVEP 脑机交互刺激范式刺激目标对应的脑控制指令Table 1 A strategy for brain-controlled robot: control commands corresponding to the stimulus targets of SSVEP-based BCI stimulation paradigmF(Forward) BCIID01CA1000 低速前进 F+ BCIID01CA2000 中速前进 F++ BCIID01CA3000 高速前进 B(Backward) BCIID01CA0100 低速后退 B+ BCIID01CA0200 中速后退 L(Left) BCIID01CA0010 低速左转 L+ BCIID01CA0020 中速左转 R(Right) BCIID01CA0001 低速右转 R+ BCIID01CA0002 中速右转 2.3 基于 SSVEP脑机交互范式优化
对于第2.2节的SSVEP脑机交互刺激范式,9个刺激目标的布局和它们的间距可能影响分类 识别率.为了寻找更有效的控制,本研究设计了三种不同的刺激范式,如图 3、图 4(a) 和图 4(b) 所示.三种刺激范式的差别在于刺激目标之间的间隔.其中,范式一刺激目标 之间的间距为10;范式二刺激目标之间的间距为100;范式三刺激目标之间水平间距为428,垂直间距为198.本实验中,三种范式刺激(Trials)呈现时间均设置为3秒,视觉转移时间 (即每个Trial之间的间隔时间)设置为1.5秒,固定脑控机器人测试平台环境(图 2(a) ),每个被试在三种刺激范式下分别进行3次脑控制机器人实验,测试结果见第3节实验结果部分的表 2.
图 4 SSVEP脑机交互刺激范式二和范式三Fig. 4 The second and the third SSVEP-based BCI stimulation paradigm表 2 三种SSVEP 刺激范式下被试脑控机器人达到终点用时及触碰障碍物次数Table 2 The consuming time and the number of touching obstacles when subjects controlling robot by their brains to reach the destination under three SSVEP stimulation paradigmsS SSVEP刺激范式一 SSVEP刺激范式二 SSVEP刺激范式三 用时(min) 触碰次数 用时(min) 触碰次数 用时(min) 触碰次数 S1 6018 5 4036 3 3059 3 6026 3 3054 2 3036 0 5056 4 4012 2 3041 1 6032 6 4057 3 2046 1 S2 5048 3 4020 1 3039 2 5026 4 4029 3 3001 0 5050 3 4021 2 2019 0 S3 5003 2 3039 1 3002 0 5043 4 3054 2 2043 1 6038 5 3004 0 2037 0 S4 5055 4 4020 3 3056 3 5052 4 3039 1 3017 2 5018 4 3035 1 1059 0 S5 4048 3 3026 2 2032 1 4044 3 3005 1 2009 0 5046 4 3022 2 2047 0 S6 6009 6 3051 2 3014 2 5054 4 3025 1 2025 0 5027 5 2050 2 1029 0 S7 4059 5 3009 2 2027 1 4055 6 2059 2 1047 1 7016 5 3053 1 3042 2 S8 6011 4 3054 2 3025 0 6049 4 3013 2 3024 1 Aver 5035 4.17 3032 1.75 2040 1.88 Min 4044 2 2050 0 1029 0 Var 0.39 1.06 0.39 0.60 0.46 0.64 在上述实验过程中,发现刺激目标的刺激呈现时间会影响被试的正确识别率.为验证这一发现,基于图 3、图 4(a) 和图 4(b) 所示刺激范式下做如下实验每个被试对同一种刺激范式进行4组测试,每组30个Trials,每个Trial之间的注意力转移时间Ts均为1.5秒,不同的是4组测试的刺激时间Td (即刺激目标闪烁时间)分别为1秒、2秒、3秒及4秒.每组实验前,利用 VC++从9个字符串控制指令"低速前进"、"中速前进"、"高速前进"、"低速后退"、"中速后退"、 "低速左转"、"中速左转"、"低速右转"、"中速右转"中随机产生30个Trials.实验时,在一个Trial结束下一个Trial开始前,由一名辅助人员依次喊出VC++随机生成的控制指令,被试随即注视控制指令对应的刺激目标,在Td结束后,系统将结果反馈呈现给被试,反馈的 刺激目标背景变为红色(如图 3),呈现0.5秒,同时,另一名辅助人员记录每个Trial反馈的结果. 每组实验之间有3分钟休息时间.实验结果见第3节实验结果部分的表 3 $\sim$ 表 5.本实验 不连接脑控机器人测试平台,仅实验被试在三种刺激范式设置下的识别精度,以优化SSVEP刺激范式.
表 3 SSVEP脑机交互刺激范式一下刺激目标不同闪烁时间被试的正确识别率(%)Table 3 The correct recognition rate (%) at different flickering durations for 8 subjects under the first SSVEP-based BCI stimulation paradigmS Td=1s Td=2s Td=3s Td=4s S1 33.33 66.67 83.33 86.67 S2 36.67 70.00 86.67 93.33 S3 30.00 63.33 80 86.67 S4 30.00 60.00 76.67 80 S5 46.67 80.00 93.33 100 S6 43.33 80.00 90 96.67 S7 36.67 70.00 86.67 90 S8 40.00 66.67 83.33 86.67 Aver 37.08 69.58 85 90 Max 46.67 80.00 93.33 100 Var 31.78 45.66 24.99 36.11 表 4 SSVEP脑机交互刺激范式二下刺激目标不同闪烁时间被试的正确识别率(%)Table 4 The correct recognition rate (%) at different flickering durations for 8 subjects under the second SSVEP-based BCI stimulation paradigm stimulation paradigmS Td=1s Td=2s Td=3s Td=4s S1 40.00 73.33 86.67 93.33 S2 43.33 80.00 90 96.67 S3 36.67 73.33 86.67 93.33 S4 40.00 76.67 90 93.33 S5 56.67 86.67 96.67 100 S6 53.33 83.33 93.33 100 S7 43.33 76.67 90 93.33 S8 46.67 80.00 93.33 96.67 Aver 45.00 78.75 90.83 95.83 Max 56.67 86.67 96.67 100 Var 41.67 19.28 10.41 7.65 表 5 脑机交互刺激范式三下刺激目标不同闪烁时间被试的正确识别率(%)Table 5 The correct recognition rate (%) at different flickering durations for 8 subjects under the third SSVEP-based BCI stimulation paradigm stimulation paradigmS Td=1 s Td=2 s Td=3 s Td=4 s 4 5 S1 43.33 80.00 90.00 93.33 4 5 S2 46.67 83.33 93.33 96.67 4 5 S3 43.33 80.00 90.00 93.33 4 5 S4 40.00 76.67 90.00 96.67 4 5 S5 60.00 86.67 96.67 100 4 5 S6 53.33 86.67 96.67 100 4 5 S7 46.67 83.33 93.33 93.33 4 5 S8 46.67 83.33 96.67 100 4 5 Aver 47.50 82.50 93.33 96.67 4 5 Max 60.00 86.67 96.67 100 4 5 Var 35.42 10.42 8.34 8.34 4 5 2.4 典型相关分析 (CCA)
典型相关分是一种最大化两类相似性的空间滤波器. Lin等首先将CCA应用于基于SSVEP的 脑 - 机接口系统中 [22].一般而言,我们把Bin等提出的方法称为标准CCA (Standard CCA) [20].
在采用CCA方法处理脑电图(Electro encephalograph,EEG)数据时,我们设C、N、$N_{h}$、$f_{s}$分别表示EEG通道数、时间点数、 谐波数和采样频率,记$X \in {R^{C \times N}}$ 为实验采集到的C导EEG数据,$Y(f) \in {R^{2{N_h} \times N}}$为模板信号,f为刺激频率,则定义如下:
$Y(f) = \left[ {\begin{array}{*{20}{c}} {\cos 2\pi fn} \\ {\sin 2\pi fn} \\ {\cos 4\pi fn} \\ {\sin 4\pi fn} \\ \vdots \\ {\cos 2{N_h}\pi fn} \\ {\sin 2{N_h}\pi fn} \end{array}} \right],\quad n = \frac{1}{{{f_s}}},\frac{2}{{{f_s}}}, \cdots ,\frac{N}{{{f_s}}}$
(1) ${W_x} \in {R^{C \times 1}}{W_y} \in {R^{2{N_h} \times 1}}$分别表示$X$与$Y\left( f \right)$的权向量,则CCA可以定义为如下问题:分别寻找向量 Wx与Wy},使得X、 Y(f)在向量${ W}_{x}$与${ W}_{y}$上的投影$x = W_x^{\text{T}}X$、$y = W_y^{\text{T}}Y(f)$之间的相关值最大,即
$\begin{gathered} \rho (f) = \max \frac{{{\text{E}}[x \cdot {y^{\text{T}}}]}}{{\sqrt {{\text{E}}[x \cdot {x^{\text{T}}}]{\text{E}}[y \cdot {y^{\text{T}}}]} }} = \hfill \\ \frac{{{\text{E}}[W_x^{\text{T}} \cdot Y{{(f)}^{\text{T}}}{W_y}]}}{{\sqrt {{\text{E}}[W_x^{\text{T}}X \cdot {X^{\text{T}}}{W_X}] \cdot {\text{E}}[W_y^{\text{T}}Y(f) \cdot Y{{(f)}^{\text{T}}}{W_y}]} }} \hfill \\ \end{gathered} $
(2) 式(2)中寻找最优问题可通过广义特征值的分解来解决,这样对于特定的刺激频率f可 以得到一个相关性最大的值$\rho(f)$.
基于SSVEP的脑 - 机接口系统中,如果有${m}$个刺激目标,其闪烁频率为$f_1,f_2,\cdots ,f_{m} (f_1＜f_2＜f\cdots ＜ff_{m})$,那么需要找到一种方法使得系统能够识别出被试凝视的刺激目标,CCA便是一种有效的方法 [20]. 所有的刺激频率均可以通过式(2)计算得到其$\rho(f) (f=f_1,f_2,\cdots ,f_{m})$,那么目标频率$f_{\rm target}$可通过式(3)得到:
$f_{\rm target}={\rm argmax}_{f}\rho(f),\quad f=f_1,f_2,\cdots ,f_{m} $
(3) 那么,我们将得到的$f_{\rm target}$认为是被试注视的目标刺激频率.
2.5 基于SSVEP脑机交互直接脑控机器人系统结构
综合上述方法,本实验构建的基于SSVEP脑机交互直接脑控机器人系统结构如图 5所示,为同步工作方式.其中包括SSVEP刺激范式呈现屏幕及解码计算机、脑控机器人测试平台、 脑电帽及无线脑电放大器和无线路由,它们之间的信息交互均通过无线路由器. 实验前查看并设置解码计算机、机器人测试平台及无线脑电放大器的IP地址,确保解码计算机与脑控机器人测试平台、无线脑电放大器之间实时通讯. 基于SSVEP脑机交互直接脑控机器人方向和速度的过程如下: 解码计算机启动脑机接口/脑机 交互程序(客户端),屏幕呈现SSVEP 刺激范式,脑控机器人测试平台(服务器端)连入客户端 并开始计时,被试观察并规划机器人运动路径,然后注视与期望运动方向和速度相对应的刺激目标,同时无线脑电放大器将采集到的脑电信号(模拟信号)转换成数字信号经无线路由同步 (时间精度小于1毫秒)发送至客户端,解码计算机分析接收到的脑电信号并将识别结果呈现在屏幕上(如图 3),被识别的刺激目标背景变为红色,呈现0.5秒,同时与之对应的控制指令经无线路由发送至服务器端,从而实 现对机器人运动方向和速度的分级控制.实验中,被试根据机器人的运动状态、位置以及周边的障碍,规 划下一步运动路径和控制策略,然后再次注视相应的刺激目标,如此,反复操控SSVEP-BCI系统,最终使机器人到达目标位置(用时越短越好,碰触障碍数目越少越好).
图 5 基于SSVEP脑机交互直接脑控机器人系统结构Fig. 5 The structure of SSVEP-based BCI directly brain-controlled robot2.6 一个初步研究: SSVEP与MI 相结合脑控机器人方向和速度
2.6.1 控制策略
直接脑控机器人的安全性非常重要,其方向的控制更多地涉及到安全问题,被试/用户需要根据障碍或转向需求,及时控制机器人的方向.考虑到SSVEP实现控制的速度比想象运动慢,我们采用SSVEP与运动想象相结合的多模态方法,该混合/融合的脑机交互控制策略如下: SSVEP的控制策略不变,如表 1所示,仅把该表中的中速后退"B+"修改为"切入运动想象模式" -- "MI",即增加模态转换指令. 在SSVEP模态下,当被试想要转换为运动想象模态时,将注意力集中于"MI"目标块上即可. 当系统顺利切换到运动想象脑机交互系统时,SSVEP刺激范式界面消失,变为黑色画面,此时被 试可以实现4种控制状态: "左手运动想象"对应低速左转; "右手运动想象"对应低速右转; "空闲(不进行任何运动想象)"对应低速前进,"双脚运动想象"对应停止运行(或低速后退).
2.6.2 初步结果
在实验前,修改图 3及图 4(a) 和图 4(b) 的人机交互界面,B+改为MI.记录电极在原来的基础上,增加C3、C4.
1) 被试反映,需要对机器人方向控制时,发出运动想象意图到机器人做出反应的速度比单独的SSVEP模式快. 这可能是自定节奏的运动想象不需要被试在控制场景和GUI (Graphical user interface)之间进行频繁视觉切换,加快了控制速度.
2) 此外,被试反映,运动想象期间可以集中于心理活动,避免了频繁的视觉刺激,眼睛得到了一定时间的休息,疲劳程度得到一定的缓解,误操作也有所减少.
3. SSVEP脑控机器人实验结果
每名被试在同一种刺激范式下均进行三次实验,表 2呈现了8名被试脑控机器人 实验用时(min)、触碰障碍物次数、平均用时(Average,Aver)、最少(Minimum,Min)用时以及方差(Variance,Var).表 2中"6'18" 表示脑控机器人达到终点用时为6分18秒.
为比较和优化SSVEP脑机交互刺激范式,表 3 $\sim$ 表 5分别呈现了在SSVEP刺激范式一、范式二、 范式三下8名被试在不同的刺激目标闪烁时间Td时的正确识别率、平均识别率和最高识别率.表中Average (Aver)、 Maximum (Max)分别表示平均及最高正确识别率.
为了更好地比较三种SSVEP脑机交互刺激范式脑控机器人运动的性能和不同刺激时间下的识别率,图 6呈现了三种SSVEP刺激范式下被试脑控机器人达到终点的平均用时、触碰障碍物次数、 在1 $\sim$ 4秒刺激时间下的平均正确识别率以及相关方差.
图 6 三种SSVEP刺激范式下被试脑控机器人达到终点平均用时及触碰障碍物次数及在1 $\sim$ 4秒刺激时间下的平均正确识别率Fig. 6 The averaged consuming time,number of touching obstacles and classification accuracies across 8 subjects when their controlling robot by their brains to reach the destination under three SSVEP stimulation paradigms4. 讨论
脑机交互是一种新型的人机交互技术,基于脑机交互的一个重要应用研究是脑控 [15],其中直接脑控机器人是脑控在机器人领域的一个新的应用和研究方向 [3, 23]. 直接脑控机器人的研究可望架起人脑生物智能与人工机器智能交汇和融通的桥梁,具有重要的科学意义和应用价值,然而这方面的研究仍然处于需要突破的阶段. 传统的脑控机器人主要实现对其方向的简单控制,但如何实现对其方向和速度更 精细和灵活的控制是一个没有彻底解决的问题.什么样的脑机交互范式适合直 接脑控机器人的灵活运动?在众多的脑机交互范式中,稳态视觉诱发电位(Steady state visual evoked potentials,SSVEP) 是一类非常重要的脑机交互范式,本文尝试基于该范式实验研究直接脑控机器人方向和速度的研究.
基于SSVEP的脑机交互范式可识别的目标数多,可以根据机器人运动控制需求,灵活设置刺激目标以产生需要的方向和速度控制指令.本实验研究为脑控 机器人运动规划了向左、向右、前进和后退4个方向,低速、中速和高速3级运动速度; 适当组合后设置了低速前进、中速前进、高速前进、低速后退、中速后退、 低速左转、中速左转、低速右转和中速右转共9个脑控指令,分别对应刺激目标 F、F+、F++、B、B+、L、L+、R、R+.在这些设计和配置的基础上,进而优化SSVEP 脑机交互范式.此外,为通过SSVEP解码被试意图,本研究采用CCA,它是一种利用综 合变量对之间的相关关系来反映两组指标之间整体相关性的多元统计分析方法,可以最大化两类相似性,能够计算出特定刺激频率相关性最大的值,从而有效识别出被试注视的目标刺激频率 [20-22].
在刺激呈现时间、视觉转移时间、测试平台环境相同的条件下,表 2和图 6(a) 表明,SSVEP刺激范式三下8名被试脑控机器人到达终点平均用时为2分40秒,比刺激范式一和二平均用时分别缩短了2分55秒、2分52秒;同时,在SSVEP刺激范式 三下8名被试脑控机器人运动过程中触碰障碍平均次数为0.88,也比刺激范式一和范式二平均触碰次数分别减少了3.29、0.87.此外,对于刺激 范式三,8名被试脑控机器人到达终点最少用时1分29秒,碰触次数为0,最多碰触次 数为3,而在刺激范式一和范式二下到达终点最少用时分别为4分44秒、2分50秒. 三种SSVEP范式,随着刺激目标布局间距的增加,每个被试脑控机器人到达终点用 时均减小,而触碰次数总体上也呈现减少的趋势.这些脑控机器人运动性能的提 高归根结底有赖于对机器人运动方向和速度的准确和及时的调控,否则性能难于 有显著的提高,这可能需要优化SSVEP刺激范式并采用有效的特征提取和识别算法. 表 2表明SSVEP刺激范式三具有更有效的控制性能.虽然不同的被试之间脑控性能 不一样,同一被试3次实验的性能也不一样,但是8个被试并且3次实验都能够较 好地完成任务,这也表明SSVEP脑机交互范式对被试具有较好的适应性,BCI盲问题不严重.
此外,表 3 $\sim$ 表 5以及图 6(b) 表明:在Td = 1 s、2 s、3 s、4 s时,SSVEP脑机交互刺激范式一、范式二和范式三下8个被试的平均识别率随着刺激 目标布局间距的增加而得到提高,刺激范式二比刺激范式一有较大提高,超过5.8 %,而刺激范式三比刺激范式二也有所提高,最低提高了0.84 %,最高 提高了3.75 %.此外,在同一SSVEP脑机交互刺激范式下,随着刺激 目标闪烁时间的增加,8个被试的平均识别率也得到提高,Td = 2 s比Td = 1 s有很大的提高,提高超过30 %,Td = 3 s比Td = 2 s也有较大的提高,提高超过10 %,而Td = 4 s比Td = 3 s也有所提高,提高超过3 %;随着刺激目标闪烁时间的增加,8个 被试中最高识别率也得增加.然而,刺激目标闪烁时间的增加,又会降低运动控制的 实时性,这需要在识别精度和快速响应之间做出平衡.总之,表 3 $\sim$ 表 5进一步 验证了SSVEP刺激目标之间的间距会影响被试的正确识别率,从而影响对机器人 运动方向和速度的准确和及时的调控,最终影响脑控机器人的运动性能.
上述三种SSVEP脑机交互刺激范式,随着刺激目标布局间距的增加,正确识别率增加的主要原因是:相邻刺激目标间距越小,相互之间对 被试的视觉注意产生的干扰越大,当被试转移注视和注视期望目标时,相邻刺激目标也会在被试脑电波中诱发电位,使得稳态视觉诱发电位会出现交叉串叠,从而使错误识别率上升;反之,间距越大,相互之间对被试的视觉注意干扰越小,期望目标的稳态视觉诱发电位的频率特征显著,正确识别率增加.此外,SSVEP脑机交互刺激范式二中刺激目标之间的间距是 范式一中刺激目标之间间距的10倍,相邻目标之间对被试的视觉注意干扰有 显著的减少,因此范式二比范式一被试的正确识别率有很大的提高;但是随着 刺激目标之间间距的不断增加,相邻目标之间对被试的视觉注意的干扰减少 不显著时,正确识别率的提高有限(刺激范式三比刺激范式二的正确识别率 提高有限).也就是,当刺激目标布局间距继续增加到一定程度后,相邻目标 之间对被试的视觉注意干扰已经减少到最小,正确识别率将不会有明显的增加. 在实际的SSVEP脑机交互刺激范式中,视觉刺激目标呈现屏幕尺寸大小有限制,在规划的刺激目标数目下,建议尽量使刺激目标间距最大.然而,刺激目标间距 再继续增大,临间视觉干扰影响不会那么显著,识别效果不会有显著提高,分类效果主要与算法有关.
随着SSVEP脑机交互刺激目标闪烁时间的增加(Td = 1 s、Td = 2 s、Td = 3 s、Td = 4 s),被试识别率也增加,其主要原因可能是: SSVEP是对外界刺激节律的原始反应 或原始反馈,是固定频率刺激的视觉诱发电位,随着刺激目标闪烁时间的增加,被试的视觉通道有足够的时间稳定反应,从而产生稳定的视觉诱发电位频率特征. 然而,刺激时间再继续增加,被试视觉通道已经有足够时间产生SSVEP (一般来 说3 $\sim$ 4秒刺激时间已足够),正确识别率也不会有显著提高,分类效果也主要与算法有关.
本研究对三种刺激范式的间距和目标刺激时间因素进行了实验和比较,然而SSVEP脑 - 机交互范式还与频率因素有关,本实验中9个刺激目标的闪 烁频率分别设置为8、12、9、13、9.5、10、14、10.5、15 Hz,不同的闪 烁频率诱发的脑电功率集中在该频率及谐波频率处,这为目标探测提供了 显著的特征.正确识别率在很大程度上决定被试脑控机器人用时和碰触障 碍次数(机器人运动控制性能). SSVEP脑机交互范式一、范式二和范式 三的识别率不同,因此被试脑控机器人用时和碰触障碍次数也不一样.识别 率高是机器人运动用时减少的必要条件,但并不意味着用时和碰触次数 一定能够减少,正确识别率和识别速度二者决定了用时和碰触次数. 然而,正确识别率和识别速度之间需要平衡.
另外,视觉转移时间、刺激持续时间、识别时间 (脑电分析和解码,例如CCA解码时间),识别结果反 馈时间都会影响脑控制机器人运动的快速反应时间或 实时性.因此,需要缩短视觉转移时间(如刺激目标和控 制现场同屏幕布局呈现)、刺激持续时间和识别结果反馈时间 (设置为最小极限),同时需要优化解码算法,以缩短识别时间. 为了提高SSVEP脑机交互控制机器人的速度,一种可选的方法是,将场景和GUI进行适当的集成或融合,在场景的周边或内部合理布局闪烁刺激目标,以减少被试/用户在场景和GUI之间进行频繁视觉切换而产生的疲劳及误操作.
如上所述,稳态视觉诱发电位是被试注视外界刺激节律后中枢神经 的原始生理反应 [24],是被动的反应式的视觉诱发电位,单次提取和识别率高 [19],本实验研究的8个被试均能够被诱发出SSVEP,完成脑控机器人运动方向和速度的 控制,到达目标位置.虽然P300也是视觉诱发电位,但它已经是事件相关电位,有一定的认知加工后的反应,越晚的电位,认知程度越高.因此,对P300的提取和 识别一般需要多次叠加,单次识别可能难于保证稳定的识别精度 [25],进而会 影响脑控机器人运动方向和速度控制的精度和实时性,P300用于机器人控制的 性能将会在下一步工作中研究.与眼动依赖型的反应式SSVEP-BCI不同,基于 运动想象心理活动的脑机交互范式是非眼动依赖型的主动式BCI,其动觉运动模式(Kinesthetic-motor mode of imagery)和视觉运动模式(Visual-motor mode of imagery)具有不同的效果,是对运动行为的内心演练,有感知 觉的加工过程,但没有明显的运动输出.为此,该类脑机交互范式高度依赖于 被试的运动想象能力以及有效的训练,并不是每个被试都能够很好地操控 该类BCI,训练后可以达到70 %左右 [26],BCI盲问题较严重.此外,随着运动想象类别数的增加,分类精度和稳定性难于提高,进而难于满足脑控机器人灵活运动所需要的多个方向和多级速度的更精细的控制.
与需要训练被试的运动想象脑机交互范式相比,SSVEP-BCI基本不用训练,大概有80 %被试能用该类BCI [27].然而,SSVEP-BCI要求被试注视视觉刺激,会给被试带来视觉疲劳等不良影响,需要研究减少视觉诱发 刺激对被试的负面影响 [28].相比较,运动想象BCI是非视觉依赖型BCI,它依赖被试的心理活动,不存在视觉刺激问题,然而它需要被试的运动想象能力使得特定导联特定频带的EEG信号的幅 值减弱或增强(Event related synchronization/desychronization,ERS/ERD),目前运动想象BCI系统难于实用化,也难于精细地控制机器人的方向和速度,期望今后有突破.
最后,为提高脑控机器人方向的快速性以保证安全,同时减少 被试疲劳以改善操控的舒适度,本文采用SSVEP与运动想象相结合 的多模态方法,进行了初步的研究.被试反映该混合范式增加了 控制策略选择的灵活度,在一定程度上加快了方向的控制速度,同时可以减少在控制场景和GUI之间进行频繁的视觉切换,降低了疲劳及误操作.最后需要指出的是,虚拟平台与真实脑控机器人环境存在差异,这也是需要进一步对比和完善的地方.
5. 结论
本研究基于SSVEP脑机交互范式规划了脑控机器人运动方向和速度的控制策略,并通过实验比较和优化SSVEP刺激目标布局间距和刺激目标闪烁时间,最后采用有效的典型相关分析解码被试注视意图.验证了SSVEP刺 激目标布局间距和刺激目标闪烁时间会影响分类识别率,在刺激呈现屏幕 和刺激目标数一定的情况下,优化布局,适当增加间距或刺激时间,可以 提高正确识别率.在刺激呈现时间、视觉转移时间、测试平台环境相同 的条件下,SSVEP刺激范式三下8名被试脑控机器人到达终点平均用时 和触碰障碍平均次数表现出优良的性能.最后,SSVEP与MI相结合脑控机 器人方向和速度的初步研究表明,该混合范式可以优势互补,既可以实 现多种类分类,又可以避免长时间视觉刺激引起的视觉疲劳,提升被试 的舒适性与系统的通用性.本实验研究表明基于SSVEP或与运动想象混 合的脑机交互可以通过设置适当数目的刺激目标和运动想象模式以满 足脑控机器人灵活运动(方向和速度控制)的需求,可望为脑控机器人的研究和应用打下一定的基础.
在本研究的基础上,我们进一步的工作是: 1)基于多模态设计新的控制范式和策略,优势互补.深入研究SSVEP-BCI与运动想象BCI 相结合的方法以更好地直接脑控机器人方向和速度; 2)寻找更有效的解码算法进一步提高脑控机器人系统 正确识别率和响应速度; 3)采用多边协同自适应机器学习算法自适应被试脑电的变化,减轻被试视觉或心理活动的疲劳,提高其舒适性.
-
图 2 脑控机器人测试平台及脑控机器人系统客户/服务器结构
Fig. 2 The test platform and client/server architecture \\for brain-controlled robot system
图 4 SSVEP脑机交互刺激范式二和范式三
Fig. 4 The second and the third SSVEP-based BCI stimulation paradigm
图 5 基于SSVEP脑机交互直接脑控机器人系统结构
Fig. 5 The structure of SSVEP-based BCI directly brain-controlled robot
图 6 三种SSVEP刺激范式下被试脑控机器人达到终点平均用时及触碰障碍物次数及在1 $\sim$ 4秒刺激时间下的平均正确识别率
Fig. 6 The averaged consuming time,number of touching obstacles and classification accuracies across 8 subjects when their controlling robot by their brains to reach the destination under three SSVEP stimulation paradigms
表 1 一种脑控机器人策略: SSVEP 脑机交互刺激范式刺激目标对应的脑控制指令
Table 1 A strategy for brain-controlled robot: control commands corresponding to the stimulus targets of SSVEP-based BCI stimulation paradigm
F(Forward) BCIID01CA1000 低速前进 F+ BCIID01CA2000 中速前进 F++ BCIID01CA3000 高速前进 B(Backward) BCIID01CA0100 低速后退 B+ BCIID01CA0200 中速后退 L(Left) BCIID01CA0010 低速左转 L+ BCIID01CA0020 中速左转 R(Right) BCIID01CA0001 低速右转 R+ BCIID01CA0002 中速右转 
下载: 导出CSV
表 2 三种SSVEP 刺激范式下被试脑控机器人达到终点用时及触碰障碍物次数
Table 2 The consuming time and the number of touching obstacles when subjects controlling robot by their brains to reach the destination under three SSVEP stimulation paradigms
S SSVEP刺激范式一 SSVEP刺激范式二 SSVEP刺激范式三 用时(min) 触碰次数 用时(min) 触碰次数 用时(min) 触碰次数 S1 6018 5 4036 3 3059 3 6026 3 3054 2 3036 0 5056 4 4012 2 3041 1 6032 6 4057 3 2046 1 S2 5048 3 4020 1 3039 2 5026 4 4029 3 3001 0 5050 3 4021 2 2019 0 S3 5003 2 3039 1 3002 0 5043 4 3054 2 2043 1 6038 5 3004 0 2037 0 S4 5055 4 4020 3 3056 3 5052 4 3039 1 3017 2 5018 4 3035 1 1059 0 S5 4048 3 3026 2 2032 1 4044 3 3005 1 2009 0 5046 4 3022 2 2047 0 S6 6009 6 3051 2 3014 2 5054 4 3025 1 2025 0 5027 5 2050 2 1029 0 S7 4059 5 3009 2 2027 1 4055 6 2059 2 1047 1 7016 5 3053 1 3042 2 S8 6011 4 3054 2 3025 0 6049 4 3013 2 3024 1 Aver 5035 4.17 3032 1.75 2040 1.88 Min 4044 2 2050 0 1029 0 Var 0.39 1.06 0.39 0.60 0.46 0.64
下载: 导出CSV
表 3 SSVEP脑机交互刺激范式一下刺激目标不同闪烁时间被试的正确识别率(%)
Table 3 The correct recognition rate (%) at different flickering durations for 8 subjects under the first SSVEP-based BCI stimulation paradigm
S Td=1s Td=2s Td=3s Td=4s S1 33.33 66.67 83.33 86.67 S2 36.67 70.00 86.67 93.33 S3 30.00 63.33 80 86.67 S4 30.00 60.00 76.67 80 S5 46.67 80.00 93.33 100 S6 43.33 80.00 90 96.67 S7 36.67 70.00 86.67 90 S8 40.00 66.67 83.33 86.67 Aver 37.08 69.58 85 90 Max 46.67 80.00 93.33 100 Var 31.78 45.66 24.99 36.11
下载: 导出CSV
表 4 SSVEP脑机交互刺激范式二下刺激目标不同闪烁时间被试的正确识别率(%)
Table 4 The correct recognition rate (%) at different flickering durations for 8 subjects under the second SSVEP-based BCI stimulation paradigm stimulation paradigm
S Td=1s Td=2s Td=3s Td=4s S1 40.00 73.33 86.67 93.33 S2 43.33 80.00 90 96.67 S3 36.67 73.33 86.67 93.33 S4 40.00 76.67 90 93.33 S5 56.67 86.67 96.67 100 S6 53.33 83.33 93.33 100 S7 43.33 76.67 90 93.33 S8 46.67 80.00 93.33 96.67 Aver 45.00 78.75 90.83 95.83 Max 56.67 86.67 96.67 100 Var 41.67 19.28 10.41 7.65
下载: 导出CSV
表 5 脑机交互刺激范式三下刺激目标不同闪烁时间被试的正确识别率(%)
Table 5 The correct recognition rate (%) at different flickering durations for 8 subjects under the third SSVEP-based BCI stimulation paradigm stimulation paradigm
S Td=1 s Td=2 s Td=3 s Td=4 s 4 5 S1 43.33 80.00 90.00 93.33 4 5 S2 46.67 83.33 93.33 96.67 4 5 S3 43.33 80.00 90.00 93.33 4 5 S4 40.00 76.67 90.00 96.67 4 5 S5 60.00 86.67 96.67 100 4 5 S6 53.33 86.67 96.67 100 4 5 S7 46.67 83.33 93.33 93.33 4 5 S8 46.67 83.33 96.67 100 4 5 Aver 47.50 82.50 93.33 96.67 4 5 Max 60.00 86.67 96.67 100 4 5 Var 35.42 10.42 8.34 8.34 4 5
下载: 导出CSV
-
[1] Brain-computer interface from Wikipedia, the free encyclopedia [Online], available: http://en.wikipedia.org/wiki/ Brain-computer_interface, April 29, 2016. [2] Hochberg L R, Bacher D, Jarosiewicz B, Masse N Y, Simeral J D, Vogel J, Haddadin S, Liu J, Cash S S, van der Smagt P, Donoghue J P. Reach and grasp by people with tetraplegia using a neurally controlled robotic arm. Nature, 2012, 485(7398): 372-375 doi: 10.1038/nature11076 [3] 伏云发, 王越超, 李洪谊, 徐保磊, 李永程. 直接脑控机器人接口技术. 自动化学报, 2012, 38(8): 1229-1246 doi: 10.3724/SP.J.1004.2012.01229Fu Yun-Fa, Wang Yue-Chao, Li Hong-Yi, Xu Bao-Lei, Li Yong-Cheng. Direct brain-controlled robot interface technology. Acta Automatica Sinica, 2012, 38(8): 1229-1246 doi: 10.3724/SP.J.1004.2012.01229 [4] McFarland D J, Wolpaw J R. Brain-computer interface operation of robotic and prosthetic devices. Computer, 2008, 41(10): 52-56 doi: 10.1109/MC.2008.409 [5] Bell C J, Shenoy P, Chalodhorn R, Rao R P N. Control of a humanoid robot by a noninvasive brain-computer interface in humans. Journal of Neural Engineering, 2008, 5(2): 214-220 doi: 10.1088/1741-2560/5/2/012 [6] Millan J R, Renkens F, Mourino J, Gerstner W. Noninvasive brain-actuated control of a mobile robot by human EEG. IEEE Transactions on Biomedical Engineering, 2004, 51(6): 1026-1033 doi: 10.1109/TBME.2004.827086 [7] Comparison of consumer brain-computer interfaces from Wikipedia, the free encyclopedia [Online], available: http://en.wikipedia.org/wiki/Comparison_of_consumer_ brain-computer_interface_devices, December 20, 2015. [8] 伏云发, 徐保磊, 李永程, 李洪谊, 王越超, 余正涛. 基于运动相关皮层电位握力运动模式识别研究. 自动化学报, 2014, 40(6): 1045-1057 http://www.aas.net.cn/CN/abstract/abstract18374.shtmlFu Yun-Fa, Xu Bao-Lei, Li Yong-Cheng, Li Hong-Yi, Wang Yue-Chao, Yu Zheng-Tao. Recognition of actual grip force movement modes based on movement-related cortical potentials. Acta Automatica Sinica, 2014, 40(6): 1045-1057 http://www.aas.net.cn/CN/abstract/abstract18374.shtml [9] SchlÖgl A, Lee F, Bischof H, Pfurtscheller G. Characterization of four-class motor imagery EEG data for the BCI-competition 2005. Journal of Neural Engineering, 2005, 2(4): L14-L22 http://cn.bing.com/academic/profile?id=2057219090&encoded=0&v=paper_preview&mkt=zh-cn [10] 孙会文, 伏云发, 熊馨, 杨俊, 刘传伟, 余正涛. 基于HHT运动想象脑电模式识别研究. 自动化学报, 2015, 41(9): 1686-1692 http://www.aas.net.cn/CN/abstract/abstract18742.shtmlSun Hui-Wen, Fu Yun-Fa, Xiong Xin, Yang Jun, Liu Chuan-Wei, Yu Zheng-Tao. Identification of EEG induced by motor imagery based on Hilbert-Huang transform. Acta Automatica Sinica, 2015, 41(9): 1686-1692 http://www.aas.net.cn/CN/abstract/abstract18742.shtml [11] Fu Y F, Xu B L, Li Y C, Wang Y C, Yu Z T, Li H Y. Single-trial decoding of imagined grip force parameters involving the right or left hand based on movement-related cortical potentials. Chinese Science Bulletin, 2014, 59(16): 1907-1916 doi: 10.1007/s11434-014-0234-5 [12] Lv J, Li Y Q, Gu Z H. Decoding hand movement velocity from electroencephalogram signals during a drawing task. Biomedical Engineering Online, 2010, 9: 64 doi: 10.1186/1475-925X-9-64 [13] Yin X X, Xu B L, Jiang C H, Fu Y F, Wang Z D, Li H Y, Shi G. A hybrid BCI based on EEG and fNIRS signals improves the performance of decoding motor imagery of both force and speed of hand clenching. Journal of Neural Engineering, 2015, 12(3): 036004, DOI: 10.1088/1741-2560/12/3/036004 [14] 尧德中, 刘铁军, 雷旭, 杨平, 徐鹏, 张杨松. 基于脑电的脑—机接口: 关键技术和应用前景. 电子科技大学学报, 2009, 38(5): 550-554 http://www.cnki.com.cn/Article/CJFDTOTAL-DKDX200905010.htmYao De-Zhong, Liu Tie-Jun, Lei Xu, Yang Ping, Xu Peng, Zhang Yang-Song. Electroencephalogram based brain-computer interface: key techniques and application prospect. Journal of University of Electronic Science and Technology of China, 2009, 38(5): 550-554 http://www.cnki.com.cn/Article/CJFDTOTAL-DKDX200905010.htm [15] 王行愚, 金晶, 张宇, 王蓓. 脑控: 基于脑—机接口的人机融合控制. 自动化学报, 2013, 39(3): 208-221 doi: 10.1016/S1874-1029(13)60023-3Wang Xing-Yu, Jin Jing, Zhang Yu, Wang Bei. Brain control: human-computer integration control based on brain-computer interface. Acta Automatica Sinica, 2013, 39(3): 208-221 doi: 10.1016/S1874-1029(13)60023-3 [16] Zhang R, Yao D, Valdés-Sosa P A, Li F L, Li P Y, Zhang T, Ma T, Li Y J, Xu P. Efficient resting-state EEG network facilitates motor imagery performance. Journal of Neural Engineering, 2015, 12(6): 066024, DOI: 10.1088/1741-2560/12/6/066024 [17] Fazel-Rezai R, Allison B Z, Guger C, Sellers E W, Kleih S C, Kübler A. P300 brain computer interface: current challenges and emerging trends. Frontiers in Neuroengineering, 2012, 5: 14 http://cn.bing.com/academic/profile?id=2105438329&encoded=0&v=paper_preview&mkt=zh-cn [18] Gao S K, Wang Y J, Gao X R, Hong B. Visual and auditory brain-computer interfaces. IEEE Transactions on Biomedical Engineering, 2014, 61(5): 1436-1447 doi: 10.1109/TBME.2014.2300164 [19] Chen X G, Wang Y J, Nakanishi M, Gao X R, Jung T P, Gao S K. High-speed spelling with a noninvasive brain-computer interface. Proceedings of the National Academy of Sciences of the United States of America, 2015, 112(44): E6058-E6067 http://cn.bing.com/academic/profile?id=2132876794&encoded=0&v=paper_preview&mkt=zh-cn [20] Bin G Y, Gao X R, Yan Z, Hong B, Gao S K. An online multi-channel SSVEP-based brain-computer interface using a canonical correlation analysis method. Journal of Neural Engineering, 2009, 6(4): 1771-1779 http://cn.bing.com/academic/profile?id=2105478324&encoded=0&v=paper_preview&mkt=zh-cn [21] The 2th competition of China brain-computer interface [Online], available: http://www.bcicompetition.cn, December 22, 2015. [22] Lin Z L, Zhang C S, Wu W, Gao X R. Frequency recognition based on canonical correlation analysis for SSVEP-based BCIs. IEEE Transactions on Biomedical Engineering, 2006, 53(12): 2610-2614 doi: 10.1109/TBME.2006.886577 [23] Long J Y, Li Y Q, Wang H T, Yu T Y, Pan J H, Li F. A hybrid brain computer interface to control the direction and speed of a simulated or real wheelchair. IEEE Transactions on Neural Systems & Rehabilitation Engineering, 2012, 20(5): 720-729 http://cn.bing.com/academic/profile?id=2001471870&encoded=0&v=paper_preview&mkt=zh-cn [24] Middendorf M, McMillan G, Calhoun G, Jones K S. Brain-computer interfaces based on the steady-state visual-evoked response. IEEE Transactions on Rehabilitation Engineering, 2000, 8(2): 211-214 doi: 10.1109/86.847819 [25] Mak J N, Arbel Y, Minett J W, McCane L M, Yuksel B, Ryan D, Thompson D, Bianchi L, Erdogmus D. Optimizing the P300-based brain-computer interface: current status, limitations and future directions. Journal of Neural Engineering, 2011, 8(2): 025003, DOI: 10.1088/1741-2560/8/2/025003 [26] Guger C, Edlinger G, Harkam W, Niedermayer I, Pfurtscheller G. How many people are able to operate an EEG-based brain-computer interface (BCI)? IEEE Transactions on Neural Systems and Rehabilitation Engineering, 2003, 11(2): 145-147 doi: 10.1109/TNSRE.2003.814481 [27] Guger C, Allison B Z, GroÜwindhager B, PrÜckl R, HintermÜller C, Kapeller C, Bruckner M, Krausz G, Edlinger G. How many people could use an SSVEP BCI? Frontiers in Neuroscience, 2012, 6: 169 http://cn.bing.com/academic/profile?id=2023666981&encoded=0&v=paper_preview&mkt=zh-cn [28] Jin J, Daly I, Zhang Y, Wang X Y, Cichocki A. An optimized ERP brain-computer interface based on facial expression changes. Journal of Neural Engineering, 2014, 11(3): 1082-1088 http://cn.bing.com/academic/profile?id=2089448644&encoded=0&v=paper_preview&mkt=zh-cn 期刊类型引用(10)
1. 周俊宇，刘亚群，章学良，王众. 多特征融合的无人机控制系统设计与实现. 电子设计工程. 2023(16): 1-5 . 
百度学术2. 陈玲玲，陈鹏飞，谢良，许敏鹏，徐登科，闫慧炯，罗治国，闫野，印二威. 增强现实场景下基于稳态视觉诱发电位的机械臂控制系统. 电子与信息学报. 2022(02): 496-506 . 百度学术3. 任泓锦，张超，伏云发. 影响单眼SSVEP控制的视力因素研究. 四川师范大学学报(自然科学版). 2021(03): 419-426 . 百度学术4. 马鹏飞，董朝轶，马爽，贾婷婷，肖志云，齐咏生，陈晓艳，林瑞静. 改进的多变量同步指数脑机接口分类算法. 科学技术与工程. 2021(34): 14598-14603 . 百度学术5. 李嘉伟，任立红，丁永生，陈磊. 基于免疫优化的脑电自适应集成分类方法研究. 机电工程. 2018(08): 873-879 . 百度学术6. 高诺，翟文文，鲁加兴，吴林彦，鲁守银. 基于稳态视觉诱发电位脑机接口的智能轮椅系统研究. 生物医学工程研究. 2018(01): 6-10 . 百度学术7. 高诺，翟文文，杨玉娜. MSI和CCA算法对稳态视觉诱发电位信号分类的比较研究. 信号处理. 2018(08): 984-990 . 百度学术8. 张超，熊馨，任泓锦，伏云发. 直接脑控多机器人协作任务研究. 生物医学工程学杂志. 2018(06): 943-952 . 百度学术9. 廖毅洲. 视觉引导工业机器人定位抓取系统设计. 电子世界. 2017(01): 75-76+86 . 百度学术10. 吴润基，杜玉晓，王玉乐，王灵松，杨积升，欧幸源，黄健华，何樱汶. 全息脑控阿凡达机器人系统设计. 电子世界. 2017(06): 194-197 . 百度学术其他类型引用(26)
-
下载:
计量
- 文章访问数: 2512
- HTML全文浏览量: 356
- PDF下载量: 1770
- 被引次数: 36
