Fine-grained Classification of Car Models Using Fg-CarNet Convolutional Neural Network
-
摘要: 车辆型号识别在智能交通系统、涉车刑侦案件侦破等方面具有十分重要的应用前景.针对车辆型号种类繁多、部分型号区分度小等带来的车辆型号精细分类困难的问题，采用车辆正脸图像为数据源，提出一种多分支多维度特征融合的卷积神经网络模型Fg-CarNet（Convolutional neural networks for car fine-grained classification，Fg-CarNet）.该模型根据车正脸图像特征分布特点，将其分为上下两部分并行进行特征提取，并对网络中间层产生的特征进行两个维度的融合，以提取有区分度的特征，提高特征表达能力，通过使用小卷积核以及全局均值池化，使在网络分类准确度提高的同时降低了网络模型参数大小.在CompCars数据集上进行验证，实验结果表明，Fg-CarNet提取的车辆特征在保证网络模型参数最小的同时，车辆型号识别率达到最高，实现了最好的分类效果.Abstract: Car model recognition has very important application in intelligent transportation systems and vehicle-related criminal case detection. A multi-branch and multi-dimension feature fusion convolutional neural network (CNN) model, Fg-CarNet (convolutional neural networks for car fine-grained classification), is proposed. This model uses car frontal face images as data source, and aims to solve the classification difficulty caused by the wide variety of car models and little differentiation between some models. Based on the image feature distribution characteristic of frontal face images, the Fg-CarNet divides them into upper parts and lower parts to extract features in parallel, and then merges the features generated by middle layers of the network to extract more distinguishing features. Through using small convolution kernel and global average pooling, the classification accuracy of Fg-CarNet is improved and at the same time the size of network parameters is reduced. With CompCars dataset, experiments are carried out. The results show that the proposed method can achieve the highest recognition accuracy while keeping the smallest size of network parameters, i.e, the method can achieve the best classification result.
-
脑机接口/脑机交互(Brain-computer/ma- chine interaction,BCI/BMI)是绕过大脑外周神经和肌肉的参与,由脑信号实现大脑 与外部设备直接的通信和控制 [1-2],其在机器人控制领域的一个重要应用 是脑控机器人(Brain-controlled robot,BCR)技术 [3-6],即用感知、思维意图控制机器人的研究.该研究是 脑科学、信息科学与控制科学交叉跨学科研究,目前已成为国际重大前沿突破点. 这一技术不仅可望战略性地用于国防军事目的,也可望为严重运动残疾患者提供 一种新的通信和控制通道 [2],从而改善他们的生活质量;更可望在特殊情况下为健康用户提供脑控机器人或外部设备 [3, 7],也提高他们生活的质量.
传统的脑控机器人研究主要实现对机器人简单的方向控制,难于实现对其速度的控制 [3, 8].但在实际应用中,需要实现对其方向的灵活控制,也需要实现对其速度的灵活控制,这些需求提出了一个很大的挑战.已有基于运动想象(Motor imagery,MI)脑电的脑机交互 范式多数是简单的运动想象模式 [9-10],仅提供小的指令集,难于满足机器人灵活运动对多个方向和多级速度 的控制需求;而复杂运动想象模式的脑功能机制及其信号特征尚没有得到充分的研究 [11],因此对复杂运动想象模式的识别精度低,目前也难于提供大指令集 [12-13].此外,实用的脑控机器人系统应满足大多数用户需要较少的或不需要训练就能够实现操控.然而,基于运动想象模 式的脑机交互性能在被试内(同一被试运动想象的能力和其状态随时间而变化)和被试间 (不同个体运动想象的能力)的变异性较大,研究表明存在严重的BCI盲问题 [14-16].
除了上述基于运动想象的脑机交互外,基于P300的脑机交互虽然其识别目标数可以超过30个,但是为保证识别精度需要至少2个重复次数,难于做到单次识别 [17],脑控机器人运动的实时 性会受到限制.相比上述两种范式,基于SSVEP的脑机交互不仅可识别的目标数多(可超过 40个) [18],能够提供大指令集(即可提供更多精细的运动控制指令),以满足脑控机器人 灵活运动对方向和速度的分级控制;而且该类脑机交互需要被试较少的适应性训练 [19].为 此,本研究拟采用基于SSVEP的脑机交互方法直接脑控机器人的方向和速度,比较普遍适用于 字符输入的该范式 [18-19],为有效用于脑控机器人接口,将根据机器人灵活运动对方向和速 度的要求,优化此范式的设计及控制策略,恰当设置SSVEP刺激目标数及其布局;然后结合优化 的刺激范式,采用适用于SSVEP解码的典型相关分析(Canonical correlation analysis,CCA)方法 [20].
此外,为克服SSVEP存在的局限,本文也对SSVEP与MI相结合脑控机器人方向和速度进行了初步 的研究.本文可望为基于SSVEP或与MI混合的脑机交互用于脑控机器人复杂灵活运动的研究和 应用提供启发,并为推动直接脑控机器人技术走向实际应用打下一定的基础.
1. 直接脑控机器人测试平台及任务
直接脑控机器人系统如图 1所示,该图表明了大脑、计算机和机器人之间的关系,由神经反馈和其他反馈构成闭环控制系统.
为测试基于SSVEP脑机接口/脑机交互直接脑控机器人的性能,本实验研究采用2015年第二届中国脑 - 机接口比赛官方 提供的脑控机器人测试平台,如图 2(a) 所示 [21].直接脑控机器人的任务是: 从起点出发,绕过障碍物,最终达到终 点,该测试平台自动记录用时以及触碰障碍物次数(每碰撞一次惩罚5秒).脑控机器人控制指令由13个字符组成,脑 机交互(BCI)系统可以通过指令控制机器人的运动方向(如前进、后退、左转和右转)和运动速度(例如可以 是低速、中速和高速三种模式),机器人通过指令获得初始速度后会由于阻力等因素的影响,运动速度在较短时间内 逐渐减小到0 [21].测试平台与BCI系统之间通信采用客户端/服务器结构,如图 2 (b)所示,测试平台为服务器端,BCI系 统为客户端,通过TCP/IP进行连接.
图 2 脑控机器人测试平台及脑控机器人系统客户/服务器结构Fig. 2 The test platform and client/server architecture \\for brain-controlled robot system2. 实验研究的材料和方法
2.1 实验被试、脑电采集设备及参数
验被试: 共8个被试(Subject,S1 $\sim$ S8),5名男性,3名女性,年龄在23 $\sim$ 27岁之间,健康状况良好,视力正常或已矫正,对实验研究均知情同意.脑电采集设备采用博睿康科技有限公司(Neuracle) 的32通道无线脑电采集系统(包括脑电帽、无线脑电放大器以及无线路由器). 采样频率设置为250 Hz,记录电极为Pz、P3、P4、PO3、PO4、PO7、 O1、Oz、O2、PO8以及参考电极Cz,接地电极为FPz,导联位置符合国际10-20标准,实验中保持电极阻抗在5 k欧姆以下.
2.2 基于SSVEP脑机交互范式和脑控机器人策略
2.2.1 基于 SSVEP 脑机交互范式
SSVEP脑机交互范式利用Matlab的Psychtoolbox (PTB)工具箱实现.采用刷新率60帧/秒 的液晶显示器,分辨率设置为1 366 × 768 (像素).刺激目标由大小为150 × 150 (像素)的9个方块 组成,如图 3所示.每个刺激目标由特定频率调制,本实验中,刺激目标从左至右,从上至下 的闪烁频率分别为[8 12 9 13 9.5 10 14 10.5 15] Hz.实验开始时,刺激界面首先静止呈现3秒,3秒后9个刺激目标分别以上述频率闪烁.
2.2.2 脑控机器人策略
为有效完成第1节中直接脑控机器人测试平台中要求的任务: 灵活的方向和速度控制,一种策略是对图 3中的9个刺激目标分别设置适当的控制机器人方向和速度的指令,如表 1所示.其中,指令串中"BCI"为控制命令头; 用户标识"ID": 01~99; 开关标识"CA": 0000 ~3333,其中不同位代表不同方向的运动,0、1、2、3分别代表0速,低速,中速及高速 [21].
表 1 一种脑控机器人策略: SSVEP 脑机交互刺激范式刺激目标对应的脑控制指令Table 1 A strategy for brain-controlled robot: control commands corresponding to the stimulus targets of SSVEP-based BCI stimulation paradigmF(Forward) BCIID01CA1000 低速前进 F+ BCIID01CA2000 中速前进 F++ BCIID01CA3000 高速前进 B(Backward) BCIID01CA0100 低速后退 B+ BCIID01CA0200 中速后退 L(Left) BCIID01CA0010 低速左转 L+ BCIID01CA0020 中速左转 R(Right) BCIID01CA0001 低速右转 R+ BCIID01CA0002 中速右转 2.3 基于 SSVEP脑机交互范式优化
对于第2.2节的SSVEP脑机交互刺激范式,9个刺激目标的布局和它们的间距可能影响分类 识别率.为了寻找更有效的控制,本研究设计了三种不同的刺激范式,如图 3、图 4(a) 和图 4(b) 所示.三种刺激范式的差别在于刺激目标之间的间隔.其中,范式一刺激目标 之间的间距为10;范式二刺激目标之间的间距为100;范式三刺激目标之间水平间距为428,垂直间距为198.本实验中,三种范式刺激(Trials)呈现时间均设置为3秒,视觉转移时间 (即每个Trial之间的间隔时间)设置为1.5秒,固定脑控机器人测试平台环境(图 2(a) ),每个被试在三种刺激范式下分别进行3次脑控制机器人实验,测试结果见第3节实验结果部分的表 2.
图 4 SSVEP脑机交互刺激范式二和范式三Fig. 4 The second and the third SSVEP-based BCI stimulation paradigm表 2 三种SSVEP 刺激范式下被试脑控机器人达到终点用时及触碰障碍物次数Table 2 The consuming time and the number of touching obstacles when subjects controlling robot by their brains to reach the destination under three SSVEP stimulation paradigmsS SSVEP刺激范式一 SSVEP刺激范式二 SSVEP刺激范式三 用时(min) 触碰次数 用时(min) 触碰次数 用时(min) 触碰次数 S1 6018 5 4036 3 3059 3 6026 3 3054 2 3036 0 5056 4 4012 2 3041 1 6032 6 4057 3 2046 1 S2 5048 3 4020 1 3039 2 5026 4 4029 3 3001 0 5050 3 4021 2 2019 0 S3 5003 2 3039 1 3002 0 5043 4 3054 2 2043 1 6038 5 3004 0 2037 0 S4 5055 4 4020 3 3056 3 5052 4 3039 1 3017 2 5018 4 3035 1 1059 0 S5 4048 3 3026 2 2032 1 4044 3 3005 1 2009 0 5046 4 3022 2 2047 0 S6 6009 6 3051 2 3014 2 5054 4 3025 1 2025 0 5027 5 2050 2 1029 0 S7 4059 5 3009 2 2027 1 4055 6 2059 2 1047 1 7016 5 3053 1 3042 2 S8 6011 4 3054 2 3025 0 6049 4 3013 2 3024 1 Aver 5035 4.17 3032 1.75 2040 1.88 Min 4044 2 2050 0 1029 0 Var 0.39 1.06 0.39 0.60 0.46 0.64 在上述实验过程中,发现刺激目标的刺激呈现时间会影响被试的正确识别率.为验证这一发现,基于图 3、图 4(a) 和图 4(b) 所示刺激范式下做如下实验每个被试对同一种刺激范式进行4组测试,每组30个Trials,每个Trial之间的注意力转移时间Ts均为1.5秒,不同的是4组测试的刺激时间Td (即刺激目标闪烁时间)分别为1秒、2秒、3秒及4秒.每组实验前,利用 VC++从9个字符串控制指令"低速前进"、"中速前进"、"高速前进"、"低速后退"、"中速后退"、 "低速左转"、"中速左转"、"低速右转"、"中速右转"中随机产生30个Trials.实验时,在一个Trial结束下一个Trial开始前,由一名辅助人员依次喊出VC++随机生成的控制指令,被试随即注视控制指令对应的刺激目标,在Td结束后,系统将结果反馈呈现给被试,反馈的 刺激目标背景变为红色(如图 3),呈现0.5秒,同时,另一名辅助人员记录每个Trial反馈的结果. 每组实验之间有3分钟休息时间.实验结果见第3节实验结果部分的表 3 $\sim$ 表 5.本实验 不连接脑控机器人测试平台,仅实验被试在三种刺激范式设置下的识别精度,以优化SSVEP刺激范式.
表 3 SSVEP脑机交互刺激范式一下刺激目标不同闪烁时间被试的正确识别率(%)Table 3 The correct recognition rate (%) at different flickering durations for 8 subjects under the first SSVEP-based BCI stimulation paradigmS Td=1s Td=2s Td=3s Td=4s S1 33.33 66.67 83.33 86.67 S2 36.67 70.00 86.67 93.33 S3 30.00 63.33 80 86.67 S4 30.00 60.00 76.67 80 S5 46.67 80.00 93.33 100 S6 43.33 80.00 90 96.67 S7 36.67 70.00 86.67 90 S8 40.00 66.67 83.33 86.67 Aver 37.08 69.58 85 90 Max 46.67 80.00 93.33 100 Var 31.78 45.66 24.99 36.11 表 4 SSVEP脑机交互刺激范式二下刺激目标不同闪烁时间被试的正确识别率(%)Table 4 The correct recognition rate (%) at different flickering durations for 8 subjects under the second SSVEP-based BCI stimulation paradigm stimulation paradigmS Td=1s Td=2s Td=3s Td=4s S1 40.00 73.33 86.67 93.33 S2 43.33 80.00 90 96.67 S3 36.67 73.33 86.67 93.33 S4 40.00 76.67 90 93.33 S5 56.67 86.67 96.67 100 S6 53.33 83.33 93.33 100 S7 43.33 76.67 90 93.33 S8 46.67 80.00 93.33 96.67 Aver 45.00 78.75 90.83 95.83 Max 56.67 86.67 96.67 100 Var 41.67 19.28 10.41 7.65 表 5 脑机交互刺激范式三下刺激目标不同闪烁时间被试的正确识别率(%)Table 5 The correct recognition rate (%) at different flickering durations for 8 subjects under the third SSVEP-based BCI stimulation paradigm stimulation paradigmS Td=1 s Td=2 s Td=3 s Td=4 s 4 5 S1 43.33 80.00 90.00 93.33 4 5 S2 46.67 83.33 93.33 96.67 4 5 S3 43.33 80.00 90.00 93.33 4 5 S4 40.00 76.67 90.00 96.67 4 5 S5 60.00 86.67 96.67 100 4 5 S6 53.33 86.67 96.67 100 4 5 S7 46.67 83.33 93.33 93.33 4 5 S8 46.67 83.33 96.67 100 4 5 Aver 47.50 82.50 93.33 96.67 4 5 Max 60.00 86.67 96.67 100 4 5 Var 35.42 10.42 8.34 8.34 4 5 2.4 典型相关分析 (CCA)
典型相关分是一种最大化两类相似性的空间滤波器. Lin等首先将CCA应用于基于SSVEP的 脑 - 机接口系统中 [22].一般而言,我们把Bin等提出的方法称为标准CCA (Standard CCA) [20].
在采用CCA方法处理脑电图(Electro encephalograph,EEG)数据时,我们设C、N、$N_{h}$、$f_{s}$分别表示EEG通道数、时间点数、 谐波数和采样频率,记$X \in {R^{C \times N}}$ 为实验采集到的C导EEG数据,$Y(f) \in {R^{2{N_h} \times N}}$为模板信号,f为刺激频率,则定义如下:
$Y(f) = \left[ {\begin{array}{*{20}{c}} {\cos 2\pi fn} \\ {\sin 2\pi fn} \\ {\cos 4\pi fn} \\ {\sin 4\pi fn} \\ \vdots \\ {\cos 2{N_h}\pi fn} \\ {\sin 2{N_h}\pi fn} \end{array}} \right],\quad n = \frac{1}{{{f_s}}},\frac{2}{{{f_s}}}, \cdots ,\frac{N}{{{f_s}}}$
(1) ${W_x} \in {R^{C \times 1}}{W_y} \in {R^{2{N_h} \times 1}}$分别表示$X$与$Y\left( f \right)$的权向量,则CCA可以定义为如下问题:分别寻找向量 Wx与Wy},使得X、 Y(f)在向量${ W}_{x}$与${ W}_{y}$上的投影$x = W_x^{\text{T}}X$、$y = W_y^{\text{T}}Y(f)$之间的相关值最大,即
$\begin{gathered} \rho (f) = \max \frac{{{\text{E}}[x \cdot {y^{\text{T}}}]}}{{\sqrt {{\text{E}}[x \cdot {x^{\text{T}}}]{\text{E}}[y \cdot {y^{\text{T}}}]} }} = \hfill \\ \frac{{{\text{E}}[W_x^{\text{T}} \cdot Y{{(f)}^{\text{T}}}{W_y}]}}{{\sqrt {{\text{E}}[W_x^{\text{T}}X \cdot {X^{\text{T}}}{W_X}] \cdot {\text{E}}[W_y^{\text{T}}Y(f) \cdot Y{{(f)}^{\text{T}}}{W_y}]} }} \hfill \\ \end{gathered} $
(2) 式(2)中寻找最优问题可通过广义特征值的分解来解决,这样对于特定的刺激频率f可 以得到一个相关性最大的值$\rho(f)$.
基于SSVEP的脑 - 机接口系统中,如果有${m}$个刺激目标,其闪烁频率为$f_1,f_2,\cdots ,f_{m} (f_1＜f_2＜f\cdots ＜ff_{m})$,那么需要找到一种方法使得系统能够识别出被试凝视的刺激目标,CCA便是一种有效的方法 [20]. 所有的刺激频率均可以通过式(2)计算得到其$\rho(f) (f=f_1,f_2,\cdots ,f_{m})$,那么目标频率$f_{\rm target}$可通过式(3)得到:
$f_{\rm target}={\rm argmax}_{f}\rho(f),\quad f=f_1,f_2,\cdots ,f_{m} $
(3) 那么,我们将得到的$f_{\rm target}$认为是被试注视的目标刺激频率.
2.5 基于SSVEP脑机交互直接脑控机器人系统结构
综合上述方法,本实验构建的基于SSVEP脑机交互直接脑控机器人系统结构如图 5所示,为同步工作方式.其中包括SSVEP刺激范式呈现屏幕及解码计算机、脑控机器人测试平台、 脑电帽及无线脑电放大器和无线路由,它们之间的信息交互均通过无线路由器. 实验前查看并设置解码计算机、机器人测试平台及无线脑电放大器的IP地址,确保解码计算机与脑控机器人测试平台、无线脑电放大器之间实时通讯. 基于SSVEP脑机交互直接脑控机器人方向和速度的过程如下: 解码计算机启动脑机接口/脑机 交互程序(客户端),屏幕呈现SSVEP 刺激范式,脑控机器人测试平台(服务器端)连入客户端 并开始计时,被试观察并规划机器人运动路径,然后注视与期望运动方向和速度相对应的刺激目标,同时无线脑电放大器将采集到的脑电信号(模拟信号)转换成数字信号经无线路由同步 (时间精度小于1毫秒)发送至客户端,解码计算机分析接收到的脑电信号并将识别结果呈现在屏幕上(如图 3),被识别的刺激目标背景变为红色,呈现0.5秒,同时与之对应的控制指令经无线路由发送至服务器端,从而实 现对机器人运动方向和速度的分级控制.实验中,被试根据机器人的运动状态、位置以及周边的障碍,规 划下一步运动路径和控制策略,然后再次注视相应的刺激目标,如此,反复操控SSVEP-BCI系统,最终使机器人到达目标位置(用时越短越好,碰触障碍数目越少越好).
图 5 基于SSVEP脑机交互直接脑控机器人系统结构Fig. 5 The structure of SSVEP-based BCI directly brain-controlled robot2.6 一个初步研究: SSVEP与MI 相结合脑控机器人方向和速度
2.6.1 控制策略
直接脑控机器人的安全性非常重要,其方向的控制更多地涉及到安全问题,被试/用户需要根据障碍或转向需求,及时控制机器人的方向.考虑到SSVEP实现控制的速度比想象运动慢,我们采用SSVEP与运动想象相结合的多模态方法,该混合/融合的脑机交互控制策略如下: SSVEP的控制策略不变,如表 1所示,仅把该表中的中速后退"B+"修改为"切入运动想象模式" -- "MI",即增加模态转换指令. 在SSVEP模态下,当被试想要转换为运动想象模态时,将注意力集中于"MI"目标块上即可. 当系统顺利切换到运动想象脑机交互系统时,SSVEP刺激范式界面消失,变为黑色画面,此时被 试可以实现4种控制状态: "左手运动想象"对应低速左转; "右手运动想象"对应低速右转; "空闲(不进行任何运动想象)"对应低速前进,"双脚运动想象"对应停止运行(或低速后退).
2.6.2 初步结果
在实验前,修改图 3及图 4(a) 和图 4(b) 的人机交互界面,B+改为MI.记录电极在原来的基础上,增加C3、C4.
1) 被试反映,需要对机器人方向控制时,发出运动想象意图到机器人做出反应的速度比单独的SSVEP模式快. 这可能是自定节奏的运动想象不需要被试在控制场景和GUI (Graphical user interface)之间进行频繁视觉切换,加快了控制速度.
2) 此外,被试反映,运动想象期间可以集中于心理活动,避免了频繁的视觉刺激,眼睛得到了一定时间的休息,疲劳程度得到一定的缓解,误操作也有所减少.
3. SSVEP脑控机器人实验结果
每名被试在同一种刺激范式下均进行三次实验,表 2呈现了8名被试脑控机器人 实验用时(min)、触碰障碍物次数、平均用时(Average,Aver)、最少(Minimum,Min)用时以及方差(Variance,Var).表 2中"6'18" 表示脑控机器人达到终点用时为6分18秒.
为比较和优化SSVEP脑机交互刺激范式,表 3 $\sim$ 表 5分别呈现了在SSVEP刺激范式一、范式二、 范式三下8名被试在不同的刺激目标闪烁时间Td时的正确识别率、平均识别率和最高识别率.表中Average (Aver)、 Maximum (Max)分别表示平均及最高正确识别率.
为了更好地比较三种SSVEP脑机交互刺激范式脑控机器人运动的性能和不同刺激时间下的识别率,图 6呈现了三种SSVEP刺激范式下被试脑控机器人达到终点的平均用时、触碰障碍物次数、 在1 $\sim$ 4秒刺激时间下的平均正确识别率以及相关方差.
图 6 三种SSVEP刺激范式下被试脑控机器人达到终点平均用时及触碰障碍物次数及在1 $\sim$ 4秒刺激时间下的平均正确识别率Fig. 6 The averaged consuming time,number of touching obstacles and classification accuracies across 8 subjects when their controlling robot by their brains to reach the destination under three SSVEP stimulation paradigms4. 讨论
脑机交互是一种新型的人机交互技术,基于脑机交互的一个重要应用研究是脑控 [15],其中直接脑控机器人是脑控在机器人领域的一个新的应用和研究方向 [3, 23]. 直接脑控机器人的研究可望架起人脑生物智能与人工机器智能交汇和融通的桥梁,具有重要的科学意义和应用价值,然而这方面的研究仍然处于需要突破的阶段. 传统的脑控机器人主要实现对其方向的简单控制,但如何实现对其方向和速度更 精细和灵活的控制是一个没有彻底解决的问题.什么样的脑机交互范式适合直 接脑控机器人的灵活运动?在众多的脑机交互范式中,稳态视觉诱发电位(Steady state visual evoked potentials,SSVEP) 是一类非常重要的脑机交互范式,本文尝试基于该范式实验研究直接脑控机器人方向和速度的研究.
基于SSVEP的脑机交互范式可识别的目标数多,可以根据机器人运动控制需求,灵活设置刺激目标以产生需要的方向和速度控制指令.本实验研究为脑控 机器人运动规划了向左、向右、前进和后退4个方向,低速、中速和高速3级运动速度; 适当组合后设置了低速前进、中速前进、高速前进、低速后退、中速后退、 低速左转、中速左转、低速右转和中速右转共9个脑控指令,分别对应刺激目标 F、F+、F++、B、B+、L、L+、R、R+.在这些设计和配置的基础上,进而优化SSVEP 脑机交互范式.此外,为通过SSVEP解码被试意图,本研究采用CCA,它是一种利用综 合变量对之间的相关关系来反映两组指标之间整体相关性的多元统计分析方法,可以最大化两类相似性,能够计算出特定刺激频率相关性最大的值,从而有效识别出被试注视的目标刺激频率 [20-22].
在刺激呈现时间、视觉转移时间、测试平台环境相同的条件下,表 2和图 6(a) 表明,SSVEP刺激范式三下8名被试脑控机器人到达终点平均用时为2分40秒,比刺激范式一和二平均用时分别缩短了2分55秒、2分52秒;同时,在SSVEP刺激范式 三下8名被试脑控机器人运动过程中触碰障碍平均次数为0.88,也比刺激范式一和范式二平均触碰次数分别减少了3.29、0.87.此外,对于刺激 范式三,8名被试脑控机器人到达终点最少用时1分29秒,碰触次数为0,最多碰触次 数为3,而在刺激范式一和范式二下到达终点最少用时分别为4分44秒、2分50秒. 三种SSVEP范式,随着刺激目标布局间距的增加,每个被试脑控机器人到达终点用 时均减小,而触碰次数总体上也呈现减少的趋势.这些脑控机器人运动性能的提 高归根结底有赖于对机器人运动方向和速度的准确和及时的调控,否则性能难于 有显著的提高,这可能需要优化SSVEP刺激范式并采用有效的特征提取和识别算法. 表 2表明SSVEP刺激范式三具有更有效的控制性能.虽然不同的被试之间脑控性能 不一样,同一被试3次实验的性能也不一样,但是8个被试并且3次实验都能够较 好地完成任务,这也表明SSVEP脑机交互范式对被试具有较好的适应性,BCI盲问题不严重.
此外,表 3 $\sim$ 表 5以及图 6(b) 表明:在Td = 1 s、2 s、3 s、4 s时,SSVEP脑机交互刺激范式一、范式二和范式三下8个被试的平均识别率随着刺激 目标布局间距的增加而得到提高,刺激范式二比刺激范式一有较大提高,超过5.8 %,而刺激范式三比刺激范式二也有所提高,最低提高了0.84 %,最高 提高了3.75 %.此外,在同一SSVEP脑机交互刺激范式下,随着刺激 目标闪烁时间的增加,8个被试的平均识别率也得到提高,Td = 2 s比Td = 1 s有很大的提高,提高超过30 %,Td = 3 s比Td = 2 s也有较大的提高,提高超过10 %,而Td = 4 s比Td = 3 s也有所提高,提高超过3 %;随着刺激目标闪烁时间的增加,8个 被试中最高识别率也得增加.然而,刺激目标闪烁时间的增加,又会降低运动控制的 实时性,这需要在识别精度和快速响应之间做出平衡.总之,表 3 $\sim$ 表 5进一步 验证了SSVEP刺激目标之间的间距会影响被试的正确识别率,从而影响对机器人 运动方向和速度的准确和及时的调控,最终影响脑控机器人的运动性能.
上述三种SSVEP脑机交互刺激范式,随着刺激目标布局间距的增加,正确识别率增加的主要原因是:相邻刺激目标间距越小,相互之间对 被试的视觉注意产生的干扰越大,当被试转移注视和注视期望目标时,相邻刺激目标也会在被试脑电波中诱发电位,使得稳态视觉诱发电位会出现交叉串叠,从而使错误识别率上升;反之,间距越大,相互之间对被试的视觉注意干扰越小,期望目标的稳态视觉诱发电位的频率特征显著,正确识别率增加.此外,SSVEP脑机交互刺激范式二中刺激目标之间的间距是 范式一中刺激目标之间间距的10倍,相邻目标之间对被试的视觉注意干扰有 显著的减少,因此范式二比范式一被试的正确识别率有很大的提高;但是随着 刺激目标之间间距的不断增加,相邻目标之间对被试的视觉注意的干扰减少 不显著时,正确识别率的提高有限(刺激范式三比刺激范式二的正确识别率 提高有限).也就是,当刺激目标布局间距继续增加到一定程度后,相邻目标 之间对被试的视觉注意干扰已经减少到最小,正确识别率将不会有明显的增加. 在实际的SSVEP脑机交互刺激范式中,视觉刺激目标呈现屏幕尺寸大小有限制,在规划的刺激目标数目下,建议尽量使刺激目标间距最大.然而,刺激目标间距 再继续增大,临间视觉干扰影响不会那么显著,识别效果不会有显著提高,分类效果主要与算法有关.
随着SSVEP脑机交互刺激目标闪烁时间的增加(Td = 1 s、Td = 2 s、Td = 3 s、Td = 4 s),被试识别率也增加,其主要原因可能是: SSVEP是对外界刺激节律的原始反应 或原始反馈,是固定频率刺激的视觉诱发电位,随着刺激目标闪烁时间的增加,被试的视觉通道有足够的时间稳定反应,从而产生稳定的视觉诱发电位频率特征. 然而,刺激时间再继续增加,被试视觉通道已经有足够时间产生SSVEP (一般来 说3 $\sim$ 4秒刺激时间已足够),正确识别率也不会有显著提高,分类效果也主要与算法有关.
本研究对三种刺激范式的间距和目标刺激时间因素进行了实验和比较,然而SSVEP脑 - 机交互范式还与频率因素有关,本实验中9个刺激目标的闪 烁频率分别设置为8、12、9、13、9.5、10、14、10.5、15 Hz,不同的闪 烁频率诱发的脑电功率集中在该频率及谐波频率处,这为目标探测提供了 显著的特征.正确识别率在很大程度上决定被试脑控机器人用时和碰触障 碍次数(机器人运动控制性能). SSVEP脑机交互范式一、范式二和范式 三的识别率不同,因此被试脑控机器人用时和碰触障碍次数也不一样.识别 率高是机器人运动用时减少的必要条件,但并不意味着用时和碰触次数 一定能够减少,正确识别率和识别速度二者决定了用时和碰触次数. 然而,正确识别率和识别速度之间需要平衡.
另外,视觉转移时间、刺激持续时间、识别时间 (脑电分析和解码,例如CCA解码时间),识别结果反 馈时间都会影响脑控制机器人运动的快速反应时间或 实时性.因此,需要缩短视觉转移时间(如刺激目标和控 制现场同屏幕布局呈现)、刺激持续时间和识别结果反馈时间 (设置为最小极限),同时需要优化解码算法,以缩短识别时间. 为了提高SSVEP脑机交互控制机器人的速度,一种可选的方法是,将场景和GUI进行适当的集成或融合,在场景的周边或内部合理布局闪烁刺激目标,以减少被试/用户在场景和GUI之间进行频繁视觉切换而产生的疲劳及误操作.
如上所述,稳态视觉诱发电位是被试注视外界刺激节律后中枢神经 的原始生理反应 [24],是被动的反应式的视觉诱发电位,单次提取和识别率高 [19],本实验研究的8个被试均能够被诱发出SSVEP,完成脑控机器人运动方向和速度的 控制,到达目标位置.虽然P300也是视觉诱发电位,但它已经是事件相关电位,有一定的认知加工后的反应,越晚的电位,认知程度越高.因此,对P300的提取和 识别一般需要多次叠加,单次识别可能难于保证稳定的识别精度 [25],进而会 影响脑控机器人运动方向和速度控制的精度和实时性,P300用于机器人控制的 性能将会在下一步工作中研究.与眼动依赖型的反应式SSVEP-BCI不同,基于 运动想象心理活动的脑机交互范式是非眼动依赖型的主动式BCI,其动觉运动模式(Kinesthetic-motor mode of imagery)和视觉运动模式(Visual-motor mode of imagery)具有不同的效果,是对运动行为的内心演练,有感知 觉的加工过程,但没有明显的运动输出.为此,该类脑机交互范式高度依赖于 被试的运动想象能力以及有效的训练,并不是每个被试都能够很好地操控 该类BCI,训练后可以达到70 %左右 [26],BCI盲问题较严重.此外,随着运动想象类别数的增加,分类精度和稳定性难于提高,进而难于满足脑控机器人灵活运动所需要的多个方向和多级速度的更精细的控制.
与需要训练被试的运动想象脑机交互范式相比,SSVEP-BCI基本不用训练,大概有80 %被试能用该类BCI [27].然而,SSVEP-BCI要求被试注视视觉刺激,会给被试带来视觉疲劳等不良影响,需要研究减少视觉诱发 刺激对被试的负面影响 [28].相比较,运动想象BCI是非视觉依赖型BCI,它依赖被试的心理活动,不存在视觉刺激问题,然而它需要被试的运动想象能力使得特定导联特定频带的EEG信号的幅 值减弱或增强(Event related synchronization/desychronization,ERS/ERD),目前运动想象BCI系统难于实用化,也难于精细地控制机器人的方向和速度,期望今后有突破.
最后,为提高脑控机器人方向的快速性以保证安全,同时减少 被试疲劳以改善操控的舒适度,本文采用SSVEP与运动想象相结合 的多模态方法,进行了初步的研究.被试反映该混合范式增加了 控制策略选择的灵活度,在一定程度上加快了方向的控制速度,同时可以减少在控制场景和GUI之间进行频繁的视觉切换,降低了疲劳及误操作.最后需要指出的是,虚拟平台与真实脑控机器人环境存在差异,这也是需要进一步对比和完善的地方.
5. 结论
本研究基于SSVEP脑机交互范式规划了脑控机器人运动方向和速度的控制策略,并通过实验比较和优化SSVEP刺激目标布局间距和刺激目标闪烁时间,最后采用有效的典型相关分析解码被试注视意图.验证了SSVEP刺 激目标布局间距和刺激目标闪烁时间会影响分类识别率,在刺激呈现屏幕 和刺激目标数一定的情况下,优化布局,适当增加间距或刺激时间,可以 提高正确识别率.在刺激呈现时间、视觉转移时间、测试平台环境相同 的条件下,SSVEP刺激范式三下8名被试脑控机器人到达终点平均用时 和触碰障碍平均次数表现出优良的性能.最后,SSVEP与MI相结合脑控机 器人方向和速度的初步研究表明,该混合范式可以优势互补,既可以实 现多种类分类,又可以避免长时间视觉刺激引起的视觉疲劳,提升被试 的舒适性与系统的通用性.本实验研究表明基于SSVEP或与运动想象混 合的脑机交互可以通过设置适当数目的刺激目标和运动想象模式以满 足脑控机器人灵活运动(方向和速度控制)的需求,可望为脑控机器人的研究和应用打下一定的基础.
在本研究的基础上,我们进一步的工作是: 1)基于多模态设计新的控制范式和策略,优势互补.深入研究SSVEP-BCI与运动想象BCI 相结合的方法以更好地直接脑控机器人方向和速度; 2)寻找更有效的解码算法进一步提高脑控机器人系统 正确识别率和响应速度; 3)采用多边协同自适应机器学习算法自适应被试脑电的变化,减轻被试视觉或心理活动的疲劳,提高其舒适性.
-
图 3 三类神经网络模型中层激活值可视化图
Fig. 3 Visualization of the layer activations in three neural network models
表 1 Fg-CarNet模型结构参数
Table 1 tructural parameters of the Fg-CarNet
子网络 层编号 类型 卷积核尺寸/步长 池化类型 池化尺寸和步长 输出尺寸(深度$\times$长度$\times$高度) UpNet 1 Convolution/BN 5$\times$5/2 Max pooling 3$\times$3/2 64$\times$64$\times$32 2 Convolution/BN 3$\times$3/1 Max pooling 3$\times$3/2 96$\times$32$\times$16 3 Convolution/BN 3$\times$3/1 Max pooling 3$\times$3/2 128$\times$16$\times$8 4 Convolution/BN 3$\times$3/1 Max pooling 3$\times$3/2 128$\times$8$\times$4 DownNet 1 Convolution 5$\times$5/2 $-$ $-$ 64$\times$128$\times$64 2 Convolution/BN 1$\times$1/1 Max pooling 3$\times$3/2 64$\times$64$\times$32 3 Convolution 3$\times$3/1 $-$ $-$ 96$\times$64$\times$32 4 Convolution/BN 1$\times$1/1 Max pooling 3$\times$3/2 96$\times$32$\times$16 5 Convolution 3$\times$3/1 $-$ $-$ 128$\times$32$\times$16 6 Convolution/BN 1$\times$1/1 Max pooling 3$\times$3/2 128$\times$16$\times$8 7 Convolution 3$\times$3/1 $-$ $-$ 128$\times$16$\times$8 8 Convolution/BN 1$\times$1/1 Max pooling 3$\times$3/2 128$\times$8$\times$4 FusionNet 1 Concat $-$ $-$ 96$\times$32$\times$32 2 Convolution 3$\times$3/2 Max pooling 2$\times$2/2 128$\times$8$\times$8 3 Concat $-$ $-$ $-$ 128$\times$8$\times$8 4 Concat $-$ $-$ $-$ 256$\times$8$\times$8 5 Convolution/BN 3$\times$3/1 Max pooling 3$\times$3/2 256$\times$4$\times$4 6 Convolution/Drop 1$\times$1/1 $-$ $-$ 281$\times$4$\times$4 7 Convolution/Drop 1$\times$1/1 $-$ $-$ 281$\times$4$\times$4 8 Convolution 1$\times$1/1 Global pooling $-$ 281$\times$1$\times$1 
下载: 导出CSV
表 2 卷积神经网络模型在CompCars上使用不同分类器的识别率
Table 2 Recognition rate of different CNN models using different classifiers on CompCars
分类器 各模型识别率 AlexNet (%) GoogLeNet (%) NIN (%) Fg-CarNet (%) 朴素贝叶斯 91.10 96.95 86.06 98.42 KNN 93.41 98.35 92.78 98.78 逻辑回归 96.08 98.39 95.91 98.76 随机森林 82.96 95.61 74.60 93.52 SVM 96.02 98.33 96.23 98.78 Softmax 97.73 98.50 96.51 98.89
下载: 导出CSV
表 3 各神经网络模型参数的大小
Table 3 The size of each CNN model parameters
神经网络模型 模型参数大小(MB) AlexNet 232.1 GoogLeNet 44.7 NIN 12.8 Fg-CarNet 6.3
下载: 导出CSV
表 5 分块融合的性能比较
Table 5 Performance comparison of block fusion
模型 准确率1 (%) 准确率2 (%) Fg-CarNet-Up 93.37 89.78 Fg-CarNet-Down 97.38 93.82 Fg-CarNet-Whole 98.02 97.84 Fg-CarNet 98.89 98.27
下载: 导出CSV
表 6 不同基本单元特征组合下的识别结果
Table 6 Recognition result based on different basic unit combinations
模型编号 单元编号 1 2 3 4 准确率1 1 √ √ 0.98906 2 √ √ 0.98789 3 √ √ 0.98843 4 √ √ √ 0.98835 5 √ √ √ 0.98901 6 √ √ √ 0.98882 7 √ √ √ √ 0.98835
下载: 导出CSV
-
[1] Coifman B, Beymer D, McLauchlan P, Malik J. A real-time computer vision system for vehicle tracking and traffic surveillance. Transportation Research, Part C:Emerging Technologies, 1998, 6(4):271-288 doi: 10.1016/S0968-090X(98)00019-9 [2] 吴聪, 李勃, 董蓉, 陈启美.基于车型聚类的交通流参数视频检测.自动化学报, 2011, 37(5):569-576 http://www.aas.net.cn/CN/abstract/abstract17392.shtmlWu Cong, Li Bo, Dong Rong, Chen Qi-Mei. Detecting traffic parameters based on vehicle clustering from video. Acta Automatica Sinica, 2011, 37(5):569-576 http://www.aas.net.cn/CN/abstract/abstract17392.shtml [3] Hinton G E, Salakhutdinov R R. Reducing the dimensionality of data with neural networks. Science, 2006, 313(5786):504-507 doi: 10.1126/science.1127647 [4] 管皓, 薛向阳, 安志勇.深度学习在视频目标跟踪中的应用进展与展望.自动化学报, 2016, 42(6):834-847 http://www.aas.net.cn/CN/abstract/abstract18874.shtmlGuan Hao, Xue Xiang-Yang, An Zhi-Yong. Advances on application of deep learning for video object tracking. Acta Automatica Sinica, 2016, 42(6):834-847 http://www.aas.net.cn/CN/abstract/abstract18874.shtml [5] Krizhevsky A, Sutskever I, Hinton G E. ImageNet classification with deep convolutional neural networks. In: Proceedings of the 25th International Conference on Neural Information Processing Systems. Lake Tahoe, Nevada, USA: ACM, 2012. 1097-1105 http://dl.acm.org/citation.cfm?id=2999257 [6] Long J, Shelhamer E, Darrell T. Fully convolutional networks for semantic segmentation. In: Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition. Boston, USA: IEEE, 2015. 3431-3440 http://www.ncbi.nlm.nih.gov/pubmed/27244717/ [7] 朱煜, 赵江坤, 王逸宁, 郑兵兵.基于深度学习的人体行为识别算法综述.自动化学报, 2016, 42(6):848-857 http://www.aas.net.cn/CN/abstract/abstract18875.shtmlZhu Yu, Zhao Jiang-Kun, Wang Yi-Ning, Zheng Bing-Bing. A review of human action recognition based on deep learning. Acta Automatica Sinica, 2016, 42(6):848-857 http://www.aas.net.cn/CN/abstract/abstract18875.shtml [8] Hsieh J W, Yu S H, Chen Y S, Hu W F. Automatic traffic surveillance system for vehicle tracking and classification. IEEE Transactions on Intelligent Transportation Systems, 2006, 7(2):175-187 doi: 10.1109/TITS.2006.874722 [9] Zhang Z X, Tan T N, Huang K Q, Wang Y H. Three-dimensional deformable-model-based localization and recognition of road vehicles. IEEE Transactions on Image Processing, 2012, 21(1):1-13 http://europepmc.org/abstract/med/21724513 [10] Ji P J, Jin L W, Li X T. Vision-based vehicle type classification using partial Gabor filter bank. In: Proceedings of the 2007 IEEE International Conference on Automation and Logistics. Jinan, China: IEEE, 2007. 1037-1040 http://www.wanfangdata.com.cn/details/detail.do?_type=conference&id=WFHYXW199260 [11] Li J, Zhao W Z, Guo H. Vehicle type recognition based on Harris corner detector. In: Proceedings of the 2nd International Conference on Transportation Engineering. Chengdu, China: Southwest Jiaotong University, 2009. 3320-3325 http://cedb.asce.org/CEDBsearch/record.jsp?dockey=175042 [12] 康维新, 曹宇亭, 盛卓, 李鹏, 姜澎.车辆的Harris与SIFT特征及车型识别.哈尔滨理工大学学报, 2012, 17(3):69-73 doi: 10.3969/j.issn.1007-2683.2012.03.017Kang Wei-Xin, Cao Yu-Ting, Sheng Zhuo, Li Peng, Jiang Peng. Harris corner and SIFT feature of vehicle and type recognition. Journal of Harbin University of Science and Technology, 2012, 17(3):69-73 doi: 10.3969/j.issn.1007-2683.2012.03.017 [13] Qi X X, Ji J W, Han X W, Yuan Z H. An approach of passive vehicle type recognition by acoustic signal based on SVM. In: Proceedings of the 3rd International Conference on Genetic and Evolutionary Computing. Guilin, China: IEEE, 2009. 545-548 http://dl.acm.org/citation.cfm?id=1730574 [14] Dong Z, Wu Y W, Pei M T, Jia Y D. Vehicle type classification using a semisupervised convolutional neural network. IEEE Transactions on Intelligent Transportation Systems, 2015, 16(4):2247-2256 doi: 10.1109/TITS.2015.2402438 [15] Psyllos A P, Anagnostopoulos C N E, Kayafas E. Vehicle logo recognition using a SIFT-based enhanced matching scheme. IEEE Transactions on Intelligent Transportation Systems, 2010, 11(2):322-328 doi: 10.1109/TITS.2010.2042714 [16] 余烨, 聂振兴, 金强, 王江明.前背景骨架区域随机点对策略驱动下的车标识别方法.中国图象图形学报, 2016, 21(10):1348-1356 doi: 10.11834/jig.20161009Yu Ye, Nie Zhen-Xing, Jin Qiang, Wang Jiang-Ming. Vehicle logo recognition based on randomly sampled pixel-pair feature from foreground-background skeleton areas. Journal of Image and Graphics, 2016, 21(10):1348-1356 doi: 10.11834/jig.20161009 [17] Hu C P, Bai X, Qi L, Wang X G, Xue G J, Mei L. Learning discriminative pattern for real-time car brand recognition. IEEE Transactions on Intelligent Transportation Systems, 2015, 16(6):3170-3181 doi: 10.1109/TITS.2015.2441051 [18] Zhang B L. Reliable classification of vehicle types based on cascade classifier ensembles. IEEE Transactions on Intelligent Transportation Systems, 2013, 14(1):322-332 doi: 10.1109/TITS.2012.2213814 [19] Hsieh J W, Chen L C, Chen D Y. Symmetrical SURF and its applications to vehicle detection and vehicle make and model recognition. IEEE Transactions on Intelligent Transportation Systems, 2014, 15(1):6-20 http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=JJ0232398590 [20] Pandey G, McBride J R, Eustice R M. Ford campus vision and lidar data set. The International Journal of Robotics Research, 2011, 30(13):1543-1552 doi: 10.1177/0278364911400640 [21] Xiao T J, Xu Y C, Yang K Y, Zhang J X, Peng Y X, Zhang Z. The application of two-level attention models in deep convolutional neural network for fine-grained image classification. In: Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Boston, USA: IEEE, 2015. 842-850 doi: 10.1109/CVPR.2015.7298685 [22] Göring C, Rodner E, Freytag A, Denzler J. Nonparametric part transfer for fine-grained recognition. In: Proceedings of the 2014 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Columbus, OH, USA: IEEE, 2014. 2489-2496 doi: 10.1109/CVPR.2014.319 [23] Liao L, Hu R M, Xiao J, Wang Q, Xiao J, Chen J. Exploiting effects of parts in fine-grained categorization of vehicles. In: Proceedings of the 2015 IEEE International Conference on Image Processing (ICIP). Quebec City, QC, Canada: IEEE, 2015. 745-749 http://ieeexplore.ieee.org/document/7350898/ [24] Lin Y L, Morariu V I, Hsu W, Davis L S. Jointly optimizing 3D model fitting and fine-grained classification. In: Proceedings of the 2014 European Conference on Computer Vision. Zurich, Switzerland: Springer, 2014. 466-480 doi: 10.1007/978-3-319-10593-2_31 [25] Krause J, Stark M, Deng J, Li F F. 3D object representations for fine-grained categorization. In: Proceedings of the 2013 IEEE International Conference on Computer Vision Workshops (ICCVW). Sydney, NSW, Australia: IEEE, 2014. 554-561 http://dl.acm.org/citation.cfm?id=2586296 [26] Yang L J, Luo P, Change Loy C, Tang X O. A large-scale car dataset for fine-grained categorization and verification. In: Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Boston, USA: IEEE, 2015. 3973-3981 A large-scale car dataset for fine-grained categorization and verification. In: Proceedings of the 2015 IEEE Conference on C [27] Sermanet P, Eigen D, Zhang X, Mathieu M, Fergus R, LeCun Y. Overfeat: integrated recognition, localization and detection using convolutional networks. arXiv: 1312.6229, 2014. http://users.ics.aalto.fi/perellm1/thesis/summaries_html/node97.html [28] Szegedy C, Liu W, Jia Y Q, Sermanet P, Reed S, Anguelov D, Rabinovich A. Going deeper with convolutions. In: Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Boston, USA: IEEE, 2015. 1-9 [29] Zhang X F, Zhou F, Lin Y Q, Zhang S T. Embedding label structures for fine-grained feature representation. In: Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Las Vegas, Nevada, USA: IEEE, 2016. 1114-1123 http://ieeexplore.ieee.org/abstract/document/7780495/ [30] Fang J, Zhou Y, Yu Y, Du S D. Fine-grained vehicle model recognition using a coarse-to-fine convolutional neural network architecture. IEEE Transactions on Intelligent Transportation Systems, 2017, 18(7):1782-1792 doi: 10.1109/TITS.2016.2620495 [31] Simonyan K, Zisserman A. Very deep convolutional networks for large-scale image recognition. arXiv: 1409.1556, 2015. http://www.sciencedirect.com/science/article/pii/S0893608014002007 [32] Haykin S O. Neural Networks and Learning Machines (3rd edition). Upper Saddle River, NJ, USA:Pearson, 2009. [33] Ioffe S, Szegedy C. Batch normalization: accelerating deep network training by reducing internal covariate shift. In: Proceedings of the 32nd International Conference on Machine Learning. Lille, France: PMLR, 2015, 37: 448-456 http://dl.acm.org/citation.cfm?id=3045167 [34] Jia Y Q, Shelhamer E, Donahue J, Karayev S, Long J, Girshick R, Guadarrama S, Darrell T. Caffe: convolutional architecture for fast feature embedding. In: Proceedings of the 22nd ACM International Conference on Multimedia. Orlando, Florida, USA: ACM, 2014. 675-678 [35] Lin M, Chen Q, Yan S C. Network in network. arXiv: 1312. 4400, 2014. [36] Van Der Maaten L, Hinton G. Visualizing data using t-SNE. Journal of Machine Learning Research, 2008, 9(11):2579-2605 http://library.usask.ca/find/ejournals/view.php?id=111002212682020 [37] Van Der Maaten L. Accelerating t-SNE using tree-based algorithms. The Journal of Machine Learning Research, 2014, 15(1):3221-3245 http://www.mendeley.com/catalog/accelerating-tsne-using-treebased-algorithms/ 期刊类型引用(11)
1. 王建云，吴正平，雷帮军，颜洵. 基于darknet框架高空视角下车辆的细分类. 现代电子技术. 2021(03): 124-129 . 
百度学术2. 刘进博，朱新新，伍越，杨凯，陈卫. 基于神经网络和支持矢量机的多机动车车牌在线检测方法. 自动化学报. 2021(02): 316-326 . 本站查看3. 余烨，傅云翔，杨昌东，路强. 基于FR-ResNet的车辆型号精细识别研究. 自动化学报. 2021(05): 1125-1136 . 本站查看4. 朱文佳，付源梓，金强，余烨. 视角相关的车辆型号精细识别方法. 合肥工业大学学报(自然科学版). 2020(02): 205-210+279 . 百度学术5. 肖志云，赵晓陈. 基于双池化与多尺度核特征加权CNN的典型牧草识别. 农业机械学报. 2020(05): 182-191 . 百度学术6. 马永杰，程时升，马芸婷，陈敏. 多尺度特征融合与极限学习机结合的交通标志识别. 液晶与显示. 2020(06): 572-582 . 百度学术7. 赵泽通，李宇海，赵红东，闫苗，张洁. 多比例车辆目标的分类识别. 传感器与微系统. 2020(07): 134-137+141 . 百度学术8. 彭运赛，夏飞，袁博，王志成，罗志疆. 基于改进CNN和信息融合的动力电池组故障诊断方法. 汽车工程. 2020(11): 1529-1536 . 百度学术9. 梁栋，何佳，石陆魁，王松，刘佳. 结合运动目标检测和ResNet的车速车型智能识别. 北京交通大学学报. 2019(05): 10-19 . 百度学术10. 王世芳，徐琨，陈明瑶. 一种基于特征金字塔的快速行人检测方法. 长安大学学报(自然科学版). 2018(05): 231-237 . 百度学术11. 郜雨桐，宁慧，王巍，赵梓成，孙煜彤. 基于卷积神经网络的车辆型号识别研究. 应用科技. 2018(06): 53-58+62 . 百度学术其他类型引用(18)
-
下载:
计量
- 文章访问数: 2328
- HTML全文浏览量: 373
- PDF下载量: 850
- 被引次数: 29
