-
摘要: 人-机器人技能传递（Human-robot skill transfer，HRST）是指人将操作技能传授给机械臂使得机器人具备类人化的作业能力，以达到高效示教编程的目的.相对于传统的机器人编程技术，人机技能传递具有高效率、低成本、不依赖机器本体平台等显著优点，是人-信息-机器人融合系统（Human-cyber-robot-systems，HCRS）中重要环节之一，应当给予足够的重视.本文首先介绍了人机技能传递技术的研究背景，接着简述了该技术在人机接口、建模、仿生自适应控制等方面的发展现状，并对未来的研究方向做出了展望.Abstract: Human-robot skill transfer (HRST) is a general method to transfer human's skills to robots in order that robots can perform tasks in a human-like way. With this method, robots can be programmed efficiently. Comparing with conventional program methods, HRST has a number of significant advantages such as high efficiency, low cost and independent of robotic platforms. It is one of the most important parts in human-cyber-robotic systems (HCRS), which should be paid much attention to. In this paper, we firstly introduce the background of HRST, then introduce human robot interface, modelling and control domain. Finally we show some potential research lines in future.
-
表面肌电信号(Surface electromyography, sEMG)是由运动关联肌肉的运动单元动作电位(Motor unit action potential, MUAP)沿着肌纤维方向传播, 在人体皮肤表面形成的叠加电信号. 该信号直接反映了引起肢体运动的肌肉收缩状态, 可从中解码出运动直接关联意图, 其中蕴含丰富的肌肉收缩力、关节力矩等信息, 广泛应用于识别数十种肢体状态或预测关节连续信息[1]; sEMG相对于刺入式肌电信号(Intramuscular EMG, iEMG)而言, 采集方式简单, 易于构建集成系统和开发可穿戴设备.
因此, sEMG广泛应用于助力机器人、康复机器人与智能假肢等系统中, 在人机协作型机器人中也逐渐成为研究热点[2-3]. 与传统的程式控制机器人交互方式相比, 基于sEMG的人机交互方式赋予了机器人智能性与认知能力, 具有主动感知人行为意图的能力, 有利于实现人机的自然、直觉与准确交互. 尤其对残疾人而言, 肌电假肢自然直觉的控制方式, 能够极大地提高他们的生活质量.
为了满足不同场景下的人机交互需求, 基于sEMG的人体意图识别方法, 从起初基于幅值的阈值判别法, 慢慢发展为基于模式识别和机器学习的研究思路, 其主要遵从有监督学习的基本范式, 如图1所示. 其处理流程一般包含: 离线的模型训练和在线的意图识别. 第1阶段如该图的虚线箭头所示, 首先要求用户根据实验场景需求, 获取已知动作标签对应的肌电信号数据, 经数据预处理和特征提取等环节, 肌电信号特征与动作标签共同完成模型的训练. 而在第2阶段的在线意图识别中, 已经训练完成的识别模型对在线的肌电信号进行同样数据预处理和特征提取等环节, 最后对输入的肌电信号输出识别结果.
图 1 基于监督学习的sEMG识别模型训练与测试框架Fig. 1 The training and testing framework of sEMG recognition model based on supervised learning依据识别模型的输出类型可分为两类问题: 离散动作分类和连续运动估计. 在离散动作分类识别方面, 由起初的张手和闭合的二分类问题, 逐渐发展成对几十种手部/腕部动作识别[4-5]; 针对其中10种左右的常见手势识别, 其基本识别精度高达90%. 在连续运动估计方面, 对人体上/下肢多关节的角度估计误差约为5° 或更低[6-7].
采用阈值判别法或模式识别方法的一个基本假设, 即训练集与测试集符合相同的分布. 然而在实际日常生活的肌电交互过程中, 往往会存在多种差异或干扰, 造成肌电信号的训练集与测试集的分布明显不同, 最终导致肌电识别准确性低、交互效果差[8]. 目前大部分比较好的识别结果往往来自于无干扰情况或实验室理想环境, 未充分考虑肌电交互系统在日常使用中的潜在差异或干扰. 相对于实验室的理想环境, 本文将肌电系统在实际中可能涉及到的差异或干扰统称为“非理想因素”, 存在“非理想因素”的日常环境即为“非理想条件”. 这些非理想因素包括: 电极偏移、个体性差异、肌肉疲劳、姿态干扰、其他干扰或多种因素的综合干扰.
前期已有学者总结了sEMG的一般处理方法或应用场景, 多侧重在理想场景或无干扰的情况下如何识别更多类别, 通过对比分析不同特征处理、降维方法和识别模型等环节, 以提高肌电识别的精度和准确性[1]; 对目前大量克服单个干扰的研究, 鲜有文献总结肌电系统鲁棒性方面的研究现状和进展, 更缺乏对实际应用中存在的诸多干扰因素给出应对方案的归纳和建设性的技术展望.
因此, 本文首先综述了在各种非理想条件中非理想因素干扰的影响程度或性质, 并总结归纳了目前研究针对各个干扰的消除与克服方法; 然后整体性讨论了各个非理想因素之间的耦合性和过渡性, 以及目前研究中存在的主要问题; 最后本文从构建统一的数据集测试平台等作为切入点, 对未来该领域的研究内容提出了一些展望, 为进一步推广肌电交互系统提供切实可行的技术方案.
1. 非理想条件下的干扰因素
本节主要针对肌电识别系统的准确性和鲁棒性问题, 分别从肌电采集技术的差异性和源于人的差异性两方面综述了相关干扰因素. 前者主要表现为电极偏移的干扰, 后者包括人与人之间的个体性差异, 以及源自人体内部的肌肉疲劳、肢体姿态等干扰.
1.1 电极偏移
诸多非理想场景下, 电极偏移是其中较为普遍出现的干扰因素之一, 主要源于电极或肌电假肢接受腔多次粘贴、固定后的位置不完全一致. 对使用者而言, 一方面严格要求与之前相同的粘贴位置, 既不现实且增加使用难度; 另一方面, 每次重新粘贴肌电电极或再次穿戴肌电假肢后, 重新获取大量有监督标签下的训练数据, 重新训练分类模型, 也比较费时费力. 这些方式都对用户不友好, 造成使用门槛过高, 或因训练时间过长而增加学习负担, 最终放弃使用肌电交互系统或假肢.
电极偏移最根本性的影响, 即偏移前后同一电极测量的肌肉位置不同, 导致特征分布明显不同. 由于各通道肌电信号变化而引起的特征空间分布变化, 传统基于模式识别方法的固定模型表现较差, 大大降低了肌电识别系统的准确性.
Hudgins等[9]最早利用单通道的差分电极用于识别4类动作, 针对电极偏移的精度影响开展了实验性探究, 实验结果表明在假肢固定接受腔小范围内的偏移(小于1 cm)时, 电极偏移对精度影响不大, 而当偏移距离变大时会明显降低肌电识别精度. Stango等[10]利用高密度表面肌电传感器(High-density sEMG, HD-sEMG), 研究了不同位置下的肌电信号空间相关性和受电极干扰的影响程度, 表示为
$$ 2\gamma \left(x,h\right)={\rm{E}}\left\{{\left[Z\left(x\right)-Z\left(x+h\right)\right]}^{2}\right\} $$ (1) 其中, E(·)表示数学期望,
$ Z\left(x\right) $ 和$ Z\left(x+h\right) $ 表示两个随机位置处的采集结果,$ h $ 表示两个位置之间的空间距离,$ \gamma (·) $ 定义为一种空间分布结果的变异函数(Variogram).大量相关研究更加细致地对比了在肌纤维横向、纵向、旋转等方向或距离维度上的干扰程度, 主要研究结果表明: 1)在电极布局上, 平行于肌纤维方向的差分电极更容易捕获准确的肌电信号, 而非垂直于肌纤维方向(即, 沿着肌肉方向固定电极, 目前已成为该领域的一般做法); 2)平行方向上的电极偏移干扰效应小于垂直方向偏移干扰; 3)电极与肌肉的接触面积越大, 越有利于提高肌电识别准确率和保证系统鲁棒性[11–14].
尽管假肢的接受腔在一定程度上能通过穿戴方式保证小范围的电极偏移, 但在实验室和日常条件下, 涉及的电极类型或偏移形式多种多样, 如离散稀疏单通道肌电电极, 类似于Myo肌电手环类的环形多通道电极和高密度表面肌电电极HD-sEMG[13–15] (如图2所示). 因此, 在诸多实际使用场景中, 肌电电极偏移现象是一个易出现且影响较大的干扰因素.
因此, 为了克服电极偏移引起的识别精度下降和系统鲁棒性降低问题, 按照如图1所示肌电识别框架内的关键环节, 分别探讨在数据、特征和模型等不同环节内用于消除或解决电极偏移干扰问题的方法.
1) 融合不同偏移位置下的多模数据. 在有监督学习的模型训练中, 一方面可以增加训练数据的数量, 通过引入更多电极测量更多或更精细的肌肉位置, 这种方式通过丰富训练数据集或包含更多电极场景, 来拓展模型的覆盖能力或泛化性能. Hargrove等[13, 16]提出一种模型训练策略, 采集所有电极偏移位置上的数据用于模型训练, 相对于一般模型训练方式提高了10%的识别精度. He等[12]利用HD-sEMG采集系统, 实验表明多通道相对于少通道而言, 更有利于提高干扰下的肌电识别精度, 32通道的肌电信号在电极偏移情况下(最大偏移1 cm)获得比少通道肌电更好的识别精度. 另一方面, 将肌电信号与其他类型传感器融合, 如惯导(Inertial measurement unit, IMU)等, 也能提高模型在电极偏移干扰的鲁棒性[17-18].
2) 提取电极偏移不敏感的特征. 在特征提取环节, 如果能构造具有电极偏移无关的特征空间, 将极大地提高系统的鲁棒性; 同时, 也能够降低因为数据量或数据类型扩增而引起的数据采集阶段和模型训练阶段的耗时. 研究表明, 自回归系数特征(Autoregressive features, AR)、时域与自回归系数结合的特征(Combination of time-domain and AR feature, TDAR), 比TD (Time-domain)特征对电极偏移干扰具有更好的鲁棒性, 在10类常见的手部或腕部动作中, 识别误差由30%下降为10%左右[16, 19]; Tkach等[20]提出了EMG 的自回归系数特征和倒频谱系数(cepstrum coefficients)特征, Stango等[10]提出了Variogram特征, Boschmann等[21]利用结构相似性特征(Structural similarity index); Pan等[22]提出了共空间模式(Common spatial patterns, CSP)特征, 并与传统的TDAR和Variogram等特征进行了对比, 取得了更高的识别精度, 表明该特征具有更好的电极偏移等干扰的不敏感性. 更进一步, He等[14]借鉴了图像处理领域的纹理信息——灰度共生矩阵, 提取二维肌电信号中所构成肌肉活跃图的纹理信息, 并将阵列式电极首尾连接, 进一步改进了纹理特征, 表现出明显的电极位置无关优势. 另一方面, Huang等[23]利用非负矩阵分解(Nonnegative matrix factorization, NMF)技术, 提出了一种半监督方式, 将原特征空间映射到隐变量新空间, 表现出对通道数目和偏移位置不敏感的优点.
3) 更新模型适应不同偏移位置. 迁移学习(Transfer learning)或领域自适应(Domain adaptation)技术常常被引入以解决这类干扰变化, 使得模型具有更新能力, 以适应不同的信号特征. Amsuss等[24-25]在识别模型的结果上进行后处理作为模型自修正, 降低模型因为电极干扰引起的误分类, 或采用协方差偏移适应(Covariate shift adaptation)等迁移学习方法适应电极偏移等干扰. Prahm等[15, 26]和Paaβen等[27]针对Myo的旋转偏移干扰问题, 采用期望最大化的迁移学习(Expectation maximization transfer learning)估计因电极偏移前后肌电信号在特征空间中分布的关系(假设为一种线性映射), 仅利用少量训练数据将预训练模型适用于不同干扰下的肌电识别场景. 丁其川等[28-29]提出一种自适应增量式混合分类器(Adaptive incremental hybrid classifier, AIHC)用于应对因重复穿戴后引起的电极偏移干扰. 李自由等[30]针对环形Myo肌电传感器, 提出一种基于极坐标系内的活跃极角概念, 用于估计不同旋转位置之间的偏移程度, 并基于该偏移程度提出了自适应校正方法, 无需识别模型的再次训练, 仅利用少量单类别数据, 实现了常见手部8动作识别. Amma等[31]基于HD-sEMG构建了CSL-HDEMG数据集, 并针对会话间的电极偏移问题, 提出了两种偏移估计方法: 利用少量校正数据估计小臂尺骨位置和肌肉活跃中心位置, 并以此进行偏移干扰的sEMG校正, 将识别精度由未校正的59%提升至75%. Ameri等[32]通过卷积神经网络和迁移学习的方法, 仅利用少量肌电更新数据, 同时克服了个体性差异与电极偏移的综合干扰.
1.2 个体性差异
尽管人体的骨骼和肌肉分布大致相同, 但个体间在诸多方面的差异性(既包括个体的身高、体重、身体质量指数(Body mass index, BMI)、肌肉表层的脂肪含量等差异, 也包括不同个体在执行动作时的肌肉收缩方式和肌肉收缩力大小等方面的差异, 以及截肢患者的残肢肌肉功能或通过目标肌肉神经分布重建方法(Target muscle rehabilitation, TMR)的肌电信号差异[33]), 尤其是健康者与肢体残疾者之间的肌电特征差异[34], 都极大地限制了传统固定识别模型在不同用户之间的通用性. 大量的实验和研究表明, 传统基于有监督学习的固定识别模型, 在处理新用户的肌电信号识别问题上表现不佳, 因此个体差异问题逐渐成为阻碍肌电交互系统推广应用的主要问题之一, 引起研究者们的广泛关注[35]. 而为了应对这种个体性差异导致的模型识别率下降问题, 本节总结当前文献的主要研究工作, 分别在数据、特征和模型等不同环节, 归纳用于消除或解决个体差异性问题的方法.
1)融合不同个体的多模数据. 即增加有监督学习模型中训练数据的数量或类型. Guo等[36]将多人的数据融合后训练一个通用识别模型, 在新用户上的识别准确率可达85%, 其主要的优点是新用户无需采集数据重新训练或校正的过程, 方便即时使用. Stival等[37]在回归问题研究方面引入IMU信息, 利用惯导所补充的个体特点降低识别模型在个体差异性方面的约束. Phinyomark等[38]将个体相关的12个形态参数(如BMI等)用于更新模型权重因子或特征归一化, 提高了识别模型在不同用户上的适用性.
2)提取肌电分解与协同特征. 即通过肌电分解、多特征融合等方式构建统一化的共同特征空间. Xiong等[39]利用肌电信号的逆向分解原理, 将不同个体的肌电信号分解到运动单元动作电位的信号空间. 通过MUAP的无监督聚类, 找到用于个体无关的表征方式, 降低个体之间的差异性. Ison等[40]提出了基于多分辨率肌肉协同特征(Multire-solution muscle synergy)提取技术, 以构建个体适应的鲁棒特征. Chattopadhyay等[41]探究了个体之间的相似性, 利用领域适应方法尽可能保持个体肌电信号的分布特征, 通过映射到共同空间, 以提高模型适应性.
3)采用少量数据更新通用模型. Tommasi等[42-43]在基于迁移学习的个体模型适应性研究方面做出了一系列研究成果, 主要是在一般模型的基础上, 通过利用新用户的少量数据, 更新已知多用户的支持向量机(Support vector machine, SVM)识别模型的权重因子, 设计了一种低代价的权重更新方法
$$W = \mathop \sum \limits_{k = 1}^K {\beta ^k}{\hat W^k} + \mathop \sum \limits_{i = 1}^N {a_i}{\varnothing _i}\left( {{x_i}} \right) $$ (2) 其中,
$\hat{W}$ 分别表示原有用户的SVM权重矩阵,$ \beta $ 为各个矩阵的加权系数,$ \mathrm{\varnothing }\left({x}_{i}\right) $ 为SVM中的核函数,$ {x}_{i} $ 表示新用户的少量样本,$ a $ 表示损失函数与约束构成的拉格朗日系数.Khushaba[44]利用典型相关分析(Canonical correlation analysis, CCA)方法, 将不同个体的肌电特征映射到一个低维的同一空间(unifiedstyle space)训练初始模型; 并对新用户的少量肌电信号与预训练模型的专家特征(Expert features)做典型相关分析, 将测试集数据更新至预训练模型高相关性空间, 提高了模型的适用性和泛化能力. Matsubara等[45]采用形式和内容分离(Style and content spearation)的思想, 基于用户依赖因子(User-dependent factor)和动作依赖因子(Motion-dependent factor)构建用户无关特征(User-independent feature)的双线性模型(如图3所示), 针对新用户时仅需单类别的更新数据, 完成模型对新用户的多类别动作识别. Pan等[46]仅利用个体的最大收缩力信息将个体模型拓展为通用模型, 其更新方式代价较低. 而Cote-Allard等[47]利用深度学习中的卷积神经网络(Convolutional neural network, CNN)将模型迁移适用不同个体.
1.3 肌肉疲劳
从生理机制而言, 一方面肌肉在长期进行超负荷或持续收缩过程中, 即产生肌肉疲劳. 如图4所示, 其中最主要的表现就是肌肉所能够产生的最大输出力降低[48-49]; 另一方面, 研究表明功能性电刺激(Functional electrical stimulation, FES)也能够诱发肌肉疲劳[50]. 在有监督学习的肌电信号动作识别的一般框架下, 基于sEMG的意图识别与智能系统交互控制中, 研究者往往通过一定的实验条件或交互约束, 尽量避免在假肢等控制交互过程中的使用者产生肌肉疲劳[51]. 然而在实际日常生活或临床应用中, 长时间佩戴肌电假肢、使用肌电助力或康复系统不可避免地导致使用者产生肌肉疲劳. 因此, 肌肉疲劳是在长时间使用中不可避免的重要问题之一[52].
研究表明, 肌肉疲劳在肌电信号的潜在表现主要包括但不限于: 1)幅值特征增加; 2)频谱能量下降; 3)传导速度下降[48, 53-54]; 由于肌电幅值往往与肌肉收缩力正相关, 容易受使用者发力影响, 因此肌肉疲劳评估或监测更为关注频谱能量变化. De Luca[52]通过要求被试者的第一骨间背肌持续收缩进行肌肉疲劳实验, 在该实验范式下, 该肌肉的肌电信号反映出频谱分析中值频率(Median frequency, MDF)在疲劳前后下降超过50%. 研究表明, 肌肉疲劳的肌电信号中包含了频谱能量、传导速度的下降趋势和幅值特征的上升趋势以及传导速度正比于肌电信号中值频率[51].
sEMG的MNF和MDF的计算式为
$$ {f_{{\rm{MNF}}}} = \frac{{\mathop \sum\limits_{j = 1}^M {f_j}{P_j}}}{{\mathop \sum \limits_{j = 1}^M {P_j}}}$$ (3) $$\mathop \sum \limits_{j = 1}^{MDF} {P_j} = \mathop \sum \limits_{j = MDF}^M {P_j} = \frac{1}{2}\mathop \sum \limits_{j = 1}^M {P_j}$$ (4) 其中, P表示信号的功率谱密度, MNF表示均值频率, MDF表示中值频率.
然而, 频谱分析的方法主要采用快速傅里叶变换(Fast Fourier transform, FFT), 其假设时间序列具有平稳特性, 在先前的大多数研究中也主要是等长收缩的实验范式. 这种实验范式及分析方法具有一定的局限性, 因此基于短时傅里叶变换(Short-time Fourier transform, STFT)和基于小波变换(Wavelet transform, WT)等时频域的特征, 改进的中值频率或均值频率也逐渐引入到肌肉疲劳监测中, 尤其适用于被试者的动态收缩过程[55]. 综述当前的研究, 为处理非理想场景下的肌肉疲劳干扰, 主要从频域等疲劳特征与疲劳分类两方面提出解决方案.
1)频域等疲劳特征. 为应对肌肉在周期性、动态收缩下的肌肉疲劳监测, Bonato等[56]在大拇指周期性动态收缩力下提出基于时频域变换的瞬时中值频域(Instantaneous MDF, iMDF)和瞬时均值频率(Instantaneous MNF, iMNF); Cao等[57]提出循环平稳性特征作为疲劳因子; Thongpanja等[58]提出了一种改进的频域特征(Time dependence of MNF, TD-MNF), 在肘关节不同负载下进行了多组重复性疲劳实验, 结果表明, 相对于MNF、MDF特征而言, TD-MNF可作为一种更为全局准确的肌肉疲劳评估方法, 并且与肌肉负载力之间具有线性关而非基于传统MNF、MDF非线性耦合关系. 肌肉疲劳源自比较复杂的生理过程, 并依赖于实验范式等, 因此有关肌肉疲劳评估的研究也不仅仅局限于上述几个方面的时域或频域特征. 除此之外, Al-Mulla等[59]提出一维频谱—标准差(1D specto std)特征, Xu等[60]在疲劳时的肌肉力估计中通过NMF分解技术提取疲劳因子; Sheng等[61]提出多模态生理信号融合的方法克服肌肉疲劳.
2)疲劳分类. 研究人员将疲劳监测或克服疲劳问题作为一个“分类”问题研究. 如Al-Mulla等[59, 62]在选用更多特征的基础上, 进一步与分类器相结合以区分非疲劳(Non-fatigue)、过渡疲劳(Transition-to-fatigue)和疲劳(Fatigue)等三类阶段; Wu等[63-64]提出混合细菌觅食—粒子群优化方法(Bacterial foraging and particle swarm optimization, BF-PSO)和模糊SVM (Fuzzy SVM)等方法监测疲劳状态.
因此, 为克服肌肉疲劳所带来的的不良影响, 一般是在特征提取过程时对特征进行预处理, 如基于MNF或MDF的特征归一化处理[65], 或采用概率模型和基于疲劳监测因子查表方式, 对多种识别模型进行切换控制[66-67]; 此外, Mainardi等[68]通过自主设计改善电极等配置, 避免商业采集系统的过多滤波环节, 保留更多肌肉疲劳有关频带信息; 而Peternel等[69]则更加关注在人机协作场景中, 通过调整协作机械臂的不同刚度, 以适应人体的不同疲劳状态, 开拓了肌电识别与协作交互的新应用.
1.4 肢体姿态
在智能假肢的实际场景中, 肢体的姿态干扰一般可归纳为两种类型: 1)不同静态姿势下, 同一个末端(如手部)动作的差异; 2)静态、动态或不同肌肉收缩力对同一动作产生的差异[70]. 传统基于有监督学习范式的sEMG识别系统, 仅将少部分姿态下的肌电信号作为训练集, 得到的分类模型往往容易受到多种姿态干扰. 如Liu等[71]揭示了静态—动态手臂姿势对手部分类动作的影响; Jiang等[72]在研究肌电连续估计时也发现手臂位置对识别精度的负面影响. 研究表明, 在针对不同姿态下的手部/手指动作分类时, 其中腕部和大臂的姿态均对手部动作识别产生较大的影响[73-74]. 目前, 针对肢体姿态不同而引起的干扰问题, 大量研究工作与解决方法主要集中在数据和特征两方面:
1)融合不同姿态下的多模数据. 即增加训练数据集的数量或类型. 一方面可以通过采集更多场景下的数据作为模型的训练集, 使得模型能够覆盖更多的肌电识别场景. 大量的研究表明, 与仅利用单一位置下的数据作为训练集相比, 将更多(或所有)位置下的肌电数据引入到模型的训练集中, 能够取得比单一位置更好的识别准确率[75–77]. 然而这种方式要求覆盖尽可能多的姿态场景, 当训练后的模型应用于从未出现的姿态数据时, 模型的泛化能力依然较弱[78]. 并且这种通过丰富训练数据集以覆盖更多姿态的方法, 很明显将要求受试者在使用肌电交互系统时, 花费更多的时间用于训练集数据采集. 这种要求增加了用户学习和使用负担, 是导致用户弃用肌电假肢等设备的主要原因之一. 而在这种通过多姿态场景丰富训练数据集的数据采集范式下, Scheme等[70]和Radmand等[78]将多个静态姿态位置组合成动态的日常生活动作(如图5), 提出了“动态训练” (Dynamic training)方法. 训练数据采集时间由原来超过10分钟下降为1~2分钟. 另一方面, 通过增加其他类型传感器, 补充更多有关肢体姿态的信息, 增强系统判别能力, 如引入肢体的加速度信息[17]. 肌电信息和加速度信息的融合方式包括两种类型: 串联和并联方式. 1)串联方式. 包含两阶段的层级结构. 即首先利用加速度信息训练分类器并用于识别肢体姿态或位置信息; 在判别了不同位置或姿态的基础上, 利用各自的肌电识别模型, 进一步确定手部动作类型[75-76, 79]. 2)并联形式. 即使用加速度信息和肌电信息, 或其相关特征, 共同拓展模型的输入维度. 通过扩维的数据融合方式提升识别系统对姿态干扰的鲁棒性[75].
2)提取肢体姿态不敏感特征. 不同于丰富训练集数量和类型的方式, 对肢体姿态不敏感的肌电信号鲁棒性特征方式由于降低对用户的学习和使用门槛, 将适用于更多交互场景. Khushaba等[80-82]提出了频域的多个特征, 如谱矩(Spectral moments)、谱稀疏性(Spectral sparsity)、谱通量(Spectral flux)、不规则因子(Irregularity factor)、信号功率谱相关性(Signals power spectrum correlation)等, 以及用于量化位姿角度的特征等, 探究了这些特征对姿态干扰的鲁棒性. 而Betthauser等[83-84]提出了肌电信号的稀疏表达特征与基于稀疏特点的自适应校正方法, 在新姿态下进行了离线和在线测试, 显著提高了新姿态下的识别精度和识别鲁棒性. 另外值得一提的是, 肢体姿态对识别结果的干扰影响, 正常人与截肢患者有明显不同, 对正常人的干扰性更为明显一些[72, 79]. 因此, 在进行实验设计与方法验证时, 应尽可能包含更多用户数据, 使结果具有更强的说服力.
1.5 其他干扰或综合干扰
在日常复杂的实际人机交互应用中, 针对sEMG识别的非理想因素, 不仅仅局限于前述多个常见且影响严重的干扰, 还包括电极脱落导致的数据丢失问题[85-86]、皮肤表面的汗液或温度变化导致的电极阻抗变化问题[87]、工频干扰[88-89]等, 以及实际应用中对新动作的需求等因素或多种因素的综合干扰, 依然制约着sEMG识别系统的应用与推广.
2. 研究现状中的主要问题
综上所述, 基于sEMG的识别方法在实际应用场景中面临着诸多的非理想干扰因素, 研究者们针对各个干扰因素, 提出了丰富的干扰估计和干扰克服方法, 在很大程度上提高了肌电识别系统的鲁棒性.
然而, 在前述的诸多文献中, 多数研究内容主要集中在克服单个干扰因素的影响; 且通过特定的实验范式, 控制单变量地仅引入单个干扰因素, 与实际肌电交互场景有明显差异. 因此, 针对实际肌电交互场景的诸多干扰因素, 现有研究弱化或忽略了各个干扰因素之间不同组合而带来的耦合性, 以及由场景变化或肌电信号的时变特点而引起的过渡性.
2.1 非理想因素之间的耦合性与过渡性
1)耦合性. 指同一肌电交互场景中存在多种干扰因素, 且无法判断各类干扰的影响程度. 如当预训练识别模型应用于新用户时, 其中显而易见会引入个体性差异的干扰; 不同人在完成动作时的姿态信息、肌肉收缩方式和收缩力大小也存在差异; 而在穿戴过程中由于粘贴位置的不同, 也会耦合电极偏移的问题. 并且, 这些实际日常生活中耦合的诸多干扰之间, 较难判断究竟是由哪一种干扰因素在起主导作用.
2)过渡性. 指长时间肌电交互场景中, 某些因素的干扰程度在不断变化, 或不同场景中对肌电识别模型的目标变化. 在长时间的肌电意图识别与交互控制中, 一方面主要由于肌肉的长时间反复收缩容易引入不同程度的肌肉疲劳问题; 另一方面用户在使用过程中, 尤其是通过视觉等方式不断接收实际交互效果的反馈后, 大脑或中枢神经在刺激肌肉收缩时也会逐渐适应这种交互方式, 不自主地改变肌肉发力方式或大小[90]. 因此, 传统有监督模型, 受限于一经训练完成模型固定的特点, 将无法适用于实际应用中这类变化因素. 这一点在前述诸多干扰的应对方法中已有所体现, 部分研究者在传统有监督模型中引入自适应变量或引入迁移学习, 以增强模型的适应性, 但距离克服实际应用中的诸多干扰因素过渡性仍有较大差距.
2.2 抗干扰方法中的主要问题
如前文对诸多非理想因素的本质分析, 以及相关克服方法的综述, 如表1所示, 为克服实际应用中的诸多非理想因素, 相关研究方法可以归纳为三种基本内容: 数据扩增、鲁棒特征与模型更新.
表 1 非理想因素及解决方案Table 1 Non-ideal factors and solutions非理想因素 数据扩增 鲁棒特征 模型更新 电极偏移 1) 多位置数据扩增[13, 16]
2) 多通道数据扩增[12]
3) 惯导等数据融合[17-18]1) AR、TDAR特征[16, 19]
2) 倒频谱特征[20]
3) Variogram 特征[10]
4) 结构相似性特征[21]
5) 共空间模式特征[22]
6) 灰度共生矩阵特征[14]1) 模型修正与协方差偏移适应[24-25]
2) 期望最大化迁移学习[15, 26-27]
3) 自适应增量式混合分类器[28-29]
4) 偏移估计与模型更新[30]
5) 骨骼位置估计与校正[31]个体性差异 1) 多人数据扩增[36]
2) 惯导等数据融合[37]
3) 个体形态参数归一化[38]1) 肌电分解特征[39]
2) 多分辨率肌肉协同特征[40]
3) 共同空间映射[41]1) SVM权重更新策略[42-43, 91]
2) 典型相关分析低维共空间映射[44]
3) 用户、动作依赖的双线性模型[45]
4) 基于最大收缩力的模型泛化[46]
5) 基于卷积神经网络的模型迁移[47]肢体姿态 1) 多姿态下的数据扩增[75-77]
2) “动态训练”数据采集[70, 78]
3) 惯导等数据融合[17, 75-76, 79]1) 谱矩等频域特征[80-82]
2) 稀疏表达特征[83-84]— 肌肉疲劳 1) 频域特征归一化 (MDF, MNF[52, 92],
STFT, WT[93-94], iMDF, iMNF[56], 一维
频谱—标准差[59]等)
2) 疲劳状态的分类识别[59, 62–64]1)数据扩增. 主要是扩增更多场景下的肌电数据量, 或与其他模态传感器数据相融合; 其中扩增数据量, 一定程度上花费大量时间, 需要综合考虑个体用户的学习成本与使用负担. 而多传感器数据融合, 提供了更多人体意图的冗余和互补信息, 代表着人机交互的未来趋势之一.
2)鲁棒特征. 虽然在某些单一非理想场景中, 精心设计的鲁棒特征表现良好, 但是其推广性较差, 且在新的场景中探寻鲁棒特征较为困难. 因此, 应当结合特征工程或特征学习等方法, 为提高系统的鲁棒性提供通用的理论指导.
3)模型更新. 该方面的研究成果较为丰富, 是肌电识别研究的重要环节与主要内容. 但模型更新的代价问题, 如所需的新样本量或模型更新时间等, 则是其不得不考虑的重要因素; 另外, 多数研究中的模型更新策略通用性较差, 仅适用于特定的分类模型, 如SVM等.
最后, 即使针对同一类非理想干扰因素, 由于采用了各自的实验设备、实验范式和实验数据等, 所提方法之间未进行充分的对比. 大部分研究仅相对于未采取任何措施的方法进行对比, 验证了算法的可行性和有效性. 以往方法鲜有在当前实验中进行复现, 方法之间缺乏直接对比.
3. 非理想肌电识别的关键技术展望
因此, 本文在综述了非理想肌电的诸多干扰因素与现有文献方法的基础上, 将当前研究所面临的关键问题总结为: 1)缺乏统一的算法比较平台, 2)忽略了干扰之间的耦合性和过渡性.
本节将针对上述问题, 进一步总结分析并提出了“一个平台 + 两种方法”的关键技术展望(见图6), 包括:
1)构建统一开放的肌电等多传感器数据集作为基准平台, 使得不同研究方法之间能够进行统一比较;
2)探索基于“机器学习”和“机理建模”的肌电识别方法, 分别从特征层面与机理层面, 研究肌电信号在非理想场景下的过渡变化与多干扰之间的耦合关系.
3.1 构建统一开放的肌电等多传感器数据集
大规模有标签数据集作为主要的推动力之一, 促进了以深度学习为核心的机器学习技术, 在语音识别、图像处理与识别、自然语言处理等领域的飞速发展. 该技术主要利用了大规模有监督数据集与深层神经网络, 突破了传统机器学习算法中依赖于手工特征的局限性.
而在肌电信号识别领域, 虽然基于机器学习和模式识别的方法已经非常普遍, 但是统一开放的肌电识别数据集仍然非常鲜见. 究其原因, 一方面受限于肌电信号采集设备, 目前实验室用高精度肌电传感器普遍非常昂贵, 且采集设备在电极配置、调理电路和采样率等方面存在较大差异; 另一方面, 有别于常见的语音信号、图像、视频、文本等信息, 原始肌电信号的可理解性较差, 无法直接验证数据的真实性和可靠性, 仅能通过合理的实验范式保证数据的有效性与准确性; 并且囿于不同的应用场景和识别目标, 数据采集范式也有一定的差异.
表 2 sEMG数据集Table 2 Surface EMG signal datasets数据集 传感器 参与人数 动作类别 NinaPro[4] DB1 1) Otto Bock MyoBock 13E200 电极,
(10 通道, 肌电 RMS 特征)
2) 数据手套 Cyberglove (22 通道)27 名健康人 52 类手部动作重复 10 次 DB2/3 1) Delsys Trigno Wireless 肌电系统,
(12 通道双差分 EMG, 36 通道 ACC)
2) 数据手套 Cyberglove (22 通道)
3) 手指力传感器 (6 通道)
4) 腕部倾角传感器 (2 通道)40 名健康人 49 个手部动作重复 6 次 DB4 1) Cometa 单差分无线肌电电极 (12
通道单差分)10 名健康人 52 类手部动作重复 6 次 DB5 1) Thalmic Myo 肌电臂环 (2 套, 共计
2×8 通道单差分)
2) 数据手套 Cyberglove (22 通道)10 名健康人 52 类手部动作重复 6 次 DB6 1) Delsys Trigno Wireless 肌电系统
(14 通道, 42 通道 ACC)
2) Tobii Pro Glasses II (追踪眼动和视野)10 名健康人 7 个抓握动作重复 12 次
重复 5 天DB7 1) Delsys Trigno Wireless 肌电系统
(12 通道 EMG, 9 轴 IMU)
2) 数据手套 Cyberglove (22 通道)20 名健康人
2 名截肢者40 个手部动作重复 6 次 DB8 1) Delsys Trigno Wireless 肌电系统
(16通道 EMG, 9 轴 IMU, 采样至 2 kHz)
2) 数据手套 Cyberglove (22 通道)10 名健康人
2 名截肢者9 个手部动作 CSL-HDEMG[31] 1) HD-EMG (8×24 = 192通道) 5 名健康人 27 个手部/手指动作 CapgMyo[95] DB-a 1) HD-EMG (8×16 = 128 通道) 18 名健康人 8 个手指动作
8 个手指动作 (同上)
不同时间段重复两次
12 个手指动作DB-b 10 名健康人 DB-c 10 名健康人 UCI 等 Myo[96] 1) Thalmic Myo 肌电臂环 (8 通道) 36 名健康人 8 个抓握动作 Christos-Delsys[97] 1) Delsys Trigno Wireless (2 通道) 6 名健康人 6 个抓握动作 如同语音识别或图像处理等领域, 肌电信号识别领域亟需统一开放的数据集. 经调研, 在该领域仅存在少量公开的肌电信号相关数据集, 如NinaPro[4], CSL-HDEMG[31], CapgMyo[95]等, 其简要介绍如表2所示. 其中以NinaPro的数据集最为系统、丰富和完整, 涉及正常人和不同截肢患者的数十种手部常见动作(高达52类离散动作), 数据采集过程采用了多种常见肌电采集系统(如Delsys, Myo等), 同时引进了数据手套、力矩传感器等其他类型传感器采集, 更丰富而全面的获取手部运动信息. 目前, 已有部分研究利用该数据集进行方法测试与比较. 而CSL-HDEMG和CapgMyo等数据集, 参考了NinaPro类似的实验数据采集范式, 但更侧重在新型高密度阵列式表面肌电信号传感器, 如CSL-HDEMG重点采集了更精细手指运动范式下的肌电信号.
然而, 现有的大部分公开数据集目前仍然局限于研究理想场景下的准确性方面, 对非理想场景下的鲁棒性研究借鉴意义有限, 仅对个体性差异等干扰可以直接测试比较. 面对更多如电极偏移、肌肉疲劳、姿态干扰等非理想因素, 则无法直接处理. 因此, 针对非理想干扰的统一开放肌电数据集仍然非常重要和迫在眉睫, 需要通过系统的实验范式有目的地引入更多的干扰, 覆盖更多实际应用场景. 同时, 由前面综述的诸多非理想干扰应对方法可知, 通过融合IMU等其他类型数据是克服诸如电极偏移和姿态干扰等因素的重要途径之一. 尤其是大多数的商用sEMG传感器一般都内置IMU等传感器, 因此通常无需增加肌电交互系统的硬件成本, 可通过多传感器融合技术的方式提高人机交互的鲁棒性和稳定性. 因此, 以肌电信号为核心, 尽可能地融合更多其他类型传感器数据, 如脑电信号、眼电信号和视觉信息等, 构建统一开放的肌电等多传感器数据集, 越来越成为肌电识别与人机交互的基础研究内容之一.
3.2 探索基于机器学习的肌电识别方法
借助于机器学习的识别技术(如深度学习和迁移学习等), 研究人员逐渐克服了语音识别中的个体差异问题, 图像领域中的目标检测与分割问题, 和自然语言处理中的上下文问题等, 然而类似的科学问题在基于sEMG的人体意图识别中同样存在, 尤其存在于非理想场景下的sEMG识别中. 因此, 探索基于机器学习的肌电识别方法, 以解决非理想肌电的诸多干扰问题, 具有重要研究价值与实用意义.
3.2.1 基于深度学习的特征表示与特征学习
深度学习在图像处理等领域近期的诸多研究进展和文献综述表明, 深度学习方法之所以有效地解决了其中许多关键问题, 其最核心在于摒弃了传统机器学习方法中的手工特征等环节. 深度学习方法采用多层次的神经网络结构, 能够自主地进行特征学习和层级特征表示. 而归纳肌电识别领域的研究进展, 目前大多数的研究者, 仍然依赖于传统的机器学习范式, 尤其是依赖于大量的手工设计特征, 如时域特征、频域特征与时频域特征[1]. 目前已有部分研究开始借鉴其他领域的深度学习方法进行特征学习方面研究, 如采用时序卷积网络(Temporal-convolutional networks, TCN)提取肌电信号时序、层级特征, 提高肌电识别的准确度[98] (如图7所示); 针对多通道肌电时间序列构造二维输入, 或对单通道肌电序列提取小波变换转换成二维时频域特征表示, 进而采用类图像处理方法中的CNN网络结构, 进行特征学习[99]; 更进一步, 将传统特征与学习特征进行比较, 以实现更准确、更本质的肌电特征描述[100]. 因此采用深度学习方法, 聚焦在肌电信号的特征学习与层级特征表示方面, 是未来提高肌电识别准确性和保证非理想场景下肌电识别鲁棒性的重要研究内容之一.
但目前受限于肌电信号有限的数据集, 无法有效地在大规模的肌电数据集中通过深度神经网络进行特征学习和特征表示. 退而求其次, 更系统全面的特征提取方法研究, 对基于深度学习的肌电识别仍然具有铺垫与递进意义. 一方面传统特征提取方法具有明确的生理和物理意义. 尽管目前已有部分文献对特征提取及其他环节等进行了讨论, 但涉及的特征数量较少(一般不超过20个), 未来仍然需要更加全面和系统的特征对比、讨论和探究. 如采用TSFRESH (Time series feature extraction based on scalable hypothesis tests)等开源库进行大量的特征提取、假设性检验和特征选择等[101-102]. 另一方面, 在现有有限的数据集上, 利用已知的大量有效肌电特征作为深度神经网络的输入, 提高肌电信号的表征能力, 拓展深度神经网络的输入类型, 并降低深度神经网络的特征学习压力, 也是非常有意义的未来研究内容之一.
3.2.2 基于迁移学习的模型更新
相对于非理想因素引起的样本分布差异问题, 非理想场景下训练集与测试集之间仍然潜在着较强的关联关系或不变特征, 同样具有重要的研究意义. 如迁移学习基本框架(如图8所示), 即利用源域的相关知识或特征, 来提高模型在目标域上的识别性能(目标域虽然与源域不同但是包含相关的信息)[103]. 如前文综述, 在解决电极偏移和个体性差异等问题上, 已有部分研究者沿着这类子空间对齐[104]的迁移学习方法开展了相关的研究工作. 其原理如式(5)和式(6)所示, 以优化的思路求解特征空间的映射关系.
$$ F\left( M \right) = \left\| {{X_s}M - {X_t}} \right\|_{\rm{F}}^2$$ (5) $${M^*} = {\rm{arg}}\mathop {\min }\nolimits_M \left( {F\left( M \right)} \right)$$ (6) 其中,
$ {X}_{s} $ 表示源域的特征,$ {X}_{t} $ 表示目标域的特征,$ F(\cdot) $ 为损失函数,$ M $ 即在特征空间中源域与目标域之间的线性变换矩阵.
图 8 基于迁移学习的理想场景与非理想场景之间肌电识别模型的更新与适应Fig. 8 Update and adaptation of sEMG-based recognition model between ideal and non-ideal scenarios based on transfer learning因此, 基于迁移学习的肌电识别研究, 尤其是结合深度神经网络的特征表示方法, 为肌电识别的准确性与鲁棒性研究提供了新的研究思路.
采用迁移学习解决非理想因素的干扰问题时, 目前主要挑战之一是迁移学习或模型更新的代价, 其常常需要大量额外的样本数据用于求解源域与目标域之间的映射, 如式(5)和式(6)中的线性变换矩阵. 而主动学习(Active learning)可用于挑选最具有信息量和判别性的样本, 在未来的研究工作中, 将有利于采用最少的有监督样本与最低标注成本, 完成理想模型在非理想场景下的迁移或更新[105–107].
3.3 探索基于机理建模的肌电识别方法
前述的多种研究思路或方法, 主要从机器学习或模式识别角度展开, 但肌电信号的形成机理与肌肉收缩机制仍然具有重要的启发意义, 可用于开展基于机理建模的肌电识别研究.
图9展示了肌电信号分解的生理机制: 位于皮肤表面的肌电信号传感器所采集到的电信号, 实际上是由来自多个运动单元动作电位序列(MUAP trains), 在皮肤表面叠加而成的综合信号. 因此, 肌电分解正是将传感器采集到的sEMG还原成多个MUAP, 是肌电信号形成的逆过程. 基于肌电分解的精细建模方法将基于对运动单元的刺激收缩作为研究切入点, 在更精细和微观的层次进行肌肉收缩建模研究, 从而在生理本质上保证识别模型的可解释性和准确性, 开拓了肌电识别在机理建模方面的重要研究方向[108].
基于肌电分解等生理机制的研究思路, 由因导果(按照机体的意图产生和作用的因果关系, 逐步推导或建立肢体受刺激的动力学模型); 相对而言, 基于机器学习或模式识别的研究思路, 则是由果索因(利用已知或标定的动作标签或更高精度传感器数据作为“参考真值”, 通过识别模型的参数训练等方式, 反向建立以肌电信号为输入、运动信息为输出的模型). 两者的侧重点不同, 但对于肌电识别研究均具有重要的研究意义和实用价值. 尤其是以生理机制为基础的研究方法, 在解决非理想场景中各类干扰问题时, 更易于在机理上探索出解释性合理与鲁棒性强的肌电识别方法.
但目前而言, 基于机理建模的肌电识别方法, 除了在肌肉疲劳等方面有部分相关研究外, 在克服其他干扰方面的研究比较鲜见. 因此, 在肌电分解与肌肉机理建模的研究方面, 仍有大量的未知研究内容, 这类机理方面的研究不仅仅直接有助于更准确与更稳定的肌电识别结果; 对深度学习模型的网络设计与迁移学习的映射求解, 也将具有十分显著的启发意义.
4. 结论
随着智能假肢、可穿戴外骨骼与助力设备等康复机器人系统在本体机械结构设计与控制系统方面的不断完善, 以及高精度肌电信号硬件采集系统的性能提升, 如何实现人—机的准确、自然与稳定交互, 越来越成为人机共融系统中的瓶颈环节, 也已经逐渐成为研究热点问题. 目前, 大量基于机器学习和模式识别的肌电意图解码方法不断推陈出新, 将意图识别的准确率或精度不断提升.
然而当基于肌电信号的诸多康复机器人系统从实验室环境推广到实际日常使用时, 却面临着大量的非理想因素干扰. 本文主要聚焦在电极偏移、个体性差异、肌肉疲劳、肢体姿态和其他综合性干扰方面, 详细归纳了当前研究的干扰及其应对方法; 接着总结并讨论了研究现状中的关键问题; 最后, 提出了“一个平台+两个方法”的未来关键技术展望, 包括构建统一开放的多传感器融合数据集、探索深度学习的特征学习和基于迁移学习的模型更新与适应, 以及肌电分解研究等技术内容, 旨在为后续深入研究提供潜在的研究思路.
-
表 1 HRST与传统方式的比较
Table 1 Comparation between HRST and the conventional methods
传统编程方式 人机技能传递 交互方式 人机隔离 共融交互 交互感受 编程不直观 自然、直观 编程人员 需要专业工程师 不依赖专业人员 机器人平台 针对具体机器人平台 技能不受限于特定平台 工作空间 受限于作业环境 受限程度小 任务情况 任务具体、固定 适应于不同任务, 可优化 编程效率 效率低下, 耗时多 效率较高, 便于重配置 
下载: 导出CSV
表 2 DMP、GMM、HMM模型特点总结
Table 2 The summary of DMP、GMM、HMM models
模型 常见变种 基本特点 技能示例 DMP - 模型简单; 拓展性好; 学习单次示教; 计算效率高$^{1}$. Tennis swings[75] Bio-inpisred DMP 可以克服跨过零点问题, 可在线动态避障. Pick-and-place[34] PDMP 适用高维$^{2}$、连续系统; 对多种运动灵活表达. Walking[36] GDMP 可实现多种控制策略, 起到意图预测等作用. Grasping[37] AL-DMP 空间与时间信息分别表示, 更好地表达运动速度. Reaching positions[39] SDMP 可从多次差异较大的示教结果中学习技能特征$^{3}$. Table tennis[41] ProMP$^{4}$ 对运动原语概率化表示; 可有机混合不同运动原语. Robot hockey[76] Coupling DMP 耦合双臂运动信息, 适宜双臂、协作操作任务. Bimanual tasks[35] DMP-based RL 通过强化学习方法对DMP轨迹优化. Ball-in-a-cup[43] GMM - 可表达不同维度的关联信息; 可表征多次示教; 计算效率相对低. Gripper assembly[77] ILO-GMM 局部耦合运动信息; 增量学习运动技能. Moving[54] TP-GMM 耦合任务参数到模型中; 对参数化轨迹在线调节. Rolling out a pizza[56] TP-GMM on RM$^{5}$ 用黎曼流形表示GMM, 有效表达末端位姿分布信息. Bimanual pouring[59] HMM - 相比GMM对运动的信息表达能力更强; 计算效率相比较低. Ball-in-box[78] HMM-GMR 用GMR做回归模型, 可在线生成运动控制命令; 鲁棒性好. Feeding[67] HMM-LPV 保证每个子状态的稳定性, 适宜复杂任务建模. Reach-Peel-retractg[69] HSMM 可表达状态驻留时间, 相比HMM抗外界干扰能力强. Button pushing[12] ADHSMM 自适应调节状态驻留时间, 对时间信息表达能力更强. Pouring[73] 1 计算效率高是指离线下模型学习时间短, 这里不包括基于DMP的强化学习算法.
2 指对多个自由度个数, 如对7-DOF的机械臂同时学习位置与速度, 则维度为14.
3 指多次示教的轨迹重合度小, 难于对齐, 如打乒乓球时的运动轨迹.
4 概率化运动原语(Probabilistic movement primitives, ProMP).
5 指黎曼流形(Riemannian manifolds, RM).
下载: 导出CSV
-
[1] 周济, 李培根, 周艳红, 王柏村, 臧冀原, 孟柳.走向新一代智能制造.工程, 2018, 4(1):11-20 http://d.old.wanfangdata.com.cn/Periodical/zgkjcy201806008Zhou Ji, Li Pei-Gen, Zhou Yan-Hong, Wang Bai-Cun, Zang Ji-Yuan, Meng Liu. Toward new-generation intelligent manufacturing. Engineering, 2018, 4(1):11-20 http://d.old.wanfangdata.com.cn/Periodical/zgkjcy201806008 [2] Argall B D, Chernova S, Veloso M, Browning B. A survey of robot learning from demonstration. Robotics and Autonomous Systems, 2009, 57(5):469-483 doi: 10.1016/j.robot.2008.10.024 [3] Liang P D, Yang C G, Li Z J, Li R F. Writing skills transfer from human to robot using stiffness extracted from sEMG. In: Proceedings of the 2015 IEEE International Conference on Cyber Technology in Automation, Control, and Intelligent Systems. Shenyang, China: IEEE, 2015. 19-24 https://www.researchgate.net/publication/308859401_Writing_skills_transfer_from_human_to_robot_using_stiffness_extracted_from_sEMG [4] Yang C G, Zeng C, Liang P D, Li Z J, Li R F, Su C Y. Interface design of a physical human-robot interaction system for human impedance adaptive skill transfer. IEEE Transactions on Automation Science and Engineering, 2018, 15(1):329-340 doi: 10.1109/TASE.2017.2743000 [5] Lin H C, Tang T, Fan Y X, Zhao Y, Tomizuka M, Chen W J. Robot learning from human demonstration with remote lead through teaching. In: Proceedings of the 2016 European Control Conference. Aalborg, Denmark: IEEE, 2016. 388-394 https://www.researchgate.net/publication/312401661_Robot_learning_from_human_demonstration_with_remote_lead_hrough_teaching [6] Vakanski A, Mantegh I, Irish A, Janabi-Sharifi F. Trajectory learning for robot programming by demonstration using hidden Markov model and dynamic time warping. IEEE Transactions on Systems, Man, and Cybernetics, Part B (Cybernetics), 2012, 42(4):1039-1052 doi: 10.1109/TSMCB.2012.2185694 [7] Niekum S, Osentoski S, Konidaris G, Barto A G. Learning and generalization of complex tasks from unstructured demonstrations. In: Proceedings of the 2012 IEEE/RSJ International Conference on Intelligent Robots and Systems. Vilamoura, Portugal: IEEE, 2012. 5239-5246 [8] Shadmehr R, Moussavi Z M. Spatial generalization from learning dynamics of reaching movements. Journal of Neuroscience, 2000, 20(20):7807-7815 doi: 10.1523/JNEUROSCI.20-20-07807.2000 [9] Tang T, Lin H C, Zhao Y, Fan Y X, Chen W J, Tomizuka M. Teach industrial robots peg-hole-insertion by human demonstration. In: Proceedings of the 2016 IEEE International Conference on Advanced Intelligent Mechatronics. Banff, Canada: IEEE, 2016. 488-494 [10] Ajoudani A, Fang C, Tsagarakis N G, Bicchi A. A reduced-complexity description of arm endpoint stiffness with applications to teleimpedance control. In: Proceedings of the 2015 IEEE/RSJ International Conference on Intelligent Robots and Systems. Hamburg, Germany: IEEE, 2015. 1017-1023 https://www.researchgate.net/publication/308584248_A_reduced-complexity_description_of_arm_endpoint_stiffness_with_applications_to_teleimpedance_control [11] Webb J, Ashley J. Beginning Kinect Programming with the Microsoft Kinect SDK. New York:Apress, 2012. [12] Liang P D, Ge L Z, Liu Y H, Zhao L J, Li R F, Wang K. An augmented discrete-time approach for human-robot collaboration. Discrete Dynamics in Nature and Society, 2016, 2016: Article ID 9126056 [13] Xu Y, Yang C G, Zhong J P, Wang N, Zhao L J. Robot teaching by teleoperation based on visual interaction and extreme learning machine. Neurocomputing, 2018, 275:2093-2103 doi: 10.1016/j.neucom.2017.10.034 [14] Yang Y Z, Li Y, Fermüller C, Aloimonos Y. Robot learning manipulation action plans by "watching" unconstrained videos from the world wide web. In: Proceedings of the 29th AAAI Conference on Artificial Intelligence. Texas, USA: AAAI, 2015. 3686-3693 https://www.researchgate.net/publication/273818079_Robot_Learning_Manipulation_Action_Plans_by_Watching_Unconstrained_Videos_from_the_World_Wide_Web [15] Tung H Y, Harley A W, Huang L K, Fragkiadaki K. Reward learning from narrated demonstrations. In: Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City, UT, USA: IEEE, 2018. 7004-7013 [16] Yang C, Wang X, Cheng L, Ma H. Neural-learning-based telerobot control with guaranteed performance. IEEE transactions on cybernetics, 2016, 47(10):3148-3159 http://www.ncbi.nlm.nih.gov/pubmed/27337731 [17] Yang C G, Wang X J, Li Z J, Li Y, Su C Y. Teleoperation control based on combination of wave variable and neural networks. IEEE Transactions on Systems, Man, and Cybernetics:Systems, 2017, 47(8):2125-2136 doi: 10.1109/TSMC.2016.2615061 [18] Yang C G, Luo J, Pan Y P, Liu Z, Su C Y. Personalized variable gain control with tremor attenuation for robot teleoperation. IEEE Transactions on Systems, Man, and Cybernetics:Systems, 2018, 48(10):1759-1770 doi: 10.1109/TSMC.2017.2694020 [19] Duan J, Ou Y, Xu S, Liu, M. Sequential learning unification controller from human demonstrations for robotic compliant manipulation. Neurocomputing, 2019. https://doi.org/10.1016/j.neucom.2019.07.081 doi: 10.1016/j.neucom.2019.07.081 [20] Rozo L, Calinon S, Caldwell D G, Jimenez P, Torras C. Learning physical collaborative robot behaviors from human demonstrations. IEEE Transactions on Robotics, 2016, 32(3):513-527 doi: 10.1109/TRO.2016.2540623 [21] Yang C G, Liang P D, Li Z J, Ajoudani A, Su C Y, Bicchi A. Teaching by demonstration on dual-arm robot using variable stiffness transferring. In: Proceedings of the 2015 IEEE International Conference on Robotics and Biomimetics. Zhuhai, China: IEEE, 2015. 1202-1208 [22] Yang C G, Liang P D, Ajoudani A, Li Z J, Bicchi A. Development of a robotic teaching interface for human to human skill transfer. In: Proceedings of the 2016 IEEE/RSJ International Conference on Intelligent Robots and Systems. Daejeon, South Korea: IEEE, 2016. 710-716 [23] Tanwani A K, Calinon S. Learning robot manipulation tasks with task-parameterized semitied hidden semi-Markov model. IEEE Robotics and Automation Letters, 2016, 1(1):235-242 doi: 10.1109/LRA.2016.2517825 [24] Racca M, Pajarinen J, Montebelli A, Kyrki V. Learning in-contact control strategies from demonstration. In: Proceedings of the 2016 IEEE/RSJ International Conference on Intelligent Robots and Systems. Daejeon, South Korea: IEEE, 2016. 688-695 [25] Yang C G, Zeng C, Fang C, He W, Li Z J. A dmps-based framework for robot learning and generalization of humanlike variable impedance skills. IEEE/ASME Transactions on Mechatronics, 2018, 23(3):1193-1203 doi: 10.1109/TMECH.2018.2817589 [26] Calinon S, Pistillo A, Caldwell D G. Encoding the time and space constraints of a task in explicit-duration hidden Markov model. In: Proceedings of the 2011 IEEE/RSJ International Conference on Intelligent Robots and Systems. San Francisco, USA: IEEE, 2011. 3413-3418 [27] Ijspeert A J, Nakanishi J, Schaal S. Trajectory formation for imitation with nonlinear dynamical systems. In: Proceedings of the 2001 IEEE/RSJ International Conference on Intelligent Robots and Systems. Maui, USA: IEEE, 2001. 752-757 [28] Ijspeert A J, Nakanishi J, Schaal S. Learning rhythmic movements by demonstration using nonlinear oscillators. In: Proceedings of the 2002 IEEE/RSJ International Conference on Intelligent Robots and Systems. Lausanne, Switzerland: IEEE, 2002. 958-963 [29] Ijspeert A J, Nakanishi J, Shibata T, Schaal S. Nonlinear dynamical systems for imitation with humanoid robots. In: Proceedings of the 2001 IEEE/RAS International Conference on Humanoid Robots. Tokyo, Japan: IEEE, 2001. 219-226 [30] Schaal S, Mohajerian P, Ijspeert A. Dynamics systems vs. optimal control-a unifying view. Progress in Brain Research, 2007, 165:425-445 doi: 10.1016/S0079-6123(06)65027-9 [31] Ijspeert A J, Nakanishi J, Hoffmann H, Pastor P, Schaal S. Dynamical movement primitives:learning attractor models for motor behaviors. Neural computation, 2013, 25(2):328-373 doi: 10.1162/NECO_a_00393 [32] Ude A, Gams A, Asfour T, Morimoto J. Task-specific generalization of discrete and periodic dynamic movement primitives. IEEE Transactions on Robotics, 2010, 26(5):800-815 doi: 10.1109/TRO.2010.2065430 [33] Muelling K, Kober J, Peters J. Learning table tennis with a mixture of motor primitives. In: Proceedings of the 10th IEEE/RSJ International Conference on Humanoid Robots. Nashville, USA: IEEE, 2010. 411-416 [34] Hoffmann H, Pastor P, Park D H, Schaal S. Biologically-inspired dynamical systems for movement generation: automatic real-time goal adaptation and obstacle avoidance. In: Proceedings of the 2009 IEEE International Conference on Robotics and Automation. Kobe, Japan: IEEE, 2009. 2587-2592 [35] Rückert E, d'Avella A. Learned parametrized dynamic movement primitives with shared synergies for controlling robotic and musculoskeletal systems. Frontiers in Computational Neuroscience, 2013, 7:138 http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=Doaj000003587748 [36] Krug R, Dimitrov D. Model predictive motion control based on generalized dynamical movement primitives. Journal of Intelligent and Robotic Systems, 2015, 77(1):17-35 doi: 10.1007/s10846-014-0100-3 [37] Meier F, Schaal S. A probabilistic representation for dynamic movement primitives. arXiv preprint, arXiv: 1612.05932, 2016. [38] Gašpar T, Nemec B, Morimoto J, Ude A. Skill learning and action recognition by arc-length dynamic movement primitives. Robotics and Autonomous Systems, 2018, 100:225-235 doi: 10.1016/j.robot.2017.11.012 [39] Gams A, Nemec B, Ijspeert A J, Ude A. Coupling movement primitives:interaction with the environment and bimanual tasks. IEEE Transactions on Robotics, 2014, 30(4):816-830 doi: 10.1109/TRO.2014.2304775 [40] Yin X C, Chen Q J. Learning nonlinear dynamical system for movement primitives. In: Proceedings of the 2014 IEEE International Conference on Systems, Man, and Cybernetics. San Diego, USA: IEEE, 2014. 3761-3766 [41] Matsubara T, Hyon S H, Morimoto J. Learning stylistic dynamic movement primitives from multiple demonstrations. In: Proceedings of the 2010 IEEE/RSJ International Conference on Intelligent Robots and Systems. Taipei, China: IEEE, 2010. 1277-1283 [42] Kober J. Reinforcement Learning for Motor Primitives. Citeseer, 2018. [43] Kober J, Mohler B, Peters J. Learning perceptual coupling for motor primitives. In: Proceedings of the 2008 IEEE/RSJ International Conference on Intelligent Robots and Systems. Nice, France: IEEE, 2008. 834-839 [44] Theodorou E, Buchli J, Schaal S. A generalized path integral control approach to reinforcement learning. Journal of Machine Learning Research, 2010, 11:3137-3181 http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=10.1177/001100007100300102 [45] Buchli J, Stulp F, Theodorou E, Schaal S. Learning variable impedance control. The International Journal of Robotics Research, 2011, 30(7):820-833 doi: 10.1177/0278364911402527 [46] Li Z J, Zhao T, Chen F, Hu Y B, Su C Y, Fukuda T. Reinforcement learning of manipulation and grasping using dynamical movement primitives for a humanoidlike mobile manipulator. IEEE/ASME Transactions on Mechatronics, 2018, 23(1):121-131 doi: 10.1109/TMECH.2017.2717461 [47] Stulp F, Theodorou E A, Schaal S. Reinforcement learning with sequences of motion primitives for robust manipulation. IEEE Transactions on Robotics, 2012, 28(6):1360-1370 doi: 10.1109/TRO.2012.2210294 [48] Stulp F, Sigaud O. Robot skill learning:from reinforcement learning to evolution strategies. Paladyn, Journal of Behavioral Robotics, 2013, 4(1):49-61 [49] Calinon S, Bruno D. A Programming by Demonstration Model Combining Statistics, Dynamical Systems and Optimal Control, Technical Report, IDIAP Research Institute, Martigny, Switzerland, 2014. [50] Calinon S, Guenter F, Billard A. On learning, representing, and generalizing a task in a humanoid robot. IEEE Transactions on Systems, Man, and Cybernetics, Part B (Cybernetics), 2007, 37(2):286-298 doi: 10.1109/TSMCB.2006.886952 [51] Muhlig M, Gienger M, Hellbach S, Steil J J, Goerick C. Task-level imitation learning using variance-based movement optimization. In: Proceedings of the 2009 IEEE International Conference on Robotics and Automation. Kobe, Japan: IEEE, 2009. 1177-1184 [52] Gribovskaya E, Khansari-Zadeh S M, Billard A. Learning non-linear multivariate dynamics of motion in robotic manipulators. International Journal of Robotics Research, 2011, 30(1):80-117 http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=711db58151744e9da01f83c8343aaa84 [53] Khansari-Zadeh S M, Billard A. Learning stable nonlinear dynamical systems with Gaussian mixture models. IEEE Transactions on Robotics, 2011, 27(5):943-957 doi: 10.1109/TRO.2011.2159412 [54] Cederborg T, Li M, Baranes A, Oudeyer P Y. Incremental local online Gaussian Mixture Regression for imitation learning of multiple tasks. In: Proceedings of the 2010 IEEE/RSJ International Conference on Intelligent Robots and Systems. Taipei, China: IEEE, 2010. 267-274 [55] Calinon S, Billard A. Statistical learning by imitation of competing constraints in joint space and task space. Advanced Robotics, 2009, 23(15):2059-2076 doi: 10.1163/016918609X12529294461843 [56] Calinon S, Alizadeh T, Caldwell D G. On improving the extrapolation capability of task-parameterized movement models. In: Proceedings of the IEEE/RSJ International Conference on Intelligent Robots and Systems. Tokyo, Japan: IEEE, 2013. 610-616 [57] Alizadeh T, Calinon S, Caldwell D G. Learning from demonstrations with partially observable task parameters. In: Proceedings of the IEEE International Conference on Robotics and Automation. Hong Kong, China: IEEE, 2014. 3309-3314 [58] Huang Y L, Silvério J, Rozo L, Caldwell D G. Generalized task-parameterized skill learning. arXiv preprint arXiv: 1707.01696, 2017. [59] Zeestraten M J A, Havoutis I, Silério J, Calinon S, Caldwell D G. An approach for imitation learning on riemannian manifolds. IEEE Robotics and Automation Letters, 2017, 2(3):1240-1247 doi: 10.1109/LRA.2017.2657001 [60] Reiley C E, Plaku E, Hager G D. Motion generation of robotic surgical tasks: learning from expert demonstrations. In: Proceedings of the Annual International Conference of the IEEE Engineering in Medicine and Biology. Buenos Aires, Argentina: IEEE, 2010. 967-970 [61] Chen J, Lau H Y K, Xu W J, Ren H L. Towards transferring skills to flexible surgical robots with programming by demonstration and reinforcement learning. In: Proceedings of the 8th International Conference on Advanced Computational Intelligence. Chiang Mai, Thailand: IEEE, 2016. 378-384 [62] Wang H Q, Chen J, Lau H Y K, Ren H L. Motion planning based on learning from demonstration for multiple-segment flexible soft robots actuated by electroactive polymers. IEEE Robotics and Automation Letters, 2016, 1(1):391-398 doi: 10.1109/LRA.2016.2521384 [63] Kinugawa J, Kanazawa A, Arai S, Kosuge K. Adaptive task scheduling for an assembly task coworker robot based on incremental learning of human's motion pattern. IEEE Robotics and Automation Letters, 2017, 2(2):856-863 doi: 10.1109/LRA.2017.2655565 [64] Goil A, Derry M, Argall B D. Using machine learning to blend human and robot controls for assisted wheelchair navigation. In: Proceedings of IEEE 13th International Conference on Rehabilitation Robotics. Seattle, USA: IEEE, 2013. 1-6 [65] Calinon S, Lee D. Learning control. Humanoid Robotics: a Reference. Dordrecht: Springer, 2016. 1-52 [66] Asfour T, Azad P, Gyarfas F, Dillmann R. Imitation learning of dual-arm manipulation tasks in humanoid robots. International Journal of Humanoid Robotics, 2008, 5(2):183-202 doi: 10.1142/S0219843608001431 [67] Calinon S, D'Halluin H, Sauser E L, Caldwell D G, Billard A G. Learning and reproduction of gestures by imitation. IEEE Robotics and Automation Magazine, 2010, 17(2):44-54 doi: 10.1109/MRA.2010.936947 [68] Vuković N, Mitić M, Miljković Z. Trajectory learning and reproduction for differential drive mobile robots based on GMM/HMM and dynamic time warping using learning from demonstration framework. Engineering Applications of Artificial Intelligence, 2015, 45:388-404 doi: 10.1016/j.engappai.2015.07.002 [69] Medina J R, Billard A. Learning stable task sequences from demonstration with linear parameter varying systems and hidden Markov models. In: Proceedings of the 1st Annual Conference on Robot Learning. Mountain View, USA: IEEE, 2017. 175-184 [70] Hollmann R, Rost A, Hägele M, Verl A. A HMM-based approach to learning probability models of programming strategies for industrial robots. In: Proceedings of the 2010 IEEE International Conference on Robotics and Automation. Anchorage, USA: IEEE, 2010. 2965-2970 [71] Rafii-Tari H, Liu J D, Payne C J, Bicknell C, Yang G Z. Hierarchical HMM based learning of navigation primitives for cooperative robotic endovascular catheterization. In: Proceedings of International Conference on Medical Image Computing and Computer-Assisted Intervention. Springer International Publishing, 2014. 496-503 [72] Pignat E, Calinon S. Learning adaptive dressing assistance from human demonstration. Robotics and Autonomous Systems, 2017, 93:61-75 doi: 10.1016/j.robot.2017.03.017 [73] Rozo L, Silvério J, Calinon S, Caldwell D G. Learning controllers for reactive and proactive behaviors in human-robot collaboration. Frontiers in Robotics and AI, 2016, 3:30 http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=Doaj000004610587 [74] Amor H B, Neumann G, Kamthe S, Kroemer O, Peters J. Interaction primitives for human-robot cooperation tasks. In: Proceedings of the 2014 IEEE International Conference on Robotics and Automation. Hong Kong, China: IEEE, 2014. 2831-2837 [75] Ijspeert A J, Nakanishi J, Schaal S. Movement imitation with nonlinear dynamical systems in humanoid robots. In: Proceedings of the 2002 IEEE International Conference on Robotics and Automation. Washington D.C., USA: IEEE, 2002. 1398-1403 [76] Paraschos A, Daniel C, Peters J, Neumann G. Probabilistic movement primitives. In: Advances in Neural Information Processing Systems. Cambridge, MA: MIT Press, 2013. 2616-2624 [77] Kyrarini M, Haseeb M A, Ristić-Durrant D, Gräser A. Robot learning of industrial assembly task via human demonstrations. Autonomous Robots, 2019, 43(1):239-257 doi: 10.1007/s10514-018-9725-6 [78] Rozo L, Jiménez P, Torras C. A robot learning from demonstration framework to perform force-based manipulation tasks. Intelligent Service Robotics, 2013, 6(1):33-51 http://dl.acm.org/citation.cfm?id=2429645 [79] Fox E B, Hughes M C, Sudderth E B, Jordan M I. Joint modeling of multiple time series via the beta process with application to motion capture segmentation. Annals of Applied Statistics, 2013, 8(3):1281-1313 [80] Niekum S, Osentoski S, Konidaris G, Chitta S, Marthi B, Barto A G. Learning grounded finite-state representations from unstructured demonstrations. International Journal of Robotics Research, 2015, 34(2):131-157 doi: 10.1177/0278364914554471 [81] Chi M S, Yao Y F, Liu Y X, Teng Y Q, Zhong M. Learning motion primitives from demonstration. Advances in Mechanical Engineering, 2017, 9(12), DOI: 10.1177/1687814017737260 [82] Lioutikov R, Neumann G, Maeda G, Peters J. Learning movement primitive libraries through probabilistic segmentation. International Journal of Robotics Research, 2017, 36(8):879-894 doi: 10.1177/0278364917713116 [83] Schweighofer N, Arbib M A, Kawato M. Role of the cerebellum in reaching movements in humans. I. Distributed inverse dynamics control. European Journal of Neuroscience, 1998, 10(1):86-94 http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=10.1046/j.1460-9568.1998.00006.x [84] Shadmehr R, Mussa-Ivaldi F A. Adaptive representation of dynamics during learning of a motor task. Journal of Neuroscience, 1994, 14(5):3208-3224 doi: 10.1523/JNEUROSCI.14-05-03208.1994 [85] Burdet E, Osu R, Franklin D W, Milner T E, Kawato M. The central nervous system stabilizes unstable dynamics by learning optimal impedance. Nature, 2001, 414(6862):446-449 doi: 10.1038/35106566 [86] Mitrovic D, Klanke S, Osu R, Kawato M, Vijayakumar S. A computational model of limb impedance control based on principles of internal model uncertainty. PLoS One, 2010, 5(10):e13601 http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=Open J-Gate000003247923 [87] He W, Dong Y T. Adaptive fuzzy neural network control for a constrained robot using impedance learning. IEEE Transactions on Neural Networks and Learning Systems, 2018, 29(4):1174-1186 doi: 10.1109/TNNLS.2017.2665581 [88] He W, Dong Y T, Sun C Y. Adaptive neural impedance control of a robotic manipulator with input saturation. IEEE Transactions on Systems, Man, and Cybernetics:Systems, 2016, 46(3):334-344 doi: 10.1109/TSMC.2015.2429555 [89] Steinmetz F, Montebelli A, Kyrki V. Simultaneous kinesthetic teaching of positional and force requirements for sequential in-contact tasks. In: Proceedings of IEEE/RAS 15th International Conference on Humanoid Robots. Seoul, South Korea: IEEE, 2015. 202-209 [90] Rozo L, Calinon S, Caldwell D G, Jimenez P, Torras C. Learning collaborative impedance-based robot behaviors. In: Proceedings of the 27th AAAI Conference on Artificial Intelligence. Washington, USA: AAAI, 2013. 1422-1428 [91] Ajoudani A, Tsagarakis N, Bicchi A. Tele-impedance:Teleoperation with impedance regulation using a body-machine interface. The International Journal of Robotics Research, 2012, 31(13):1642-1656 doi: 10.1177/0278364912464668 [92] Li Z J, Huang Z C, He W, Su C Y. Adaptive impedance control for an upper limb robotic exoskeleton using biological signals. IEEE Transactions on Industrial Electronics, 2017, 64(2):1664-1674 doi: 10.1109/TIE.2016.2538741 [93] Howard M, Braun D J, Vijayakumar S. Transferring human impedance behavior to heterogeneous variable impedance actuators. IEEE Transactions on Robotics, 2013, 29(4):847-862 doi: 10.1109/TRO.2013.2256311 [94] Peternel L, Tsagarakis N, Ajoudani A. A human-robot co-manipulation approach based on human sensorimotor information. IEEE Transactions on Neural Systems and Rehabilitation Engineering, 2017, 25(7):811-822 doi: 10.1109/TNSRE.2017.2694553 [95] Yang C G, Zeng C, Cong Y, Wang N, Wang M. A learning framework of adaptive manipulative skills from human to robot. IEEE Transactions on Industrial Informatics, 2019, 15(2):1153-1161 doi: 10.1109/TII.2018.2826064 [96] Zeng C, Yang C G, Chen Z P, Dai S L. Robot learning human stiffness regulation for hybrid manufacture. Assembly Automation, 2018, 38(5):539-547 doi: 10.1108/AA-02-2018-019 [97] Fang C, Ajoudani A, Bicchi A, Tsagarakis N G. Online model based estimation of complete joint stiffness of human arm. IEEE Robotics and Automation Letters, 2018, 3(1):84-91 doi: 10.1109/LRA.2017.2731524 [98] Di Gironimo G, Matrone G, Tarallo A, Trotta M, Lanzotti A. A virtual reality approach for usability assessment:case study on a wheelchair-mounted robot manipulator. Engineering with Computers, 2013, 29(3):359-373 doi: 10.1007/s00366-012-0274-x [99] Wen R, Tay W L, Nguyen B P, Chng C B, Chui C K. Hand gesture guided robot-assisted surgery based on a direct augmented reality interface. Computer Methods and Programs in Biomedicine, 2014, 116(2):68-80 doi: 10.1016/j.cmpb.2013.12.018 [100] Liu A A, Nie W Z, Gao Y, Su Y T. View-based 3-D model retrieval:a benchmark. IEEE Transactions on Cybernetics, 2018, 48(3):916-928 http://www.ncbi.nlm.nih.gov/pubmed/28212106 [101] Cong Y, Tian D Y, Feng Y, Fan B J, Yu H B. Speedup 3-D texture-less object recognition against self-occlusion for intelligent manufacturing. IEEE Transactions on Cybernetics, 2019, 49(11):3887-3897 doi: 10.1109/TCYB.2018.2851666 [102] Liu H S, Cong Y, Wang S, Fan H J, Tian D Y, Tang Y D. Deep learning of directional truncated signed distance function for robust 3D object recognition. In: Proceedings of the 2017 IEEE/RSJ International Conference on Intelligent Robots and Systems. Vancouver, Canada: IEEE, 2017. 5934-5940 [103] Xu B, Yang D P, Shi Z K, Pan Y P, Chen B D, Sun F C. Online recorded data-based composite neural control of strict-feedback systems with application to hypersonic flight dynamics. IEEE Transactions on Neural Networks and Learning Systems, 2018, 29(8):3839-3849 doi: 10.1109/TNNLS.2017.2743784 [104] Mahler J, Liang J, Niyaz S, Laskey M, Doan R, Liu X Y, et al. Dex-Net 2.0: deep learning to plan robust grasps with synthetic point clouds and analytic grasp metrics. arXiv preprint, arXiv: 1703.09312, 2017. [105] Xie J, Dai G X, Zhu F, Shao L, Fang Y. Deep nonlinear metric learning for 3-D shape retrieval. IEEE Transactions on Cybernetics, 2018, 48(1):412-422 doi: 10.1109/TCYB.2016.2638924 [106] Bohg J, Hausman K, Sankaran B, Brock O, Kragic D, Schaal S, et al. Interactive perception:leveraging action in perception and perception in action. IEEE Transactions on Robotics, 2017, 33(6):1273-1291 doi: 10.1109/TRO.2017.2721939 期刊类型引用(4)
1. 方归，刘怀广. 面向板料精准堆垛的线特征位姿标定方法. 包装工程. 2024(09): 185-192 . 
百度学术2. 陈长俊，唐丹，杨浩，游安清，潘旭东. 基于神经网络特征线提取的飞机位姿识别方法研究. 强激光与粒子束. 2024(06): 161-169 . 百度学术3. 马宁，曹云峰. 面向无人机自主着陆的视觉感知与位姿估计方法综述. 自动化学报. 2024(07): 1284-1304 . 本站查看4. 魏振忠，冯广堃，周丹雅，马岳鸣，刘明坤，罗启峰，黄腾达. 位姿视觉测量方法及应用综述. 激光与光电子学进展. 2023(03): 144-176 . 百度学术其他类型引用(4)
-
下载:
计量
- 文章访问数: 4854
- HTML全文浏览量: 1337
- PDF下载量: 492
- 被引次数: 8
