Data Fusion of Human Skeleton Joint Tracking Using Two Kinect Sensors and Extended Set Membership Filter
-
摘要: 以Kinect为代表的深度图像传感器在肢体康复系统中得到广泛应用.单一深度图像传感器采集人体关节点数据时由于肢体遮挡、传感器数据错误和丢失等原因降低系统可靠性.本文研究了利用两台Kinect深度图像传感器进行数据融合从而达到消除遮挡、数据错误和丢失的目的，提高康复系统中数据的稳定性和可靠性.首先，利用两台Kinect采集患者健康侧手臂运动数据；其次，对两组数据做时间对准、Bursa线性模型下的坐标变换和基于集员滤波的数据融合；再次，将融合后的健康侧手臂运动数据经过“镜像运动”作为患侧手臂运动指令；最后，将患侧运动指令下发给可穿戴式镜像康复外骨骼带动患者患侧手臂完成三维动画提示的康复动作，达到患者主动可控康复的目的.本文通过Kinect与VICON系统联合实验以及7自由度机械臂控制实验验证了数据融合方法的有效性，以及两台Kinect可有效解决上述问题.
-
关键词:
- 镜像康复 /
- Kinect深度图像传感器 /
- Bursa线性模型 /
- 集员滤波
Abstract: Kinect-like depth sensors are widely used in rehabilitation systems. However, using a single depth sensor is less reliable due to limb blocking, data-loss or error. This paper uses two Kinect sensors and a data fusion algorithm to solve these problems. Firstly, two Kinect sensors are used to capture the motion data of the healthy side arm of the hemiplegic patient. Secondly, the data is processed with time alignment, then coordinates are transformed with Bursa transform and data fusion is done using extended set membership filter (ESMF) successively. Then, the motion data is mirrored by the middle plane, namely "mirror motion". In the end, the mirrored motion data controls the wearable robotic arm to drive the patient's paralytic side arm so as to interactively and initiatively complete a variety of recovery actions prompted by computer with 3D animation games. The effectiveness of the proposed approach is validated by both experiments on Kinect sensors & VICON and a 7 DOF manipulator. Also, two Kinect sensors can solve those problems effectively. -
功能性电刺激(Functional electrical stimulation, FES)是利用微小的电脉冲序列诱发肌肉收缩, 重建肢体运动功能的神经康复技术之一[1-2], 主要用于因中风和脊髓损伤等神经损伤性疾病导致肢体运动功能丧失的患者的运动功能重建.相比其他康复技术, FES还有助于促进血液循环, 防止肌肉废用性萎缩, 促进肌肉再学习, 具有不可估量的研究价值[3-4].然而, 目前商业化的FES康复系统仍然存在着诸多问题与挑战, 例如人体肌肉骨骼系统是一个高度非线性的时变系统, 加之肌肉疲劳、痉挛和个体差异性等内外干扰因素的影响, 导致FES控制系统在多次重复后运动控制精度较低, 甚至无法完成预期运动, 康复效果大打折扣[5].
肌肉骨骼系统的干扰因素主要有因肌肉痉挛、震颤、目标肌肉之外被激活肌肉产生的力矩以及环境对肢体运动的干扰等.肌肉疲劳会导致肌肉收缩产生肌力的能力下降, 相对于神经冲动的刺激而言, 外部电刺激下因肌纤维募集顺序相反等原因而更容易产生疲劳[6].因此, 在设计FES控制系统时, 为提高重复运动的控制精度, 肌肉骨骼系统的内外干扰因素和肌肉疲劳是两个必须面对的难题.国内外学者对此进行了大量的研究, 取得了很多重要的成果[7-15].为验证干扰和疲劳对FES控制系统的影响, Lynch等通过仿真研究了PID (Proportion integration differentiation)、增益调度控制和滑模控制三种控制器在不同程度的痉挛、肌肉疲劳等扰动下的控制效果, 结果显示在高度痉挛和疲劳下PID和滑模控制甚至无法完成预期运动[16]. Qiu等利用遗传算法和神经网络在线调整PID控制器的参数, 控制健康受试者膝关节的屈伸运动, 具有响应快速和跟踪精度高的优点, 但实验过程中没有验证控制系统抗干扰和疲劳的能力[17].
滑模控制能够很好地应对系统非线性、模型不确定和干扰等情况, 在FES控制中被广泛应用[18-20].其原理是根据系统当前状态切换控制律, 迫使系统向预定的滑动模态运动, 当系统进入该模态后将不受控制对象参数变化和外部干扰的影响.但是, 由于实际系统存在惯性和控制延时的影响, 系统状态将穿越滑模面, 产生抖振, 降低滑模控制的性能[21-22].设计控制器时常采用边界层法消除或削弱抖振, 即在边界层外采用滑模控制, 在边界层内采用线性化反馈控制; 然而, 这种方法在系统模型参数不准确及存在扰动时会产生稳态误差, 并不能保证系统状态收敛到滑模面. Ajoudani等利用神经网络代替切换控制以消除抖振, 并设计另一神经网络估计系统未建模部分, 与滑模控制相结合, 能够很好地补偿外部干扰、参数时变和肌肉疲劳的影响[19]; 但是, 利用梯度下降法设计神经网络参数适应律容易陷入局部最优, 不能保证闭环系统的全局稳定性[23].
为消除电刺激下外部干扰和肌肉疲劳对膝关节运动控制的影响, 本文根据电刺激下膝关节的运动模型提出了一种神经网络自适应滑模控制方法, 利用径向基(Radial basis function, RBF)神经网络来在线跟踪系统未建模部分和参数辨识误差, 并通过Lyapunov方法设计RBF网络的自适应律, 确保系统的稳定性.通过仿真和FES实验验证, 本文提出的控制方法不仅可以准确地控制电刺激而获得期望的关节运动, 而且当关节运动受到外部干扰和肌肉疲劳的影响时, 还可自适应地对此进行补偿, 有效地调节电刺激强度以获得准确的关节运动.
1. 关节运动模型
膝关节是人体非常重要的关节, 它涉及到行走站立等日常功能性运动, 常被当作FES的研究对象.本文以膝关节运动控制为例, 讨论了电刺激下关节运动的自适应控制问题.如图 1所示, 假设受试者坐在高椅上, 身体保持直立, 大腿固定不动, 并将小腿和脚视为一个整体, 则膝关节的运动可简化为小腿绕膝关节的摆动.则该系统的动态平衡方程[24-25]为
$ J\ddot \theta =-mgl\sin \theta-\lambda (\theta-{\theta _0}) - B\dot \theta - {\tau _d} + {\tau _{{\rm{muscle}}}} $
(1) 其中, $J$为小腿及脚的转动惯量, $\theta $、$\dot \theta $和代表膝关节的角度、角速度和角加速度, m为小腿质量, g为重力常数, l为质心到膝关节中心的距离, $\lambda $为弹性系数, ${ \theta _0 }$为休息状态的参考角度, B为粘滞系数, 为系统扰动, ${\tau _{\rm muscle}}$为肌肉收缩产生的力矩.文中与角度$\theta $有关的变量均随时间变化, 为书写简洁, 均省略后缀$(t)$的说明.
电刺激下肌肉收缩产生力矩是一个复杂的过程, 包括肌纤维在电刺激下的募集过程, 细胞膜内外钙离子动态转移和肌肉收缩等过程.其力矩的大小与关节角度、角速度、当前肌肉状态和电刺激强度有关[24], 可描述为
$ {\tau _{{\rm{muscle}}}} = fat(t) \cdot \zeta (\theta, \dot \theta ) \cdot u(t) $
(2) 其中, $ u(t) $代表施加在股四头肌上的电刺激; $fat(t)$代表归一化的肌肉疲劳水平; 描述了疲劳情况下肌力衰减的程度; 代表施加电刺激强度$u(t)$和该电刺激诱发肌肉收缩产生的力矩之间的映射函数, 包括角度-力矩特性、角速度-力矩特性和肌肉收缩的动态特性, 具体数学形式请参考文献[25].
2. 神经网络滑模控制器设计
基于上节所建立的膝关节运动模型, 本节首先设计了等效滑模控制器, 然后针对该控制方法存在的问题进一步提出了神经网络自适应滑模控制方法.该方法利用RBF网络来在线跟踪系统建模误差和干扰, 通过自适应律实时调整网络权值, 提高系统的跟踪精度.为便于控制器的设计分析, 令:
$ g(\theta, \dot \theta ) = \frac{{-mgl\sin \theta-\lambda (\theta-{\theta _0}) - B\dot \theta }}{J} $
(3) $ b(\theta, \dot \theta )u = \;\frac{{{\tau _{{\rm{muscle}}}}}}{J} $
(4) 设$\hat g(\theta, \dot \theta )$和$\hat b$分别是和$b(\theta, \dot \theta )$的估计, 其估计误差分别为为$\Delta g(\theta, \dot \theta )$和.令$\Delta f = \Delta g(\theta, \dot \theta ) + \Delta b(\theta, \dot \theta )u + {\tau _d}$, 表示系统建模误差和外界干扰.则关节运动模型(1)可整理为
$ \begin{array}{l} \ddot \theta = \;\hat g(\theta, \dot \theta ) + \Delta g(\theta, \dot \theta ) + \hat bu + \Delta b(\theta, \dot \theta )u + {\tau _d} = \\ {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} \;\hat g(\theta, \dot \theta ) + \hat bu + \Delta f \end{array} $
(5) 2.1 滑模控制器设计
在滑模控制器设计中, 我们将当作干扰项处理, 令其中$F$为$\Delta f$的上界, 满足.
取切换函数$s = \dot e + \xi \cdot e$, 其中为角度误差, $\theta_{d}$为期望的关节角度, $\xi$为滑模系数.则
$ \dot s = \ddot e + \xi \dot e = {{\ddot \theta }_d}-\hat g-\Delta f-\hat bu + \xi \dot e $
(6) 当系统进入滑模运动状态时, 有$\dot s = 0$, 根据等效滑模控制, 设计系统控制律为
$ u = \frac{1}{{\hat b}}[{{\ddot \theta }_d}-\hat g(\theta, \dot \theta ) + \xi \dot e + k{\rm{sgn}}(s)] $
(7) 取Lyapunov函数
$ L = \frac{1}{2}{s^2} $
(8) 对式(8)求导, 并将式(6)代入可得
$ \dot L = \;s\dot s = s({{\ddot \theta }_d}- \hat g(\theta, \dot \theta )- \Delta f- \hat bu + \xi \dot e) = s[-k{\rm{sgn}}(s)-\Delta f] $
(9) 为保证$\dot L \le 0$, $k$需满足$k \ge F + \eta$, 为任意小的正数.
2.2 神经网络自适应滑模控制器设计
事实上, 我们难以对F进行精确的估计, 对其保守估计将使切换增益$k$增大, 进而导致系统抖振增大.故本文考虑采用RBF神经网络对$\Delta f$进行估计.由于$\Delta f$与辨识误差、肌肉疲劳和外部干扰等因素相关, 存在时变随机的特性, 这会导致离线训练好的神经网络随着实验的进行, 逼近效果越来越差.因此, 本文用RBF网络在线学习的方法实时估计, 保证系统抗扰动和疲劳的性能.控制系统结构如图 2所示, 本文利用Lyapunov方法设计RBF网络的自适应律, 根据当前状态实时调整网络权值[26], 以实现RBF网络在线学习的目的.
RBF神经网络的算法为
$ {h_j}(\mathit{\boldsymbol{x}}) = \exp \left( {\frac{{{{\left\| {\mathit{\boldsymbol{x}}-{\mathit{\boldsymbol{c}}_j}} \right\|}^2}}}{{2\sigma _j^2}}} \right) $
(10) $ \Delta f = {\mathit{\boldsymbol{W}}^*}^{\rm{T}}h(\mathit{\boldsymbol{x}}) + \varepsilon $
(11) 其中, x为网络的输入, h(x)=[h1, ..., hj]T为网络的高斯函数输出, cj=[cij]为隐含层第j个神经元高斯基函数中心点的坐标向量, ${\sigma _j}$为隐含层第j个神经元高斯基函数的宽度. W*为网络的理想权值, 为网络的逼近误差, 其上界为${\varepsilon _N}$, 满足.
在该控制系统中, 令网络的输入为$\mathit{\boldsymbol{x}} = {[e, \dot e]^{\rm{T}}}$, RBF网络的输出为
$ \Delta \hat f = {\mathit{\boldsymbol{\mathord{\buildrel{\lower3pt\hbox{$\scriptscriptstyle\frown$}} \over W} }}^{\rm{T}}}h\left( \mathit{\boldsymbol{x}} \right) $
(12) 取系统控制律为
$ u = \frac{1}{{\hat b}}[{\ddot \theta _d}-\hat g(\theta, \dot \theta )-\Delta \hat f + \xi \dot e + k{\rm{sgn}}(s)] $
(13) 其中, $\mathit{\boldsymbol{\widehat W}}$为网络的实际权值.令${\mathit{\boldsymbol{\widetilde W}}^{\rm{T}}} = {\mathit{\boldsymbol{W}}^*}^{\rm{T}}-{\mathit{\boldsymbol{\widehat W}}^{\rm{T}}}$, 定义Lyapunov函数
$ V = \frac{1}{2}{s^2} + \frac{1}{2}\gamma {\mathit{\boldsymbol{\widetilde W}}^{\rm{T}}}\mathit{\boldsymbol{\widetilde W}} $
(14) 对式(14)求导, 并将式(6)、(11)和(13)代入得:
$ \dot V = {\mkern 1mu} s\dot s + \gamma {\mathit{\boldsymbol{\widetilde W}}^{\rm{T}}}\mathop {\mathit{\boldsymbol{\widehat W}}}\limits^. = \\ s({{\ddot \theta }_d}-\hat g-\Delta f-\hat bu + \xi \dot e) + \gamma {\mathit{\boldsymbol{\widetilde W}}^{\rm{T}}}\mathop {\mathit{\boldsymbol{\widehat W}}}\limits^. = \\ s( - \varepsilon - k{\rm{sgn}}(s)) + {\mathit{\boldsymbol{\widetilde W}}^{\rm{T}}}(\gamma \mathop {\mathit{\boldsymbol{\widehat W}}}\limits^. - sh(\mathit{\boldsymbol{x}})) $
(15) 取自适应律$\mathop {\mathit{\boldsymbol{\widehat W}}}\limits^. =-\frac{1}{\gamma }sh(\mathit{\boldsymbol{x}})$, 增益项$k \ge {\varepsilon _N} + \delta $, 则$\dot V \le 0$, 其中$\delta $为任意小的正数.
在此基础上, 本文采用边界层法削弱控制器输出所产生的高频震动, 即用连续的饱和函数$sat(s)$代替不连续的符号函数, 如式(18)所示.
$ sat(s) = \left\{ \begin{array}{l} 1, {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} s > \phi \\ \frac{s}{\phi }, {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} \left| s \right| \le \phi \\ -1, {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} s <-\phi \end{array} \right. $
(16) 其中, $\phi $为边界层厚度.
3. 膝关节运动控制仿真验证
上节设计的两种控制方法的主要区别在于对$\Delta f$的处理.采用边界层法的滑模控制(Sliding mode control, SMC)将作为干扰项处理, 这导致了SMC控制存在稳态跟踪误差, 其误差大小与$\Delta f$有关, 即与参数辨识误差、建模误差、外部干扰和肌肉疲劳有关.神经滑模控制(Neuro-SMC)则是将$\Delta f$作为已知项处理, 利用RBF网络对$\Delta f$进行在线估计, 因此具有更优秀的抗疲劳和抗扰动的能力.
为比较验证所提出的两种控制方法对外部干扰和肌肉疲劳的自适应补偿能力, 本节设计了3组仿真进行验证, 分别为稳态响应仿真、扰动仿真验证和疲劳仿真验证.仿真实验在Matlab/Simulink平台下进行, 仿真步长为40 ms.仿真采用的受控对象模型采用第1节所建立的膝关节数学模型.受控对象的部分参数如下所示.
$ \begin{array}{*{20}{l}} {J = 0.38{\rm{kg}} \cdot {{\rm{m}}^2}, m = 4.25{\rm{kg}}, l = 250{\rm{mm}}}\\ {B = 0.35{\rm{Nm}} \cdot {\rm{s/rad}}, \lambda = 3.58{\rm{Nm/rad}}}\\ {{\theta _0} = 0.17{\rm{rad}}, \hat b = 0.04{\rm{Nm/}}\mu {\rm{s}}} \end{array} $
采用均方根误差(Root mean square error, RMSE)和归一化均方根误差(Normalized root mean square error, NRMSE)作为膝关节角度跟踪精度的评价指标, 若无特别说明, 下文中的关节角度跟踪误差, 将统一用RMSE (NRMSE)的形式进行表述.计算方法如下:
$ {\rm RMSE} = \sqrt {\frac{1}{T}\mathop \sum \limits_{t = 0}^T {{\left( {{\theta _d}\left( t \right)-\theta \left( t \right)} \right)}^2}} $
$ {\rm NRMSE }= \frac{1}{{{\theta _{d\max }}-{\theta _{d\min }}}}\sqrt {\frac{1}{T}\mathop \sum \limits_{t = 0}^T {{\left( {{\theta _d}\left( t \right)-\theta \left( t \right)} \right)}^2}} $
常规滑模控制和神经滑模控制的参数值在以下仿真实验中保持不变, SMC控制的参数取值如下:
$ \xi = 2, k = 25, \phi = 0.3 $
Neuro-SMC控制中, RBF网络采用5个隐含神经元, 其控制参数取值如下:
$ \xi = 2, k = 15, \phi = 0.3, \gamma = 0.2, $
$ {\sigma _j} = 5, c = \left[\begin{array}{l} -1, -0.5, 0, 0.5, 1\\ -1, - 0.5, 0, 0.5, 1 \end{array} \right] $
3.1 稳态响应仿真验证
该仿真旨在验证两种控制策略对参数辨识误差和建模误差的处理能力, 暂不考虑干扰和疲劳.仿真以阶跃信号(45 $°$)作为参考轨迹, 来分析两种控制器的稳态响应性能; 在仿真过程中, 受控对象的参数$m, J, \lambda, B$在标称值上下10%内随机变化, 系统也存在一定的未建模项. 图 3记录了两种控制器的角度响应、脉宽输出以及角度跟踪误差.由图 3可知, SMC控制器稳态时关节角度的跟踪误差为2.28 $°$ (5.01%), 存在明显的稳态误差. Neuro-SMC控制器稳态时关节角度的跟踪误差为0.39 $°$(0.87%), 稳态误差可忽略不计, 这是因为神经滑模控制可以通过RBF神经网络补偿建模误差.受控对象参数时变对两种控制器的性能影响也较小, 稳定后实际关节角度在期望值$\pm 1.5^\circ$内波动, 但是从控制输出来看, Neuro-SMC控制的脉宽波动幅度也明显小于SMC控制.以上两点表明, 神经滑模控制在系统存在建模偏差和参数辨识误差时的稳态响应性能优于常规滑模控制.
3.2 FES扰动仿真验证
该仿真旨在验证两种控制策略抗干扰的能力.在电刺激过程中, 存在着诸多内外干扰因素, 比如受试者自主收缩、电极及传感器位置变化、实验环境变化等, 故分析控制器抗扰动能力是非常必要的.该仿真实验不考虑参数时变以及肌肉疲劳的影响, 仅分析系统抗干扰性能.仿真以正弦信号($y = 30 + 20\sin (t - 1.57)$)为参考轨迹, 并在20 s时施加3 Nm (相当于肌肉收缩产生的最大力矩的30%, 此干扰力矩也可使用不确定量)的干扰力矩, 来比较两种控制器的抗扰动性能. 图 4记录了扰动下两种控制器的角度响应、脉宽输出以及角度跟踪误差.由膝关节角度跟踪曲线可以看出, 在施加扰动后神经滑模控制经过3 s左右的调整后, 仍可以准确地跟踪期望轨迹, 电刺激脉宽也自适应地增大; 而常规滑模控制经调整后在正弦轨迹波峰处角度跟踪误差最大(15.6 $°$), 脉宽增大不明显.计算可知, 整个过程中神经滑模控制器的角度均方根误差为3.86 $°$ (9.7%), 常规滑模控制器的跟踪误差为7.14 $°$ (17.9%).因此, 在存在扰动的情况下, 本文提出的神经滑模控制器能够自适应地调节电刺激强度, 补偿干扰对运动控制精度的影响.
3.3 FES疲劳仿真验证
该仿真旨在验证两种控制策略对参数辨识误差和建模误差的处理能力.肌肉疲劳会导致肌肉收缩产生肌力的能力减弱, 导致肢体无法完成预期的运动.肌肉疲劳对肌肉收缩的动态特性存在着多方面的影响, 为简化仿真过程, 假定疲劳仅影响肌肉产生力矩的大小[24-25].在仿真实验中, 令肌肉力矩随时间逐渐衰减, 最大衰减至正常肌力水平(不考虑肌肉疲劳时肌肉产生的力矩)的60% (), 并通过正弦响应()观察疲劳补偿情况. 图 5记录了肌肉疲劳下两种控制器的角度响应、脉宽输出以及角度跟踪误差.由图 5可知, 随着疲劳程度不断增大, 常规滑模控制的跟踪误差不断增大, 最大跟踪误差为11.9 $°$, 角度均方根误差为4.52 $°$ (11.3%); 而神经滑模控制能够根据疲劳程度自适应调节电刺激脉宽以保证跟踪精度, 其角度均方根误差为3.33 $°$ (8.3%).因此, 在脉宽容许范围内, 神经滑模控制能够有效地补偿因疲劳产生的肌力衰减.
4. 膝关节电刺激实验验证
4.1 实验方案
实验采用功能性电刺激仪(RehaStim2, HASOMED, Germany)通过粘贴式表面电极(5 cm × 9 cm)刺激股四头肌, 并利用应变式角度计(SG150, Biometrics Ltd, UK)测量膝关节的角度.实验过程如图 6所示, 受试者坐在实验桌上, 上身保持直立, 小腿自然下垂并保证在摆动过程中不触碰地面; 正负表面电极粘贴在受试者股直肌上方, 两者相隔约8 cm; 角度计按使用说明粘贴在膝关节外侧, 并进行标定.为确保受试者的安全, 在实验前需确定受试者可接受的最大电刺激强度.实验采用脉宽调制, 即维持恒定的频率和电流幅值, 通过调节电刺激脉宽来改变电刺激的强度.具体电刺激参数为频率25 Hz; 幅值20 mA; 脉宽50~450 μs.实验过程中, 受试者尽量放松, 避免自主肌肉收缩的情况.
FES实验与仿真类似, 分别从稳态响应实验、扰动实验和疲劳实验三个方面验证控制器的跟踪性能.由于大腿中线与水平面并不平行, 在最大电刺激强度下受试者膝关节最大伸展角度约为60°; 为保证扰动和疲劳实验顺利进行, 实验选定(0°, 50°)为小腿的摆动区间.并选定阶跃信号(35°)和正弦信号作为期望运动轨迹.
两种控制器的控制输出频率与电刺激频率一致, 均为25 Hz; 其参数值在三组实际实验中保持不变, SMC控制器的参数取值如下:
$ \xi = 2, k = 20, \phi = 0.3 $
Neruo-SMC控制器中RBF网络的隐含层神经元个数和参数与仿真中的RBF网络参数一致, 其他控制器参数取值如下:
$ \xi = 2, k = 10, \phi = 0.3, \gamma = 0.5 $
4.2 实验结果
4.2.1 膝关节模型参数辨识
在进行闭环控制实验之前, 先开展参数辨识实验, 待辨识的参数有$g(\theta, \dot \theta )$和$b(\theta, \dot \theta )$.参数辨识分为三部分: 1)测量受试者的身高体重, 通过二元回归方程估计计算其小腿质量m、质心位置l和转动惯量J[27]; 2)在无电刺激情况下让小腿自由摆动, 利用最小二乘法辨识膝关节运动模型的粘弹性等参数[28]; 3)保持电脉冲幅值和频率恒定, 并以50 μs的增幅逐步增大脉宽(50 μs~450 μs), 每个幅值维持3 s, 根据式(1)计算各脉宽值下的肌肉力矩, 确定肌肉静态增益b的范围, 并取[19]. 表 1为测量和辨识得到的参数值. 图 7为自由摆动实验测量角度与模型预测角度的对比.由图 7可知, 摆动的最低点和最高点存在一定的误差, 这可能是采用线性模型来拟合膝关节阻尼特性导致的; 但是, 膝关节运动模型预测的角度数据能够在大范围内准确拟合摆动实验得到的角度数据, 角度均方根误差为1.69°.电刺激过程中坐姿、电极及角度计粘贴位置的变化, 会造成膝关节模型参数的波动.但是在第3.1节的仿真实验中, 已经验证参数波动$ \pm 10%$对系统跟踪性能影响可忽略不计.因此, 可认为参数辨识结果较为准确.
表 1 膝关节模型参数Table 1 The parameters of knee joint model参数 受试者 身高 168 cm 体重 54 kg J 0.256 kg · m2 m 2.91 kg l 260.4 mm B 0.19 Nm · s/rad λ 2.47 Nm/rad θ0 0.09 rad ${\hat b}$ 0.02 Nm/μs 4.2.2 稳态响应实验结果
该实验通过跟踪阶跃信号(35°), 来分析两种控制器在系统存在建模误差和未建模部分时的稳态跟踪性能, 此实验不考虑外部力矩和疲劳的影响. 图 8记录了两种控制器阶跃响应的结果.由图 8可知, 常规滑模控制上升时间为1.5 s, 存在明显的稳态误差, 5 s~20 s的角度均方根误差为9.92° (28.3%).神经滑模控制的上升时间2.0 s, 响应快速, 5 s~30 s的均方根误差为1.05° (3.0%), 具有较好的跟踪精度, 而且角度波动幅度较小.由于肌肉收缩的动态响应函数实际是一个存在饱和与死区的非线性时变函数, 常规滑模控制需采用较大的切换增益k, 才能在实验初始阶段产生超过死区的电刺激强度, 诱发受试者小腿运动; 但是k的增大会造成更大的抖振以及脉宽波动, 使受试者感到不适.考虑到常规滑模控制存在稳态误差以及抖振较大, 下述实验不再考虑常规滑模控制, 以缩短实验时间, 避免受试者产生厌倦.
4.2.3 FES干扰实验
本实验通过跟踪阶跃信号(35°), 以验证本文所提控制方法对干扰的自适应补偿能力, 该实验暂不考虑疲劳的影响.在电刺激进行到15 s时, 通过在受试者脚踝处悬挂0.5 kg的重物来施加外部力矩, 作为外部干扰. 图 9记录了Neuro-SMC控制器在干扰前后膝关节角度、脉宽以及角度跟踪误差的变化结果.由图可知, 悬挂重物前, 系统经过1.5 s达到稳定, 3 s~13 s的均方根误差为1.26° (3.6%), 脉宽均值为366 μs; 悬挂重物后, 系统经过3 s左右的调整重新恢复稳定, 电刺激脉宽也自适应调节至400 μs, 18 s~28 s的均方根误差为1.17° (3.3%).从图 9中3 s~15 s的时间内, 可观察到脉宽有逐渐减小的趋势, 这应该是受试者无意识地收缩肌肉导致的, 但是受试者自主肌肉收缩相当于天然的干扰, 这也从侧面证明了该控制方法的抗干扰能力.因此, 本文所提出的控制方法对外部干扰具有良好的自适应补偿能力, 可以有效地调节电刺激强度以获得准确的关节运动.
4.2.4 FES疲劳实验
由于健康人在电刺激下不容易疲劳, 故在两次实验间隔中让受试者做5分钟的深蹲, 这时受试者明显感觉股四头肌处于疲劳状态.为更全面地验证控制器的跟踪性能, 疲劳实验分为阶跃响应实验和正弦响应实验两部分, 阶跃响应实验中的期望轨迹为35°, 正弦响应实验中的期望轨迹为, 实验过程中不主动施加外部干扰力矩. 图 10和图 11分别记录了Neuro-SMC控制器在疲劳前后阶跃响应和正弦响应的对比结果.在阶跃响应实验中, 疲劳前系统经过2 s达到稳定, 稳定时的脉宽均值为250.7 μs, 角度均方根误差为1.07° (3.1%); 疲劳后系统需经过2.5 s达到稳态, 稳定时的脉宽均值为316.4 μs, 角度均方根误差为2.22° (6.4%).在正弦响应实验中, 疲劳前系统的脉宽变化与角度变化类似, 角度均方根误差为3.93° (13.1%); 疲劳后系统经过4 s调整后才达到稳定跟踪的状态, 各时刻的电刺激强度相对于疲劳前也自适应地增大, 角度均方根误差为4.50° (15%).在正弦响应时, 虽然系统响应存在一定的滞后, 导致系统的跟踪精度有所下降, 但是目前的时滞和跟踪精度仍在可以接受的范围内, 而时滞的原因可能与肌肉响应延时以及控制算法用时等因素有关.由上述分析可知, 该神经滑模控制能够自适应地补偿因疲劳导致的肌力衰减, 并调节电刺激强度以获得准确的关节运动.
图 10 疲劳实验前后神经滑模控制阶跃响应结果Fig. 10 Control performance of neuro-SMC in step response in fatigue test
图 11 疲劳实验中neuro-SMC正弦响应结果Fig. 11 Control performance of neuro-SMC in sinusoidal response in fatigue test5. 结论
本文提出了一种神经网络自适应滑模控制器, 通过Lyapunov方法设计径向基网络自适应律, 在线估计系统参数辨识误差和未建模部分, 获得更加精确的关节运动.为验证本文所提控制方法的有效性, 以电刺激产生的膝关节运动控制为例, 分别从稳态响应、抗扰动和抗疲劳等三个方面进行了仿真和实验研究, 验证了本文所提出的神经滑模控制方法不仅可以准确地控制电刺激而获得期望的关节运动, 而且当关节运动受到外部干扰和肌肉疲劳的影响时, 还可自适应地对此进行补偿, 有效地调节电刺激强度以获得准确的关节运动.虽然在电刺激过程中仍然存在一定程度的抖振, 但是, 如图 8所示, 本文所提出的控制方法相对于常规滑模控制在抖振方面有很大的改善.后续工作将从以下两个方面展开: 1) FES康复系统的最终使用者为肢体瘫痪的患者, 本实验目前仍处于健康人实验阶段, 后续将开展患者实验; 2)将控制算法推广至多关节参与的功能性更强的运动康复应用当中.
-
图 2 镜像运动康复系统的Kinect布置示意图及各坐标系
Fig. 2 Coordinate system and the layout of Kinect sensors of the mirror movements rehabilitation system
图 5 副Kinet#2的坐标系与主Kinect#1沿其$Y$轴旋转90$^{\circ}$之后的坐标系之间满足小角度旋转假设
Fig. 5 The coordinate of Kinect#2 should meet the small angle rotation condition with the coordinate of Kinect#1 after it rotates 90$^{\circ}$ according to its $Y$ axis
图 6 Kinect传感器追踪的三个手臂关节点及其三个关节角
Fig. 6 3 joints and the 3 joint angles tracked by Kinect sensors
图 10 实验现场对两台Kinect做空间对准的场景
Fig. 10 Experiment scene of registration of the two Kinect sensors
图 11 VICON和Kinect同时追踪肢体动作
Fig. 11 VICON and Kinect sensors tracking the limb joints synchronously
图 13 VICON和Kinect采集的手掌点运动数据对比
Fig. 13 The movement data of hand from VICON system and Kinect sensor
图 14 系统误差补偿后的Kinect数据与VICON数据
Fig. 14 The data from Kinect sensor and data from VICON system using system error compensation
表 1 Kinect人体关节点数据误差
Table 1 The error of Kinect sensor for joints tracking
坐标 均值(mm) 方差(mm) 区间(mm) 直角系x -15.4 45.6 [-200 200] 直角系y -36.1 38.7 [-150 150] 直角系z 16 54.1 [-200 200] 球面系r 14.3 54.5 [-200 200] 球面系φ 0.01 0.03 [-0.1 0.1] 球面系θ 0.19 0.6 [-1 1] 
下载: 导出CSV
表 2 数据融合后Kinect人体关节点数据误差
Table 2 The error of Kinect sensor after data fusion
坐标 均值(mm) 方差(mm) 直角系x 0.0 36.7 直角系y 0.0 34.9 直角系z 0.0 40.6 球面系r 0.8 38.4 球面系φ 0.00 0.02 球面系θ 0.02 0.60
下载: 导出CSV
-
[1] Roy A K, Soni Y, Dubey S. Enhancing effectiveness of motor rehabilitation using Kinect motion sensing technology. In:Proceedings of the 2013 IEEE Global Humanitarian Technology Conference. Trivandrum, India:IEEE, 2013. 298-304 [2] Chang C Y, Lange B, Zhang M, Koenig S, Requejo P, Somboon N, Sawchuk A A, Rizzo A A. Towards pervasive physical rehabilitation using Microsoft Kinect. In:Proceedings of the 6th International Conference on Pervasive Computing Technologies for Healthcare (PervasiveHealth) and Workshops. San Diego, USA:IEEE, 2012. 159-162 [3] Chang Y J, Chen S F, Huang J D. A Kinect-based system for physical rehabilitation:a pilot study for young adults with motor disabilities. Research in Developmental Disabilities, 2011, 32(6):2566-2570 doi: 10.1016/j.ridd.2011.07.002 [4] Nguyen K D, Chen I M, Luo Z, Yeo S H, Duh H B L. A wearable sensing system for tracking and monitoring of functional arm movement. IEEE/ASME Transactions on Mechatronics, 2011, 16(2):213-220 doi: 10.1109/TMECH.2009.2039222 [5] Kong K, Tomizuka M. Control of exoskeletons inspired by fictitious gain in human model. IEEE/ASME Transactions on Mechatronics, 2009, 14(6):689-698 doi: 10.1109/TMECH.2009.2032685 [6] Han J G, Shao L, Xu D, Shotton J. Enhanced computer vision with Microsoft Kinect sensor:a review. IEEE Transactions on Cybernetics, 2013, 43(5):1318-1334 doi: 10.1109/TCYB.2013.2265378 [7] Khoshelham K, Elberink S O. Accuracy and resolution of Kinect depth data for indoor mapping applications. Sensors, 2012, 12(2):1437-1454 https://www.ncbi.nlm.nih.gov/pubmed/22438718 [8] Choi S M, Jeong J C, Chang J. Dense 3D depth map with DOE pattern. In:Proceedings of the 9th International Conference on Ubiquitous Robots and Ambient Intelligence. Daejeon, Korea:IEEE, 2012. 34-37 [9] Dutta T. Evaluation of the KinectTM sensor for 3-D kinematic measurement in the workplace. Applied Ergonomics, 2012, 43(4):645-649 doi: 10.1016/j.apergo.2011.09.011 [10] Stommel M, Beetz M, Xu W L. Inpainting of missing values in the Kinect sensor's depth maps based on background estimates. IEEE Sensors Journal, 2014, 14(4):1107-1116 doi: 10.1109/JSEN.2013.2291315 [11] Newcombe R A, Izadi S, Hilliges O, Molyneaux D, Kim D, Davison A J, Kohi P, Shotton J, Hodges S, Fitzgibbon A. KinectFusion:real-time dense surface mapping and tracking. In:Proceedings of the 10th IEEE International Symposium on Mixed and Augmented Reality. Basel, Switzerland:IEEE, 2011. 127-136 [12] 杨东方, 王仕成, 刘华平, 刘志国, 孙富春.基于Kinect系统的场景建模与机器人自主导航.机器人, 2012, 34(5):581-589 doi: 10.3724/SP.J.1218.2012.00581Yang Dong-Fang, Wang Shi-Cheng, Liu Hua-Ping, Liu Zhi-Guo, Sun Fu-Chun. Scene modeling and autonomous navigation for robots based on Kinect system. Robot, 2012, 34(5):581-589 doi: 10.3724/SP.J.1218.2012.00581 [13] Xia L, Chen C C, Aggarwal J K. Human detection using depth information by Kinect. In:Proceedings of the 2011 IEEE Computer Society Conference on Computer Vision and Pattern Recognition Workshops (CVPRW). Colorado, USA:IEEE, 2011. 15-22 [14] Zhang Z, Liu W H, Metsis V, Athitsos V. A viewpoint-independent statistical method for fall detection. In:Proceedings of the 21st International Conference on Pattern Recognition. Tsukuba, Japan:IEEE, 2012. 3626-3630 [15] Obdrzálek S, Kurillo G, Ofli F, Bajcsy R, Seto E, Jimison H, Pavel M. Accuracy and robustness of Kinect pose estimation in the context of coaching of elderly population. In:Proceedings of the 2012 Annual International Conference of the IEEE Engineering in Medicine and Biology Society. San Diego, USA:IEEE, 2012. 1188-1193 [16] Štrbac M D, Malešević N M, Čobeljić R, Schwirtlich L. Feedback control of the forearm movement of tetraplegic patient based on Microsoft Kinect and multi-pad electrodes. Journal of Automatic Control, 2013, 21(1):7-11 doi: 10.2298/JAC1301007S [17] Edward V, Peña C, Pardo A. Educational robotic platform of low cost for brain and servovisual control practice. Recent Researches in Automatic Control, Systems Science and Communications. Porto:WSEAS Press, 2012. 127-133 [18] Megalingam R K, Saboo N, Ajithkumar N, Unny S, Menon D. Kinect based gesture controlled robotic arm:a research work at HuT Labs, In:Proceedings of the 2013 IEEE International Conference in MOOC Innovation and Technology in Education. Jaipur, India:IEEE, 2013. 294-299 [19] Tao G, Archambault P S, Levin M F. Evaluation of Kinect skeletal tracking in a virtual reality rehabilitation system for upper limb hemiparesis. In:Proceedings of the 2013 International Conference on Virtual Rehabilitation. Philadelphia, USA:2013. 164-165 [20] Li S Y, Pathirana P N, Caelli T. Multi-Kinect skeleton fusion for physical rehabilitation monitoring. In:Proceedings of the 36th Annual International Conference of the IEEE Engineering in Medicine and Biology Society. Chicago, USA:IEEE, 2014. 5060-5063 [21] 朱特浩, 赵群飞, 夏泽洋.利用Kinect的人体动作视觉感知算法.机器人, 2014, 36(6):647-653 http://www.cnki.com.cn/Article/CJFDTOTAL-JQRR201406002.htmZhu Te-Hao, Zhao Qun-Fei, Xia Ze-Yang. A visual perception algorithm for human motion by a Kinect. Robot, 2014, 36(6):647-653 http://www.cnki.com.cn/Article/CJFDTOTAL-JQRR201406002.htm [22] 王文利, 程传录, 陈俊英.常用坐标转换模型及其实用性研究.测绘信息与工程, 2010, 35(5):37-39 http://www.cnki.com.cn/Article/CJFDTOTAL-CHXG201005017.htmWang Wen-Li, Cheng Chuan-Lu, Chen Jun-Ying. Coordinate transformation models and their practicability. Journal of Geomatics, 2010, 35(5):37-39 http://www.cnki.com.cn/Article/CJFDTOTAL-CHXG201005017.htm [23] 李微晓, 沈云中, 李博峰.顾及2套坐标误差的三维坐标变换方法.同济大学学报(自然科学版), 2011, 39(8):1243-1246 http://www.cnki.com.cn/Article/CJFDTOTAL-TJDZ201108028.htmLi Wei-Xiao, Shen Yun-Zhong, Li Bo-Feng. Three-dimensional coordinate transformation with consideration of coordinate errors in two coordinate systems. Journal of Tongji University (Natural Science), 2011, 39(8):1243-1246 http://www.cnki.com.cn/Article/CJFDTOTAL-TJDZ201108028.htm [24] 周波, 钱堃, 马旭东, 戴先中.一种新的基于保证定界椭球算法的非线性集员滤波器.自动化学报, 2013, 39(2):150-158 http://www.aas.net.cn/CN/abstract/abstract17846.shtmlZhou Bo, Qian Kun, Ma Xu-Dong, Dai Xian-Zhong. A new nonlinear set membership filter based on guaranteed bounding ellipsoid algorithm. Acta Automatica Sinica, 2013, 39(2):150-158 http://www.aas.net.cn/CN/abstract/abstract17846.shtml [25] Gu F, He Y Q, Han J D. Active persistent localization of a three-dimensional moving target under set-membership uncertainty description through cooperation of multiple mobile robots. IEEE Transactions on Industrial Electronics, 2015, 62(8):4958-4971 doi: 10.1109/TIE.2015.2403798 期刊类型引用(6)
1. 张巍巍，梁婷，潘俊涛，高峰. 基于T-S模糊模型的下肢关节运动跟踪控制. 计算机仿真. 2023(06): 375-380 . 
百度学术2. 张巍巍，梁婷，潘俊涛，张白. 基于T-S模糊模型的下肢关节运动鲁棒跟踪控制. 计算机仿真. 2023(08): 313-319+425 . 百度学术3. 刘多. 经皮穴位电刺激在大学生运动员小腿肌肉疲劳恢复中的应用研究. 湖北第二师范学院学报. 2021(02): 66-69+88 . 百度学术4. 张小华，曾媛媛，曾小利，王玉龙. 针灸结合功能性电刺激对卒中患者上肢功能的疗效观察. 中国医药科学. 2018(13): 83-85 . 百度学术5. 孙京诰，王硕，杨嘉雄，薛瑞，潘红光. 基于遗传算法LS-SVM直接逆模型的闭环脑机接口单关节控制. 信息与控制. 2018(06): 656-662 . 百度学术6. 焦尚彬，张磊，刘丁，席振强. 基于增量式切换项的模糊滑模高频开关电源控制. 电工技术学报. 2018(22): 5311-5318 . 百度学术其他类型引用(9)
-
下载:
计量
- 文章访问数: 2293
- HTML全文浏览量: 466
- PDF下载量: 738
- 被引次数: 15
