-
摘要: 针对学步期幼儿的行走步态信息采集困难这一问题展开研究，提出一种基于Kinect的自然步态提取方法.通过Kinect直接获取人体的骨骼信息来采集不同月龄幼儿行走的关节数据，并利用关节位置平滑和骨骼长度曲线拟合实现对骨骼数据的滤波和截取；通过拟合幼儿行走的足端轨迹来提取不同月龄的步态时空参数，基于下肢的逆运动学解算来获得各关节角变化，并由此总结出学步期幼儿独立行走时的步态特征变化规律.Abstract: To solve the acquisition difficulty of toddler's walking gait, a Kinect-based natural gait extraction approach is proposed. The human body's skeletal information is acquired directly by Kinect to collect the joints data of toddlers of different months. The joint position smoothing and bone length curve fitting are utilized to realize filtering and acquisition of bone data. The temporal-spatial gait parameters of toddlers of different months are extracted by fitting the foot trajectory of the walking toddler. By means of the inverse kinematics of the lower limb, the changes of joint angles are obtained and the gait variation characteristics of the walking toddler are deduced.
-
Key words:
- Kinect /
- toddler /
- gait extraction /
- data filtering
-
学步期作为儿童发育的必经阶段, 代表其肌肉系统、骨骼系统和神经系统等逐步成熟的标志性动作就是独立行走.幼儿的行走步态与成年人的行走步态存在显著差别, 尤其是处于学步期的儿童身体发育较快, 因此其步态特征变化明显[1].针对该过渡期的幼儿步态特征进行提取和分析, 有利于揭示其内在的发展规律和影响幼儿步态成熟的关键因素.
反观现有的双足机器人的步态规划研究成果发现, 如何有效地模仿人类的自然步态模式一直被认为是实现双足仿人机器人步态优化的突破口之一[2].基于自然步态的规划方法是从仿生的角度出发, 建立人体步行数据与机器人的运动学和动力学模型间的匹配关系, 利用步态规划的评价机制对步态参数进行优化, 最终使得机器人生成稳定可控的自然步态, 但由于人体与双足机器人在质量分布、控制模型和驱动器特性等方面都存在较大差异, 因此人体步行数据无法直接映射到机器人的步态规划中.只有深入探索人体行走步态及保持平衡的内在机理, 才能为双足机器人的自然步态规划提供有效的理论支撑[3-6].本文尝试提取幼儿在学步阶段的步态特征并总结其学习行走的规律, 旨在未来将其应用到双足机器人的步态演化上.另外, 通过查阅文献发现, 成人的短时下肢肌肉功率输出能达到4 000 W以上[7], 13岁儿童的肌肉力量较弱, 短时肌肉平均功率约为300 W[8], 而学步期幼儿的肌肉功率输出更小, 更接近于目前双足机器人下肢单关节的功率输出.因此通过对幼儿步态的仿生研究, 可以将双足机器人行走的工程化实现难度降低.
国外早在20世纪开始关于儿童行走步态的研究, 早期的工作主要关注步态的时-空参数、儿童步态与成人步态的差异和行走的运动学分析等[9-11].其中, 美国骨科医生Sutherland被称为儿童步态分析研究方面的先驱, 他通过不同的动作控制原理和分析方法来了解儿童成长和发育的过程[12].
国内在这方面的研究相对较少, 主要集中在儿童肥胖症、小儿麻痹方面, 旨在对比正常发育儿童与患病儿童的步态差异, 为病症的及早发现与诊断、后期的治疗和复健提供科学依据[13-15].
要实现对儿童步态特征的提取与分析, 首先必须获取不同时期的行走数据.目前常用的采集方法分为两类:一类是接触式, 即给被测对象穿戴上特殊的装置如关节角度测量仪, 通过不断的记录关节活动的角度来获取儿童行走过程中的空间参数.这种直接测量方式的最大缺陷在于很难固定在年龄较小的学步期幼儿身上, 因为舒适性相对较差, 且很难控制幼儿在规定的区域完成相应的行走动作[16];另一类是基于视觉的方式, 在被测对象的关节处贴上反光片或发光体, 采用高速相机来连续录制儿童行走的过程, 后期通过图像处理技术来获取各标志点的运动特征参数, 进而提取儿童步态的时-空参数, 并进行运动学分析[17].但此方法的精度主要取决于后期图像处理的水平, 势必在图像特征提取和三维重建方面耗费大量精力.
针对上述两类方法存在的缺陷, 本文提出了一种基于Kinect的学步期幼儿步态提取方法, 利用Kinect可直接获取人体骨骼信息的特点快速得到不同时期幼儿行走的关节数据, 大大简化了在步态信息采集方面的工作, 为后期的步态提取和分析提供了方便.通过拟合幼儿行走足端轨迹来提取步态时空参数, 并利用下肢的逆运动学解算来获得各关节角变化, 最终总结出学步期幼儿行走的步态演化规律.
1. 幼儿步态信息采集系统
目前国内外关于Kinect进行步态提取与分析的研究均集中在成人步态信息采集上[18-20], 而本文旨在利用Kinect的骨骼跟踪功能来采集17 $\sim$ 31月龄的健康幼儿独立行走时下肢主要关节的位姿信息, 以便于后期提取学步期幼儿步态的时空参数, 并探寻其步态发展的规律.其中, 第一段采样记录是在幼儿能够独立行走2 m以上的距离时获取的, 随后逐月记录直至25月龄, 后续发现幼儿步态的单月变化不明显, 调整为每两个月记录一次.
1.1 基于Kinect的人体测量方法
Kinect最早是由美国微软公司于2006年发布的, 它是一款3D体感摄影机, 主要由彩色相机、红外相机和红外投影机组成[21]. 2014年, 第二代Kinect面世, 在深度图像、骨骼追踪、扩大视野等方面进一步改进.本文的所有测量数据均在Kinect 2.0下获得(如图 1所示).
整个实验环境均为室内环境, 将Kinect固定在三角架上, 并调整好位置后放置于地面上. Kinect 2.0的有效测量距离为0.5 $\sim$ 4.5米, 为了确保被测对象的身体完整地呈现在Kinect视野内, 因此, 实验中通常取1.6 $\sim$ 3.8米范围内的测量数据作后期分析.每次录取幼儿正向Kinect行走的视频, 不仅以30帧/秒的速率采集深度图像, 且基于Kinect SDK的骨骼跟踪功能获取每帧图像中对应的25个人体关节的位置和方向信息(如图 2所示).
1.2 人体关节及骨骼结构动态提取
实际测量过程中发现人体的骨骼运动会偶尔呈现跳跃式的变化, 一方面由于被测对象各关节的位姿在某些帧之间有较大变化, 另一方面是Kinect本身硬件的性能问题导致的, 这将非常不利于后期的步态分析工作.另外, Kinect采集到的人体各关节位姿数据均源于对深度图像的处理, 因此可见光的变化也会对测量数据的准确度带来影响.综上, 必须对采集到的原始关节数据进行滤波, 主要从以下两个方面展开:
1.2.1 人体关节位置的平滑化
首先利用SDK自带的霍尔特指数平滑算法(Holt double exponential smoothing)来尽可能消除关节点的跳变[23].由于骨骼数据是基于时间序列的数据, 因此数据平滑处理与时间有关.通过统计方法进行滑动平均, 以减少时间序列数据中的极值和噪声.
该算法主要对各关节点的坐标进行标准化来减少帧与帧之间的关节位置误差.其中, 结构体TRANSFORM_SMOOTH_PARAMETERS里有五项属性值:平滑值(fSmoothing)、修正值(fCorrection)、预测帧大小(fPrediction)、抖动半径(fJitterRadius)和最大偏离半径(fMaxDeviationRadius)需要设定, 此处关节平滑处理会增加计算机的性能开销, 因此使用过程中需通过不断调试来选择一组适当的平滑参数.
1.2.2 基于曲线拟合的骨骼数据滤波
在实际利用Kinect录制幼儿行走的视频时, 很难要求幼儿按照人为设定好的路线直线前进, 经常出现部分关节点被遮挡、被测对象突然脱离Kinect视野的情况, 从而导致获取的部分骨骼序列是无效的.另外, 已知人体各关节点的位置坐标, 通过空间两点间的距离公式即可求得各骨骼的长度, 但实际计算发现同一段视频中不同帧内得到的同一骨骼长度不尽相同, 说明Kinect本身具有一定的测算误差, 因此有必要对关节平滑化后的视频进行滤波和截取.整个处理流程如图 3所示.
此处以处理25月龄的骨骼数据为例, 说明具体的处理步骤如下:
1) 读取视频中每一帧内的左髋(HipLeft)、左膝(KneeLeft)、右髋(HipRight)和右膝(KneeRight)四个关节点的位置坐标, 分别计算得到左大腿和右大腿骨骼长度的序列.
2) 分别将上述大腿骨骼长度序列导入Matlab曲线拟合工具箱(cftool), 调整阶数(degree)从1逐渐增大, 观察相应的方差(SSE)和相关系数(R-square), 当这两项指标变化不大时, 选择当前阶数为最终的拟合曲线阶数.如图 4所示为幼儿25月龄时的左、右大腿长度的拟合结果, 其中, 点线表示Kinect的测量值, 曲线表示拟合结果.
图 4 幼儿25月龄的左右大腿长度的测量值与拟合曲线Fig. 4 The measuring curve and fitting curve of left & right thigh length during 25 months old3) 计算拟合曲线的数学期望值$\overline{L}$和标准差$\sigma$, 选取落在区间内的连续序列所对应的关节数据进行骨骼长度计算和后期步态提取.
4) 取上述关节序列对应的每一帧内的脊柱基点(SpineBase)、左髋(HipLeft)、左膝(KneeLeft)、左踝(AnkleLeft)、右髋(HipRight)、右膝(KneeRight)和右踝(AnkleRight) 7个关节点的位置坐标, 计算髋骨和小腿的长度, 仍取各杆长拟合曲线的数学期望值作为最终的骨骼长度.
表 1所示为不同月龄各下肢骨骼长度的统计结果, 与实际测量长度基本保持一致.
表 1 滤波后17 $\sim$ 31月龄各下肢骨骼的长度值(m)Table 1 The filtered skeletal lengths of lower limb during 17 $\sim$ 31 months (m)月龄 大腿 小腿 17 0.16 0.12 18 0.16 0.13 19 0.16 0.13 20 0.16 0.14 21 0.17 0.15 22 0.17 0.16 23 0.17 0.17 24 0.18 0.17 25 0.18 0.17 27 0.18 0.18 29 0.19 0.18 31 0.19 0.19 2. 幼儿的自然步态提取
本文的研究目的在于探寻学步期幼儿步态形成的规律, 包括步态周期、步长、占空比、支撑相、摆动相等时空参数, 便于未来应用到双足机器人的步态演化上. (注:本文涉及的步态参数概念与腿足机器人领域保持一致[24], 故可能与人体步态分析领域的定义不同.)
在腿足机器人的步态规划中, 一般采用基于足端轨迹规划的方法, 首先, 规划足端处于支撑相和摆动相时的轨迹; 然后, 基于机器人的逆运动学方程计算腿部各关节角; 最后, 利用伺服控制器来实现机器人的运动控制[25].因此, 这里参考上述思路, 通过拟合人体行走时的足端轨迹来获取各项步态参数, 再利用下肢的运动学逆解推算出各关节角变化, 以分析学步期幼儿行走时的自然步态特征.
2.1 基于足端轨迹的步态参数提取
2.1.1 步态时间参数
通过Kinect可以直接获得人体各关节的三维位置坐标和姿态, 但这些数据均在Kinect相机坐标系下获得.为了便于后期的位姿转换, 定义人体在站立状态下各关节处的坐标系如图 5所示, 并指明Kinect坐标系中各轴方向.
此处取25月龄幼儿的行走记录为例, 将Kinect坐标系下$z$方向的左、右侧足端轨迹分别绘制出来(如图 6所示), 可进一步推算出相应的时空参数.
图 6 Kinect坐标系下$z$方向的足端轨迹Fig. 6 Foot trajectory of $z$ axis in Kinect coordinate system支撑相为单侧下肢接触地面并负重的时间, 即图 6中$z$方向足端轨迹基本保持稳定的阶段; 摆动相为单侧下肢摆动离地至再次落地的时间, 即图 6中$z$方向足端轨迹的下降阶段.支撑相和摆动相构成一个步态周期.经计算得出, 支撑相约占整个步态周期的62.8$ \%$, 摆动相约占整个步态周期的37.2$ \%$.步态周期约为0.75 s, 则步频= 1/步态周期= 1.33 Hz.
其中, 支撑相又可分为单足支撑相和双足支撑相.单足支撑相为一只脚离开地面的时期, 即图 6中左足曲线保持不动且右足曲线下降的阶段, 占整个步态周期的51.3$ \%$.当一侧下肢进入支撑相后期, 另一侧下肢已着地, 两侧下肢同时负重的时期为双足支撑相, 即图 6中两条曲线同时保持平稳的阶段, 占整个步态周期的11.5$ \%$.
为了更直观地展示并便于将来应用到双足机器人的步态规划中, 以下通过步态图来描述幼儿行走的步态序列.水平轴表示由步态周期$T$归一化后的时间坐标, 线段部分表示每条腿的支撑阶段.
由图 7可定义腿$i$的占空比和相位:
$ \begin{equation}\label{equ1} \beta_i=\dfrac{\text{腿$i$的支撑期}}{T} \end{equation} $
(1) $ \begin{equation}\label{equ2} \phi_i=\dfrac{\text{腿$i$的着地时间}}{T} \end{equation} $
(2) 2.1.2 步态空间参数
为了进一步探寻幼儿行走时在空间上的特性, 将已知的足端位置坐标转换到SpineBase坐标系下.由于从Kinect直接读取的各关节姿态均为四元数形式$(w, x, y, z), $每个四元数表示父代骨骼相对于子代骨骼的绝对方向.父代与子代间的层次关系如图 8所示, 从上到下, 前一级是后一级的父代.
其中, SpineBase处于顶层, 无父代, 此关节处的四元数表示SpineBase坐标系相对于Kinect坐标系的姿态.这里取脚踝处的坐标作为足端位置, 在SpineBase坐标系下的足端位置表示为
$ \begin{equation}\label{equ3} {}_{}^{b}{\mathit{\boldsymbol{P}}}_{\rm ankle}={}_{c}^{b}{\mathit{\boldsymbol{R}}}\left({}_{}^{c}{\mathit{\boldsymbol{P}}}_{\rm ankle}-{}_{}^{c}{\mathit{\boldsymbol{P}}}_{\rm spinebase}\right) \end{equation} $
(3) 其中, 和分别表示SpineBase和Ankle关节在Kinect坐标系下的位置坐标. ${}_{c}^{b}{\mathit{\boldsymbol{R}}}$为Kinect坐标系相对于SpineBase坐标系的旋转矩阵, 由SpineBase关节处的四元数按式(4)转换得到:
$ \begin{align}\label{equ4} &{\mathit{\boldsymbol{R}}}=\nonumber \\&2\left( \begin{array}{ccc} \dfrac{1}{2}-y^2-z^2&xy-zw&xz+yw \\ xy+zw&\dfrac{1}{2}-x^2-z^2&yz-xw \\ xz-yw&yz+xw&\dfrac{1}{2}-x^2-y^2 \end{array} \right) \end{align} $
(4) 将经过骨骼滤波后的连续足端位置绘制出来, 可得到某月龄幼儿行走的足端轨迹, 并对其进行Fourier拟合, 可进一步提取出步态的空间参数.仍以25月龄幼儿行走的左侧足端轨迹为例, 将其分解为前进方向($z$轴)、上下方向($y$轴)和左右方向($x$轴), 如图 9所示.其中, 星形曲线表示$z$方向的运动以实现足端的前后摆动, 菱形曲线表示$y$方向的运动以实现足端的抬落, 虚线表示$x$方向的运动以实现足端的左右偏移.
利用Matlab cftool对图 9中$z$方向的足端轨迹进行Fourier拟合后的结果如图 10所示.可以看出行走中幼儿的足端呈近似正弦波的前后摆动, 波形下降阶段为支撑相, 波形上升阶段为摆动相, 与图 6反映出的步态时间特性一致.步长为摆动相时足端在$z$方向所移动的距离, 由图 10可知步长约为0.33 m.
图 10 SpineBase坐标系下$z$方向足端轨迹的拟合曲线Fig. 10 Fitting curve of foot trajectory in $z$ axis in SpineBase coordinate system将$y$方向和$x$方向的足端轨迹分别进行Fourier拟合后的结果如图 11所示.
图 11 SpineBase坐标系下$y$和$x$方向足端轨迹的拟合曲线Fig. 11 Fitting curves of foot trajectory in $y$ and $z$ axes in SpineBase coordinate system由图 11可见, 幼儿行走过程中足端在上下和左右方向存在一定的波动.为究其原因, 进一步将脊柱基点在Kinect坐标系下的运动轨迹分解到$y$方向和$x$方向(如图 12所示).其中, 实线表示脊柱基点在$y$方向的轨迹, 虚线表示脊柱基点在$x$方向的轨迹.由此可见, 幼儿行走时躯干本身在上下和左右方向存在一定的起伏和偏移, 再加上学步期幼儿的下肢肌肉和骨骼力量偏小, 因此在图 9的一个步态周期里足端轨迹呈多次上下起伏, 以保持整个身体的稳定性.
图 12 Kinect坐标系下脊柱基点的运动轨迹Fig. 12 Moving trajectory of SpineBase in Kinect coordinate system2.2 下肢各关节角变化
人体行走时, 下肢三个关节由近端带动远端运动, 各关节角有规律地变化, 从而反映出部分步态特性.学步期幼儿的下肢屈伸和缓冲能力较弱, 因此髋、膝、踝三个关节的关节角变化在不同月龄段存在差异, 有必要对其进行分析.
2.2.1 踝关节角变化
仍采用SpineBase坐标系作为基准, 已知髋、膝、踝处的旋转四元数, 同样按照式(4)转换成各关节坐标系间的旋转矩阵.脊柱基点与髋关节间的旋转关系记为${}_{h}^{b}{\mathit{\boldsymbol{R}}}$, 髋关节与膝关节间的旋转关系记为${}_{k}^{h}{\mathit{\boldsymbol{R}}}$, 膝关节与踝关节间的旋转关系记为${}_{a}^{k}{\mathit{\boldsymbol{R}}}$, 则脊柱基点与踝关节间的旋转关系为
$ \begin{equation} \label{equ5} {}_{a}^{b}{\mathit{\boldsymbol{R}}}= {}_{h}^{b}{\mathit{\boldsymbol{R}}}\times{}_{k}^{h}{\mathit{\boldsymbol{R}}}\times{}_{a}^{k}{\mathit{\boldsymbol{R}}} \end{equation} $
(5) 结合$Z$-$Y$-$X$欧拉角的定义方式, 可由上述旋转关系推算出相应的欧拉角[26].已知
$ \begin{equation} \label{equ6} \begin{aligned} &{}_{a}^{b}{\mathit{\boldsymbol{R}}}\left(\alpha, \beta, \gamma\right)=\\ &\left( \begin{array}{ccc} c\alpha c\beta&c\alpha s\beta s\gamma-s\alpha c\gamma&c\alpha s\beta c\gamma+s\alpha s\gamma\\ s\alpha c\beta&s\alpha s\beta s\gamma+c\alpha c\gamma&s\alpha s\beta c\gamma-c\alpha s\gamma\\ -s\beta&c\beta s\gamma&c\beta c\gamma \end{array} \right) \end{aligned} \end{equation} $
(6) 式中, $c\alpha=\cos\alpha$, $s\alpha=\sin\alpha$等.
令
$ \begin{equation} \label{equ7} {}_{a}^{b}{\mathit{\boldsymbol{R}}}\left(\alpha, \beta, \gamma\right)=\left( \begin{array}{ccc} r_{11}&r_{12}&r_{13}\\ r_{21}&r_{22}&r_{23}\\ r_{31}&r_{32}&r_{33} \end{array} \right) \end{equation} $
(7) 则
$ \begin{equation} \label{equ8} r_{11}^2+r_{21}^2=c_\beta^2 \Rightarrow c\beta=\sqrt{r_{11}^2+r_{21}^2} \end{equation} $
(8) (此处只取$\beta$的正根以得到单解, 满足$-90^\circ\leq\beta\leq90^\circ$)
用$-r_{31}$除以$c\beta$再求反正切可得$\beta$:
$ \begin{equation} \label{equ9} \beta=\text{atan2}\left(-r_{31}, \sqrt{r_{11}^2+r_{21}^2}\right) \end{equation} $
(9) 只要$c\beta\not= 0$, 可得:
$ \begin{equation} \label{equ10} \alpha=\text{atan2}\left(\frac{r_{21}}{c\beta}, \frac{r_{11}}{c\beta}\right) \end{equation} $
(10) $ \begin{equation} \label{equ11} \gamma=\text{atan2}\left(\frac{r_{32}}{c\beta}, \frac{r_{33}}{c\beta}\right) \end{equation} $
(11) 其中, $\alpha$表示绕SpineBase坐标系$z$轴旋转的角度, 即横滚角(roll); $\beta$表示绕SpineBase坐标系$y$轴旋转的角度, 即航向角(yaw); $\gamma$表示绕SpineBase坐标系$x$轴旋转的角度, 即俯仰角(pitch).
取25月龄幼儿的行走记录, 结合式(9) $\sim$ (11)可解出沿三个方向的踝关节角, 如图 13所示.其中, roll, pitch, yaw分别表示不同方向的原始关节角变化曲线, fit1, fit2, fit3则表示对应的拟合曲线.
图 13 SpineBase坐标系下踝关节角变化及拟合曲线Fig. 13 Variation of ankle joint angles and corresponding fitting curves in SpineBase coordinate system由图 13可见, 连续的行走过程中踝关节处的俯仰角和横滚角呈近似正弦波状的变化, 而航向角的变化幅度相对较小, 但周期性较差.
2.2.2 膝关节角变化
人体的膝关节是典型的铰链关节, 只在矢状面内进行屈伸运动, 因此这里只考虑俯仰角的计算.采用与第2.2.1节同样的方法, 最后仅取$\gamma$角代表膝关节角.脊柱基点与膝关节间的旋转关系为
$ \begin{equation} \label{equ12} {}_{k}^{b}{\mathit{\boldsymbol{R}}}= {}_{h}^{b}{\mathit{\boldsymbol{R}}}\times{}_{k}^{h}{\mathit{\boldsymbol{R}}} \end{equation} $
(12) 25月龄时, 膝关节的俯仰角变化如图 14所示, 并对其进行拟合, 可见同样呈周期性的近似正弦波变化.其中, pitch表示原始的俯仰角变化, 虚点线表示对应的拟合结果.
图 14 SpineBase坐标系下膝关节角变化及拟合曲线Fig. 14 Variation of knee joint angle and corresponding fitting curve in SpineBase coordinate system2.2.3 髋关节角变化
人体的髋关节是球窝关节, 因此其运动可分解成三个自由度, 此处三个关节角同样可通过一组合适的欧拉角解出.参照第2.2.1节的方法, 将脊柱基点与髋关节间的旋转关系${}_{h}^{b}{\mathit{\boldsymbol{R}}}$转换成一组欧拉角, 并对其进行拟合.图 15所示为25月龄髋关节处的关节角变化及拟合曲线.其中, roll, pitch, yaw分别表示原始的横滚角、俯仰角和航向角变化曲线, fit1, fit2, fit3则表示相应的Fourier拟合曲线.
图 15 SpineBase坐标系下髋关节角变化及拟合曲线Fig. 15 Variation of hip joint angles and corresponding fitting curves in SpineBase coordinate system由图 15可见, 连续的行走过程中髋关节处的俯仰角和横滚角呈近似正弦波状的变化, 而航向角的变化周期性较差.
3. 实验数据统计与分析
人体的行走是由躯干和四肢共同完成的规律性动作, 幼儿步态的运动学分析主要针对幼儿行走过程中下肢的运动进行描述, 利用不同时期行走的时空参数来描述步态的特征.基于上一节的自然步态提取方法, 通过对幼儿17 $\sim$ 31月龄的行走基本时空参数进行统计(见表 2), 得到如图 16所示的学步期幼儿行走步态的发育趋势.
表 2 17 $\sim$ 31月龄幼儿行走的步态时空参数Table 2 The temporal-spatial gait parameters of toddler during 17 $\sim$ 31 months月龄 支撑相(%) 双足支撑相(%) 单足支撑相(%) 摆动相(%) 步态周期(s) 步频(Hz) 步长(m) 17 68.4 19.8 48.6 31.6 0.5 2 0.24 18 66.7 17.5 49.2 33.3 0.6 1.67 0.26 19 66.7 16.4 50.3 33.3 0.6 1.67 0.26 20 66.5 15.6 50.9 33.5 0.63 1.58 0.26 21 65.4 14.4 51 34.6 0.65 1.54 0.26 22 64.8 13.8 51 35.2 0.68 1.47 0.27 23 64.5 13.1 51.4 35.5 0.71 1.41 0.27 24 64 12.6 51.4 36 0.72 1.39 0.29 25 62.8 11.5 51.3 37.2 0.75 1.33 0.33 27 62.7 11.3 51.4 37.3 0.75 1.33 0.33 29 62.7 11.2 51.5 37.3 0.76 1.32 0.34 31 62.6 11 51.6 37.4 0.76 1.32 0.35 由图 16可以看出, 在幼儿独立行走的初期, 步态周期较短, 步频高, 这主要由于其肌体力量不足, 协调性和稳定性较差.从17月到31月幼儿行走的步态周期逐渐延长, 步频降低, 反映出随着学步期幼儿行走经验的不断积累, 其身体的协调能力和稳定度得以逐渐提高.
在一个步态周期里, 支撑相所占的比例由68.4$ \%$降到62.6$ \%$, 稍高于成人水平(约60$ \%$), 相应的摆动相比例随之升高.其中, 单足支撑相比例是代表人体步态成熟的重要参数, 它不仅能够反映步态的稳定性, 还为另一条腿的摆动提供了时间.由图 16可知, 随着月龄的增加, 幼儿行走时的单足支撑相比例逐渐升高, 相应的双足支撑相比例随之下降.这主要由于幼儿学步初期的平衡能力较弱, 只有通过缩短单足支撑相并延长双足支撑相的办法来维持肌体的平衡.随着独立行走的时间不断增加, 幼儿的单足支撑相比例会逐渐接近成人水平.
同时, 17 $\sim$ 31月期间幼儿的一项步态空间参数-步长也在不断增加, 这反映出幼儿身体的生长变化情况, 即身高(腿长)的增加使得步长不断变大.这表明整个身体形态的变化与步态的成熟存在一定的相关性.
另外, 对学步期幼儿行走时下肢三个关节的关节角变化进行统计.由表 3可以看出, 随着月龄的增加, 髋关节的俯仰角变化范围不断缩小, 横滚角的变化幅度略微缩小, 而航向角的变化没有明显的规律性.膝关节和踝关节的俯仰角变化范围也不断缩小, 而踝关节的横滚角和航向角变化无明显的规律性.下肢三个关节的俯仰角变化范围均不断减小, 主要原因在于:首先, 幼儿不断地练习走路, 行走经验得到积累, 身体的协调性和掌控力逐渐提高; 其次, 学步期间幼儿的下肢长度不断增加, 整个身体的重心逐渐提升, 因此下肢关节在矢状面上的屈伸角度不断减小.而各关节的航向角变化规律性较差, 主要由于幼儿行走随意性较大, 很难保持其行走方向沿某一指定路线.
表 3 17 $\sim$ 31月龄幼儿行走时下肢各关节角变化($^\circ$)Table 3 The joint angle variations of lower limb of toddler during 17 $\sim$ 31 months ($^\circ$)关节角月龄 俯仰角 髋关节横滚角 航向角 膝关节横滚角 俯仰角 踝关节横滚角 航向角 17 $-$12 $\sim$ 3 $-$103 $\sim -$88 $-$39 $\sim -$28 $-$26 $\sim$ 53 $-$32 $\sim$ 23 $-$150 $\sim -$75 $-$47 $\sim -$17 18 $-$10 $\sim$ 2 $-$101 $\sim -$86 $-$28 $\sim -$15 $-$23 $\sim$ 46 $-$23 $\sim$ 19 $-$145 $\sim -$90 $-$50 $\sim -$15 19 $-$8 $\sim$ 5 $-$100 $\sim -$85 $-$39 $\sim -$21 $-$25 $\sim$ 45 $-$11 $\sim$ 25 $-$123 $\sim -$62 $-$50 $\sim -$24 20 $-$8 $\sim$ 4 $-$98 $\sim -$84 $-$46 $\sim -$38 $-$21 $\sim$ 46 $-$10 $\sim$ 27 $-$128 $\sim -$82 $-$57 $\sim -$32 21 $-$7 $\sim$ 5 $-$97 $\sim -$84 $-$33 $\sim -$21 $-$22 $\sim$ 45 $-$12 $\sim$ 24 $-$127 $\sim -$69 $-$40 $\sim -$20 22 $-$5 $\sim$ 6 $-$100 $\sim -$87 $-$22 $\sim -$9 $-$24 $\sim$ 37 $-$18 $\sim$ 16 $-$125 $\sim -$58 $-$37 $\sim -$18 23 $-$5 $\sim$ 5 $-$100 $\sim -$90 $-$35 $\sim -$20 $-$15 $\sim$ 40 $-$20 $\sim$ 12 $-$140 $\sim -$75 $-$42 $\sim -$22 24 $-$4 $\sim$ 6 $-$100 $\sim -$90 $-$45 $\sim -$25 $-$16 $\sim$ 38 $-$10 $\sim$ 18 $-$120 $\sim -$64 $-$34 $\sim -$17 25 $-$6 $\sim$ 3 $-$100 $\sim -$90 $-$35 $\sim -$21 $-$22 $\sim$ 25 $-$12 $\sim$ 14 $-$135 $\sim -$70 $-$30 $\sim -$20 27 $-$4 $\sim$ 5 $-$100 $\sim -$91 $-$37 $\sim -$23 $-$18 $\sim$ 26 $-$14 $\sim$ 11 $-$137 $\sim -$78 $-$37 $\sim -$10 29 $-$5 $\sim$ 3 $-$99 $\sim -$89 $-$33 $\sim -$20 $-$15 $\sim$ 26 $-$13 $\sim$ 12 $-$134 $\sim -$52 $-$48 $\sim -$20 31 $-$4 $\sim$ 4 $-$97 $\sim -$88 $-$24 $\sim -$10 $-$13 $\sim$ 25 $-$12 $\sim$ 12 $-$135 $\sim -$76 $-$25 $\sim -$5 4. 结论
本文提出了一种基于Kinect的学步期幼儿步态提取方法, 通过直接获取人体的骨骼信息来采集不同月龄幼儿行走的关节数据, 大大降低了自然步态提取的难度, 数据采集更加方便, 使得针对幼儿学步期的海量步态特征提取成为可能.
首先, 对Kinect录制的行走视频进行关节位置平滑后, 通过基于曲线拟合的骨骼数据滤波算法对视频作进一步处理.不仅提取出各月龄下肢骨骼的长度, 并且截取出便于后期步态提取与分析的骨骼数据.
其次, 通过拟合幼儿行走时的足端轨迹来提取不同月龄的步态时间和空间参数, 利用下肢的逆运动学解算来获得髋、膝、踝关节的各关节角变化, 分析与总结学步期幼儿行走的自然步态特征, 并探索幼儿步态发育的规律与原因.
最后, 本文的研究目的是验证上述步态提取与分析方法的可行性和有效性, 因此区别于现有的儿童步态分析的研究成果, 本文仅针对单个幼儿学步过程进行了记录.
后续我们的工作包括以下三个方面: 1)继续记录幼儿行走的视频直至其步态规律基本接近成人水平, 进而分析上肢摆动数据与下肢行走数据间的关联, 研究其对于幼儿步态成熟与平衡策略的发展有何影响.并尝试将上述幼儿行走步态规律应用到双足机器人的步态演化上; 2)在提取幼儿行走步态特征的基础上, 探索有效的步态识别方法, 如借鉴基于CGI的时间模板方法来提高步态识别的鲁棒性[27]; 3)采集更多学步期幼儿的行走数据, 对比其步态特征的共性和差异.进一步研究幼儿的肌肉力量、身体形态、平衡性等因素在其步态发育的不同阶段如何产生确定性的影响.
-
图 4 幼儿25月龄的左右大腿长度的测量值与拟合曲线
Fig. 4 The measuring curve and fitting curve of left & right thigh length during 25 months old
图 6 Kinect坐标系下$z$方向的足端轨迹
Fig. 6 Foot trajectory of $z$ axis in Kinect coordinate system
图 10 SpineBase坐标系下$z$方向足端轨迹的拟合曲线
Fig. 10 Fitting curve of foot trajectory in $z$ axis in SpineBase coordinate system
图 11 SpineBase坐标系下$y$和$x$方向足端轨迹的拟合曲线
Fig. 11 Fitting curves of foot trajectory in $y$ and $z$ axes in SpineBase coordinate system
图 12 Kinect坐标系下脊柱基点的运动轨迹
Fig. 12 Moving trajectory of SpineBase in Kinect coordinate system
图 13 SpineBase坐标系下踝关节角变化及拟合曲线
Fig. 13 Variation of ankle joint angles and corresponding fitting curves in SpineBase coordinate system
图 14 SpineBase坐标系下膝关节角变化及拟合曲线
Fig. 14 Variation of knee joint angle and corresponding fitting curve in SpineBase coordinate system
图 15 SpineBase坐标系下髋关节角变化及拟合曲线
Fig. 15 Variation of hip joint angles and corresponding fitting curves in SpineBase coordinate system
表 1 滤波后17 $\sim$ 31月龄各下肢骨骼的长度值(m)
Table 1 The filtered skeletal lengths of lower limb during 17 $\sim$ 31 months (m)
月龄 大腿 小腿 17 0.16 0.12 18 0.16 0.13 19 0.16 0.13 20 0.16 0.14 21 0.17 0.15 22 0.17 0.16 23 0.17 0.17 24 0.18 0.17 25 0.18 0.17 27 0.18 0.18 29 0.19 0.18 31 0.19 0.19 
下载: 导出CSV
表 2 17 $\sim$ 31月龄幼儿行走的步态时空参数
Table 2 The temporal-spatial gait parameters of toddler during 17 $\sim$ 31 months
月龄 支撑相(%) 双足支撑相(%) 单足支撑相(%) 摆动相(%) 步态周期(s) 步频(Hz) 步长(m) 17 68.4 19.8 48.6 31.6 0.5 2 0.24 18 66.7 17.5 49.2 33.3 0.6 1.67 0.26 19 66.7 16.4 50.3 33.3 0.6 1.67 0.26 20 66.5 15.6 50.9 33.5 0.63 1.58 0.26 21 65.4 14.4 51 34.6 0.65 1.54 0.26 22 64.8 13.8 51 35.2 0.68 1.47 0.27 23 64.5 13.1 51.4 35.5 0.71 1.41 0.27 24 64 12.6 51.4 36 0.72 1.39 0.29 25 62.8 11.5 51.3 37.2 0.75 1.33 0.33 27 62.7 11.3 51.4 37.3 0.75 1.33 0.33 29 62.7 11.2 51.5 37.3 0.76 1.32 0.34 31 62.6 11 51.6 37.4 0.76 1.32 0.35
下载: 导出CSV
表 3 17 $\sim$ 31月龄幼儿行走时下肢各关节角变化($^\circ$)
Table 3 The joint angle variations of lower limb of toddler during 17 $\sim$ 31 months ($^\circ$)
关节角月龄 俯仰角 髋关节横滚角 航向角 膝关节横滚角 俯仰角 踝关节横滚角 航向角 17 $-$12 $\sim$ 3 $-$103 $\sim -$88 $-$39 $\sim -$28 $-$26 $\sim$ 53 $-$32 $\sim$ 23 $-$150 $\sim -$75 $-$47 $\sim -$17 18 $-$10 $\sim$ 2 $-$101 $\sim -$86 $-$28 $\sim -$15 $-$23 $\sim$ 46 $-$23 $\sim$ 19 $-$145 $\sim -$90 $-$50 $\sim -$15 19 $-$8 $\sim$ 5 $-$100 $\sim -$85 $-$39 $\sim -$21 $-$25 $\sim$ 45 $-$11 $\sim$ 25 $-$123 $\sim -$62 $-$50 $\sim -$24 20 $-$8 $\sim$ 4 $-$98 $\sim -$84 $-$46 $\sim -$38 $-$21 $\sim$ 46 $-$10 $\sim$ 27 $-$128 $\sim -$82 $-$57 $\sim -$32 21 $-$7 $\sim$ 5 $-$97 $\sim -$84 $-$33 $\sim -$21 $-$22 $\sim$ 45 $-$12 $\sim$ 24 $-$127 $\sim -$69 $-$40 $\sim -$20 22 $-$5 $\sim$ 6 $-$100 $\sim -$87 $-$22 $\sim -$9 $-$24 $\sim$ 37 $-$18 $\sim$ 16 $-$125 $\sim -$58 $-$37 $\sim -$18 23 $-$5 $\sim$ 5 $-$100 $\sim -$90 $-$35 $\sim -$20 $-$15 $\sim$ 40 $-$20 $\sim$ 12 $-$140 $\sim -$75 $-$42 $\sim -$22 24 $-$4 $\sim$ 6 $-$100 $\sim -$90 $-$45 $\sim -$25 $-$16 $\sim$ 38 $-$10 $\sim$ 18 $-$120 $\sim -$64 $-$34 $\sim -$17 25 $-$6 $\sim$ 3 $-$100 $\sim -$90 $-$35 $\sim -$21 $-$22 $\sim$ 25 $-$12 $\sim$ 14 $-$135 $\sim -$70 $-$30 $\sim -$20 27 $-$4 $\sim$ 5 $-$100 $\sim -$91 $-$37 $\sim -$23 $-$18 $\sim$ 26 $-$14 $\sim$ 11 $-$137 $\sim -$78 $-$37 $\sim -$10 29 $-$5 $\sim$ 3 $-$99 $\sim -$89 $-$33 $\sim -$20 $-$15 $\sim$ 26 $-$13 $\sim$ 12 $-$134 $\sim -$52 $-$48 $\sim -$20 31 $-$4 $\sim$ 4 $-$97 $\sim -$88 $-$24 $\sim -$10 $-$13 $\sim$ 25 $-$12 $\sim$ 12 $-$135 $\sim -$76 $-$25 $\sim -$5
下载: 导出CSV
-
[1] 李凯, 元文学, 孟昭莉.儿童步态的研究进展.体育科学, 2009, 29(10):72-75 doi: 10.3969/j.issn.1000-677X.2009.10.013Li Kai, Yuan Wen-Xue, Meng Zhao-Li. Research advancement of children's gait. China Sport Science, 2009, 29(10):72-75 doi: 10.3969/j.issn.1000-677X.2009.10.013 [2] 夏泽洋, 陈垦, 刘莉, 熊璟.面向仿人机器人自然步态规划的人体步行实验分析.机器人, 2008, 30(1):41-46 http://www.cqvip.com/QK/90986X/200801/26291193.htmlXia Ze-Yang, Chen Ken, Liu Li, Xiong Jing. Experimental analysis on human locomotion for natural gait planning of humanoid robots. Robots, 2008, 30(1):41-46 http://www.cqvip.com/QK/90986X/200801/26291193.html [3] 孙广彬, 王宏, 陆志国, 王福旺, 史添玮, 王琳.仿人足底肌电特征的机器人行走规划.自动化学报, 2015, 41(5):874-884 doi: 10.16383/j.aas.2015.c140632Sun Guang-Bin, Wang Hong, Lu Zhi-Guo, Wang Fu-Wang, Shi Tian-Wei, Wang Lin. Humanoid walking planning based on EMG from human foot-bottom. Acta Automatica Sinica, 2015, 41(5):874-884 doi: 10.16383/j.aas.2015.c140632 [4] 田彦涛, 孙中波, 李宏扬, 王静.动态双足机器人的控制与优化研究进展.自动化学报, 2016, 42(8):1142-1157 http://www.aas.net.cn/CN/Y2016/V42/I8/1142Tian Yan-Tao, Sun Zhong-Bo, Li Hong-Yang, Wang Jing. A review of optimal and control strategies for dynamic walking bipedal robots. Acta Automatica Sinica, 2016, 42(8):1142-1157 http://www.aas.net.cn/CN/Y2016/V42/I8/1142 [5] 赵晓军, 黄强, 彭朝琴, 张利格, 李科杰.基于人体运动的仿人型机器人动作的运动学匹配.机器人, 2005, 27(4):357-361 http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=jqr200504015Zhao Xiao-Jun, Huang Qiang, Peng Zhao-Qin, Zhang Li-Ge, Li Ke-Jie. Kinematics mapping of humanoid motion based on human motion. Robot, 2005, 27(4):357-361 http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=jqr200504015 [6] Kanako M, Mitsuharu M, Shin'ichiro N, Fumio K, Kensuke H, Kenji K, Shuuji K. Robot motion remix based on motion capture data-towards human-like locomotion of humanoid robots. In: Proceedings of the 9th IEEE-RAS International Conference on Humanoids. Paris, France: IEEE, 2009. 596-603 [7] Armstrong N, Welsman J R, Chia M Y H. Short term power output in relation to growth and maturation. British Journal of Sports Medicine, 2001, 35(2):118-124 doi: 10.1136/bjsm.35.2.118 [8] Van Praagh E, Doré E. Short-term muscle power during growth and maturation. Sports Medicine, 2002, 32(11):701-728 doi: 10.2165/00007256-200232110-00003 [9] Cioni G, Duchini F, Milianti B, Paolicelli P B, Sicola E, Boldrini A, et al. Differences and variations in the patterns of early independent walking. Early Hum Development, 1993, 35(3):193-205 doi: 10.1016/0378-3782(93)90106-5 [10] Whittle M W. Clinical gait analysis:a review. Human Movement Science, 1996, 15(3):369-387 doi: 10.1016/0167-9457(96)00006-1 [11] Yaguramaki N, Kimura T. Acquirement of stability and mobility in infant gait. Gait & Posture, 2002, 16(1):69-77 [12] Sutherland D H, Olshen R, Cooper L, Woo S L. The development of mature gait. The Journal of Bone & Joint Surgery, 1980, 62(3):336-353 [13] 王新, 关欣. 1-6岁健康儿童行走步态特征分析.北京体育大学学报, 2012, 35(7):66-69 http://www.cqvip.com/QK/96907A/201207/43098576.htmlWang Xin, Guan Xin. The gait kinematics analysis for healthy infant aged from one to six. Journal of Beijing Sport University, 2012, 35(7):66-69 http://www.cqvip.com/QK/96907A/201207/43098576.html [14] 张晓栋, 肖丹丹.肥胖儿童与正常儿童行走步态特征的运动学分析.北京体育大学学报, 2008, 31(12):1651-1654 http://www.cnki.com.cn/Article/CJFDTotal-SYTB201404018.htmZhang Xiao-Dong, Xiao Dan-Dan. A kinematic analysis of over weight children and normal weight children's walk movement characteristics. Journal of Beijing Sport University, 2008, 31(12):1651-1654 http://www.cnki.com.cn/Article/CJFDTotal-SYTB201404018.htm [15] 闫松华, 谢楠, 刘志成.肥胖儿童平地自然行走时的步态研究.中国运动医学杂志, 2007, 26(3):286-290 http://med.wanfangdata.com.cn/Paper/Detail/PeriodicalPaper_zgydyxzz200703007Yan Song-Hua, Xie Nan, Liu Zhi-Cheng. Biomechanical study on gait of obese children. Chinese Journal of Sports Medicine, 2007, 26(3):286-290 http://med.wanfangdata.com.cn/Paper/Detail/PeriodicalPaper_zgydyxzz200703007 [16] Winter D A, Greenlaw R K, Hobson D A. Television-computer analysis of kinematics of human gait. Computers and Biomedical Research, 1972, 5(5):498-504 doi: 10.1016/0010-4809(72)90056-0 [17] Hallemans A, Clercq D D, Aerts P. Changes in 3D joint dynamics during the first 5 months after the onset of independent walking:a longitudinal follow-up study. Gait & Posture, 2006, 24(3):270-279 [18] Sun B Q, Liu X G, Wu X T, Wang H Y. Human gait modeling and gait analysis based on Kinect. In: Proceedings of the 2014 IEEE International Conference on Robotics & Automation (ICRA). Hong Kong, China: IEEE, 2014. 3173-3178 [19] Amandine D, Francois C. A gait analysis method based on a depth camera for fall prevention. In: Proceedings of the 36th Annual International Conference on Engineering in Medicine and Biology Society (EMBC). Chicago, USA: IEEE, 2014. 4515-4518 [20] Suttipong K, Pornchai M, Bunthit W, Sasipa S. Automatic multiple Kinect cameras setting for simple walking posture analysis. In: Proceedings of the 2013 International Conference on Computer Science and Engineering (ICSEC). Bangkok, Thailand: IEEE, 2013. 245-249 [21] 余涛. Kinect应用开发实战:用最自然的方式与机器对话.北京:机械工业出版社, 2012. 26-30Yu Tao. Kinect Application Development Combat:the Most Natural Way to Dialogue with the Machine. Beijing:Machinery Industry Press, 2012. 26-30 [22] The Microsoft Kinect. JointType enumeration[Online], available: https://msdn.microsoft.com/en-us/library/microsoft.kinect.jointtype.aspx, May 4, 2017. [23] Pete D. Avateering with kinect v2-joint orientations[Online], available: http://peted.azure-websites.net/avateering-with-kinect-v2-joint-orientations/, May 6, 2017. [24] McGhee R B. Some finite state aspects of legged locomotion. Mathematical Biosciences, 1968, 2(1-2):67-84 doi: 10.1016/0025-5564(68)90007-2 [25] 孟健. 复杂地形环境四足机器人运动控制方法研究与实现[博士学位论文], 山东大学, 中国, 2015.Meng Jian. Research and Implementation on Motion Control Method of Quadruped Robot on Complex Terrain and Environment[Ph. D. dissertation], Shandong University, China, 2015. [26] Craig J J. Introduction to Robotics:Mechanical and Control (Third Edition). New Jersey:Pearsone Education, 2005. 51-55 [27] Wang C, Zhang J P, Wang L, Pu J, Yuan X R. Human identification using temporal information preserving gait template. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2012, 34(11):2164-2176 doi: 10.1109/TPAMI.2011.260 期刊类型引用(5)
1. 王晓峰，梁亮. 一种下肢康复机器人步态的生成与调节方法. 控制工程. 2022(01): 18-26 . 
百度学术2. 张笑宇，陈凯，杨颖. 基于Kinect系统的步态参数提取方法. 数据采集与处理. 2022(04): 872-882 . 百度学术3. 李贻斌，郭佳旻，张勤. 人体步态识别方法与技术. 吉林大学学报(工学版). 2020(01): 1-18 . 百度学术4. 劳彩莲，杨瀚，李鹏，冯宇. 基于消费级深度相机的玉米植株三维重建. 农业机械学报. 2019(07): 222-228 . 百度学术5. 高莉俊，汪步云，许德章. 基于步态子空间的无监督双足步行状态辨识. 模式识别与人工智能. 2018(08): 763-772 . 百度学术其他类型引用(4)
-
下载:
计量
- 文章访问数: 1898
- HTML全文浏览量: 294
- PDF下载量: 736
- 被引次数: 9
