System Design for Human-robot Coexisting Environment Satisfying Multiple Interaction Tasks
-
摘要: 人与机器人共同协作的灵活生产模式已经成为工业成产的迫切需求, 因此, 近年来人机共融系统方面的研究受到了越来越多关注. 设计并实现了一种满足不同交互任务的人机共融系统, 人体动作的估计和机器人的交互控制是其中的关键技术. 首先, 提出了一种基于多相机和惯性测量单元信息融合的人体姿态解算方法, 通过构造优化问题, 融合多相机下的2D关节检测信息和所佩戴的惯性测量单元测量信息, 对人体运动学姿态进行优化估计, 改善了单一传感器下, 姿态信息不全面以及对噪声敏感的问题, 提升了姿态估计的准确度. 其次, 结合机器人的运动学特性和人机交互的特点, 设计了基于目标点跟踪和模型预测控制的机器人控制策略, 使得机器人能够通过调整控制参数, 适应动态的环境和不同的交互需求, 同时保证机器人和操作人员的安全. 最后, 进行了动作跟随、物品传递、主动避障等人机交互实验, 实验结果表明了所设计的机器人交互系统在人机共融环境下的有效性和可靠性.Abstract: System design for human-robot coexisting environment has become a research hotspot due to great demand for applying robots as supportive tools in human workspaces for flexible industrial production. Recent researches have been focused on the problem of human pose estimation and flexible robot control. In this paper, a system for human-robot coexisting environment that adapts to multiple interaction tasks is designed. 2D human poses detected from multiple camera views and rotational measurements detected by wearable inertial measurement units on human limbs are fused by establishing optimization problem to estimate the 3D pose of human upper body, which surpasses the detection performance by using single module of sensors when dealing with obstacles and sensor noises. By considering the kinematics of the robots and the flexibility demands in human-robot interaction, a target-following based control strategy with motion target bounding and model predictive control is applied to enhance the motion flexibility of a robot while ensuring the safety of human operator and the robot itself. The designed system is tested by several interactive experiments including motion following, object fetching, active collision avoidance. The results show the validity and reliability of the system in human-robot coexisting environment.
-
Key words:
- Human-robot interaction /
- human pose estimation /
- sensor fusion /
- optimization /
- robot control
-
随着自动化与机器人技术的发展, 机器人在制造、运输、仓储等许多领域中都得到了广泛应用, 然而大部分的机器人仍处在与人完全隔离的环境下进行工作, 一方面是为了避免安全上的隐患, 另一方面是为了降低系统部署的难度. 虽然人机隔离的工作方式能够发挥机器人在运动精度和速度上的优势, 适用于一些简单重复性的工作, 但对于一些需要复杂判断能力和灵活机动性的工作, 目前大部分的机器人很难单独胜任, 而且大部分机器人都缺乏在人机共融环境下工作的能力, 导致这些工作只能由人来完成[1]. 为了改变人机分离工作的现状, 希望机器人以协助的方式参与到人的生产工作中, 负责搬运、夹持、预处理等任务, 减少人的负担, 提升整体的工作效率.
为了让机器人融入有人参与的工作环境, 首先需要解决的是人机之间的安全问题. 国际标准化组织提出了4种实现安全人机协作的方式: 1)安全级监控停止: 当检测到人和机器人同时处于协作区内时, 机器人保持停止; 2)手动引导: 通过手动引导的装置或设备在协作区内对操作机器人的末端工具使其达到期望的位置和姿态; 3)速度与距离监控: 机器人与操作人员时刻保持在一定距离以上, 当机器人本身的运行速度越大, 需要与人保持的距离也越大; 4)功率及力限制: 通过限制机器人本身的力/力矩输出来防止对人的伤害[2-3]. 针对不同情况的人机交互, Bdiwi等[4]对国际标准化组织提出的安全模式进行了扩展, 根据视觉信息, 如触碰、分离、遮挡等定义机器人当前需要符合的行为; Bdiwi[5]对人机协作的交互等级做了更细致的划分, 规定了不同交互等级下机器人需要符合的行为和场景内需要被监控的信息. 可以看出, 实时信息监控对于任何形式的人机协作都是非常重要的.
信息监控包括对机器人运动的监控、受力输出力矩的监控以及人体动作的监控等. 要实现机器人的运动监控, 需要解决机器人在周边环境中的定位问题. 对于固定安装的机器人, 可以采用相机手眼标定的方式对机器人在相机坐标系下的位姿进行确定[6]; 而对于包含移动平台的机器人, 根据使用场景的不同, 可以采用即时定位与地图构建或定位标记的方式确定机器人的位姿. 对于人体姿态的实时估计, 目前的方法主要有3种: 1)基于光学标记的人体姿态捕捉; 2)基于惯性传感的姿态捕捉; 3)基于图像和卷积神经网络的姿态估计. Vicon和Optitrack等公司为基于光学标记的人体姿态捕捉提供了商业化的解决方案: 姿态捕捉的对象需要穿戴特殊服装并粘贴相应的光学标记, 通过空间中的多台红外摄像机组对人体动作进行采集. 该方法具有较高的精度和响应速度, 但由于穿戴方式过于复杂和成本较高等原因不适合工业环境的使用[7]. 基于惯性传感的方式需要在身上佩戴惯性测量单元(Inertial measurement unit, IMU), Von Marcard等[8]研究中使用稀疏传感器配置来估计人体姿态, 但需要利用一个时间片段内所有的加速度和旋转信息进行优化计算来保证估计的准确率, 实时性较差. 此外, 基于惯性传感器的方法主要的问题在于无法对捕捉人员在空间中的绝对位置进行有效的估计[9]. 基于图像的姿态估计方法近年发展迅速, 其主要原理是利用卷积神经网络对人体肢体、关节进行识别, 不需要佩戴任何设备, 降低了使用的门槛. Cao等[10]提出了一种利用单张图像估计多人2D姿态的方法, 在硬件加速的情况下能够达到准实时的效果. 结合人体运动学拟合方法. Mehta等[11]利用卷积神经网络给出了基于单目相机的3D人体姿态计算方法. 基于图像的姿态估计方法很难对误差进行控制, 对于遮挡、画面背景、图像输入分辨率等因素较为敏感, 而且仅依靠视觉信息很难对肢体的旋转信息做出有效的检测. 除以上利用彩色图像进行人体姿态估计的方法, 也有利用深度相机的深度图像进行人体姿态识别的研究. Shotton等[12]提出了基于单张深度图像的3D人体姿态快速计算方法, 但其检测效果也同样容易受到遮挡, 光照等因素的影响.
除了人机信息的采集, 机器人的灵活控制在人机交互系统中也起到非常重要的作用. 灵活的控制策略能够保证机器人对不同交互情况具有良好的适应性[13]. Flacco等[14]提出一种深度图下快速估计多个动态质点之间的距离的方法, 并利用距离向量所生成的斥力场实现了机器人的动态避障. Tsai等[15]研究了7轴机器人的轨迹规划方法来执行人机共融环境下的工作任务, 并通过仿真验证了其轨迹规划方法的可行性. Mohammed等[16]提出了一种视觉驱动的机器人动态避障方法, 并在VR虚拟空间中进行了实验验证了算法的有效性. 目前普遍的机器人控制研究没有对人机交互中任务目标的随机性和工作场景频繁的变化进行充足的考虑, 很难保证机器人在动态环境下的控制可靠性.
为了实现安全高效的人机交互, 本文对人机共融环境下人与机器人的运动状态估计方法, 以及交互系统中机器人的控制方法进行了研究. 为了在人机共存的环境下实时获取稳定的人体姿态, 采用了多相机和IMU信息融合优化的方式对人体姿态进行估计, 提升了人体姿态估计效果的鲁棒性, 避免了单相机视角下对遮挡因素敏感的问题, 并通过融合IMU信息实现了对肢体旋转旋转信息的检测, 提供了有效的交互信息. 此外, 结合机器人本身的运动学特性, 设计了机器人的交互控制策略. 所设计的控制策略能够提升机器人在复杂环境中工作的安全性, 且对不同的任务目标能够灵活的切换, 提高了机器人在不同场景下的适应性.
本文的内容组织结构如下: 第1节提出了人机共融系统的系统设计, 第2节研究了机器人和操作人员的姿态解算方法, 第3节设计了机器人控制策略, 第4节通过若干实验说明了算法和控制方法的有效性和实用性.
1. 系统设计
在人机共融系统下工作的机器人, 主要起到协助操作人员进行工作的作用. 图1给出的动作跟随、目标指定、动态避障等较为典型人机协作方式, 在非接触式人机交互中有较强的应用价值. 为了满足上述功能, 实现可靠的交互, 需要稳定的人体姿态识别算法和灵活的机器人控制策略.
对于人体姿态估计问题, 基于单相机的方法对遮挡、光照、背景等环境因素较为敏感, 而且仅基于图像信息很难对人体肢体的旋转信息进行有效的判断. 本文拟采用多相机与IMU信息融合的方法对人体姿态进行估计, 以提升人体姿态识别的精度、稳定性和姿态信息的完整性.
对于人机交互应用中的机器人控制, 需要使用合适的交互控制策略使得机器人能够适应不同的交互模式下不同的控制需求. 本文拟针对不同的交互方式给出相应目标点生成方式, 机器人通过对相应目标点进行追踪以实现不同的交互运动; 结合模型预测控制, 通过建立优化函数, 以调整优化参数的方式使机器人适应不同模式下的控制性能要求.
具体的系统设计如图2所示. 机器人的工作空间处于多台固定架设的相机视野下, 机器人的坐标系与相机坐标系的变换关系通过机器人手眼标定获得, 从而可以通过机器人运动学计算出机器人的运动状态. 利用多台相机的2D人体姿态估计结果和操作人员所佩戴的IMU的旋转信息, 在人体姿态估计模块中通过构造能量函数, 对传感器信息进行融合并优化求解出3D的人体姿态信息. 系统通过分析操作人员与机器人的空间关系, 并结合当前的交互模式生成机器人的任务目标, 机器人的任务目标经过系统修正以保证安全性与合理性. 最后, 以生成的任务目标为参考, 通过模型预测控制器生成机器人的运动指令, 最终控制机器人运动完成交互行为. “虚拟环境”作为整个系统信息交换的中枢, 存储了当前实时的人机姿态信息, 起到信息同步和可视化的作用. 在人机交互系统中, 基于多传感器融合的人机姿态解算、机器人的目标点生成和修正方法以及灵活的控制策略是本文研究的核心问题.
2. 基于多传感器的三维人机姿态解算
2.1 虚拟空间的坐标关系描述
在图2所示的虚拟环境中, 利用坐标系来表示空间中人与机器人的状态. 人与机器人都被视为独立的刚体运动系统, 分别具有各自的基坐标系. 对于机器人, 基坐标系为机器人的基座坐标系; 对于操作人员来说, 髋部关节坐标系被视为基坐标系. 为了方便对人与机器人之间的位姿关系进行计算和表示, 在虚拟环境中还设有世界坐标系, 机器人与操作人员的定位信息都基于世界坐标系来表示. 虚拟3D环境中的人机动作捕获主要依靠多台单目相机构成的视觉系统. 多台单目相机之间的空间关系采用了标定板进行了标定, 最后, 所有相机的相机坐标系也基于世界坐标系进行表示.
2.2 机器人的姿态解算
对于固定安装的机器人, 其基坐标系与世界坐标系的关系保持恒定, 因此只需对基坐标系进行标定, 得到机器人基坐标系与世界坐标系之间的固定关系. 在相机固定安装的条件下, 通过一种基于迭代最小二乘法的机器人手眼标定方法[6], 配合视觉标记对固定安装的机器人进行标定, 得到相机坐标系
$ c $ 下机器人基坐标系$ r_0 $ 的位姿$ T_{r_0}^{c} $ . 世界坐标下机器人基坐标系的位姿$ T_{r_0}^{g} $ 表示为:$$ T_{r_0}^{g} = T_{c}^{g}T_{r_0}^{c} $$ (1) 式中,
$ T_{c}^{g} $ 为世界坐标系下相机$ c $ 的坐标系位姿.机器人可以被视为串联的刚体连杆运动系统, 具有数个串联的连杆, 父连杆与子连杆之间由单自由度的旋转关节连接. 通过机器人正运动学, 可以从基座坐标系对机器人的子连杆坐标系进行推算. 机器人子连杆
$ r_j $ 相对机器人基座$ r_0 $ 的位姿$ T_{r_j}^{r_0} $ 的计算公式为:$$ \begin{split} T_{{r_j}}^{{r_0}} = \; & \displaystyle\prod\limits_{x = 1}^j {T_{{r_x}}^{{r_{x - 1}}}\left( {{\theta _{{r_x}}}} \right)} = \\ & \displaystyle\prod\limits_{x = 1}^j {\left[ {\begin{array}{*{20}{c}} {R_{{r_x}}^{{r_{x - 1}}}\left( {{\theta _{{r_x}}}} \right)}&{{{t}}_{{r_x}}^{{r_{x - 1}}}}\\ 0&1 \end{array}} \right]} \end{split}$$ (2) 式中,
$ \theta _{r_x} $ 为子连杆$ r_x $ 与父连杆$ r_{x-1} $ 连接的关节角, 可以通过与机器人控制器通讯实时获取,$R_{r_x}^{r_{x-1}}\left( \theta _{{r_x}} \right)$ 和${{t}}_{r_x}^{r_{x-1}}$ 分别为子连杆$ r_x $ 在父连杆$ r_{x-1} $ 坐标系下的旋转矩阵和固定连杆位移. 那么各连杆在世界坐标系下的位姿$ T_{r_j}^{g} $ 为:$$ T_{r_j}^{g} = T_{r_0}^{g}T_{r_j}^{r_0} $$ (3) 由式(3)可以计算出如图3所示的机器人在虚拟空间中的运动状态.
2.3 基于多传感器融合的人体动作解算
在人机交互过程中, 需要获得尽可能完整的人体动作信息, 同时需要考虑姿态估计的稳定性. 一般基于图像的方法容易受到遮挡的影响, 而且很难对手掌等部位的旋转信息进行有效的检测. 本节建立了人体上肢骨骼模型, 并引入了可穿戴的惯性测量单元, 配合多台相机进行人体动作的估计.
2.3.1 人体上肢模型的建立
与机器人类似, 本系统中, 人体也被视为串联的刚体运动系统. 在与机器人的交互行为中, 人体的上肢动作信息更为重要. 为了对人体上肢姿态进行表示和计算, 基于文献[17]的数据集, 建立了人体上肢的运动学模型, 如图4所示. 人体上肢运动学模型为包含10个连杆的运动系统, 其中, 根连杆
$ h_0 $ (髋部)为人体基坐标系, 包含相对世界坐标系表示的姿态$ R_{h_0}^{g} $ 和位移${{t}}_{h_0}^{g}$ , 其余子连杆$h_j, j \in \{ {1,2,}\cdots ,9 \}$ 通过球形关节与父连杆连接, 相对于父连杆有旋转${R}_{h_j}^{prt}\left( {{\theta }}_{h_j} \right)$ 和常量连杆位移${{t}}_{h_j}^{prt}$ , 其中,${{\theta }}_{h_j}\in {\bf{R}}^3$ 是用于表示球形关节欧拉角旋转量的3维向量. 人体模型中的左肩连杆$ h_2 $ 和右键连杆$ h_6 $ 同时将胸部连杆$ h_1 $ 作为父连杆, 区别于机器人的结构, 以$ prt $ 作为父连杆编号. 令$ P\left( h_j \right) $ 为连杆$ h_j $ 所有上级连杆的集合, 则$ h_j $ 在世界坐标系下的位姿$ {T}_{h_j}^{g} $ 为:$$ \begin{split} T_{{h_j}}^g = \; & \left( { \displaystyle\prod\limits_{h' \in P\left( {{h_j}} \right)} {T_{h'}^{prt}\left( {{{{\theta }}_{h'}}} \right)} } \right)T_{{h_0}}^g = \\ & \left( { \displaystyle\prod\limits_{h' \in P\left( {{h_j}} \right)} {\left[ {\begin{array}{*{20}{c}} {R_{h'}^{prt}\left( {{{{\theta }}_{h'}}} \right)}&{{{t}}_{h'}^{prt}}\\ 0&1 \end{array}} \right]} } \right)T_{{h_0}}^g \end{split}$$ (4) 在考虑人体基坐标系姿态
$ R_{h_0}^{g} $ 和位移${{t}}_{h_0}^{g}$ 的情况下, 人体上肢可以看作一个具有33个自由度的运动系统, 构造向量${{\theta }}_h = \left[( {{t}}_{h_0}^{g})^{\rm{T}}\,\,{{\theta }}_{h_0}^{\rm{T}}\,\,{{\theta }}_{h_1}^{\rm{T}}\,\,\cdots \,\,{{\theta }}_{h_9}^{\rm{T}} \right] ^{\rm{T}}$ 以表示人体上肢模型的姿态信息.2.3.2 能量函数构造
人体动作估计需要融合视觉和IMU传感器的数据, 对
${{\theta }}_h$ 进行求解. 建立${{\theta }}_h$ 的目标函数$$ E\left( {{\theta }}_h \right) = \alpha _RE_R\left( {{\theta }}_h \right) +\alpha _PE_P\left( {{\theta }}_h \right) +\alpha _LE_L\left( {{\theta }}_h \right) $$ (5) 式中,
$E_R\left( {{\theta }}_h \right)$ 为人体上肢模型中连杆姿态与IMU测得肢体姿态的误差项,$E_P\left( {{\theta }}_h \right)$ 表示视觉传感器测得的人体肢体位置的误差项,$E_L\left( {{\theta }}_h \right)$ 为人体关节自由度约束项,$ \alpha _R $ 、$ \alpha _P $ 、$ \alpha _L $ 分别为上述3项的权重系数. 通过最小化$E\left( {{\theta }}_h \right)$ 能够求得融合了视觉信息与IMU信息的人体动作估计结果${{\theta }}_h$ .1) IMU误差项
人体姿态估计中, IMU佩戴方式如图4所示, 需要在腰部、左手臂、右手臂、左手掌和右手掌佩戴IMU. 各个IMU能够检测自身在世界坐标系下的姿态
$ R_{I_j}^{g} $ ,$ I_j $ 对应其追踪的肢体连杆$ h_j $ . 在佩戴好IMU后, 肢体连杆坐标系$ h_j $ 与IMU传感器坐标系$ I_j $ 存在固定的旋转偏差$ {R}_{I_j}^{h_j} $ , 该偏差能够在人体姿态估计的初始化阶段通过动作标定计算得出, 具体计算方法见式(12). 那么肢体连杆$ h_j $ 在世界坐标系下的IMU测量值表示为:$$ R_{h_j}^{g} = R_{I_j}^{g}\cdot \left( R_{I_j}^{h_j} \right) ^{-1} $$ (6) 同时其估计值
$ \hat{R}_{h_j}^{g} $ 可由(4)的姿态部分求解得出. 通过比较估计值$ \hat{R}_{h_j}^{g} $ 和测量值$ R_{h_j}^{g} $ , 建立IMU误差项:$$ E_R\left( {{\theta }}_h \right) = \sum\limits_{j\in I}{\left\| { \varGamma \left( \hat{R}_{h_j}^{g}\cdot \left( R_{h_j}^{g} \right) ^{-1} \right)} \right\|_{2}^{2}} $$ (7) 式中,
$ I $ 为佩戴有IMU的肢体连杆编号的集合,$ \varGamma \left( \cdot \right) $ 将旋转矩阵转化四元数并取其向量部分.2)视觉误差项
首先, 多台相机捕捉到的画面内容通过2D姿态求解器[10]以获得操作人员在图像坐标系下的肢体关键点位置. 各个2D关键点坐标
${{t}}_{h_j}^{c}\in {\bf{R}}^2$ 有对应的关键点置信度$ \lambda _{h_j}^{c}\in \left[ {0,}1 \right] $ , 表示该关键点被正确识别的概率. 为了方便表示, 人体上肢模型中的各连杆坐标系与对应的2D关键点都记作$ h_j $ . 虚拟空间中$ h_j $ 的空间位置估计值$\hat{ {t}}_{h_j}^{g}\in {\bf{R}}^3$ 由式(4)的位移部分计算得出. 为了比较估计值$\hat{{{t}}}_{h_j}^{g}$ 与姿态求解器输出的2D关键点${{t}}_{h_j}^{c}$ 的偏差, 将$\hat{{{t}}}_{h_j}^{g}$ 投影至相机的图像坐标系下, 得到:$$ \hat{{{t}}}_{h_j}^{c} = Proj_c\left( \hat{{{t}}}_{h_j}^{g} \right) $$ (8) 式中,
$ Proj_c\left( \cdot \right) $ 为相机$ c $ 的3D-2D投影函数. 最后建立视觉误差项:$$ E_P\left( {{\theta }}_h \right) = \sum\limits_{c\in C}{\sum\limits_{j\in J}{\lambda _{h_j}^{c}\left\| { \hat{{{t}}}_{h_j}^{c}-{{t}}_{h_j}^{c}} \right\| _{2}^{2}}} $$ (9) 式中,
$ C $ 为所有相机的集合,$ J $ 为所有关键点的集合.3)关节自由度约束项
仅依靠穿戴的IMU和图像的信息无法很好地保证优化中
${{\theta }}_h$ 收敛结果的合理性. 其主要的原因在于传感器信息的自由度不足, 无法完全约束人体模型的关节自由度. 例如肩部连杆和胸部连杆的关节信息并没有被IMU直接观测, 主要依靠图像信息进行估计. 在建立人体运动学模型时, 虽然人体的每一个连杆关节具有3个自由度, 但对于实际的人体, 大部分的关节都有着运动方向和角度上的限制, 并非所有的关节都能满足3个自由度上的自由旋转.通过对人体动作数据集[17]的分析, 可以得到各个关节数据分布的均值
$\bar{{\theta}}_{h_j}$ 和标准差${{\sigma }}_{h_j}$ , 以此建立关节自由度约束项:$$ E_L\left( {{\theta }}_h \right) = \sum\limits_{j\in J'}{\left( {{\theta }}_{h_j}-\bar{{ \theta}}_{h_j} \right) ^{\rm{T}}{\rm{diag}}\left\{ {{\sigma }}_{h_j} \right\}}\left( {{\theta }}_{h_j}-\bar{{ \theta}}_{h_j} \right) $$ (10) 式中,
$ J' $ 为除髋关节外所有旋转关节的集合. 标准差${{\sigma }}_{h_j}$ 较大的关节在关节运动限制上有着较大的容忍度; 而对于标准差${{\sigma }}_{h_j}$ 较小的关节, 与均值$\bar{{ \theta}}_{h_j}$ 偏差较大的优化结果${{\theta }}_{h_j}$ 会导致该项的计算结果显著增大. 最小化该项能够使优化求解所得出的姿态更趋近数据集中存在的姿态, 从而达到约束关节自由度的效果.2.3.3 人体姿态的优化求解
式(5)中的IMU误差项(7)和视觉误差项(9)分别定义了两种传感器在人体姿态优化求解过程中的误差, 但由于所对应物理量量纲的不同, 以及传感器本身对测量误差的容忍度不同(IMU一般不会出现较大的测量误差, 而基于卷积神经网络的图像数据处理经常出现不合理的输出结果), 需要调整各项所对应的权重系数
$ \alpha \in \left[ {0,}1 \right] $ 以平衡各项在优化过程中的作用, 对于关节自由度约束项(10)同理.通过对人体姿态数据集的分析, 能够得到各人体关节角
${{\theta }}_{h_j}$ 的上下限${{\theta }}_{h_j}^{\min}$ 和${{\theta }}_{h_j}^{\max}$ . 人体姿态求解的优化问题定义如下:$$ \begin{split} 目标函&数:\mathop {\min }\limits_{{{{\theta }}_h}} E\left( {{\theta }}_h \right) \\ &{\rm{s.t.}} \;\\ &\;\;\;\quad{{\theta}}_{h_j}^{\min}\le {{\theta }}_{h_j}\le {{\theta }}_{h_j}^{\max}\,\,,\;\; j\in J' \end{split} $$ (11) 同一时刻的IMU数据和图像检测数据作为一组传感器数据, 对于每一组传感器数据, 首先将对式(7)与式(9)进行数据代入, 再建立优化目标问题(11), 给定优化过程的初始迭代值, 并采用Levenberg-Marquardt法在约束范围内对该非线性问题的最小值解
${{\theta }}_h$ 进行迭代搜索, 最后收敛得到当前人体姿态的计算结果.在优化问题中给定接近最优解的初始迭代值能够提升梯度下降的效率, 并减少求解陷入局部最优的可能性, 为此使用前一组数据所求得的姿态结果作为初始迭代值来进行优化问题的求解. 而对于优化第一组数据, 由于没有上一时刻的结果可以利用, 设计了初始化阶段以提供最初的迭代值. 在初始化阶段中, 预先定义了一个初始姿态
${{\theta }}_{h}^{init}$ (一般为T-pose: 即保持身体直立, 双手向两侧平举的姿态), 操作人员需要和初始姿态保持吻合, 再以初始姿态${{\theta }}_{h}^{init}$ 作为当前优化问题的初始值进行姿态求解, 以计算得到第一组数据的姿态估计结果. 同时, 由于给定了初始姿态${{\theta }}_{h}^{init}$ , 各个IMU与相应骨骼连杆的固定旋转偏移$ {R}_{I_j}^{h_j} $ 能够在初始化阶段进行计算:$$ R_{I_j}^{h_j} = \left( R_{h_j}^{g}\left( {{\theta }}_{h}^{init} \right) \right) ^{-1}R_{I_j}^{g} $$ (12) 式中,
$R_{h_j}^{g}\left( {{\theta }}_{h}^{init} \right)$ 为通过式(4)的旋转部分计算得出的${{\theta }}_{h}^{init}$ 下的肢体连杆$ h_j $ 的初始姿态.3. 人机共融系统中的机器人控制
在人机交互应用中, 机器人以操作人员为中心进行工作, 操作人员在交互过程中常常起到指定任务目标的作用. 然而, 人在交互过程中所给定的目标具有潜在的随意性和不合理性. 随意性是指操作人员往往无法直接给出精确的任务目标, 而需要给出大致目标后, 经过不断的反馈调整最终令操作人员达到满意; 不合理性是指, 人在指定目标时往往并不考虑机器人自身能力与周围环境等因素, 给出的目标容易导致机器人不安全的运动, 甚至发生碰撞而导致损耗等情况. 在人机交互的过程中, 机器人一方面需要对频繁发生变动的目标进行快速的响应, 提高交互的效率和舒适度, 同时另一方面需要考虑操作人员和自身的安全, 对于不合理的目标指令进行修正, 并及时对操作人员发出反馈. 本节首先对人机交互中不同模式的目标点生成方法进行阐述, 随后提出基于边界限制的目标修正和机器人的模型预测控制来解决上述的问题.
3.1 机器人目标点生成方法
在所设计的系统中, 机器人在工作状态下始终具有一个任务目标
$ {T}_{o}^{g} $ , 机器人通过对$ T_{o}^{g} $ 进行跟踪来达到交互目的. 基于第2节中构建的虚拟环境中得到的信息, 对图1中给出的几种交互方式所对应的$ {T}_{o}^{g} $ 的生成方式进行说明.1)动作跟随模式
在动作跟随模式中, 如图1(a)所示,
$ {T}_{o}^{g} $ 以人体模型中的某连杆作$ h_j $ 为参考生成, 连杆$ h_j $ 与目标之间有固定的位移偏差${{t}}_{o}^{h_j}$ . 在该模式下, 可以将任务目标$ T_{o}^{g} $ 与手部连杆坐标系进行关联, 利用手部动作的灵活性来引导机器人的运动, 用于机器人的遥操作、示教等; 此外, 也可以将目标与人体的胸部坐标系做关联, 以实现动态的物品递送等功能. 该模式下的目标点生成方式为:$$ T_o^g = T_{{h_j}}^g\left[ {\begin{array}{*{20}{c}} {{{{I}}_3}}&{{{t}}_o^{{h_j}}}\\ 0&1 \end{array}} \right] $$ (13) 式中,
${{I}}_3$ 为3阶单位矩阵.2)目标指定模式
如图1(b)所示, 机器人的工作环境中一般存在若干操作平面. 在虚拟环境中, 人体运动模型的手掌连杆能够形成射线矢量与机器人的操作平面相交, 若相交点处于操作平面内, 则以相交的位置作为机器人的行动目标. 在该模式下能够让操作人员方便地对桌面上离散的目标进行指定, 命令机器人进行抓取等操作.
3)动态避障模式
系统能够实时地对虚拟环境中机器人的各个连杆与人体的各个连杆的距离进行计算. 如图1(c)所示, 当机器人处于自主运动状态(指操作人员并无意图控制机器人运动的情况), 同时检测到机器人连杆与人体连杆距离过近时, 能够触发该模式, 通过动态避障算法实时修正
$ T_{o}^{g} $ , 对人体进行避让. 本文以人工势场法为启发, 设计了基于斥力引力场的避障目标点生成方法: 当人体与机器人距离足够大的情况下, 机器人向任务目标运动, 目标点对机器人工具坐标系$ r_{tool} $ 产生引力向量${{F}}_o$ :$$ {{F}}_o = {{t}}_{o}^{g}-{{t}}_{r_{tool}}^{g} $$ (14) 当检测到人体连杆坐标系
$ h_j $ 与$ r_{tool} $ 小于一定的安全阈值时, 产生斥力向量${{F}}_{h_j}$ :$$ {{F}}_{h_j} = \frac{{{t}}_{r_{tool}}^{g}-{{t}}_{h_j}^{g}}{\left\| {{t}}_{r_{tool}}^{g}-{{t}}_{h_j}^{g} \right\|} $$ (15) 通过斥力向量与引力向量相加生成合成力
${{F}}_{add}$ :$$ {{F}}_{add} = {{F}}_o+\sum\limits_{j\in J\nabla}{{{F}}_{h_j}} $$ (16) 最后得到目标点
$ T_{o}^{g} $ :$$ T_o^g = T_{{r_{tool}}}^g + \left[ {\begin{array}{*{20}{c}} 0&0&0&\delta \end{array}} \right]\left[ {\begin{array}{*{20}{c}} {{{{F}}_{add}}}\\ 0 \end{array}} \right] $$ (17) 式中,
$ \delta \in \left( {0,}\;\infty \right) $ 为目标点距离系数, 用于调整合成力与生成的目标点之间的线性关系.3.2 机器人运动控制策略设计
3.2.1 任务目标的修正
任务目标
$ T_{o}^{g} $ 常常通过人为的方式给定, 为了防止人为给出的任务目标与机器人本身或环境等产生冲突, 提出了任务目标的修正方法. 通过在系统中定义如图5所示的几种边界, 当任务目标$ T_{o}^{g} $ 与边界发生冲突时, 系统会按照边界对$ {T}_{o}^{g} $ 进行相应的修正.1)奇异状态边界. 理论上, 机器人具有以基座为中心, 最大臂展
$ R $ 为半径的球形的最大可达工作空间$W\{ R \}$ . 但是机器人在达到最大伸展距离时会处于奇异姿态, 在奇异姿态下无法保证逆运动学求解的合理性, 这将导致机器人的运动方式进入一种难以预估的状态. 为了避免奇异姿态的出现, 对机器人的工作空间进行了限制. 若理论上的机器人最大工作空间半径为$ R $ , 则令限制后的工作空间半径为$ R' = 0.9R $ , 超出工作空间$W\{ R' \}$ 的目标姿态$ T_{o}^{g} $ 将被重新限制到$W\{ R' \}$ 的边界, 以此避免了奇异姿态的出现.2)静态障碍物边界. 除了工作空间
$W\{ R' \}$ 的限制外, 机器人的运动还受到工作空间中静态障碍物的限制, 对于体积较大的静态障碍物, 如操作台面, 货架等, 机器人难以通过运动规划对其进行避让, 那么系统根据此类障碍物的形状形成边界, 在$W\{ R' \}$ 的基础上对工作空间进行限制. 这些边界的生成需要使用者根据机器人所处的具体环境在虚拟环境中对障碍物进行配置, 每个障碍物都设有接触阈值, 根据阈值系统会在障碍物周围形成外包络边界, 目标姿态$ T_{o}^{g} $ 将会被限制在包络边界外, 以免和环境发生碰撞.3)自碰撞边界. 机器人在运动时也可能会与自身发生碰撞, 类似静态障碍物, 机器人自身在连杆周围根据接触阈值形成外包络边界, 目标姿态
$ T_{o}^{g} $ 将被修正在边界外, 防止自碰撞的发生.3.2.2 基于模型预测的机器人灵活控制
在人机交互系统中, 针对当前不同情况可能有着不同的控制需求. 比如在动作跟随模式下, 机器人需要快速的响应速度以减小轨迹的跟踪误差, 而在近距离的交互过程中, 运动过程的柔和度和人机安全更加重要. 为了能够灵活地调整机器人的控制策略, 使用了模型预测控制分别应用于各个机器人关节. 控制器设计如图6所示, 其中,
${{\theta }}_{pre}^{r}$ 为预测时间窗口${{T}}_{pre}$ 内的机器人的目标关节角序列; 目标点$ {T}_{o}^{g} $ 的序列经逆运动学求解得出; 控制量$ u $ 为关节角加速度$ \ddot{\theta} $ ;$ \theta $ 与$ \dot{\theta} $ 分别为关节位置和关节角速度. 单关节预测模型通过输入$ u $ 对机器人关节状态${{x}} = {[ {\theta \;\;\dot \theta } ]^{\rm{T}}}$ 进行计算,${{\theta }}_{pre}$ 和$\dot{{ \theta}}_{pre}$ 分别为预测时间窗口${{T}}_{pre}$ 内的关节位置和关节角速度的预测结果序列, 机器人的单关节状态空间模型定义如下:$$ \begin{split} & \dot {{x}} = \left[ {\begin{array}{*{20}{c}} 0&1\\ 0&0 \end{array}} \right]{{x}} + \left[ {\begin{array}{*{20}{c}} 0\\ 1 \end{array}} \right]u\\ & y = \left[ {\begin{array}{*{20}{c}} 1&0 \end{array}} \right]{{x}} \end{split} $$ (18) 建立如下的优化问题进行滚动优化:
$$ \begin{split} {{\rm{目标函数}}:} & \;{{{\min }_u}\sum\limits_{t = {t_{now}}}^{{{{T}}_{pre}}} ({{q_p}\left( {\theta _{pre}^r\left( t \right) - {\theta _{pre}}\left( t \right)} \right)} } +\\ & \;\;\;\;\;\;\;\; {q_v}{{\dot \theta }_{pre}}\left( t \right) + {q_a}u\left( t \right))\\ {{\rm{s}}.{\rm{t}}.} \\ & \;{\left| {\dot \theta } \right|\le{v_{\max }};\left| u \right|\le{a_{\max }}} \end{split} $$ (19) 式中,
$ v_{\max} $ 和$ a_{\max} $ 分别为关节运动的最大速度约束和最大加速度约束;$ t_{now} $ 为当前时刻;$ \theta _{pre}^{r}\left( t \right) $ 、$ \theta _{pre}\left( t \right) $ 、$ \dot{\theta}_{pre}\left( t \right) $ 和$ u\left( t \right) $ 分别为$ t $ 时刻的目标关节角、预测关节位置、预测关节角速度和控制量关节角加速度;$ q_p $ 、$ q_v $ 、$ q_a $ 分别为关节位置跟踪误差、关节角速度和关节角加速度的优化权重.通过调节
$ q_p $ 、$ q_v $ 、$ q_a $ 的大小, 能够有效地改变控制侧重的性能指标: 在$ q_p $ 相对较大,$ q_v $ 和$ q_a $ 相对较小的情况下, 能够保证机器人具有较好的轨迹跟踪性能; 反之, 在$ q_v $ 和$ q_a $ 相对较大时, 轨迹跟踪的实时性下降, 但能够更好地限制机器人的运行速度和加速度, 使得机器人的运动更为柔和. 针对不同的交互情况可以使用不同的机器人控制策略, 同时机器人的运动能够严格保持在最大速度$ v_{\max} $ 和最大加速度$ a_{\max} $ 的约束之下, 从而实现安全灵活的机器人交互控制.4. 系统实现与验证
为了验证所提出的机器人共融系统的性能, 设计了若干实验, 分别对第2节提出的人体姿态估计方法的稳定性和第3节提出的机器人控制策略对动态目标的跟踪性能以及人机共融环境下的人机交互可行性进行了验证.
4.1 系统具体配置
系统中的交互在一对一的情况下展开. 使用的机器人为串联6轴协作型机器人UR5. 使用的传感器包含高清相机3台, 5个可穿戴式IMU. 高清相机的图像传输分辨率为1920 × 1080, 通过USB3.0接口与主机相连. 该分辨率下的图像主要用于相机的标定环节, 每台相机利用支架架设于交互场景的高处, 均匀的分布的场景的周围, 主要目的是为了保证相机的视野. 在相机经过标定得到内外参数后, 在实际实时处理过程中被降采样为960
$\times$ 540的分辨率. 在降采样后, 图像在传输和识别部分的延迟都能够得到有效降低. 人体2D关节点的识别使用文献[10]方法, 本文使用的主机配置为i7-8700X, Nvidia Titan Xp, 在识别环节能够达到25 Hz的帧率, 处理结果有40 ms左右的延时.可穿戴式的IMU使用无线网络与主机进行数据传输, 为了方便计算, 将IMU的参考坐标系设为和相机标定得到的世界坐标系保持一致. 每个IMU与相应人体连杆的固定偏差
$ {R}_{I_j}^{h_j} $ 通过预设定的初始人体姿态进行标定得到.UR5与主机采用socket通讯方式进行数据传输, 主机对UR5的30002端口进行数据解析以获取机器人各关节角度
${{\theta }}_r$ 与角速度$\dot{{ \theta}}_r$ , 同时对30003端口进行速度指令写入以控制UR5的运动.4.2 人体动作估计稳定性实验
单台相机图像处理得到的2D姿态估计结果常常由于遮挡因素导致识别上的错误, 而在与机器人的近距离交互过程当中, 遮挡的情况时有发生. 本文通过一组时长60秒的人体姿态数据进行实验, 验证了第2.3节提出的人体姿态解算方法在不同传感器配置下的准确度. 实验中所使用的人体姿态求解能量函数(5)的权重系数为:
$ \alpha _P = 1.0 $ ,$ \alpha _R = 8.0 $ ,$ \alpha _P = 5.0 $ , 实验结果如表1所示. 需要注意的是, 由于人体关节具体位置定义的模糊性, 不采用绝对的参考值进行准确率的判断, 在姿态估计结果与当前图像大致吻合时即认为该帧数据的估计结果准确, 只有当某一帧数据的计算结果和图像本身出现了明显偏差时, 该帧数据被视为不准确, 判断准确率时不考虑肢体的旋转信息, 准确率的计算公式为: 准确帧帧/实验数据总帧数.表 1 不同传感器配置下的人体姿态估计准确率Table 1 Accuracy of human pose estimation under different sensor configurations传感器配置 准确率 (%) 2 台相机 91.4 3 台相机 98.1 3 台相机 + IMU 98.7 由表1可以看出, 相机的使用数量对准确率有着显著的影响, 在只使用两台相机的信息时, 非常容易出现遮挡导致的结果失真. 在使用了第3台相机后准确率有了很大的提升, 偶尔出现的姿态结果失真一般都能够快速恢复正常. IMU的使用对结果准确率的提升有一定的帮助, 其主要的作用在于提供准确的肢体旋转信息.
图7给出了同一组数据下使用不同传感器配置时的姿态估计情况. 相机图像中的圆圈标志为被识别的人体关键点, 其半径代表了式(9)中置信度
$ \lambda _{h_j}^{c} $ 的大小, 人体身上标明的骨架信息为姿态估计的结果. 使用2台相机是实现人体姿态捕捉的最小传感器配置, 但在信息受到遮挡时就很难得到精确的估计结果. 如图7(a)所示, 由于没有使用相机3的信息, 导致右手臂的动作无法正确地被估计, 可以观察到人体姿态的估计结果与机器人模型发生了位置上的重叠, 显然是不正确的. 图7(b)中使用了相机3的关键点信息, 右手臂的姿态能够被正确地估计. 在使用大于2台相机时, 由于关键点置信度的存在, 各台相机得到的信息能够相互补偿, 得到更好的结果. 使用了IMU信息的图7(c)中, 姿态估计结果得到了进一步的矫正, 并解算得出了正确的肢体旋转信息.
图 7 不同传感器配置下的姿态估计结果Fig. 7 Pose estimation result under different sensor configuration cases4.3 目标跟踪实验
基于第3.2.2节给出的模型预测控制方法, 采用2组不同的控制权重
$ q_p $ 、$ q_v $ 、$ q_a $ , 对机器人的目标跟踪性能进行验证. 目标点的生成使用第3.1节中的动作跟随模式, 模型预测控制的预测窗口为0.5 s, 机器人状态的采样频率和机器人控制频率均为100 Hz, 机器人的关节角速度限制$ v_{\max} $ 为1.5 rad/s, 角加速度限制$ a_{\max} $ 为3.0 rad/s2, 使用的2组控制权重参数为:参数组1:
$ q_p = 5.0 $ ,$ q_v = 1.0 $ ,$q_a = 0.5.$ 参数组2:
$ q_p = 3.0 $ ,$ q_v = 1.5 $ ,$q_a = 1.0.$ 图8给出了参数组1对应的机器人各关节的跟踪轨迹. 在
$ q_p $ 相对较大,$ q_v $ 和$ q_a $ 相对较小的情况下, 可以看出机器人能够实时地对轨迹进行跟踪. 图9给出了参数组2对应的机器人各关节的跟踪轨迹. 在$ q_p $ 相对较小,$ q_v $ 和$ q_a $ 相对较大的情况下, 机器人的轨迹跟踪有较大的延时, 但轨迹跟踪速度较为柔和, 且对目标轨迹中的噪声有较好的过滤作用. 在不同参数配置下控制都有良好的稳定性和较小的静态误差, 根据不同控制性能需求可以选用相应的控制参数对机器人进行控制.4.4 人机交互实验
基于本文给出的人机姿态解算方法和机器人控制策略, 实现了满足第3.1节中不同机器人交互模式的机器人交互系统.
基于动作跟随模式实现了机器人遥操作搬运, 如图10所示. 本实验根据人体右手手掌位姿, 以固定的位移偏差值生成目标, 以实现对机器人末端的遥操作. 在实验中, 操作台面上设有一环状物体和一柱状物体, 操作人员利用该模式控制机器人对环状物体进行了抓取并将其套入柱状物体中. 使用该模式操作机器人能够保证操作人员视角的直观性, 操作人员无需考虑机器人本身的参考坐标系, 只需以当前机器人末端位置为准对其进行位姿调整, 而且当操作人员进行操作时, 无需束缚在固定的操作位置, 可以自由走动同时对机器人的姿态进行调整.
基于目标指定模式实现了指定物品的递送, 如图11所示. 在实验的操作台面上设置了需要递送的毛绒玩具, 操作人员用手指定机器人需要抓取的目 标, 在机器人移动至物品上方并且经过操作人员确认后, 机器人执行抓取操作, 并将所持物品交给操作人员. 在本实验中, 系统利用人体手臂生成的矢量与操作桌面形成的交点来判断机器人需要抓取的物品.
基于动态避障模式实现了人机共融环境下的机器人主动避让. 正常情况下, 机器人在自身预设的运动轨迹中工作, 如图12(a)所示. 当人靠近机器人工作区域并在台面上操作时, 阻挡了机器人原本的运行轨迹, 系统通过人工势场法对机器人的运动轨迹进行了调整, 在不与人体产生冲突的情况下到达了目标位置, 如图12(b)所示.
5. 结束语
本文通过对人机姿态解算和机器人控制策略的研究, 设计并实现了满足不同交互需求的人机共融系统. 为了获取交互系统中的人体姿态信息, 建立了人体上肢运动学模型, 并基于传感器特性构造了相应的能量函数用于多相机和IMU信息的融合优化, 给出了高稳定性的人体姿态估计方法. 针对动作跟随、目标指定、动态避障等人机交互模式, 设计了相应的目标点生成方法和目标点修正方法, 并采用模型预测控制使得机器人能够通过调整控制参数适应不同的交互需求. 结合人机姿态的解算方法和机器人控制策略, 对所设计的人机交互系统的性能进行了实验验证. 实验结果分别验证了: 本文人体姿态解算方法在局部遮挡条件下的稳定性; 机器人控制方法进行动态目标跟踪的平滑性; 机器人交互系统在不同交互模式下的有效性. 所设计的人机共融能够保证交互时的人机安全以及对不同交互模式的适应性. 在今后的研究中, 将进一步给出多人情况下的人机交互方法.
-
图 7 不同传感器配置下的姿态估计结果
Fig. 7 Pose estimation result under different sensor configuration cases
表 1 不同传感器配置下的人体姿态估计准确率
Table 1 Accuracy of human pose estimation under different sensor configurations
传感器配置 准确率 (%) 2 台相机 91.4 3 台相机 98.1 3 台相机 + IMU 98.7 
下载: 导出CSV
-
[1] Halme R J, Lanz M, Kämäräinen J, Pieters R, Latokartano J, Hietanen A. Review of vision-based safety systems for human-robot collaboration. Procedia Cirp, 2018, 72: 111-116. doi: 10.1016/j.procir.2018.03.043 [2] Rosenstrauch M J, Kruger J. Safe human-robot-collaboration-introduction and experiment using ISO/TS 15066. In: Proceeding of the 2017 3rd International Conference on Control, Automation and Robotics (ICCAR). Nagoya, Japan: 2017. 740−744 [3] Marvel J A, Norcross R. Implementing speed and separation monitoring in collaborative robot workcells. Robotics Computer Integrated Manufacturing, 2017, 44: 144-155 doi: 10.1016/j.rcim.2016.08.001 [4] Bdiwi M, Pfeifer M, Sterzing A. A new strategy for ensuring human safety during various levels of interaction with industrial robots. CIRP Annals−Manufacturing Technology, 2017: 66(1), 453−456 [5] Bdiwi M. Integrated sensors system for human safety during cooperating with industrial robots for handing-over and assembling tasks. Procedia Cirp, 2014, 23: 65-70 doi: 10.1016/j.procir.2014.10.099 [6] Rakprayoon P, Ruchanurucks M, Coundoul A. Kinect-based obstacle detection for manipulator. In: Proceedings of the IEEE/SICE International Symposium on System Integration. Kyoto, Japan: 2011. 68−73 [7] Windolf M, Götzen N, Morlock M. Systematic accuracy and precision analysis of video motion capturing systems-exemplified on the Vicon-460 system. Journal of Biomechanics, 2008, 41(12): 2776-2780 doi: 10.1016/j.jbiomech.2008.06.024 [8] Von Marcard T, Rosenhahn B, Black M J, Pons-Moll G. Sparse inertial poser: automatic 3D human pose estimation from sparse IMUs. Computer Graphics Forum, 2017, 36(2): 349-360 doi: 10.1111/cgf.13131 [9] 张鋆豪, 何百岳, 杨旭升, 张文安. 基于可穿戴式惯性传感器的人体运动跟踪方法综述. 自动化学报, 2019, 45(8): 1439-1454Zhang Jun-Hao, He Bai-Yue, Yang Xu-Sheng, Zhang Wen-An. A Review on Wearable Inertial Sensor Based Human Motion Tracking. ACTA AUTOMATICA SINICA, 2019, 45(8): 1439-1454 [10] Cao Z, Simon T, Wei SE, Sheikh Y. Realtime multi-person 2D pose estimation using part affinity fields. In: Proceedings of the IEEE Conference on Computer Vision & Pattern Recognition. Honolulu, USA: 2017. 1302-1310 [11] Mehta D, Sridhar S, Sotnychenko O, Rhodin H, Shafiei M, Seidel HP, Xu W, Dan C, Theobalt C. VNect: real-time 3D human pose estimation with a single RGB camera. Acm Transactions on Graphics, 2017, 36(4): 44 [12] Shotton J, Girshick R, Fitzgibbon A, Sharp T, Cook M, Finocchio M, Moore R, Kohli P, Criminisi A, Kipman A. Efficient human pose estimation from single depth images. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2013, 35(12): 2821-2840 doi: 10.1109/TPAMI.2012.241 [13] 贾丙西, 刘山, 张凯祥, 陈剑. 机器人视觉伺服研究进展: 视觉系统与控制策略. 自动化学报, 2015, 41(5): 861-873Jia Bing-Xi, Liu Shan, Zhang Kai-Xiang, Chen Jian. Survey on Robot Visual Servo Control: Vision System and Control Strategies. ACTA AUTOMATICA SINICA, 2015, 41(5): 861-873 [14] Flacco F, Kroeger T, De Luca A, Khatib O. A depth space approach for evaluating distance to objects. Journal of Intelligent Robotic Systems, 2015, 80(1): 7-22 [15] Tsai C S, Hu J S, Tomizuka M. Ensuring safety in human-robot coexistence environment. In: Proceedings of the IEEE/RSJ International Conference on Intelligent Robots & Systems. Chicago, USA: IEEE. 2014. 4191−4196 [16] Mohammed A, Schmidt B, Wang L. Active collision avoidance for human-robot collaboration driven by vision sensors. International Journal of Computer Integrated Manufacturing, 2016:1-11. [17] Trumble M, Gilbert A, Malleson C, Hilton A, Collomosse J. Total Capture: 3D human pose estimation fusing video and inertial sensors. In: Proceedings of the British Machine Vision Conference. London, UK: 2017. 1−13 期刊类型引用(8)
1. 尤波，董正，李佳钰，陈潇磊，陈晨，丁亮. 基于有限状态机的六足机器人人机协同指令优选方法. 控制与决策. 2025(01): 327-335 . 
百度学术2. 刘陈昂，魏任雄. 基于视觉传达技术的人机交互界面优化设计研究. 电子设计工程. 2025(03): 24-28+33 . 百度学术3. 张凤鑫，孙振兴. 末端牵引式上肢外骨骼结构设计与运动学分析. 现代制造工程. 2024(02): 120-127+158 . 百度学术4. 杨静，王晓，王雨桐，刘忠民，李小双，王飞跃. 平行智能与CPSS:三十年发展的回顾与展望. 自动化学报. 2023(03): 614-634 . 本站查看5. 郑湃，李成熙，殷悦，张荣，鲍劲松，王柏村，谢海波，王力翚. 增强现实辅助的互认知人机安全交互系统. 机械工程学报. 2023(06): 173-184 . 百度学术6. 鲍劲松，张荣，李婕，陆玉前，彭涛. 面向人-机-环境共融的数字孪生协同技术. 机械工程学报. 2022(18): 103-115 . 百度学术7. 张瑞秋，韩威，洪阳慧. 人机共融产品的开发与服务体系研究综述. 包装工程. 2021(08): 1-11 . 百度学术8. 王志军，刘璐，李占贤. 基于六维力传感器的机器人本体碰撞点检测研究. 农业机械学报. 2021(07): 395-401+410 . 百度学术其他类型引用(10)
-
下载:
计量
- 文章访问数: 856
- HTML全文浏览量: 249
- PDF下载量: 249
- 被引次数: 18
