一种基于Kinect的无标定人机交互控制系统及方法
【技术领域】
[0001] 本发明属于信息无障碍工程技术领域，具体地说，涉及一种基于Kinect的无标定 人机交互控制系统及方法。
【背景技术】
[0002] 主从遥操作机械臂控制系统广泛应用于核反应堆维护、载人航天、医疗手术的模 拟训练等高危险性作业中，手部是人体最常用的一个部位。因此，实现机械臂跟随手部运动 可以很大程度上提高了人的感知能力和行为能力。研宄手部的各种运动，手部与机械臂的 交互方式，具有重要的理论意义和现实意义。
[0003] 目前，现有的手部跟踪定位技术主要有两种，基于数据手套技术和基于图像视觉 处理的手势识别。数据手套技术由于本身及其电路连线较为笨重，不方便使用，加上价格昂 贵等因素限制了其应用。Weinland等人提出将3D建模和HMM方法识别人手的运动。Liu 等利用RFID方法在试验者手腕处贴标签的方法来跟踪和识别手部状态，这种方法可以确 定试验者的手腕位置。但是，彩色图像容易受光照条件影响，而且传统的基于视觉的运动目 标跟踪需要对摄像头内外参数进行标定，但在实际情况下无法精确标定。
【发明内容】
[0004] 为了克服现有技术中存在的缺陷，本发明提供一种基于Kinect的无标定人机交 互控制系统及方法，Kinect是一台体感摄像机，可以在获取的每一帧深度图像上进行背景 相减获得人体各关节3D坐标，即人体骨骼信息，并从人体骨骼信息中无标定获取人手的位 置信息。鉴于此，本发明利用Kinect骨骼追踪技术获取人手运动信息，并构建其与机械臂 的运动映射关系，就它们之间的主从控制方式进行研宄。其技术方案如下：
[0005] 一种基于Kinect的无标定人机交互控制系统，主要有四部分构成包括操作者、 Kinect传感器，计算机软件系统和机械臂控制系统，其中操作者处于Kinect的工作空间 内，Kinect通过USB数据线计算机系统连接，机械臂控制系统通过RS232与计算机系统连 接，整个系统主要包含四大功能模块，分别是人体深度图像信息获取模块、人体骨骼点追踪 模块、逆运动学分析模块和下位机通讯模块，人体深度图像信息获取模块主要由Kinect传 感器完成，它以每秒30帧的速度把深度图像传送给计算机系统；人体骨骼点追踪模块由计 算机软件系统完成，主要完成的工作包括图像预处理、人体关节点识别和骨骼数据的平滑 处理；逆运动学计算模块主要工作包括人手相对于自身髋骨中心的运动与机械臂相对于基 座运动之间的映射转换以及机械臂逆运动学分析与求解；下位机通讯模块主要完成控制指 令的生成、规范指令格式和指令的收发工作。
[0006] 优选地，为了保证系统的实时性，深度图像采用640*480的分辨率，帧率为30f/s; 为了保证深度距离的准确性，操作者应处于传感器光轴左右57°，上下43°的工作范围， 同时使用了阈值方法过滤深度数据至1220mm-3810mm这一范围内。
[0007] 一种基于Kinect的无标定人机交互控制方法，包括以下步骤：
[0008] 第一步：人体深度图像信息获取；
[0009] 第二步：图像预处理、人体关节点识别和骨骼数据的平滑处理；
[0010] 第三步：人手相对于自身髋骨中心的运动与机械臂相对于基座运动之间的映射转 换以及机械臂逆运动学分析与求解；
[0011] 第四步：控制指令的生成、规范指令格式和指令的收发。
[0012] 本发明的有益效果：
[0013] 本发明是一种新型的人机交互方式，利用Kinect传感器骨骼追踪技术处理景深 数据获取手部位置，构建手部相对于髋骨中心与末端执行器相对于机械臂基座的运动映射 关系进行主从控制，实现人手与机器臂的实时交互。并针对手部抖动消除和异常值处理，提 出了一种基于位置增量的移动平均轨迹平滑算法。实验结果表明该系统能够很好的完成手 部跟踪和主从控制任务，具有较高的实时性和交互性。
【附图说明】
[0014] 图1是基于Kinect的无标定人机交互控制系统的框架图；
[0015] 图2是基于Kinect的无标定人机交互控制方法的流程图；
[0016] 图3是人体20个骨骼关节点的定义；
[0017] 图4是末端平滑处理实现过程；
[0018] 图5是五轴机械臂连杆坐标系。
【具体实施方式】
[0019] 下面结合附图和【具体实施方式】对本发明的技术方案作进一步详细地说明。
[0020] 1系统框架
[0021] 系统框图如下图1所示：
[0022] 人体深度图像信息获取主要由Kinect传感器2完成。计算机软件系统3运用骨 骼追踪技术处理获取的景深数据，建立人体20个骨骼点的3D坐标。机械臂控制系统4获 取计算机系统转换发出的控制指令，控制末端执行器跟随手部运动，实现人手对机械臂末 端执行器的实时引导。其中操作者1处于Kinect的工作空间内.
[0023] 2获取手部信息及主从控制方法
[0024] 2.IKinect简介
[0025] Kinect是微软公司开发的一款能够实时获取彩色图像和深度图像数据的设备，同 时支持实时的全身和半身骨骼跟踪模式，并可以识别一系列的动作。它由RGB彩色摄像头、 红外线发射器和红外线COMS摄像机（IR)三部分组成。
[0026] 2. 2人体检测及手部信息的获取
[0027] 本发明主从控制系统中，一个关键技术就是人手位姿的精确获取。目前运动目标 检测和跟踪常用的方法有：帧间差分法、光流法和背景差分法。光流法的缺点是需要多次迭 代才可以收敛，计算量大，难以满足实时性要求；帧差法的问题是前后帧运动重叠的区域会 有空洞产生，检测效果不精确，而且阈值的选择对结果影响较大，阈值过大会形成空洞，阈 值过小则会产生噪声。传统的背景差分法通过建立背景模型，将当前帧图像与背景模型相 减，可以确定目标的位置以及形状信息。然而彩色图像易受光照变化、复杂背景的影响，导 致目标追踪困难以及分割不精确。有一些学者利用Kinect生成的深度图像上进行背景相 减，得到了分割化的人体深度图像，取得很好的效果。为此，作者提出了一种利用Kinect人 体骨骼追踪技术非接触获取人手运动信息的方法，具体过程是：将分割化的人体深度图像 传送到辨别人体部位的动作捕捉机器学习系统中，利用随机森林的分类方法设计了身体组 件的中间表示，将姿势估计问题映射为逐像素分类问题。通过重投影分类器（身体组件估 计）的结果，生成人体关节的可信3D估计。处理流程的最后根据追踪到的20个关节点构 建人体骨架系统，图3显示对骨骼点的定义。获取人体骨骼数据后，很容易得到人手相对于 自身髋骨中心的位置信息。
[0028] 本方法省去复杂的摄像头标定过程，相对于通过摄像头标定获取手部位置方法能 够获得精度较高的手部位置信息。
[0029] 2. 3坐标数据平滑处理
[0030] 由于Kinect硬件的性能不稳定、操作者动作不够连贯等问题，通过上述方法估计 骨骼关节点的相对位置可能在帧与帧之间变动很大，骨骼数据序列中可能含有异常值。因 此，在进行逆运动学求解前必须要先对异常值予以识别和剔除，并且对骨骼数据进行降噪 和平滑处理。
[0031] 移动平均轨迹平滑算法的原理是将当前时刻的人手位置信息与前N-1个采样周 期内的人手位置信息的平均值作为当前时刻的主从控制位置信息，并按照时间序列以步长 N对Kinect采集到的位置信息进行逐项推移，最终得到整个主从控制过程中期望的位置 值，实现对从机械臂末端位置的控制。该算法可以滤除周期性的变动对位置曲线平滑性的 影响，轨迹平滑处理的实现过程如图4所示。
[0032] 移动平均轨迹平滑处理算法在消除人手周期性抖动及其他随机干扰的同时，也有 可能会滤除操作者期望的位置操作信息。为了在消除人手抖动的同时，尽可能保留操作者 期望的位置信息，本发明在移动平滑算法的基础上提高当前位置信息在平滑处理后位置中 所占的权重。假定轨迹平滑处理算法的时间平移步长为N，i为当前位置信息在规划位置信 息中的权重，则当k多N时，k时刻的规划位置可由下式计算获得：
[0033]
【主权项】
1. 一种基于Kinect的无标定人机交互控制系统，其特征在于：主要有四部分构成包 括操作者、Kinect传感器，计算机软件系统和机械臂控制系统；其中操作者处于Kinect的 工作空间内，Kinect通过USB数据线计算机系统连接，机械臂控制系统通过RS232与计算 机系统连接；整个系统主要包含四大功能模块，分别是人体深度图像信息获取模块、人体骨 骼点追踪模块、逆运动学分析模块和下位机通讯模块；人体深度图像信息获取模块主要由 Kinect传感器完成，它以每秒30帧的速度把深度图像传送给计算机系统；人体骨骼点追踪 模块由计算机软件系统完成，主要完成的工作包括图像预处理、人体关节点识别和骨骼数 据的平滑处理；逆运动学计算模块主要工作包括人手相对于自身髋骨中心的运动与机械臂 相对于基座运动之间的映射转换以及机械臂逆运动学分析与求解；下位机通讯模块主要完 成控制指令的生成、规范指令格式和指令的收发工作。
2. 根据权利要求1所述的基于Kinect的无标定人机交互控制系统，其特征在于：所 述深度图像采用640*480的分辨率，帧率为30f/s ;为了保证深度距离的准确性，操作者 应处于传感器光轴左右57°，上下43°的工作范围，同时使用了阈值方法过滤深度数据 1 220mm-381 Omm 这一范围内。
3. -种基于Kinect的无标定人机交互控制方法，其特征在于，包括以下步骤： 第一步：人体深度图像信息获取； 第二步：图像预处理、人体关节点识别和骨骼数据的平滑处理； 第三步：人手相对于自身髋骨中心的运动与机械臂相对于基座运动之间的映射转换以 及机械臂逆运动学分析与求解； 第四步：控制指令的生成、规范指令格式和指令的收发。
【专利摘要】本发明公开了一种基于Kinect的无标定人机交互控制系统及方法，该系统包括人体骨骼信息获取、计算机软件系统、机械臂，人体深度图像信息获取主要由Kinect传感器完成。计算机软件系统运用骨骼追踪技术处理获取的景深数据，建立人体20个骨骼点的3D坐标。机械臂的控制系统获取计算机系统转换发出的控制指令，控制末端执行器跟随手部运动，实现人手对机械臂末端执行器的实时引导。本发明构建手部相对于髋骨中心与末端执行器相对于机械臂基座的运动映射关系进行主从控制，实现人手与机器臂的实时交互。实验结果表明该系统能够很好的完成手部跟踪和主从控制任务，具有较高的实时性和交互性。
【IPC分类】G05D3-12, G05B13-04
【公开号】CN104570731
【申请号】CN201410733412
【发明人】林海波, 王浩, 张毅, 罗元, 谭帅, 周庭
【申请人】重庆邮电大学, 林海波
【公开日】2015年4月29日
【申请日】2014年12月4日