基于Kinect人手运动捕捉的灵巧手遥操作控制方法
【技术领域】
[0001] 本发明涉及人机交互及远程遥操作机器人控制技术领域，特别是涉及一种通过人 手姿态采集实现多指灵巧手的遥操作控制方法。
【背景技术】
[0002] 随着人类在复杂环境下的探索活动越来越频繁，在救援、排爆等危险工作中，机器 人展现出了独特的优势。在对空间探测、海洋开发、国防建设等领域的研宄中，需要大量能 够工作在危险环境下的智能机器人，以完成机器检修、装备修理、战场探雷、排爆等灵巧且 复杂的操作任务。
[0003] 遥操作技术是通过分析远程机器人执行端传来的实时现场环境数据，使操作者根 据远程机器人执行端所处环境的具体情况对其进行遥操作，以完成特定工作。专业人员通 过遥操作技术，对在危险、极端的环境下工作的机器人进行远程控制，不仅可以完成复杂的 工作，同时可以保证操作人员的安全。
[0004] 目前由于传统机械臂的末端一般采用夹持器，虽然可以完成大多数特定任务，但 是由于存在灵活性欠缺、抓取方式有限等不足，难于完成机器检修、装备修理、战场探雷、排 爆等精细任务。与此同时，操作者由于远离现场，对于现场感知往往面临着大时延、真实性 差等问题，使远程操作任务变得更加困难。因此，需要用多指灵巧手取代机器人末端的夹持 器，并充分利用机器人获取场景环境信息，通过操作者与遥操作机器人的相互配合，与机器 手臂协调工作，共同完成各种灵巧且复杂的操作任务。
[0005] 为了实现具有良好交互性能的灵巧手实时控制，就需要对控制者手势信息进行采 集。目前手势信息的采集方法有采用数据手套和基于计算机视觉等方法。基于视觉采集手 势姿态信息的方法具有输入设备简单、造价低廉等优点，但是检测并估计具有高维特征的 人手三维姿态仍具有一定难度。
【发明内容】
[0006] 本发明提供一种灵巧手的新型遥操作人机交互方法。首先利用先验知识，建立手 部模型，同时改进提取手部信息的方法，使用混合活动轮廓模型跟踪手部外轮廓，应用粒子 滤波算法实现手部姿态跟踪。为解决大时延的问题，在反馈图像中合成现场实际灵巧手的 情况，结合机器人实时传输的反馈图像信息，观察远端情况。为灵巧手遥操作提供了一种新 型的人机交互方式，即将人手运动捕捉技术应用于机器人遥操作领域，增强操作者的体验 感，提尚多自由度灵巧手控制灵活性，提尚实施特定操作任务的效率。
[0007] -种基于Kinect人手运动捕捉的灵巧手遥操作控制方法，实现所述方法的设备 包括：Kinect传感器，计算机，遥机器人灵巧手系统，网络传输设备。Kinect传感器用于获 得图像数据；计算机包括图像处理单元和手势识别单元，用于对图像数据进行处理和手势 识别；遥机器人灵巧手系统包括操作控制单元、灵巧手执行单元和图像采集处理单元，图像 采集处理单元包括双目摄像头、二自由度云台和数据处理器等。遥机器人灵巧手系统用于 获取控制信息，远程控制灵巧手执行操作任务，将图像采集处理单元获得的图像信息通过 网络传输设备送至计算机的图像处理单元进行处理，并将灵巧手执行单元工作情况信息同 时反馈至操作者。其特征在于，所述方法包括以下步骤：
[0008] 步骤1，Kinect传感器获得操作者的深度和彩色图像数据，同时识别得到操作者 的人手位置，并将数据传送给计算机内部的图像处理单元。
[0009] 步骤2,图像处理单元结合彩色及深度信息RGB-D，应用RGB-D信息融合的活动轮 廓算法对图像进行处理，并将处理后的图像数据传送至计算机内部的手势识别单元。
[0010] 步骤3,手势识别单元通过分析图像数据，采用基于模板匹配的粒子滤波姿态检测 方法预测人手姿态进行手势识别，并将手部关节各角度变化值通过网络传输给遥机器人灵 巧手系统。
[0011] 步骤4,遥机器人灵巧手系统通过网络传输设备，将图像采集处理单元获得的远端 环境图像和遥机器人灵巧手关节的姿态等信息进行编码压缩处理后传输给计算机，计算机 将这些信息进行处理合成后通过计算机的显示器反馈给操作者。
[0012] 步骤2所述应用RGB-D信息融合的活动轮廓算法包括以下内容：
[0013] 步骤2. 1，活动轮廓模型初始化，之后进行反复迭代获得手部轮廓信息。本发明利 用Kinect提取手部中心位置，得到的手部轮廓作为算法的初始值。
[0014] 步骤2. 2,结合深度信息以及YCbCr肤色检测空间定义深度与肤色能量泛函，确定 手部区域。
[0015] 基于肤色高斯混合模型能量泛函民(C)为：
【主权项】
1. 基于Kinect人手运动捕捉的灵巧手遥操作控制方法，实现所述方法的设备包括： Kinect传感器，计算机，遥机器人灵巧手系统，网络传输设备；Kinect传感器用于获得图 像数据；计算机包括图像处理单元和手势识别单元，用于对图像数据进行处理和手势识别； 遥机器人灵巧手系统包括操作控制单元、灵巧手执行单元和图像采集处理单元，图像采集 处理单元包括双目摄像头、二自由度云台和数据处理器；遥机器人灵巧手系统用于获取控 制信息，远程控制灵巧手执行操作任务，将图像采集处理单元获得的图像信息通过网络传 输设备送至计算机的图像处理单元进行处理，并将灵巧手执行单元工作情况信息同时反馈 至操作者；其特征在于，所述方法包括W下步骤： 步骤1，Kinect传感器获得操作者的深度和彩色图像数据，同时识别操作者的人手位 置，并将数据传送给计算机内部的图像处理单元； 步骤2,图像处理单元结合彩色及深度信息RGB-D，应用RGB-D信息融合的活动轮廓算 法对图像进行处理，并将处理后的图像数据传送至计算机内部的手势识别单元； 步骤3,手势识别单元通过分析图像数据，采用基于模板匹配的粒子滤波姿态检测方法 预测人手姿态进行手势识别，并将手部关节各角度变化值通过网络传输设备送给遥机器人