一种基于kinect的手势控制液压支架的虚拟示教系统及方法
【技术领域】
[0001] 本发明涉及一种基于kinect的手势控制液压支架的虚拟示教系统及方法，属于 自动控制技术领域。
【背景技术】
[0002] 人机交互技术是指通过计算机的输入和输出设备，实现人与计算机的交流。常见 的人机交互方式是采用对人手的位置和位姿进行实时跟踪的系统，这类设备有电磁跟踪设 备、惯性传感器与数据手套等，这些属于接触式的传感器，需要穿戴额外的设备而使得交互 过程不够自然。而微软公司的体感交互设备kinect是非接触式的传感器，可以通过操作者 的手部动作来控制电脑，不需要人身上穿戴额外的设备，使得人们能以自然的方式与计算 机交互。
[0003] 液压支架是用来控制采煤工作面矿山压力的结构物，作为综合机械化采煤的必备 设备，它为综采工作面采煤机、刮板输送机以及工作人员提供安全的工作空间。但是人们很 难形象的学习了解液压支架的工作过程。为了提高人们对液压支架工作过程的交互体验 感，需要设计一种人-液压支架虚拟三维环境的交互控制系统，使人们更好的理解液压支 架的工作过程。
【发明内容】
[0004] 针对上述现有技术存在的问题，本发明提供一种基于kinect的手势控制液压支 架的虚拟示教系统及方法，只需操作人员做出特定手势，就可以通过显示器模块观察虚拟 液压支架做出相应的动作，便于人们更好的理解液压支架的工作过程。
[0005] 为了实现上述目的，本发明采用的技术方案是：该种基于kinect的手势控制液压 支架的虚拟示教系统，包括kinect模块、景深数据获取模块、关节点信息处理模块、手势特 征匹配模块、控制模块和显示器模块，kinect模块依次与景深数据获取模块、关节点信息处 理模块、手势特征匹配模块、控制模块和显示器模块连接。
[0006] 该种基于kinect的手势控制液压支架的虚拟示教方法，其具体步骤是：
[0007] (1)预先设定八个不同的标准手势，并将八个手势存储到控制模块中；
[0008] (2)控制模块将八个标准手势分别对应液压支架的降柱、移架、升柱、推溜、降护帮 板、升护帮板、收前梁和升前梁八个动作的控制信号；
[0009] (3)初始化kinect模块，设定摄像机仰角，操作人员站立在距离摄像头1. 2米到 3. 5米范围之间，做出设定的八个标准手势之一；
[0010] (4) kinect模块检测操作人员的动作，并从颜色流、深度流和骨架流中获取人体骨 骼信息数据帧；
[0011] (5)景深数据获取模块分析处理kinect模块传来的人体骨骼信息数据帧，获得图 像景深数据，提取出人体骨骼信息，通过建立人体手臂关节的3D坐标系，得到人体手臂关 节节点坐标，以识别人体不同的部位；
[0012] (6)关节点信息处理模块通过所得到的人体手臂关节的3D坐标，计算得出人体肩 关节三个自由度方向上的转动角度，肘关节两个自由度方向上的转动角度；根据人体肩关 节和肘关节转动角度信息，识别出人体手臂骨骼节点的转动信息，通过捕捉不同骨骼关节 点角度的变化来进行数据处理；
[0013] (7)手势特征匹配模块将上述的各个不同的关节角度信息与控制模块中存储的八 个标准手势的各个关节角度信息进行特征匹配；若匹配未成功，则返回步骤（3)，若匹配成 功，则手势特征匹配模块将数据传递给控制模块；
[0014] (8)控制模块接收到手势特征匹配模块传来的匹配成功的数据，分析处理后，发出 与该手势相对应的液压支架的动作控制信号，进而控制三维虚拟液压支架动作，并通过显 示器模块显示。
[0015] 与现有技术相比，本发明通过kinect模块进行手势信息的采集，利用可提取骨骼 点的三维信息追踪手臂各关节的位置，通过辨认特定的手势，控制虚拟液压支架做出相应 的动作，便于人们更好的理解液压支架的工作过程。
【附图说明】
[0016] 图1是本发明的电原理框图；
[0017] 图2是本发明中做出手势时人体手臂运动示意图；
[0018] 图3是本发明中手臂的D-H坐标系；
[0019] 图4是本发明的流程图。
【具体实施方式】
[0020] 下面结合附图对本发明作进一步说明。
[0021] 如图1和图2所示，该种基于kinect的手势控制液压支架的虚拟示教系统，包括 kinect模块、景深数据获取模块、关节点信息处理模块、手势特征匹配模块、控制模块和显 示器模块，kinect模块依次与景深数据获取模块、关节点信息处理模块、手势特征匹配模 块、控制模块和显示器模块连接。
[0022] 该种基于kinect的手势控制液压支架的虚拟示教方法，其具体步骤是：
[0023] (1)预先设定八个不同的标准手势，并将八个手势存储到控制模块中；
[0024] (2)控制模块将八个标准手势分别对应液压支架的降柱、移架、升柱、推溜、降护帮 板、升护帮板、收前梁和升前梁八个动作的控制信号；
[0025] (3)初始化kinect模块，设定摄像机仰角，操作人员站立在距离摄像头1. 2米到 3. 5米范围之间，做出设定的八个标准手势之一；
[0026] (4) kinect模块检测操作人员的动作，并从颜色流、深度流和骨架流中获取人体骨 骼信息数据帧；
[0027] (5)景深数据获取模块分析处理kinect模块传来的人体骨骼信息数据帧，获得图 像景深数据，提取出人体骨骼信息，通过建立人体手臂关节的3D坐标系，得到人体手臂关 节节点坐标，以识别人体不同的部位；
[0028] (6)关节点信息处理模块通过所得到的人体手臂关节的3D坐标，计算得出人体肩 关节三个自由度方向上的转动角度，肘关节两个自由度方向上的转动角度；根据人体肩关 节和肘关节转动角度信息，识别出人体手臂骨骼节点的转动信息，通过捕捉不同骨骼关节 点角度的变化来进行数据处理，具体的过程为：
[0029] 如图3所示，将人体右臂肩关节的运动分为屈伸运动，展收运动，旋转运动，分别 对应角度γι。人体肘关节运动为屈伸运动，对应角度为S 1。在人体双肩关节中 间点处建立基准坐标系O(TXoyc)Zci,设人体右臂肩关节骨豁节点的3D坐标为（X 1, Y1, Z1)，右 臂肘关节骨骼节点的3D坐标为（x2, y2, Z2)，右臂腕关节骨骼节点的3D坐标为（x3, y3, Z3);
【主权项】
1. 一种基于kinect的手势控制液压支架的虚拟示教系统，其特征在于，包括kinect模 块、景深数据获取模块、关节点信息处理模块、手势特征匹配模块、控制模块和显示器模块， kinect模块依次与景深数据获取模块、关节点信息处理模块、手势特征匹配模块、控制模块 和显示器模块连接。
2. -种基于kinect的手势控制液压支架的虚拟示教方法，其特征在于，其具体步骤 是： (1) 预先设定八个不同的标准手势，并将八个手势存储到控制模块中； (2) 控制模块将八个标准手势分别对应液压支架的降柱、移架、升柱、推溜、降护帮板、 升护帮板、收前梁和升前梁八个动作的控制信号； (3) 初始化kinect模块，设定摄像机仰角，操作人员站立在距离摄像头1. 2米到3. 5米 范围之间，做出设定的八个标准手势之一； (4) kinect模块检测操作人员的动作，并从颜色流、深度流和骨架流中获取人体骨骼信 息数据帧； (5) 景深数据获取模块分析处理kinect模块传来的人体骨骼信息数据帧，获得图像景 深数据，提取出人体骨骼信息，通过建立人体手臂关节的3D坐标系，得到人体手臂关节节 点坐标，以识别人体不同的部位； (6) 关节点信息处理模块通过所得到的人体手臂关节的3D坐标，计算得出人体肩关节 三个自由度方向上的转动角度，肘关节两个自由度方向上的转动角度；根据人体肩关节和 肘关节转动角度信息，识别出人体手臂骨骼节点的转动信息，通过捕捉不同骨骼关节点角 度的变化来进行数据处理； (7) 手势特征匹配模块将上述的各个不同的关节角度信息与控制模块中存储的八个标 准手势的各个关节角度信息进行特征匹配；若匹配未成功，则返回步骤（3)，若匹配成功， 则手势特征匹配模块将数据传递给控制模块； (8) 控制模块接收到手势特征匹配模块传来的匹配成功的数据，分析处理后，发出与该 手势相对应的液压支架的动作控制信号，进而控制三维虚拟液压支架动作，并通过显示器 模块显示。
【专利摘要】本发明公开了一种基于kinect的手势控制液压支架的虚拟示教系统及方法，包括kinect模块、景深数据获取模块、关节点信息处理模块、手势特征匹配模块、控制模块和显示器模块，kinect模块依次与景深数据获取模块、关节点信息处理模块、手势特征匹配模块、控制模块和显示器模块连接。只需操作人员做出特定手势，就可以通过显示器模块观察虚拟液压支架做出相应的动作，便于人们更好的理解液压支架的工作过程。
【IPC分类】G06T7-00, G05B19-425
【公开号】CN104700403
【申请号】CN201510071854
【发明人】刘新华, 刘晶晶, 王忠宾, 谭超, 彭俊泉, 任衍坤, 张秋香
【申请人】中国矿业大学
【公开日】2015年6月10日
【申请日】2015年2月11日