一种基于Kinect的机械臂体感远程控制方法及系统的制作方法
【专利摘要】本发明涉及一种基于Kinect的机械臂体感远程控制方法及系统，属于计算机视觉控制【技术领域】。该方法包括以下步骤：1)在客户端使用微软提供的Kinect作为传感器，实时检测人体手臂骨骼位置的变化；2)客户端PC机将采集到的数据进行分析处理，将处理的结果作为控制命令封装成控制字的数据格式，并通过Socket通信方式将控制字发送给服务器端；步3)服务器对收到的控制字进行数据解析，并将解析结果通过串口转发至单片机；4)单片机接收到数据后,产生PWM脉宽，输出控制相应舵机，最终实现以体感远程的方式来控制机械臂。在本方法中，采用非接触式的控制方式，利用Internet的网络设施降低人力成本，人们在任何能够链接到Internet的地方即可实现对机械臂的远程控制，而不需要直达现场。
【专利说明】一种基于Kinect的机械臂体感远程控制方法及系统
【技术领域】
[0001] 本发明属于计算机视觉控制【技术领域】，涉及一种基于Kinect的机械臂体感远程 控制方法及系统。
【背景技术】
[0002] 伴随着目前社会老龄化进程的加快以及由于各种疾病、工伤、交通事故等原因造 成肢体损伤的人数的增加，而有限的医护人力资源在一定意义上已经不能满足残障人士全 日制护理的需要，同时残疾人士也有凭自已力量独立生活的要求和渴望，为老年人和残疾 人士提供性能优越的应用工具已然成为整个社会重点关注的问题之一。服务机器人作为一 种移动机器人应运而生，适时的出现在人们的视线中。其所包含的多种功能涵盖了自主导 航、避障和人机对话这些方面，除此之外，特种服务也在提供之列。因而老年人和残疾人士 在日常生活和工作质量方面有了极大地改善，这也使他们能够重新获得生活自理能力和融 入社会成为一种可能。目前，世界各国的研究者都在广泛开展服务机器人相关技术的探究。 当家庭服务领域迎来了智能机器人技术时，服务机器人的出现就成为了可能，其涉及的技 术主要有四个方面，分别为机械设计、控制方法、传感器和人工智能。从其涵盖的领域这一 个角度来看，主要有五个方面，具体说来是机器视觉、导航和定位、多传感器融合、模式识别 与系统辨识以及人机交互接口。
[0003] 由于残疾人士各群体情况的不同，因而他们对服务机器人功能的要求自然也不相 同。针对这一问题研究者们开发了多种服务机器人人机接口，旨在能够解决不同的客户需 求。操纵杆控制、按键控制、触摸屏控制等方式可以用在那些残疾程度较轻，肢体能动性较 高且意识较好的人群。而诸如语音控制、头部控制、手势控制、舌头动作控制，甚至肌电信 号控制和大脑意念信号控制等办法则可以用在残疾程度较高，肢体能动性较低的人群。设 计者通常可按照用户残障程度的不同来安装各种人机接口，最终实现多种途径的交互，并 提供更加可靠的，安全的运动控制方式。需要说明的是，那些残疾程度相对较重的用户，安 装了轻型机械臂的服务机器人更加符合他们的诉求，这类机器人能够帮助他们完成捡拾物 品、开门、倒水等辅助性动作。但在对机械臂的控制方面，存在开放性差，容错性差，扩展性 差，交互性差和实时性差的问题。这些问题的存在使得机械臂在助老助残工作中有很多不 足之处，限制了机械臂发挥其应有的功能。
[0004] 若采用Kinect来控制机械臂，可以达到意想不到的效果。如果把Kinect作为输入 设备，那么Kinect作为输入设备，当用户手臂做出各种变化灵活的动作时，能够起到跟踪 的作用，这样用户自己的意识就会自然而然的传送至计算机中，然后通过计算机向机械臂 发送控制指令实现对机械臂的实时控制。操作者能直接通过Kinect来控制机械臂，操作简 单、直观，并且可以完成复杂的操作。然而，在只能采用间接控制的传统控制方法中，用户需 要输入控制指令，交互性自然难获用户的认同，两者一经比较，就很容易发现，结合Kinect 的控制方法交互性有极大的提高，这种控制方法显得直接，自然与人们的操作习惯更吻合， 其操作不仅简单，而且也显得很高效。
【发明内容】
[0005] 有鉴于此，本发明的目的在于提供一种基于Kinect的机械臂体感远程控制方法 及系统，该方法和系统以微软提供的Kinect作为传感器，实时跟踪人手臂骨骼的变化，实 现人手臂远程控制机械臂。
[0006] 为达到上述目的，本发明提供如下技术方案：
[0007] -种基于Kinect的机械臂体感远程控制方法，包括以下步骤：
[0008] 步骤一：在客户端使用微软提供的Kinect作为传感器，实时检测人体手臂骨骼位 置的变化；
[0009] 步骤二：客户端PC机将采集到的数据进行分析处理，将处理的结果作为控制命令 封装成控制字的数据格式，并通过Socket通信方式将控制字发送给服务器端；
[0010] 步骤三：服务器对收到的控制字进行数据解析，并将解析结果通过串口转发至单 片机；
[0011] 步骤四：单片机接收到数据后，产生PWM脉宽，输出控制相应舵机，最终实现以体 感远程的方式来控制机械臂。
[0012] 进一步，在步骤一中，需要对人体手臂骨骼进行追踪，通过处理景深数据来建立人 体各个关节的3D坐标，具体包括以下步骤：
[0013]1)首先Kinect发射红外线，并探测红外光反射；
[0014]2)计算出视场范围内的每一个像素的深度值，即获得深度数据；
[0015] 3)从深度数据中提取出物体主体和形状；
[0016] 4)利用这些形状信息来匹配人体的各个部分，最后计算匹配出各个关节在人体中 的位置。
[0017] 本发明还提供了一种基于Kinect的机械臂体感远程控制系统，包括Kinect传感 器、客户端PC机、Socket通信模块、服务器以及机械臂本体；
[0018] 所述Kinect传感器构成了体感远程控制系统的采集模块，为整个控制系统提供 信号的来源；客户端PC机作为整个控制系统的客户控制端，用于对采集得到的信号进行分 析处理；Socket通信模块用于客户端PC机和服务器之间的通信；服务器用于接收客户端 PC机发送过来的控制字，并将控制字进行数据解析，随后将解析结果转发给串口；机械臂 本体是控制系统的被控对象，用来验证体感远程控制的实现。
[0019] 本发明的有益效果在于：本发明所提供的方法和系统不需要专用的控制器，人体 本身就是控制器，是一种非接触式的控制方式；同时，利用Internet的网络设施降低了人 力成本，人们在任何能够链接到Internet的地方即可实现对机械臂的远程控制，而不需要 直达现场。
【专利附图】
【附图说明】
[0020] 为了使本发明的目的、技术方案和有益效果更加清楚，本发明提供如下附图进行 说明：
[0021] 图1为本发明所述方法的流程示意图；
[0022] 图2为实施例中四自由度机械手的简化线图；
[0023] 图3为腰关节转动角度示意图；
[0024] 图4为肩关节转动角度示意图；
[0025]图5为肘关节转动角度示意图；
[0026] 图6为腕关节转动角度示意图；
[0027] 图7为本发明所述系统的总体结构示意图。
【具体实施方式】
[0028] 下面将结合附图，对本发明的优选实施例进行详细的描述。
[0029] 图1为本发明所述方法的流程示意图，如图所示，本发明所述的机械臂体感远程 控制方法，包括以下步骤：
[0030] 步骤一：在客户端使用微软提供的Kinect作为传感器，实时检测人体手臂骨骼位 置的变化；
[0031] 步骤二：客户端PC机将采集到的数据进行分析处理，将处理的结果作为控制命令 封装成控制字的数据格式，并通过Socket通信方式将控制字发送给服务器端；
[0032] 步骤三：服务器对收到的控制字进行数据解析，并将解析结果通过串口转发至单 片机；
[0033] 步骤四：单片机接收到数据后，产生PWM脉宽，输出控制相应舵机，最终实现以体 感远程的方式来控制机械臂。
[0034] 下面通过具体实施例对本方法进行详细介绍：
[0035] 机械手臂运动学分析：
[0036] 机器人运动学问题的实质是研究机器人各个关节变量与末端执行器位姿的关系 的问题。机器人运动学问题可分为两类问题：一类是正运动学问题，即已知各执行关节的位 移，求相应的末端执行器的位姿；另一类是逆运动学问题，即已知末端执行器的位姿，求对 应的各执行关节的位移。
[0037] 任意两个相邻连杆附体坐标的变换阵：
【权利要求】
1. 一种基于Kinect的机械臂体感远程控制方法，其特征在于：包括以下步骤： 步骤一：在客户端使用微软提供的Kinect作为传感器，实时检测人体手臂骨骼位置的 变化； 步骤二：客户端PC机将采集到的数据进行分析处理，将处理的结果作为控制命令封装 成控制字的数据格式，并通过Socket通信方式将控制字发送给服务器端； 步骤三：服务器对收到的控制字进行数据解析，并将解析结果通过串口转发至单片 机； 步骤四：单片机接收到数据后，产生PWM脉宽，输出控制相应舵机，最终实现以体感远 程的方式来控制机械臂。
2. 根据权利要求1所述的一种基于Kinect的机械臂体感远程控制方法，其特征在于：在步骤一中，需要对人体手臂骨骼进行追踪，通过处理景深数据来建立人体各个关节的3D 坐标，具体包括以下步骤： 1) 首先Kinect发射红外线，并探测红外光反射； 2) 计算出视场范围内的每一个像素的深度值，即获得深度数据； 3) 从深度数据中提取出物体主体和形状； 4) 利用这些形状信息来匹配人体的各个部分，最后计算匹配出各个关节在人体中的位 置。
3. -种基于Kinect的机械臂体感远程控制系统，其特征在于：包括Kinect传感器、客 户端PC机、Socket通信模块、服务器以及机械臂本体； 所述Kinect传感器构成了体感远程控制系统的采集模块，为整个控制系统提供信号 的来源；客户端PC机作为整个控制系统的客户控制端，用于对采集得到的信号进行分析处 理；Socket通信模块用于客户端PC机和服务器之间的通信；服务器用于接收客户端PC机 发送过来的控制字，并将控制字进行数据解析，随后将解析结果转发给串口；机械臂本体是 控制系统的被控对象，用来验证体感远程控制的实现。
【文档编号】B25J13/08GK104440926SQ201410749087
【公开日】2015年3月25日 申请日期:2014年12月9日 优先权日:2014年12月9日
【发明者】张毅, 罗元, 刘想德, 徐晓东 申请人:重庆邮电大学