专利名称：一种基于视觉的机器人控制方法
技术领域：
本发明属于机器人人机交互领域，特别涉及一种一种基于视觉的机器人控制方法。
背景技术：
随着机器人应用领域的日益扩大，特别是机器人进入人们的日常生活，人和机器人对等交互(peer-to-peer interaction)研究越来越被重视，在对等交互中，人和机器人更多的是伙伴关系，而不是简单的人和工具关系。遥操作机器人系统和全自主机器人系统存在一些不足，使得人-机器人协作系统具有很大的潜力。在这类系统中，人和机器人成员根据自身能力相互协作共同完成目标任务，这种团队模式的优势在于集成人和机器人的智能来有效的完成目标任务。人-机器人交互主题的研究涉及许多不同领域，例如不同的交互模式、认知模型以及评价方法等。在交互模式研究中，符合人际交流习惯的交互模式是当前研究的热点，手势作为一种自然而直观的人际交流模式而被重视，其中手势跟踪是手势识别的基础。另外由于手势本事具有的多样性、多义性、以及时间和空间上的差异性等特点，当前实用的手势交互往往根据应用特点设计特定语义库，以保证手势交互的准确性和有效性。机械臂作业需要一系列复杂的指令，简单的特定语义库并不能满足机械臂的控制要求。机械臂操作的难点在于姿态的控制。由于机械臂仿效人手的结构进行设计，那么用人手控制机械臂是一个很直观的方法。
发明内容
本发明的目的在于克服上述现有技术的缺点与不足，提供一种灵活自然的一种基于视觉的机器人控制方法。为达上述目的，本发明采用如下的技术方案—种基于视觉的机器人控制方法，其特征在于，包括如下步骤Si、通过摄像机获取人手手势图像；S2、提取手势图像中人手的特征点；S3、对特征点进行三维重建，得到人手特征点在三维空间的位置关系；S4、把人手特征点对应的坐标点变换到机器人基坐标下；S5、利用人手在机器人基坐标系下的位姿关系进行反解计算，得到机器人的关节角度；S6、利用计算得到的关节角度驱动机器人运动。2、根据权利要求1所述的基于视觉的机器人控制方法，其特征在于，所述步骤Sl 包括根据双目定位原理，在人手的上方安装两个摄像头，实时捕捉人手运动图像。上述基于视觉的机器人控制方法中，所述步骤S2包括根据人手图像中人手特征的特点，通过特征点提取的方法进行图像处理，得到人手特征点的像素区域，然后提取人手特征区域的中心点作为人手特征点。在特征点提取中需要用到M位的(R，G，B)颜色模型，
5在RGB颜色模型中，所有颜色都可以由R，G，B三种颜色组成，不同的组合呈现不同的颜色。 为了能识别图像中的特征点，利用红颜色标记手部的特征点，而黄色的手套是为了便于上色，下面给出特征点提取的具体颜色模型。假设图像中像素i(i取正整数)的值为(Ri, Gi, Bi),那么识别图中红色像素的模型为
权利要求
1.一种基于视觉的机器人控制方法，其特征在于，包括如下步骤51、通过摄像机获取人手手势图像；52、提取手势图像中人手的特征点；53、对特征点进行三维重建，得到人手特征点在三维空间的位置关系；54、把人手特征点对应的坐标点变换到机器人基坐标下；55、利用人手在机器人基坐标系下的位姿关系进行反解计算，得到机器人的关节角度；56、利用计算得到的关节角度驱动机器人运动。
2.根据权利要求1所述的基于视觉的机器人控制方法，其特征在于，所述步骤Sl包括 根据双目定位原理，在人手的上方安装两个摄像头，实时捕捉人手运动图像。
3.根据权利要求1所述的基于视觉的机器人控制方法，其特征在于，所述步骤S2包括根据人手图像中人手特征的特点，通过特征点提取的方法进行图像处理，得到人手特征点的像素区域，然后提取人手特征区域的中心点作为人手特征点；在特征点提取中需要用到 24位的RGB颜色模型，在RGB颜色模型中，所有颜色由R，G，B三种颜色组成，不同的组合呈现不同的颜色；为了能识别图像中的特征点，利用红颜色标记手部的特征点，而黄色的手套是为了便于上色，下面给出特征点提取的具体颜色模型假设图像中像素i的值为(Ri, Gi, Bi)，i取正整数，那么识别图中红色像素的模型为
4.根据权利要求1所述的基于视觉的机器人控制方法，其特征在于，所述步骤S3包括 在步骤S2中得到红色标记点在左右图像中的位置，为了重建出标记点的三维坐标，采用双目重建原理进行三维重建，双目定位深度计算
5.根据权利要求1所述的基于视觉的机器人控制方法，其特征在于，步骤S4包括包括以下步骤541、通过人手控制机器人的位置变化；542、通过人手控制机器人的姿态变化；543、人手姿态与机器人末端姿态进行映射。
6.根据权利要求5所述的基于视觉的机器人控制方法，其特征在于，步骤S41包括 首先在初始化机械臂后，通过正解算法可以得到手抓末端的初始位置(Xp，yp, Zp)，接下来在摄像机拍摄范围内规定一个工作空间，人手只能在该工作空间运动，否则指令失效，然后再定义一个方向空间，方向空间与工作空间形成一个空隙，该空隙用于改变机械臂的位置
7.根据权利要求5所述的基于视觉的机器人控制方法，其特征在于，步骤S42包括 手抓末端的姿态与人手中拇指端、食指端和拇指根部与食指根部之间的凹槽点三点组成的姿态是一致的。
8.根据权利要求5所述的基于视觉的机器人控制方法，其特征在于，步骤S43包括 假设人手坐标系与控制台坐标系的原点重合；变换矩阵为一个3X3的矩阵Μ，则在人手坐标系中的一个点Α，变换到控制台基坐标系中为A'，有A' =MA, 其中
9.根据权利要求1所述的基于视觉的机器人控制方法，其特征在于，步骤S5包括包括以下步骤在Denavit-Hartenberg表示法中，Ai表示从坐标系i_l到坐标系i的齐次坐标变换阵，i取正整数，有
10.根据权利要求1所述的基于视觉的机器人控制方法，其特征在于，步骤S6包括利用步骤S5计算得到η个关节角角度驱动机器人运动，从而使得机器人末端达到期望位置。
全文摘要
本发明提供一种基于视觉的机器人控制方法，包括步骤(1)通过摄像机获取人手手势图像；(2)提取手势图像中人手的特征点；(3)对特征点进行三维重建，得到人手特征点在三维空间的位置关系；(4)把人手特征点对应的坐标点变换到机器人基坐标下。(5)利用人手在机器人基坐标系下的位姿关系进行反解计算，得到机器人的关节角度；(6)利用计算得到的关节角度驱动机器人运行。本发明的优点在于1)控制直观，机器人手抓姿态直接对应人手姿态；2)控制灵活，无需与繁重的交换工具接触；3)利用虚拟现实技术可以辅助操作者更准确更安全地进行操作；4)允许中途中断恢复或更换操作者；5)操作者无需大范围走动，减少操作者的操作压力。
文档编号B25J9/16GK102350700SQ20111027720
公开日2012年2月15日 申请日期2011年9月19日 优先权日2011年9月19日
发明者张平, 杜广龙 申请人:华南理工大学