专利名称：一种遥操纵机器人基于视觉的动觉示教控制方法
技术领域：
本发明属于机器人人机交互领域，特别涉及一种遥操纵机器人基于视觉的动觉示教控制方法。
背景技术：
随着人类对海底、地下资源和宇宙空间的合理开发和利用，机器人对于高温、高压、强辐射等极限环境下作业任务的完成发挥了愈来愈重要的作用。机器人正朝着智能化的方向发展。然而，由于受控制、传感及人工智能等发展水平的制约，要研制出在变化环境下的全自主机器人是短期内难以达到的目标。机器人遥操纵技术将人的智慧参与到机器人的实时控制中，极大提高了复杂环境下机器人作业的适应性。因此，机器人的局部自主融入操作者的高级决策能力是目前遥操纵领域的发展趋势。在主从机器人的控制过程中，操作者由于与机器人相距较远而无法亲身感知作业现场的真实环境，只能依据现场反馈的图像、声音、力/触觉等信息来完成作业任务。主从机器人控制领域仍有许多问题有待解决:首先，机器人作业任务完成的成功与否以及效率高低，过多的依赖于操作人员的技能水平和熟练程度；其次，现场反馈的视频图像信息在远距离传输中不可避免的存在较大时滞，而传统的“移动-等待”策略无疑大大降低了机器人的作业效率；同时，操作者由于无法直接感知图像中的景深信息，也就难以精确把握机器人与作业对象的距离远近，势必导致机器人操控效率低下。再者，现有的主从机器人双向伺服控制策略几乎无一例外地强调“作业反力”的“再现与感知”，力反馈效果产生的前提是机器人已经与作业环境接触。这在某些诸如高速、重载等应用场合，机器人对作业环境的瞬间冲击，很可能在操作人员感知现场作业反力之前便已造成无法弥补的损失。
发明内容
本发明的目的在于克服现有技术的缺点与不足，提出一种全新的遥操纵机器人基于视觉的动觉示教控制方法。为达上述目的，本发明采用如下的技术方案:一种遥操纵机器人基于视觉的动觉示教控制方法，其特征在于，包括以下步骤:S1、采用立体视觉技术对现场的作业对象及背景环境(障碍物)进行识别与空间信息提取；S2、以步骤SI中获取的作业对象与机器人末端间的位姿关系为参数，构建作业对象对机器人的虚拟吸引力；S3、以步骤SI中获取的机器人末端沿其速度方向与背景环境(障碍物)的距离为参数，构建机器人所受的障碍物排斥力；S4、将作业对象虚拟吸引力、障碍物虚拟斥力以及机器人抓取物体时的真实作用力合成机器人不教力；S5、通过主端系统与从端系统间的雅可比矩阵，将示教力向操作手柄反馈，从而实现对操作者的动觉示教。根据权利要求1所述的遥操纵机器人基于视觉的动觉示教控制方法，其特征在于，所述步骤Si包括:包括以下步骤:Sll.1、将Bumblebee双目摄像头米用eye-to-hand方式固定在现场环境正上方，光轴与地面垂直，简称为环境相机；Sll.2、根据环境相机图像中各像素点的颜色、灰度或纹理特征，从中剔除机器人区域及作业对象区域，以获得背景图像；Sll.3、根据图像匹配及摄像机标定的结果，实时计算背景图像中各像素点的空间坐标；Sll.4、采用基于空间自相关性的内插方式来预测估计所剔除的机器人区域及作业对象区域应有像素属性，并结合背景图像像素特征，生成背景环境的高程数据模型；S12.1、将Kinect相机采用eye-1n_hand方式固连于机器人末端,简称为手部相机；S12.2、根据手部相机图像中各像素点的颜色、纹理特征，采用结合人口统计与区域增长的图像分割方法来提取作业对象区域，并采用分裂-合并算法提取该区域轮廓的近似多边形，取多边形的顶点为作业对象图像特征；S12.3、根据图像匹配及摄像机标定的结果，实时计算作业对象区域各像素点的空间坐标，并构建其OBB (Oriented Bounding Box-有向包围盒)包围盒模型。上述的遥操纵机器人基于视觉的动觉示教控制方法，所述步骤S2包括:设机器人处于由作业对象和障碍物构成的虚拟势场V中，根据Khatib的人工势场法原理，沿着势场负梯度方向的虚拟力可保证机器人的运动收敛于系统的低势能点，由此构建作业对象引力Fg 为..
Fg=- ( Y ο- Y ) ο其中Ytl为机器人末端的当前位姿向量，Y为机器人末端的期望位姿向量。上述的遥操纵机器人基于视觉的动觉示教控制方法，所述步骤S3包括:基于与步骤S2同样的理论，构建障碍物虚拟斥力F。为:
权利要求
1.一种遥操纵机器人基于视觉的动觉示教控制方法，其特征在于，包括如下步骤: 51、采用立体视觉技术对现场的作业对象及背景环境即障碍物进行识别与空间信息提取； 52、以步骤SI中获取的作业对象与机器人末端间的位姿关系为参数，构建作业对象对机器人的虚拟吸引力； 53、以步骤SI中获取的机器人末端沿其速度方向与背景环境(即障碍物)的距离为参数，构建机器人所受的障碍物排斥力； 54、将作业对象虚拟吸引力、障碍物虚拟斥力以及机器人抓取物体时的真实作用力合成机器人示教力； 55、通过主端系统与从端系统间的雅可比矩阵，将示教力向操作手柄反馈，从而实现对操作者的动觉示教。
2.根据权利要求1所述的遥操纵机器人基于视觉的动觉示教控制方法，其特征在于，所述步骤SI包 括:包括以下步骤: Sll.1、将Bumblebee双目摄像头采用eye-to_hand方式固定在现场环境正上方,光轴与地面垂直，简称为环境相机； Sll.2、根据环境相机图像中各像素点的颜色、灰度或纹理特征，从中剔除机器人区域及作业对象区域，以获得背景图像； Sll.3、根据图像匹配及摄像机标定的结果，实时计算背景图像中各像素点的空间坐标； 511.4、采用基于空间自相关性的内插方式来预测估计所剔除的机器人区域及作业对象区域应有像素属性，并结合背景图像像素特征，生成背景环境的高程数据模型； 512.1、将Kinect相机采用eye-1n-hand方式固连于机器人末端,简称为手部相机； S12.2、根据手部相机图像中各像素点的颜色、纹理特征，采用结合人口统计与区域增长的图像分割方法来提取作业对象区域，并采用分裂-合并算法提取该区域轮廓的近似多边形，取多边形的顶点为作业对象图像特征； S12.3、根据图像匹配及摄像机标定的结果，实时计算作业对象区域各像素点的空间坐标，并构建其OBB (Oriented Bounding Box-有向包围盒)包围盒模型。
3.根据权利要求1所述的遥操纵机器人基于视觉的动觉示教控制方法，其特征在于，所述步骤S2包括:设机器人处于由作业对象和障碍物构成的虚拟势场V中，根据Khatib的人工势场法原理，沿着势场负梯度方向的虚拟力可保证机器人的运动收敛于系统的低势能点，由此构建作业对象引力Fc为: Fg=- (Y 0~ Y) ο 其中Ytl为机器人末端的当前位姿向量，Y为机器人末端的期望位姿向量。
4.根据权利要求1所述的遥操纵机器人基于视觉的动觉示教控制方法，其特征在于，所述步骤S3包括:基于与步骤S2同样的理论，构建障碍物虚拟斥力匕为: / 1 1Jr -η(---)—V p<p0 F0 =< P A, P.υρ> P0 其中，P为机器人末端与障碍物间的距离；P C1为设定的机器人末端与障碍物的安全距离；η为常数；ν为机器人末端运动速度的单位向量。
5.根据权利要求1所述的遥操纵机器人基于视觉的动觉示教控制方法，其特征在于，所述步骤S4包括:本着安全性第一、效率第二的原则，选择合理的加权系数，或根据机器人末端与作业对象及障碍物的相对位姿关系，通过时变的加权方式，将步骤S2的作业对象虚拟引力、步骤S3中的障碍物虚拟斥力以及通过传感器检测得到的机器人抓取物体时的真实作用力Fe进行合成: Fm= α Fg+ β F0+Fe 其中，α、β分别为虚拟引力、虚拟斥力的影响系数。
6.根据权利要求1所述的遥操纵机器人基于视觉的动觉示教控制方法，其特征在于，所述步骤S5包括:通过主端系统与从端系统间的雅可比矩阵，将步骤S4中的示教力向手控器反馈。动觉引导在宏观上表现为手控器产生的对人手“推拽”和“示教”的运动趋势，可通过虚拟引导力作用下的位置预测控制，来实现手控器的运动觉和力觉提示效果。
全文摘要
本发明提供一种遥操作机器人基于视觉的动觉示教控制方法，其步骤包括采用立体视觉技术对现场的作业对象及背景环境(障碍物)进行识别与空间信息提取；以通过视觉识别、计算出的作业对象与机器人末端间的位姿关系为参数，构建作业对象对机器人的虚拟吸引力；以机器人末端沿其速度方向与背景环境(障碍物)的距离为参数，构建机器人所受的障碍物排斥力；将作业对象虚拟吸引力、障碍物虚拟斥力以及机器人抓取物体时的真实作用力合成机器人示教力；通过主端系统与从端系统间的雅可比矩阵，将示教力向操作手柄反馈，从而实现对操作者的动觉示教。本发明可有效提高主从机器人系统的智能性、安全性与易操控性。
文档编号G05D1/00GK103105851SQ20131001173
公开日2013年5月15日 申请日期2013年1月12日 优先权日2012年11月7日
发明者倪涛, 张红彦, 李骁鹏 申请人:吉林大学