专利名称：基于虚拟现实机器人灵巧手遥操作平台的制作方法
技术领域：
本发明涉及一种基于虚拟现实机器人灵巧手遥操作平台，它是将遥控技术、虚拟现实技术和机器人灵巧手技术结合起来，形成的一个虚拟现实机器人灵巧手遥操作平台。可以应用于机器人遥操作领域以及机器人教学等相关领域。
背景技术：
目前有关基于虚拟现实机器人灵巧手遥操作平台还未见商品化的产品。采用虚拟现实技术的灵巧手遥操作系统中，涉及到一个主要问题，就是对灵巧手控制方式。对于这一问题的研究，国内外也有相关的研究报道，比较典型的控制方法是用数据手套来控制灵巧手；第二种方法是在人手指端和手掌上安装空间位置跟踪器，通过人手的运动，测出人手指和手掌的坐标，然后再映射到灵巧手的手指端和手掌，达到控制机器人灵巧手抓取物体的目的；第三种方法是用双摄像机的立体视觉技术捕捉操作人员手的姿态动作，将其映射成机器人灵巧手运动参数来控制灵巧手。
以上三种方法都存在着系统环节多、误差大，操作性差的缺憾。本发明采用的方法是用普通的键盘和鼠标对虚拟环境里的三维图形仿真手进行操作，从而同步带动真实灵巧手完成各种各样的操作。这种方法不仅减少了控制环节，提高了控制响应速度，而且也降低了系统的硬件和软件成本。
发明内容
本发明的目的在于是提供一种基于虚拟现实机器人灵巧手遥操作平台，它不仅能实现遥操作，使操作人员脱离危险操作环境，而且其人机接口系统还能脱机操作，从而实现灵巧手抓取物体整个操作过程的预演，各种控制算法的仿真。
为了达到上述目的，本发明的构思如下本发明在设计上将其系统从空间上分成两个部分即人机接口系统和遥机器人灵巧手系统。如图1所示。
在人机接口系统中，虚拟环境操作平台是一台计算机，含有灵巧手的几何模型和灵巧手的运动学模型的虚拟仿真环境，另外也含有遥机器人灵巧手作业环境图像，反映了操作现场的真实场景，使得操作人员能及时准确地掌握现场和灵巧手的信息，对比仿真手的位置和姿态，以便及时调整灵巧手的姿态；操作人员平台是操作人员的工作界面，通过该界面来观察灵巧手的数据，输入灵巧手的各种数据来控制灵巧手的位置和姿态。
在遥机器人灵巧手系统中，包含一台灵巧手控制器和机器人灵巧手，灵巧手是机器人末端操作器，是本系统控制的最终对象，将随人机接口端虚拟手而动；另外还安装了摄像头作为机器人的眼睛，摄下机器人现场的图像和灵巧手的位置和姿态；上位控制计算机用于收集机器人灵巧手的信息，人机接口系统传来的控制信息。将各类信息融合，然后确定灵巧手的抓取策略，并将各类信息反馈给人机接口系统。
根据上述发明构思，本发明采用下述技术方案一种基于虚拟实现机器人灵巧手遥操作平台，由人机接口系统和遥机器人灵巧手系统组成，其特征在于(1)人机接口系统是由一台计算机构成的虚拟环境操作平台；形成操作人员的操作界面；(2)遥机器人灵巧手系统是在虚拟作业场景中，一个机器人灵巧手连接一个灵巧手控制器而受其控制，灵巧手控制器连接一个上位控制计算机；有一个CCD摄像头对准机器人灵巧手摄取灵巧手位置和姿态；所述的上位计算机和CCD摄像头均通过电缆连接所述的虚拟环境操作平台的计算机。
上述的虚拟作业场景中，有机器人灵巧手抓取的目标物及其放置的工作台，还有机器人灵巧手和目标物位姿尺寸标志物；所述的机器人灵巧手采用BH-3型三指九自由度机器人灵巧手。
上述的操作界面上始终显示出灵巧手各关节状态及指关力反馈的状态；控制面板采用Windows标准对话框的形式在控制面板的上方布置虚拟灵巧手九个关节状态和力反馈状态编辑框，在九个关节旁边加上了上下尖头按钮以便能独立地调节每一个关节角度；在控制面板的中部设计了对被抓物体设置界面，在这部分界面中有三个复选框分别选定立方体、或球、或圆柱三个不同的被抓物体，有一个尺寸位姿按钮，按下此按钮会弹出另一个界面用于对被抓物体的位置和尺寸的设置；在控制面板的下方设计一组复选框和一组按钮，该复选框用于控制方式的选择以及控制功能的添加；该组按钮是在手动方式下对灵巧手进行操作，其操作有平行抓取、聚中抓取、镊式抓取和预抓取。
本发明与现有技术相比较，具有如下显而易见的突出实质性特点和优点本发明中由一台计算机构成虚环境操作平台，由机器人灵巧手、灵巧手控制器、上位计算机和CCD摄像头构成，配以所需软件，则具有如下功能1.采用直接控制的方式实现人对机器人灵巧手的遥操作，操作人员通过鼠标和键盘直接操控灵巧手，使灵巧手完成各种抓取任务。
2.采用示教的方式遥控灵巧手，首先由操作人员“教”灵巧手完成某一抓取任务，然后由灵巧手自动完成同类的任务。
3.采用自主的方式控制虚拟灵巧手，让虚拟灵巧手根据被抓物体的几何特征与位姿，自动产生抓取方案，进行抓取过程的预演。
因而，本发明不仅能实现遥操作，使操作人员脱离危险操作环境，而且其人机接口系统还能脱机操作，从而实现对整个操作过程的预演，各种控制算法的仿真。本发明在设计上尽量减少了控制环节，提高了控制响应速度，同时还降低了系统的硬件和软件成本。
图1本发明的硬件结构示意图。
图2本发明硬件连接示意图。
图3虚拟作业场景照片图。
图4机器人灵巧手照片图。
图5控制面板图。
图6被抓物体设置界面图。
图7(a～c)抓取方式照片图。
具体实施例方式
本发明的一个优选实施例结合附图详述如下本基于虚现实机器人灵巧手遥操作平台如图2所示虚拟操作平台计算机作为人机接口系统。遥机器人灵巧手系统有上位控制计算机、北京航空航天大学的BH-3型三指九自由度机器人灵巧手及其控制器、摄像头。在遥机器人灵巧手系统中，灵巧手机械部分可以安装在任意的机械臂上，电器部分由连线与灵巧手控制器相连，连线是由三股25线的电缆组成；灵巧手控制器通过连线与上位控制计算机连接，连线是由四股25线的电缆组成；摄像头CCD的连线直接连接到虚拟环境操作平台计算机的USB接口；虚拟环境操作平台计算机与遥机器人灵巧手系统中的上位控制计算机通过连线插入各自的RS-232接口，遥控距离在几十米以内。
软件设计方面，在VC++6.0编程环境下，采用OpenGL这一专业的3D图形硬件的软件接口，完成了以下各功能的设计1.虚拟环境的设计虚拟作业场景主要由一个虚拟机器人灵巧手和被抓取目标组成，为了使整个虚拟作业场景更加“真实”，虚拟作业场景中还加入工作平台、环境背景等要素，如图3。虚拟灵巧手以北京航空航天大学的BH-3型三指九自由度机器人灵巧手(如图4)为蓝本。虚拟灵巧手由手掌支座和三个手指组成，每个手指有三个指节。该操作平台提供各种抓取目标物，以及它们的尺寸和位姿。
为了使操作者更加有效地直观地了解虚拟灵巧手在操作过程中的位姿，碰撞等信息，操作者可以通过鼠标和键盘对整个虚拟作业场景进行旋转、平移和缩放操作，同时虚拟灵巧手九个关节旋转的角度会实时显示在虚拟作业场景中。
2.操作界面的设计操作界面是操作人员与整个遥操作平台的人机交互接口，为了能包容较多的操作项目，整个操作界面分成二级；另一方面考虑到界面的直观性，将操作人员最关心的灵巧手各关节状态以及指尖力反馈的状态一直显示在操作界面上。
控制面板采用Windows标准对话框的形式，如图5所示。在控制面板的上方布置了虚拟灵巧手九个关节状态和力反馈状态编辑框，在九个关节旁边加上了上下尖头按钮以便能独立地调节每一个关节角度。
在控制面板的中部设计了对被抓物体设置界面，在这部分界面中有三个复选框分别选定3个不同的被抓物体(立方体、球、圆柱)，有一个尺寸位姿按钮，按下此按钮会弹出另一个界面用于对被抓物体的设置，如图6。
在控制面板的下方设计了一组复选框和一组按钮。这组复选框主要用于控制方式的选择以及控制功能的添加，如示教功能和联机方式。一组按钮主要是在手动方式下对灵巧手的操作，它们有平行抓取、聚中抓取、镊式抓取和预抓取等等。
3.操作功能的设计操作功能的设计主要是围绕着本发明的内容展开的，即本操作平台不仅能在脱机状态下进行灵巧手智能抓取物体的仿真，而且也能在联机状态下对实际灵巧手的控制操作，以及示教后的机器人灵巧手完成自动抓取操作。
灵巧手在抓取物体时，必须根据被抓取目标物的形状、大小、位姿，不断地变换抓取方式和路径。根据人手抓物体的经验，以及BH-3灵巧手抓物体的大量实验，从中归纳出了三种基本的抓取方式，即平行抓取、聚中抓取和镊式抓取。如图7a～c所示。
灵巧手智能抓取过程的仿真演练功能是采用模糊逻辑的智能控制算法来实现的。程序根据目标物的形状、大小、姿态，选择相应的路径和抓取方式，完成对目标物的抓取。这一功能的设计，为操作人员提供抓取物体的路径和方案，突出了虚拟现实技术为整个系统的操作提供了灵活性、预操作性和演示性，还可以为各种智能控制算法提供实验平台。
示教抓取功能就是在联机的状态下，操作人员根据目标物体的形状、大小、姿态，选择相应的路径和抓取方式，完成对目标物的抓取。在操作人员操作过程中程序将操作人员操作的每一步按次序记下来。然后将灵巧手回到原来位置，按动示教再现按钮，程序自动地完成抓取目标物的任务。
4.灵巧手抓取物体的力反馈和虚拟手碰撞物体的检测在虚拟现实机器人灵巧手遥操作平台中，操作人员如何判断灵巧手是否抓住目标物体呢？主要通过二个途径，其一是由虚拟环境中虚拟手与虚拟物体的碰撞检测来提示。其二是通过安装在灵巧手指尖的三维力传感器得到灵巧手抓持力。
虚拟环境中的碰撞检测，不仅在灵巧手抓取物体的预演时能有很好的效果，而且在系统联机操作时提供了很好的警示。
权利要求
1.一种基于虚拟实现机器人灵巧手遥操作平台，由人机接口系统和遥机器人灵巧手系统组成，其特征在于(1)人机接口系统是由一台计算机(1)构成的虚拟环境操作平台；形成操作人员的操作界面；(2)遥机器人灵巧手系统是在虚拟作业场景中，一个机器人灵巧手(4)连接一个灵巧手控制器(5)而受其控制，灵巧手控制器(5)连接一个上位控制计算机(2)；有一个CCD摄像头(6)对准机器人灵巧手(4)摄取灵巧手位置和姿态；所述的上位计算机(2)和CCD摄像头(6)均通过电缆连接所述的虚拟环境操作平台的计算机(1)。
2.根据权利要求1所述的基于虚拟现实机器人灵巧手遥操作平台，在虚拟作业场景中，有机器人灵巧手抓取的目标物(7)及其放置的工作台(8)，还有机器人灵巧手(4)和目标物(7)位姿尺寸标志物(9)；所述的机器人灵巧手采用BH-3型三指九自由度机器人灵巧手。
3.根据权利要求1所述的基于虚拟现实机器人灵巧手遥操作平台，其特征在于所述的操作界面上始终显示出灵巧手各关节状态及指关力反馈的状态；控制面板采用Windows标准对话框的形式在控制面板的上方布置虚拟灵巧手九个关节状态和力反馈状态编辑框，在九个关节旁边加上了上下尖头按钮以便能独立地调节每一个关节角度；在控制面板的中部设计了对被抓物体设置界面，在这部分界面中有三个复选框分别选定立方体、或球、或圆柱三个不同的被抓物体，有一个尺寸位姿按钮，按下此按钮会弹出另一个界面用于对被抓物体的位置和尺寸的设置；在控制面板的下方设计一组复选框和一组按钮，该复选框用于控制方式的选择以及控制功能的添加；该组按钮是在手动方式下对灵巧手的操作，其操作有平行抓取、聚中抓取、镊式抓取和预抓取。
全文摘要
本发明涉及一种基于虚拟现实机器人灵巧手遥操作平台。由人机接口系统和遥机器人灵巧手系统组成。人机接口系统是由一台计算机构成的虚拟环境操作平台，形成操作人员的操作界面。遥机器人灵巧手系统是在作业场景中，一个机器人灵巧手连接一个灵巧手控制器而受其控制，灵巧手控制器连接一个上位控制计算机；有一个CCD摄像头对准机器人灵巧手摄取灵巧手位置和姿态；所述的上位计算机和CCD摄像头均通过电缆连接所述的虚拟环境操作平台的计算机。本发明不仅能实现遥操作，使操作人员脱离危险操作环境，而且其人机接口系统还能脱机操作，从而实现对整个操作过程的预演，各种控制算法的仿真。本发明在设计上尽量减少了控制环节，提高了控制响应速度，同时也降低了系统的硬件和软件成本。
文档编号B25J13/00GK1843712SQ20061002649
公开日2006年10月11日 申请日期2006年5月12日 优先权日2006年5月12日
发明者周思跃, 龚振帮, 袁俊 申请人:上海大学