专利名称：多指机械灵巧手闭环实时动作控制平台的制作方法
技术领域：
本发明涉及一种机械手的控制系统，特别是一种多指机械灵巧手闭环实时控制平台。
背景技术：
随着科学技术的发展，机器人的应用范围不断扩大。机器人学中最基本和最普通的任务是对物体进行操作，机械手是完成这一工作最常用的装置和最重要的工具。目前，最多见的机械手是简单的夹持装置。但是，由于其结构简单，夹持装置通常只能抓取形状比较规则的物体，完成仅仅诸如″拾取-放下″(pick-and-place)这类简单的操作。多手指、多关节和多自由度的机械灵巧手的出现，提高了机器人的操作能力，可以用机械灵巧手完成抓持不同材质、表面形状复杂的物体、使用各种诸如螺丝刀、扳手等工具进行零部件更换等复杂的灵巧操作，甚至可以作为残疾人的假手。因此，有关多指灵巧手的研究正在受到越来越多的关注。由于具有多个关节和多个自由度，灵巧手的动作控制比较复杂。为灵巧手建立一个完善的动作控制平台，是机器人适应性地完成各种作业任务的关键。
多指、多关节的机械灵巧手的姿态是操作物体的关键，因此，对多指机械灵巧手的动作控制的主要环节之一是确定对物体进行操作时机械手各手指关节的弯曲角度。指关节的角度数据可以用实验的方法获得，然后配合预定的反馈信息，进行离线编程，机械灵巧手执行规定的程序，完成对指定物体的操作。这种控制方法与上述普通夹持装置的控制方式相同，不能发挥多指机械手灵巧操作的优势。在对表面形态复杂并且可能变化的物体进行操作时，应该采用操作者实时决策的控制方式，由控制人员根据观察到的物体形状、方位等信息，实时作出操作姿态决策。目前在多指机械手遥操作系统中，控制机械手操作姿态的比较常用的装置是数据手套，这是一种戴在控制人员手上的接触式传感器，最初是用于计算机生成的虚拟操作环境中的，其功能是将人的手势姿态信息以仿真图形的形式显示在计算机屏幕上，可以对虚拟世界中的物体进行操作，特定的手势姿态还可以被翻译成某种动作命令(手语)，用于指挥仿真机器人的动作，以通过实验，获得对应物理机器人的动作控制参数。随着技术的进步，数据手套检测出的手势信息开始用于指挥真实世界中的机器人(或机械手)的动作。用于检测动作人手势姿态信息的手套在对应手上各关节(指关节、腕关节等)的位置装有传感器，检测手指的弯曲程度(手势姿态)，经过适当的转换，得到多指灵巧手各手指关节的角度。另一种数据手套则用来让人体验某些由计算机产生的虚拟感觉信息(如压力、温度、滑觉等)，这种数据手套在人手常用的感知部位装有可以表现各种感知信号的传感元件。两种手套的绝大多数交互都是在人和计算机之间进行的，目的是从仿真环境中获得控制机器人所需的参数，或体验预期的操作效果，很少用在对真实世界中机器人的直接控制方面。
另外，由于目前没有同时具备上述两种功能的数据手套。因此，在用这种装置构成机械手的闭环控制系统时，也遇到一些困难，在人的同一只手上，不能既检测到手的动作姿态，又获得回馈的感觉信息。通常采用的方式是在主手(控制人员习惯用手)上戴姿态参数检测数据手套，控制机械手的动作，采用其它形式给出感觉信息(反馈信息)，比如可以在监视器上以显示对应数据的形式或不同深浅的色彩的形式，或者将接收感觉信息的数据手套戴在操作人员的副手上。但这些方式虽然实现了闭环反馈，但不太符合人习惯的感觉方式，因此在一定程度上影响了控制效果。
发明内容
本发明的目的在于提供一种多指机械灵巧手闭环实时动作控制平台，能够让控制人员以人的自然姿态和感觉方式，对多指机械灵巧手的动作进行控制。
为达到上述目的，本发明的构思如下如上所述，目前的数据手套不能同时具有检测手势姿态和接收感觉信号的双重功能，也不可能在人的同一只手上戴两种手套，因此必须有能够代替其中某一种手套功能的方法。分析两种手套的功能，为了使控制接近自然方式，应该保留接收感觉信号的手套，而采取另一种方式完成手势姿态的检测。本发明选择用视觉传感器(工业CCD摄像机)和图像处理的方式进行人的手势姿态参数的测量。
通常配备视觉传感器的系统中，视觉观察的对象是被操作物体，但本平台中观察的对象是控制人员的手的操作姿态，这是计算机视觉研究领域中的一个新的应用，称为“看人”(Looking at people，本文将其简称为LAP)。在本发明中，这种基于计算机视觉的手势姿态参数计算分析以及对应多指机械灵巧手动作参数的转换代替了通常检测姿态的数据手套的功能，分析、计算、转换后获得的机械灵巧手动作参数通过通讯网络传递给被遥控的机械灵巧手控制计算机，完成机械手的动作控制，被控机械灵巧手指尖上装有三维力传感器，能够感觉各手指与被操作物体的接触状态，这种压力信息通过通讯网络传递回控制室中的虚拟信号处理用计算机，该计算机将数据形式表现的力信号转换为数据手套上力接收装置预定的虚拟感觉(可以是气囊的压力或某种形式的刺激等)，使人能够产生一种“真实”的操作物体的感觉(其实手里没有真正握有物体)。遥操作系统中，机械灵巧手工作现场的视频信息，由安装在现场的摄像机对传送回控制室，在控制人员头戴的立体头盔显示器(HMD——Head MountedDisplay)或立体眼镜的显示屏上显示。这种信息在目前遥操作系统中通常是用单个摄像机传回控制室，在监视屏幕上以二维平面信息的形式显示，这种显示方式由于缺少了深度信息，操作者如果没有经过一定的训练，完成操作时会影响控制效果。本发明中采用封闭的立体显示方式显示现场状态，可以增加控制人员的沉浸感，使其有一种身临其境的感觉，配合上述检测和感觉方式，得到自然、良好的控制效果。
根据上述发明构思，本发明采用下述技术方案一种多指机械灵巧手闭环实时动作控制平台，包括位于遥操作工作现场的多指机械灵巧手及其控制器、位于控制室内控制人员头戴的立体眼镜或头盔监视器和力反馈数据手套、以及信息分析处理计算机，其特征在于(1)在多指机械灵巧手近距离处设有多角度摄像的摄像机组，其输出的多指机械灵巧手动作状态的视频信息，通过电缆输送至操作人的立体眼镜或头盔显示器的显示屏上实时、立体显示多指机械灵巧手的动作状态；(2)在控制室内的控制人员近距离处设有摄像机组，跟踪拍摄控制人员的手的动作姿态，视频图像信息传输至信息分析处理计算机，进行立体视觉信息分析处理后输出多指机械灵巧手动作参数信息，经通讯网络传送至灵巧手控制器，从而控制多指机械灵巧手模仿人手的姿态进行动作；(3)在多指机械灵巧手上的指端上设有力传感器，检测手指与物体的接触力信息，其输出的多指机械灵巧手各手指指端受力数据，经通讯网络传输至信息分析处理计算机，经信息分析处理计算机处理后输出虚拟力控制信息至力反馈数据手套，从而控制力反馈数据手套内的虚拟力机构，使操作人得到实时虚拟力感。
上述的多指机械灵巧手应有三个或三个以上手指，每个手指应有多个关节。
上述的多指机械灵巧手近距离处所设置的摄像机组是在多指机械灵巧手的上方一定空间范围内设置的镜头对准多指机械灵巧手的两个或多个成有效夹角布置的摄像机，从不同方位摄取多指机械灵巧手的工作状态图像；摄像机的数量不少于两个。
上所述的在控制人员附近所设置的摄像机组是在手的上方一定空间范围内设置镜头对准控制人员动作手戴力反馈数据手套的两个或多个成有效夹角布置的摄像机，从不同角度摄取人手在三维空间中的姿态图像信息；为获得立体视频图像信息，摄像机的数量不少于两个；确定该组摄像机数量的基本原则是不同方位拍摄的图像能够给出无遮挡的手的完整图像信息。
上述的信息分析处理计算机与摄像机组组合构成的LAP系统。
上述的力反馈数据手套内设置的虚拟力机构是在力反馈数据手套的指端位置上安装有产生虚拟力的部件，与多指机械灵巧手指端的力传感器相对应，装置产生的虚拟力感的大小，由多指灵巧手指尖上力传感器测量的力信息控制。
本发明与现有技术相比较，具有如下显而易见的突出实质性特点和显著优点本发明采用封闭的立体显示方式显示现场状态，并由力反馈数据手套产生根据现场传感器测量结果决定的虚拟力感，使操作人有亲近现场身临其境的感觉；采用摄像机作传感器，对手势姿态进行非接触式测量，并利用计算机立体视觉技术对人手的姿态进行分析计算，替代了常用的姿态检测数据手套，使力反馈手套可以戴在完成控制操作姿态的手上，因此能够让控制人员以人的自然姿态和感觉方式，对多指机械灵巧手的动作进行控制，符合生活中人对物体进行操作的习惯。因此，本发明与现有技术中用不同深浅的色彩表示反馈力的大小、或用另一只手感受反馈力的控制方式相比，本发明的控制方式更自然、简单，效果更好。
图1是本发明一个实施例的结构框图。
图2是图1示例中摄像机位置布置示意图，图(a)为顶视图，图(b)为侧视图。摄像机的数量可根据需要增减。确切位置关系视监视内容而定，本图摄像机位置布置示意图适用于图1中两组摄像机(2)和(4)。
具体实施例方式
本发明的一个优选实施例是参见图1，本多指机械灵巧手闭环实时动作控制平台，包括位于遥操作工作现场的多指机械灵巧手及其控制器、位于遥操作工作现场的摄像机组和控制室内控制人员头戴的立体眼镜或头盔监视器构成的机械灵巧手工作状态立体监视系统、位于控制室内的摄像机组和信息分析处理计算机构成的控制人员手势姿态信息分析系统(简称LAP系统)、以及信息分析处理计算机和控制人员戴的力反馈数据手套构成的虚拟力觉产生系统。(1)在多指机械灵巧手1上方空间内设有多角度摄像的摄像机组2，其输出的多指机械灵巧手1工作状态的视频信息，通过视频线输送至操作人的立体眼镜或头盔显示器的显示屏3上，实时显示多指机械灵巧手1的工作状态；(2)在控制人员手附近空间内设有多角度摄像的摄像机组4，其输出的人手的动作姿态视频信息传输至信息分析处理计算机5，经计算机分析处理后，将控制人员手势姿态在三维空间中的姿态，转换为多指机械灵巧手动作参数信息输出，经通讯网络7传送至灵巧手控制器1，控制多指机械灵巧手1仿人手的姿态进行动作；(3)在多指机械灵巧手1的各指指端上安装有力传感器，其检测的多指机械灵巧手1各指端接触力数据，经通讯网络7传输至信息分析处理计算机5，经处理后输出虚拟力控制信息至力反馈数据手套6，从而控制力反馈数据手套的虚拟力机构产生虚拟力，使操作人获得虚拟力感。上述的多指机械灵巧手1附近所设置的摄像机组2是在多指机械灵巧手1的上方一定空间内设置镜头对准多指机械灵巧手1的两个或多个成有效夹角布置的摄像机，摄取多指机械灵巧手1工作状态的图像视频信息。上述的多指机械灵巧手1有三个或三个以上手指，每个手指有多个关节，与人手有一定对应关系，多指机械灵巧手1的力传感器设置在指端上。上述的数据手套6上安装有虚拟力觉产生机构，可以在控制人员与机械灵巧手对应的指端部位产生虚拟力觉，力觉形式可以是气囊或其它压力形式，力觉大小由多指灵巧手指尖上力传感器测量的力信息的大小控制。上述的人手附近所设置的摄像机组4是在控制人的操作手上方空间内适当位置设置镜头对准数据手套6的两个或多个成有效夹角布置的摄像机，获得人手的空间姿态视频信息。下面对本发明的结构及其工作原理作进一步说明1.所设计的控制平台框图如图1所示遥操作工作现场的立体视觉监视信息通过网络传送回控制室，在控制人员头戴的立体头盔显示器屏幕上显示，头盔显示器的立体视觉效果和头盔的封闭作用使控制人员能够产生身临其境的感觉，控制人员根据观察到的工作现场机械灵巧手和被操作物体的状态，按自然操作习惯做出要求机械灵巧手完成的操作动作，LAP系统(4与5组合)中的摄像机组将从不同方位拍摄的人手的二维图像视频信息送给信息分析处理计算机进行图像处理和分析，计算人手在空间的三维姿态参数，再根据人手和机械灵巧手的结构差异和各种约束条件，将计算出的人手姿态参数转换为机械灵巧手可执行的动作参数，通过通讯网络传送给机械灵巧手动作控制计算机，机械手动作过程中，其指尖上安装的力传感器接收到的接触力信息反馈回控制室内的控制计算机，经处理后，在控制人员手上戴的力反馈数据手套上指端部分产生虚拟力觉，其大小与机械灵巧手指端力传感器测量的力觉相同，使人以接近自然的形式感受到操作效果，在视觉信息辅助下，实时对控制策略进行调整。
2.平台中被控制的多指机械灵巧手说明如下该机械灵巧手有三个手指或三个以上手指，设计与人手各手指有一定对应关系。各手指上有多个关节，类似人手指上的关节数量，机械手的手指长度、各关节的动作自由度以及手的大小可以与人手有一些差别。多手指、多关节的类人手机械灵巧手是系统对控制对象(机械手)的基本要求。
3.用LAP系统完成操作人的手势姿态分析本部分采用非接触检测的方法(计算机视觉)代替了检测人手姿态参数的数据手套。如第三部分所述，操作人根据观察到的机械手要操作的物体的形状和方位，按自己的日常习惯作出抓取手势(虚拟姿态，并没有实际抓物体)，装在人上方适当空间内的摄像机组拍摄人手的动作姿态，将拍摄的手势图像视频信息送入信息处理分析计算机，计算机根据接收到的不同方位拍摄的图像信息，计算出机械手指各关节的转动角度，送给机械灵巧手的控制器，控制机械灵巧手模仿人手动作。
4.力反馈信息部分如上所述，在机械灵巧手的指尖上装有力传感器，为了使操作人能够用自然的感觉方式体验机械手与被操作物体的接触状况，该控制平台采用力反馈数据手套将机械手指尖的受力情况体现在作出操作控制姿态的同一只手上，基本过程是力传感器检测到的接触力信号通过网络传送到信息分析处理计算机中，经处理后输出虚拟力控制信息，驱动装在手套上的虚拟力觉产生装置在人的手指指端造成与机械手指端力传感器检测到的接触力相似的力感，使人的手指有真正接触到物体的感觉(实际上没有)，根据体验到的接触状态，以及头盔显示装置中看到的机械灵巧手工作现场的状态，操作人员可以调整自己的手势姿态，即变换机械手的抓取姿态，得到好的操作结果。
本控制平台的控制对象是多指、多关节机械灵巧手，设计的关于人手空间三维姿态的算法可以应用在人使用的不同数量的手指上，根据被控制的机械灵巧手的手指数量进行相应的调整。另外，设计的方法也可以生成手势姿态命令，用于机械手或机器人遥操作中的运动控制，即用手势语言发出例如开始、停止、左/右转动等命令。用手势姿态表示的符号语言，也是从网络上与聋哑人进行远程交流的一种途径。所采用的根据从物体不同方位拍摄的图像进行物体的空间三维信息的重建的方法也可以用于完成机械手操作的物体的表面形状三维重建，使控制人员可以在控制室中对被操作物体进行更清楚的观察，以作出更完善的操作控制决策。
权利要求
1.一种多指机械灵巧手闭环实时动作控制平台，包括位于遥操作工作现场的多指机械灵巧手及其控制器(1)、位于控制室内控制人员头戴的立体眼镜或头盔监视器(3)和力反馈数据手套(6)、以及信息分析处理计算机(5)，其特征在于(1)在多指机械灵巧手(1)近距离处设有多角度摄像的摄像机组(2)，其输出的多指机械灵巧手(1)动作状态的视频信息，通过电缆输送至操作人的立体眼镜或头盔显示器(3)的显示屏上实时、立体显示多指机械灵巧手(1)的动作状态；(2)在控制室内的控制人员近距离处设有摄像机组(4)，跟踪拍摄控制人员的手的动作姿态，视频图像信息传输至信息分析处理计算机(5)，进行立体视觉信息分析处理后输出多指机械灵巧手动作参数信息，经通讯网络(7)传送至灵巧手控制器(1)，从而控制多指机械灵巧手(1)模仿人手的姿态进行动作；(3)在多指机械灵巧手(1)上的指端上设有力传感器，检测手指与物体的接触力信息，其输出的多指机械灵巧手(1)各手指指端受力数据，经通讯网络(7)传输至信息分析处理计算机(5)，经信息分析处理计算机(5)处理后输出虚拟力控制信息至力反馈数据手套(6)，从而控制力反馈数据手套(6)内的虚拟力机构，使操作人得到实时虚拟力感。
2.根据权利要求1所述的多指机械灵巧手闭环实时动作控制平台，其特征在于所述的多指机械灵巧手(1)应有三个或三个以上手指，每个手指应有多个关节。
3.根据权利要求1所述的多指机械灵巧手闭环实时动作控制平台，其特征在于所述的多指机械灵巧手(1)近距离处所设置的摄像机组(2)是在多指机械灵巧手(2)的上方一定空间范围内设置的镜头对准多指机械灵巧手(1)的两个或多个成有效夹角布置的摄像机，从不同方位摄取多指机械灵巧手(1)的工作状态图像；摄像机的数量不少于两个。
4.根据权利要求1所述的多指机械灵巧手闭环实时动作控制平台，其特征在于所述的在控制人员附近所设置的摄像机组(4)是在手的上方一定空间范围内设置镜头对准控制人员动作手戴力反馈数据手套(6)的两个或多个成有效夹角布置的摄像机，从不同角度摄取人手在三维空间中的姿态图像信息；为获得立体视频图像信息，摄像机的数量不少于两个；确定该组摄像机数量的基本原则是不同方位拍摄的图像能够给出无遮挡的手的完整图像信息。
5.根据权利要求1所述的多指机械灵巧手闭环实时动作控制平台，其特征在于所述的信息分析处理计算机(5)与摄像机组(4)组合构成的LAP系统。
6.根据权利要求1所述的多指机械灵巧手闭环实时动作控制平台，其特征在于所述的力反馈数据手套(6)内设置的虚拟力机构是在力反馈数据手套(6)的指端位置上安装有产生虚拟力的部件，与多指机械灵巧手指端的力传感器相对应，装置产生的虚拟力感的大小，由多指灵巧手指尖上力传感器测量的力信息控制。
全文摘要
本发明涉及一种多指机械灵巧手闭环实时动作控制平台。由一只多指机械灵巧手(以下简称多指手)及其动作立体监视系统、控制人员手势姿态跟踪及姿态信息分析系统(简称LAP系统)和虚拟力觉产生系统构成。控制人员通过立体眼镜或头盔显示器观察多指手的动作状态的三维影像；用手势姿态示出多指手操作姿态，LAP系统实时观察手势姿态并送计算机分析处理，计算人的手势信息并转换为多指手的动作姿态控制数据。机械手指端传感器测得的接触力信号传回LAP系统中的计算机，处理后输至力反馈数据手套，使人手获得虚拟力觉。本发明用视觉系统替代了手势姿态检测用数据手套，与力反馈手套结合，使控制人员能以自然姿态和感觉方式，对机械手进行实时闭环动作控制。
文档编号B25J13/06GK1785608SQ20051011017
公开日2006年6月14日 申请日期2005年11月10日 优先权日2005年11月10日
发明者朱方文, 龚振邦, 韦穗 申请人:上海大学