用于微创外科手术系统中的手势控制的设备的制作方法

技术领域

本发明的各方面涉及微创外科手术系统的控制，并且特别是涉及将外科医生的手运动用于控制微创外科手术系统。

背景技术：

用于跟踪手位置和手势的方法和技术是已知的。例如，一些电子游戏控制器利用手跟踪输入。例如，Nintendo游戏平台支持无线位置和方向感测远程控制器(Wii是美国华盛顿州雷德蒙德市Nintendo of America Inc.的注册商标)。利用像摆动球棒或挥动魔术棒的姿势和其他身体运动为这种平台提供基本的游戏元素。The Sony Playstation Move具有类似于Nintendo游戏平台的特征。

来自CyberGlove系统的无线运动数据捕捉手套包括十八个数据传感器，其中每个手指上的两个弯曲传感器、四个外展传感器和测量拇指交叉(crossover)、手掌弓、腕关节弯曲和腕关节外展的传感器(是加利福尼亚州圣何塞市的CyberGlove System LLC的注册商标)。当三维跟踪系统与 运动捕捉数据手套一起使用时，能够得到手的x、y、z、偏摆、俯仰、滚动位置和方向信息。用于运动捕捉数据手套的运动捕捉系统已经用在数字化样机评定、虚拟现实技术生物力学和动画特技中。

具有四十个传感器的另一种数据捕捉手套是Measurand Inc.的Shapehand数据手套。Measurand Inc.的ShapeClaw便携式轻量手运动捕捉系统包括在空间中沿手和前臂的位置和方向的捕捉食指和拇指运动的柔性光纤(ribbon)系统。

在In-Cheol Kim和Sung-ⅡChien的“Analysis of Using Strok-Based Composite Hindden Markov Models”中，Applied Intelligence,Vol.15,No.2,p.131-143,September-October 2001，Kim和Chien开发了使用姿势认知的Pollems传感器的 三维轨迹输入的用法。Kim和Chien提出这种输入形式是因为三维轨迹比二维姿势提供更多识别能力，其主要用于视频为基的方法中。为了他们的实验，Kim和Chien利用连接于Fakespace PinchGlove(Fakespace Pinch手套)的背面的Polhemus磁位置跟踪传感器。PinchGlove为使用者提供一种装置，其发出姿势开始和结束的信号，同时Polhemus踪传感器捕捉使用者的手的三维轨迹。

在Elena Sanchez-Nielsen等人的“Hand Gesture Recognition for Human-Machine Interactin”中，Journal of WSCG,Vol.12,No.1-3,Issn 1213-6972,WSCG′,Februal 2-620003,Plzen Czech Republic,提出一种实时观察系统，通过利用通用硬件和低成本传感器的手姿势识别(如个人计算机和摄像头)用于可视互相作用圈境内。在Pragati Garg等人的“Vision Based Hand Gesture Recognition”中，49World Academy of Science,Engineering and Technilogy,972-977(2009)，提出基于图像的手势识别观察(review)。提出的一种结论是大多数方法依赖于若干个基本假设，这些基本假设在控制实验室圈境可能是合适的，但是对任意圈境不能普遍化。作者说到“用于手势界面的计算机图像(观察)方法在鲁棒性和速度方面必须优于当前性能，以实现交互性和实用性”。在医学领域中，已经考虑手势识别用于放射图像的无菌浏览。参见Juan P.Wachs等人的“A Gesture-Based Tool for Sterile Browsing of Radiologgy Images”,Journal of the American Medical Infmatics Association(2008；15:321-323DOI 10.1197/jamia.M24)。

技术实现要素：

一方面，微创外科手术系统中的手跟踪系统跟踪人手部分的方位。微创外科手术系统的系统控制参数根据该人手部分的方位生成。微创外科手术系统的操作利用该系统参数控制。

一方面，跟踪安装在人手部分上的传感器元件以获得人手部分的方位。控制点的位置和方向根据该位置产生。在微创外科手术系统中的装置的远程操作根据该控制点的位置和方向来控制。一方面，该装置是远程操作的副外科手术器械。另一方面，该装置是出现在外科手术部位的视频图像中的虚拟代替物。虚拟代替物的示例包括虚拟副外科手术器械、虚拟手和虚拟画标记(telestration)装置。

又一方面，除了控制点的位置和方向之外，还产生夹紧闭合参数。远程操作的副外科手术器械的末端受动器的夹紧程度根据夹紧闭合参数来控制。

另一方面，系统控制参数是用于副外科手术器械的远程操作的控制点的位置和方向。又一方面，系统控制参数由两只手确定。该系统参数是两只手的其中一 只的控制点的位置和方向、以及两只手的另一只的控制点的位置和方向。控制点用于微创外科手术系统中的内窥镜摄像机操纵器的远程操作。

又一方面，除了该人手部分上的传感器元件之外，还跟踪安装在第二只人手部分上的传感器元件。第二控制点的位置和方向根据第二人手部分的方位产生。在这方面，该控制点和第二控制点二者都用在远程控制中。

再一方面，跟踪安装在人手的手指上的传感器元件。确定手指之间的运动，并且根据该运动来控制微创外科手术系统中的远程操作的副外科手术器械的方向。

当该运动是第一运动时，该控制包括绕其指向方向滚动副外科手术器械的腕关节的末端。当该运动是不同于第一运动的第二运动时，该控制包括副外科手术器械腕关节的偏摆运动。

微创外科手术系统包括手跟踪系统和连接于该手跟踪系统的控制器。该手跟踪系统跟踪安装在人手部分上的多个传感器元件的方位。该控制器将该方位转换成控制点的位置和方向。该控制器根据该控制点发送命令以在微创外科手术系统中移动装置。此外，一方面，该装置是远程操作的副外科手术器械，而另一方面，该装置是是出现在外科手术手术部位的视频图像中的虚拟代替物。

一方面，该系统还包括包含多个传感器的主手指跟踪装置。该主手指跟踪装置还包括可压缩主体、固定于该可压缩主体的第一手指圈、和固定于该可压缩主体的第二手指圈。多个跟踪传感器中的第一跟踪传感器被附接至第一手指圈。第二跟踪传感器中的第二跟踪传感器被附接至第二手指圈。

因此，一方面，微创外科手术系统包括主手指跟踪装置。该主手指跟踪装置包括可压缩主体、固定于该可压缩主体的第一手指圈、和固定于该可压缩主体的第二手指圈。第一跟踪传感器被附接至该第一手指圈。第二传感器被附接至该第二手指圈。

可压缩主体包括第一端、第二端和外部外表面。该外部外表面包括在该第一和第二端之间延伸的第一部分、和在该第一和第二端之间延伸的并且与该第一部分相对并从第一部分拆卸的第二部分。

可压缩主体还具有一定长度。该长度选择成以限制人手的第一手指和第二手指之间的间隔。

该第一手指圈固定于邻近第二端的可压缩主体并且围绕该外部外表面的第一部分延伸。当第一手指圈放置在人手第一手指上时，该外部外表面的第一部分的第二部接触第一手指。

该第二手指圈固定于邻近第二端的可压缩主体并且围绕该外部外表面的第一部分延伸。当第二手指圈放置在人手第二手指上时，该外部外表面的第一部分的第二部接触第二手指。当第一和第二手指朝着彼此运动时，可压缩主体位于该两个手指之间因此可压缩主体提供对运动的阻力。

可压缩主体的厚度选择成使得当第一手指的末端刚好接触到第二手指的末端时，可压缩主体未被完全压缩。可压缩主体被构造成提供对应于远程操作的副外科手术器械的末端受动器的夹紧力的触觉反馈。

一方面，第一和第二跟踪传感器是无源电磁传感器。又一方面，每个无源电磁跟踪传感器具有六个自由度。

一种利用主手指跟踪装置的方法包括跟踪安装在人手的第一手指上的传感器的第一方位和安装在第二手指上的另一个传感器的第二方位。每个方位具有N个自由度，其中N是大于零的整数。第一方位和第二方位被映射成控制点的方位。该控制点的方位具有六个自由度。该六个自由度小于或等于2*N个自由度。该第一方位和第二方位还被映射成具有单个自由度的参数。微创外科手术系统中的副外科手术器械的远程操作根据控制点方位和该参数来控制。

第一方面，该参数是夹紧闭合距离。第二方面，该参数包括方向。另一方面，N是六，而在不同的方面N是五。

再一方面，跟踪安装在人手部分上的传感器元件以获得人手部分的多个方位。根据该多个方位选择来自多个已知手势的手势。根据该手势来控制微创外科手术系统的操作。

该手势可以是手势姿态、手势轨迹或手势姿态和手势轨迹的组合其中的任何之一。当手势是手势姿态并且多个已知的手势包括多个已知的手势姿态时，微创外科手术系统的用户界面根据手势姿态来控制。

而且，一方面，当该手势是手势姿态时，该手势选择包括从跟踪的多个方位产生被观察到的特征组。该被观察到的特征组与多个已知的手势姿态进行比较。一种已知的手势选择为手势姿态。该选择的已知的手势姿态被映射成系统命令，并且在微创外科手术系统中触发该系统命令。

再一方面，当手势包括手势轨迹时，微创外科手术系统的用户界面根据该手势轨迹来控制。

在带有手跟踪系统和控制器的微创外科手术系统中，该控制器将方位转换成手势。控制器发送命令以根据该手势修改微创外科手术系统的操作模式。

又一方面，跟踪安装在人手部分上的传感器元件以获得人手部分的方位。根 据该方位，该方法确定人手部分的位置与微创外科手术系统的主工具夹紧器的位置是否在阈值距离内。根据该确定的结果来控制微创外科手术系统的操作。一方面，根据该确定结果来控制联接于主工具夹紧器的远程操作的副外科手术器械的远程操作。另一方面，根据该确定的结果控制用户界面的显示，或代替物图像的显示。

一方面，人手部分的位置通过控制点位置来指明。另一方面，人手部分的位置是食指位置。

微创外科手术系统包括手跟踪系统。该手跟踪系统跟踪人手部分的方位。控制器利用该方位确定外科医生的手是否足够接近主工具夹紧器以允许微创外科手术系统的特定操作。

微创外科手术系统还包括联接于手跟踪系统的控制器。该控制器将位置转换成系统控制参数，并且根据该系统控制参数将命令引到微创外科手术系统中。

附图说明

图1是包括手跟踪系统的微创远程操作外科手术系统的高级示意图。

图2A至图2G是用来控制图1的微创远程操作外科手术系统的远程操作的副外科手术器械的手跟踪的主工具夹紧器的各种结构的示例。

图3A至图3D是用来控制图1的微创远程操作外科手术系统的系统模式的手势姿态的示例。

图4A至4C是用来控制图1的微创远程操作外科手术系统的系统模式的手势轨迹的示例。

图5是在基于摄像机的跟踪系统中用于手跟踪的基准标记位置的示例。

图6A和6B是图1的外科医生的操作台的更详细的示意图，并且包括由图1的微创远程操作外科手术系统在手跟踪中所使用的坐标系的示例。

图7是由图1的微创远程操作外科手术系统在手跟踪中所使用的手戴的主工具夹紧器以及位置和坐标系的更详细的示例。

图8是在跟踪系统中跟踪手的手指所用并且用来产生用于远程操作图1的微创远程操作外科手术系统中的副外科手术器械的数据的过程流程图。

图9是控制图8的点和夹紧参数过程映射位置数据的更详细的流程图。

图10是在跟踪系统中识别手势姿态和手势轨迹所用的过程的流程图。

图11是在跟踪系统中用于手出现检测所用的过程的流程图。

图12是主手指跟踪装置的一个示例的图解。

图13是示出出现在显示装置上包括代替物图像的视频图像的图解，在这个示例中它包括虚拟幻像器械和远程操作的副外科手术器械。

图14是示出出现在显示装置上包括代替物图像的视频图像的图解，在这个示例中它包括一对虚拟手和远程操作的副外科手术器械。

图15是示出出现在显示装置上包括代替物图像的视频图像，在这个示例中包括虚拟画标记装置和虚拟幻像器械以及远程操作的副外科手术器械。

在附图中，三位附图标记的第一位表示该图的图号，在附图中具有附图标记的元素的首次出现，四位附图标记的前两位表示该图的图号，在附图中具有附图标记的元素的首次出现。

具体实施方式

正如本文所用的，方位包括位置和方向。

正如本文所用的，有时叫做姿势的手势包括手势姿态、手势轨迹以及手势姿态和手势轨迹的组合。

本发明的各方面通过在控制微创外科手术系统中利用手方位信息增大微创外科手术系统的控制能力，例如，由加利福尼亚州萨尼瓦尔市的Intuitive Surgical,Inc.商售的远程操作的微创外科手术系统。手的一个或多个手指的测量方位用来确定系统控制参数，该系统控制参数进而用来触发外科手术系统中的系统命令(command)。该系统命令取决于其手方位被跟踪的人的方位，即，这个人是否在外科医生的操作台上。

当测量方位是人手的手指不在外科医生的操作台上时，该系统命令包括根据手的方向和手的两个手指的相对运动的组合来改变远程操作的副外科手术器械的部件的方向的命令，和移动远程操作的副外科手术器械的末端的命令，使得末端的运动跟随该手部分的运动。当测量方位是人的手的手指在外科医生的操作台上时，系统命令包括允许或阻止副外科手术器械的运动来继续跟随主工具夹紧器的运动的命令。当测量方位或者是人的手的手指不在外科医生的操作台上，或者是人手的手指在外科医生的操作台时，该系统命令包括根据手势姿态命令该系统或该系统的一部分而采取动作，并且根据该手势轨迹命令该系统或该系统的一部分而采取动作。

图1是包括手跟踪系统的微创远程操作外科手术系统100，例如，da外科手术系统的高级示意图。还有与da外科手术系统有关的其他部件、电缆等，但是在图1中未示出，以免转移本发明的重点。而且关于微创外科手术系 统的其他信息可以在例如美国专利申请No.11/762,165(2007年6月13日公开为“微创外科手术系统(Minimally Invasive Surgical System)”)和美国专利No.6,331,181(2001年12月18日授权，公开为“外科手术机器人工具，数据结构和使用(Surgical Robotic Tools,Data Architecture,And Use)”)中找到，两者结合于本文供参考。还参见，例如，美国专利No.7,155,315(2005年12月12日提交；公开为“微创外科手术设备中的摄像基准控制(Camera Referenced Control In A Minimally Invasive Surgical Apparatus)”)和7,574,250(2003年2月4日提交，公开为“用于远程机器人系统的图像偏移设备和方法(Image Shifting Apparatus and Method for A Telerobotic System)”)，两者结合于本文供参考。

在这个示例中，系统100包括具有多个操纵器的小车110。每个操纵器和由该操纵器控制的副外科手术器械能够联接于外科医生操作台上的主工具操纵器并能够与其脱离，此外，它们能够联接于机械地虚假(ungrounded)无动力主手指跟踪夹紧器170(有时叫做主手指跟踪夹紧器170并且能够与其间隔。

安装在操纵器113上的立体内窥镜112提供在显示器187上显示和外科医生操作台185中的显示器上显示的病人111体内的外科手术部位103的图像。该图像包括立体内窥镜的视场中的任何副外科手术装置的图像。外科医生操作台185上的主工具操纵器、副外科手术装置和立体内窥镜之间的相互作用与已知系统相同并且因此对于本领域中的技术人员是已知的。

一方面，外科医生181移动外科医生的手的至少一个手指，这又使主手指跟踪夹紧器170中的传感器改变方位。手跟踪发射器175提供场以便手指的新的位置和方向由主手指跟踪夹紧器170发送。新感测的位置和方向被提供给手跟踪控制器130。

一方面，正如下面更加全面地说明的，手跟踪控制器130将该感测的位置和方向映射成外科医生181的眼坐标系中的控制点位置和控制点方向。手跟踪控制器130发送这个方位信息给系统控制器140，系统控制器又发送系统命令给联接于主手指跟踪夹紧器170的远程操作的副外科手术器械。正如下面更全面地说明的，利用主手指跟踪夹紧器170，外科医生181能够控制，例如，该远程操作的副外科手术器械末端受动器的夹紧器，以及联接于该末端受动器的腕关节的滚动和偏摆。

另一方面，外科医生181的手或外科医生180的手的至少一部分的手跟踪被手跟踪控制器130用来确定手势姿态是否由外科医生产生，或手势姿态和手势轨迹的组合是否由外科医生产生。每个手势姿态和与手势姿态结合的每个轨迹映射 成不同的系统命令。该系统命令控制，例如，系统模式变化并控制微创外科系统100的其他方面。

例如，代替在已知的微创外科系统中利用脚踏板和开关，手势、手势姿态或手势轨迹被用来(i)起动在主工具夹紧器和有关的远程操作的副外科手术器械的运动之间的跟随，(ii)用于主离合器致动(其脱离副器械的主控制)，(ⅲ)用于内窥镜摄像控制(其允许主器械控制内窥镜运动或特征，例如焦点或电子变焦)，(ⅳ)用于机器人臂替换(其替换两个副器械之间的具体的主控制)，以及(ⅴ)用于TILEPRO^TM变换(其转换外科医生的显示器上的辅助视频窗口的显示)(TILEPRO是美国加利福尼亚州萨尼瓦尔市的Intuitive Surgeon,Inc.的商标)

当系统100中只有两个主工具夹紧器并且外科医生180想要控制联接于两个主工具夹紧器的两个远程操作的副外科器械之外的副外科器械的运动时，外科医生可以替代利用第一手势将两个远程操作的副外科器械的其中一个或两个锁定在位。然后该外科医生通过利用在这个装置中提供主工具夹紧器对另一个副外科器械的替换联接的不同的手势，使该主工具夹紧器中的一个或两个与其他由操纵器臂保持的其他副外科手术器械相关联。当系统100中仅仅有两个主手指跟踪夹紧器时外科医生181执行等同的过程。

再一方面，安装在外科医生操作台185中的手跟踪单元186跟踪外科医生180的手的至少一部分并且将感测的方位信息发送给手跟踪控制器130。手跟踪控制器130确定何时外科医生的手足够接近主工具夹紧器以允许系统跟随，例如，副外科器械的运动跟随主工具夹紧器的运动。正如下面更全面地说明的，一方面，手跟踪控制器130确定外科医生的手的位置和对应的主工具夹紧器的位置。如果两个位置的差值在预定的距离内，例如，小于阈值间隔，则跟随被允许，否则禁止跟随。因此，距离被用作外科医生的手相对于外科医生操作台185上的主工具夹紧器出现的测量方法。另一方面，当外科医生的手的位置相对于主工具夹紧器的位置小于阈值间隔时，显示器上的用户界面的显示被阻止，例如，在显示装置上断开。相反，当外科医生的手的位置相对于主工具夹紧器的位置大于阈值间隔时，用户界面被显示在显示装置上，例如接通。

外科医生的手的出现检测已经是一个存在已久的问题。出现检测已经多次尝试利用不同的接触感知技术，例如电容开关、压力传感器和机械开关。但是这些方法固有地存在问题，因为外科医生在如何并且在什么地方保持主工具夹紧器具有不同的偏好。利用距离作为出现的测量是有利的，因为这种出现检测允许外科医生接轻轻地触碰主工具夹紧器并且瞬间地破坏物理接触以调节主工具夹紧器， 但是不限制外科医生如何用他的/她的手指保持主工具夹紧器。

经由手跟踪的外科手术器械控制

机械地虚假的无动力的主手指跟踪夹紧器270，有时叫做主手指跟踪夹紧器270的一个示例以下面更全面地描述的不同的结构示于图2A至图2D中。主手指跟踪夹紧器270包括手指安装的传感器211、212，有时叫做手指或拇指安装的传感器211、212，其独立地跟踪食指292B的顶端和拇指292A顶端的每个的方位(在一个示例中为位置和方向)即，跟踪外科医生的手的两个手指的方位。因此，与在已知的微创外科系统中跟踪主工具夹紧器的方位相反，手本身的方位被跟踪。

一方面，传感器为传感器安装在其上的手的每个手指提供六自由度跟踪(三个移动和三个转动)。另一方面，传感器为传感器安装在其上的手的每个手指提供五自由度跟踪(三个移动和两个转动)。

又一方面，传感器为传感器安装在其上的手的每个手指提供三自由度跟踪(三个移动)。当两个手指每个用三自由度跟踪时，总共六个移动自由度足以控制不包括腕关节机构的副外科器械。

填充泡沫连接器210连接在安装传感器211、212的手指和拇指之间。连接器限制拇指292A和食指292B(即，手291R的手指)处于固定距离，即，当主手指跟踪夹紧器270被安装时，在手291R的手指之间存在最大间隔距离。随着拇指292A和食指292B从最大间隔(图2A)移动到完全闭合形态(图2D)时，该填充提供正反馈以帮助外科医生181控制连接于主手指跟踪夹紧器170的远程操作的副外科器械的末端受动器的夹紧力。

对于图2A所示的位置，其中拇指292A和食指292B由允许主手指跟踪夹紧器270隔开最大距离，该夹紧力最小。相反，在图2D所示的位置，其中拇指292A和食指292B如由连接器210所允许的尽可能靠近，即，由主手指跟踪夹紧器270允许的最小距离隔开，则夹紧力最大。图2B和2C表示被映射成中间握紧力的位置。

正如下面更全面地说明的，在图2A至图2D中拇指292A和食指292B的方位(位置和方向)被映射成夹紧闭合参数，例如，用来控制连接于主手指跟踪夹紧器270的远程操作的副外科手术器械的夹紧器的规范化夹紧闭合值。具体说，拇指292A和食指292B的感测方位通过手跟踪控制器130被映射成夹紧闭合参数。

因此跟踪外科医生181的手部分的方位。根据该跟踪的方位，微创外科系统100的系统控制参数，即夹紧闭合参数由手跟踪控制器130产生，并且被提供给 系统控制器140。系统控制器140利用夹紧闭合参数产生发送给远程操作的副外科手术器械的系统命令。该系统命令指示远程操作的副外科器械配置末端效应器具有对应于该夹紧闭合参数的夹紧闭合状态。因此微创外科系统100利用夹紧闭合参数控制微创外科系统100的远程操作的副外科器械的操作。

而且，在图2A至图2D中拇指292A和食指292B的方位(位置和方向)由手跟踪控制器130被映射成控制点位置和控制点方向。该控制点位置和控制点方向被映射到外科医生181的眼坐标系中，并且然后经通过命令信号被提供给系统控制器140。眼坐标系中的控制点位置和控制点方向由系统控制器140利用，用于连接于主手指跟踪夹紧器170的副外科器械的远程操作。

此外，跟踪外科医生181的手部分的方位。根据该跟踪的方位，微创外科系统100的另一个系统控制参数，即，控制点位置和方向由手跟踪控制器130产生。手跟踪控制器130传输具有控制点位置和方向的命令信号至系统控制器140。系统控制器140利用该控制点位置和方向产生被发送至远程操作的副外科手术器械的系统命令。该系统命令指示该远程操作的外科器械根据该控制点位置和方向方位该远程操作的外科器械。因此，微创外科手术系统100利用控制点位置和方向控制微创外科手术系统100的远程操作的副外科器械的操作。

除了根据传感器211、212的位置确定夹紧闭合状态之外，拇指292A和食指292B之间的其他相对运动被用来控制副外科手术器械的偏摆运动和滚动运动。拇指292A和食指292B一起摩擦的交叉好像绕主轴旋转产生副外科器械末端的滚动，所述主轴由图2E中的箭头表示的一个假想的主轴293，同时在由箭头295表示的指向方向上沿着轴线，由图2F中的箭头所示的彼此纵向地来回滑动食指和拇指，则产生沿着副外科手术器械的X轴线的偏摆运动。这是通过映射食指末端和拇指末端位置之间的矢量以形成控制点方向的X轴线来实现的。由于食指和拇指每个以对称的方式沿着轴线295滑动，所以控制点的位置保持相对静止。虽然食指和拇指的运动不是完全对称的运动，但是该位置仍然保持足够静止，使使用者能够容易修正任何可能发生的扰动。

此外，跟踪外科医生181的手的一部分的方位。根据该跟踪的方位，又一个系统控制参数，即，外科医生的手291R的两个手指之间的相对运动由手跟踪控制器130产生。

手跟踪控制器130将该相对运动转换成联接于主手指跟踪夹紧器170的远程操作的副外科手术器械的方向。手跟踪控制器130将具有该方向的命令信号发送给系统控制器140。当这个方向是绝对方向映射时，一方面，系统控制器140在 相同事件的远程操作期间利用具有棘轮效应(ratcheting)的这个输入作为来自任何其他无源万向主工具夹紧器的方向输入。棘轮效应的一个例子在共同授予的美国专利申请No.12/495,213(2009年6月30提交的名称为“用于远程操作的外科器械的主对齐的棘轮效应”)中被描述，其整个内容结合于本文供参考。

系统控制器140利用该方向产生发送给远程操作的外科器械的系统命令。该系统命令指示远程操作的外科器械根据该方向转动该远程操作的外科手术器械。因此，微创外科系统100利用两个手指之间的运动控制微创外科系统100的远程操作的外科器械的操作。

当该运动是第一运动，即，食指292B和拇指292A的交叉摩擦好像旋转主轴时，该方向是滚动，并且系统命令引起副外科器械腕关节沿其指向的方向的末端滚动。当该运动是不同于第一运动的第二运动时，例如，沿着彼此纵向地来回滑动该食指和拇指(图2F)，该方向是偏摆，并且该系统命令引起副外科器械腕关节的偏摆运动。

又一方面，当外科医生将系统操作模式改变为手势识别模式时，两只手被跟踪，并且用于两只手的控制点和方向在一方面根据安装在手上的传感器感测的位置和方向来产生。例如，如图2G所示，每只手的拇指和食指的末端接触在一起以形成圆状的形状。每只手的感测的位置由手跟踪控制器130映射成一对控制点位置。该对控制点对与摄像机控制系统事件一起被发送给系统控制器140。

因此，在这方面，跟踪外科医生181的每只手的一部分的方位。根据跟踪的方位的微创外科系统100的另一个系统控制参数，即，该对控制点位置对，由手跟踪控制器130产生。手跟踪控制器130将摄像机控制系统事件与该对控制点位置对一起发送给系统控制器140。

响应该摄像机控制系统事件，系统控制器140根据这对控制点位置对产生摄像机控制系统命令。该摄像机控制系统命令被发送给微创外科系统100中的远程操作的内窥镜摄像机操纵器。因此，微创外科系统100利用这对控制点位置对控制微创外科系统100的远程操作的内窥镜摄像机操纵器的操作。

经由手势姿态和手势轨迹的系统控制

在这方面，在设置在操作的手势检测模式之后，手跟踪控制器130检测手势姿态，或手势姿态和手势轨迹。控制器130将手势姿态映射成某种系统模式控制命令，并且同样，控制器130将手势轨迹映射成另一种系统模式控制命令。应当指出，姿态和轨迹的映射是独立的，因此这不同于，例如，手动信号语言跟踪。 产生系统命令和控制系统100利用手势姿态和手势轨迹的能力，代替在已知的微创外科系统中操纵开关、各种脚踏板等，为外科医生提供更容易使用的系统100。

当外科医生站立时，对控制系统100利用手势姿态和手势轨迹，使得当外科医生想要改变系统模式时，外科医生不必使其眼睛离开病人和/或观察屏幕并且寻找脚踏板或开关。最后，取消各种开关和脚踏板减少微创外远程操作科系统所需要的地面空间。

用于控制微创外科手术系统100的一组特定的手势姿态和手势轨迹不是关键的只要每个手势姿态和每个手势轨迹是明确的。具体说，一种手势姿态不应当被手跟踪控制器130理解为这组姿态中的一个或多个其他的手势姿态，并且一种手势轨迹不被理解为这组轨迹中的多于一种手势轨迹。因此，下面讨论的手势姿态和手势轨迹仅仅是说明性的而不是用来限制。

图3A至图3D分别是手势姿态300A至300D的示例。图4A至4C是手势轨迹400A至400C的示例。注意，例如，图2A中的形状似乎类似于图3A，但是当使用两种形状时微创外科手术系统100的操作模式是不同的。

在图2A中，远程操作的微创副外科器械被联接于主手指跟踪夹紧器170并且系统100处于跟随模式，这样远程操作的微创副外科手术器械的运动跟随外科医生的手的跟踪运动。在图3A至图3D和图4A至4C中，外科医生将系统100设置在手势识别模式中，并且然后采取所示手势姿态和手势轨迹之一。该手势姿态和手势轨迹用在系统模式控制中并且不用在操作跟随模式中。例如，用手势姿态控制的系统模式使得能够图像显示、不能够图像显示，并且在图像显示之间循环，以离合各种显示，并且画出/擦去画标记。

在手势姿态300A中(图3A)，拇指292A和食指292间隔超过主离合阈值，例如，手291R的两个手指之间的伸展大于115mm。食指292B伸展以及拇指292A弯曲的手势姿态300B(图3B)用来向手跟踪控制器130发信号，外科医生正在跟踪手势轨迹(见图4A和图4B)。拇指292A向上并且食指292B弯曲的手势姿态300C(图3C)用来接通用户界面并且在用户界面中的多个模式之间循环。拇指292A向下并且食指292B弯曲的手势姿态300D被用于断开用户界面。其他手势姿态可包括“A-OK”手势姿态，L形手势姿态等。

一方面，手跟踪控制器130利用多维特征矢量识别并认出手势姿态。起初，规定多个手势姿态。其次，规定包括多个特征的特征组。该特征组设计成独一无二地识别多个姿势中的每个手势姿态

手势姿态识别过程利用训练数据库来训练。该训练数据可包括每个手势姿态 的多个范例。该多个范例包括用于由多个不同的人产生的姿势的特征矢量。对于训练数据库中每个范例生成特征组。这些特征组用来训练多维贝叶斯分类器，正如下面更全面地说明的。

当外科医生180想要进入操作的手势模式时，外科医生起动开关，例如按压脚踏板，并且然后采取至少具有一只手的手势姿态。注意，虽然这个示例需要单个脚踏板，这使得能够取消已知的微创外科系统中的脚底板(支架)中的其他的脚踏板，并且仍然具有上面所述的优点。手跟踪单元186将表示外科医生的手的拇指和食指的感测位置和方向的信号发送给手跟踪控制器130。

利用外科医生的手的手指的跟踪数据，手跟踪控制器130产生观察的特征组。然后手跟踪控制器130利用训练的多维贝叶斯分类器和马氏(Mahalanobis)距离确定观察特征组是多个姿态中的手势姿态特征组的可能性，即，或然性。这对于多个姿态中的每个手势姿态这样。

如果马氏距离小于用于手势姿态的训练数据库中的最大马氏距离，作为观察的手势姿态，由手跟踪控制器130选择的多个姿态中的手势姿态是具有最小马氏距离的手势姿态。选择的手势姿态被映射至系统事件。手跟踪控制器130将系统事件引到系统控制器140中。

系统控制器140处理该系统事件并且发布系统命令。例如，如果检测到手势姿态300C(图3C)，系统控制器140发送系统命令给显示控制器150以接通用户界面。作为响应，显示控制器150执行处理器151上的至少一部分用户界面模块155，以产生外科医生操作台185的显示器上的用户界面。

因此，在这方面，微创外科系统100跟踪人手的部分的方位。根据该跟踪的方位，生成系统控制参数，例如，选择手势姿态。该手势姿态用来控制微创外科系统100的用户界面，例如在外科医生操作台185的显示器上显示用户界面。

用户界面控制仅仅是说明性的而不是用来限制。手势能够用来在已知微创外科系统中进行任何模式变化，例如，主离合、摄像机控制、摄像机聚焦、操纵臂替换等。

如果手势姿态识别过程确定观察的手势姿态是用于手势轨迹的手势姿态，根据姿态的识别，系统事件不被手跟踪控制器130引入。而是起动手势轨迹识别过程。

在这个示例中，手势姿态300B(图3B)是用来生成手势轨迹的姿态。图4A和4B是利用手势姿态300B做出的手势轨迹400A和400B的二维示例。图4C表示可以利用的手势轨迹的其他二维示例。

一方面，手势轨迹识别过程利用隐马尔柯夫模型(Hidden Markov Model)Λ。为了生成马尔柯夫模型Λ的可能性分布，需要训练数据库。在获得训练数据库之前，规定一组手势轨迹。在一方面，选择图4C的十六个手势轨迹。

一方面，测试对象数目选择成做出每种手势轨迹。在一个示例中，每个测试对象执行每个手势轨迹预定次数。用于所做的每种轨迹的每个对象的位置和方向数据存放在训练数据库中。一方面，正如下面更全面地说明的，训练数据库用于利用迭代的Baum-Welch方法训练离散的左-右隐马尔柯夫模型。

当外科医生做出轨迹时，该数据被手跟踪控制器130转换成观察序列O。用观察序列O和隐马尔柯夫模型Λ，手跟踪控制器130确定哪个手势轨迹对应于观察的符号序列。一方面，手跟踪控制器130利用带有隐马尔柯夫模型Λ的向前递归算法生成观察符号序列的总的可能性。如果这种可能性大于阈值可能性，则具有最高可能性的手势轨迹被选择。如果最高可能性小于阈值可能性，则没有手势估计被选择并且过程结束。

选择的手势轨迹被映射至系统事件。手跟踪控制器130将该系统事件引到系统控制器140。

系统控制器140处理该系统事件并发布命令。例如，如果选择的手势轨迹映射至一个事件以改变外科手术部位的照明水平，则系统控制器140将系统事件发送给照明器中的控制器以改变照明水平。

经由手跟踪的出现检测

一方面，正如上面所指出的，跟踪外科医生的手291R、291L(图6A)的方位以判断是否允许微创外科系统100的远程操作，并且在一些方面，判断是否对外科医生显示用户界面。此外，手跟踪控制器130跟踪外科医生180B的手的至少一部分(图6A)。手跟踪控制器130产生主工具夹紧器的方位，例如，主工具夹紧器621(图6B)，其代表主工具夹紧器621L、621R(图6A)和该手的这部分的方位。手跟踪控制器130将这两个方位映射到共同的坐标系中，并且然后确定该共同的坐标系中两个方位之间的距离。该距离是根据外科医生的手的这部分的跟踪方位的微创外科系统的系统控制参数。

如果该距离小于安全阈值，即小于手的这部分和主工具夹紧器之间的最大允许间隔，则微创外科系统100的远程操作被允许，否则该远程操作被禁止。同样，在利用出现检测以控制用户界面显示的方面，如果该距离小于安全阈值，即，小于手的这部分和主工具夹紧器之间的最大允许间隔，则禁止在微创外科系统100 的显示器上显示用户界面，否则允许显示用户界面。

因此，距离用来控制微创外科系统100的远程操作。具体说，手跟踪控制器130将表示是否允许远程操作的系统事件发送给系统控制器140。响应该系统事件，系统控制器140配置系统100或者允许或者禁止远程操作。

手方位跟踪技术

在更详细地考虑上面所述的手跟踪的各方面之前，描述跟踪技术的一个示例。这个示例仅仅是说明性的，并且鉴于下面的描述，能够利用提供必要的手或手指方位信息的任何跟踪技术。

一方面，如图2A至图2D和图7所示，借助于安装在手的两个手指上，例如拇指和食指上的传感器利用脉冲式DC电磁跟踪。每个传感器测量六个自由度，并且一方面具有8毫米乘2毫米乘1点5毫米的(8mm×2mm×1.5mm)尺寸。该跟踪系统具有0.8m的半球的灵活工作空间和0.5mm和0.1度的位置感测分辨率。更新率为160赫兹并且具有4毫秒的检测延时。当结合在系统中时，由于通信和额外的滤波可以带来额外的延迟。已经发现高至30毫秒的有效命令延迟是可以接受的。

在这方面，跟踪系统包括电磁手跟踪控制器、用在主手指跟踪夹紧器中的传感器以及手跟踪发射器。适合用在本发明一个实施例中的跟踪系统能够从美国佛蒙特州伯林顿市的Ascension Technology Corporation得到，具有中等范围的发射器的3D导向trakSTAR^TM系统(trakSTAR^TM是Ascension Technology Corporation的商标)。该发射器生成脉冲式DC磁场，用于在规定为78厘米(31英寸)的中等范围内高精度跟踪。对于每个传感器这种系统提供每秒240至420次更新的动态跟踪。微型的无源传感器的输出不受动力线噪声源的影响。发射器和传感器之间不要求清晰的视线。有全姿态跟踪而无惯性漂移或光学干扰。有高度的金属抗扰性并且没有来自非磁性金属的失真。

虽然这里利用具有指套(cover)的电磁跟踪系统，但是这仅仅是说明性的而不是用来限制的。例如，外科医生可以持有钢笔形装置。该钢笔形装置是在该装置的外表面上具有三个或更多不共线的基准标记的指形部件。通常，为了使至少三个基准标记在任何视点是可见的，由于其自身的闭合使用更多的基准标记。该基准标记足以确定该指形部件的六自由度(三个移动和三个转动)运动，因此确定持有该钢笔形装置的手的六自由度运动。该钢笔形装置一方面也检测夹紧。

钢笔形装置被两个或两个以上的已知参数的摄像机观察，以在三维中方位该 基准标记，并且推知该指形部件的三维姿态。该基准标记可被实施，例如，1)具有靠近摄像机的照明的反射的球；2)具有靠近摄像机的照明的凹形或凸形半球；或3)诸如(闪光的)LED的有源标记。一方面，利用该指形部件的近红外照明，并且过滤器用来阻挡在摄像机的可见光谱，以使来自背景杂波的散射(distraction)最小化。

另一方面，利用数据手套501(图5)或裸手502，并且基准标记511附接于外科医生将要佩戴的手套501的拇指和食指(和/或手套的其他手指)和/或直接附接于手502的皮肤。此外，可以利用冗余标记以适应自身闭合。基准标记也可以设置在其他手指上，以能够通过专门定义的手势实现更多的用户界面特征。

基准标记的三维定向通过具有共同视场的多个摄像机的三角形来计算。基准标记的三维方位用来推知手的三维姿势(移动和方向)并且也推知该夹紧尺寸。

标记的方位在使用前需要校正。例如，外科医生能够用不同的姿势向摄像机示出具有标记的手。然后该不同的姿态用在校正中。

又一方面，利用较少标记的手跟踪。关节的手运动可以通过利用从一个或多个摄像机观察的图像来跟踪，并且通过执行计算机软件处理这些图像。执行计算机软件不需要跟踪所有有益的手的自由度。正如这里所表明的，执行软件只需跟踪与用于控制外科器械有益的手的两个手指有关的部分。

在基于跟踪的摄像机中，测量精度取决于图像中标记的方位精度；由于摄像机的几何形状的三维重构精度；以及诸如多于最小数目的冗余数据、例如三个基准标记、多于最小数目(一或二)的摄像机、以及瞬时平均和过滤。

三维重构精度主要依赖于摄像机校正的精度。附接于外科医生操作台上的已知方位的一些基准标记可以用来确定多个摄像机相对于外科医生操作台的外部参数(旋转和移动)。这个过程可以自动完成。由于这些标记只在校正过程期间和该过程之前才接通，有源基准标记可以用来校正基准标记。在该过程期间，校正基准标记被断开以避免与用于方位外科医生的手的基准准标记相混淆。有关的外部参数也可以通过观察在摄像机的共用的视场中的移动的标记来计算。

适合使用的其他跟踪技术包括但不限于惯性跟踪、深度摄像机跟踪以及光纤弯曲感测。

正如本文所用的，传感器元件，有时叫做跟踪传感器，可以是用于上面所描述的任何手跟踪技术的传感器，例如，无源电磁传感器、基准标记器、或用于任何其他技术的传感器。

坐标系

在进一步详细考虑上面所描述的各种过程之前，先考虑外科医生操作台185B(图6A)的一个示例，并且各种坐标系被定义用在下面示例中。外科医生操作台185B是外科医生操作台185的一个示例。外科医生操作台185B包括三维观察器610，有时叫做观察器610、带有主工具夹紧器621L、621R的主工具操纵器620L、620R。主工具夹紧器621(图6B)是主工具夹紧器621L、621R的更详细的示意图。

主工具操纵器620L、620R的主工具夹紧器621L、621R由外科医生180B用拇指和食指保持，以便瞄准目标和抓握包括直觉指向和夹紧运动。与主工具夹紧器621L、621R组合的主工具操纵器620L、620R用来以与已知的远程操作的微创外科系统中的已知的主工具操纵器相同的方式控制远程操作的副外科手术器械、远程操作的内窥镜等。而且，主工具操纵器620L、620R和主工具夹紧器621L、621R的位置坐标从控制该副外科器械所用的运动学是已知的。

在操作正常观察模式中，观察器610显示来自立体内窥镜112的外科手术部位103的三维图像。观察器610靠近外科医生的手设置在操作台185B上(图6B)，这样在观察器610中观察到的外科手术部位的图像被取向成使得外科医生180B感觉他或她真实地直接向下观察外科手术部位103。在外科医生的手根据他的手的位置被基本上方位并取向为外科医生180B所期望的位置的情况下，图像中的外科器械显现成在被基本方位。但是，当在观察器610中观察显示的外科手术部位的图像时，外科医生180B既不能看见他或她的手，也看不见主工具夹紧器621L、621R的位置或方向。

一方面，主工具操纵器620L、620R从直接在外科医生180B的前面并且在观察器610下移开，以便它们位于底座630上方，并且使它们不再位于观察器610下，即，主工具操纵器处于不会妨碍手势的位置。这在观察器610下提供没有阻挡的空间，外科医生180B能够在该空间内做手势，手势姿态或手势轨迹的任何一个或两者。

在图6A的方面，相对于外科医生操作台185B定义三个坐标系：观察坐标系660、世界坐标系670和跟踪器坐标系650。注意，对于外科医生181(图1)定义等效的坐标系，因此对于来自主手指跟踪夹紧器170，或主工具夹紧器621L、621R的跟踪数据能够进行下面更全面地描述的映射。例如，参见2009年11月13日提交的公开为“用于远程操作的微创外科器械的病人侧外科医生界面(Patient-Side Surgeon Interface For a Minimally Invasive Teleoperated Surgical Instrument)”的美国专利申请No.12/617,937，其整个内容结合于本文供参考。

在观察坐标系660中，外科医生180B正在沿Z观察的Z轴向下看，Y观察的Y轴在该显示器中向上指。X观察的X轴在显示器中向左指。在世界坐标系670中，Z世界Z轴是竖直轴。X世界的世界X轴和Y世界的世界Y轴的平面垂直于Z世界Z轴。

图6B是主工具夹紧器621和主工具操作台620的更详细的视图。下面将关于图11的方法1100更全面地讨论坐标系680、690。

经由手跟踪的外科器械控制的过程

图7是安装在食指292B上在跟踪坐标系750中具有方位713的传感器212，和安装在拇指292A上在跟踪坐标系750中具有方位711的传感器211的视图。传感器211和212是上面所述的电磁跟踪系统的部件。拇指292A和食指292B是右手291R的手指的示例。正如前面所指出的，人手的部分包括手的至少一个手指。正如本领域的技术人员所知道的，手的手指，有时叫做指头或指骨是拇指(第一指)、食指(第二指)、中指(第三指)、无名指(第四指)和小指(第五指)。

在这里，拇指和食指被用作人手的两个手指的示例。这仅仅是说明性的而不是用来限制。例如拇指和中指可以用来代替拇指和食指。这里的描述可以直接应用于中指。而且，右手的使用也只是说明性的。当同样的传感器戴在左手上时，这里的描述也可以直接应用于左手。

电缆741、742将主手指跟踪夹紧器270的传感器211、212连接于手跟踪控制器130。一方面，电缆741、742将位置和方向信息从传感器211、212运输到手跟踪控制器130。

利用电缆将检测的位置和方向数据传输给手跟踪控制器130仅仅是说明性的而不是用来限制于这种具体的方面，考虑到本发明，本领域的技术人员能够选择从主手指跟踪夹紧器或多个主手指跟踪夹紧器向手跟踪控制器130传输检测的位置和方向数据的装置(例如，通过利用无线连接)。

电缆741、742不阻止主手指跟踪夹紧器270的运动。由于主手指跟踪夹紧器270是机械虚假的，每个主手指跟踪夹紧器在外科医生能够达到的工作空间内和手跟踪转换器的工作空间内对于位置和方向运动两者(例如，笛卡尔坐标系中的左-右、上-下、内-外、滚动、俯仰和偏摆)都不被有效地限制。

一方面，如上所述，主手指跟踪夹紧器270上的每个传感器211、212检测三个移动自由度和三个转动自由度，即六个自由度。因此，从两个传感器检测的数 据代表十二个自由度。另一方面，主手指跟踪夹紧器270上的每个传感器211、212检测三个移动自由度和两个转动(偏摆和俯仰)自由度，即，五个自由度。因此，从两个传感器检测的数据代表十个自由度。

正如下面更全面地描述的，根据跟踪的方位利用控制点位置和控制点方向控制远程操作的副外科器械需要六个自由度(三个移动和三个转动)。因此，在每个传感器具有五个或六个自由度的方面，传感器211、212提供冗余自由度。正如上面所述和下面更全面地所述，冗余自由度被映射至用来控制远程操作的副外科器械除位置和方向之外的其他各方面的参数。

再一方面，每个传感器211、212只检测三个移动自由度并且因此一共代表六个自由度。这足以控制不包括腕关节的副外科手术器械的移动、滚动和夹紧闭合三个自由度。下面的描述用来利用六个自由度产生控制点方位。控制点方向当做副外科器械的方向。夹紧闭合参数如下所述利用控制点方位和控制点方向来确定。滚动如上所述利用拇指和食指的相对运动来确定。

在传感器感测六个自由度，或传感器感测五个自由度两方面的任何一方面，食指传感器212产生表示在跟踪坐标系750中的食指位置P_index和食指方向R_index的信号。拇指传感器211产生表示在跟踪坐标系750中的拇指位置P_thumb和拇指方向R_thumb的信号。一方面，位置P_index和P_thumb分别取作与使用者的食指292B上的食指指甲的中心和使用者拇指292A上的拇指指甲中心的对齐。

在这个示例中，位置P_index和P_thumb每个表示为跟踪坐标系750中的三乘一矢量。位置P_index和P_thumb在跟踪器坐标中。

方向R_index和R_thumb每个表示为跟踪坐标系系750中的三乘三矩阵，即

控制点位置P_cp在食指291B和拇指291A之间定中心。控制点位置P_cp在控制点坐标系790中，但是，在跟踪器坐标中规定。正如下面更全面地描述的，控制点坐标系790的Z轴沿着指向的方向延伸通过控制点位置P_cp。

而且，正如下面所说明的，食指291B和拇指292A映射至副外科器械的爪装置，但是两个手指比器械爪装置更加灵巧。控制点坐标系790的Y轴对应于器械爪装置闭合所用的销。因此，如下所述，控制点坐标系790的Y轴垂直于食指291B和拇指292A之间的矢量。

控制点位置P_cp表示为跟踪坐标系750的跟踪器坐标中的三乘一矢量。控制点方向Rcp表示为跟踪器坐标中的三乘三矩阵，即

图8是用于将手的部分的方位映射至用来控制副外科器械(例如图1中远程操作的副外科器械之一)的夹紧器的夹紧闭合参数的过程流程图。该映射也将方位的瞬时变化映射成新的夹紧闭合参数和副器械末端的对应方位以及移动到该方位的速度。

开始，当进入过程800时，接收手方位数据过程810接收食指位置和方向(P_index，R_index)以及拇指位置和方向(P_thumb，R_thumb)，在这个例子中它们被储 存为数据811。食指位置和方向(P_index，R_index)以及拇指位置和方向(P_thumb，R_thumb)基于来自跟踪系统的数据。过程810转移到将方位数据映射至控制点和夹紧参数过程820

将方位数据映射至控制点和夹紧参数过程820利用食指位置和方向(P_index，R_index)以及拇指位置和方向(P_thumb，R_thumb)生成控制点位置P_cp和控制点方向R_cp，以及夹紧闭合参数g_grip。控制点位置P_cp和控制点方向R_cp，以及夹紧闭合参数g_grip储存为数据821。

一方面，在过程820中执行的控制点映射被定义以模拟已知主工具操纵器控制点方位的关键特性。因此，对拇指和食指运动的响应对于具有类似于外科医生操作台180B(图6B)的外科医生操作台的已知的远程操作的微创外科系统的使用者是熟悉的并且是直观的。

图9是用于将方位数据映射至控制点和夹紧参数过程820的更详细的过程流程图。首先，在过程820中，将手位置数据映射至控制点过程910由食指位置P_index和拇指位置P_thumb生成控制点位置P_cp的方位，即

p_cp＝0.5*(p_thumb+p_index)

控制点位置P_cp是食指位置P_index和拇指位置P_thumb的平均值。将手位置数据映射至控制点过程910转移过程到生成控制点方向过程920。

如上所述，控制点方向的Z轴与指向的方向对齐。在生成控制点方向的过程920的方面，Rodriquez轴线/角度公式用来定义用于控制点方向的Z轴指向方向矢量作为食指指向方向矢量和拇指指向方向矢量之间的半旋转。从拇指的方向R_thumb，拇指指向方向矢量为：

同样，从食指方向R_index，食指指向方向矢量为：

矢量ω是垂直于食指指向方向矢量和拇指指向方向矢量的矢量。矢量ω定义为食指指向方向矢量和拇指指向方向矢量的叉乘，即，

角度θ是食指指向方向矢量和拇指指向方向矢量之间的角幅度，角度θ定义为：

其中轴ω、角度θ、Z轴线指向方向矢量为：

因此，过程910已经生成控制点位置P_cp并且过程920的开始部分已经生成控制点坐标系790中的Z轴线的近似指向方向。人们能够对食指和拇指方向矢量进行插值，以类似的方式生成控制点单元矢量轴线和并且然后将它们再正交化以生成控制点方向矩阵。

但是，通过利用下面的映射从手指的跟踪方位能够实现较大的远程操作灵活性。这个映射利用食指和拇指的相对位置有效地滚动和偏摆控制点，好像操纵手指之间的小万向接头。过程920的其余部分被如下执行以生成完整的一组正交控制点单元矢量轴线and

通过这些矢量，控制点方向R_cp是

现在通过过程910和920，过程820已经将食指和拇指位置和方向(p_index，R_index)，(p_thumb，R_thumb)映射至控制点位置和方向(p_cp，R_cp)。过程820必需还生成夹紧闭合参数g_grip。因此，生成控制点方向过程920转移过程到生成夹紧闭合参数过程930。

在过程930中，夹紧闭合通过食指位置p_index和拇指位置p_thumb到有控制点位置Pcp和Z轴方向定义的中心线的距离来确定。这使得当食指和拇指接触时夹紧闭合对于滑动是不变的。

因此，食指位置p_index和拇指位置p_thumb映射到坐标系790中的Z轴线上。位置p_index-proj是食指位置p_index在坐标系790的Z轴线上的投影，并且拇指位置p_thumb-proj是拇指位置p_thumb在坐标系790的Z轴上的投影。

位置p_index-proj和位置p_thumb-proj被用来估计估值夹紧闭合距离d_val，即

d_val＝||p_index-p_{index_proj}||+||p_thumb-p_{thumb_proj}||

在这里，双平行线是双范数欧几里得距离的已知表示。估值夹紧闭合距离d_val通过最大距离阈值d_max和最小距离阈值d_min限制。如图7所示，传感器211、212之间的填充泡沫连接器210将手指限制在固定的间隔内，即，在最大距离阈值d_max和最小距离阈值d_min之间。此外，中间距离d₀对应当两个手指刚刚接触的间隔距离。

对于一组特定的传感器和连接器，最大距离阈值d_max、最小距离阈值d_min和中间距离d₀是根据经验确定的。一方面，传感器和连接器的三种不同组合提供给小的、中等的和大的手。由于每种组合中的连接器的长度不同，所以每种组合具有其自己的最大距离阈值d_max、最小距离阈值d_min和中间距离d₀。

过程930比较距离d_val和最小距离阈值d_min。如果该比较发现距离d_val小于最小距离阈值d_min距离，则夹紧闭合距离d被设置成最小距离阈值d_min。否则过程930比较距离d_val和最大距离阈值d_max距离。如果该比较发现距离d_val大于最大距离阈值d_max，则夹紧闭合距离设置为最大距离阈值d_max。否则夹紧闭合距离被设置为距离d_val。

对距离d_val执行测试，以确定夹紧闭合距离d被总结为：

其次，在过程930中生成夹紧闭合参数g_grip：

因此，最大距离阈值d_max和距离d₀之间的夹紧闭合距离d被映射至0和1之间的值。最小距离阈值d_min和和距离d₀之间的夹紧闭合距离d映射至-1和0之间的值。

当食指292B和拇指292A被间隔至连接器210允许的最大程度(图2A)时获得用于夹紧闭合参数g_grip的1值。当食指292B的末端和拇指292A的末端刚好接触(图2C)时获得用于夹紧闭合参数g_grip的0值。在0和1之间范围的值控制副外科器械的末端受动器的爪的打开/闭合。当食指292B和拇指292A接触并且连接器210在食指292B和拇指292A之间完全压缩(图2D)时获得夹紧闭合参数g_grip的-1值。在0和-1之间范围的值控制末端受动器的闭合爪的爪力。连接器210提供用于爪闭合的被动触觉提示。

将夹紧闭合距离d映射至两个范围之一的值的例子仅仅是说明性的而不是想要限制。这个例子是说明将夹紧闭合距离d映射至夹紧闭合参数g_grip的第一范围的值，以当夹紧闭合距离d大于中间距离d₀时控制副外科手术器械的末端受动器的爪的打开/闭合。在这里“打开/闭合”是指爪的打开和闭合。夹紧闭合距离d被映射至夹紧闭合参数g_grip的第二范围的值，以当夹紧闭合距离d小于中间距离d₀时控制末端受动器的闭合的爪的爪力。

因此过程820已经将食指位置和方向(P_index,R_index)以及拇指的位置和方向(P_thumb,R_thumb)映射至控制点位置和方向(P_cp,P_cp)以及作为数据821存储的夹紧闭合参数g_grip。过程820转移到映射至世界坐标过程830(图8)。

映射成世界坐标过程830接收数据821，并且将数据821映射至世界坐标系(见世界坐标系670(图6A))。具体说控制点位置和方向(P_cp,P_cp)以及夹紧闭合参数g_grip利用四乘四的齐次变换^wcT_tc映射至世界坐标控制点位置和方向(P_cp-wc,P_cp-wc)，该齐次变换将跟踪器坐标系750(图7)中的坐标映射至世界坐标系670中的坐标，例如

其中

^wcR_tc将跟踪器坐标tc中的方向映射至世界坐标wc中的方向，并且

^wcT_tc将跟踪器坐标tc中的位置转换成世界坐标wc中的位置。

夹紧闭合参数g_grip不被这个映射改变。世界坐标wc中的数据存储为数据831。过程830转移到映射至眼睛坐标过程840。

映射到眼睛坐标过程840接收世界坐标wc中的数据831并且将数据831映射至眼睛坐标系(见眼睛坐标系660(图6))。具体说，世界坐标控制点位置和方向(P_cp-wc,R_cp-wc)以及夹紧闭合参数g_grip利用四乘四齐次转换^ecT_wc映射至眼睛坐标控制点位置和方向(P_cp-ec,R_cp-ec)，该齐次转换将世界坐标系670(图6A)中的坐标映射至眼睛坐标系660中的坐标，例如，

其中

^ecR_wc将世界坐标wc中的方向映射成眼睛坐标中的方向ec，并且

^ect_wc是世界坐标wc中的位置转换成眼睛坐标ec中的位置。

此外，夹紧闭合参数g_grip不被该映射改变。眼睛坐标中的数据存储为数据841。过程840转移到生成速度过程850。

在过程800中，映射过程830和840作为两个不同的过程描述仅仅是为了容易说明。一方面，映射过程830和840组合以便利用四乘四齐次转换^ecT_tc将跟踪器坐标tc中控制点数据直接映射成眼睛坐标ec中的数据，该齐次转换将跟踪器坐标650(图6A)中的坐标映射成眼睛坐标系660中的坐标，例如，

在这方面，眼睛坐标中的控制点的位置P_ep-ec是：

p_{cp_ec}＝^ecT_tcp_{cp_tc,}

并且眼睛坐标中的控制点的方向R_cp-ep是：

R_{cp_ec}＝^ecR_wc^wcR_tcR_{cp_tc}

在一些方面，世界坐标映射可以被取消。在这种情况下，控制点数据从跟踪坐标系被直接映射至眼睛坐标系，而不用世界坐标系。

为了远程操作，需要位置、方向和速度。因此，生成速度过程850生成需要的速度。该速度可以用多种方式生成。一些装置，诸如惯性和陀螺仪传感器可以直接测量微分信号，以产生控制点的线速度和角速度。如果速度不能直接测量，在一方面过程850从眼睛坐标系中的方位测量估算该速度。

该速度可以利用在眼睛坐标系对采样间隔的有限差分来估算。例如，线速度V_cp-ec估算为：

而角速度ω_{cp_ec}估算为：

R_Δ＝R_{cp_ec}(t0)’*R_{cp_ec}(t1)

在生成速度过程850的另一方面，控制点线速度Vcp-tc和控制点角速度ω_cp-ec在跟踪器坐标系750(图7)中的跟踪器坐标中感测。在这方面，直接感测的控制点的线速度Vcp-tc和直接感测的控制点角速度ω_{cp_ec}是利用旋转^ecR_tc从跟踪器坐标系750旋转至眼睛坐标系660。具体说，利用如上定义的旋转映射

^ecR_tc＝^ecR_wc^wc R_tc

v_{cp_ec}＝^ecR_tcv_{cp_tc}

ω_{cp_ec}＝^ecR_tcω_{cp_tc}

生成速度过程850转移到发送控制命令过程860。过程860根据储存为数据851的位置、方向、速度和夹紧闭合参数对副外科器械发送合适的系统控制命令。

一方面，过程810到850通过手跟踪控制器130(图1)执行。控制器130在处理器131上执行手指跟踪模块135以执行过程810至850。在这方面手指跟踪模块135储存在存储器132中。过程850发送系统事件至系统控制器140，系统控制器140又执行过程860。

应当明白，手跟踪控制器130和系统控制器140实际上可以通过在处理器和固件上执行的硬件、软件的组合来实施。而且，这些控制器的功能，正本文中所描述的，可以由一个单元，或除不同部件外被划分的单元执行，每个单元又可以由 处理器和固件上执行的硬件、软件的任何组合来提供。当除不同的部件外被划分时，该部件可以集中在一个位置(location)或用于分布过程目的分布的交叉系统100中。

手势姿态和手势轨迹控制的过程

图10是系统100的手势姿态和手势轨迹控制的过程1000的一方面的流程图。在如上所述的一方面中，手势姿态识别过程1050利用多维贝叶斯分类器，而手势轨迹识别过程1060利用离散的隐马尔柯夫模型Λ。

如上所述，图3A至图3D是手势姿态的示例。为了训练手势姿态识别过程1050，规定许多手势姿态，所用的手势姿态的数目被定义能够由识别过程1050清楚地识别的独一无二的姿态的能力，和被外科医生记住并可靠地再生每个不同的手势姿态的能力所限制。

除了定义手势姿态之外，还定义包括多个特征f_i的特征组，其中i的范围从1到n。数字n是所用的特征的数目。特征的数目和类型选择成以便在该组允许的姿势中的每个手势姿态能够准确地识别。在一个方面，n是六。

下面是具有n个特征的一个特征组。

f₂＝||p_thumb-p_index||

...

特征f₁是食指292B的指向方向和拇指292A的指向方向的点积。特征f₂是食指292B和拇指292A之间的距离。特征f₃是在食指292B的指向方向上投影的拇指292A的距离。特征f₄是拇指292A沿着食指292B的指向方向到轴线的距离。特征f₅是拇指292A的指向方向的Z 分量。特征F_n是拇指292A的法向矢量和食指292B的指向方向的点积。

利用方法1000之前，必需建立手势姿态训练数据库。许多不同的使用者对每个手势姿态产生至少一个，并且利用跟踪系统测量用于每个使用者的每个手势姿态的位置和方向数据。例如在一组人中的每个人产生每个允许的手势姿态。对于一组人中的每个人的每个手势姿态，食指和拇指位置和方向(P_index,R_index)、(P_thumb,R_thumb)被储存在训练数据库中。

利用训练数据库，对于每个使用者的每个手势姿态产生一组特征{f_i}。然后对于每个手势姿该训练特征矢量组用来计算均值和协方差Σ_fi.。

因此，该训练数据库用来获得每个训练手势的特征矢量均值和协方差。此外，对于每个手势姿态，对每个训练者生成马氏距离d(fi)(见下面的讨论)，并且每个手势姿态的最大马氏距离d(fi)作为这个手势姿态的阈值储存。

人们可以利用马氏距离测量以验证所有的训练手势对于所用的给定的一组特征充分不同并且是清楚的。这能够通过测试给定手势特征矢量均值和所有其他允许的手势姿态的特征矢量均值来完成。对于给定的手势这个测试距离应当比所用的最大训练距离阈值距离大得多。

正如本领域的技术人员所知道的，隐马尔柯夫模型的参数需要两个模型参数N、M和三个可能性测量A、B、π的参数，隐马尔柯夫模型Λ表示为：

Λ＝(A、B、π)

模型参数N是该模型中的状态数目，而模型参数M是每种状态的观察符号数目。三个可能性测量是状态过渡可能性分布A、观察手势可能性分布B和初始状态分布π。

在一方面，对于离散的隐马尔柯夫模型，过渡可能性分布A是NXN矩阵。观察手势可能性分布B是NXM矩阵，而初始状态分布π是NX1矩阵。

给定观察序列O和隐马尔柯夫模型Λ，该观察序列O的可能性给出隐马尔柯夫模型Λ，即，P(O∣Λ)在过程1000中被评估，正如下面更全面的描述的。

为了生成隐马尔柯夫模型Λ的可能性分布，需要训练数据库。在获得训练数据库之前，规定一组手势轨迹。

测试对象j的数目选择成做出每个手势轨迹。虽然在图4C中，十六个手势轨迹以二维投影的形式出现，但是，当执行各种手势轨迹时，测试对象不受限制的，这允许一些三维变量产生。一方面，每个对象执行每个手势轨迹k次，这对每个 手势轨迹产生j*k训练序列。

一方面，利用离散的左右隐马尔柯夫模型。马尔柯夫模型Λ利用迭代的Baum-Welch方法选择成使得可能性P(O∣Λ)是局部最大的。见，例如，Lawrence R.Rabiner,“A Tutorial on Hidden Markov Models and Selected Applications in Speech Recognition,”Proceedings of the IEEE,Vol.77,No.2,pp.257-286(Feb.1989),其作为该方法领域的技术人员已知的隐马尔柯夫模型的演示结合于此供参考。一方面，当对于三个连续迭代该模型收敛在百分之0.1的范围内时迭代方法被停止。

初始状态可能性分布π设置为使得该模型总是用状态一开始。过渡可能性矩阵A用随机输入初始化，该随机输入以降序存储在逐行的基(row-by-row basis)上。为了加强左至右的结构，在过渡可能性矩阵A的下部对角线中的所有的输入设置为零。而且，大于两种状态的过渡不被设置输入为零所允许，其中对于所有的行i和列j，(i-j)>2。过渡可能性矩阵A在逐行基的末尾是规范化的。

对于观察可能性矩阵B的初始化根据希望的状态数目均匀地划分观察序列。因此每种状态能够根据局部频率计数初始地观察一个或多个具有可能性的符号。这个矩阵也在逐行的基上被规范化。见，例如，N.Liu,R.I.A.Davis,B.C.Lovell,P.J.Kootsookos,“Effect of Initial HMM Choices in Multiple Sequence Training for Gesture Recognition,”International Conference on Information Technology,5-7,Las Vegas,pgs 608-613(April 2004)，其作为本领域技术人员已知的隐马尔柯夫模型初始化过程的演示结合于此供参考。对于每个手势轨迹建立隐马尔柯夫模型。

回到方法1000，手势模型使能检查过程1001判断外科医生是否能够使能系统100的手势识别模式。一方面，为了使能手势识别模式，外科医生按压外科医生操作台185上的脚踏板(图1)。如果手势识别模式被使能，检查过程1001转移到接收手方位数据过程1010，否则通过返回1002返回。

接收手方位数据过程1010对于外科医生产生的手势接收食指位置和方向(P_index,R_index)以及拇指的位置和方向(P_thumb,R_thumb)。正如上面所指出的，食指位置和方向(P_index,R_index)以及拇指的位置和方向(P_thumb,R_thumb)基于来自跟踪系统的数据。过程1010转移到生成特征过程1011。

在生成特征过程1011中，食指位置和方向(P_index,R_index)以及拇指的位置和方向(P_thumb,R_thumb)用来产生观察特征矢量f_i-0中的每个特征f_1-0至f_n-0。生成特征过程1011转移到与已知的姿态比较特征过程1012。

与已知的姿态比较特征过程1012对于每个姿势比较观察的特征矢量f_i-0与训练 特征组{f_i}。这个过程确定对于特定的手势姿态确定观察特征矢量包括在训练数据集特征组{f_i}，即，对应于训练数据组的可能性。这可以表示为：

P(f_i-0∣Ω)

其中训练数据集特征组{f_i}来自目标分类Ω。

在这个例子，可能性P(f_i-0∣Ω)是：

其中N是特征矢量的维数，例如，上述例子中的n。

用来表示这种可能性的特性的统计量是马氏距离d(f_i-0)，其定义为：

其中对于本领域技术人员马氏距离是已知的，例如，见，Moghadam,Baback and Pentland,Alex,“Probabilistic Visual Learning for Object Representation,”IEEE Transactions On Pattern Analysis and Machine Intelligence,Vol.19,No.7,pp.696to 710(July 1997)，其结合于此供参考。

利用协方差Σ_fi,的本证矢量Ф和本征值Λ被用在对角线形式中，因此马氏距离d(f_i-0)为：

其中该对角线形式使得马氏距离d(f_i-0)能够表示为和的形式：

在这个例子中，这是被评估以确定马氏距离d(f_i-0)的表达式。当完成时，过程1012转移到选择姿态过程1013。

在选择姿态过程1013中，如果马氏距离d(f_i-0)小于训练数据库中对于这个手势姿态的最大马氏距离，则具有最小马氏距离d(f_i-0)的手势姿态被选择。如果马氏距离d(f_i-0)大于训练数据库中对于这个手势姿态的最大马氏距离，则没有手势姿态被选择。选择姿势过程1013转移到时间滤波器过程1014。

时间滤波器过程1014确定过程1013的结果是否已经为预定的次数连续地提供同样的结果。如果过程1013已经为预定的次数提供同样的结果，则时间滤波器过程1014转移到手势姿态检查过程1015，否则返回。该预定的次数选择成使得当在手势姿态之间转换时时间滤波器过程1014防止振荡或瞬时检测。

手势姿态检查过程1015判断选择的手势姿态是否是用在手势轨迹中的手势姿态。如果选择的手势姿态是用在手势轨迹中的手势姿态，则手势姿态检查过程1015转移过程到生成速度序列过程1020，否则转移过程到姿势改变过程1016。

姿势改变过程1016判断该手势姿态是否已经从最后传递(last pass)通过方法1000改变。如果选择的手势姿态与紧临前面的时间过滤的手势姿态结果相同，则姿势改变过程1016通过返回1003返回，否则转移到映射成系统事件过程1030。

映射成系统事件过程1030将选择的手势姿态映射至系统事件，即查找分配至手势姿态的系统事件。当发现系统事件时，映射成系统事件过程1030转移过程到引入系统事件过程1031.

一方面，引入系统事件过程1031将系统事件发送到系统控制器140中的事件处理器(图1)。响应该系统事件，系统控制器140发送适当的系统命令给系统100中的控制器和/或其他设备。例如，如果手指姿势被分配接通用户界面事件，则系统控制器140发送命令给显示控制器150以接通用户界面。显示控制器150执行接通该用户界面所需要的处理器150上的用户界面模块155的一部分。

当手势姿势是用在产生轨迹中的手势姿态时，方法1000中的过程从手势姿态检查过程1015转移到生成速度序列过程1020。一方面，用于手势轨迹识别的主特征(principal feature)是单元速度矢量。该单元速度矢量对于手势开始的位置是不变的。此外，规范化速度矢量根据该手势的大小和速度的变化。因此，在过程1020中，控制点采样被转换成规范化控制点速度序列，即，转换成单元速度矢量的序列。

v_{cp_ec}(t)＝x_{cp_ec}(t)-x_{cp_ec}(t-1)＝[Δx_{cp_ec},Δy_{cp_ec},Δz_{cp_ec}]′

对于t＝1,2,...,N-1

当完成生成速度序列过程1020时，过程1020转移过程到将速度序列转换成符号序列过程1021。正如上面所指出的，离散的隐马尔柯夫模型Λ需要离散的符号序列作为输入。在过程1021中，离散的符号通过矢量量化从规范化的控制点速度序列生成。

一方面，矢量量化利用改进的K均值在当聚类分配(clustering assignment)停止变化时该过程停止的条件下执行。虽然K均值聚类被使用，但是该过程平衡(leverage)其特征是单元矢量的事实。在这种情况下，在一个方向类似的矢量被聚类。由于相似性准则(similarity metric)，这是利用每个单元特征矢量和规范化聚类中心矢量之间的点积来完成。

该聚类用矢量随机分配初始化到三十二聚类并且整个过程被迭代多次，其中最好的聚类结果根据最大的总的“在聚类成本(cost)准则内”来选择。应当指出，在这种情况下，“在聚类成本(cost)内”是基于相似性的测量。每个合成的聚类被分配唯一索引，其用作隐马尔柯夫模型的符号。然后输入矢量被映射成其最接近的聚类均值，并且该聚类对应的索引被用作符号。以这种方式，单元速度矢量的序列能够转换成索引或符号的序列。

一方面，聚类矢量根据八向二维矢量量化代码簿被分配符号。因此，过程1020生成观察符号序列并且转移到生成手势可能性过程1023。

一方面，为了确定哪个手势对应于观察符号序列，生成手势可能性过程1023利用具有隐马尔柯夫模型的向前递归算法，以发现每个手势匹配该观察符号序列 的可能性。向前递归算法公开在Rainer,“A Tutorial on Hidden Markov Models and Selected Applications in Speech Recognition,”中，其在前面通过参考结合于此。当完成生成手势可能性过程1023时，过程转移到选择轨迹过程1024。

在选择轨迹过程1024中，手势轨迹最可能来自允许的隐马尔柯夫模型之中。。这种可能性也一定大于被接受的给定阈值。如果最高可能性不大于该阈值，则没有手势轨迹被选择。这种可能性必需也大于可接受的给定的阈值。这个阈值应当调整成最大识别精度同时避免错误识别。

当完成时，选择轨迹过程1024转移过程到轨迹发现检查过程1025。如果选择轨迹过程1024选择手势轨迹，则轨迹发现检查过程1025转移过程到映射至系统事件过程1030，否则通过返回1004返回。

映射至系统事件过程1030将选择的手势轨迹映射至系统事件，例如，查找分配手势轨迹的系统事件。当发现系统事件时，映射成系统事件过程1030转移过程到引入系统事件过程1031。

一方面，引入系统事件过程1031将该系统事件发送给系统控制器140(图1)中的事件处理器。响应该系统事件，系统控制器140将适当的系统命令发送给适当的控制器或设备。例如，如果系统事件在用户界面中被分配动作，则系统控制器140将命令发送给显示控制器150以在用户界面中采取动作，例如改变外科手术部位的观察模式。

出现检测的过程

另一方面，如上所述，外科医生180B的手的至少一部分的跟踪位置用来确定该手是否出现在主操纵器末端受动器621中。图11是通过系统100中的手跟踪控制器130进行的出现检测的过程1100的一方面的流程图。一方面对于每个外科医生的手过程1100被间隔执行。

在获得连接角过程1110中，测量主工具操纵器620(图6B)的连接角。得到连接角过程1110转移过程到生成向前运动学过程1111。

由于主工具操纵器620中的各种连接的长度是已知的并且主工具操纵器620的底座629的位置是已知的，几何关系用来差产生主工具夹紧器621在主工作空间坐标系680中的方位。因此，生成向前运动学过程1111利用来自过程1110的角度生成主工具夹紧器621在主工作空间坐标系680中的位置P_mtm。生成向前运动学过程1111转移过程到映射至世界坐标过程1112。

映射至世界坐标过程1112将主工作空间坐标系680中的位置P_mtm映射至世界 坐标系670(图6A)中的位置P_mtm-wc。具体说，

p_{mtm_wc}＝^wcT_ws*p_mtm

其中^wcT_ws是四乘四齐次刚性变换，其将工作空间坐标系680中的坐标映射至世界坐标系670中的坐标。

当完成时，映射到世界坐标过程1112转移过程到将手生成到末端受动器间隔过程1130

返回到接收手方位数据过程1120，接收手方位数据过程1120接收(修正)食指位置和方向(P_index,R_index)以及拇指的位置和方向(P_thumb,R_thumb)。食指位置和方向(P_index,R_index)以及拇指的位置和方向(P_thumb,R_thumb)基于来自跟踪系统的数据。接收手方位数据过程1120转移过程到生成手位置过程1121。

生成手位置过程1121将食指位置和方向(P_index,R_index)以及拇指的位置和方向(P_thumb,R_thumb)映射至如上所述的跟踪坐标系中的控制点位置和方向，并且其描述结合于此供参考。位置P_hand是跟踪坐标中的控制点的位置。生成手位置过程1121转移过程到映射到世界坐标过程1122。

出现检测中利用控制点位置仅仅是说明性的而不是想要限制。考虑到本发明，出现检测，例如，可以利用食指末端的位置和利用拇指末端的位置来进行，或者仅仅利用这两个位置中的一个来进行。下面描述的过程是用于与人手部分有关的这些各种位置的每个的同等物。

映射到世界坐标过程1122将跟踪坐标中的位置P_hand映射至世界坐标系670(图6A)中的位置P_hand-wc。具体说，

P_{hand_wc}＝^wcT_tc*p_hand

其中^wcT_tc是四乘四齐次刚性转换，该转换将将跟踪坐标系650中的坐标映射至世界坐标系670中的坐标。

当完成时，映射到世界坐标过程1122转移过程到将手生成到末端受动器间隔过程1130。

将手生成到末端受动器间隔过程1130生成世界坐标系670中的位置P_mtm-wc和世界坐标系670中的位置P_hand-wc之间的间隔距离d_sep。一方面，该间隔距离d_sep是：

d_sep＝||p_{mtm_wc}-p_{hand_wc}||

当完成时，将手生成到末端受动器间隔过程1130转移过程到距离安全检查过程1131。

距离安全检查过程1131将间隔距离d_sep与安全距离阈值进行比较。这个阈值应当足够小到是保守的，同时让然允许外科医生改变抓握或操纵末端受动器的最远端。如果间隔距离d_sep小于安全距离阈值，则距离安全检查过程1131转移到手出现存在过程1140。相反的，如果间隔距离d_sep大于安全距离阈值，则距离安全检查过程1131转移到手出现不存在(off)过程1150。

手出现存在过程1140判断系统100是否处于远程操纵中。如果系统100处在远程操纵中，则不需要动作并且允许远程操作继续，因此过程1140转移到开始过程1100结束。如果系统100不处在远程操中，则手出现存在过程1140发送手出现事件到引入系统事件过程，该系统事件过程又将该手出现事件发送给系统控制器140。

手出现不存在过程1150判断系统100是否处于远程操作中。如果系统100不处在远程操作中，则不需要动作并且因此过程1150转移到开始过程1100结束。如果系统100处在远程操中，则手出现不存在过程1150发送手未出现事件到引入系统事件过程，该系统事件过程又将该手出现事件发送给系统控制器140。

系统控制器140判断手出现事件或手不出现事件对系统操作模式是否需要任何改变并且发布适当的命令。一方面，如果远程微创外科器械连接于主工具夹紧器，系统控制器140响应手出现事件能够实现远程操作，例如，允许远程操作，并且响应手未出现事件不能实现远程操作。正如本领域技术人员所熟知的，远程微创外科器械能够与主工具夹紧器连接，也能够与主工具夹紧器脱离。

另一方面，手出现事件和手未出现事件被系统控制器140利用与其他事件组合，以判断是否允许远程操作。例如，在确定是否允许远程操作中外科医生的头的出现检测可以与外科医生的手的出现检测组合。

同样，如上所述，手出现事件和手未出现事件被系统控制器140利用，以控制用户界面在微创外科系统中的显示器上的显示。当系统控制器140接收到手未出现事件时，如果用户界面不接通，系统控制器140发送命令给显示控制器150，以接通由用户界面。显示控制器150执行接通用户界面所需要的处理器150上的用户界面模块155的一部分。当系统控制器140接收到手出现事件时，如果用户界面接通， 则系统控制器140发送命令给显示控制器150以断开用户界面。显示控制器150执行断开用户界面所需要的处理器150上的用户界面模块155的一部分。

手出现事件和手未出现事件被系统控制器140利用与其他事件组合，以判断是否显示用户界面。因此，用户界面显示控制和远程操作控制是利用出现检测的系统模式控制的示例，而不是想要限制在系统控制的这两个具体的模式中。

例如，出现检测可以用在代替物图像控制中，例如在下面更全面地描述的控制。而且各种模式的组合，例如，远程操作和代替物图像显示，可以根据手出现事件和手未出现事件由系统控制器140控制。

而且，手出现检测在消除主工具夹紧器621L、621R的双重目的是有用的，例如，压下脚踏板，然后利用主工具夹紧器621L、621R控制在外科医生操作台185B中显示的用户界面。当主工具夹紧器是双重目的时，例如，用在控制外科手术器械和用户界面两者中，外科医生通常压下脚踏板以转换到操作的用户界面模式中。如果由于某些原因，外科医生不能压下脚踏板，但是相信系统已经转移转换到操作的用户界面模式，主工具夹紧器的运动能够导致不想要的外科手术器械的运动。出现检测过程1100用来防止这个问题并且消除主工具夹紧器的双重目的。

由于出现检测过程1100，在一个示例中，当手出现不存在事件被系统控制140检测到时，系统控制器140发送系统命令以锁定主工具夹紧器621L、621R(图6A)在适当位置，并且发送系统命令给显示控制器150，以使用户界面出现在外科医生操作台185B的显示器上。外科医生的手的运动被跟踪并且用来控制用户界面中的元件，例如，移动滑动开关，改变显示等。正如上面所指出的，控制点被映射到眼坐标系中并且因此能够与用户界面中的元件的方位有关。控制点的运动用来操纵该元件。这个被完成而没有外科医生起动接脚踏板并且这样做使得外科医生不能可逆地移动外科手术器械。因此这消除与利用主工具夹紧器控制外科手术器械和用户界面两者有关的问题。

在上面的实例中，世界坐标系是公用坐标系的示例，利用世界坐标系作为公用坐标系是说明性的而不是想要限制。

主手指跟踪夹紧器

图12是示出主手指跟踪夹紧器1270的一个示例。主手指跟踪夹紧器1270是主手指跟踪夹紧器1270、2270的一个示例。

主手指跟踪夹紧器1270包括可压缩的主体1210和两个手指圈1220、1230。可压缩的主体1210具有第一端1213和第二端1214。主体部分1215在第一端1213和第 二端1214之间延伸。

可压缩的主体1210具有外部外表面。该外部外表面包括第一部分1216和第二部分1217。第一部分1216，例如上部分，在第一端1213和第二端1214之间延伸。第二部分1217，例如下部分，在第一端1213和第二端1214之间延伸。第二部分1217与第一部分1216相对并且可以从第一部分1216拆卸。

一方面，该外部外表面是织物壳体的表面。该织物适合于在手术室中使用。该织物壳体封闭可压缩的泡沫。泡沫选择成提供压缩阻力，并且当压缩消除时能够膨胀。一方面，若干个泡沫条被包括在织物壳体内。该泡沫也必需能够被弯曲以便当第一手术指的末端朝着第二手指的末端移动时，第一部分1216位于人手的第一和第二手指之间。

主体部分215在第一手指圈1220和第二手指圈1230之间具有长度L。正如上面所说明的，长度L选择成限制第一手指圈1220和第二手指圈1230之间的间隔(件图2A)。

一方面，主体部分1215具有厚度T。正如图2C所示，厚度T选择成以便当主手指跟踪夹紧器1270构造成使得邻近端部1214的外部外表面的第二部分1217的区域1236和邻近端部1213的第二部分1217上的区域1226刚好碰到时，沿着长度L的第二部分1217不完全与其自身接触。

第一手指圈1220靠近第一端1213固定于可压缩的主体1210。圈1220围绕可压缩的主体1210的外部外表面的第一部分1216的区域1225延伸。当第一手指圈1220放置在人手的第一手指上时，区域1225接触第一手指，例如，外部外表面的第一部分1216的第一部分接触拇指。

在这个示例中，第一手指圈1220具有两端，第一织物端1221A和第二织物端1221B。端部1221A和端部1221B是固定在主体1210上的织物条的端部。一个圈织物件1222B连接于端部1221B的内表面，而一个圈织物件1222A连接于端部1221A的外表面。钩子织物和圈织物的例子是由尼龙织物的两个条构成的尼龙紧固带，一个具有微小的钩状的多股线，另一个具有粗糙的表面。当压在一起时两个条构成牢固的连接。市场上能够得到的紧固带的例子是紧固带(是Velcro Industries B.V的注册商标)。

第二手指圈1230靠近第二端1214固定于可压缩的主体1210。圈1230围绕可压缩的主体1210的外部外表面的第一部分1216的区域1235延伸。当第二手指圈1230放置在人手的第二手指上时，区域1235接触第二手指，例如，外部外表面的第一部分1216的第二部接触食指。第一部分的第二部1235与第一部分的第一部1225相 对并且可以从第一部分的第一部1225拆卸。

在这个示例中，第二手指圈1230也具有两端，第一织物端1231A和第二织物端1231B。端部1231A和端部1231B是固定在主体1210上的织物条的端部。一个圈织物件1232B连接于端部1231B的内表面，而一个圈织物件1232A连接于端部1231A的外表面。

第一方位跟踪传感器1211固定于第一手指圈1220。第二方位跟踪传感器1212固定于第二手指圈1230。方位跟踪传感器可以是上面所述的任何传感器元件。在一个例子中，方位跟踪传感器1211、1212是无源电磁传感器。

代替物图像系统

一方面，手跟踪控制系统用来控制能够被外科医生使用的多个代替物图像的任何一个以监督(proctor)另一外科医生。例如，当外科医生180(图1)被外科医生181利用主手指根据夹紧器170监督时，外科医生181利用利用主手指跟踪夹紧器170控制外科器械的代替物图像，同时外科医生180利用主工具夹紧器控制远程操作的副外科器械。

可选地，外科医生181可以画标记或能够控制在显示器中的虚拟手。而且，外科医生181通过操作出现在该显示器中的主工具夹紧器621的虚拟图像能够演示如何操纵外科医生操作台上的主工具夹紧器。代替物图像的这些例子仅仅是说明性的，而不是想要限制。

而且，在不在外科医生操作台上时，利用主手指跟踪夹紧器170也是说明性的而不是想要限制。例如，用上面所述的出现检测系统，在外科医生操作台上的外科医生能够从主工具夹紧器移动手，并且然后当这只手被手跟踪系统跟踪时利用这只手监督另一个外科医生。

为了便于监督，代替物图像模块(未示出)一方面作为图像过程子系统的一部分被处理。在这方面，执行的模块接收监督者的手的控制点的位置和方向，并且提供实时的并且显示在外科医生操作台185的任何组合上的内窥镜摄像机图形立体图像给助理医生显示器和病人侧外科医生界面显示器187。

当外科医生1181通过采取预先规定的动作，例如手势姿态，起动监督时，代替物图像系统回路被起动，例如，代替物图像模块在处理器模块上被执行。用作预定的动作的具体的动作，例如，手势姿态，不是关键的，只要系统控制器140(图1)构造成识别这个动作即可。

一方面，代替物图像是被主手指跟踪夹紧器170控制的虚拟的幻像器械1311(图13)，同时远程操作的副外科器械1310被外科医生操作台185的主工具操纵器之一控制。外科医生181在显示装置187中看见器械1310和1311两者，而外科医生180在外科医生操作台185的立体显示器中看见器械1310和1311两者。利用虚拟的幻像器械1311作为代替物图像仅仅是说明性的而不是想要限制于这个具体的图像。鉴于本发明，另一种图像可以用于代替物图像，这便于表示代替物图像的图像和远程操作的副外科器械的实际的末端受动器的图像之间的区别。

除了虚拟的幻像器械1311以显然不同于实际的器械1310的方式(例如，透明的或半透明的幻影图像、不同颜色的图像等)被示出之外，虚拟的幻像器械1311类似于实际的器械1310出现。虚拟的幻像器械1311的控制和操作与上面描述的用于实际的远程操作的外科器械是相同的。因此，外科医生181能够利用主手指跟踪夹紧器170操纵虚拟的幻像器械1311以演示正确使用远程操作的副外科器械1310。外科医生180能够用器械1310模仿虚拟的幻像器械1311的运动。

虚拟的幻像器械更详细地公开在共同授予的美国专利申请公开号US 2009/0192523 A1(2009年3月31日提交的公开为“Synthetic Representation of a Surgical Instrument”)中，其整个内容结合于此供参考。还见，美国专利申请号12/485,503(2009年6月16日提交的公开为“Virtural Measurement Tool for Minimally Invasive Surgery”)；美国专利申请公开号US 2009/0036902 A1(2008年8月11日提交的公开为“Interactive User Interfaces for Robotic Minimally Invasive Surgical Systems”)；美国专利申请公开号US 2007/0167702 A1(2005年12月30日提交的公开为为“Medical Robotic System Providing Three-Dimensional Telestration”)；美国专利申请公开号US 2007/0156017 A1(2005年12月30日提交的公开为“Stereo Telestration for Robotic Surgery”)以及美国专利申请公开号US 2010/0164950 A1(2009年5月13日提交的公开为“Efficient 3-D Telestration for Local Robotic Proctoring”)，上述每个其整个内容结合于此供参考。

另一方面，代替物图像是由主手指根据夹紧器170和图1中看不见的第二手指跟踪夹紧器控制的一对虚拟的手1410、1411(图14)。远程操作的副外科器械1420、1421由外科医生操作台185的主工具操纵器控制。外科医生181看见显示装置187中的视频图像1400，而外科医生180也看见外科医生操作台185中的立体显微镜显示器中的视频图像1400。虚拟的手1410、1411以明显不同于视频图像1400中的其他物体的方式显示。

虚拟的手的拇指和食指的打开和闭合利用上面描述的夹紧闭合参数g_grip控制。 虚拟手的位置和方向如上面所述通过控制点的位置和方向来控制，也如上所述其被映射到眼坐标空间。

因此，外科医生181以三维方式移动该外科医生的右手，虚拟手1411跟随视频图像1400中的运动。外科医生181能够滚动虚拟手1411以指示外科医生180滚动远程操作的副外科器械1421。外科医生181能够移动虚拟的手1410到具体的方位，并且然后利用拇指和食指运动指示外科医生180移动远程操作的副外科器械1420到这个方位并且抓住该组织。当外科医生180用器械1420抓住该组织时，外科医生181能够用虚拟的手1410指示外科医生180如何移动该组织。这些全部实时发生，并且虚拟的手1410、1411重叠在立体显微镜内窥镜图像上。但是代替物图像也可以用在单镜头系统中。

另一方面，外科医生181利用手势姿态改变显示模式使得代替物图像是虚拟的幻象器械1500(图15)。远程间隔装置1511由主手指根据夹紧器170控制，而图1中看不见的第二手指跟踪夹紧器控制虚拟的手1511.

远程操作的副外科器械1520、1521由外科医生操作台185的主工具操纵器控制，外科医生180也看见显示装置187中视频图像1500。虚拟的间隔装置1511和虚拟的幻象器械1411以是它们明显不同于视频图像1500中的其他物体的方式被显示。

为了用虚拟的远程间隔装置1511远程间隔，外科医生181将拇指和食指放在一起好像抓住假想的铅笔或钢笔，并且然后在拇指和食指在这个位置的情况下移动右手，以在显示的视频图像中远程间隔。在视频图像1500中，外科医生181这样方位拇指和食指，并且使标记1512示出将要用外科器械1521切割的组织。在做出标记1512之后，外科医生1810间隔拇指和食指并且移动虚拟的远程间隔装置1511到视频图像1500中所示的位置。

虚拟的远程间隔装置1511的做标记的能力利用上面所述的夹紧闭合参数g_grip控制。正如上面所指出的，当拇指和食指刚刚接触时，夹紧闭合参数g_grip被映射成第二范围的初始值，并且因此，当夹紧闭合参数g_grip处在第二范围内时，远程间隔装置1511能够实现远程间隔。在被映射到眼坐标系之后控制点位置和方向用来控制虚拟的远程间隔装置1511。

上面的描述和示出本发明的各方面和实施例的附图不用作限制——权利要求限定的保护的发明。在不脱离本说明书和权利要求的精神实质和范围的情况下可以进行各种机械的、组合的、结构的、电的和操作的变化。在一些例子中，为了避免本发明模糊不清，没有详细示出或没有详细描述的熟知的电路、结构和方法。

而且，本说明书中的一些术语不是想要限制本发明。例如，特别是相对的术语——“在下面”、“在…之下”、“低于”、“在…上方”、“上部”、“附近”、“远离”等——可以用来描述图中所述的一个元件或特征与另一个元件或特征的关系。这些空间的相互关系旨在除了附图中所示的这个位置和方向之外还包括装置和操作中的不同的位置(即，方位)和方向(即，旋转)。例如，如果在附图中该装置被翻转，在另一个元件或特征下面或之下的所描述的元件于是将在另一个元件或特征的上面或之上。因此，实例性的术语“在…之下”可以包括“在…之上”和“在…之下”两个位置和方向。装置可以是另外的方向(转90度或在另一种方向)并且这里所用的空间关系描述这样解释。因此，沿着和围绕各种轴线的运动的描述包括各种特定的位置和方向。

单数形式“一”、“一个”、“这个”旨在还包括复数形式，除非上下文中另外指出。术语“包含”、“由…构成”、“包括”等规定所述特征、步骤、操作、过程、元件和/或部件的出现，但是不排除一个或多个特征、步骤、操作、过程、元件、部件和/或组的出现或增加。作为连接描述的部件可以是电、机械地直接连接，或它们可以经由一个或多个中间部件间接连接。

存储器是指易失性存储器、非易失性存储器，或其两者的任何组合。处理器连接于包括由该处理器执行的命令的存储器。这可以在计算机系统内完成，或者可选地经由调制解调器和模拟线路或数字接口和数字输送线连接于另一个计算机。

在这里，计算机程序产品包括构造成储存用于关于手跟踪的所述过程的任何一个或任何组合所需要计算机可读的编码的媒质，或用于关于手跟踪的所述过程的任何一个或任何组合所需要计算机可读的编码存储在其中的媒质。计算机程序产品的一些例子包括CD-ROM盘、DVD盘、闪存存储器、ROM卡、软盘、磁带、计算机硬件装置、网络上的服务器和表示计算机可读的程序编码的网络上的信号传输。非暂时的实质的计算机程序产品包括构造成关于各种控制器储存用于所述过程的一个或任何组合的计算机可读命令的非暂时的实质的媒质，或关于各种控制器用于所述过程的一个或任何组合的计算机可读命令存储在其中的非暂时的实质的媒质。非暂时实质的计算机程序产品包括CD-ROM盘、DVD盘、闪存存储器、ROM卡、软盘、磁带、计算机硬件装置和其他非暂时的物理存储介质。

鉴于本发明，关于手跟踪所述的过程的任何一个或任何组合所用的命令可以利用操作系统和用户感兴趣的计算机编程语言在各种计算机系统结构中执行。

利用图1中的各种存储器和处理器仅仅是说明性的而不是想要限制。在一些方 面，可以用单个硬件处理器而在其他方面可以用多个处理器。

而且，对于每个说明，各种过程分布在手跟踪控制器和系统控制器之间。这也是说明性的而不是想要限制。各种过程可以分布在控制器中或固化在控制器中而不改变手跟踪过程中的操作原理。

所有的实例和说明性的参考都是非限制性的并且不应当用来将权利要求限制在具体的装置和这里所述的实施例和其等同物中。标题仅仅是为了形式而不应当用来以任何方式限制主题，因为在一个标题下的正文可以交叉参考而不应用于一个或多个标题下的正文。最后，根据本发明与一方面或实施例相关的关系中所描述的具体特征可以应用于本发明的其他公开的方面或实施例，虽然在附图和没有具体示出在上下文中没有描述。