用于定位图像中手术器械的基准标记设计和探测的制作方法

专利名称：：用于定位图像中手术器械的基准标记设计和探测的制作方法
技术领域：
：本非临时申请要求美国临时专利申请No.61/204，084(2008年12月31日提交)在35U.S.C§119(e)下的权益，其全部内容包括在此以供参考。本申请涉及美国非临时专利申请No.12/4，691(同时提交)[代理人案号No.ISRG01910/US,名称为“ConfigurationMarkerDesignandDetectionforInstrumentTracking”]，并且涉及美国临时专利申请No.61/203，975(2008年12月31日提交)，两者的全部内容包括在此以供参考。
背景技术：
：微创手术(surgical)技术目的在于降低诊断或手术程序期间损伤的外部组织的量，从而减少患者的康复时间、不适以及有害副作用。结果，使用微创手术技术，能够显著缩短标准手术的住院时间的平均长度。同样，通过微创手术技术，也可减少患者康复时间、患者不适、手术副作用以及患者休假时间。微创手术的一种普通形式是内窥镜检法(endoscopy)，而内窥镜检查法的一种普通方式是腹腔镜检法，其为腹腔内的微创检查和手术。在标准的腹腔镜检法手术中，向患者的腹部吹入气体，而插管套管穿过小切口(大约1/2英寸或更小)，从而提供腹腔镜检法器械(instrument)的进入端□(entryport)。腹腔镜手术器械通常包括腹腔镜或内窥镜(用于观察手术地点(surgicalfield))以及工作工具。工作工具类似于传统(开放)手术中使用的工具，除了每个工具的工作末端或末端执行器(endeffector)都通过伸缩管而与其把手分离。在此使用的术语“末端执行器”意思是手术器械的实际工作部分，并且能够包括例如夹钳、抓紧器、手术剪、吻合器(stapler)以及持针器(needleholder)。为了执行手术程序，外科医生使这些工作工具或器械穿过插管套管，到达内部手术部位(surgicalsite)，并且从腹部外部操作这些工具。外科医生通过显示源自腹腔镜的手术部位影像的监控器观察手术过程。类似的内窥镜技术在例如以下领域使用，即关节镜检查、腹腔镜肾脏输尿管切除术、盆腔镜检查、肾镜检查、膀胱镜检查、膀胱镜术、鼻窦内窥镜检查、子宫镜检查、尿道镜检查等等。为了在内部手术部位中工作，以及为了允许外科医生从远方为患者手术，所以发展微创远程手术机器人系统。在远程手术系统中，通常在控制台向外科医生提供手术部位的影像。外科医生在观察适当的观察器或者显示器上的手术部位的三维(3-D)影像的同时，通过操作控制台主输入或控制装置而对患者实施外科手术。每个主输入装置都控制机械伺服操作的手术器械的运动。在外科过程期间，响应主输入装置的操作，远程手术系统能够机械致动并控制具有为外科医生执行各种功能的末端执行器的多种手术器械或工具，所述功能例如握住或推进手术针、抓住血管、解剖组织等等。然而在手术过程期间，外科医生可操作工具，从而在内窥镜的视野外移动其末端执行器，或者由于流体或其他干涉物体的阻挡而难以看到末端执行器。在该情况下，能够在工作站的显示屏上向外科医生提供末端执行器的定位和/或标识的帮助将有用。能够使用关于工具的3-D姿态(位置和方向)的准确信息，从而提供该帮助。通常，工具的3-D姿态的准确信息对于许多影像手术定位和用户界面应用都很重要。已使用的提供准确工具跟踪的方法包括基于动力学的姿态信息和源自影像的姿态信息的结合。该工具跟踪信息的结合能够提供两种数据类型的优点，而排除关联的缺点。虽然可以通过非常高的更新率获得运动学接点数据(kinematicsjointdata)，但是由于在每个接点的误差累积，而位于远离工具的接点中的误差对于准确度具有更大的影响，运动学评估姿态可不是非常准确。相反，源自影像的工具姿态评估能够高度准确，但是可通过对于许多实时应用有用的较慢更新率运行。通过使用更准确的源自影像的工具姿态评估修正较高更新率的运动学姿态评估，能够获得更准确的较高更新率的工具姿态评估。许多现有技术对于手术工具跟踪有用。在一种方法中，使用光学跟踪器跟踪标记(marker)组合件的位置，后者连接患者体外的手术器械上的某一位置。然而，光学跟踪器需要专用立体摄像机以及专用的照明设备，其占据本已拥挤的手术室空间。由于有可能碰撞，该光学跟踪器的配属也降低了机器人臂的运动范围。从3-D姿态到手术工具尖端的传播也能够产生一些水平的误差。另外的问题包括需要额外的空间、有限的可见范围、手术室中的额外硬件装备以及成本。另外一种方法使用电磁跟踪器，其具有自身的相关缺点。例如，大多数手术器械具有能够引起变形的金属部分，由于连接一个工具尖端的电磁跟踪器和邻近的手术工具的金属组件之间的距离变化，该变形能够及时改变。电磁跟踪器也伴随额外的成本。计算刚性主体关于摄像机的3-D姿态是计算机/机器人视像系统中经充分研究的问题。可通过以下方法解决3-D姿态，即始于物体的已知特征，并且匹配这些特征与图像中的其二维0-D)对应。通常使用例如点和线段这样的特征。从单一2-D图像确定刚性主体的3-D姿态在计算机视像系统中被称为“姿态评估”(参考ChristopheDoignon,"SceneReconstruction,PoseEstimationandTracking”的引言，2007年)。如果使用基于点的对应，则问题称为“η点透视”，其中η是对应的数目。三个非共线点提供四个解。四个或更多非共线点提供唯一解。能够使用两种方法实现使用立体摄像机的刚性物体3-D姿态确定。首先，3-D姿态的确定能够作为一种最优化问题解决，其中选择提供这样的投影(projected)3-D点之间的最佳解，该点具有两个图像中的图像对应。在其他方法中，能够使用两个视野中的图像点，从而使用立体三角测量确定相应的3-D点，而通过求解确定的3-D点和相应的模型点之间的刚体变换而确定相对姿态(参考A.Lorusso,D.W.Eggert和R.B.Fisher,"Acomparisonoffouralgorithmsforestimating3-drigidtransformations",1995年)。然而，许多因素都能够妨碍获得源自图像的工具姿态评估的能力。举例来说，仅当物体的特征处于成像装置的视野之内时，才能够获得源自图像的评估并且将其提取。可防止提取特征的一些因素包括通过解剖结构或其他器械阻碍该特征，最快的器械或摄像机运动引起的图像质量降低(即运动模糊)，不利的照明条件(例如当光太强时饱和，当光太弱时对比度缺乏，由于光源、器械和成像装置的相对外形构造引起的强单向反射性)以及复杂的背景杂斑。因此，为了增加可得到准确的工具姿态评估的比率，更可靠的源自图像的工具姿态评估将有益，其依次可帮助提供更准确的全工具跟踪。因此，期望提供改善的源自图像的工具姿态评估的改进的方法和系统，特别是哪些对于以下不利条件不敏感的方法和系统，例如阻碍、运动模糊以及不利的照明条件。
发明内容依照实施例，提供使用来自一个或更多工具定位参考特征的源自图像的数据执行3-D工具跟踪的改善系统、方法和工具。使用一个或更多参考特征能够通过提供一个或更多能够更可靠地取像并处理的特征而提供改善的源自图像的工具姿态评估。在微创手术期间，有效并且可靠的源自图像的工具姿态评估能够特别有用，其中准确和可靠的工具跟踪能够提供许多优点，例如向外科医生提供对于阻碍或视野外工具的定位的帮助。然而，应明白，公开的系统、方法和工具能够用于人体内部和外部的多种应用，以及非手术工具跟踪应用。通常，工具的3-D姿态的准确信息对于多种图像引导和用户界面应用都很重要。因而，为了提供对本发明的基础理解，下文提出本发明的有些实施例的简单概要。本概要不是本发明的完整描述。无意确定本发明的关键/决定性元素，或者描绘本发明的范围。其唯一目的是通过简单的方式提出本发明的优选实施例，作为随后提出的更详细说明的前奏。依照一个实施例，提供用于确定被成像工具的工具状态的机器人手术方法。本方法包括捕捉工具的第一图像，其包括多个定义第一标记的特征，其中第一标记的至少一个特征包括标识特征；通过处理第一图像而确定第一标记的位置；通过处理第一图像通过使用至少一个标识特征而确定第一标记的标识；以及通过使用第一标记的位置和标识而确定工具的工具状态。确定被成像工具的工具状态的机器人手术方法能够包括许多选项。例如，第一标记能够包括定义误差校验数据和/或校验和数据的冗余特征，而本方法能够包括处理第一图像，从而探测冗余特征并且读取误差校验数据和/或校验和数据；通过检验第一标记标识与误差校验数据和/或校验和数据一致而确认第一标记的标识。有些选项包括具有两个或两个以上标记的工具。每两个或两个以上标记都能够具有至少一个关联这样的标识的标识特征，其与工具上的其他标记不同。能够使用处理器实现图像处理，该处理器具有用于每个标记的数据指示，以及标记与手术工具的接点之间的关联的预定位置关系。确定工具的工具状态能够包括使用第一标记的位置、第一标记的标识、以及第一标记的关联位置关系数据。第一图像能够包括工具的第二标记。有一种方法能够包括通过处理第一图像而确定第二标记的位置；以及通过处理第一图像而标识第二标记；通过使用以下条件而确定工具的工具状态，即第二标记位置、第二标记标识、关联第二标记的预定位置关系数据。有些选项包括工具的多个图像。例如，方法能够包括这样的步骤，其能够在第二标记在第一图像中模糊时使用，例如在使用第一标记确定工具状态后移动工具时；捕捉移动后工具的第二图像，其中第一标记模糊但第二标记不模糊；通过处理第二图像确定第二标记的位置；通过处理第二图像确定第二标记的标识；并且使用第二标记位置、第二标记标识以及关联第二标记的预定位置关系数据来确定移动后的工具的状态。一些选项包括工具的立体影像。能够使用例如立体成像装置，如立体内窥镜，从而捕捉手术工具的第一和第二图像，其能够被处理从而确定第一标记的3-D位置数据。能够确定三维甚至更多维中的工具状态。一些选项包括具有多个有特定类型特征的标记的工具。例如，每个标记都能够具有至少一个定位器特征，以及相对于至少一个定位器特征处于已知位置关系的至少一个标识特征。能够通过使用定位器特征和方向特征确定第一标记的位置。能够通过以下方法确定第一标记的标识，即标识第一标记的至少一个定位器特征，并且根据定位器特征与标识特征之间的已知位置关系读取标识特征。一些选项包括“假设和检验”方法。例如，方法能够包括处理第一图像，从而标识该至少一个定位器特征；为第一标记选择候选特性(candidateidentity)；使用已标识的至少一个定位器特征，产生具有候选特性的标记候选视野；以及比较该候选视野与第一图像，从而验证选择的候选特性为第一标记特性。为第一标记选择候选特性能够包括通过以下方法产生用于手术工具的评估姿态，即使用源自工具的现有图像的至少一种现有工具状态或者源自实行工具的运动的机器人致动系统的接点数据。能够选择候选特性，从而导致用于手术工具的候选姿态，其处于手术工具的评估姿态的预定偏离之内。有一种方法能够包括处理包含多种手术工具的图像，其中每个手术工具都具有其特性。一种特性能够通过以下方法关联具有第一标记的被成像工具，即验证第一标记的候选特性引起这样的候选姿态，其处于具有第一标记的手术工具的评估姿态的预定偏离之内。能够使用多种方法从而确定标记的位置数据。例如，能够使用最大稳定极值区域(MSER)法。而另一个例子能够使用自适应阈值法(adaptivethresholding)。依照另一实施例，提供能够用于确定被成像工具的工具状态的机器人手术系统。该系统包括手术工具，其具有多个定义第一标记的特征，其中至少一个特征包括标识特征；成像装置，其用于捕捉工具在使用期间的第一图像，并且根据响应输出第一图像数据；以及处理器，其耦合成像装置并且适合处理第一图像，从而确定第一标记的位置数据；使用标识特征确定第一标记的标识；以及通过以下方法确定被成像工具的工具状态数据，即使用第一标记的位置数据以及第一标记的标识。确定被成像工具的工具状态的机器人手术系统能够包括可选择的组件和/或变体。例如，有一种系统能够包括有形介质(tangiblemedium)，其包括可由处理器执行用于处理被捕捉的图像的机器可读指令。有一种系统能够包括用于源自支持工具的机器人接点的非源自内窥镜的工具状态数据的输入，并且能够配置处理器从而为了跟踪工具的状态，处理非源自内窥镜的工具状态信息以及源自图像的工具状态信息。成像装置能够适合与第一图像基本同时捕捉手术工具的第二图像，并且响应该捕捉而输出第二图像数据。处理器能够经配置从而通过处理第一和第二图像数据而确定第一标记的3-D位置数据。成像装置能够包括立体内窥镜。可选择的组件和/或变体能够包括标记特征。例如，第一标记能够包括定义误差校验数据的冗余特征。处理器能够经配置从而处理第一图像数据，从而探测第一标记冗余特征；读取误差校验数据；以及通过以下方法确认第一标记的标识，即证实第一标记标识与误差校验数据一致。冗余特征也能够定义校验和数据(check-sumdata)，并且处理器能够经配置从而处理第一图像数据，从而读取校验和数据。处理器能够通过以下方法确认第一标记的标识，即证实第一标记标识与校验和数据一致。标记能够具有各种构造。例如，至少一个标记能够包括至少一个与邻近的标记共用的定位器特征。能够以2-D图案(pattern)布置一个或更多标记的特征。一个或更多标记能够使用圆圈或角(corner)作为定位器特征。该角能够包括鞍点。一个或更多标记能够包括三个定位器特征。一个或更多标记能够包括四个定位器特征。一个或更多标记能够包括四个圆圈以及一个条形(bar)作为定位器特征。标记能够包括文字(text)，后者能够通过改进从而增加定位数据或判别特征。可选择的组件和/或变体能够包括多个标记。多个标记能够绕工具分布，并且处理器能够包括这样的数据，其用于每个标记、用于指示关联的标记标识以及标记和手术工具接点之间的关联预定位置关系。多个标记能够具有这样的标识特征，其差别对于处理器足以确定被包含在第一图像中的标记的标识。处理器能够使用确定的3-D姿态从而以多种方式修改工具的显示图像。例如，能够更改显示图像，以便通过改变相应于参考特征的图像部分，使得增加的参考特征较不视觉突出，或者被完全“擦除”。依照另一实施例，提供与机器人手术系统一起使用的手术工具。该手术工具包括成像装置和处理器，前者用于在手术工具使用期间捕捉手术工具的图像，后者耦合成像装置从而处理捕捉的图像，以便确定手术工具的源自图像的位置信息。手术工具包括多个标记，其中每个标记都具有至少一个标识特征。每个标记的标识特征的差别足以使手术系统基于围绕标记的图像而区别各标记。依照另外的实施例，提供机器人手术方法。该方法包括捕捉手术工具的第一图像，该手术工具包括定义多个标记的多个特征，其中每个标记都具有相对于手术工具的预定位置关系，第一图像包括标记中的一个；通过处理第一图像，确定被成像的标记的位置；通过以下方法产生工具的评估工具状态，即使用来自工具现有图像的至少一种现有工具状态或者来自完成工具的运动的机器人致动系统的接点数据；以及通过以下方法确定工具的工具状态，即使用被成像标记的位置、手术工具和被成像标记之间的预定位置关系以及工具的评估工具状态。依照另外的实施例，提供手术机器人工具跟踪方法。该方法包括将源自光源的照明光引导至患者体内的机器人手术工具上，其中照明光包括可见光谱，该工具包括在工具上具有已知位置的多个原始特征(primitivefeature)，并且其中每个特征都包括球面反射表面；当该工具在患者体内时捕捉多个原始特征的立体图像，立体图像由邻近照明光源的立体影像捕捉装置捕捉，以便从被成像的原始特征朝着图像捕捉装置反射的照明光基本与被成像的原始特征的表面的球形中心对齐；以及通过处理立体图像来使用反射光定位被成像的原始特征的球形中心，从而确定工具的位置。手术机器人工具跟踪方法能够包括许多选项。能够通过处理图像完成工具的位置确定，以便通过使用镜射光来标识至少一个原始特征。能够处理立体图像，从而为被成像的原始特征的球形中心确定3-D位置数据。能够使用星座算法(constellationalgorithm)从而标识第一图像中的原始特征图案。有种方法能够包括通过以下方法产生工具的评估工具状态，即使用源自工具的现有图像的至少一种现有工具状态或者源自实现工具运动的机器人致动系统的至少一种接点数据，以及在星座算法中使用评估工具状态。有种方法能够包括为多个时间点捕捉立体图像；为多个时间点产生评估工具状态；使用稳健估计技术拒绝任何不相容的图案探测，该稳健估计技术能够是随机抽样一致算法(RANSAC)技术。能够在图像中的原始特征的标识中使用基于模型的图像标识签章(signature)。有种方法能够包括处理立体图像，从而标识两幅图像中的工具固有特征；为已标识的固有特征确定3-D位置；以及通过以下方法确定源自图像的工具状态，即与被成像的原始特征的3-D位置数据相结合地使用固有特征的3-D位置。有种方法能够包括通过以下方法产生工具的评估工具状态，即使用源自工具的现有图像的至少一种现有工具状态以及源自实现工具运动的机器人致动系统的至少一种接点数据，并且使用评估的工具状态从而拒绝不相容图案探测。原始特征中的至少一种能够包括凸或凹球形反射表面，其与工具的接点轴线对齐，并且该反射表面能够由接点结构限定。依照另外的实施例，提供微创机器人手术系统。该系统包括机器人手术工具，其具有多个原始特征，后者在工具上的具有已知位置，其中每个特征都包括球形反射表面；光源，其被定向成在患者体内发射照明光；立体图形捕捉装置，其邻近照明光源，以便从原始特征朝向图像捕捉装置反射的照明光基本与球形表面的球形中心对齐；以及处理器，其耦合图像捕捉装置，并且经配置用于通过处理立体图像来通过使用反射光定位原始特征的球形中心从而确定工具的位置。微创机器人手术系统能够包括许多选项。例如，有一种系统能够包括有形介质，其包括可由处理器执行、用于处理立体图像的机器可读指令。该处理器能够经配置，从而通过处理立体图像来通过使用镜射光标识多个原始特征中的至少一个从而确定工具的位置。原始特征能够与工具的接点轴线对齐，并且能够包括由接点结构限定的反射球形表面。处理器能够进一步经配置，从而通过处理立体图像，确定被成像的原始特征的球形中心的3-D位置数据。该成像装置能够包括立体内窥镜。球形反射表面能够包括凸或凹表面。依照另外的实施例，提供与机器人手术系统一起使用的手术工具。该系统包括立体成像装置，其用于在使用期间捕捉手术工具的立体图像；以及处理器，其耦合成像装置从而处理捕捉后的立体图像，以便确定手术工具的源自图像的位置信息。手术工具包括多个原始特征，而每个原始特征都包括球形反射表面。依照另外的实施例，提供物体跟踪系统。该系统包括物体，其具有多个原始特征，而每个原始特征都包括球形反射表面；光源，其被定向成朝着物体发射照明光；立体图像捕捉装置，其用于捕捉物体的立体图像，该图像装置邻近照明光源布置，以便从多个原始特征朝着图像捕捉装置反射的照明光基本与球形表面的球形中心对齐，图像装置为立体图像输出图像数据；以及处理器，其耦合图像捕捉装置，并且经配置从而处理图像数据，以便确定被成像的原始特征中三个或三个以上特征的3-D位置数据；以及通过处理3-D位置数据而确定工具的位置。依照另外的实施例，提供评估这样的手术工具的姿态的方法，该手术工具具有三个或三个以上基本无角的原始特征，其在工具上具有已知位置。该方法包括使用立体内窥镜，从而捕捉三个或三个以上原始特征的立体图像，该立体图像包括第一图像和第二图像；从第一图像中提取至少三幅原始特征图像；从第二图像中提取至少三幅原始特征图像；通过使用图像标识签章确定提取的原始特征图像之间的对应；使用已确定的对应，从而确定至少三个原始特征的3-D位置；标识提取的原始特征图像的图案，其相应于工具原始特征的图案；并且通过使用标识的图案和确定的3-D位置而评估手术工具的姿态。为了更完整地理解本发明的特性和优点，应参考详细说明和附图。通过以下附图和详细说明，本发明的其他方面、目标和优点将变得明显。图1示出依照实施例，正被使用进行手术的微创机器人手术系统的平面图。图2示出依照实施例，用于机器人手术系统的外科医生控制台的前视图。图3示出依照实施例，机器人手术系统显示手推车的前视图。图4概要示出依照实施例，机器人手术系统图。图5A示出依照实施例，机器人手术系统的患者侧手推车(手术机器人)的前视图。图5B和图5C示出依照实施例，8mm轴机器人手术工具和5mm轴机器人手术工具的各自前视图。图6概要示出依照实施例，运动学评估工具姿态、源自图像的评估工具姿态以及真正的工具姿态之间的相对差别。图7概要示出依照实施例，未处理的运动学评估工具姿态、源自图像的评估工具姿态、对于真正工具姿态的评估以及真正的工具姿态随着时间的变化。图8示出图解手术器械接近和远离立体成像装置的图。图9示出依照实施例，使用标记成像的工具跟踪方法的流程图。图10概要示出依照实施例，用于跟踪具有标记的工具的系统示意图。图11示出依照实施例，工具跟踪方法的流程图，该方法用于确定工具状态，其示出了如下步骤用于处理标记的立体图像以及运动学数据，从而使用源自图像的姿态偏移而产生修正的运动学评估的工具状态。图12A概要示出依照实施例，一种标记图案，其能够用于手术器械，从而提供额外的参考点。图12B和图12C示出依照实施例，在微创机器人手术期间，使用图12A所示的标记图案的手术器械图。图13A、图1和图13C示出依照实施例，2-D标记的描述图。图14A和图14B分别示出依照实施例，能够用于8mm器械轴的2-D标记图和具有标记的8mm器械轴。图15A和图15B分别示出依照实施例，能够用于10mm(超声波)器械轴的2_D标记图和具有标记的IOmm(超声波)器械轴。图16A和图16B分别示出依照实施例，能够用于5mm器械轴的2_D标记图和具有标记的5mm器械轴。图17A和图17B分别示出依照实施例，能够用于超声波变频器的2_D标记图和具有标记的超声波变频器。图18示出依照实施例，一种用于处理工具跟踪标记的立体图像的方法的流程图。图19示出依照实施例，一种用于处理2-D工具跟踪标记的立体图像的方法的流程图。图20A-20E示出依照实施例，处理2_D工具跟踪标记的图像的步骤。图21A-21B示出依照实施例，在多个位置的标记如何能够支持不同的操作范围。图22A概要示出依照实施例，一维(I-D)工具跟踪标记。图22B概要示出依照实施例，具有多个I-D工具跟踪标记的手术工具。图22C和图22D概要示出依照实施例，另外的1_D工具跟踪标记。图23示出依照实施例，用于处理I-D工具跟踪标记的立体图像的流程图。图M概要示出依照实施例的原始特征，每个特征都具有反射凹球形表面，其被从三个不同方向照亮/成像。图25概要示出依照实施例的原始特征，每个特征都具有凸球形表面。图26A和图26B示出依照实施例，原型手术工具的内窥镜图像，该手术工具包含点构造标记，后者具有反射球形表面。图27示出依照实施例，工具跟踪方法的流程图，该方法使用手术工具的立体图像的处理，该工具包含原始特征，后者具有反射球形表面。图28A和图28B示出依照实施例，可辨别的工具标记。图^A、图^B、图^C、图^D、图^E、图^F、图^G和图^H示出依照实施例的一些例示性方法，能够使用该方法从而在可辨别的标记中包含位置和/或标识信息。图30A、图30B、图30C和图30D示出依照实施例的一些另外的例示性可辨别标记设计。图31示出依照实施例的工具跟踪方法的流程图，该方法使用具有可辨别标记的手术工具的图像的处理。具体实施例方式依照实施例，为三维(3-D)物体跟踪提供改进的方法和系统，该物体跟踪使用源自一个或更多物体定位参考特征的源自图像的数据。当微创机器人手术期间被用于跟踪手术工具时，该方法和系统能够特别有利。在此使用以下术语。“特征”是为概括术语，其用于指示任何能够从图像中提取的有用信息。“原始特征”用于指示这样的小或简单特征，其能够从图像中局部提取(例如突出斑点、小圆、点、条等等)。原始特征相对“组合特征”，其中使用多个原始特征从而产生组合特征。“标记”为一些可辨别(通常可见)的图案，其用于定位物体或计算物体的姿态。标记能够由多个原始特征组成。“工具状态”为概括术语，其用于指示关于工具的任意信息，例如姿态(位置和方向)，以及对于工具或任意机器人或定位系统的任何铰接部分的相关信息。例如，工具状态能够包括工具的姿态、用于实行工具的运动的机器人致动系统的机器人接点参数、铰接末端执行器位置、工具的速度、工具的加速度、工具上的力等等。“定位器特征”为这样的特征，其能够经处理从而提供该特征的位置信息。多个原始定位器特征能够经处理从而提供图案的其余特征的位置和方向(即对齐)信息。“模型”为概括术语，其用于涉及被跟踪的物理工具的任何现有知识。其能够包括物理模型、虚拟模型、工具上的特征的定位及其性质等等。例如，工具定位参考特征的一个优点在于，其提供至少一种这样的特征，其能够被更容易地在图像内探测。有些工具使用环境，例如微创机器人手术，向源自图像的工具跟踪的使用提出挑战，例如工具上存在体液和/或存在烧灼蒸气(cauterizationvapor)，其能够引起工具的部分或全部阻塞。通过配置工具从而包括一个或更多参考特征，能够降低源自图像的工具跟踪上的环境影响。例如，另外的优点在于，能够使用多个参考特征从而定义这样的标记，其包括位置/方向信息和/或标识信息。通过足够的位置和/或方向信息，能够确定物体(例如工具)的3-D姿态(位置和方向)。能够在单一标记中包括位置和方向信息，或者能够在标记的组合中包括该信息。能够使用标识信息从而使得被成像的标记关联于用于被成像的标记和物体的相关位置关系数据。能够使用该标识，从而区别各被成像的标记，其中在物体上使用多个标记特征。例如，另外的优点在于，能够使用多个标记从而提供冗余。例如，工具能够包括多个绕工具分布的标记，从而提供不考虑工具使用期间的具体方向的参考特征。一批标记中的任何单个标记都能够包括许多特征，从而为工具的3-D姿态确定提供位置和方向信息。一批标记中的任何具体标记都能够包括与用于具体标记的标识相关联的标识特征。由多个标记提供的冗余能够通过提供多个姿态评估而有助于更准确的姿态评估，其中能够平均多个姿态评估，从而降低可在特征定位期间发生的随机误差。例如，另外的优点在于，能够使用冗余特征，从而提供误差校验。例如，标记能够包括定义误差校验数据的冗余特征。为了与标记的标识一致，能够检查误差校验数据，从而验证已确定的标识。另外，冗余特征能够包括校验和数据，能够使用该数据，从而预防由于一个或更多标记特征的阻碍(或者通常无成像)引起的错误标识。清楚的误差校验机制提供了对于这种标记的探测的确信，其通过将源自背景杂斑的、对于标记的错误探测的可能性或近旁标记的意外对齐降低至非常低的概率实现。能够使用确定的3-D姿态，从而通过多种方式改进工具的显示图像。例如，能够改进显示图像，以便增加的参考特征较不视觉突出，或者通过改变位于参考特征的图像的部分而完全“擦除”。微创机器人手术图1提供讨论本发明的适当起点。图1示出微创机器人手术(iORS)系统10的平面图，其通常用于对躺在手术台14上的患者12实施微创诊断或手术过程。该系统能够包括外科医生控制台16，其由外科医生18在程序期间使用。一个或更多助手20也可参加该过程。MIRS系统10能够进一步包括患者侧手推车22(手术机器人)以及显示手推车24。通过患者12身体上的微创切口，患者侧手推车22能够操纵至少一个可移动耦合器械或工具组合件沈(之后被简单称为“工具”)，同时外科医生18通过控制台16观察手术部位。能够通过内窥镜观，例如立体内窥镜，获得手术部位的图像，该内窥镜能够由患者侧手推车22操纵以便为内窥镜观定向。为了随后通过外科医生控制台16向外科医生18显示，能够使用显示手推车M处理手术部位的图像。单次使用的手术工具沈的数目将通常取决于诊断或手术过程和手术室中的空间限制以及其他因素。如果需要改变过程中使用的一个或更多工具沈，助手20可在不再使用工具沈时将其从患者侧手推车22移除，并且替换为来自手术室中托盘30的另外的工具26。系统10的一个例证性例子为美国加利福尼亚州桑尼维尔市htuitiveSurgical公司生产的daVinci手术系统。图2示出外科医生控制台16的前视图。外科医生控制台16包括左眼显示器32和右眼显示器34，其为外科医生18呈现具有深度感知的手术部位的经配位的立体视野。控制台16进一步包括一个或更多控制装置36，其又引起患者侧手推车22(如图1所示)操纵一个或更多工具。优选，控制装置36将提供与其关联的工具沈(如图1所示)相同的自由度，从而向外科医生提供与工具沈集成的控制装置36的远程呈现或感知，以便外科医生具有直接控制工具26的强烈感觉。为了该目的，优选使用位置、力和触觉反馈传感器(未示出)，从而通过控制装置36将来自工具沈的位置、力和触觉感觉传回到外科医生的双手。外科医生控制台16通常与患者处于同一房间，以便外科医生可直接监控过程，视需要则实际提出并与助手直接说话，而非通过电话或其他通信媒介。然而，应理解，外科医生能够位于不同的房间、不同的建筑或者远离患者的位置，因而允许远程手术过程。图3示出显示手推车M的前视图。显示手推车M能够耦合内窥镜28，并且能够包括处理器，从而处理捕捉的图像以用于随后显示，例如为了外科医生显示在外科医生控制台上或本地和/或远程的任何其他适当的显示器上。例如，当使用立体内窥镜时，显示手推车M能够处理捕捉的图像，从而为外科医生呈现手术部位的经配位的立体图像。这样的配位能够包括相对图像之间的对准，并且能够包括调节内窥镜的立体工作距离。在另外的例子中，图像处理能够包括使用预定相机校准参数，从而补偿图像捕捉装置的成像误差，例如光学象差。能够使用的有些可能的图像处理的例示性细节在属于htuitiveSurgical公司的许多专利和专利申请中描述，包括例如美国专利No.7，277，120(2004年3月7日提交)，其全部内容包括在此以供参考。图4示意性图解机器人手术系统50(例如图1所示的MIRS系统10)，其示出组件之间的通信途径。如上所述，外科医生控制台52(例如图1所示的外科医生控制台16)能够由外科医生使用，从而在微创过程中控制患者侧手推车(手术机器人)54(例如图1所示的患者侧手推车22)。患者侧手推车M能够使用成像装置，例如立体内窥镜，从而捕捉手术部位的图像，并且向显示手推车56(例如图1所示的显示手推车24)输出捕捉的图像。如上所述，显示手推车56能够在任何随后的显示之前以各种方式处理所捕捉的图像。可替换地，患者侧手推车M能够输出所捕获的图像，用于在显示手推车56外处理。例如，患者侧手推车M能够向处理器58输出所捕获的图像，该处理器用于处理所捕捉的图像。也能够由显示手推车56和处理器58的组合来处理图像，两者能够耦合在一起，从而共同、相继地和/或结合地处理所捕捉的图像。一个或更多单独的显示器60也能够耦合处理器58和/或显示手推车56，用于本地和/或远程显示图像，例如手术部位的图像或者任何其他相关图像。机器人手术工具跟踪图5A、图5B和图5C分别示出患者侧手推车22、8mm轴手术工具62和5mm轴手术工具64。手术工具62和64为手术工具沈的两个例子。示出的患者侧手推车22提供了对于三个手术工具26和成像装置观的操纵，例如用于捕捉手术部位图像的立体内窥镜。由具有许多机器人接点的机器人机构提供操纵。能够通过患者身体上的切口定位和操纵成像装置观和手术工具沈(例如末端执行器66)，以便运动远程中心(kinematicremotecenter)被保持在切口处，从而最小化所需的切口大小。当手术工具26位于成像装置观的视野中时，手术部位的图像能够包括其远端的图像。图6概要图解运动学评估手术工具姿态70、源自图像的评估手术工具姿态72以及真实的手术工具姿态74之间的相对差异。如上所述，工具的3-D姿态的准确信息对于许多图像引导的手术和用户界面的应用都是重要的。当使用运动接点传感器数据来评估工具的3-D姿态时，能够引入大量的误差。虽然存在很多误差源，例如随机的传感器噪音，但是该误差的主要部分能够归因于偏移误差，其由运动接点的真实位置和通过运动接点传感器数据指示的运动接点指示位置之间的固定差异产生。远离工具的远工作端的运动接点中的偏移误差通常比更接近工具的远工作端的接点时对总偏移误差的影响更大。结果，运动学评估姿态70能够明显偏离手术工具的真实姿态74。例如，在校准良好的系统中，例示性手术机器人的运动学评估工具姿态可与工具的真实姿态相差高达10至15mm，并且如果系统近期未校准和/或未被准确校准时，该误差甚至更大。结果，使用基于非运动学的方法从而获得更准确的工具姿态评估时这能够是有利的，能够使用该方法从而确定修正运动学评估中使用到的位置修正。源自图像的工具姿态评估72能够比原始运动学评估工具姿态70明显更准确。通过源自图像的工具姿态72与真实工具姿态74之间的相对小的位置差异，图6中示意性图解了该增加的准确度。然而，相比于原始运动学评估工具姿态(例如以大约1333Hz的速率更新)，在明显更低的速率(例如小于或等于大约30帧/秒)时可用源自图像的工具姿态72，其由于许多因素，例如所需的图像处理时间，并且在某些时间，当该工具处于成像装置的视野外部或由于某些原因而被阻碍，例如由患者的组织、患者的体液和/或由烧灼等等引起的不透明或半透明蒸气阻碍时，源自图像的工具姿态72完全不可用。图7概要图解工具的各种评估姿态和真实评估姿态76之间随着时间的变化。如图所示，工具的姿态的原始运动学评估78能够明显偏离真实姿态76。如上所述，该偏离的主要部分可以与固定的偏移误差相关，后者通过原始运动学评估78和真实姿态76之间的基本不变的偏移的方式示出。由于运动传感器数据具有相对高比率的可利用性，所以能够在高速率时利用原始运动学评估姿态78，例如在1333次/秒时。相反，能够在较低速率时利用源自图像的姿态评估80，但是其能够相对准确。有利地，能够使用运动学评估姿态和源自图像的评估姿态的组合，从而确定真实的姿态评估82，其也能相对良好地跟踪真实姿态76。使用原始运动学评估姿态和源自图像的评估姿态的组合以便确定真实姿态评估82的细节在属于htuitiveSurgical公司的许多专利和专利申请中描述，包括例如美国专利申请No.2006/0258938A1Q005年5月16日提交)，其全部内容包括在此以供参考。图8图解能够在手术器械84(例如工具26)可以在成像装置86的视野内的部分中出现的变化，该手术器械例如是立体内窥镜观。成像装置86能够包括两个重叠的视野88，其用于捕捉手术部位的图像以及视野88内的任何手术器械部分。当器械84在远离成像装置86的范围工作时，在捕捉的图像中能够包括手术器械84的更大部分，但是与全部的视野相比，任何被成像的工具特征的相对大小将更小。当器械84在接近成像装置86的范围工作时，在捕捉的图像中能够包括相对更小的部分，但是与全部的视野相比，任何被成像的工具特征的相对大小将更大。图9示出使用依附于工具的一个或更多标记的成像的工具跟踪方法100的流程图。如下将更详细描述，工具例如工具26能够包括一个或更多标记，从而提供能够被成像并处理从而提供源自图像的工具姿态评估的特征。在步骤102中，捕捉工具和标记的一个或更多图像。捕捉的图像能够是简单图像或立体图像，前者通过使用单眼显示成像装置获得，后者通过立体显示成像装置获得，例如立体内窥镜。在步骤104中，处理捕捉的图像，从而确定关联一个或更多标记的位置数据。位置数据能够包括图像中的一个或更多标记特征的定位。至少当一个或更多手术工具中有两个或更多标记具有不同标识时，能够在步骤106处理图像，从而确定一个或更多标记的标识。如下将更详细描述，标记能够包含一个或更多标识特征，所述标识特征能够被成像并随后处理，从而确定标记的标识。在步骤108中，能够使用位置数据和任何的标识从而确定工具状态数据，例如工具的3-D姿态。能够在工具状态数据的确定期间使用额外的信息，例如标记和工具之间的相对位置数据。例如，标记的3-D姿态和工具的3-D姿态之间的相对3-D姿态偏移数据(偏移位置和偏移方向)能够提供相对位置数据。如果在步骤108中确定的工具状态数据不足以与期望的工具状态数据范围一致，则能够将其拒绝。例如，通过使用工具的现有图像或源自实现工具的运动的机器人致动系统的接点数据，能够产生工具的评估3-D姿态。能够比较该评估3-D姿态和步骤108中确定的工具状态数据，从而验证其彼此一致。能够评估任何不一致，从而确定是否作为异常值(outlier)而拒绝确定的工具状态数据。图10概要图解跟踪具有标记112的工具的系统110。该系统包括具有标记112的至少一个工具，其类似于工具26。使用成像装置114，例如立体内窥镜观，从而捕捉具有标记112的工具的一个或更多图像。成像装置114耦合处理器116，并且响应具有标记112的工具的成像而向处理器116传送图像数据。处理器116经配置从而处理接收的图像数据，从而产生工具状态数据118，后者能够包括具有标记112的工具的评估3-D姿态。图11示出依照实施例用于确定工具状态的工具跟踪方法120的流程图，其示出这样的步骤，即用于处理标记的立体图像以及原始运动数据，从而使用源自图像的3-D姿态偏移而产生修正的运动学评估工具状态。由于与源自图像的评估工具状态相比，用于从原始运动学数据1产生评估工具状态的接点传感器数据具有更快的更新速率，所以源自图像的姿态偏移能够结合来自原始运动的评估工具状态，从而产生修正的运动学评估工具状态。这样，使用结合了来自原始运动学数据124的相应一系列评估工具状态的单个姿态偏移，能够产生一系列修正的运动学评估工具状态。响应新图像数据122，姿态偏移能够随着时间更新。在步骤126中，通过以下方式开始姿态偏移的确定，即获得具有标记的工具的图像数据以及相应的具有标记的工具的原始运动学数据124。如图所示，图像数据122能够包括左图像数据和右图像数据，但是应理解，能够处理一个或更多标记特征的单个图像，从而产生源自图像的位置信息，后者在产生姿态偏移时有用。例如，单个标记特征的图像中的位置能够与单个标记特征的图像中的期望位置比较，从而产生用于前一姿态偏移的一维(I-D)修正。当单个图像包含四个非共线特征时，图像内的四个非共线特征的位置足以确定工具的源自图像的3-D姿态。当立体图像包含三个非共线特征时，立体图像内的三个非共线特征的位置足以确定工具的源自图像的3-D姿态。原始运动学数据IM能够给包括基础传感器数据，例如运动学接点位置参数，并/或能够包括现有原始源自运动学的工具状态。在步骤1中，处理左图像和右图像，从而探测标记特征。在步骤130中，使用左图像内的标记特征的位置以及右图像内的标记特征的位置，从而产生标记特征的3-D坐标。对于立体三角测量的细节，例如参考R.Hartley和A.Zisserman"MultipleViewGeometryinComputerVision”第12章，CambridgeUniversityPress，2000。如下将关于某些实施例更详细描述，其包括有些具有标识的标记，标记能够包括至少一个这样的标识特征，其能够经处理从而确定标记的标识。在步骤132中，能够结合任何标记的标识而处理标记标识的3-D坐标，从而确定源自图像的工具状态。虽然能够使用许多标记的图像，从而为确定工具的3-D姿态提供足够的姿态信息，但是单个标记包含用于确定工具的3-D姿态的足够数量的特征是有利的。另外，工具上的每个标记具有与相邻标记不同的标识是有利的。通过这样的标记，能够通过以下方法确定源自图像的工具状态，即确定标记的3-D姿态、确定标记的标识、以及使用关于经标识的标记如何在工具上定位和定向的数据。应明白，能够使用该方法的各种变化。例如，能够组合来自标记组合的特征，从而确定标记组合的3-D姿态，后者能够结合这样的数据，其关于来自标记组合的特征如何在工具上定位和定向。在该处理期间，能够比较经修正的运动学评估工具状态(来自预定的姿态偏移)和源自图像的评估工具状态，从而拒绝任何与经修正的运动学评估工具状态差别太大的源自图像的评估工具状态。在步骤134中，确定姿态偏移，以便能组合该姿态偏移与原始运动学数据IM评估工具状态，从而获得经修正的运动学评估工具状态。应明白，可使用各种方法确定姿态偏移。例如能够作为以下两者的差异而计算姿态偏移，即同时在基本相同点的真实工具姿态的评估(如图7所示)和相应的原始运动学数据IM评估工具状态之间的差异。作为进一步例子，能够作为以下两者的差异而计算姿态偏移，即同时在基本相同点的源自图像的评估工具状态和相应的原始运动学数据1评估工具状态之间的差异。在步骤136中，确定经修正的基于运动学的工具状态。如上所述，能够使用单个姿态偏移从而修正基于一个或更多原始运动学数据124的工具状态，从而当出现以下情况时补偿，即相对于源自图像的工具状态，可以更高速率地利用基于原始运动学数据124的工具状态。然后，经修正的运动学被反馈至处理的开始(步骤126)，其中“引出”现有图像和运动学数据能够包括图像数据、原始运动学数据以及现有姿态偏移和/或经修正的运动学数据。标记设计使用工具标记的目标是提供关于源自图像的工具状态的稳健性和置信水平，不使用标记则这是难以实现的，特别是对于要求较高的应用(criticalapplication)，例如图像引导机器人手术。同样，在一个实施例中，标记设计(i)为工具姿态评估提供充分限制；()在各种现实条件(例如观察点、照明)以及各种现实背景下可辨识；(iii)对工具的不同操作范围起作用；(iv)对局部阻碍有弹性和/或稳健性；(ν)可视觉接受；(vi)易于制造；(vii)足够紧凑，从而允许在提供的空间中使用多个标记(例如足以提供足够水平的冗余)；以及(viii)能够由图像分析算法提取。一维(I-D)和二维Q-D)标记能够提供许多有利方面。该有利方面包括(i)使用支持更有效探测和分析的单独定位器以及标识特征；(ii)使用原始特征位置的外部编码方案；(iii)使用外部误差校验和误差修正；(iv)产生大量不同图案的能力；(ν)使用具有密集信息的紧凑标记；以及(Vi)使用“假设和试验”探测算法框架，其非常好地调整标记图案的总数目的比例。二维标记设计图12A、图12B和图12C分别图解标记设计140、使用标记设计140远离成像装置操作的工具146、以及使用标记设计140靠近成像装置操作的工具。图12A的标记设计140包括三组标识图案142，其能够被绕工具轴以120度间隔放置。每个图案142都具有黄色背景上的8行2列的16个圆。每个图案142都能够对齐工具轴的纵向轴线，以便16个圆的所有中心点都位于一个平面内。相对于每个图案142之间的间隔，两列圆144相对间隔更近。能够使用结合经修正的运动学评估工具状态的该差别间隔，从而标识图像中的特殊图案142。因为三个图案142绕工具以120度间隔布置，所以给定经修正的运动学评估工具状态的准确性的固有水平的情况下，在总标记140的标识图像之间可存在足够的差别，从而区分各被成像的图案142。标记140提供这样的例子，即能够如何布置标记特征，例如示出的标识图案142，从而呈现能够被成像从而确定工具状态的特征。该标记设计的缺点包括(i)在手术照明下黄色背景非常明亮，并且出现干扰；(ii)虽然标记140覆盖器械轴的末端，但是在大多数情况下，手术期间其不完全可见；(iii)需要依赖这样的假设，即评估工具横摇角的最大误差小于60度，从而关联图像观察与三个图案142中的一个；以及(iv)由于难以区分标记，所以难以在器械的另外部分上增加更多的标记。图13A、图1和图13C图解了2-D标记150、170、190的三个实施例，其能够用在工具上以用于跟踪工具状态。2-D标记包括布置在二维中的原始特征。有些特征能够作为定位器特征，而其他特征能够作为标识特征。定位器特征提供位置或方向信息，从而确定标记的姿态/对齐，而标识特征被用于区分不同的标记。标识特征能够遵循某一编码方案，并且能够包括用于误差校验和/或修正的冗余信息。通过使用紧凑2-D标记，能够以不同的方式布置多个标记，从而适合不同工具的几何形状。也能够在工具轴上的不同位置布置标记，从而应对不同的操作范围。也能够使用标记从而评估工具或器械的横摇。与堆叠在一起的多个I-D图案相比，2-D标记图案可有利地提供更好的信息密度和位置。已设计这些2-D自辨别标记，从而满足许多考虑。在给定的图像分辨率限制下，已尽可能小地选择标记的大小。这些2-D标记不依赖特定的颜色，因为颜色会由于照明和白平衡的原因而成为不可靠的特征。另外，有些颜色能够视觉干扰。设计这些2-D标记，从而包括这样的特征，即能够在图像中可靠地探测这些特征，因为有些特征比其他特征更容易探测。以上考虑引起包括某些设计特征的这些2-D标记的设计。例如，设计这些2-D标记，从而包括定位器形状(黑圆圈152、154、156、158；172、174、176、178；黑条160；180；以及鞍点192)以及许多信息位(informationbit)和标识特征(图13A中的9个灰点162，图1中的13个灰点182，以及图13C中的16个点194)。(图13A和图1中的圆圈和点的数目仅用于参考的方便)。选择圆圈作为定位器形状是由于其拓扑(黑斑点处于白斑点中，或者反之)对于观测点不变，并且通常不出现在背景中。其他这样的特征包括某些角，尤其是图13C中所示的鞍点192。虽然标记设计未限制如何使用信息位162、182、194(标识特征)，但是其能够被分为数据位和误差校验位。能够使用对应于数据位的点的出现或不出现，来指定许多独特的编码(或标识)。能够使用对应于误差校验位的灰点的出现或不出现，来验证编码或标识确定。考虑微创机器人手术的期望工具距离范围，选择标记图案150、170、190的大小。然而，应明白，如果器械通常离成像装置更近或更远工作，就能够相应地将图案的大小做的更小或更大。虽然图13A和图1所示的标记150和170包括白色背景和黑色特征，但如随后的附图中可见，基于视觉经验的临床反馈，选择具有白色特征的黑色背景。然而，应明白，也能够使用白色背景和黑色特征。当被放置在某一直径的器械表面上时，图案的3-D几何形状(在局部坐标系中的所有圆和点的3-D坐标)就被固定并已知。如果使用单个图像提供2-D坐标，则四个点的坐标足以确定标记的姿态(以及因此确定工具的姿态)。如果使用立体图像提供3-D坐标，则三个点的坐标足以确定器械的姿态。因此，这些2-D标记150和170的设计包括四个圆，从而为任意单个图像或立体图像处理提供足够的数目。点也能够被用于物体姿态评估。同样，虽然能够在工具上以任何数目的不同方向来放置标记，但是目前优选这样放置标记，即标记被放置成使得竖直方向对齐器械的轴线方向。图13A和图1中的标记设计150和170表现两种单独的设计形式，而图1的设计形式表现了实验后的改进形式。虽然图案的总体大小未改变，但是存在许多差异。信息位162和182(或者标识特征)的数目从9增加至13，其有效地增加独特图案的数目。信息位162和182的列数从3增加至4，其提供有限空间的更有效使用。因为观察到以下现象，即机器人手术的很多典型观察方向会引起图像在轴向方向比横向方向更严重的缩短，所以图13B中的图案包括在信息位182之间的比水平间隔更大的垂直间隔。图13B中的信息位182的行同样交替，相对于非交替图案，其也帮助减轻缩短。也减小信息位162和182(点)的直径以及圆的厚度，这是由于如下观察，即测试显示系统通常扩大亮特征。因此，将该特征做的更细从而保持隔离。能够以多种方式使用这些2-D图案中的信息位162、182、194，例如使用一定数目用于标识位，而剩余数目用于误差校验和/或修正位。标识位和误差校验和/或修正位之间的比例及其布置是灵活的，并且能够基于具体的应用需求而确定。如果成像情况的挑战性较小，人们可使用更少数目的误差校验和/或修正位。在一种方法中，图13B的标记的13个信息位被分成6个信息位和其余的7个信息位，前者用于携带标识信息(导致64个独特的编码)，而后者用于误差校验和/或修正。在7个误差校验和/或修正位中，能够将其中6个设置为与标识位相反，而其余的位能够被用作校验和数据。该方法的基本原理是始终确保有6或7个位物理出现在图案中(即其被设为一个)。其避免了全零(全部空白)图案作为有效编码，并且提供这样的可替换特征，即能够使用该特征从而视需要提供用于姿态评估的位置信息。应明白，从编码理论的观点看，上述编码方案可能不是最佳的。优选在有用字码(validcodeword)之间具有更大的汉明距离的编码方案。应明白，从编码理论的观点看，标识位和误差校验位之间可能没有差别。由以下事实产生冗余，即有用字码仅占据编码空间的一部分(即两个有用字码之间的汉明距离大于1)。图14A、图14B、图15A、图15B、图16A、图16B、图17A和图17B自身示出四个不同的多重标记图案，并且施加于特定的机器人手术器械。图14A和图14B分别图解能够用于8mm(直径，与其他器械惯例相同)器械轴的2-D标记和具有该标记的8mm器械轴。图15A和图15B分别图解能够用于IOmm器械轴的2-D标记和具有该标记的IOmm器械轴。图16A和图16B分别图解能够用于5mm器械轴的2-D标记和具有该标记的5mm器械轴。图17A和图17B分别图解能够用于超声变频器的2-D标记和具有该标记的超声变频器。在更细的器械中，图案的多排能够偏移一半图案，从而确保有些图案能够在任何角度完全可见。二维标记提取20应明白，能够使用多种方法从图像中提取标记图像，并且处理经提取的信息，从而确定源自图像的工具姿态评估。例如，如下所述，可能的方法包括自顶而下方法、自底而上方法、以及自顶而下/自底而上组合方法。在自顶而下方法中，2-D图像能够从给定姿态的器械3-D模型转化，并且能够比较转化的图像与真实的输入图像，从而评估其匹配地如何。提供最佳匹配分数的姿态为最优解。虽然该主意听起来易懂，但是由于相关费用高而处理时间长，所以其难以实现。自底而上方法尝试在图像中寻找有些局部特征，并且然后计算该解。自底而上方法能够应用于这样的假定，其中常常在有些假定下或使用有些试探(heuristic)时，能够提取突出的局部特征并易于将其分组。由于局部特征更可能具有模糊度，所以能够增加标记或背景颜色，从而确保方法的稳健性。自底而上方法通常比自顶而下法更有计算效率，因为能够局部计算该特征，并且该方法不包括搜索或迭代优化。能够使用自顶而下/自底而上组合方法，其结合以上两类方法的共同优点。例如，能够使用自底而上方法从而报告有限数量的假设，然后使用自顶而下法试验和检验。这种类型的方法有时被称为“假设与试验”。图18示出处理工具跟踪标记的立体内窥镜图像的方法200的流程图。在步骤206中，处理左图像数据202和右图像数据204，从而提取原始图像特征。“原始图像特征”涉及能够被局部探测的视觉突出特征，例如斑点或角。斑点为小斑纹，其关于其环境形成足够的对比。角为两个边缘的交点。最大稳定极值区域(MSER)法提供可负担成本下的探测斑点的优异方式。MSER基于边界对比度的非常小的假定，并且因此能够探测任何大小和任何形状的突出区域(斑点)。对于MSER的细节，参考J.Matas,0.Chum,M.Urban和Τ·Pajdla"Robustwidebaselinestereofrommaximallystableextremalregions，，，In.Proc.BMVC,2002。我们已发现MSER对于探测人造基准标记(artificialfiducialmarker)是非常有效的。可替换的特征(斑点)探测器方法是使用自适应阈值与连通域分析(adaptivethresholdingplusconnectedcomponentanalysis)。依照其邻近的平均灰度值，自适应地计算用于二值化的该阈值。能够使用矩形窗口内用于快速平均的整体图像而实现计算每一像素中的平均值的核卷积(kernelconvolution)0自适应阈值的局限性在于，其用于固定的比例。对于多个比例，其必须以不同比例运行数次。也考虑运行自适应阈值与连通域分析的一种方法是金字塔方式(pyramidfashion)。从图像探测角点有许多方法。广泛使用的角探测方法的例子参考ChrisHarris和MikeStephens"Acombinedcornerandedgedetector，，，147-151页，In·Proc·BritishMachineVisionConference，1995；以及JiamboShi禾口CarloTomasi“Goodfeaturestotrack，，，593-600页，InProc.IEEEConferenceonComputerVisionandPatternRecognition,1994。对于更特别的角(例如鞍点)，能够在以上普通角探测器的结果上做分析，从而寻找期望的特性。对于点探测，也可用学习方法(learning-basedapproach)，其考虑点的细微外观，从而消除背景点(参考D.ClausandA.W.Fitzgibbon"Reliablefiducialdetectioninnaturalscenes，，，InProc.EuropeanConf.ComputerVision,2004)。这个方法可以用于比点更加复杂的标记图案。从斑点探测器输出的是来自图像的一列斑点。分析这些斑点能够比分析所有的图像像素快很多。我们通过检查其平面度(flatness)(协方差矩阵的第一和第二艾根值之比)而探测2-D标记的条。我们通过以下简单的试探而探测圆，其中亮斑点的形心处于暗斑点的限位框之内，而暗斑点的限位框完全由亮斑点的限位框限制。可能有更好的探测条或圆的方式(例如通过分析其高阶矩)。因为我们总体方法容忍更低水平处理中的误差，所以我们发现这些方法已足够。在提取原始图像特征后，就能够完成方法200的其余步骤。在步骤208中，经提取的特征被分组。分组涉及这样的处理，即建立经提取的原始特征和正在被成像的物体(例如具体的标记)之间的对应。该处理也需要考虑到属于背景而非物体的经提取特征。原始特征分组依赖对于标记构造的了解，从而将经提取的特征分为属于任何具体标记的几组特征。在步骤210中，左图像数据202的经分组特征匹配右图像数据204的相应的经分组特征。在步骤212中，能够处理立体图像匹配特征，从而确定特征的3-D数据。能够处理特征的3-D数据，从而标识标记，并且确定标记(数据214)的3-D姿态，然后使用其确定具有该标记的工具的3-D姿态。图19示出能够用于处理工具跟踪标记的立体图像的方法200的流程图(在图13A和图13B中示出其实施例)。方法220遵循“假设和试验”框架。在步骤226中，能够处理左图像数据222和右图像数据224，从而提取原始特征，这能够通过使用许多方法，例如上述方法来实现。在步骤228中，处理有些经提取的原始特征，从而通过标识展示一个或更多标记定位器特征的一个或更多原始特征，来产生一个或更多定位器假设(对于一个或更多标记)。有种定位器假设为这样的试验性假定，即一个或更多经提取的原始特征对应于标记中的一个或更多定位器特征。能够使用一个或更多定位器特征从而确定标记的位置以及至少部分方向。例如，在图13A和图13B的2-D标记中，能够使用4个圆和1个条作为定位器特征。通过这些2-D标记，能够处理经提取的原始特征(或者通常为图像数据)，从而寻找最小和最大距离之间的这样的两个圆(图13A和图13B中以“0”和“1”指定)，其中间具有一个条，该条对齐于连接两个圆的线。通过标识该条所处的线的那一侧，就能够确定图案的部分方向(即在图像中的线附近)。应明白，能够使用一系列不同的标记图案，并且能够使用标记图案中的任何特征的各种组合作为一个或更多定位器特征。在步骤230中，处理经提取的原始特征，从而产生一个或更多全图案假设。全图案假设是这样的试验性假定，即多个原始图案对应于一个或更多标记特征，能够使用后者从而确定图像中标记图案的基础位置和方向，该图像能够由于标记的3-D姿态相对于成像装置而歪斜或缩短。例如，通过图13A和图13B的2-D标记图案，能够使用定位器假设(经标识的圆“0”和“1”，其间有条)作为起始点，从而搜索其余的定位器圆(图13A和13B中以“2，，和“3，，指定)。该搜索能够在这样的搜索区域内寻找所有符合的定位器“2，，和“3，，特征，该区域由最小和最大图案歪斜以及最小和最大图案纵横比定义。有利地，“2”和“3”圆之间没有条，其能够用于帮助两个圆的标识。能够结合地使用定位器假设以及经标识的“2”和“3”定位器圆，从而产生全图案假设。也能够检查全图案假设，从而确定其透视图是否小于最大值，能够通过其检查歪斜和纵横比的一致性。在步骤232中，通过处理图像特征来标识标记，从而验证一个或更多产生的全图案假设。应明白，能够使用多种方法处理图像数据，从而标识标记。例如，在方法220中，全图案假设的产生提供关于图像中标记图案的位置和方向的信息。能够使用该信息，从而定向候选标记图案或者对齐候选标记图案与经成像的图案。然后针对一致性而检查经成像的图案与经对齐的候选标记图案。当存在一致时，经成像的标记图案能够标识为候选标记图案。例如，通过图13A和图13B的2-D标记图案，全图案假设中的经探测的2-D斑点的位置能够与候选标记图案模型的被设置为“1”(即物理显示)的信息位的位置比较，其中该候选标记图案模型已与全图案假设对齐。能够通过以下方法完成候选标记图案与标记图像的对齐，即评估标记相对于成像装置的3-D姿态，并且对齐候选标记与经评估的姿态。通过对于标记的3-D几何形状及其在图像中的2-D投影的了解，姿态评估计算标记的3-D姿态。在使用已知方法的姿态评估处理中使用成像装置校准。对于图13A和图13B中的2-D标记图案，能够使用4个定位器圆的图像中的位置实现姿态评估。一旦评估标记相对于成像装置的姿态，就能够使用已知的成像装置校准，确定候选标记的特征的3-D坐标并将其投影在图像中。能够检查这些图像位置中的像素，从而决定在该位置是否有一个点。也能够通过单应性实现候选标记图案与标记图像的对齐。4个2-D点对应定义平面透视转化(即单应性)，其包含透视转化下的平面的所有可能转化。即使附属于圆柱形工具轴的标记图案不是平面的，从各种观点看，平面近似(planeapproximation)也能够有用。该方法包括这样的近似，即标记特征位于平面上，其提供用于对齐候选标记图案与标记图像的简单化处理。例如，通过假定图案经平面透视转化附属于平面，点的图像位置能够基于4个圆的图像位置(参考R.Hartley和A.Zisserman“MultipleViewGeometryinComputerVision”第2章，CambridgeUniversityPress，2000)。由于偏离平面假定，所以“平面”模型不完全与标记图像点相符。为了补偿该平面假定，能够使用最邻近的方案确定模型点的开启/关闭状态。当最邻近的方案失败时，该确认失败。根据经验，已发现单向性能够正确探测高达45度的斜角2-D图案。与姿态评估相比，使用单向性的对齐是近似的。然而，其仍有吸引力之处在于不需要成像装置校准。另外，不需要已知标记的准确3-D几何外形(例如无所谓标记是否已附加于5mm、8mm或IOmm工具轴)，并且因此允许标记在同一时间附加于不同的器械几何外形。在手术器械跟踪应用中，这些适应性可能不重要，但是可能对于其他应用起作用。标记设计与如何从图像探测标记特征紧密相关。在此公开的标记设计实施例和在此公开的特征探测方法已为更好的全系统性能共同发展。例如，关于图13A和图1的2-D标记图案，如果定位器圆“0”和“1”之间不存在条，将需要改进探测方法的具体细节。然而，应明白，能够实践多种标记图案以及相应的标记特征探测方法，并且其仍处于本发明的精神和范围内。图20A、图20B、图20C、图20D和图20E图解应用于图的2_D标记的图19的方法。在图20A中，探测图像中的亮圆(十字形标注所示)。在图20B中，使用具有对齐的条的邻近亮圆形成两个定位器假设。在图20C中，通过相对于关联的定位器假设搜索而指定亮圆标识从而形成全图案假设。在图20D中，候选标记图案与图像全图案假设对齐，并且确定相对于图像的候选标记图案位置。使用经确定的位置从而检查图像，从而确定是否出现对应的探测特征。当图案匹配时，验证候选标记图案(图20E图解用于验证后的候选标记图案的例示性图案标识码)。应明白，可使用任何现有的姿态评估，例如原始运动学姿态评估和修正的运动学姿态评估，从而限制候选标记图案的数目。也应明白，可直接使用经探测的标记特征，从而通过直接确定哪些标记图案特征出现而哪些未出现，来确定标记图案的标识。能够为了多种目的以多种方式在工具上布置标记图案。例如，能够在工具上的多个位置布置标记，从而提供多个操作范围。图21A和图21B图解具有两种标记圆周带的机器人手术工具，所述圆周带沿工具轴分隔开一个轴向距离。在图21A中，接近成像装置操作该工具，因此将一个标记带置于视野之外。在图21B，远离成像装置操作该工具，因此将两个标记带都置于视野之内。如图21B所示，最接近成像装置的标记带中的特征比离成像装置最远的标记带中的特征更大。与更小、更远的特征相比，这些更大的特征可更易于探测，如果距离最远的标记特征被例如患者组织或体液所部分或完全闭塞时尤其如此。如图21A所示，当另一标记带在视野之外时，最接近手术工具的远端操作末端布置的标记带能够提供用于成像的清晰特征。一维标记设计能够使用一维(I-D)标记确定器械姿态。I-D标记包括一维布置的原始特征。有些特征能够作为定位器特征，而其余的特征能够作为标识特征。类似于2-D标记，能够使用定位器特征提供位置和方向信息，从而确定标记的姿态/对齐，而能够使用标识特征区别不同的标记。标识特征能够遵循编码方案，并且能够包括用于误差校验和/或修正的冗余信息。例如，图22A、图22B和图22C图解这样的I-D标记，其使用点、或圆和点的组合。图22A图解I-D标记MO，其包括形成直线的点。应明白，能够使用不同的颜色传达信息，标记240使用出现(即被设为“1”)或不出现(即被设为“0”)的点。标记240包括开始图案M2、结束图案M4以及具有12个数据位的中心部分M6。能够以多种方式使用该12个数据位，例如通过使用有些数据位作为标识位，而有些数据位作为误差校正/修正位，该误差校正/修改位能够包括一个或更多校验和数据位。能够通过邻近空白区域248界定开始图案242和结束图案M4。一维图案具有优点和缺点。例如，使用I-D图案的一个优点在于，其能用于非常细的器械，例如2-D图案将不能使用的针。I-D图案的一个缺点在于，单个I-D标记不能给出物体的完全六维姿态。对于完全六维姿态而言需要至少两个非线性标记。对于非常细的物体，轴向滚转通常不可被观察，所以由单个I-D标记提供的五维姿态已是通常能够获得的最多维姿态。图22B图解具有I-D标记MO的手术工具250的图像，其示出与手术工具轴的轴线对齐放置的三个这样的标记M0。当将I-D标记附加于圆柱形表面时，该标记能够与该圆柱的轴线对齐，其引起标记沿3-D空间中的直线布置。当用在相对小直径的工具轴上时，该标记可特别有利，其中绕该轴，通常能够布置比相当的2-D标记更多的I-D标记。然而，关于I-D标记的一个考量是其在器械轴上所需的长度，在较近的操作范围时，其可成为问题，会引起部分I-D标记处于视野外。图22C图解图22A中的1_D标记的改进形式。标记260包括圆圈特征沈2，其能够作为类似于上述图13A和图13B中的2-D标记的定位器特征的定位器特征使用。有利地，使用圆圈特征262可帮助减小图案的长度，因此提供更好的较近范围图案。能够使用点沈4用于标记标识和误差校验/修正数据。图22D图解图22C中的1_D标记沈0的可替换形式。标记265包含圆圈特征266和条特征沈8的组合。圆圈特征沈6能够用作定位器特征，而条特征沈8能够用于标记标识和误差校验/修正数据。标记260的点264与标记沈5的条特征268之间的差别在于，标记265信息由暗和亮区域之间的转换位置编码，而标记260使用点的中心位置来承载信息。一维标记提取图23示出方法270的流程图，其能够用于处理一个或更多1_D工具跟踪标记(其实施例在图22A、图22B和图22C中示出)的立体图像。在步骤276中，能够处理左图像数据272和右图像数据274，从而提取2-D斑点(即特征)，其能够使用上述关于从2-D标记提取2-D斑点(参考图19及相关讨论)的方法实现。在步骤278中，经抽取的斑点被分组为线。能够使用随机抽样一致(RANSAC)法执行线分组，其通过从所有的经探测的特征点提取多个直线实现。(对于随机抽样一致算法的细节，参考M.A.Fischler和R.C.Bolles,“RandomsampleConsensus:Aparadigmformodelfittingwithapplicationstoimageanalysisandautomatedcartography，，Comm.oftheACM，24:381_395，1981，其包括在此以供参考)。能够使用针对背景杂斑更易分辨的特征，例如图22C中的标记中的圆圈，从而形成假设。在步骤观0中，校正一条或更多条线。线校正涉及清除线上的透视效果，从而存储信息位(例如点)的公制关系。平行于轴的线的没影点足以校正该线(参考R.Hartley和AZisserman,"MultipleViewGeometryinComputerVision”，CambridgeUniversity^ess，2000，其包括在此以供参考)。有许多方法获得没影点的位置。例如，如果轴上有超过一条可见线性标记，则没影点就是这些线的交点。作为另外的例子，能够使用具有相等或已知间隔的点图像，从而计算没影点(例如参考图22C，作为具有相等的间隔圆的线性标记的例子)。在步骤282中，标识一个或更多标记。标记标识能够包括以下过程，即定位开始和结束图案，并且然后读取数据位，从而标识该图案。应明白，编码方案能够被设计成编码足够冗余以用于误差校验。当已使用有些数据位用于误差校验时，能够读取误差校验位，从而验证该标识。如上所述，误差校验数据位能够包括至少一个用作校验和数据的数据位。当使用立体摄像机时，一旦已标识标记(1-D或2-D)，则步骤282的3-D重现就变为简单步骤。在该状态下，已知左和右图像中的被成像特征之间的对应，并且仅需三角测量。然后，能够结合标记特征相对于工具的已知相对空间布置，使用作为最终3-D标记特征位置，从而确定工具的3-D姿态。构造标记例如手术工具沈的工具能够经配置，从而包括构造标记，以便提供能够在图像内被探测到的多个原始特征。单个原始特征通常不足以作为标记，因为其可能不独特，并且不能提供足够的几何外形限制来确定物体姿态。能够使用许多原始特征，从而形成具有3-D空间中独特构造的图案，其在此称为“构造标记”。该图案(即构造)总体上结合每个个别原始特征的判别力及其几何外形关系，从而更易于从背景探测。从立体图像提取的三个非共线特征提供足够的信息，从而确定工具的姿态。然而，具有比最小需要更多的特征能够有助于在探测中获得更大的置信程度以及在姿态确定中具有更佳的精度。原始特征的形状或外形能够相同(即相同大小的圆盘)，能够包括一些变体，或者能够为唯一的。同样，能够使用各种原始特征，例如圆、点、条、角等等。当使用的原始特征包括有些变体水平时，能够使用外形中的最终差异，从而帮助匹配两个立体图像之间的具体特征的图像位置(即在特征匹配期间使用特征签章)以及匹配图像和模型(即使用不变的或对于观察点和照明变化较不敏感的特征签章)。一个这样的原始特征为反射球面。反射球面具有良好的特性，不用考虑观察点，只要光源和成像装置沿公共方向对齐，该反射球面就作为亮点出现，其为微创机器人手术期间使用内窥镜成像的通常情况。亮点的中心与球面中心的突出一致。反射球面可为凹或凸面。在大多数情况下，反射球面可产生相对于背景具有充分对比度的亮点，从而允许在多种观察点和距离情况下对于图像的探测。然而，如果邻近的背景表面垂直于光的方向，并且全部区域向成像装置反射大量的光(因而导致图像饱和)，则该对比度会降至不良水平。在该情况下，改进的影像加强或高动态范围影像可帮助减轻该问题。图M图解原始特征300，其包括凹球面，并且能够被从三个方向照亮/成像。标记300的球面302具有中心点304，被直接朝着成像装置反射的照明光通过该中心点传播。未充分通过该中心点传播的照明光背离照亮/成像方向被反射。工具(或者通常为机械装置)上的有些固有特征也可表现为被捕捉的图像中的视觉突出特征。这些固有特征可提供关于工具的3-D姿态的额外的源自图像的信息。对于例示性手术工具的这种固有特征的例子能够包括具有近似球面的螺栓的端部，以及具有反射凹球面的铰接器械的铰链的端部。这样的固有特征可在图像中形成类似于那些人工标记的稳定亮斑点。然而，对于很多工具，这种固有特征本身不可能提供足够数量的特征来形成足以在杂斑背景下被辨别提取的图案。通过引入结合该自然特征的人工原始特征，能够实现足够的区别性。现有固有特征的使用帮助降低添加的人工特征的数目，并且因此减小对于将被跟踪的机械装置的改变(例如外观)。图25图解原始特征320，其包括凸球面322，并且其被从三个方向照亮/成像。类似于图M的原始特征，球面322具有中心点324，被直接朝着成像装置反射的照明光通过该中心点传播。未充分通过该中心点传播的照明光背离照亮/成像方向被反射。反射凸球面比凹反射球面更适合手术应用，这是因为，血液(或者通常任何流体或物质)会更容易被截留在凹进中，其可引起凹原始特征失去其与工具的邻近区域的对比，或者取决于被截留的血液量而变的更暗。相反，反射凸球面较不可能截留血液。此外，反射凸球面和组织的相互作用可帮助保持该表面清洁，其可有助于甚至在浓血域(heavybloodfield)产生亮点。图26A和图26B示出具有包括反射球面的原始特征的手术工具。不使用任何特别照明而使用这些工具，而是使用现有的立体成像系统，后者在例示性机器人手术系统中由外科医生使用，从而观察手术部位。该使用与现有的系统对比在于，其使用受控激活红外(IR)照明，这确保了视野中只有标记点被照亮，其明显简化相关的图像处理和评估。然而，使用现有立体成像系统避免了与受控激活顶照明相关的额外的系统复杂性。虽然这些手术工具具有置于其远端U形夹(clevis)上的原始特征，但是应明白，原始特征能够被置于其他位置，例如器械轴和/或近端U形夹上。选择不倾向于反射图像饱和度的位置可以是有利的。构造标记探测图27示出工具跟踪方法340的流程图，其使用对于具有构造标记的工具的立体图像的处理。该方法使用三维空间中的原始特征之间的几何不变性，因此首先执行立体匹配/3-D重现。在步骤346中，能够分别处理左图像数据342和右图像数据344，从而提取相对于邻近区域呈现合格对比量(即亮点)的原始特征。在步骤348中，处理经提取的原始图像特征，从而标识与使用的原始特征一致的“图像签章”。能够为每个原始图像特征提取“签章”。当使用的原始特征形状相同时，其图像签章可基本类似。当使用的原始特征具有形状或外形变化时，能够使用外形中的最终差异，从而帮助关联具体原始特征与具体原始图像特征，例如亮点。能够绕特征点从原始图像特征(即图像斑纹)提取原始图像特征签章。一种简单的特征签章方法是使用与传统的立体图像中一样的经提取的原始图像特征(图像斑纹)自身。最近，已提出对有些变化或变形不变/不敏感的签章，其能够比图像斑纹处理更多的照明和观察点变化。梯度直方图(HOG)是个良好的例子。(参考D.Lowe，“Distinctiveimagefeaturesfromscale-invariantkeypoints，，，In.InternationalJournalofComputerVision，20卷，91-110页，2003，其包括在此以供参考)。在步骤350中，匹配两个立体图像(即左图像和右图像)中的特征。不同的签章方法可需要不同的匹配方法。例如，对图像斑纹签章使用正规化相关(参考DavidForsyth禾口JeanPonce,"ComputerVisionAModemApproach，，,240页,PrenticeHall,2003)。通过HOG签章，已提议使用相关的匹配得分作为置信水平标准，其很有可能为有用的方法。能够使用极线约束(Epipolarconstraint)从而仅在直线上约束该匹配(参考R.Hartley和A.Zisserman,"MultipleViewGeometryinComputerVision，，，CambridgeUniversityPress,2000)当存在几个良好的匹配时，能够保留所有的匹配用于在下一步骤处理。使用经匹配的特征，从而通过使用立体三角测量产生3-D坐标。在步骤350的可选方法中，可在步骤354中使用基于模型的签章。预期在图像和模型之间匹配特征签章比在左和右立体图像之间匹配特征签章更难，因为立体图像具有类似的观察点、照明和极线约束。为了匹配图像签章和模型签章，可需要特征对于观察点和照明条件不变。如果使用相同的原始特征，其可能更难以与模型匹配。然而，能够设计原始图像，从而具有几种在较大观察点变化下易于匹配的形状(以及最终外形)。有一种方法依赖对于观察点变化不变的拓扑性质。一个例子为圆圈，其如上关于I-D和2-D标记所述。作为圆圈的一个变化，原始特征能够使用暗点中的多个亮点。即使并非所有的点都匹配模型，或者即使该匹配不独特，也能够在特征分组中使用局部匹配。在步骤352中，能够使用经匹配的特征从而执行三维特征分组，以便建立观察特征与模型中特征的对应(即获得3-D中的经标识标记点，358)。该处理使用特征的3-D位置，和可选择地与其模型原始特征匹配和/或可选择地器械姿态上的现有了解匹配的匹配得分。能够通过“星座运算”执行步骤352。执行的星座运算为基于以下条件用于3-D分组的有效贝叶斯方法，即基于几何形状限制、外形限制以及物体姿态上的其他现有姿态信息(即现有物体姿态数据356)。如果几何形状限制不足，则使用外形限制是一种选择。星座运算输出的是针对每个观察的特征的标签，其具有来自于模型原始特征之一或背景杂斑的值。最后使用随机抽样一致法(RANSAC)从而加强刚度限制。27星座运算——问题形成假定我们具有η个已知图案IC1,...，CJ，其每个都包含1^个节点。我们使用CciGctl=1)指示不是该图案的部分的任何事物。权利要求1.一种机器人手术方法，其包含捕捉手术工具的第一图像，所述手术工具包括定义第一标记的多个特征，所述第一标记的至少一个所述特征包含标识特征；通过处理所捕捉的第一图像确定所述第一标记的位置；通过处理所述第一图像、通过使用至少一个标识特征而确定所述第一标记的标识；以及通过使用对于所述第一标记的所述位置以及所述第一标记的所述标识而确定被成像工具的工具状态。2.根据权利要求1所述的方法，其中所述第一标记包含定义误差校验数据的冗余特征，所述方法进一步包含处理所述第一图像，从而探测所述冗余特征并且读取所述误差校验数据；以及通过验证所述第一标记标识与所述误差校验数据一致来确认所述第一标记的标识。3.根据权利要求2所述的方法，其中所述冗余特征定义校验和数据，所述方法进一步包含处理所述第一图像从而读取所述校验和数据；以及通过验证所述第一标记标识与所述校验和数据一致来确认所述第一标记的标识。4.根据权利要求1所述的方法，其中所述工具包括多个标记，每个标记都具有与所述标记的标识关联的至少一个标识特征，所述工具的所述标记的所述标识彼此不同，其中所述第一图像的处理是由具有如下数据的处理器执行，即该数据针对每个标记都指示所述标记和所述手术工具的接点之间的相关预定位置关系，并且其中确定所述工具状态包含通过使用所述第一标记的位置、所述第一标记的标识以及所述第一标记的相关位置关系数据来确定所述工具的位置。5.根据权利要求4所述的方法，其中所述第一图像包括所述工具的第二标记，所述方法进一步包含通过处理所述第一图像，来确定所述第二标记的位置；通过处理所述第一图像，来确定所述第二标记的标识；以及通过使用所述第二标记的位置、所述第二标记的标识以及与第二标记相关联的所述预定位置关系数据，来确定所述被成像工具的工具状态。6.根据权利要求4所述的方法，其中所述工具包括第二标记，所述第二标记在所述第一图像中不明显，所述方法进一步包含在通过使用所述第一标记确定所述工具状态后移动所述工具；捕获所移动的工具的第二图像，所述第二图像包含所述第二标记，所述第一标记在所述第二图像中不明显；通过处理所述第二图像来确定所述第二标记的位置；通过处理所述第二图像来确定所述第二标记的标识；以及通过使用所述第二标记的位置、所述第二标记的标识以及与所述第二标记相关联的所述预定位置关系数据，来确定所述工具的经移动的工具状态。7.根据权利要求1所述的方法，其进一步包含捕捉所述手术工具的第二图像，其中通过使用立体内窥镜捕捉所述第一和第二图像；以及通过处理所述第一和第二图像，来确定所述第一标记的三维位置数据，其中三维或更多维中确定所述工具状态。8.根据权利要求1所述的方法，其中所述手术工具包括多个标记，每个标记都具有至少一个定位器特征以及至少一个标识特征，所述至少一个标识特征相对于所述至少一个定位器特征具有已知位置关系，其中通过使用所述至少一个定位器特征确定所述第一标记的位置，并且其中通过以下方法确认所述第一标记的标识，即标识所述第一标记的所述至少一个定位器特征并且读取所述至少一个标识特征，其依照所述定位器特征和所述至少一个标识特征之间的所述已知位置关系。9.根据权利要求1所述的方法，其中所述多个特征包括至少一个定位器特征，并且其中确定所述第一标记的标识的步骤包含处理所述第一图像，以便标识所述至少一个定位器特征；选择所述第一特征的候选特性；通过使用经标识的至少一个定位器特征，产生具有所述候选特性的标记的候选域；以及比较所述候选域与所述第一图像，以便验证所选择的候选特性为所述第一标记的特性。10.根据权利要求9所述的方法，其中为所述第一标记选择候选特性的步骤包含通过使用来自所述工具的现有图像的至少一个现有工具状态或者实现所述工具的运动的机器人致动系统的接点数据，来产生所述手术工具的评估姿态，其中所选择的候选特性导致用于所述手术工具的候选姿态，其处于所述手术工具的所述评估姿态的预定偏离之内。11.根据权利要求10所述的方法，其中所述第一图像包含另一手术工具，每个工具都具有特性，并且进一步包含将特性关联于具有所述第一标记的被成像工具，其通过如下方式被实现，即验证所述第一标记的所述候选特性导致候选姿态处于具有所述第一标记的手术工具的评估姿态的预定偏离之内。12.根据权利要求1所述的方法，其中使用最大稳定极值区域法(MSER)或自适应阈值法，从而确定所述第一标记的位置数据。13.一种机器人手术系统，其包含手术工具，其具有定义第一标记的多个特征，所述第一标记的至少一个所述特征包含标识特征；成像装置，其用于在使用期间捕捉所述工具的第一图像，并且响应输出第一图像数据；以及处理器，其耦合所述成像装置，所述处理器适于处理所述捕捉的第一图像数据，以便确定所述第一标记的位置数据；通过使用所述标识特征而确定所述第一标记的标识；以及通过使用所述第一标记位置数据和所述第一标记的标识而确定被成像工具的工具状态数据。14.根据权利要求13所述的系统，其进一步包含有形介质，所述有形介质包括可由所述处理器执行、用于处理所述捕捉的第一图像的机器可读指令。15.根据权利要求13所述的系统，其进一步包含用于非源自内窥镜的工具状态数据的输入，所述非源自内窥镜的工具状态数据来自支撑所述工具的机器人接点，并且其中所述处理器进一步经配置从而处理非源自内窥镜的工具状态信息以及源自图像的工具状态信息以用于跟踪所述工具的状态。16.根据权利要求13所述的系统，其中所述成像装置适于基本与所述第一图像同时捕捉第二图像，并且响应输出第二图像数据，其中所述处理器进一步经配置从而通过处理所述第一和第二图像数据，来确定所述第一标记的三维位置数据。17.根据权利要求16所述的系统，其中所述成像装置包含立体内窥镜。18.根据权利要求13所述的系统，其中所述第一标记包含定义误差校验数据的冗余特征，并且其中所述处理器进一步经配置从而处理所述第一图像数据，以便探测所述第一标记冗余特征；读取所述误差校验数据；以及通过验证所述第一标记标识与所述误差校验数据一致而确认所述第一标记的标识。19.根据权利要求18所述的系统，其中所述冗余特征定义校验和数据，并且其中所述处理器进一步经配置从而处理所述第一图像数据，以便读取所述校验和数据，并且通过验证所述第一标记标识与所述校验和数据一致而确认所述第一标记的标识。20.根据权利要求13所述的系统，其中多个标记绕所述工具分布，其中所述处理器包含用于每个标记的数据，其指示相关标记标识和在所述标记和所述手术工具的接点之间的相关位置关系，并且其中所述标记具有标识特征，其对于所述处理器的区别足以确定被包含在所述第一图像内的标记的标识。21.根据权利要求20所述的系统，其中至少一个所述标记包含与邻近标记共用的至少一个定位器特征。22.根据权利要求20所述的系统，其中每个所述标记的特征被设置在二维图案中。23.根据权利要求22所述的系统，其中每个所述标记都使用多个圆圈作为定位器特征。24.根据权利要求22所述的系统，其中每个所述标记都使用多个角作为定位器特征。25.根据权利要求M所述的系统，其中所述角包含鞍点。26.根据权利要求22所述的系统，其中每个所述标记都包含三个定位器特征。27.根据权利要求22所述的系统，其中每个所述标记都包含四个定位器特征。28.根据权利要求22所述的系统，其中每个所述标记都包含四个圆圈和一个条作为定位器特征。29.根据权利要求13所述的系统，其中所述第一标记包含文字。30.根据权利要求四所述的系统，其中所述第一标记包含被修改的文字，从而增加位置数据或可辨别特征。31.根据权利要求13所述的系统，其中所述处理器耦合显示器，并且所述处理器向所述处理器输出被修改的第一图像数据，其对应于参考特征改变所述第一图像的一部分。32.一种用于与机器人手术系统一起使用的手术工具，所述手术系统包括成像装置和处理器，所述成像装置用于在使用期间捕捉所述手术工具的图像，所述处理器耦合所述成像装置以用于处理所捕捉的图像，以便为所述手术工具确定源自图像的位置信息，所述手术工具包含多个标记，每个标记都具有至少一个标识特征，对于所述手术系统，每个标记的所述标识特征的区别足以基于包含标记的图像辨别各标记。33.一种机器人手术方法，其包含捕捉手术工具的第一图像，所述手术工具包括定义多个标记的多个特征，每个标记都相对于所述手术工具具有预定位置关系，所述第一图像包括所述标记中的一个标记；通过处理所述第一图像为所述成像标记确定位置；通过使用来自所述工具的现有图像的至少一个现有工具状态，或者来自实现所述工具的运动的机器人致动系统的接点数据，来产生所述工具的评估工具状态；以及通过使用所述成像标记的位置、所述手术工具和所述成像标记之间的所述预定位置关系以及所述工具的所述评估工具状态，来确定所述工具的工具状态。全文摘要本公开涉及使用来自一个或更多工具定位参考特征的源自图像的数据的工具跟踪的系统、方法和工具。该方法包括捕捉工具的第一图像，其包括多个定义第一标记的特征，其中第一标记的至少一个特征包括标识特征；通过处理第一图像确定第一标记的位置；通过处理第一图像使用所述至少一个标识特征来确定第一标记的标识；以及通过使用第一标记的位置和标识来确定工具的工具状态。文档编号A61B19/00GK102341055SQ200980157768公开日2012年2月1日申请日期2009年12月17日优先权日2008年12月31日发明者B·D·霍夫曼,D·J·哈拉贝,W·C·诺林,赵文毅,赵涛申请人:直观外科手术操作公司