自主机器人跟踪的制作方法

本公开的实施方案描述了与例如如应用于矫形外科手术治疗的外科手术工具的机器人跟踪的领域相关的技术。

背景技术：

1、在一些情况下，机器人辅助的基于图像的外科手术的成功取决于感兴趣区域的术前图像与术中外科手术术野之间的准确配准。在整个外科手术过程依赖于准确地识别患者的解剖特征的情况下，配准的精确度可能是极为重要的，这些解剖特征与对操作进行计划所基于的术前图像中识别的那些解剖特征相对应。一旦已经建立了准确的配准，机器人外科手术系统就可以引导端部执行器对外科手术工具进行准确定位以执行根据术前三维图像生成的外科手术计划。在许多外科手术计划中，程序中的一些可能涉及外科手术医生方的手动操纵。一个此类示例性实例是在矫形程序中进行孔的钻进中，其中外科手术医生使用外科手术钻具手动地执行钻进程序。为了确定钻具钻头的纵向位置(即，钻具钻头在对象的骨中的插入深度)，必须使用监控系统以防止钻具的过度插入(可能伴随对对象的损害)所需的准确度来跟踪钻具的位置。在这方面，实时监控是必要的，以便保持对钻具的位置的持续不断的了解。

2、已经开发了使用多种装备和对准方法的不同系统，以确保在外科手术程序中对钻具位置的准确监控。一种方法是使用导航系统，在该导航系统中，通过用三维相机系统观察外科手术术野来实现要被跟踪的对象的运动，该三维相机系统能够对附着到一个或多个对象(其位置要被跟踪)的三维标记以及解剖特征(正在其上执行外科手术程序)进行成像。通过这种方式，可以跟踪比如外科手术钻具相对于矫形元件(钻具正在其上操作)的位置和取向。这些系统通常依赖于相机和标记之间的清晰视场，其中相机之间的视线需要不受诸如外科手术医生的臂或机器人臂等对象的阻碍。依赖于其他成像形式(诸如电磁辐射、超声波或无线电定位传输)的类似系统也可能需要类似的条件。

技术实现思路

1、本公开尤其描述了新的示例性系统和方法，这些新的示例性系统和方法用于跟踪由外科手术机器人系统操纵的对象(诸如，外科手术工具)的位置，使得可以确定工具处于正确计划的位置和正确计划的取向，以根据预定的外科手术计划执行分配给外科手术机器人系统的任务。这些目的通过使用安装在机器人系统的靠近感兴趣的外科手术区域的部分上(诸如，在端部执行器上)的一个或多个微型跟踪相机来实现。这些实施方案确定工具在其要操作的解剖身体部分的表面上的初始空间位置和取向，并且还能够在工具执行其功能时监控工具进入解剖身体部分的进程。这份公开中描述的系统中的一些的优点在于，这些系统不要求任何相机或传感器远离机器人本身，并且系统操作所必需的所有机械元件和传感器元件(但不一定是控制系统)可以安装在机器人的范围内。结果，这些实施方案较不倾向于或甚至不受由于远程相机或传感器与机器人或患者之间的通信中断而导致的操作中断的影响。

2、本公开的实施方案通过结合最有利地安装在机器人的致动臂或端部执行器上的一个或多个微型三维传感器相机来实现这些目的，机器人的致动臂或端部执行器是机器人的最靠近工具和外科手术的区域的部分，但是也可以使用其他靠近位置。在下文中，术语端部执行器通常用于指机器人的这个部分。这些微型传感器相机相对于端部执行器具有固定的位置。每个相机或传感器通过对刚性地附接到正被跟踪的对象的三维参照标记元件或参照框架进行成像并且分析所得到的三维图像以确定跟踪标记的位置和取向并且因此确定对象的位置和取向来跟踪对象相对于端部执行器的位置和取向。对于适当装备的相机系统，这种分析还可以通过使用相机的直接三维输出信息配置来完成。必须在要跟踪的对象的三维空间位置和取向与由相机跟踪的三维标记的空间位置和取向之间建立初始相互关系。跟踪远程对象相对于端部执行器的位置可以提供若干不同的优点。

3、首先，跟踪远程对象(诸如附接到可移动外科手术工具的标记，或者更通常地，附接到工具本身所附接的工具驱动器的标记)使得能够知道工具相对于端部执行器的纵向位置并且因此能够知道工具相对于机器人坐标系的纵向位置。为了克服在此类外科手术工具保持器或驱动器与保持器旋转或振动或简单地保持的工具之间可能由于所使用的命名和特定工具配置的差异而引起的任何混淆，术语“外科手术工具”此后用于表示工具驱动器连同其所保持的外科手术工具。钻头的在对象身体的解剖部分上执行所述程序的末端于是相应地被称为外科手术工具的末端。无论工具保持器是钻具、或铣削机器、或超声波工具保持器、或甚至是其操作工具相对于工具保持器不移动的工具保持器，都使用该命名法。

4、外科手术工具的角取向在机器人坐标系中通常是已知的，因为外科手术工具所穿过的工具引导件的角取向对于机器人控制系统是已知的。然而，至少在由外科手术医生手动执行工具插入的系统中，外科手术工具相对于工具引导件的纵向位置对于机器人系统是未知的。对指向外科手术工具标记元件的端部执行器上的此类跟踪相机进行使用因此使得能够确定要获得的完整工具姿势(包括外科手术工具的纵向位置在内)。相对于外科手术工具将在其上操作的目标的纵向外科手术工具位置可以通过外科手术工具末端的相对于外科手术工具上的标记参照框架的位置的初步校准来确定。替代地，该位置可以通过将外科手术工具末端接触到其将在上面操作的目标的表面上而被确定，以便限定如下参照位置：外科手术工具运动将相对于该参照位置被参照。

5、第二，通过使用安装在端部执行器上并且指向附接到远程对象的标记的三维跟踪相机，这些实施方案能够跟踪解剖身体部分相对于端部执行器并且因此相对于机器人坐标系的姿势，该远程对象在该应用中可以是机器人系统要在其上执行外科手术程序的解剖身体部分。

6、第三，上述两个优点的组合提供了外科手术工具和机器人系统要在其上执行外科手术程序的解剖身体部分之间的直接坐标关系，因为两者都涉及机器人及其端部执行器的相同基础坐标系。因此，一旦已经在解剖身体部分(包括参照标记元件在内)的术中荧光镜图像与来自三维图像集的术前图像之间执行了配准，使得身体部位的术中姿势可以与已创建外科手术计划所根据的更高分辨率术前图像相关，则标记元件的术中光学跟踪使得外科手术工具的位置能够与感兴趣区域的术前高分辨率图像相关。这使得能够将从工具跟踪相机输出获知其姿势的外科手术工具末端的图像实时地植入到从术前三维图像集取得的术前高分辨率图像上。因此，这种实施方式使得外科手术医生能够借助于植入在产生外科手术计划所根据的高分辨率图像(诸如，ct或mri图像)上的、工具末端区域的图像实时地跟踪外科手术工具的末端的位置。在与本技术共同拥有并具有共同发明人的美国专利9,125,556号“on-site verification ofimplant positioning(植入物定位的现场验证)”中，描述了一种方法，通过该方法，可以在较高分辨率的术前图像上植入通过术中x射线透视成像的外科手术插入物，这提供了优于在具有低得多的分辨率的术中x射线图像中观察插入物的主要优点。在目前描述的实施方式中，使用由工具引导的相机和身体部位引导的相机生成的图像信息的此类图像植入可以提供植入到感兴趣区域的高分辨率ct或mri图像上的外科手术工具的连续、实时视图。

7、目前描述的方法中的一些具有优于us 9,125,556中的方法中的一些的进一步临床优点，因为不仅工具的三维位置作为在高分辨率图像中的实时跟踪而获得，而且这仅使用光学成像相机来实现，并且除了初始校准x射线图像之外，每当工具位置要相对于对象的解剖结构被肯定地确定时不涉及对连续重复的x射线图像的使用。

8、以上所有这些方面都可以用于如将在本公开中充分描述的系统和方法的不同实施方式中。

9、本文描述的实施方案的另一优点在于，相机与解剖参照框架以及与外科手术参照框架之间的短距离不仅消除了视线阻碍的主要问题，而且允许高得多的准确度，因为相机通常可以小于一米，且甚至距参照框架接近20cm而非3m，3m是距远程导航系统相机阵列的典型距离。

10、这种方法的另一个应用是通过接触解剖标志进行配准。当手持式工具接触已知的解剖标志时，附接有端部执行器的相机跟随手持式工具，从而获得配准。根据另一实施方案，激光指示器可用于实施此类解剖位置定位。激光指示器由外科手术医生指向预定的解剖特征，并且相机可以使用成像处理例程(最方便地在控制器上运行)来检测激光束在解剖特征上的撞击。由于成像相机相对于机器人的端部执行器的姿势是已知的，因此激光点的检测位置在机器人坐标系中是已知的。多次重复这种测距过程使得能够在机器人的坐标系中映射解剖特征的整个区域，而不需要图像配准。

11、根据又一实施方式，本公开的实施方案另外用于验证外科手术机器人相对于解剖身体部分的真实的术中位置的位置确定。这通过使用相机来执行，该相机被引导以对安装在相对于身体部位的固定且刚性的位置中的参照框架进行成像，并且由此确定身体部位自身相对于机器人端部执行器的位置和取向。由于该位置和取向已经在初步配准程序中被确定，因此该第二实施方式可以被用作验证过程以确认身体部位在机器人坐标参照框架中的先前获得的位置和取向。

12、端部执行器通常是安装一个或多个成像相机的最方便且最有用的位置，因为它通常是最靠近外科手术工具和身体部位的位置，并且在整个说明书中使用此类安装位置。然而，应理解，可使用机器人上的其它位置来安装一个或多个相机，只要此类位置提供对所成像的参照框架的紧密视觉访问即可，以便利用此系统优于先前描述的远程导航或跟踪系统相机的优点，并且本公开的要求保护的系统和方法意图涵盖其它此类紧密安装配置。

13、尽管已经将自主跟踪系统的上文描述的实施方式应用于确定机器人引导的外科手术工具及其解剖目标的姿势，但是进一步的实施方式也可以为手持式和手动操纵的外科手术工具提供显著的优点。在这些实施方式中，由外科手术医生或其他医务人员保持和操纵的外科手术工具可以装备有三维参照标记元件或参照框架。标记可以是通过安装在机器人臂上的三维跟踪相机进行成像的，与先前使用的导航系统上的远程相机不同，该三维跟踪相机可以移动到外科手术区域和手动操纵的工具的紧密接近处。此类实施方式使得能够实现上文提及的两个目的，即(i)由于相机到标记组件的接近性而获得的位置准确度的显著增加，以及(ii)对于相机和其正在跟踪的标记之间的视线的无意阻碍的良好抗干扰性，也用于手动执行的外科手术程序。由于在这种实施方式中，机械臂的位置不受将外科手术工具相对于外科手术部位定位的需要的限制，所以携载跟踪相机的臂可以在没有此类限制的情况下移动，被要求尽可能接近操作部位，因此增加了手动操纵的外科手术工具的定位准确度的准确度。在该实施方式中，系统控制器可以利用机器人臂的位置意识并且因此利用跟踪相机的位置意识，以便使用在机器人坐标系和外科手术计划之间最初执行的配准程序(如从感兴趣的外科手术区域的术前三维图像所确定的)，将手动保持的外科手术工具的位置与手动保持的外科手术工具在其上操作的解剖部分相关联。

14、作为跟踪手动工具使用的该方法的另一实施方案，代替在机器人臂上使用单个三维跟踪相机，可以使用两个常规二维相机，这两个常规二维相机各自在单独的机器人臂上，并且通过两个臂的单独运动将相机移动到用于观察手外科手术部位并且通过三角测量计算确定标记元件的位置的最佳位置。该实施方案具有以下优点：可以通过选择相机的较大间隔距离来改进深度感知。

15、在上述手动操纵工具应用中的任一种应用中，由于携载一个或多个跟踪相机的机器人系统的坐标系最初被配准到感兴趣区域的图像并且被配准到外科手术医生在其上操作的解剖部分，所以机器人系统的内部臂位置感知可以补偿在携载相机的机器人臂的定位中自最初已知的配准以来的变化。在利用这个实施方案的替代方法中，安装在机器人臂上的跟踪相机也可以被对准以使用附接到解剖部分的标记框架来跟踪外科手术医生正在其上执行所述程序的解剖部分的姿势。在此类情况下，相机可以直接将手持式外科手术工具的姿势与解剖部分的姿势相关联，而不直接使用初始配准的信息。

16、在上述实施方式中的任一者中，机器人控制器可经配置以运行用于使用算法计算一个或多个机器人臂的最佳位置的例程，所述算法确定所关注操作区域周围的可用空间与工具(不管是机器人还是手动固持)的接近之间的关系。在后一种情况下，系统还可以向外科手术医生提供关于到达外科手术部位的最佳进入位置的信息。

17、因此，根据本公开中所描述的装置的示例性实施方式提供了一种机器人跟踪系统，该机器人跟踪系统包括：

18、(i)第一跟踪相机，其固定地附接到机器人的一部分，处于使得第一跟踪相机能够捕获附接到外科手术工具的第一三维参照框架的图像的位置；

19、(ii)第二跟踪相机，其固定地附接到机器人的一部分，处于使得第二跟踪相机能够捕获附接到对象的解剖部分的第二三维参照框架的图像的位置；以及

20、(iii)控制系统，其适于基于来自第一跟踪相机的第一三维参照框架的图像，确定外科手术工具在机器人坐标系中的至少一位置，并且适于基于来自第二跟踪相机的第二三维参照框架的图像确定对象的解剖部分在机器人坐标系中的姿势。

21、本公开的机器人跟踪系统的另一示例性实施方式包括：

22、(i)成像相机，其在固定位置处附接到机器人的一部分，该成像相机的视场是可调节的，使得它可以对以下部分进行成像：

23、(a)附接到外科手术工具的第一三维参照框架，或

24、(b)附接到对象的解剖部分的第二三维参照框架；以及

25、(ii)控制系统，其适于：基于从包括第一三维参照框架的视场生成的相机图像来确定外科手术工具在机器人坐标系中的至少一位置，并且适于基于从包括第二三维参照框架的视场生成的相机图像来确定对象的解剖部分在机器人坐标系中的姿势。

26、在本技术中描述的机器人跟踪系统的又一实施方案包括：

27、(i)固定地附接到机器人的一部分的成像相机，该成像相机的视场使得其能够对附接到外科手术工具的第一三维参照框架进行成像；以及

28、(ii)控制系统，其适于：

29、(a)基于来自成像相机的第一三维参照框架的图像，确定外科手术工具在机器人坐标系中的至少一位置，以及

30、(b)将工具的位置与工具意图在其上操作的对象的解剖部分相关联，该解剖部分的姿势通过使用附接到对象的该解剖部分的第二三维参照框架根据设置在机器人附近的固定位置中的导航跟踪系统来确定。

31、此外，根据本公开中示出的实施方式的附加示例，提供了一种机器人跟踪系统，该机器人跟踪系统包括：

32、(i)固定地附接到机器人的一部分的至少一个成像相机，该至少一个成像相机的视场使得其适于对以下部分进行成像：

33、(a)附接到外科手术工具的第一三维参照框架，以及

34、(b)附接到能够对对象的解剖身体部分进行成像的成像系统的一部分的第二三维参照框架；以及

35、(ii)控制系统，其适于：

36、(a)基于来自该至少一个成像相机的第一三维参照框架的图像，确定外科手术工具在机器人坐标系中的至少一位置；

37、(b)基于来自该至少一个成像相机的第二三维参照框架的图像，确定成像系统在机器人坐标系中的姿势；以及

38、(c)将至少工具的位置与工具要在其上操作的对象的解剖部分相关联。

39、本文所述的系统可包括另一示例性机器人跟踪系统，该另一示例性机器人跟踪系统包括：

40、(i)第一成像相机，其固定到机器人系统的端部执行器，使得该第一成像相机的视场的包括附接到外科手术工具的第一三维参照框架；

41、(ii)第二成像相机，其固定到机器人系统的端部执行器，使得该第二成像相机的视场包括附接到外科手术工具意图在其上操作的对象的解剖部分的第二三维参照框架，以及

42、(iii)控制系统，其适于：

43、(a)将通过分析第一参照框架的图像获得的关于外科手术工具的姿势的信息与通过分析第二参照框架的图像获得的关于对象的解剖部分的姿势的信息相关联，以及

44、(b)使用关于外科手术工具末端相对于外科手术工具或相对于末端与解剖部分的表面的接触点的空间关系的信息，使得外科手术工具末端相对于对象的解剖部分的位置可以由控制器跟踪。

45、最后，还公开了机器人跟踪系统的另一个实施方案，其包括：

46、(i)第一二维成像相机，其固定地附接到第一机器人臂并且被引导以生成附接到手持式外科手术工具的三维参照框架的第一二维图像；

47、(ii)第二二维成像相机，其固定地附接到第二机器人臂并且被引导以生成附接到手持式外科手术工具的三维参照框架的第二二维图像；以及

48、(iii)控制系统，其适于根据来自第一相机的第一二维图像和来自第二相机的第二二维图像来确定外科手术工具在第一机器人和第二机器人中的至少一者的坐标系中的三维姿势,

49、其中，第一机器人臂的位置和第二机器人臂的位置适于被保持间隔开一定距离，该距离为手持式外科手术工具的所确定的姿势提供期望的准确度。

50、一种跟踪由机器人操纵的外科手术工具的示例性方法，该示例性方法包括：

51、(i)生成固定地安装到外科手术工具的第一三维参照框架的至少一个图像，该第一参照框架设置在第一相机的视场内，该第一相机安装在机器人的端部执行器上；

52、(ii)生成固定地附接到对象的解剖身体部分的第二三维参照框架的至少一个图像，该第二参照框架设置在第二相机的视场内，该第二相机安装在机器人的端部执行器上；

53、(iii)对由第一相机生成的该至少一个图像执行图像分析，以确定外科手术工具相对于机器人的端部执行器的姿势；

54、(iv)对由第二相机生成的该至少一个图像执行图像分析，以确定解剖身体部分相对于机器人的端部执行器的姿势；以及

55、(v)将外科手术工具的所确定的姿势与解剖身体部分的所确定的姿势相关联，使得在执行外科手术程序的同时可以相对于解剖身体部分跟踪外科手术工具。