模型登记系统和方法与流程

所公开的技术一般涉及跟踪系统，并且具体来说涉及用于使用与跟踪系统相关联的参考坐标系登记对象的模型的系统和方法。

背景技术：

使用与医疗跟踪系统相关联的坐标系登记与患者的图像相关联的坐标系能够在其各自的位置和方向显示关于患者的感兴趣的身体部位的图像的术中信息(例如，医疗工具的表示，导航信息)。因此，用户可以查看这些术中信息以及感兴趣的患者身体部位。

robbins等人的美国专利申请公布u.s.2011/0098553涉及使用图像引导系统自动登记磁共振(mr)图像。通过将mr可见标记放置在相对于相机跟踪系统中可见的标记的已知位置来实现登记。标记被固定到公共的固定装置上，该固定装置与参考标记一起附接到头夹(当标记被覆盖或去除时使用)。跟踪系统包括具有用于检测可见光的检测阵列的相机，以及被布置成分析阵列的输出的处理器。要检测的每个对象携带单个标记，其具有在其上的特定单个特征点处相交的明暗的对比区域的图案，并具有围绕特定位置的阵列。这使得处理器能够检测图案的旋转角度并且将每个标记与其他标记区分开。

schoepp的美国专利申请公布2012/0078236涉及一种用于使用与扫描图像相关联的坐标系自动登记与导航系统相关联的坐标系的方法。最初，包括基准标记的导航系统的相机组件固定地附接到患者(例如，使用粘合剂)。此后，获取使用相机的患者的扫描图像。扫描图像包括带有基准标记的相机。登记模块自动辨认和识别在扫描图像中可见的基准标记，并且从中确定相机组件的位置(即，基准标记相对于相机坐标系和相机的焦点几何形状的位置是已知的)。通过识别扫描图像内的相机坐标系的位置，登记模块自动登记相对于扫描图像中患者位置的相机空间。在自动登记相机时，通过外科手术工具、相机坐标系和扫描图像坐标系之间已知的关系可立即获得外科手术工具的跟踪。

本公开技术的概述

特别地，所公开的技术的目的是提供一种用于使用与跟踪系统相关联的参考坐标系登记对象的模型的新颖的方法和系统。

根据所公开的技术，因此提供了一种用于使用与对象相关联的参考坐标系登记与对象的模型相关联的坐标系的系统。系统包括便携式单元、跟踪系统和处理器。便携式单元包括显示器。处理器与便携式单元和跟踪系统耦合。跟踪系统跟踪参考坐标系中的便携式单元。处理器确定便携式单元在参考坐标系中的位置和方向。处理器进一步根据跟踪指针和各自的位置相关信息中的至少一个，确定位于对象上的至少一个标记在参考坐标系中的位置。处理器也在显示器上显示登记相关信息，登记相关信息和登记相关信息的显示位置中的至少一个与便携式单元在参考坐标系中的位置和方向相关。

根据所公开的技术的另一方面，因此提供了一种用于显示登记相关信息的方法，其包含以下程序：确定标记在与对象的模型相关联的坐标系中的位置，标记位于对象上；以及确定便携式单元在参考坐标系中的位置和方向，便携式单元包括显示器。方法进一步包括以下程序：确定至少三个标记在参考坐标系中的位置；以及根据至少三个标记在两个坐标系中的各自确定的位置，使用参考坐标系登记与对象的模型相关联的坐标系。方法也包括以下程序：在显示器上显示登记相关信息，登记相关信息和登记相关信息的显示位置中的至少一个与便携式单元在参考坐标系中的位置和方向相关。

附图说明

从以下结合附图的详细描述中将更全面地理解和了解所公开的技术，其中：

图1a、图1b和图1c是根据所公开的技术的实施方案的用于确定位于对象上的基准标记的位置的示例性方法的示意图；

图2是根据所公开的技术的另一实施方案的用于使用与医疗跟踪系统相关联的坐标系登记与患者身体部位的模型相关联的坐标系的示例性光学跟踪系统的示意图；

图3是根据所公开的技术的另一实施方案构造和操作的用于使用参考坐标系登记模型坐标系的示例性电磁跟踪系统的示意图；

图4是根据所公开的技术的另一实施方案构造和操作的跟踪便携式单元在参考坐标系中的位置的光学跟踪系统的示意图；

图5是根据所公开的技术的另一实施方案构造和操作的跟踪便携式单元在参考坐标系中的位置的光学跟踪系统的示意图；

图6a、图6b、图6c和图6d是根据所公开的技术的另一实施方案的在登记过程期间向用户显示登记相关信息的示例性登记过程的示意图；

图7是根据所公开的技术的另一实施方案的用于向用户显示登记相关信息的方法的示意图；

图8是根据所公开的技术的另一实施方案的用于登记模型坐标系和参考坐标系的方法的示意图；

图9a和图9b是示例性标准标记的示意图；

图9c至图9e是根据所公开的技术的另一实施方案构造和操作的示例性有源登记标记的示意图；

图10是根据所公开的技术的另一实施方案构造和操作的无源登记标记的横截面图的示意图；以及

图11a和图11b是根据所公开的技术的另一实施方案的可以用于模型获取和登记的两个示例性基准标记的示意图。

实施方案的详细描述

所公开的技术通过提供一种用于使用与跟踪系统相关联的参考坐标系登记对象的模型的新颖的系统和方法来克服现有技术的缺点。跟踪系统可以是光学跟踪系统、电磁跟踪系统、超声波跟踪系统、光学飞行时间跟踪系统。根据所公开的技术，跟踪系统跟踪便携式单元在参考坐标系中的位置和方向。便携式单元包括光学检测组件(例如，传感器阵列相机、位置敏感设备psd、立体相机或飞行时间相机)。在登记过程之前，确定对象的模型(例如，患者的头部的2d或3d图像)。此外，确定至少三个标记(即，基准或解剖学标志)在与模型相关联的坐标系中的位置。

在登记过程期间，为了确定基准标记在参考坐标系中的位置，便携式单元被保持在离对象一定距离处。用户将对象周围的便携式单元移动通过至少一个登记位置。每个登记位置与基准的各自的视角相关联。例如，当便携式单元的光学检测组件包括光学检测器(例如，传感器阵列相机或psd)时，则登记位置的数量为至少两个。当便携式单元的光学检测组件包括立体相机或tof相机时，则登记位置的数量为至少一个。对于每个登记位置，跟踪系统确定便携式单元在参考坐标系中的位置和方向(p&o)。大体上与此同时，对于每个登记位置，跟踪系统根据所获取的基准图像来确定每个基准的各自的位置相关信息。当便携式单元包括光学检测器(例如，电荷耦合设备ccd相机或互补金属氧化物半导体cmos相机或psd)时，位置相关信息包括朝向位于对象上的至少一个基准标记中的每个的各自的方向。每个方向在参考坐标系中定义一条线。与每个基准相关联的至少两条线(即，对于每个登记位置的一条线)的交点在参考坐标系中定义该基准的位置。当便携式单元包括例如立体相机或tof相机时，位置相关信息可以直接与基准在参考坐标系中的位置相关(例如，来自立体相机中的两个检测器的两个方向或来自tof相机的像素深度信息)。此外，可以用在参考坐标系中跟踪的指针来确定标记(即，基准标记或解剖学标志中的任何一个)的位置。由于与模型相关联的坐标系中的标记的坐标是已知的，所以系统可以确定标记在参考坐标系中的位置和标记在模型坐标系中的位置之间的对应关系。因此，实现与模型相关联的坐标系和与跟踪系统相关联的坐标系之间的登记。此外，便携式单元可以包括显示器。此外，这里，术语“定位标记”是指确定参考坐标系中的位置的标记。

当跟踪系统是光学跟踪系统时，跟踪系统可以呈现输入-输出配置、输入-输出-输出-输入配置或输出-输入配置。在输入-输出配置中，便携式单元包括至少一个光学检测器，并且处于相对于被跟踪对象的固定位置和方向的参考单元包括至少三个光发射器。在输出-输入配置中，便携式单元包括至少三个光发射器，并且参考单元包括至少一个光学检测器。在输入-输出-输出-输入配置中，光学跟踪系统包括至少两个光学检测器，一个位于便携式单元上，并且另一个位于参考单元上。此外，在输入-输出-输出-输入配置中，至少一个光发射器位于便携式单元和参考单元中的一个上，并且至少两个光发射器位于便携式单元和参考单元中的另一个上(即，总共使用至少三个光发射器)。在输入-输出配置和输入-输出-输出-输入配置中，光学检测器可以位于便携式单元上并且用于跟踪和标记检测(即，在登记过程期间)。

在根据所公开的技术的用于登记的跟踪系统中，参考单元的位置和方向相对于患者身体部位是固定的。例如，参考单元直接固定到患者身体部位。根据另一实例，患者身体部位是固定的，并且参考单元也是固定的，因此参考单元处于相对于患者身体部位的固定的位置和方向，而不附接在其上。所公开的技术也可以用于其他增强现实场景中。

最初，在登记程序之前，确定患者的模型。该模型可以是例如患者身体的感兴趣区域的二维或三维图像(例如，x射线图像、计算机断层扫描ct图像、磁共振成像mri图像、超声图像、质子发射断层扫描pet图像等)。可以在术前或术中获取该模型。模型包括至少三个标记的表示，其被用作在坐标系登记期间的位置参考点。如上所述，这些标记可以是人工标记(即，基准)，其在获取模型之前附接到患者，并且直到和在登记程序期间以及可选地在随后的医疗程序期间保持附接到患者。或者或另外，标记可以是在模型中可见的解剖学标志(例如，鼻梁或耳朵中的耳屏)。这些标记在模型坐标系中的位置坐标通过使用图像处理技术或通过在图像上的手动定位(例如，借助于光标)来确定。

此后，并且在医疗程序之前，确定标记在与跟踪系统相关联的参考坐标系中的位置。现在参考图1a、图1b和图1c，其是根据所公开的技术的实施方案的用于确定位于对象上的基准标记的位置，以便使用与跟踪系统(通常被引用为100)相关联的坐标系登记与对象的模型相关联的坐标系的示例性方法的示意图。图1a、图1b和图1c中的跟踪系统100是呈现输入-输出-输出-输入配置的光学跟踪系统。系统100包括参考单元108和便携式单元101。便携式单元101包括与两个光发射器1041和1042相关联的移动光学检测器102。参考单元101例如位于用户106的头部上。参考单元108包括与光发射器110相关联的参考光学检测器109。参考单元108，并因此光发射器110和光学检测器109处于相对于患者112的身体部位的固定的位置和方向。在图1a至图1c中，参考单元108位于患者112的头部上。一般来说，参考单元108可以相对于患者的身体部位固定，而不物理地附接到患者。换句话说，参考单元108和患者112的身体部位不相对于另一个移动一个。在图1a至图1c中所示的实例中，光学检测器109是传感器阵列相机或psd。因此，需要至少两个登记位置。

为了使用与跟踪系统相关联的坐标系登记与模型相关联的坐标系，应该确定标记在与跟踪系统相关联的坐标系中的位置。为此，跟踪系统确定标记在参考坐标系中的位置。因此，参考图1a，用户106从第一登记位置查看患者112。移动光学检测器102检测光发射器110和标记1141、1142、1143和1144。参考光学检测器109检测光发射器1041和1042。处理器确定在该第一登记位置处的移动光学检测器102和参考光学检测器109之间的相对位置和方向，并且因此确定参考坐标系116中的便携式单元101和参考单元108之间的相对位置和方向。参考坐标系116与参考单元108相关联。此外，根据由移动光学检测器102检测的标记1141、1142、1143和1144的表示，处理器相对于移动光学检测器102确定从移动光学检测器102朝向每个标记1141、1142、1143和1144的第一方向，如下所述。

参考图1b，用户106从第二登记位置查看患者112。移动光学检测器102从该第二登记位置检测光发射器110和标记1141、1142、1143和1144，并且参考光学检测器108再次检测光发射器1041和1042。处理器确定在该第二登记位置处的第一检测器102和参考单元108之间的相对位置和方向，并且因此确定参考坐标系116中的便携式单元101和参考单元108之间的相对位置和方向。此外，根据由移动光学检测器102检测的标记1141、1142、1143和1144的表示，处理器相对于移动光学检测器102确定从移动光学检测器102朝向每个标记1141、1142、1143和1144的第二方向。

参考图1c，用户104从第三登记位置查看患者112。移动光学检测器102还从该第三登记位置检测光发射器110和标记1141、1142、1143和1144，并且参考光学检测器108再次检测光发射器1041和1042。处理器确定在该第三登记位置处的第一检测器102和参考单元108之间的相对位置和方向，并且因此确定参考坐标系116中的便携式单元101和参考单元108之间的相对位置和方向。此外，根据由移动光学检测器102检测的标记1141、1142、1143和1144的表示，处理器相对于移动光学检测器102确定从移动光学检测器102朝向每个标记1141、1142、1143和1144的第三方向。

处理器根据与标记1141、1142、1143和1144中的每一个相关联的三个方向，确定每个标记1141、1142、1143和1144在参考坐标系116中的位置。例如，每个方向在参考坐标系116中定义一条线，并且与每个标记相关联的这三条线的交点定义该标记在参考坐标系116中的位置。实际上，由于测量误差和噪声，三条线可能不会相交。因此，例如，将显示与三条线的距离的最小和的空间点确定为标记的位置。或者，例如，每个确定的方向可以与品质因数(fom)相关联，并且根据其fom对每个方向进行加权。

结合图1a至图1c的上述描述描述了通过使用三个不同的登记位置，使用与跟踪系统相关联的坐标系登记与模型相关联的坐标系。然而，一般来说，两个登记位置足以确定标记在参考坐标系中的位置。然而，实际上，使用两个以上登记位置。例如，登记系统自动选择多个离散时间点(例如，根据用户移动的速度)，确定用户在那些时间点的位置和方向，并且确定每个识别的基准的方向，如上所述。也应注意，便携式单元可以包括大体上朝向相同视场指向的两个光学检测器(例如，立体相机)。因此，从单个用户位置(即，假设大体上同时检测到基准)检测两个检测器中的每个的基准是足够的。然后，系统可以对检测的基准进行三角测量，以便确定其在参考坐标系中的位置。

此外，结合图1a至图1c的上述描述涉及基准标记(即，标记中的至少一个是无源或有源基准，如下面进一步解释的)，并且基准发射光(即，基准包括光源或光反射器)，该光除了由成像机检测之外，还可以由光学检测器检测，如下面进一步解释的。

所有或一些标记(即，基准标记或解剖学标志)的位置也可以通过使用跟踪指针来确定，如下面进一步解释的。例如，用户将指针的尖端放置在标记上，并且跟踪系统确定指针的尖端在参考坐标系中的位置(即，类似于在手动登记中执行的)。应注意，如果仅使用跟踪指针来确定标记的位置，则便携式单元不需要包括光学检测组件。由于标记在模型坐标系中的位置是已知的，所以系统可以确定标记在参考坐标系中的位置和标记在模型坐标系中的位置之间的对应关系。当使用跟踪指针时，便携式单元不需要移动通过登记位置，如上面解释的。

现在参考图2，其是根据所公开的技术的另一实施方案的用于使用与医疗跟踪系统相关联的坐标系登记与患者身体部位的模型相关联的坐标系的示例性光学跟踪系统(通常被引用为200)的示意图。系统200可以进一步用于跟踪参考坐标系中的医疗工具。该工具可以叠加在患者226的模型上。系统200包括第一光学检测器202、第二光学检测器204和参考单元210。参考单元210进一步包括参考光发射器2121、2122和2123。系统200进一步包括处理器214、数据库216和显示器(诸如hmd218)。hmd218包括面板220。hmd218也可以是近眼显示器的形式。hmd218和第一光学检测器202限定便携式单元。hmd218也可以用常规屏幕(例如，手持平板计算机)代替。

处理器214与数据库216、第一光学检测器202、hmd218、第二光学检测器204耦合。当光发射器2061和2062或参考光发射器2121、2122和2123是led时，处理器214可选地与其耦合。hmd218以及第一光学检测器202和光发射器2061和2062由医生224穿戴。第二光学检测器204附接到医疗工具222。参考单元210以及参考光发射器2121、2122和2123都附接到患者226的身体位置(例如，头部、脊椎、股骨)，或相对于其固定。患者226躺在治疗床228上。在图2中，患者226的身体位置是患者226的头部。系统200与参考坐标系230相关联，参考坐标系230在系统200中也是与参考单元210相关联的坐标系。在图2中，便携式单元和参考单元210呈现输入-输出配置。此外，hmd218与各自的坐标系234相关联。此外，标记(诸如标记2321、2322和2323)可以附接到患者226。尽管在图2中仅描绘了三个标记，但是通常类似于图1a至图1c中所描述的，可以使用三个以上标记。此外，标记2321、2322和2323中的至少一个是基准标记。此外，标记2321、2322和2323中的剩余标记可以是解剖学标志。

处理器214可以集成在hmd218内或附接到用户(例如，借助于带或在用户口袋中)。医疗工具222例如是用于确定用于登记的标记的位置的指针。医疗工具222也可以是超声波成像器、医用刀、导尿管导引器、腹腔镜、内窥镜、医用触针，或在对患者226进行的程序期间由医生224使用的任何其他工具。此外，这里的术语耦合涉及通过有线或无线耦合进行耦合。

一般来说，系统200可以用于使用参考坐标系230登记与患者226的模型相关联的坐标系，以及用于跟踪医疗工具222。类似于如上所述，在登记之前，确定患者的模型，其包括标记(诸如标记2321、2323和2323)。标记2321、2323和2323在登记程序期间被用作位置参考点，并且确定这些标记在模型坐标系中的位置坐标(即，使用图像处理技术或通过在模型上的手动定位)。然后将该模型与标记的位置坐标一起存储在数据库216中。

此后，医生224移动通过至少两个登记位置。对于每个登记位置，第一光学检测器202检测标记2321、2322和2323以及光发射器2121、2122和2123。对于每个登记位置，处理器214根据光发射器2121、2122和2123的检测方向以及光发射器2121、2122和2123在参考单元210上的已知位置(例如，这些位置被存储在数据库216中)，确定hmd218的位置和方向(即，在参考坐标系230中)。此外，对于每个登记位置，处理器214确定从hmd218朝向每个标记2321、2322和2323的各自的方向。处理器214根据标记在每个登记位置的各自的方向来确定每个标记2321、2322和2323的位置(例如，由每个各自的方向限定的线的交点定义参考坐标系230中的位置点)。

此外，医生224可以使用指针来定位标记(即，基准标记或解剖学标志)。在这种情况下，医疗工具222采用指针的形式。为了确定标记的位置，医生224将指针的尖端放置在标记上。第二光学检测器204也获取光发射器2121、2122和2123的图像，并且处理器214确定指针(即，医疗工具222)的位置，并因此确定标记在参考坐标系230中的位置。类似于如上所述，一旦处理器214确定标记2321、2322和2323(即，基准和解剖学标志)在参考坐标系230中的位置，处理器214可以使用参考坐标系230登记与患者226的身体部位的模型相关联的坐标系。

当处理器214至少在与患者226的身体部位的模型相关联的坐标系和参考坐标系230之间确定初始登记(例如，具有相对较大误差的登记)时，处理器214可以在面板220上显示登记相关信息，如下面进一步解释的。一旦使用参考坐标系230登记与患者226的身体部位的模型相关联的坐标系，跟踪系统200可以用于跟踪参考坐标系230中的另一医疗工具(例如，医疗工具222采取针的形式)。此外，跟踪系统可以将这种医疗工具的表示叠加在患者222的模型上。此外，根据医疗工具222、hmd218和患者226之间的确定的相对位置和方向，以及患者226的模型和参考坐标系230之间的登记，处理器214可以将患者226的模型呈现在正确的视角，并且将呈现的模型提供给hmd218。此外，与医疗工具222相关联的导航信息(例如，表示目标位置的标记，表示工具的轨迹和投影轨迹的线)可以叠加在模型上。作为另一实例，当医疗工具222是超声波成像器时，系统200可以用于在从中获取数据的位置处呈现由医疗工具222获取的数据。

上文结合图1a至图1c和图2描述的光发射器可以是有源光发射器(例如，led)或无源光发射器，其反射环境光或指向其的专用光(例如，来自位于便携式单元上的led的光)。无源光发射器可以是反射器(例如，反射球体)或回射器，其将光朝向其所照射的方向反射。上文结合图1a至图1c和图2描述的基准标记也可以是无源基准或有源基准。无源基准也反射照射在其上的光。有源基准包括led和电池，并且就在登记过程开始之前被激活，如下面结合图9c至图9e和图11a进一步解释的。

如上所述，用于登记的跟踪系统也可以是电磁跟踪系统，其跟踪便携式单元在参考坐标系中的位置。现在参考图3，其是根据所公开的技术的另一实施方案构造和操作的用于使用参考坐标系登记模型坐标系的示例性电磁跟踪系统(通常被引用为250)的示意图。系统250包括参考单元252、便携式单元254和处理器256。参考单元252包括电流发生器260和磁场传输元件(例如，线圈)2621、2622和2623。便携式单元254包括光学检测组件264和磁场接收器2661和2662。便携式单元254也包括显示器268。便携式单元254可以实施为类似于hmd218(图2)的hmd或手持单元(例如，手持平板计算机)。光学检测组件264例如是传感器阵列相机、psd、立体相机或tof相机。

处理器256与磁流发生器260、光学检测组件264、磁场接收器2661和2662以及显示器268耦合。系统250旨在使用参考坐标系272登记与对象258的模型相关联的坐标系。对象258包括至少三个标记2701、2702和2703。标记2701、2702和2703中的至少一个是基准标记。在系统250中，参考单元252相对于对象258的位置和方向是固定的。例如，参考单元252直接固定到对象258。或者，对象258是固定的，并且参考单元258也是固定的。因此，参考单元252处于相对于对象258的固定的位置和方向，而不附接在其上。或者，至少两个额外的磁场接收器(未示出)附接到对象258。因此，处理器256可以确定参考单元252和对象258之间的相对位置和方向。

类似于上面结合图1a至图1c和图2所述，用户(未示出)将便携式单元254移动通过至少两个登记位置。对于每个登记位置，处理器256根据由传输元件2621、2622和2623传输并由磁场接收器2661和2662接收的磁场，确定便携式单元254在参考坐标系272中的位置和方向。对于每个登记位置，光学检测组件264获取标记2701、2702和2703中的基准标记的图像。对于每个登记位置，处理器256根据由光学检测组件264获取的图像，相对于光学检测组件264确定朝向标记2701、2702和2703中的每个基准标记的各自的方向。每个方向在参考坐标系272中定义一条线，并且与每个标记相关联的三条线的交点定义该标记在参考坐标系中的位置。用户也可以使用跟踪指针(未示出)来确定标记2701、2702和2703的位置。由于标记2701、2702和2703在与模型相关联的坐标系中的坐标是已知的，所以系统250可以确定标记2701、2702和2703在参考坐标系272中的位置和标记在模型坐标系中的位置之间的对应关系。因此，实现模型坐标系和参考坐标系272之间的登记。当处理器256至少在与对象258的模型相关联的坐标系和参考坐标系272之间确定初始登记时，处理器256可以在显示器268上显示登记相关信息，如下面进一步解释的。

现在参考图4，其是根据所公开的技术的另一实施方案构造和操作的跟踪便携式单元在参考坐标系中的位置的光学跟踪系统(通常被引用为300)的示意图。系统300包括光学跟踪模块302、便携式单元304和呈现输出-输入配置的处理器306。便携式单元304包括光学检测组件310和至少三个光发射器3141、3142和314。便携式单元304也包括显示器312。在图4中，光发射器3141、3142和314采取反射照射在其上的光的反射球体的形式。光学检测组件310例如是传感器阵列相机、psd、立体相机或tof相机。

处理器306与光学跟踪模块302、光学检测组件310和显示器312耦合。系统300旨在使用参考坐标系318登记与对象308的模型相关联的坐标系。对象308包括至少三个标记3161、3162和3163。标记3161、3162和3163中的至少一个是基准标记。在系统300中，参考单元光学跟踪模块302相对于对象308的位置和方向是固定的。

光学跟踪模块302可以实施为立体相机(即，两个相机，其指向大体上相同的视场并呈现这两个相机之间的固定和已知的相对位置和方向)。或者，光学跟踪模块302可以实施为飞行时间(tof)相机，其包括发射调制光(例如，连续波调制光或脉冲调制光)的光发射器和光学检测器。当光学跟踪模块302实施为立体相机时，处理器306使用三角测量来确定光发射器3141、3142和3143中的每一个的位置。因此，处理器306可以确定便携式单元304在参考坐标系318中的位置和方向。当光学跟踪模块302实施为tof相机时，每个图像包括每个像素的深度信息(即，tof相机和被成像的对象之间的距离)，并且每个像素提供从tof相机朝向被成像的对象的方向。因此，光发射器3141、3142和3143的图像包括与这些光发射器在参考坐标系318中的位置相关的信息。因此，处理器306可以确定便携式单元304在参考坐标系318中的位置和方向。

类似于上面结合图1a至图1c和图2所述，用户(未示出)将便携式单元304移动通过至少两个登记位置。对于每个登记位置，处理器306根据由光学跟踪模块302获取的图像，确定便携式单元304在参考坐标系318中的位置和方向。对于每个登记位置，光学检测器304获取标记3161、3162和3163中的基准标记的图像。对于每个登记位置，处理器306根据由光学检测组件310获取的图像，相对于光学检测组件310确定朝向标记3161、3162和3163中的基准标记的各自的方向。每个方向在参考坐标系318中定义一条线，并且与每个标记相关联的两条线的交点定义该标记在参考坐标系中的位置。用户可以替代地使用跟踪指针来确定标记3161、3162和3163的位置。由于标记3161、3162和3163在与模型相关联的坐标系中的坐标是已知的，所以系统30可以确定标记3161、3162和3163在参考坐标系318中的位置和标记在模型坐标系中的位置之间的对应关系。因此，实现模型坐标系和参考坐标系318之间的登记。当处理器306至少在与对象308的模型相关联的坐标系和参考坐标系318之间确定初始登记时，处理器306可以在显示器268上显示登记相关信息，如下面进一步解释的。

现在参考图5，其是根据所公开的技术的另一实施方案构造和操作的跟踪便携式单元在参考坐标系中的位置的光学跟踪系统(通常被引用为350)的示意图。系统350包括便携式单元352、参考单元354和处理器356。便携式单元352包括与处理器356耦合的光学跟踪模块362。便携式单元352进一步包括也与处理器356耦合的显示器。参考单元354包括至少三个光发射器3601、3602和3603，并且附接到对象358。在图5中所示的实例中，光发射器3601、3602和3603是led。对象358包括三个标记3661、3662和3663，其中一个是基准。此外，参考单元354和对象358之间的相对位置是固定的。

类似于光学跟踪模块302(图4)，光学跟踪模块362可以实施为立体相机或tof相机。当光学跟踪模块包括立体相机或tof相机时，单个登记位置足以确定标记3661、3662和3663在参考坐标系368中的位置(即，假设标记3661、3662和3663中的所有基准标记都在光学跟踪模块362的视场内)。

因此，光学跟踪模块362获取光发射器3601、3602和3603的一个或多个图像，并且处理器356确定光学跟踪单元362的位置，并因此确定便携式单元352在参考坐标系368中的位置。此外，光学跟踪模块362获取标记3661、3662和3663中的基准标记的一个或多个图像，并且处理器356相对于光学跟踪模块362确定标记3661、3662和3663的位置。由于处理器356确定光学跟踪单元362在参考坐标系368中的位置，所以处理器356可以确定标记3661、3662和3663中的基准标记在参考坐标系368中的位置。用户可以替代地使用跟踪指针(例如，在与便携式单元352相关联的坐标系中跟踪)来确定标记3661、3662和3663的位置。由于标记3661、3662和3663在与模型相关联的坐标系中的坐标是已知的，所以系统360可以确定标记3661、3662和3663在参考坐标系368中的位置和标记在模型坐标系中的位置之间的对应关系。因此，实现模型坐标系和参考坐标系368之间的登记。当处理器356至少在与对象358的模型相关联的坐标系和参考坐标系368之间确定初始登记时，处理器356可以在显示器268上显示登记相关信息，如下面进一步解释的。

在上面结合图1a至图1c、图2和图5给出的实例中，位于便携式单元上的光学检测组件用于跟踪便携式单元并用于登记。然而，便携式单元可以包括两个单独的光学检测组件，一个用于跟踪便携式单元，并且另一个用于登记。

关于上文结合图1a至图1c、图2、图3、图4和图5描述的任何跟踪系统，在登记过程期间，可以向用户显示与登记过程相关的信息(即，在与上文结合图1a至图1c、图2、图3、图4和图5描述的任何一个跟踪系统相关联的各自的显示器上)。该登记相关信息可以是例如标记标识符(例如，数字、字符)，标记已被识别的指示，标记已被定位的指示，与标记的确定位置相关联的误差，指示登记质量的分数(例如，登记的估计误差)，对用户的指令等。例如，一旦确定标记的位置，例如通过将指示符(例如，圆、正方形、箭头等)叠加在标记上，可以向用户显示标记指示符，从而向用户提供关于登记过程的进展的信息。每种标记(即，基准或解剖学标志)可以具有相应的指示符(例如，用于基准的圆和用于解剖学标志的正方形)。当确定足够数量的标记的位置(即，在登记三维坐标系时至少三个)并且计算登记时，可以向用户显示指示登记质量的分数。登记相关信息可以进一步包括用户相关信息，诸如用户选择或用户指南。例如，用户可以指示跟踪系统该分数是否足够好或是否继续登记过程(例如，通过使系统能够定位额外的标记)。例如，当标记位于头部的两侧时，则系统可以指示用户从另一侧物理地观察患者的头部，以允许系统识别额外的标记。为了提高登记的准确性，即使仅使用来自患者的头部的一侧的标记已经成功地登记，系统还可以进一步引导用户从另一侧观察患者的头部。一旦确定初始登记(例如，可能出现大的误差)，系统也可以将用户(例如，经由显示器)引导到其位置尚未确定或其位置被确定具有大的误差的标记。系统也可以向用户指示每个标记有助于最终计算登记的误差。用户也可以在计算登记时丢弃特定标记的使用。丢弃的标记可以用与用于登记的标记不同的指示符来指示(例如，丢弃的标记应用红色方块标示)。例如，如果用户怀疑某些标记可能已经被移动，因为已经获取了术前图像。此外，外科医生可以要求在不使用某些标记的情况下重新计算登记。

现在参考图6a、图6b、图6c和图6d，其是根据所公开的技术的另一实施方案的在登记过程期间例如在面板400上向用户显示登记相关信息的示例性登记过程的示意图。用户观察躺在治疗床404上的患者402。在图6a至图6d中所示的实例中，参考单元406处于相对于患者402的头部的固定位置和方向。参考单元406可以是上面结合图1a至图1c、图2、图3、图4和图5描述的参考单元中的任何一个。在图6a至图6d中所示的实例中，参考单元406包括三个led4081、4082和4083。或者，参考单元可以包括如上所述的磁场发射器或接收器。此外，标记4011、4102、4103、4104、4105、4106和4107位于患者402上(即，基准或解剖学标志或两者)。

参考图6a，用户位于第一登记位置。在该第一登记位置，用户查看标记4101、4102、4103和4104。根据所公开的技术的登记系统识别标记4101、4102、4103和4104(例如，标记4101、4102、4103和4104在光学检测器的视场内)，并且通知用户(例如，通过在面板400上显示文本)已经识别出四个标记。此外，系统(例如，上文描述的任何系统)指示用户改变其视点。应注意，当立体相机或tof相机与便携式单元一起使用时，系统也能够从单个登记位置确定标记4101、4102、4103和4103的位置。

参考图6b，用户位于第二登记位置。在该第二登记位置，用户查看标记4102、4103、4104、4105和4106。根据所公开的技术的登记系统进一步识别标记4105和4106(例如，标记4102、4103、4104、4105和4106在光学检测器的视场内)，并且通知用户已经识别出6个标记。此外，登记系统确定标记4102、4103和4104的位置，并且在显示器400上显示叠加在其各自的标记上的各自的标记指示符4122、4123和4124，如用户通过透明面板所见。由于根据所公开的技术的系统跟踪参考坐标系中的便携式单元，所以系统可以确定显示器的p&o。由于系统也确定标记的位置，所以系统可以在与显示器上或通过显示器看到的标记的位置相关的显示位置处叠加标记指示符。一般来说，登记系统在对应于便携式单元的位置和方向的显示位置处显示登记相关信息。登记系统可以在与标记的位置相关的显示位置处显示登记相关信息。在图6b至图6d中，标记指示符4122、4123和4124采取圆的形式。登记系统也向用户提供其确定位置的误差的指示。例如，登记系统确定标记4102误差为0.9mm，标记4103误差为0.3mm的位置，并且以0.5mm的误差定位标记4104。应注意，标记指示符的大小、颜色或形状可能和与该标记的位置相关联的误差相关。例如，圆的直径与在上面叠加该圆的标记的位置成比例。由于已经识别出三个标记，所以系统可以估计参考坐标系和与患者的模型相关联的坐标系之间的登记。然而，该登记可以是具有相对较大误差的初始登记(例如，在图6b中所示的实例中为2.5毫米)。然而，由于标记之间的空间关系(即，相对位置)是已知的，所以系统可以指示用户朝向尚未被检测的标记移动(即，一般来说，登记相关信息包括对用户的指令)。在图6b中，系统通知用户已经识别出6个标记并定位3个标记。此外，系统在显示器400上向用户显示向左移动的指令。

参考图6c，用户位于第三登记位置。在该第三登记位置，用户查看标记4104、4105、4106和4147。根据所公开的技术的登记系统进一步识别标记4107(例如，标记4104、4105、4106和4107在光学检测器的视场内)。根据所公开的技术的登记系统确定标记4105和标记4106的位置，并且用各自的圆4125和4126标示这些标记。系统确定标记4105误差为0.4mm，标记4106误差为0.5mm的位置。此外，系统提高标记4104的位置估计，并且与标记4104相关联的位置误差现在为0.3mm。系统不能确定标记4147以及标记4101的位置。系统也提高登记误差(例如，在图6c中所示的实例中为0.66毫米)。系统进一步指示用户向左移动。

参考图6d，根据所公开的技术的登记系统在显示器400上显示用户的登记过程的概要，并且指示登记完成并显示登记误差(即，登记相关信息包括例如用户的登记过程的概要，并且指示登记完成并显示登记误差)。系统进一步显示与用于登记的标记相关的信息以及用户可供选择的各种选项。一般来说，如上面解释的，系统在与便携式单元的位置和方向相关的显示位置处向用户显示登记相关信息。应注意，由于系统确定标记的位置，所以系统可以相应地调整显示在显示器上的信息。例如，可以在对应于显示器上或通过显示器看到的标记的位置的显示位置处显示标记指示符，而可以在不干扰标记指示符的不同选择位置处显示登记误差、对用户的指令等。

现在参考图7，其是根据所公开的技术的另一实施方案的用于向用户显示登记相关信息的方法的示意图。在程序420中，识别在光学检测器的视场内的标记。标记固定到对象。这些标记可以是基准标记或解剖学标志。参考图6a至图6d，识别在光学检测器的视场内的标记4101、4102、4103、4104、4105、4106和4107。

在程序422中，确定至少一些识别的标记在参考坐标系中的位置。此外，也确定识别标记的位置误差。参考图6a至图6d，处理器(未示出)确定至少一些标记4101、4102、4103、4104、4105、4106和4107在参考坐标系414中的位置。当识别出至少三个标记的位置时，方法进入程序424。否则，方法返回到程序420。

在程序424中，根据至少三个识别的标记在两个坐标系中的各自的位置，使用参考坐标系登记与对象的模型相关联的坐标系。此外，确定登记误差。参考图6a至图6d，处理器使用与患者的模型相关联的坐标系登记参考坐标系414。

在程序426中，登记相关信息被确定并显示给用户。如上所述，登记相关信息可以进一步包括用户相关信息，诸如用户选择或用户指南。参考图6a至图6d，将登记相关信息显示在面板400上。

在程序428中，用户被指示在额外的标记将在光学检测组件的视场内的方向上移动。由于至少确定初始登记，所以可以估计所有标记在参考坐标系中的位置。因此，也可以确定这些标记相对于便携式单元的位置的位置。应注意，指示用户在额外的标记将在光学检测组件的视场内的方向上是可选的，并且可能在登记过程尚未完成时发生(例如，当登记误差高于阈值或用户选择继续登记过程时)。参考图6b，用户被指示向右移动，以便识别和定位额外的标记。在程序428之后，方法返回到程序420。

一般来说，有在登记过程中涉及的三种类型的误差估计。第一种误差估计(这里是“第一类误差估计”)涉及单个标记在参考坐标系中的位置误差。该误差产生于三角测量过程(即，线交点)的残留误差，线之间的角度差和便携式单元的位置误差。当标记被某些方向部分地遮蔽，被血液等污染时，或当与标记相关联的方向之间的角度差相对较小时，该误差可能相对较大。在这种情况下，可以指示用户移动到另一个登记位置，从而可以从额外的方向对标记进行采样。如果用户在标记被采样时(即，当确定从便携式单元朝向标记的方向时)相对较快地移动，则误差也可能很大。可以自动检测到这种误差，并且可以指示用户例如较慢移动。用于每个标记的第二类型的误差估计(这里是“第二类误差估计”)涉及标记在登记的模型坐标系(即，根据所计算的登记在旋转和平移到跟踪器坐标系上之后的图像坐标系)中的位置和标记在参考坐标系中的位置之间的距离。特定标记可能在执行成像的时间和执行登记的时间之间已被移位，但仍然被准确地定位。在这种情况下，该标记将呈现第一类型的小估计误差和第二类型的大估计误差，并且系统可以自动丢弃标记或推荐给用户手动丢弃标记。因此，可以改善登记。第三类型的误差估计(这里是“第三类误差估计”)是登记计算的品质因数，其可以是所有标记的第二类型的误差的平均值，或任何其他目标函数(即，登记计算的目标是最小化该误差)。可以计算所有上述类型的误差估计，并显示给用户(例如，以毫米为单位)。

现在参考图8，其是根据所公开的技术的另一实施方案的用于登记模型坐标系和参考坐标系的方法的示意图。在程序450中，确定至少三个标记中的每个在与对象的模型相关联的坐标系中的位置。至少三个标记中的至少一个是基准标记。当模型是例如图像时，可以通过使用图像处理技术来确定标记的位置。或者，可以在屏幕上手动标示标记的位置。在程序450之后，方法进入程序460。

在程序452中，当至少一个解剖学标志被用作标记时，确定至少一个解剖学标志在参考坐标系中的位置。参考图2，当标记的至少一部分是解剖学标志时，医生224使用指针。在这种情况下，医疗工具222采取指针的形式。医生224将指针的尖端放置在解剖学标志上。处理器214确定指针(即，医疗工具222)的位置，并因此确定标记在参考坐标系230中的位置，如上所述。在程序452之后，方法进入程序460。

在程序454中，对于至少一个登记位置中的每个，确定便携式单元在参考坐标系中的位置和方向。便携式单元包括光学检测组件。当光学检测组件是光学检测器(例如，传感器阵列相机或psd)时，则登记位置的数量是至少两个。当光学检测组件是立体相机或tof相机时，登记位置的数量是至少一个。参考图1a至图1c，用户106移动该移动光学检测器102(即，如上所述，其与光发射器1041和1042一起限定便携式单元)通过至少两个登记位置。移动光学检测器102获取光发射器110的至少一个图像，并且移动光学检测器获取光发射器1041和1042的至少一个图像。处理器(例如，图2中的处理器214)根据光发射器1041、1042和110的表示，确定在参考坐标系116中确定的参考光学检测器和移动光学检测器之间的相对位置的位置和方向。参考图5，光学跟踪模块362可以实施为tof相机或立体相机，其获取光发射器3601、3602和3603的一个或多个图像。处理器356确定光学跟踪单元362的位置，并因此确定便携式单元352在参考坐标系368中的位置。

在程序456中，对于至少一个登记位置中的每个，确定在光学检测组件的视场内的至少一个基准中的每个的各自的位置相关信息。当便携式单元包括光学检测器(例如，传感器阵列相机或psd)时，位置相关信息包括朝向位于对象上的至少一个基准标记中的每个的各自的方向。当便携式单元包括例如立体相机或tof相机时，位置相关信息可以直接与基准在参考坐标系中的位置相关(例如，来自立体相机中的两个检测器的两个方向或来自tof相机的像素深度信息)。参考图1a至图1c，当移动光学检测器102获取光发射器110的一个或多个图像时，移动光学检测器102也获取标记1141、1142、1143和1144的图像。对于每个登记位置，处理器根据标记1141、1142、1143和1144的图像，相对于移动光学检测器102确定标记1141、1142、1143和1144的位置相关信息。参考图5，光学跟踪模块362参考图5，光学跟踪模块362可以实施为tof相机或立体相机，其获取标记3661、3662和3663的一个或多个图像。处理器356确定标记3661、3662和3663的位置，确定标记3661、3662和3663中的基准标记在参考坐标系368中的位置。

在程序458中，根据便携式单元在至少两个登记位置中的每个中的位置和方向和至少一个基准标记中的每个的各自的位置相关信息，确定位于对象上的至少一个基准标记中的每个在参考坐标系中的位置。例如，每个方向在参考坐标系中定义一条线。与每个基准相关联的至少两个方向的交点定义该基准在参考坐标系中的位置。如上所述，实际上这些线可能不相交。在这种情况下，显示与每个位置的最小距离的点被确定为标记的位置。参考图1a至图1c和图2，处理器(例如，图2中的处理器214)确定至少三个标记(例如，图2中的标记1141、1142、1143和1144或图2中的2321、2322、2333)中的每个在参考坐标系(例如，图1中的参考坐标系116或图2中的参考坐标系230)中的位置。

在程序460中，根据至少三个标记中的至少三个在两个坐标系中的各自的位置，使用参考坐标系登记与对象的模型相关联的坐标系。参考图2，处理器214根据标记在两个坐标系中的各自的位置，使用参考坐标系230登记与对象的模型相关联的坐标系。

上述描述涉及具有增强现实环境的自动登记过程，其中登记系统在对应于便携式单元的位置和方向以及标记在参考坐标系中的位置的显示位置处显示覆盖在显示器上的登记相关信息。一般来说，上面描述的显示器中的每一个可以是手持式或头戴式的，或一般任何便携式单元的一部分(例如，附接到活动臂)。例如，视频透视便携式单元包括平板计算机和相机。视频透视便携式单元可以替代地包括具有非透明近眼显示器和摄影机的hmd。在视频透视便携式单元中，来自相机的视频被增强并显示给显示器中的用户。当光学跟踪系统用于跟踪视频透视便携式单元时，用于跟踪和用于视频透视的相机可能是同一个。光学透视便携式单元包括例如具有透明显示器的平板计算机，或附接到活动臂的投影仪和半镀银镜。光学透视便携式单元可以替代地包括具有面板投影显示器或透明近眼显示器的hmd。

上述描述例示了用户移动通过至少两个不同的登记位置的登记过程。然而，实际上，当借助于便携式单元确定标记的位置时，用户可以在患者周围无限制地移动便携式单元，同时将患者保持在便携式单元的光学检测器的fov内。光学检测器在便携式单元的运动期间检测标记(例如，当使用成像传感器时获取图像)。跟踪系统在每次检测到标记时确定便携式单元的位置和方向，并且如上所述，都以相对较高的频率(例如，大约每秒几十次)来确定标记的位置。

现在参考图9a至图9e。图9a和图9b是示例性标准标记(通常被引用为500)的示意图。在模型获取期间(例如，在ct或mri成像期间)使用标准标记500。图9c至图9e是根据所公开的技术的另一实施方案构造和操作的示例性有源登记标记(通常被引用为510)的示意图，该有源登记标记可以附接到标准标记500。在登记期间使用有源登记标记510。图9a是标准标记500的顶视图，并且图9b是标准标记500的横截面图。在这里提出的实例中，标准标记500是以形成空腔508的环的形式。标准标记500包括标记体502和底部标签504。底部标签504用于将标记350附接到患者。标记体502由可以在所获取的模型中检测的材料(例如，用于ct成像的不透射线的材料)制成。标记500也可以具有盖506，其保护标记免受损坏并且在登记过程之前被去除。

如上所述，上文结合图1a至图1c、图2、图3、图4、图5和图6a至图6d描述的标记可以是无源标记或有源标记。无源标记反射照射在其上的光。有源标记包括led和电池，并且就在登记过程的启动开始之前被激活。参考图9c，有源登记标记510包括壳体512、led514、电源516、可拆卸隔离器518、突起520和标签522。led514与电源516耦合。可拆卸隔离器518将led514与电源516隔离。一般来说，电源516采取电池的形式。然而，电源516也可以采取预加载的电容器的形式。参考图9d，在有源登记标记510附接到标准标记500之前，去除标签522从而露出粘合剂。此后，突起520插入空腔508中，并且壳体512固定地附接到标记体502。参考图9e，一旦有源登记标记510附接到标记体502，去除可拆卸隔离器518，由此将led514连接到电源516。因此，led514开始发射光。

如上所述，登记标记也可以是无源登记标记。这种无源登记标记可以是反射器或回射器。现在参考图10，其是根据所公开的技术的另一实施方案构造和操作的无源登记标记(通常被引用为550)的横截面图的示意图。无源登记标记550在本文中例示为角立方回射器。无源登记标记包括壳体552、角立方回射器554、突起558和标签560。角立方回射器554包括三个反射镜。在图8中描绘包括在角立方反射器554中的三个反射镜中的两个反射镜5561和5562。照射在角立方回射器上的光被反射回到该光到达的方向。类似于有源登记标记510(图7c至图7e)，无源登记标记可以在模型获取过程之后并且在登记过程之前固定地附接到标准标记(诸如标记500)(图5a至图5b)。

一般来说，用位于便携式单元上的led(例如，图1的led1041和1042或图2的led2061和2062)照明无源登记标记550。位于便携式单元上的光学检测器(例如，图1的光学检测器102或图2的光学检测器202)获取从无源登记标记550反射的光的图像。因此，当无源登记标记550实施为回射器时，重要的是，便携式单元的光发射器位于足够靠近光学检测器的位置，使得可以通过光学检测器检测从无源登记550回射的光。

应注意，根据所公开的技术，可以在模型获取和登记期间使用单个基准标记。现在参考图11a和图11b，其是根据所公开的技术的另一实施方案的可以用于模型获取和登记的两个示例性基准标记(通常分别被引用为600和620)的示意图。基准标记600是有源基准标记，并且基准标记620是无源基准标记。

参考图11a，基准标记600包括由可以在所获取的模型中检测的材料(例如，用于ct成像的不透射线的材料)制成的主体602、标签604、led606、电源608(例如，电池或电容器)和可拆卸隔离器610。led606与电源608耦合。可拆卸隔离器610将led606与电源608隔离。底部标签604用于将标记600附接到患者。此后，获取患者的模型。在登记过程之前，去除可拆卸隔离器610，由此将led606连接到电源608。因此，led606开始发射光。

参考图11b，基准标记620包括由可以在所获取的模型中检测的材料制成的主体622、标签624和角立方回射器626。角立方回射器626包括三个反射镜。在图7b中描绘包括在角立方反射器626中的三个反射镜中的两个反射镜6281和6282。底部标签624用于将标记620附接到患者。此后，获取患者的模型。

本领域技术人员将了解，所公开的技术不限于上文特定示出和描述的内容。相反，所公开的技术的范围仅由所附权利要求限定。