用于使用多视图位姿估计的方法和系统与流程

本申请要求享有2016年3月10日提交的标题为“用于使用多视图位姿(pose)估计的方法和系统”的美国临时专利申请序列第62/306,502号和2016年10月13日提交的标题为“用于使用多视图位姿估计的方法和系统”的美国临时申请系列第62/407,720号的优先权，其全部内容通过引用并入本文中。

本发明的实施例涉及介入装置及其使用方法。

背景技术

使用诸如内窥镜手术、视频辅助胸腔镜手术或类似医疗手术的微创手术可以用作用于疑似损伤的诊断工具，或者用作用于癌性肿瘤的治疗手段。

技术实现要素：

在一些实施例中，本发明提供了一种方法，该方法包括：

从第一成像模式获得第一图像，

从来自第一成像模式的第一图像中提取至少一个元素，

其中，该至少一个元素包括气道、血管、体腔或其任何组合；

从第二成像模式获得至少(i)不透射线仪器处于第一位姿的第一图像以及(ii)不透射线仪器处于第二位姿的第二图像，

其中，该不透射线仪器位于患者的体腔内；

产生至少两个增强的支气管造影照片(augmentedbronchogram)，

其中，第一增强的支气管造影照片与不透射线仪器处于第一位姿的第一图像相对应，并且

其中，第二增强的支气管造影照片与不透射线仪器处于第二位姿的第二图像相对应，确定以下两者之间的相互几何限制：

(i)不透射线仪器的第一位姿和

(ii)不透射线仪器的第二位姿，

通过将不透射线仪器的第一位姿和不透射线仪器的第二位姿与第一成像模式的第一图像进行对比，估计不透射线仪器的第一位姿和不透射线仪器的第二位姿，

其中，这种对比是通过使用下列各项进行的：

(i)第一增强的支气管造影照片、

(ii)第二增强的支气管造影照片以及

(iii)该至少一个元素进行的，并且

其中，所估计的不透射线仪器的第一位姿和所估计的不透射线仪器的第二位姿符合所确定的相互几何限制，

产生第三图像；其中，第三图像是来自于第二成像模式的突出了感兴趣区域的增强图像，

其中，该感兴趣区域是根据从第一成像模式获得的数据而确定的。

在一些实施例中，来自从第一成像模式获得的第一图像的该至少一个元素还包括肋、椎骨、隔膜或其任何组合。在一些实施例中，该相互几何限制是通过以下步骤而产生的：

a.通过将不透射线仪器的第一图像和不透射线图像的第二图像进行对比，估计(i)第一位姿和(ii)第二位姿之间的差异，

其中，这种估计是使用包括量角器、加速计、陀螺仪或其任何组合的装置进行的，并且其中，该装置关联到第二成像模式；

b.提取多个图像特征，以估计相对的位姿变化，

其中，该多个图像特征包括解剖元素、非解剖元素或其任何组合，

其中，图像特征包括：附接至患者的贴片、位于第二成像模式视野内的不透射线标记物，或其任何组合，

其中，该图像特征在不透射线仪器的第一图像和不透射线仪器的第二图像上是可见的；

c.使用至少一个摄像机，估计(i)第一位姿和(ii)第二位姿之间的差异，

其中，该摄像机包括视频摄像机、红外摄像机、深度摄像机或其任何组合，

其中，该摄像机位于固定位置，

其中，该摄像机配置为跟踪至少一个特征，

其中，该至少一个特征包括：附接至患者的标记物、附接至第二成像模式的标记物，或其任何组合，以及

跟踪该至少一个特征；

d.或其任何组合。

在一些实施例中，该方法还包括：跟踪该不透射线仪器，用以：识别轨迹，并将该轨迹用作另一个几何限制，其中，该不透射线仪器包括内窥镜、支气管内工具或机械臂。

在一些实施例中，本发明是一种方法，该方法包括：

产生患者的至少一个体腔的图，

其中，该图是使用从第一成像模式获得的第一图像而产生的，

从第二成像模式获得不透射线仪器的图像，该图像中包括至少两个附接的标记物，

其中，该至少两个附接的标记物分开已知距离，

从第二成像模式识别不透射线仪器相对于患者的至少一个体腔的图的位姿，

在从第二成像模式获得的第二图像上识别附接至不透射线仪器的第一标记物的第一位置，

在从第二成像模式获得的第二图像上识别附接至不透射线仪器的第二标记物的第二位置，以及

测量第一标记物的第一位置和第二标记物的第二位置之间的距离，

投射出第一标记物和第二标记物之间的已知距离，

将第一标记物和第二标记物之间所测量的距离与所投射的已知距离进行对比，以识别不透射线仪器在患者的该至少一个体腔中的具体位置。

在一些实施例中，不透射线仪器包括内窥镜、支气管内工具或机械臂。

在一些实施例中，该方法还包括：利用不透射线仪器的轨迹识别不透射线仪器的深度。

在一些实施例中，从第一成像模式获得的第一图像是手术前图像。在一些实施例中，从第二成像模式获得的不透射线仪器的该至少一个图像是手术中图像。

在一些实施例中，本发明是一种方法，该方法包括：

从第一成像模式获得第一图像，

从来自第一成像模式的第一图像中提取至少一个元素，

其中，该至少一个元素包括气道、血管、体腔或其任何组合；

从第二成像模式获得在第二成像模式处于两个不同位姿时的至少(i)不透射线仪器的一个图像和(ii)不透射线仪器的另一个图像，

其中，不透射线仪器的第一图像是在第二成像模式处于第一位姿时捕捉的，

其中，不透射线仪器的第二图像是在第二成像模式处于第二位姿时捕捉的，并且

其中，不透射线仪器位于患者的体腔内；

产生与成像装置的两个位姿中的每一个相对应的至少两个增强的支气管造影照片，其中，第一增强的支气管造影照片源自不透射线仪器的第一图像，而第二增强的支气管造影照片源自不透射线仪器的第二图像，确定以下两者之间的相互几何限制

(i)第二成像模式的第一位姿和

(ii)第二成像模式的第二位姿，

使用相对应的增强支气管造影照片图像和从第一成像模式的第一图像提取的至少一个元素，估计第二成像模式相对于第一成像模式的第一图像的两个位姿，

其中，该两个所估计的位姿满足相互几何限制；

产生第三图像，其中，该第三图像是源自于第二成像模式的增强图像，其根据来自于第一成像模式的数据突出了感兴趣区域。

在一些实施例中，解剖元素(例如，肋、椎骨、隔膜或其任何组合)提取自第一成像模式和第二成像模式。

在一些实施例中，相互几何限制是通过以下步骤而产生的：

a.通过将不透射线仪器的第一图像和不透射线仪器的第二图像进行对比，估计(i)第一位姿和(ii)第二位姿之间的差异，

其中，这种估计是使用包括量角器、加速计、陀螺仪或其任何组合的装置进行的，并且其中，该装置关联到第二成像模式；

b.提取多个图像特征，以估计相对的位姿变化，

其中，该多个图像特征包括解剖元素、非解剖元素或其任何组合，

其中，该图像特征包括：附接至患者的贴片、位于第二成像模式视野内的不透射线标记物，或其任何组合，

其中，该图像特征在不透射线仪器的第一图像和不透射线仪器的第二图像上是可见的；

c.使用至少一个摄像机，估计(i)第一位姿和(ii)第二位姿之间的差异，

其中，摄像机包括视频摄像机、红外摄像机、深度摄像机或其任何组合，

其中，该摄像机位于固定位置，

其中，该摄像机配置为跟踪至少一个特征，

其中，该至少一个特征包括：附接至患者的标记物、附接至第二成像模式的标记物，或其任何组合，以及

跟踪该至少一个特征；

d.或其任何组合。

在一些实施例中，该方法还包括跟踪该不透射线仪器以识别轨迹，以及将该轨迹用作另外的几何限制，其中，该不透射线仪器包括内窥镜、支气管内工具或机械臂。

在一些实施例中，本发明是一种识别在患者体内实际仪器位置的方法，该方法包括：

利用从第一成像模式的第一图像产生的患者的至少一个体腔的图，

从第二成像模式获得不透射线仪器的图像，其中至少两个标记物与其附接，并且两个标记物之间具有限定距离，

其可以从图像中感知为位于患者体内的至少两个不同的体腔中，

获得第二成像模式相对于该图的位姿，

在从第二成像模式获得的第二图像上识别附接至不透射线仪器的第一标记物的第一位置，

在从第二成像模式获得的第二图像上识别附接至不透射线仪器的第二标记物的第二位置，以及

测量第一标记物的第一位置和第二标记物的第二位置之间的距离，

使用第二成像模式的位姿，在不透射线仪器的每个感知位置上投射标记物之间的已知距离，

将所测量的距离与两个标记物之间的每个投射的距离进行对比，以识别仪器在患者体内的实际位置。

在一些实施例中，不透射线仪器包括内窥镜、支气管内工具或机械臂。

在一些实施例中，该方法还包括：利用不透射线仪器的轨迹，识别不透射线仪器的深度。

在一些实施例中，从第一成像模式获得的第一图像是手术前图像。在一些实施例中，从第二成像模式获得的不透射线仪器的该至少一个图像是手术中图像。

附图说明

还将参照附图对本发明进行进一步说明，其中相同的结构在所有附图中均用相同的附图标记表示。附图不必按比例绘制，相反，重点通常在于示出本发明的原理。此外，可对一些特征进行放大，以示出特殊部件的细节。

图1示出了在本发明的方法的一些实施例中使用的一种多视图位姿估计方法的框图。

图2、图3和图4示出了用在本发明的方法中的手术中图像(intraoperativeimage)的一个示例性实施例。图2和图3示出了从一个具体位姿获得的荧光透视图像(fluoroscopicimage)。图4示出了作为c-臂旋转的结果，与图2和图3相比，在不同位姿获得的荧光透视图像。支气管镜—240、340、440，仪器—210、310、410，肋—220、320、420，以及身体边界—230、330、430是可见的。多视图位姿估计方法使用图2、图3、图4中的可见元素(visibleelement)作为输入。

图5示出了如本发明的方法中使用的支气管气道的结构的示意图。气道中心线由530示出。导管插入到气道结构中，并由具有图像平面540的荧光装置(fluoroscopicdevice)成像。导管在图像上的投射由曲线550示出，并且与导管附接的不透射线标记物投射到点g和点f。

图6是附接至支气管镜的支气管镜装置顶端的图像，在图6中，支气管镜可用在本发明的方法的一个实施例中。

图7是根据本发明的方法的一个实施例的图示，其中该图是用在支气管镜检查中的跟踪镜(701)的荧光透视图像，其具有从其延伸的手术工具(702)。该手术工具可包括不透射线标记物或附接到其上的独特图案。

这些附图构成了说明书的一部分，并且包括本发明的说明性实施例并说明了本发明的各种目的和特征。此外，这些附图并不一定按比例绘出，可对一些特征进行放大，以示出特定部件的细节。此外，图中所示的任何测量、规格等都是说明性的，而不是限制性的。因此，本文所公开的具体结构和功能细节并不被解释为限制性的，而仅仅是作为教导本领域技术人员以各种方式使用本发明的代表性基础。

具体实施方式

在那些已公开的益处和改进中，通过下面结合附图的具体说明，本发明的其他目的和优点将变得明显。本文公开了本发明的具体实施方式；然而，应当理解，所公开的实施例仅仅是可以以各种方式体现的本发明的说明。此外，结合本发明的各个实施例给出的每个示例均意为说明性的，而非限制性的。

在整个说明书和权利要求书中，除非另有明确规定，否则以下术语采用与本文明确相关的含义。本文中所使用的短语“在一个实施例中”和“在一些实施例中”并不一定指相同的实施例，尽管有可能是指同一实施例。此外，本文中所使用的短语“在另一个实施例中”和“在一些其它实施例中”并不一定指不同的实施例，尽管有可能是指不同的实施例。因此，如下文所述，本发明的各个实施例在不脱离本发明的范围或精神的情况下可以容易地组合。

此外，如本文所使用的，除非上下文中另有明确说明，否则术语“或”是包含性的“或”操作符，并且等同于术语“和/或”。除非上下文中另有明确说明，否则术语“基于”是非排他性的，并且允许基于未示出的其它因素。此外，在整个说明书中，“一”、“一个”和“该”的意思包括复数指称。“在其中”的意思包括“在其中”和“在其上”。

如本文所使用的，“多个”是指数量上多于一个，例如但不限于2、3、4、5、6、7、8、9、10等。例如，多个图像可以是2个图像、3个图像、4个图像、5个图像、6个图像、7个图像、8个图像、9个图像、10个图像等。

如本文所使用的，“解剖元素”是指标志点，其可以是例如感兴趣区域、切口点、分叉、血管、支气管气道、肋或器官。

如本文所使用的，“几何限制”或“几何上的限制”或“相互限制”或“相互几何限制”是指受试者(subject)身体中身体器官(例如，至少两个身体器官)之间的几何关系，其构成受试者的肋、身体边界等之间类似的几何关系。通过不同的成像模式观察到的这种几何关系要么保持不变，要么可以忽略或量化它们的相对运动。

如本文所使用的，“位姿”是指一组六个参数，其确定手术中成像装置源的相对位置和取向，作为光学摄像机装置的替代物。作为一个非限制性示例，位姿可以作为装置、患者病床和患者之间相对移动的组合而获得。这种运动的另一个非限制性示例是手术中成像装置的旋转与其在静态患者病床(静态患者在该病床上)周围的移动相结合。

如本文所使用的，“位置”是指任何物体(包括3d空间中的成像装置本身)的定位(其可以在任何坐标系中进行测量，例如x、y、z笛卡尔坐标)。

如本文所使用的，“取向”是指手术中成像装置的角度。作为非限制性示例，手术中成像装置可以取向为面朝上、面朝下或面向横向。

如本文所使用的，“位姿估计方法”是指估计与第一成像模式的3d空间内的第二成像模式相关联的摄像机的参数的方法。这种方法的一个非限制性实施例是获得手术前ct的3d空间中的手术中荧光摄像机的参数。数学模型使用这种估计的位姿，以将手术前计算机断层扫描(ct)图像内的至少一个3d点投射到手术中x射线图像内的相对应的2d点上。

如本文所使用的，“多视图位姿估计方法”是指手术中成像装置的至少两个不同位姿的位姿估计方法。成像装置从相同景象/受试者获得图像。

如本文所使用的，“相对角度差”是指成像装置的两个位姿之间由其相对的角度移动所造成的角度差。

如本文所使用的，“相对位姿差异”是指由受试者和成像装置之间的相对空间移动引起的成像装置的两个位姿之间的位置和相对角度差两者。

如本文所使用的，“核距(epipolardistance)”是指一个点与另一视图中相同点的核线之间的距离的测量。如本文所使用的，“核线”是指从视图中的一个或多个点的x、y向量或两列矩阵的计算。

如本文所使用的，“相似度测量”是指量化两个对象之间相似度的实值函数。

在一些实施例中，本发明提供了一种方法，该方法包括：

从第一成像模式获得第一图像，

从来自第一成像模式的第一图像中提取至少一个元素，

其中，该至少一个元素包括气道、血管、体腔或其任何组合；从第二成像模式获得至少(i)不透射线仪器处于第一位姿时的第一图像以及(ii)不透射线仪器处于第二位姿时的第二图像，

其中，不透射线仪器位于患者的体腔内；

产生至少两个增强的支气管造影照片，

其中，第一增强的支气管造影照片与不透射线仪器处于第一位姿时的第一图像相对应，并且

其中，第二增强的支气管造影照片与不透射线仪器处于第二位姿时的第二图像相对应，

确定如下两者的相互几何限制：

(i)不透射线仪器的第一位姿，和

(ii)不透射线仪器的第二位姿之间，

通过将不透射线仪器的第一位姿和不透射线仪器的第二位姿与第一成像模式的第一图像进行对比，估计不透射线仪器的第一位姿和不透射线仪器的第二位姿，

其中，这种对比是利用如下内容进行的：

(i)第一增强的支气管造影照片，

(ii)第二增强的支气管造影照片，

以及(iii)该至少一个元素，并且

其中，该估计的不透射线仪器的第一位姿和该估计的不透射线仪器的第二位姿符合所确定的相互几何限制，

产生第三图像，其中，该第三图像是来自于第二成像模式的突出了感兴趣区域的增强图像，

其中，该感兴趣区域是根据从第一成像模式获得的数据而确定的。

在一些实施例中，来自从第一成像模式获得的第一图像的该至少一个元素还包括肋、椎骨、隔膜或其任何组合。在一些实施例中，该相互几何限制是通过以下步骤而产生的：

a.通过将不透射线仪器的第一图像和不透射线图像的第二图像进行对比，估计(i)第一位姿和(ii)第二位姿之间的差异，

其中，所述估计是使用包括量角器、加速计、陀螺仪或其任何组合的装置进行的，并且其中，该装置关联到(attachedto)第二成像模式；

b.提取多个图像特征，以估计相对的位姿变化，

其中，该多个图像特征包括解剖元素、非解剖元素或其任何组合，

其中，该图像特征包括：附接至患者的贴片、位于第二成像模式视野内的不透射线标记物，或其任何组合，

其中，该图像特征在不透射线仪器的第一图像和不透射线仪器的第二图像上是可见的；

c.使用至少一个摄像机，估计(i)第一位姿和(ii)第二位姿之间的差异，

其中，该摄像机包括视频摄像机、红外摄像机、深度摄像机或其任何组合，

其中，该摄像机位于固定位置，

其中，该摄像机配置为跟踪至少一个特征，

其中，该至少一个特征包括：附接至患者的标记物、附接至第二成像模式的标记物或其任何组合，以及

跟踪该至少一个特征；

d.或其任何组合。

在一些实施例中，该方法还包括：跟踪该不透射线仪器用以：识别轨迹，并将该轨迹用作进一步的几何限制，其中，该不透射线仪器包括内窥镜、支气管内工具或机械臂。

在一些实施例中，本发明提供了一种方法，该方法包括：

产生患者的至少一个体腔的图，

其中，该图是利用来自第一成像模式的第一图像而产生的，

来自第二成像模式获得不透射线仪器的图像，所述不透射线仪器的图像包括至少两个附接标记物，

其中，该至少两个附接标记物分开已知距离，

识别来自第二成像模式的不透射线仪器的相对于患者至少一个体腔的图的位姿，

在来自第二成像模式的第二图像上识别附接至不透射线仪器的第一标记物的第一位置，

在来自第二成像模式的第二图像上识别附接至不透射线仪器的第二标记物的第二位置，以及

测量第一标记物的第一位置和第二标记物的第二位置之间的距离，

在第一标记物和第二标记物之间投射已知距离，

将所测量的距离与第一标记物和第二标记物之间的所投射的已知距离进行对比，以识别不透射线仪器在患者的该至少一个体腔中的具体位置。

在一些实施例中，不透射线仪器包括内窥镜、支气管内工具或机械臂。

在一些实施例中，该方法还包括：利用不透射线仪器的轨迹，识别不透射线仪器的深度。

在一些实施例中，来自第一成像模式的第一图像是手术前图像。在一些实施例中，来自第二成像模式的不透射线仪器的该至少一个图像是手术中图像。

在一些实施例中，本发明是一种方法，该方法包括：

从第一成像模式获得第一图像，

从来自第一成像模式的第一图像中提取至少一个元素，

其中，该至少一个元素包括气道、血管、体腔或其任何组合；

从第二成像模式获得在第二成像模式的两个不同位姿中的至少(i)不透射线仪器的一个图像和(ii)不透射线仪器的另一个图像，

其中，不透射线仪器的第一图像是在第二成像模式处于第一位姿时捕捉的，

其中，不透射线仪器的第二图像是在第二成像模式处于第二位姿时捕捉的，并且

其中，不透射线仪器位于患者的体腔内；

产生与成像装置的两个位姿中的每一个相对应的至少两个增强的支气管造影照片，其中，第一增强的支气管造影照片源自不透射线仪器的第一图像，而第二增强的支气管造影照片源自不透射线仪器的第二图像，

确定如下两者之间的相互几何限制：

(i)第二成像模式的第一位姿，和

(ii)第二成像模式的第二位姿，

使用相对应的增强的支气管造影照片和从第一成像模式的第一图像提取的至少一个元素，估计第二成像模式相对于第一成像模式的第一图像的两个位姿，

其中，该两个所估计的位姿满足相互几何限制；

产生第三图像，其中，该第三图像是源自于第二成像模式的增强图像，其根据来自于第一成像模式的数据突出了感兴趣区域。

在一些实施例中，解剖元素(例如，肋、椎骨、隔膜或其任何组合)提取自第一成像模式和第二成像模式。

在一些实施例中，相互几何限制是通过以下步骤而产生的：

a.通过将不透射线仪器的第一图像和不透射线图像的第二图像进行对比，估计(i)第一位姿和(ii)第二位姿之间的差异，

其中，这种估计是使用包括量角器、加速计、陀螺仪或其任何组合的装置进行的，并且其中，该装置关联到第二成像模式；

b.提取多个图像特征，以估计相对的位姿变化，

其中，该多个图像特征包括解剖元素、非解剖元素或其任何组合，

其中，该图像特征包括：附接至患者的贴片、位于第二成像模式视野内的不透射线标记物，或其任何组合，

其中，该图像特征在不透射线仪器的第一图像和不透射线仪器的第二图像上是可见的；

c.使用至少一个摄像机，估计(i)第一位姿和(ii)第二位姿之间的差异，

其中，该摄像机包括视频摄像机、红外摄像机、深度摄像机或其任何组合，

其中，该摄像机位于固定位置，

其中，该摄像机配置为跟踪至少一个特征，

其中，该至少一个特征包括：附接至患者的标记物、附接至第二成像模式的标记物，或其任何组合，以及

跟踪该至少一个特征；

d.或其任何组合。

在一些实施例中，该方法还包括跟踪该不透射线仪器以识别轨迹，并将该轨迹用作另外的几何限制，其中，该不透射线仪器包括内窥镜、支气管内工具或机械臂。

在一些实施例中，本发明是一种识别仪器在患者体内实际位置的方法，该方法包括：

利用从第一成像模式的第一图像产生的患者的至少一个体腔的图，

从第二成像模式获得不透射线仪器的图像，其中至少两个标记物与其附接，并且两个标记物之间具有限定距离，

其可以从图像中感知到位于患者体内的至少两个不同的体腔中，

获得第二成像模式相对于该图的位姿，

在从第二成像模式获得的第二图像上识别附接至不透射线仪器的第一标记物的第一位置，

在从第二成像模式获得的第二图像上识别附接至不透射线仪器的第二标记物的第二位置，以及

测量第一标记物的第一位置和第二标记物的第二位置之间的距离，

使用第二成像模式的位姿，在不透射线仪器的每个感知位置上投射两个标记物之间的已知距离，

将两个标记物之间所测量的距离与每个所投射的距离进行对比，以识别仪器在患者体内的实际位置。

在一些实施例中，该不透射线仪器包括内窥镜、支气管内工具或机械臂。

在一些实施例中，该方法还包括：利用不透射线仪器的轨迹，识别不透射线仪器的深度。

在一些实施例中，从第一成像模式获得的第一图像是手术前图像。在一些实施例中，从第二成像模式获得的不透射线仪器的该至少一个图像是手术中图像。

多视图位姿估计

申请pct/ib2015/000438包括在内窥镜检查过程中估计荧光装置相对于患者的位姿信息(例如，位置，取向)的方法的描述，并且其全部内容通过引用并入本文中。2015年10月20日提交的pct/ib15/002148的全部内容也通过引用并入本文中。

本发明是一种方法，该方法包括从一组手术中图像中提取的数据，其中每个图像均是在从成像装置获得的至少一个(例如，1、2、3、4个等)未知位姿处获取的。这些图像用作用于位姿估计方法的输入。作为一个示例性实施例，图3、图4、图5是一组3个荧光透视图像的示例。图4和图5中的图像是在相同的未知位姿处获取的，而图3中的图像是在不同的未知位姿处获取的。例如，该组可以包含或不包含与成像装置有关的其它已知位置数据。例如，一组可以包含位置数据，例如c-臂位置和取向，其可以由荧光镜(fluoroscope)提供或者通过附接至荧光镜的测量装置(例如量角器、加速计、陀螺仪等)获取。

在一些实施例中，解剖元素提取自其它手术中图像，并且这些解剖元素暗示了可以引入位姿估计方法的几何限制。因此，在使用位姿估计方法之前，可以减少从单个手术中图像提取元素的数量。

在一些实施例中，该多视图位姿估计方法还包括将来自手术前模式的信息叠加在来自该组手术中图像的任何图像上。

在一些实施例中，可以在pct/ib2015/000438中找到关于将来自手术前模式的信息叠加在手术中图像上的描述，该文献的全部内容通过引用并入本文中。

在一些实施例中，该多个第二成像模式允许相对于患者改变荧光镜的位姿(例如但不限于，荧光镜臂的旋转或线性移动、患者病床的旋转和移动、患者在病床上的相对移动，或其任何组合)，以获得该多个图像，其中该多个图像是从荧光镜源(fluoroscopicsource)的上述相对位姿获得的，作为患者和荧光装置之间的旋转和线性运动的任何组合。

尽管已经对本发明的多个实施例进行了描述，但应当理解，这些实施例仅仅是示例性的，而非限制性的，并且许多修改对于本领域技术人员而言可变得显而易见。此外，可按任何期望顺序执行各个步骤(并且可增加和/或删除任何期望步骤)。

现参考以下示例，其与以上描述一起以非限制性方式示出了本发明的一些实施例。

示例：微创肺部手术

本发明的一个非限制性示例性实施例可应用于微创肺部手术，其中支气管内工具通过支气管镜的工作通道插入患者的支气管气道中(见图6)。在开始诊断程序之前，医生执行设定过程，其中医生将导管放置在感兴趣区域周围的若干(例如，2、3、4个等)支气管气道中。对于支气管内导管的每个位置采集荧光透视图像，如图2、图3和图4所示。在申请pct/ib2015/000438中描述了用于执行手术中荧光装置的位姿估计的导航系统的示例，并且本发明的方法利用所提取的元素(例如但不限于，多个导管位置、肋解剖和患者的身体边界)。

在估计了感兴趣区域中的位姿之后，可以在手术前成像模式上识别用于插入支气管镜的路径，并且可以通过在手术中荧光透视图像上突出显示从手术前图像获得的信息或覆盖从手术前图像获得的信息而进行标记。在将支气管内导管导航至感兴趣区域之后，医生可以旋转、改变缩放级别，或移动荧光装置，用以例如验证导管位于感兴趣区域中。通常，如图4所示，荧光装置的这种位姿变化将使先前估计的位姿无效，并且要求医生重复这一设定过程。然而，由于导管已经位于潜在的感兴趣区域内，所以并不需要重复这一设定过程。

图4示出了本发明的一个示例性实施例，示出了利用解剖元素进行估计的荧光镜角度的位姿，其从图2和图3中提取(其中，例如，图2和图3示出了从初始设定过程获得的图像和从图像中提取的其它解剖元素，例如导管位置/肋解剖和身体边界。例如，可以通过以下方式改变位姿：(1)移动荧光镜(例如，围绕c臂旋转头部)，(2)向前移动荧光镜即为向后，或者通过改变受试者位置或者通过两者的组合等。此外，图2和图4之间的相互几何限制(例如，相对于成像装置的位置数据)可用在该估计方法中。

图1是本发明的一个示例性实施例，并且示出了以下内容：

i.部件120使用自动或半自动分段方法或其组合，从手术前图像(例如但不限于，ct、磁共振成像(mri)、正电子发射断层成像-计算机断层扫描(pet-ct))中提取3d解剖元素，例如支气管气道、肋、隔膜。自动或半自动分段方法的示例在atillap.kiraly、williame.higgins、geoffreymclennan、erica.hoffman、josephm.reinhardt的“用于临床虚拟支气管镜检查的三维人体气道分段方法”中进行了描述，其全部内容通过引用并入本文中。

ii.部件130从一组手术中图像(例如但不限于，荧光透视图像、超声波图像等)中提取2d解剖元素(其在图4中进一步示出，例如，支气管气道410、肋420、身体边界430和隔膜)。

iii.部件140计算该组手术中图像的每个子集图像之间的相互几何限制，例如相对的角度差、相对的位姿差异、核距等。

在另一个实施例中，该方法包括估计该组手术中图像的每个子集图像之间的相互限制。此类方法的非限制性示例是：(1)使用附接至手术中成像装置的测量装置，以估计一对荧光透视图像的至少两个位姿的相对位姿变化。(2)提取图像特征，例如解剖元素或非解剖元素，包括但不限于，附接至患者的贴片(例如，ecg贴片)或位于手术中成像装置视野内的不透射线标记物，该标记物在两个图像上均是可见的；以及利用这些特征，以估计相对的位姿变化。(3)使用附接至手术室中的特定位置的一组摄像机(例如视频摄像机、红外摄像机、深度摄像机或其任何组合)，该组摄像机跟踪诸如附接至患者的贴片或标记物，标记物附接至成像装置等。通过跟踪这些特征，该部件可估计该成像装置相对的位姿变化。

iv.部件150将从手术前图像中产生的3d元素与其相对应的从手术中图像中产生的2d元素相匹配。例如，将从荧光透视图像提取的给定2d支气管气道与从ct图像提取的3d气道相匹配。

v.部件170在期望坐标系(例如手术前图像坐标系、相关的手术环境、由其它成像或导航设备形成的坐标系等)中估计一组手术中图像中的每个图像的位置。

向该部件的输入如下：

·从患者手术前图像中提取的3d解剖元素

·从该组手术中图像中提取的2d解剖元素。如本文所述，该组中的图像可来自于相同或不同的成像装置位姿。

·手术中图像组中的每个图像子集之间的相互限制

部件170评估来自该组手术中图像的每个图像的位姿，从而使得：

·2d提取元素与相对应的且投射的3d解剖元素相匹配。

·相互限制条件140应用于估计的位姿。

为了将从手术前图像获得的投射的3d元素与从手术中图像获得的相对应的2d元素相匹配，需要相似度测量，例如距离度量。这种距离度量提供了一种估计投射的3d元素及其相对应的2d元素之间距离的度量。例如，2条折线(例如，作为单个对象创建的线段的连接序列)之间的欧几里德距离可以用作从手术前图像获得的3d投射的支气管气道与从手术中图像提取的2d气道之间的相似度的度量。

此外，在本发明的方法的一个实施例中，该方法包括通过识别优化相似度测量的这种位姿，估计与一组手术中图像相对应的一组位姿，只要满足手术中图像组的图像子集之间的相互限制。相似度测量的优化可以称为最小平方问题，并且可以通过多种方法得到解决，例如(1)使用已知的光束法平差算法，该算法执行用于位姿估计的迭代最小化方法，并且其全部内容通过引用并入本文中：b.triggs、p.mclauchlan、r.hartley、a.fitzgibbon(1999)的“光束法平差—一种现代合成法”iccv'99:国际视觉算法研讨会论文集,pp.298-372,施普林格出版社，以及(2)使用网格搜索方法扫描参数空间以搜索优化相似度测量的最佳位姿。

标记物

不透射线标记物可以放置在医疗器械上的预定位置，以恢复关于仪器位置的3d信息。体腔中的3d结构的几种通路，例如支气管气道或血管，可以投射到手术中图像上的类似2d曲线中。用标记物获得的3d信息可用于区分这些通路，例如在申请pct/ib2015/000438中所示。

在本发明的一个示例性实施例中，如图5所示，仪器由手术中装置成像并投射到图像平面505上。仪器是否位于通路520或525内并不清楚，因为这两个通路均投射到图像平面505上的相同曲线上。为了区分通路520和525，可以使用附接至导管的至少2个不透射线标记物，在两个标记物之间具有预定的距离“m”。在图5中，在手术前图像上观察到的标记物命名为“g”和“f”。

520和525之间的区分方法可以通过如下方式进行：

(1)将来自手术中图像的点f投射到相对应的气道520、525的潜在候选位置上，以获得a点和b点。

(2)将来自手术中图像的点g投射到相对应的气道520、525的潜在候选位置上，以获得点c和点d。

(3)测量两对投射的标记物|ac|和|bd|之间的距离。

(4)将|ac|在520上和|bd|在525上的距离与由工具制造商预定的距离m进行对比。根据距离相似度选择恰当的气道。

跟踪镜

作为非限制性示例，本文公开了使用荧光装置配准患者ct扫描的方法。该方法使用在荧光透视图像中以及ct扫描中检测到的解剖元素作为位姿估计算法的输入，其产生相对于ct扫描的荧光装置的位姿(例如，取向和位置)。以下通过将对应于支气管内装置位置的3d空间轨迹添加到配准方法的输入来扩展该方法。这些轨迹可以通过几种方式获得，例如：沿跟踪镜附接位置传感器或者使用内窥镜机械臂。这样的支气管内装置将从现在开始称为跟踪镜。该跟踪镜用于引导手术工具从其自身向目标区域延伸(见图7)。诊断工具可以是导管、镊子、针等。下文描述了如何使用由跟踪镜获取的位置测量来提高本文所示的配准方法的准确性和稳健性。

在一个实施例中，跟踪镜的轨迹和荧光装置的坐标系之间的配准是通过将跟踪镜定位在空间中的各种位置以及使用标准的位姿估计算法而实现的。有关位姿估计算法的参考，请参阅以下文章：f.moreno-noguer、v.lepetit和p.fua的论文“epnp：高效的透视点摄像机位姿估计”，其全部内容通过引用并入本文中。

本文所公开的位姿估计方法是通过以这样的方式估计位姿来执行的，即，将在ct扫描中所选的元素投射到其在荧光透视图像中其相对应的元素上。在本发明的一个实施例中，将跟踪镜的轨迹作为向该位姿估计方法的输入扩展了该方法。可以使用本文的方法将这些轨迹转换为荧光装置坐标系。一旦转换为荧光装置坐标系，该轨迹就用作对位姿估计方法的其它限制，因为所估计的位姿受到轨迹必须匹配从配准的ct扫描分段的支气管气道的条件的限制。

荧光装置估计的位姿可以用于将从手术前ct获得的解剖元素投射到荧光镜实时视频上，以便将手术工具引导到肺内的指定目标。这样的解剖元素可以是但不限于：定向瘤、到肿瘤的通路等。到定向瘤的投射路径仅向医生提供二维信息，这就导致了对于深度的模糊性，即，在ct上分段的几个气道可以对应于2d荧光透视图像上的相同投射。重要的是要在ct上正确识别放置手术工具的支气管气道。如本文所述，用于降低这种模糊性的一种方法是通过使用位于工具上的不透射线标记物提供深度信息而实现的。在本发明的另一个实施例中，跟踪镜可以用于降低这种模糊性，因为其提供了支气管气道内的3d位置。将这种方法应用于成组的支气管树中，其可以消除潜在的模糊性选项，直到图7中显示出跟踪镜末端701。假设图7上的手术工具702不具有3d轨迹，那么即使对于该工具的这一部分702仍然可能发生上述模糊，但是这种事件发生的可能性要小得多。因此，本发明的这一实施例改进了本文所述方法正确识别当前工具位置的能力。

同等物

本发明还提供了用于治疗轻度至中度急性疼痛和/或炎症的新型方法和组合物。虽然本文已经对本发明的具体实施例进行了描述，但上述说明书是说明性的，而非限制性的。本领域技术人员在阅读本说明书时可以清楚地理解本发明的许多变型。本发明的全部范围应该通过参考权利要求书及其等同物的全部范围和说明书以及这些变型来确定。

参考引用

本文所提及的所有出版物、专利和序列数据库的全部内容通过引用并入本文中，如同每个单独的出版物或专利被具体和单独地指出而通过引用并入。

尽管已经对本发明的多个实施例进行了描述，但应当理解，这些实施例仅仅是示例性的，而非限制性的，并且许多修改对于本领域技术人员而言可变得显而易见。此外，可按任何期望顺序执行各个步骤(并且可增加和/或删除任何期望步骤)。