用于在图像引导手术中使用配准荧光透视图像的系统和方法与流程

用于在图像引导手术中使用配准荧光透视图像的系统和方法
1.本技术是于2017年2月10日提交的名称为“用于在图像引导手术中使用配准荧光透视图像的系统和方法”的中国专利申请201780003111x(pct/us2017/017433)的分案申请。
2.相关申请
3.本专利申请要求提出于2016年2月12日的题为“systems and methods for using fluoroscopy to assist instrument navigation in image
‑
guided surgery(用于使用荧光透视技术协助图像引导手术中仪器导航的系统和方法)”的美国临时专利申请号62/294,870和提出于2016年2月12日的题为“systems and methods for using registered fluoroscopic images in image
‑
guided surgery(用于在图像引导手术中使用配准荧光透视图像的系统和方法)”的美国临时专利申请号62/294,879的优先权和权益，这两项申请都因此以参考方式被全文纳入。
技术领域
4.本公开涉及用于进行图像引导手术的系统和方法，更具体地涉及用于在图像引导手术期间使用经配准的实时荧光透视图像和先前时间解剖图像的系统和方法。


背景技术：

5.微创医疗技术意在减少在医疗手术期间受损的组织数量，由此减少患者的恢复时间、不适感和有害的副作用。这种微创技术可以通过患者解剖结构中的自然孔或通过一个或更多个手术切口执行。通过这些自然孔或切口，临床医师可以插入微创医疗仪器(包括：手术、诊断、治疗或活检仪器)，以到达目标组织位置。为了帮助到达目标组织位置，医疗仪器的位置和移动可能与患者解剖结构的术前或在术中以前的静态图像相关。利用与图像相关的图像引导仪器，这些仪器可以在解剖系统中导航自然孔道或手术方式造成的孔道，诸如肺、结肠、肠、肾、心脏、循环系统等等。传统上，患者解剖结构的术前或术中图像通常是详细的经常是三维的图像。然而，它们是患者解剖结构的静态的先前时间表示。荧光透视是成像方式，该成像方式提供患者解剖结构的实时图像，包括在患者解剖结构上的医疗手术期间使用的任何辐射透不过的仪器。然而，荧光透视图像可能无法捕获到某些类型组织的高质量图像。需要系统和方法来配准实时荧光透视图像和先前时间静态图像，以为执行图像引导手术提供增强的导航信息。


技术实现要素：

6.通过伴随说明书的权利要求对本发明的实施例进行总结。
7.在一个实施例中，由计算系统执行的方法包含：接收当医疗仪器的一部分位于患者解剖结构中时的患者解剖结构的荧光透视图像。荧光透视图像具有荧光透视参考框架。该部分可被称为指示器部分，并且该部分可包含：医疗仪器的任何长度，通过非限制示例的方法，包括：医疗仪器的近处部分、中间部分、远处部分和/或远端。该部分在解剖模型参考
框架中具有感测的或另外方式已知的定位。该方法进一步包含：识别该部分在荧光透视图像中的定位，以及使用该部分在荧光透视图像中的定位，识别经提取的该部分在荧光透视参考框架中的定位。该方法进一步包含：基于该部分的经感测的定位和该部分的经提取的定位，将荧光透视参考框架配准到解剖模型参考框架。
8.在另一个实施例中，由计算系统执行的方法包含：识别多个解剖界标(anatomic landmark)的一组定位，该多个解剖界标在模型参考框架中在患者解剖结构的孔道的解剖模型中被进行渲染，以及接收当医疗仪器的一部分通过患者解剖结构的孔道中的多个解剖界标时的患者解剖结构的荧光透视图像数据。荧光透视图像数据具有荧光透视参考框架。该方法进一步包含：识别在荧光透视参考框架中的多个解剖界标处的一组部分定位，并将模型参考框架中的多个解剖界标的一组定位和荧光透视参考框架中的该组部分定位配准到公共参考框架。
9.在另一个实施例中，一种由计算系统执行的方法包含：在模型参考框架中接收用于患者解剖结构的孔道的解剖模型的一组模型点，以及接收当医疗仪器的指示器部分通过患者解剖结构的孔道时的患者解剖结构的荧光透视图像数据。荧光透视图像数据具有荧光透视参考框架。该方法进一步包含：从荧光透视图像数据中识别荧光透视参考框架中的一组指示器部分定位点，并将每个指示器部分定位点匹配到该组模型点中的模型点以生成一组匹配。该方法进一步包含：基于该组匹配，将模型参考框架配准到荧光透视参考框架。
10.在另一个实施例中，一种计算机辅助医疗系统包含：在手术坐标空间内具有方位平面的荧光透视成像器，以及一个或更多个处理器。一个或更多个处理器被配置为执行方法，该方法包括：接收当医疗仪器的一部分定位在患者解剖结构内的位置处时的患者解剖结构的荧光透视图像，荧光透视图像具有方位平面。该方法还包含：接收命令以驱动医疗仪器的该部分的运动，约束该部分的致动，使得该部分的经致动的移动被约束到荧光透视图像的方位平面，以及用经约束的致动驱动该部分的运动。一方面，系统进一步包含：当用经约束的致动驱动该部分的运动时，从医疗仪器接收传感器的信息，从接收的传感器信息识别在荧光透视图像的方位平面外部的该部分的移动，以及接收信号以将该部分调整到荧光透视图像的方位平面。
11.在另一个实施例中，一种由计算系统执行的方法包含：接收患者解剖结构的解剖模型，其中在解剖模型中识别感兴趣的区域。该方法进一步包含：从定位于患者解剖结构内并被配准到解剖模型的仪器的仪器形状传感器中接收形状传感器数据，并基于接收的形状传感器数据和感兴趣的区域，确定用于显示的荧光透视图像平面。
12.应当理解，上述一般性的描述和以下详细的描述二者都在性质上是示例性的和解释性的，并且意在不限制本公开的范围的情况下提供对本公开的理解。在该方面，根据以下详细的描述，本公开的附加方面、特征和优点对本领域中的技术人员将是明显的。
附图说明
13.当结合附图阅读下面的详细描述时，本公开的各个方面得到最佳地理解。强调的是，按照行业内的标准做法，不按比例绘制各种特征。事实上，各种特性的尺寸可以任意增加或减少以便于清楚讨论。此外，本公开可以在各种示例中重复引用数字和/或字母。这种重复是为了简单清楚，并且其本身并不规定讨论的各种实施例和/或配置之间的关系。
14.图1是根据本公开的实施例的远程操作的医疗系统。
15.图2a说明利用本公开的方面的医疗仪器系统。
16.图2b说明根据本公开的实施例的具有扩展的医疗工具的图2a的医疗仪器系统的远端。
17.图3说明定位在人体的肺内的图2a的医疗仪器系统的远端。
18.图4是说明根据本公开的一个实施例的用于在图像引导外科手术中提供引导的方法的流程图。
19.图5是根据本公开的一个实施例的一种手术坐标空间的侧视图，该手术坐标空间包括医疗仪器和荧光透视成像系统。
20.图6说明了根据本公开的一个实施例的图像引导外科手术的流程图。
21.图7说明了根据本公开的另一个实施例的图像引导外科手术的流程图。
22.图8说明了根据本公开的另一个实施例的图像引导外科手术的一部分的流程图。
23.图9a、图9b和图9c说明用于确定仪器部分在荧光透视参考框架中的定位的荧光透视图像。
24.图10是根据本公开的一个实施例的显示设备，在该显示设备上显示经配准的并排的荧光透视模型图像和解剖模型图像。
25.图11是根据本公开的一个实施例的显示设备，在该显示设备上显示经配准的并且覆盖在荧光透视图像上的解剖模型图像。
26.图12说明了相关表，其描述在荧光透视参考框架和解剖参考框架之间的相关的解剖界标。
27.图13a和图13b说明荧光透视图像的分割。
28.图14说明了根据本公开的另一个实施例的图像引导外科手术的一部分的流程图。
29.图15说明了确定视图的优选的荧光透视平面的方法。
30.图16说明了用于在二维荧光透视引导下驱动医疗仪器的方法。
具体实施方式
31.在以下的本发明的各方面的详细的描述中，提出了许多具体细节，以便对所公开的实施例提供全面的理解。然而，本领域技术人员显然可以在没有这些具体细节的情况下实施本公开的实施例。在其他实例下，没有详细地描述众所周知的方法、过程、组件和电路，以免不必要地掩盖本发明的实施例的各方面。并且，为了避免不必要的描述性重复，在适用时，根据一个说明性实施例描述的一个或更多个组件可以被使用或从其他说明性实施例省略。
32.下面的实施例将根据在三维空间中的它们的状态来描述各种仪器和仪器的各部分。如本文所用，术语“定位”是指在三维空间(例如，沿笛卡尔(cartesian)x，y，z坐标的三个平动自由度)中的物体或物体的一部分的定位。如本文所用，术语“方位”是指物体或物体的一部分的旋转放置(三个旋转自由度，例如，滚动、俯仰和偏航)。如本文所用，术语“位姿(pose)”是指在至少一个平动自由度中物体或物体的一部分的定位和在至少一个旋转自由度(高达总共六个自由度)中该物体或物体的一部分的方位。如本文所用，术语“形状”是指沿着物体测量的一组位姿、定位或方位。
33.参考附图的图1，例如，用于在手术、诊断、治疗或活检手术中使用的远程操作医疗系统一般表示为远程操作医疗系统100。如图1所示，远程操作系统100一般包括：用于在对患者p执行各种手术时操作医疗仪器系统104的远程操作操作机组件102。远程操作操作机组件102也可称为远程操作组件102或操作机组件102。医疗仪器系统104也可以称为医疗仪器104。操作机组件102被安装到操作台o上或被安装到其附近。操作者输入系统106(也称为“主组件106”)允许临床医师或外科医生s查看介入部位并控制操作机组件102。
34.操作者输入系统106可以位于外科医生控制台，该外科医生控制台通常与操作台o位于相同房间中。然而，应该了解，外科医生s可以位于与患者p不同的房间或完全不同的建筑中。操作者输入组件106通常包括一个或更多个设备用于控制一个或更多个操作机组件102。控制设备可以包括任意数量的各种输入设备，诸如操纵杆、轨迹球、数据手套、触发枪、手动控制器、语音识别设备、主体运动或存在传感器等等。在一些实施例中，控制设备将被提供有与相关医疗仪器104相同的自由度，以为外科医生提供远程存在或者控制设备与仪器104是一体的感知，使得外科医生具有直接控制仪器104的强烈感觉。在其它实施例中，控制设备可以具有比相关医疗仪器104更多或更少的自由度，并且仍然为外科医生提供远程存在。在一些实施例中，控制设备是手动输入设备，该手动输入设备以六个自由度移动，并且其还可以包括：用于致动仪器(例如，用于关闭抓取钳爪、施加电势至电极、递送药物治疗等等)的致动手柄。
35.远程操作组件102支持医疗仪器系统104，并且该远程操作组件102可以包括一个或更多个非伺服控制的链接装置(例如，可以手动地被定位并锁定到位的一个或更多个链接装置，通常被称为设定结构)的运动学结构和远程操作操作机。远程操作组件102包括多个致动器或电机，其响应于来自控制系统(例如，控制系统112)的命令驱动医疗仪器系统104上的输入。电机包括：驱动系统，当联接到医疗仪器系统104时，该驱动系统可将医疗仪器推进自然地或手术方式产生的解剖孔。其他机动的驱动系统可在多个自由度中移动医疗仪器的远端，该多个自由度可以包括三个线性运动(例如，沿x、y、z笛卡尔轴的线性运动)度和三个旋转运动(例如，关于x、y、z笛卡尔轴旋转)度。此外，电机可以用来致动仪器的可铰接末端执行器用于在活检设备的钳爪中抓取组织等等。电机定位传感器，诸如旋转变压器、编码器、电位器、和其他机械机构，可以将描述电机轴的旋转和方位的传感器数据提供给远程操作组件。该定位传感器数据可用来确定由电机操作的物体的运动。
36.远程操作医疗系统100还包括传感器系统108，其具有一个或更多个子系统用于接收关于远程操作组件的仪器的信息。这种子系统可以包括：定位/位置传感器系统(例如，电磁(em)传感器系统)；用于确定导管尖端和/或沿医疗仪器系统104的柔性主体的一个或更多个段的定位、方位、速度、速率、位姿和/或形状的形状传感器系统；和/或用于从导管系统的远端捕获图像的可视化系统。
37.可视化系统(例如，图2a的可视化系统231)可以包括查看范围组件，该查看范围组件记录手术部位的并发图像或实时图像，并将图像提供给临床医师或外科医生s。例如，并发图像可以是通过定位在手术部位内的内窥镜捕获的二维或三维图像。在这个实施例中，可视化系统包括可一体地或可移除地联接到医疗仪器104的内窥镜组件。然而，在替代实施例中，附接到单独的操作机组件的单独的内窥镜可以与医疗仪器一起使用以对手术部位进行成像。可视化系统可以作为硬件、固件、软件或它们的组合来实现，其与一个或更多个计
算机处理器交互或通过一个或更多个计算机处理器以其他方式被执行，该一个或更多个计算机处理器可以包括控制系统112的处理器(如下所述)。控制系统112的处理器可以执行指令，该指令包含对应于本文公开的处理的指令。
38.远程操作医疗系统100还包括显示系统110(也称“显示器110”)，用于显示由传感器系统108的子系统生成的手术部位和(一个或更多个)医疗仪器系统104的图像或表示。显示系统110和操作者输入系统106可以被定向，以便操作者能够以远程存在的感知来控制医疗仪器系统104和操作者输入系统106。
39.显示系统110还可以显示由可视化系统捕获的手术部位和医疗仪器的图像。显示系统110和控制设备可以被定向，使得范围组件中的成像设备和医疗仪器的相对定位类似于外科医生的眼睛和手的相对定位，使得操作者可以操纵医疗仪器104和手动控制，仿佛以基本上真实存在的方式查看工作区。通过真实存在，这意味着图像的呈现是模拟正在物理上操作仪器104的操作者的视点的真实的透视图像。
40.替代性地或者附加地，显示系统110可以使用来自成像技术的图像数据呈现术前或术中记录的手术部位的图像，成像技术为诸如，计算机断层扫描(ct)、磁共振成像(mri)、荧光透视、红外热成像、超声、光学相干断层成像(oct)、热成像、阻抗成像、激光成像或纳米管x射线成像。术前或术中图像数据可以呈现为二维、三维或四维(包括：例如，基于时间的或基于速率的信息)图像或作为从术前或术中图像数据集创建的模型的图像。
41.在一些实施例中，经常用于成像引导外科手术的目的，显示系统110可以显示虚拟的导航图像，其中医疗仪器104的实际位置与术前或并发图像/模式配准(即动态参考)以为临床医师或外科医生s呈现从仪器104的尖端的位置的视点的内部手术部位的虚拟图像。仪器104的尖端的图像或其他图形或字母数字指示符的图像可以叠加在虚拟图像上以协助外科医生控制医疗仪器。替代性地，仪器104在虚拟图像中可以是不可见的。
42.在其他实施例中，显示系统110可以显示虚拟的导航图像，其中医疗仪器的实际位置与术前或并发图像配准以为临床医师或外科医生s呈现从外部视点的在手术部位内的医疗仪器的虚拟图像。医疗仪器的一部分的图像或其他图形或字母数字指示符的图像可以叠加在虚拟图像上以协助外科医生控制仪器104。
43.远程操作医疗系统100还包括控制系统112。控制系统112包括至少一个存储器和至少一个计算机处理器(未示出)，并且通常是多个处理器，用于在医疗仪器系统104、操作者输入系统106、传感器系统108和显示系统110之间引起控制。控制系统112还包括编程指令(例如，计算机可读介质存储指令)，以实现根据本文公开的方面描述的一些或全部方法，包括将配准图像提供给显示系统110的指令。虽然控制系统112以图1的简化示意图作为单个块示出，该系统可包括两个或更多个数据处理电路，其中处理的一部分可选地在远程操作组件102上或相邻远程操作组件102被执行、处理的另一部分在操作者输入系统106处被执行等等。可以使用任何各种集中式或分布式数据处理架构。同样，编程指令可以作为若干单独的程序或子例程来实现，或他们可以集成到本文所描述的远程操作系统的若干其他方面。在一个实施例中，控制系统112支持无线通信协议，诸如蓝牙、红外数据组织irda、homerf、ieee 802.11、dect和无线遥测。
44.在一些实施例中，控制系统112可包括一个或更多个伺服控制器，该伺服控制器接收来自医疗仪器系统104的力和/或转矩反馈。响应于反馈，伺服控制器将信号发送到操作
者输入系统106。(一个或更多个)伺服控制器也可以发送信号，指示远程操作组件102移动(一个或更多个)医疗仪器系统104，该(一个或更多个)医疗仪器系统104通过在体内的开孔延伸到患者体内的内部手术部位。可以使用任何合适的常规或专用伺服控制器。伺服控制器可以与远程操作组件102分开或与远程操作组件102集成。在一些实施例中，伺服控制器和远程操作组件作为定位为相邻患者身体的远程操作臂的手推车的一部分被提供。
45.控制系统112可进一步包括虚拟可视化系统以当在图像引导外科手术中使用时，将导航协助提供给(一个或更多个)医疗仪器系统104。使用虚拟可视化系统的虚拟导航是基于对所获得的解剖孔道的术前或术中数据集的参考。更具体地，虚拟可视化系统处理成像的手术部位的图像，手术部位的图像使用成像技术，诸如计算机断层扫描(ct)、磁共振成像(mri)、荧光透视、红外热成像、超声、光学相干断层成像(oct)、热成像、阻抗成像、激光成像、纳米管x射线成像等等成像。软件单独或与人工输入相结合，用于将记录图像转换成部分或整个解剖器官或解剖区域的分割的二维或三维复合表示。图像数据集与复合表示是相关联的。复合表示和图像数据集描述孔道的不同位置和形状及其连接。用于生成复合表示的图像可在临床手术期间在先前时间的术前或术中被记录。在一个替代的实施例中，虚拟可视化系统可以使用标准表示(即非特定于患者)或标准表示和特定于患者的数据的混合。复合表示和由复合表示所产生的任何虚拟图像可以表示在一个或更多个运动阶段期间(例如，在肺的吸气/呼气循环期间)的可变形解剖区域的静态位姿。
46.在虚拟导航手术期间，传感器系统108可用于计算相对于患者解剖结构的仪器的近似位置。该位置可用于产生患者解剖结构的宏观水平的(外部)追踪图像和患者解剖结构的虚拟内部图像二者。用于使用电磁(em)传感器、光纤传感器或其他传感器以配准和与术前记录的手术图像(诸如来自虚拟可视化系统的图像)一起显示医疗器具的各种系统是众所周知的。例如，美国专利申请号13/107,562(提交于2011年5月13日)(公开了“medical system providing dynamic registration of a model of an anatomic structure for image
‑
guided surgery(提供解剖结构的模型的动态配准的用于图像引导手术的医疗系统)”(其全部通过参考并入本文)公开了一种这样的系统。
47.远程操作医疗系统100可进一步包括：可选的操作和支撑系统(未示出)，诸如照明系统、转向控制系统、冲洗系统和/或抽吸系统。在替代性的实施例中，远程操作系统可以包括多于一个的远程操作组件和/或多于一个的操作者输入系统。操作机组件的确切数量将取决于外科手术和手术室内的空间限制，以及其他因素。操作者输入系统可以并置，或者它们可以被定位于单独的位置中。多个操作者输入系统允许多于一个操作者以多种组合方式控制一个或更多个操作机组件。
48.图2a说明了医疗仪器系统200系统(也称“医疗仪器200”或“仪器系统200”)，其可以作为医疗仪器系统104在用远程操作医疗系统100执行的图像引导医疗手术中使用。替代性地，医疗仪器系统200可用于非远程操作探查术或在涉及传统手动操作的医疗仪器(诸如内窥镜)的手术中使用。附加地或替代性地，医疗仪器系统200可用于收集(即测量)对应于患者解剖孔道内的位置的一组数据点。
49.仪器系统200包括联接到仪器主体204的导管系统202(也称“导管202”)，当用于容纳部件时，仪器主体204可被称为“壳体204”。导管系统202包括细长的柔性导管主体216，其具有近端217和远端218(当它是导管主体216的尖端部分时，其可被称为“尖端部分218”)。
在一个实施例中，柔性主体216具有大约3mm的外部直径。其它柔性主体外部直径可以更大或更小。导管系统202可以可选地包括形状传感器系统222(也称“形状传感器222”)，用于确定在远端218处的导管尖端和/或沿着导管主体216的一个或更多个段224的定位、方位、速度、速率、位姿和/或形状。在远端218和近端217之间的导管主体216的整个长度可以被有效地分成段224。如果仪器系统200是远程操作医疗系统100的医疗仪器104，则形状传感器系统222可以是传感器系统108的组件。如果仪器系统200被手动操作或以其它方式用于非远程操作手术，则形状传感器系统222可以被联接到追踪系统230，该追踪系统230询问形状传感器并处理所接收的形状数据。
50.形状传感器系统222可包括与柔性导管主体216对齐的光纤(例如，被提供在内部通道(未示出)内或在外部安装)。在一个实施例中，光纤具有大约200μm的直径。在其它实施例中，尺寸可以更大或更小。形状传感器系统222的光纤形成用于确定导管系统202的形状的光纤弯曲传感器。在一个替代方式中，包括光纤布拉格光栅(fbg)的光纤用于在一个或更多个维度中在结构中提供应变测量。在美国专利申请号11/180,389(提交于2005年7月13日)(公开了“fiber optic position and shape sensing device and method relating thereto(光纤定位和形状感测设备及其相关方法)”)；美国专利申请号12/047，056(提交于2004年7月16日)(公开了“fiber
‑
optic shape and relative position sensing(光纤形状和相对定位感测)”)；以及美国专利号6,389,187(提交于1998年6月17日)(公开了“optical fibre bend sensor(光纤弯曲传感器)”)中描述了用于监控光纤在三维中的形状和相对定位的各种系统和方法，其所有全部通过参考并入本文。替代的实施例中的传感器可以采用其它合适的应变感测技术，诸如瑞利(rayleigh)散射、拉曼散射、布里渊散射和荧光散射。在其它替代的实施例中，可以使用其它技术来确定导管的形状。例如，导管的远处尖端位姿的历史可以用于在时间间隔上重建设备的形状。作为另一示例，历史位姿、定位或方位数据可以沿着交替运动(诸如呼吸)的周期针对仪器系统的已知点被存储。该存储的数据可用于开发关于导管的形状信息。替代性地，沿着导管定位的一系列定位传感器(诸如电磁(em)传感器)可用于形状感测。替代性地，手术期间的来自仪器系统上的定位传感器(诸如em传感器)的数据历史可以用于表示仪器的形状，特别是如果解剖孔道一般是静态的。替代性地，可以使用具有由外部磁场控制的定位或方位的无线设备用于形状感测。可以使用无线设备的定位的历史来确定用于导航的孔道的形状。
51.医疗仪器系统可以可选地包括定位传感器系统220。定位传感器系统220可以是具有传感器系统220的em传感器系统的组件，该em传感器系统包括一个或更多个导电线圈，该线圈可以经受外部产生的电磁场。在这样的实施例中，em传感器系统的每个线圈构成定位传感器系统220，其产生感应的电信号，该电信号具有取决于线圈相对于外部产生的电磁场的定位和方位的特性。在一个实施例中，em传感器系统可被配置和被定位以测量六个自由度，例如，三个定位坐标x，y，z和三个方位角，该三个方位角指示基点的俯仰、偏航、滚动或五个自由度，例如，三个定位坐标x，y，z和两个方位角度，该两个方位角指示基点的俯仰和偏航。在美国专利号6380732(提交于1999年8月11日)(公开了“six
‑
degree of freedom tracking system having a passive transponder on the object being tracked(在被追踪物体上具有被动应答器的六自由度追踪系统)”))中提供了em传感器系统的进一步描述，其全部通过引用并入本文。在一些实施例中，形状传感器也可作为定位传感器，因为传
感器的形状连同关于形状传感器的基座的位置的信息(在患者的固定的坐标系中)允许沿形状传感器(包括远处尖端)的各个点的位置被计算。
52.追踪系统230可包括定位传感器系统220和形状传感器系统222，用于确定远端218以及沿着仪器系统200的一个或更多个段224的定位、方位、速度、位姿、和/或形状。追踪系统230可以作为硬件、固件、软件或它们的组合来实现，其与一个或更多个计算机处理器交互或以其他方式通过一个或更多个计算机处理器执行，该计算机处理器可包括控制系统116的处理器。
53.柔性导管主体216包括被设定尺寸并被设定形状以接收医疗仪器226的通道221(参见图2b)。医疗仪器可包括：例如，图像捕获探针、活检仪器、激光烧蚀纤维或其他手术、诊断或治疗工具。医疗工具可包括具有单个工作部件(诸如手术刀、钝刀片、光纤或电极)的末端执行器。其他的末端执行器可包括：例如，钳、抓取器、剪刀或夹器。电激活的末端执行器的示例包括电外科手术电极、换能器、传感器等等。
54.在各种实施例中，(一个或更多个)医疗仪器226可以是图像捕获探针，其包括在柔性导管主体216的远端218处或附近具有立体或平面照相机用于捕获图像(包括视频图像)的远处部分，该图像通过可视化系统231处理以用于显示。图像捕获探针可以包括电缆，其联接到照相机用于传输捕获的图像数据。替代性地，图像捕获仪器可以是光纤束，诸如纤维内窥镜，其联接到可视化系统。图像捕获仪器可以是单个或多个光谱的，例如在可见光、红外或紫外光谱中的一个或更多个中捕获图像数据。
55.在各种实施例中，医疗仪器226是用于从目标解剖位置移除样本组织或细胞的采样的活检仪器。仪器226可以从通道221的开口向前推进以执行手术，然后当手术完成时缩回到通道中。医疗仪器226可以从导管柔性主体的近端217或沿柔性主体从另一个可选的仪器端口(未示出)移除。
56.医疗仪器226可以容纳在仪器的近端和远端之间延伸以可控地弯曲仪器的远端的缆线、连杆或其它致动控制(未示出)。在美国专利号7316681(提交于2005年10月4日)(公开了“articulated surgical instrument for performing minimally invasive surgery with enhanced dexterity and sensitivity(用于以增强的灵活性和灵敏度执行微创手术的铰接式手术仪器)”)和美国专利申请号12/286,644(提交于2008年9月30日)(公开了“passive preload and capstan drive for surgical instruments(用于手术仪器的无源预加载和绞盘驱动)”)中详细描述了可转向仪器，其全部通过引用并入本文。
57.柔性导管主体216还可以容纳在壳体204和远端218之间延伸以可控地弯曲远端218(例如，通过远端的虚线描绘219所示)的线缆、连杆或其它转向控制(未示出)。在美国专利申请号13/274,208(提交于2011年10月14日)(公开了“catheter with removable vision probe(具有可运动视觉探针的导管)”)中详细描述了可转向导管，其全部通过引用并入本文。在其中仪器系统200由远程操作组件致动的实施例中，壳体204可包括驱动输入，其可移除地联接到远程操作组件并从远程操作组件的机动驱动元件接收功率。在手动操作仪器系统200的实施例中，壳体204可包括抓握特征、手动致动器或其它部件用于手动控制仪器系统的运动。导管系统可以是可转向的或者替代性地，该系统可以是不可转向的，其中没有用于操作者控制仪器弯曲的集成机构。附加地或替代性地，在柔性体216的壁中限定一个或更多个内腔，其中医疗仪器可以通过该内腔被部署并且在目标手术位置处被使用。
58.在各种实施例中，医疗仪器系统200可包括柔性支气管仪器(诸如支气管镜或支气管导管)，其用于肺的检查、诊断、活检或治疗。仪器系统200还适于通过在任何各种解剖系统(包括结肠、肠、肾、脑、心脏、循环系统等等)中的天然或手术产生的连接的孔道导航和治疗其它组织。
59.来自追踪系统230的信息可以被发送到导航系统232，在该导航系统232中，来自追踪系统230的信息与来自可视化系统231的信息和/或术前获得的模型相结合，以向外科医生或其他操作者提供关于显示系统110的实时定位信息，以用于仪器系统200的控制。控制系统116可以利用定位信息作为反馈用于定位仪器系统200。在提交于2011年5月13日的公开了“medical system providing dynamic registration of a model of an anatomic structure for image
‑
guided surgery(提供解剖结构的模型的动态配准用于图像引导手术的医疗系统”)的美国专利申请号13/107,562中提供了用于使用光纤传感器以利用手术图像配准和显示手术仪器的各种系统，其全部通过引用并入本文。
60.在图2a的实施例中，仪器系统200在远程操作医疗系统100内被远程操作。在一个替代的实施例中，远程操作组件102可被直接操作者控制取代。在直接操作的替代方式中，各种处理和操作者界面可以被包括用于仪器的手持操作。
61.在替代的实施例中，远程操作系统可以包括多于一个的从属操作机组件和/或多于一个的主组件。操作机组件的确切数量将取决于医疗手术和手术室内的空间约束，以及其他因素。主组件可以被并列，或者他们可以被定位在单独的位置中。多个主组件允许多于一个操作者以各种组合控制一个或更多个从属操作机组件。
62.图3说明了被定位在患者解剖结构的解剖孔道内的导管系统202。在该实施例中，解剖孔道是人体肺201的气道。在替代的实施例中，导管系统202可用于其他解剖结构的孔道。
63.图4是说明了用于图像引导外科手术中的一般方法300的流程图。虽然各种提供示例描述在解剖结构内执行的手术应用，但是在替代的实施例中，本公开的设备和方法不需要在解剖结构内使用，而是也可以在患者解剖结构的外部使用。在过程302处，先前的图像数据，包括术前或术中图像数据，从成像技术(诸如计算机断层扫描(ct)、磁共振成像(mri)、热成像、超声、光学相干断层成像(oct)、热成像、阻抗成像、激光成像或纳米管x射线成像)中获得。术前或术中图像数据可对应于二维、三维或四维(包括：例如，基于时间或基于速率的信息)图像。例如，图像数据可以代表图3的人体肺201。
64.在过程304处，计算机软件单独或与手动输入组合被用于将记录的图像转换成分割的二维或三维复合表示或一部分或整个的解剖器官或解剖区域的模型。复合表示和图像数据集描述孔道和其连接的各种位置和形状。更具体地，在分割过程期间，图像被划分成段或元素(例如，像素或体素)，其共享某些特性或计算属性，诸如颜色、密度、强度和纹理。这种分割过程导致二维或三维重建，其基于获得的图像形成目标解剖结构的模型和解剖模型。为了代表该模型，分割过程可以勾画代表目标解剖结构的多组体素，并且然后应用(诸如marching cube功能)功能以生成包围体素的3d表面。可以通过生成网格、体积或体素图制作该模型。附加地或替代性地，该模型可包括中心线模型，该中心线模型包括延伸通过模型化的孔道的中心的一组相互连接的线段或点。当该模型包括中心线模型，该中心线模型包括一组相互连接的线段时，那些线段可以被转换成一团或一组点。通过转换线段，对应于
相互连接的线段的所需数量的点可被手动地或自动地选择。
65.在过程306处，在对患者进行图像引导外科手术以前和/或在对患者进行图像引导外科手术的过程期间，解剖模型、用来执行医疗手术的医疗仪器(例如，仪器系统200)和患者解剖结构被共同配准在公共参考框架中。公共参考系可以是，例如，手术环境参考框架或患者参考框架。过程306包括关于患者定位医疗仪器。过程306还包括关于患者配准解剖模型。一般来说，配准涉及通过使用刚体和/或非刚体变换对测量点到模型的点进行匹配。测量点可以使用解剖结构中的界标、在手术期间扫描和追踪的电磁线圈或形状传感器系统产生。测量点可以被生成以用于在迭代最近点(icp)技术中使用。在美国临时专利申请号62/205,440和美国临时专利申请号62/205,433中了描述icp和其他配准技术，该二者都是提交于在2015年8月14日，其全部通过引用并入本文。在过程308处，可以使用解剖模型数据来执行医疗手术以引导医疗仪器的移动。
66.使用先前的图像数据(例如，ct扫描(即计算机化的断层扫描))创建的解剖模型被用于图像引导外科手术，以提供适合于许多手术的精细解剖细节。然而，基于先前的图像数据的模型遭受配准错误，并且不说明解剖结构的实时配置，其包括：自获得先前图像数据以来可能已经发生的由于周期性或非周期性的解剖移动引起的任何变形、医疗仪器的存在和由于医疗仪器引起的组织变形、或患者解剖结构的其他变化。荧光透视是一种透视成像方式，其使用x射线获得患者解剖结构的实时移动图像。传统的辐射图是通过把患者的一部分放在x射线探测器前方，然后用短x射线脉冲照射它获得的x射线图像。以类似的方式，荧光透视使用x射线以获得患者的内部的实时移动图像，包括辐射透不过的医疗仪器、辐射透不过的染料、和/或在手术环境内的辐射透不过的基准标记。荧光透视系统可包括c臂系统，其通过手动或自动控制提供定位的灵活性并且能够轨道、水平和/或垂直移动。非c臂系统是静止的，并且提供在移动中的较差的灵活性。荧光透视系统通常使用图像增强器或平板检测器以生成患者解剖结构的二维实时图像。双平面荧光透视系统同时捕获两个荧光透视图像，每个从不同(通常是正交)的视点捕获。x射线图像的质量和实用性可能取决于成像组织的类型而变化。密度较高的材料(诸如骨头和金属)，通常比肺部充满气体的软组织在x射线图像中更可见。对于在肺部中的手术，ct模型提供了在荧光透视图像上可能难以辨认的气道和肿瘤的解剖细节，但荧光透视图像提供了医疗仪器和致密的解剖组织的实时可视化。因此，用解剖模型配准的荧光透视图像对于临床医师导航某些解剖结构部分(诸如肺部)可能是有用的。
67.图5说明了根据一些实施例的示例手术环境350，其具有手术坐标系统xs、ys、zs，其中患者p被定位在平台352上。在总的患者移动受到镇静、约束或其它方式的限制的意义上，患者p可以在手术环境中是静止的。除非患者暂时停止呼吸运动，否则包括患者p的呼吸和心脏运动的周期性解剖运动可以继续。在手术环境350内，医疗仪器354被联接到仪器托架356。仪器托架356被安装到在手术环境350内固定或可移动的插入台358。仪器托架356可以是远程操作的操作机组件(例如，操作机组件102)的组件，其联接到仪器354以控制插入运动(即，在xs方向上的运动)，并且可选地，仪器的远端在包括偏航、俯仰和滚动的多个方向中的运动。仪器托架356或插入台358可包括伺服电机(未示出)，该伺服电机控制沿着插入台的仪器托架的运动。医疗仪器354可以包括联接到近处刚性仪器主体362的柔性导管360。刚性仪器主体362相对于仪器托架356被联接和被固定。光纤形状传感器364沿着仪器
354延伸，并且可操作以测量从固定或已知点366到另一点(诸如导管360的部分368)的形状。在描画的实施例中，部分368作为远端部分被示出。在其它实施例中，部分368可以沿着导管360的长度被定位在其它地方，包括在导管的中部处。部分368被设定形状并被构造使得其可以用作导管360的指示器部分(例如，可以在成像数据中被识别的部分368)。医疗仪器354可基本上类似于医疗仪器系统200。荧光透视成像系统370(也称为荧光透视系统370)被布置在患者p附近，以在导管360被延伸到患者体内时获得患者的荧光透视图像。系统370可以是，例如，可运动的c臂荧光透视成像系统。在一些实施例中，系统370可以是来自华盛顿的西门子公司(siemens corporation)的多轴artis zeego荧光透视成像系统。
68.图6说明了用于在手术环境350中执行图像引导手术的方法450的流程图。包括方法450的这个描述的方法在图6中作为一组块、步骤、操作或过程被说明。并非所有所说明的列举的操作都可以在方法450的所有实施例中执行。另外，在这些方法中未明确地说明的一些附加操作可以包括在所列举的过程之前、之后、之间或者作为所列举的过程的一部分。这个描述的方法的一些实施例包括指令，其对应于存储在存储器中的方法的过程。这些指令可由类似于控制系统112的处理器的处理器执行。
69.因此，方法450的一些实施例可以开始于过程452，其中从诸如ct、mri、热像图、超声、oct、热成像、阻抗成像、激光成像或纳米管x射线成像等成像技术中获得先前图像数据，包括术前或术中图像数据。先前图像数据可以对应于二维、三维或四维(包括：例如基于时间的或基于速率的信息)图像。如上所述，根据先前图像数据在解剖模型参考框架中创建解剖模型。在过程454处，仪器传感器模型参考框架(x
i
，y
i
，z
i
)，可与包括在医疗仪器200中的形状传感器222相关，被配准到解剖模型参考框架(x
m
，y
m
，z
m
)。在模型参考框架和仪器参考框架之间的这种配准可以实现，例如，使用通过引用并入本文的美国临时专利申请号62/205,440和号62/205,433中描述的基于点的icp技术。替代性地，模型参考框架可以被配准到传感器参考框架或者模型参考框架和传感器参考框架可以被配准到另一公共参考框架。公共参考框架可以是，例如，手术环境参考框架(xs，ys，zs)或患者参考框架。
70.在过程456处并参照图9b，传感器数据(与从成像确定的形状信息对照)被用于计算位姿信息。例如，在各种实例中，在患者解剖结构内、附近、临近、或外部的位置l处的医疗仪器的一部分的感测的定位和方位被用于确定医疗仪器的位姿信息。可以从传感器数据获得、测量或计算感测的定位和方位。在这个实施例中，医疗仪器的部分368可以称为指示器部分，并且可以包含辐射透不过的远端部分。在其它实施例中，医疗仪器的其他辐射透不过部分(在荧光透视图像上是可见的)可以是指示器部分。指示器部分可以包括医疗仪器的任何长度，其在荧光透视图像上是可见的。传感器信息从光纤形状传感器接收，并且被用于计算传感器参考框架中的指示器部分368的感测的定位和方位。基于在过程454处的仪器传感器参考框架到解剖模型参考框架(或其他公共参考框架)的配准，在传感器框架中的指示器部分的定位和/或方位(即感测的位姿)被转换成在过程458处的解剖模型参考框架。
71.在过程460处，荧光透视系统370捕获患者p和扩展到患者体内的导管360的荧光透视图像数据。当指示器部分368被定位在解剖位置l处或接触解剖位置l时，获得根据荧光透视图像数据渲染的一个或更多个荧光透视图像。当指示器部分368在位置l处时，获得的图像可以来自单个视点或可以是多平面图像组(包括一组双平面图像)，其在相同时间和在相同位置从多个视点显示指示器部分368。在一些示例中，导管360可被定位在患者的外部，使
得指示器部分368在一个或更多个荧光透视图像内相邻解剖位置l是可见的。
72.在过程462处，在荧光透视图像数据中识别指示器部分368，并且因此，还识别荧光透视参考框架中的位置l的定位。在各种实施例中，荧光透视系统370能够生成多平面图像，因此提供三维荧光透视参考框架(x
f
，y
f
，z
f
)。使用多个图像还允许用于指示器部分368的方位的确定，因此针对指示器部分提供位姿信息。在其他实施例中，荧光透视系统可以提供二维荧光透视参考框架。
73.为了提取荧光透视图像中的指示器部分368的定位并因此提取荧光透视参考框架中指示的位置l，可以使用各种技术。在一个实施例中，参考图9a和图9b，可以通过比较其中不存在指示器部分368的图像600和其中存在指示器部分368的图像610来识别图像数据中的指示器部分368。例如，通过控制系统112的计算机来分析两个图像，以确定两个图像之间的图形差异。因为图像的患者解剖结构部分在两个图像中是相同的，所以包括指示器部分368的导管360可被识别为图像610特有的结构。通过识别与所识别的导管360相关联的图形组件(例如像素、体素)，可以计算在荧光透视框架中的指示器部分368的存在和位置。因为指示器部分368位于位置l处，所以位置l的定位也通过提取指示器部分的图形分析确定。
74.在另一个实施例中，参考图9b和图9c，通过比较其中指示器部分368位于位置k处的图像620和其中指示器部分368位于位置l处的图像610，可以识别图像数据中的指示器部分368。例如，通过控制系统112的计算机来分析两个图像，以确定在两个图像之间的图形差异。因为图像的患者解剖结构部分在两个图像中是相同的，所以包括指示器部分368的导管360可被识别为每个图像610、620中特有的结构。通过识别与所识别的导管360的远端相关联的图形组件，可以计算在每个图像的荧光透视框架中的指示器部分368的存在和位置。因为指示器部分368位于位置l和k处，所以位置l和k的定位也通过提取指示器部分的图形分析来确定。
75.在另一个实施例中，参考图13a，可以通过半自动提取技术在图像数据中识别指示器部分368，在半自动提取技术中，包括仪器1002的荧光透视图像1000被显示给用户。用户使用输入设备，诸如触摸屏、鼠标、追踪球或眼睛凝视以创建仪器1002或仪器的一部分(诸如远处尖端)的轮廓1004。基于从用户接收的轮廓1004输入，分割算法识别图像1000中的仪器1002的特征(例如，像素阴影、尺寸)，并且继续以划分与仪器相对应的图像的片段(例如，像素或体素)。
76.在另一个实施例中，参照图13b，可以通过半自动提取技术在图像数据中识别指示器部分368，在半自动提取技术中，包括仪器1022的荧光透视图像1010被显示给用户。搜索区域1014由用户识别，或者可以预先定义(例如图像的左下象限)，以便将医疗仪器的入口点1016搜索到图像中。分割算法可以搜索与医疗仪器的预期形状相关联的预定形状(例如，预期的阴影的连续性或饱和度、预期宽度、预期长度、预期曲率)。在分割算法识别图像1010中的医疗仪器之后，该算法继续以划分与仪器相对应的图像的片段(例如，像素或体素)。
77.在另一个实施例中，期望的形状通过从形状传感器接收到的形状信息定义，并且所期望的形状被用于识别初始搜索区域用于供半自动提取技术使用。分割算法可以进一步在初始搜索区域中搜索期望的形状，以减少时间和计算资源。在分割算法识别期望的形状之后，该算法继续以划分与仪器相对应的图像的片段(例如，像素或体素)。
78.在另一个实施例中，可以针对预定的(即期望的或之前已知的)辐射透不过形状
(诸如通过形状传感器或通过在导管的末端处的预定的(即期望的或之前已知的)形状或标记器测量的形状)，通过图形地分析和识别捕获的荧光透视图像，识别指示器部分368。例如，可以从图像中发现并提取从导管或导管末端处的固定装置上延伸的针状物的已知形状。在荧光透视图像中的这些指示器部分的图形识别提供了在荧光透视框架中的接触的位置l的定位。
79.再次参照图6，在过程464处，荧光透视图像参考框架被配准到解剖模型参考框架。替代性地，荧光透视图像参考框架和解剖模型参考框架二者被配准到公共参考框架，诸如手术参考框架。因为过程462提供在荧光透视图像参考框架中的在位置l处的指示器部分368的定位和方位，并且过程458提供在模型参考框架中的在位置l处的指示器部分368的定位和方位，所以指示器部分368的相应框架定位被关联以一起配准框架。可以针对患者解剖结构中的多个位置处的指示器部分的多个定位重复过程456、458、460、462。通过关联相应的框架中的这些多个位置并且通过执行对应于多个位置的点的刚体或非刚体变换，可以执行或增强在过程464处的配准。
80.在过程466处并且参照图10和图11，配准的参考框架被显示为导管穿过患者的解剖结构，允许临床医师查看(一个或更多个)显示图像以利用在具有先前时间图像(例如，ct图像)的解剖细节的荧光透视图像中实时仪器追踪的益处。图10说明了显示器700，其显示具有荧光透视参考框架(x
f
，y
f
，z
f
)的荧光透视图像710和具有模型参考框架(x
m
，y
m
，z
m
)的先前时间模型图像720(诸如，通过非限制性示例的方法，通过ct技术捕获的ct图像或通过任何其他适当的成像技术捕获的图像)。荧光透视参考框架和模型参考框架已被配准并且配准的图像被并排显示。利用配准的参考框架，来自一个图像的结构可以可选地叠加或覆盖在另一个图像上，以协助临床医师执行医疗手术。例如，在荧光透视图像710中可见的导管360可以被提取和被覆盖在图像720上。附加地或替代性地，在图720中可见的目标组织730(例如，肿瘤)可以被提取和被覆盖在荧光透视图像720上。
81.图11说明了显示器800，其显示单个图像810，其中先前图像数据820已被覆盖在荧光透视图像数据830上。在一些实施例中(未示出)，到目标组织的路径可以被规划在先前时间模型图像数据内，并被显示在先前时间模型图像(例如，ct图像)内。路径然后可以被提取并且被覆盖在荧光透视图像数据上。
82.可选地，在荧光透视图像数据被配准到解剖模型之后，可以根据二维或三维图像查看并且分析关键特征，其中从荧光透视图像数据、解剖模型或两者的组合生成二维或三维图像。例如，在荧光透视图像数据中的阴影可以指示肿瘤或可以指示在用于生成解剖模型的分割的ct数据中在哪里寻找肿瘤。
83.可选地，在荧光透视图像数据被配准到解剖模型之后，虚拟荧光透视视图可以被生成。因为配准指示相对于模型的荧光透视图像平面，患者解剖结构的虚拟视图从视图的另一个平面可以被生成。例如，根据解剖模型可以生成正交于实际的荧光透视图像的平面的虚拟视图以向临床医师提供近似双平面荧光透视图像的体验。
84.另外或可选地，利用配准到解剖模型的荧光透视视图，在荧光透视图像中可识别解剖特征(诸如目标组织、肿瘤或其他界标)，并且可使用它们定位在解剖模型中的对应的特征。例如，肿瘤在荧光透视视图中可以是可见的，以帮助识别在解剖模型中的对应的肿瘤。一旦在解剖模型中识别，肿瘤可以被标记为目标，并且可以在解剖模型中规划到该目标
的导航路径。
85.图7说明用于在手术环境350中执行图像引导手术的另一个方法500的流程图。包括方法500的这个描述的方法作为一组块、步骤、操作或过程在图7中被说明。并非所有的所说明的列举的操作都可以在方法500的所有实施例中执行。另外，在方法中未明确说明的一些附加操作可以包括在列举的过程之前、之后、之间或作为列举的过程的一部分。这个描述的方法的一些实施例包括指令，其对应于存储在存储器中的方法的过程。这些指令可以通过类似于控制系统112的处理器的处理器执行。
86.方法500包括先前所描述的获得患者解剖结构的先前时间成像数据(诸如术前ct扫描)的过程452，和将仪器传感器参考框架配准到解剖模型参考框架的过程454。一系列的过程502描述用于收集和匹配解剖界标点和配准荧光透视参考框架和模型参考框架的子过程。在过程508处，当指示器部分368接触从图像数据生成的荧光透视图像中可见的解剖界标或相邻该解剖界标定位时，荧光透视系统370捕获患者p和导管360的荧光透视图像数据。解剖界标可以是在荧光透视中可见的任何独特的结构，诸如，脊柱、肋骨、胸骨、锁骨、隔膜、血管或支气管树的可见部分。在过程510处，指示器部分368在荧光透视图像数据中被识别，并且因此指示的解剖界标在荧光透视参考框架中的定位也被识别。在各种实施例中，荧光透视系统370能够产生多平面图像，从而提供了三维荧光透视参考框架(x
f
，y
f
，z
f
)。在其它实施例中，荧光透视系统可以提供二维荧光透视参考框架。用于从荧光透视图像数据提取指示器部分的方法在上面描述。在过程512处，相同的解剖界标在解剖模型中被选择，并且与荧光透视图像数据中的解剖界标相关。例如，当导管的指示器部分接触解剖界标(如在实时荧光透视图像中通过临床医师看到的)时，用户可以在解剖界标的位置处触摸(显示解剖模型的)触摸屏。也可以使用用于定位模型中的解剖界标的其他标记方法。因此，在荧光透视参考框架中的解剖界标的坐标和在模型参考框架中的剖剖界标的坐标可以变得相关。在图12处，相关表900可以被编译，其参考每个界标910到荧光透视参考框架中的定位920和到模型参考框架中的定位930。可以针对多个解剖界标中的每一个重复过程502。例如，可以选择三个或更多个的解剖界标。
87.在过程514处，荧光透视图像参考框架被配准到解剖模型参考框架。解剖界标点配准在通过参考并入的美国临时专利申请号62/205，440和号62/205，433中描述。例如，一组荧光透视图像解剖参考点与在模型中的解剖界标点匹配。一个或两个组的匹配点然后被旋转、平移或以其他方式通过刚体或非刚体变换被操纵以配准荧光透视参考框架和模型参考框架。在过程516处并且参照图10和图11，配准的参考框架被显示为导管通过患者解剖结构，允许临床医师查看(一个或更多个)显示图像以利用在具有先前时间图像(例如ct图像)的解剖细节的荧光透视图像中实时追踪仪器的益处。
88.图8说明了可用于在方法500中替换过程502的子过程550的流程图。在过程552处，当指示器部分368通过患者解剖孔道时，荧光透视系统370捕获患者p和导管360的荧光透视图像数据。在过程554处，在荧光透视图像数据中识别指示器部分368的多个位置点，并且因此也识别荧光透视参考框架中的位置点的定位。在该实施例中，荧光透视系统370能够从其中生成多平面图像，从而提供三维荧光透视参考框架(x
f
，y
f
，z
f
)。在其他实施例中，荧光透视系统可以提供二维荧光透视参考框架。上面描述了用于从荧光透视图像数据中提取指示器部分的方法。在过程556处，荧光透视图像参考框架被配准到解剖模型参考框架。点云配
准在通过参考并入的美国临时专利申请号62/205，440和号62/205，433中描述。例如，一组荧光透视图像解剖参考点被旋转、平移或以其他方式通过刚体或非刚体变换以匹配解剖模型中的模型点(例如，从孔道的先前或并发ct扫描中接收的模型点)。通过icp或其他点配准技术，荧光透视参考框架和模型参考框架被配准。
89.图14说明了用于在手术环境350中执行图像引导手术的方法1100的流程图。方法1100在过程1102处开始，其中包括术前或术中图像数据的先前图像数据从成像技术中获得，成像技术诸如ct、mri、热像图、超声、oct、热成像、阻抗成像、激光成像或纳米管x射线成像。先前图像数据可以对应于二维、三维或四维(包括例如，基于时间或基于速率的信息)图像。如上所述，从先前图像数据创建解剖模型。在过程1104处，当医疗仪器的指示器部分被定位在患者解剖结构内的位置l处时，从医疗仪器接收形状传感器信息。
90.在过程1106处，荧光透视系统370捕获患者p和在患者体内延伸的导管360的荧光透视图像数据。当指示器部分368被定位在解剖位置l处或接触解剖位置l时，获得根据荧光透视图像数据渲染的一个或更多个荧光透视图像。当指示器部分368在位置l处时，获得的图像可以是来自单个视点，或可以是一组多平面图像(包括一组双平面图像)，其在相同时间和在相同位置从多个视点显示指示器部分368。
91.在过程1108处，导管360的形状在荧光透视图像数据中被识别，并且在荧光透视参考框架中的位置l(在导管的远端处)的定位也被识别。在各种实施例中，荧光透视系统370能够产生多平面图像，因此提供了三维荧光透视参考框架(x
f
，y
f
，z
f
)。在其它实施例中，荧光透视系统可以提供二维荧光透视参考框架。上面描述了用于提取导管的形状和/或指示器部分的位姿的各种实施例。在过程1110处，来自过程1110的形状传感器信息与从荧光透视图像数据中确定的形状信息进行比较。如果形状传感器变得扭曲或急剧弯曲，则从光纤形状传感器确定的形状信息可能包含不准确。此外，误差随着光纤形状传感器的长度而积累，因此较长的仪器的形状和远处尖端定位可能更不准确。通过融合从多个源接收到的仪器形状信息，可以改进传感器信息的准确性。在过程1110处，基于荧光透视图像形状信息修改医疗仪器的形状传感器信息。例如，在形状传感器信息中的远处尖端的位置可以被调整到荧光透视图像形状信息中的远处尖端的定位。在另一个实例中，形状信息可以仅沿预期不准确的部分(例如，远处尖端部分)被平均或被修改。
92.在过程1112处，使用先前描述的任何配准方法将修改的仪器传感器信息配准到解剖模型。在过程1114处，利用其中修改的传感器信息提供更精确地仪器远处尖端的定位的医疗仪器执行图像引导医疗手术。基于定位的仪器远处尖端，从解剖模型可以产生从远处尖端的视角(定位和方位)的患者解剖结构的虚拟图像。此外，基于定位的仪器远处尖端，覆盖在来自解剖模型的图像上的医疗仪器的虚拟图像可以用于引导医疗仪器的运动。
93.图15说明了确定优选的荧光透视视图平面的方法1200。在过程1202处，从诸如ct、mri、热像图、超声、oct、热成像、阻抗成像、激光成像或纳米管x射线成像等成像技术中获得先前图像数据，其包括术前或术中图像数据。先前图像数据可以对应于二维、三维或四维(包括例如基于时间或基于速率的信息)图像。如上所述，从先前图像数据创建解剖模型。在过程1204处，医疗仪器200的仪器传感器222被配准到解剖模型，如上针对方法450在过程454处所述。在过程1206处，优选的荧光透视视图平面被确定以允许临床医师设想导管的远处尖端的移动、活检针或从导管的远处尖端出现的其他工具的移动和/或该工具要被接合
到的组织区域(例如，肿瘤)或该工具要避免的组织区域(例如，肺胸膜以避免穿孔)。更具体地，优选的荧光透视平面可以通过从形状传感器信息确定仪器的远处尖端部分的位姿而被选择。优选的荧光透视平面一般可平行于仪器的远处尖端部分的位姿(例如，图13b的视图平面)。附加地或替代性地，优选的荧光透视平面可以通过测量在仪器的远处尖端部分和感兴趣的组织区域之间的距离和确定提供最大距离的荧光透视视图平面而被确定。该荧光透视视图平面一般可平行于仪器的远处尖端部分和组织区域之间的轨迹，因此向临床医师提供关于活检针是否已截获目标组织区域或已避免会造成患者伤害的区域的最准确的信息。
94.图16说明了用于在二维荧光透视引导下驱动医疗仪器的方法1300。在过程1302处，从荧光透视系统370获得手术参考框架中的患者解剖结构的荧光透视图像数据。可以通过包括外部追踪系统的使用、成像基准物或如上针对方法450所述的形状感测数据的使用的各种方法来确定荧光透视系统的方位并因此确定成像平面的方位。在2015年9月10日提交的美国临时申请号62/216，494中找到了对荧光透视成像平面的确定的描述，该申请涵盖了systems and methods of pose estimation and calibration of perspective imaging system in image guided surgery(图像引导手术中的透视成像系统的位姿估计和校准的系统和方法)，其全部通过参考并入本文。在一些实例中，可以生成荧光透视系统的图形渲染，以便于在期望的荧光透视图像平面中获得荧光透视图像。特别地，这种渲染可以协助用户定位荧光透视系统(例如，荧光臂或x射线成像器)的元件，以在期望的或预定的荧光透视平面中适当地捕获荧光透视图像。在一些实例中，系统或用户可接收用于荧光透视系统的一组联合配置，以更好地实现用于在期望的或预定的荧光透视图像平面中获得荧光透视图像的系统配置。在过程1304处，根据荧光透视图像数据生成二维荧光透视图像以用于显示。显示的图像具有基于成像平面的方位平面的方位平面。在过程1306处，控制系统112接收命令以驱动导管系统202的移动。在过程1308处，导管系统202的运动或导管的一部分的运动被约束到显示的荧光透视图像的方位平面的平面。在一个实施例中，可以仅导管的指示器部分的运动被约束到荧光透视图像的方位平面。导管的指示器部分的运动可以通过在远程操作系统中的操作者控制的限制移动而被约束，使得操作者被阻止在会在约束平面的外部移动导管的一部分的方向上移动控制。附加地或替代性地，导管的指示器部分的运动可以通过限制远程操作操作机组件中的至少一个致动器或致动缆线的移动而被约束。尽管在上述开环约束系统中操作者控制或仪器的致动机机构的约束，但是由于来自邻近组织的解剖力，导管的指示器部分仍可能经历约束平面外部的移动。在闭环系统中，可以通过控制系统接收和分析从医疗仪器的形状、定位或其它传感器接收的传感器信息，以识别指示器部分在荧光透视图像的方位平面外部的移动。响应于识别的出平面移动，控制系统可提供信号或命令以将指示器部分调整回到方位平面。在一些实例中，用于调整指示器部分的信号和/或命令可以被拒绝或被忽略。在其它实例中，用于调整指示器部分的信号和/或命令可以自动地将指示器部分调整回到方位平面。在各种实施例中，可以从约束平面的正交或其它非平行平面获得一个或更多个附加荧光透视图像，从而允许临床医师观察指示器部分在约束平面的外部的任何移动。在各种实施例中，可通过包括手动开关、语音激活开关、脚激活开关或其它操作者控制机构的操作者控制开关的致动来启动指示器部分到显示的荧光透视图像的方位平面的约束运动。附加地或替代性地，响应于荧光透视图像的显示或操作者正在查看荧光透视图像的识别，可以由控制系统112启动到显示的荧光透视图像
的方位平面的指示器部分的约束运动。
95.虽然本公开描述了用于远程操作系统的各种系统和方法，它们也被构思用于非远程操作系统中的使用，在非远程操作系统中，操作机组件和仪器直接地被控制。虽然各种提供的示例描述在解剖结构内执行的手术应用，但是在替代的实施例中，本公开的设备和方法不需要在解剖结构内使用，而是也可以在患者解剖结构的外部使用。
96.本发明的实施例中的一个或更多个元件可以在软件中实施，以在计算机系统(诸如，控制系统112)的处理器上执行。当在软件中实施时，本发明的实施例的元素本质上是代码段以执行必要任务。程序或代码段可以存储在非临时处理器可读存储介质或设备中，其包括可以存储信息的任何介质，该介质包括光介质、半导体介质和磁性介质。处理器可读存储设备示例包括电子电路；半导体设备、半导体存储器设备、只读存储器(rom)、闪存、可擦除的可编程只读存储器(eprom)；软盘、cd
‑
rom、光盘、硬盘或其他存储设备，代码段可以通过诸如因特网、内联网等计算机网络下载。
97.注意，呈现的过程和显示可能不是与任何特定的计算机或其他设备内在地联系。对于各种的这些系统中所需的结构将在权利要求中作为元素出现。此外，本发明的实施例没有参考任何特定的编程语言描述。应理解的是，可以使用各种编程语言来实施如本文所述的本发明的教导。
98.虽然本发明的某些示例性实施例已被描述并在附图中被示出，但应理解的是，这些实施例仅仅是对宽的发明的说明而不是限制，而且本发明的实施例不限于被示出和被描述的具体结构和布置，因为本领域技术人员可以想到各种其他修改。