图像引导外科手术中的姿势估计以及透视成像系统的校准的系统和方法与流程

图像引导外科手术中的姿势估计以及透视成像系统的校准的系统和方法
1.本技术是于2017年2月10日提交的名称为“图像引导外科手术中的姿势估计以及透视成像系统的校准的系统和方法”的中国专利申请201780019575.x的分案申请。
2.相关申请
3.本专利申请要求2016年2月12日提交的标题为“图像引导外科手术中的姿势估计以及透视成像系统的校准的系统和方法(systems and methods of pose estimation and calibration of perspective imaging system in image guided surgery)”的美国临时专利申请no.62/294,845，以及2016年2月12日提交的标题为“图像引导外科手术中的姿势估计以及透视成像系统的校准的系统和方法(systems and methods of pose estimation and calibration of perspective imaging system in image guided surgery)”的美国临时专利申请no.62/294,857的申请日的优先权和权益，这两个专利申请的全部内容以引用方式并入本文。
技术领域
4.本公开涉及用于进行图像引导规程的系统和方法，并且更具体地涉及用于姿势估计、透视成像系统的校准以及实时断层合成的系统和方法，以提高在图像引导规程期间工具导航的准确性。


背景技术：

5.微创医疗技术旨在减少在医疗规程期间受损的组织量，从而减少患者的恢复时间、不适以及有害的副作用。此类微创技术可以通过在患者解剖结构中的天然孔口或通过一个或多个外科手术切口执行。通过这些天然孔口或切口，临床医生可插入微创医疗器械(包括外科手术、诊断、治疗或活检器械)以达到目标组织位置。为了辅助达到目标组织位置，该医疗器械的位置和运动可与患者解剖结构的术前或术中图像进行配准。在图像引导的器械配准到图像的情况下，该器械可导航解剖系统诸如肺、结肠、肠、肾、心脏、循环系统等中的天然的或手术产生的通路。一些图像引导器械可包括光纤形状传感器，其提供关于细长柔性器械的形状以及关于器械远侧端部的姿势的信息。在一些实施例中，在手术中使用透视成像系统以辅助在规程期间定位目标和/或器械。为了使成像数据辅助正确地定位医疗器械，必须将成像系统准确地配准到外科手术环境的坐标系统。需要用于最小化与姿势估计和将成像系统校准到外科手术环境相关联的误差的系统和技术，以更可靠地定位和导航外科手术环境内的医疗器械。


技术实现要素：

6.通过随附于说明书的权利要求概述了本发明的实施例。
7.在一个实施例中，由计算系统执行的方法包括从具有第一组参数的荧光镜成像仪接收外科手术坐标空间内的第一基准标识物的第一荧光镜图像数据。该方法还包括接收在
外科手术坐标空间内的第一基准标识物的配置。该方法还包括基于第一基准标识物的第一荧光图像数据和配置确定外科手术坐标空间中的荧光镜成像仪的第二组参数。在一个方面，确定第二组参数包括从第一基准标识物的第一荧光镜图像数据和配置开发外科手术坐标空间中的基准标识物的校准模型。
8.在另一个实施例中，计算机辅助医疗系统包括一个或多个处理器和以已知配置定位在外科坐标空间内的第一基准标识物。第一基准标识物包括形状传感器。一个或多个处理器执行包括从荧光镜成像仪接收以已知配置定位在外科手术坐标空间内的第一基准标识物的第一荧光镜图像数据以及从形状传感器接收形状信息的方法。该方法还包括从形状信息确定外科手术坐标空间内的第一基准标识物的已知配置，以及从第一荧光镜图像数据确定外科手术坐标空间中的基准标识物的校准模型。该方法还包括基于第一荧光镜图像数据确定荧光镜成像仪在外科手术坐标空间中的姿势。
9.在另一个实施例中，计算机辅助医疗系统包括具有外科手术坐标空间的全扫描范围的荧光镜成像仪，以及一个或多个处理器，其中一个或多个处理器被配置成执行方法。在一个方面，该方法包括从荧光镜成像仪接收患者解剖结构的第一荧光镜图像数据组，以及从在基本上小于全扫描范围的约束范围中操作的荧光镜成像仪接收患者解剖结构的至少一个附加的荧光镜图像数据组。该方法还包括从第一荧光镜图像数据组和至少一个附加的荧光镜图像数据组构建第一平面断层摄影图像。
10.在另一个实施例中，局部断层合成的方法包括接收患者解剖结构的第一荧光镜图像数据组，第一荧光镜图像数据组从荧光镜成像仪的全扫描范围获得。该方法还包括从在基本上小于全扫描范围的约束范围中操作的荧光镜成像仪接收患者解剖结构的至少一个附加的荧光镜图像数据组。该方法还包括从第一荧光镜图像数据组和至少一个附加的荧光镜图像数据组构建第一平面断层摄影图像。在一个方面，该方法还包括，基于第一平面断层摄影图像，在基本上小于全扫描范围的第二约束区域中操作荧光镜成像仪。在一个方面，该方法还包括从在荧光镜成像仪处于第二约束区域中时接收的荧光镜图像数据组构建第二平面断层摄影图像。
11.在另一个实施例中，局部断层合成的方法包括将荧光镜成像仪移动到约束范围中的第一位置，其中荧光镜成像仪具有全扫描范围，并且其中约束范围基本上小于全扫描范围。该方法还包括从第一位置获得患者解剖结构的第一荧光镜图像，将荧光镜成像仪移动到约束范围内的多个附加位置，从多个附加位置中的每个获得荧光镜图像，以及从第一荧光镜图像和从多个附加位置中的每个获得的荧光镜图像构建第一平面断层摄影图像。
12.应当理解，前面的一般性描述和以下的具体实施方式二者在性质上均为示例性和解释性的，并且旨在提供对本公开的理解而不限制本公开的范围。在这方面，从以下具体实施方式中，本公开的附加方面、特征和优点对于本领域技术人员而言将是显而易见的。
附图说明
13.当结合附图阅读时，从以下具体实施方式中可以最好地理解本公开的方面。需要强调的是，根据工业上的标准实践，各种特征未按比例绘制。实际上，为了清楚讨论，可任意增加或减少各种特征的尺寸。另外，本公开可在各种示例中重复参考数字和/或字母。该重复是为了简单和清楚的目的，并且其本身并不指示所讨论的各种实施例和/或配置之间的
关系。
14.图1是根据本公开的实施例的远程操作医疗系统。
15.图2a示出了利用本公开的方面的医疗器械系统。
16.图2b示出了根据本公开的实施例的具有扩展的医疗工具的图2a的医疗器械系统的远侧端部。
17.图3示出了位于人肺内的图2a的医疗器械系统的远侧端部。
18.图4是示出根据本公开的实施例的用于在图像引导外科手术规程中提供引导的方法的流程图。
19.图5是根据本公开的实施例的患者坐标空间的侧视图，该患者坐标空间包括安装在插入组件上的医疗器械和光学跟踪系统。
20.图6a是根据本发明的实施例的图5中所示的患者坐标空间的不同侧视图，该患者坐标空间包括相对于患者位于第一位置的荧光镜成像系统的c形臂和外部跟踪系统。
21.图6b是根据本公开的实施例的图6a中所示的患者坐标空间的侧视图，该患者坐标空间包括相对于患者位于第二位置的荧光镜成像系统的c形臂和外部跟踪系统。
22.图7a至图7c示出了根据本公开的各种实施例的各种示例性基准标识物。图7a示出了包括一组独特标识物元件的示例性基准标识物。图7b示出了包括网格图案的基准标识物。图7c示出了包括棋盘图案的基准标识物。
23.图8a至图8e示出了根据本公开的各种实施例的若干示例性可辨别的基准标识物。
24.图9a和图9b示出了根据本公开的实施例的具有以非均匀线性图案布置的标识物元件的基准标识物。
25.图10是示出交叉比率和投影不变性原理的图。
26.图11是示出图像引导外科手术规程中的投影不变性原理的图，其中透视成像仪从两个不同位置对静止的基准标识物进行成像。
27.图12是示出图像引导外科手术规程中的投影不变性原理的图，其中静止透视成像仪对放置在两个不同位置的基准标识物进行成像。
28.图13示出了根据本公开的实施例的图像引导医疗规程的一部分的流程图。
29.图14示出了从外科手术环境的平面观察的患者解剖结构和断层合成布置。
30.图15示出了从正交平面观察的图14的患者解剖结构和断层合成布置。
31.图16示出了根据本公开的实施例的图像引导医疗规程的流程图。
具体实施方式
32.在本发明的方面的以下具体实施方式中，阐述了许多具体细节以便提供对所公开实施例的透彻理解。然而，对于本领域技术人员而言显而易见的是，可在没有这些具体细节的情况下实践本公开的实施例。在其他情况下，没有详细描述公知的方法、规程、部件和电路，以免不必要地模糊本发明的实施例的方面。并且，为了避免不必要的描述性重复，可以使用或省略根据一个说明性实施例描述的一个或多个部件或动作，如适用于其他说明性实施例。
33.以下实施例将根据各种器械在三维空间中的状态来描述各种器械和器械的部分。如本文所使用的，术语“位置”是指物体或物体的一部分在三维空间中的位置(例如，沿笛卡
尔x、y、z坐标的三个平移自由度)。如本文所使用的，术语“取向”是指物体或物体的一部分的旋转放置(三个旋转自由度——例如，滚动、俯仰和偏转)。如本文所使用的，术语“姿势”是指物体或物体的一部分在至少一个平移自由度中的位置以及物体或物体的一部分在至少一个旋转自由度中的取向(最多共六个自由度)。如本文所使用的，术语“形状”是指沿物体测量的一组姿势、位置或取向。
34.参考附图的图1，用于在例如外科手术、诊断、治疗或活检规程中使用的远程操作医疗系统通常指示为远程操作医疗系统100。如图1所示，远程操作系统100通常包括远程操作操纵器组件102，以用于操作医疗器械系统104对患者p执行各种规程。远程操作操纵器组件102也称为“远程操作组件102”或“操纵器组件102”。医疗器械系统104也被称为“医疗器械104”。组件102安装到手术台o或附近。操作者输入系统106(也称为“主组件106”)允许临床医生或外科医生s观察介入部位并控制操纵器组件102。
35.操作者输入系统106可位于外科医生的控制台处，该控制台通常与手术台o位于同一房间中。然而，应该理解，外科医生s可以与患者p位于不同的房间或完全不同的建筑物中。操作者输入组件106通常包括一个或多个控制设备，以用于控制操纵器组件102。控制设备可包括任何数量的各种输入设备，诸如操纵杆、跟踪球、数据手套、触发枪、手动控制器、语音识别设备、身体运动或存在传感器等。在一些实施例中，控制设备将具有与相关联的医疗器械104相同的自由度，以向外科医生提供远程呈现，或提供控制设备与器械104成为一体的感知，使得外科医生具有直接控制器械104的强烈的感觉。在另一些实施例中，控制设备可具有比相关联的医疗器械104更多或更少的自由度，并且仍然为外科医生提供远程呈现。在一些实施例中，控制设备是手动输入设备，其以六个自由度移动，并且还可包括用于致动器械的可致动手柄(例如，用于闭合抓握钳口、向电极施加电势、递送药物治疗等)。
36.远程操作组件102支撑医疗器械系统104并且可包括一个或多个非伺服控制链路的运动结构(例如，可手动定位并锁定在适当位置的一个或多个链路，其通常称为装配结构)和远程操作操纵器。远程操作组件102包括多个致动器或马达，其响应于来自控制系统(例如，控制系统112)的命令而驱动医疗器械系统104上的输入。马达包括驱动系统，当耦接到医疗器械系统104时驱动系统可将医疗器械推进到天然的或手术产生的解剖结构孔口中。其他机动化的驱动系统可以以多个自由度移动医疗器械的远侧端部，所述自由度可包括三个线性运动度(例如，沿x、y、z笛卡尔轴线的线性运动)和三个旋转运动度(例如，围绕x、y、z笛卡尔轴线的旋转)。另外，马达能够用于致动器械的可铰接端部执行器，以用于在活检设备等的钳口中抓住组织。诸如旋转变压器、编码器、电位计和其他机构的马达位置传感器可向远程操作组件提供描述马达轴的旋转和取向的传感器数据。该位置传感器数据可用于确定由马达操纵的物体的运动。
37.远程操作医疗系统100还包括传感器系统108，传感器系统108具有一个或多个子系统，以用于接收关于远程操作组件的器械的信息。此类子系统可包括：位置/定位传感器系统(例如，电磁(em)传感器系统)；用于确定导管尖端和/或沿器械系统104的柔性主体的一个或多个节段的位置、取向、速度(speed)、速度(velocity)、姿势和/或形状的形状传感器系统；和/或用于从导管系统的远侧端部捕获图像的可视化系统。
38.可视化系统(例如，图2a的可视化系统231)可包括观察范围组件，该观察范围组件记录外科手术部位的并发或实时图像并将图像提供给临床医生或外科医生s。并发图像可
为例如由位于外科手术部位外部的透视成像系统捕获的二维或三维图像。在一些实施例中，透视成像系统包括产生二维图像的成像仪，诸如，作为非限制性示例，荧光镜或x射线成像仪或光学相机。另外地或另选地，并发图像可为例如由位于外科手术部位内的内窥镜捕获的二维或三维图像。在该实施例中，可视化系统包括可集成地或可移除地耦接到医疗器械104的内窥镜部件。然而，在替代实施例中，附接到单独的操纵器组件的单独内窥镜可与医疗器械一起使用以对外科手术部位成像。可视化系统可实现为硬件、固件、软件或它们的组合，其与一个或多个计算机处理器交互或以其他方式由一个或多个计算机处理器执行，该计算机处理器可包括控制系统112(下面描述)的处理器。控制系统112的处理器可执行指令，该指令包括对应于本文公开的过程的指令。
39.远程操作医疗系统100还包括显示系统110，以用于显示由传感器系统108的子系统生成的外科手术部位和(一个或多个)医疗器械系统104的图像或表示。显示系统110和操作者输入系统106可取向成使得操作者能够利用远程呈现的感知来控制医疗器械系统104和操作者输入系统106。
40.显示系统110还可显示由可视化系统捕获的外科手术部位和医疗器械的图像。显示系统110和控制设备可取向成使得范围组件中的成像设备和医疗器械的相对位置类似于外科医生的眼睛和手的相对位置，因此操作者能够操纵医疗器械104和手动控制，就好像在基本真实的存在中查看工作空间。通过真实的存在，意味着图像的呈现是模拟物理操纵器械104的操作者的视点的真实透视图像。
41.另选地或另外地，显示系统110可使用来自成像技术(诸如计算机断层摄影(ct)、磁共振成像(mri)、荧光镜检查、热红外成像、超声、光学相干断层摄影(oct)、热成像、阻抗成像、激光成像或纳米管x射线成像)来呈现在术前或术中记录的外科手术部位的图像。术前或术中图像数据可呈现为二维、三维或四维(包括例如基于时间或基于速度的信息)图像或作为来自从术前或术中图像数据组产生的模型的图像。
42.在一些实施例中，通常出于成像引导外科手术规程的目的，显示系统110可显示虚拟导航图像，其中医疗器械104的实际位置与术前或并发图像/模型配准(即，动态地参考)以从器械104的尖端的位置的视点向临床医生或外科医生s呈现内部外科手术部位的虚拟图像。器械104的尖端的图像或其他图形或字母数字指示符可叠加在虚拟图像上以辅助外科医生控制医疗器械。另选地，器械104在虚拟图像中可能不可见。
43.在另一些实施例中，显示系统110可显示虚拟导航图像，其中医疗器械的实际位置与术前或并发图像配准，以从外部视点向临床医生或外科医生s呈现外科手术部位内的医疗器械的虚拟图像。医疗器械的一部分的图像或其他图形或字母数字指示符可叠加在虚拟图像上以辅助外科医生控制器械104。
44.远程操作医疗系统100还包括控制系统112。控制系统112包括至少一个存储器和至少一个计算机处理器(未示出)，并且通常包括多个处理器以用于达成医疗器械系统104、操作者输入系统106、传感器系统108和显示系统110之间的控制。控制系统112还包括编程指令(例如，存储指令的计算机可读介质)以实现根据本文所公开的方面描述的方法中的一些或全部，包括用于向显示系统110提供病理信息的指令。虽然控制系统112在图1的简化示意图中被示为单个框，但是系统可包括两个或更多个数据处理电路，其中处理的一部分任选地在远程操作组件102上或附近执行，处理的另一部分在操作者输入系统106处执行，等
等。可采用各种各样的集中式或分布式数据处理架构中的任一种。类似地，编程指令可实现为多个单独的程序或子例程，或它们可集成到本文描述的远程操作系统的多个其他方面中。在一个实施例中，控制系统112支持无线通信协议，诸如蓝牙、irda、homerf、ieee 802.11、dect和无线遥测。
45.在一些实施例中，控制系统112可包括一个或多个伺服控制器，其接收来自医疗器械系统104的力和/或扭矩反馈。响应于反馈，伺服控制器将信号传输到操作者输入系统106。(一个或多个)伺服控制器还可发送指示远程操作组件102移动(一个或多个)医疗器械系统104的信号，该(一个或多个)医疗器械系统104经由身体中的开口延伸到患者体内的内部外科手术部位中。可使用任何合适的常规或专用伺服控制器。伺服控制器可与远程操作组件102分离或集成。在一些实施例中，伺服控制器和远程操作组件被设置为邻近患者身体定位的远程操作臂推车的一部分。
46.控制系统112还可包括虚拟可视化系统，以在用于图像引导的外科手术规程中时向(一个或多个)医疗器械系统104提供导航辅助。使用虚拟可视化系统的虚拟导航基于对获取的解剖通路的术前或术中数据组的参考。更具体地，虚拟可视化系统处理使用成像技术(诸如计算机断层摄影(ct)、磁共振成像(mri)、荧光镜检查、热红外成像、超声、光学相干断层摄影(oct)、热成像、阻抗成像、激光成像或纳米管x射线成像等)成像的外科手术部位的图像。仅软件或与手动输入结合的软件用于将记录的图像转换成部分或整个解剖器官或解剖区域的分段二维或三维合成表示/呈现(representation)。图像数据组与合成表示相关联。合成表示和图像数据组描述了通路的各种位置和形状及它们的连接性。用于产生合成表示的图像可以在临床规程期间在术前或术中被记录。在替代实施例中，虚拟可视化系统可使用标准表示(即，不是患者特定的)或标准表示和患者特定数据的混合。合成表示和由合成表示生成的任何虚拟图像可表示在一个或多个运动阶段期间(例如，在肺的吸气/呼气循环期间)可变形解剖区域的静态姿势。
47.在虚拟导航规程期间，传感器系统108可用于计算器械相对于患者解剖结构的近似位置。该位置能够用于产生患者解剖结构的宏观(外部)跟踪图像和患者解剖结构的虚拟内部图像。已知各种用于使用电磁(em)传感器、光纤传感器或其他传感器来配准和显示医疗器具以及术前记录的外科手术图像，诸如来自虚拟可视化系统的手术图像的系统。例如，美国专利申请no.13/107,562(2011年5月13日提交)(公开了“提供用于图像引导外科手术的解剖结构模型的动态配准的医疗系统(medical system providing dynamic registration of a model of an anatomic structure for image-guided surgery)”)，公开了一个此系统，该申请的全部内容以引用方式并入本文。
48.远程操作医疗系统100还可包括可选的操作和支持系统(未示出)，诸如照明系统、转向控制系统、冲洗系统和/或抽吸系统。在替代实施例中，远程操作系统可包括一个以上的远程操作组件和/或一个以上的操作者输入系统。除了其他因素之外，操纵器组件的确切数量还将取决于外科手术规程和手术室内的空间约束。操作者输入系统可并置，或它们可位于不同的位置。多个操作者输入系统允许一个以上操作者以各种组合控制一个或多个操纵器组件。
49.图2a示出了医疗器械系统200，其可在用远程操作医疗系统100执行的图像引导医疗规程中用作医疗器械系统104。另选地，医疗器械系统200可用于非远程操作的探索规程
或在涉及传统手动操作的医疗器械规程中，如内窥镜检查。另外地或另选地，医疗器械系统200可用于收集(即，测量)与患者解剖通路内的位置相对应的一组数据点。
50.器械系统200包括耦接到器械壳体204的导管系统202。导管系统202包括细长的柔性导管主体216，其具有近侧端部217和远侧端部218(也称为“尖端部分218”)。在一个实施例中，柔性主体216具有大约3mm的外直径。其他柔性主体外直径可更大或更小。导管系统202可任选地包括形状传感器系统222(也称为“形状传感器222”)，用于确定远侧端部218处的导管尖端和/或沿主体216的一个或多个节段224的位置、取向、速度(speed)、速度(velocity)、姿势和/或形状。在远侧端部218和近侧端部217之间的主体216的整个长度可有效地划分成节段224。如果器械系统200是远程操作医疗系统100的医疗器械系统104，则形状传感器222可为传感器系统108的部件。如果器械系统200是手动操作的或以其他方式用于非远程操作规程，则形状传感器222可耦接到跟踪系统230，该跟踪系统230询问形状传感器并处理所接收的形状数据。
51.形状传感器222可包括与柔性导管主体216对准的光纤(例如，设置在内部通道(未示出)内或安装在其外部)。在一个实施例中，光纤的直径大约为200μm。在另一些实施例中，尺寸可更大或更小。形状传感器系统222的光纤形成光纤弯曲传感器，以用于确定导管系统202的形状。在一个替代方案中，包括光纤布拉格光栅(fbg)的光纤用于提供结构在一个或多个维度上的应变测量值。在美国专利申请no.11/180,389(2005年7月13日提交)(公开了“光纤位置和形状感测设备及其相关方法(fiber optic position and shape sensing device and method relating thereto)”)；美国专利申请no.12/047,056(2004年7月16日提交)(公开了“光纤形状和相关位置感测(fiber-optic shape and relative position sensing)”)；以及美国专利no.6,389,187(1998年6月17日提交)(公开了“光纤弯曲传感器(optical fiber bend sensor)”)中描述了用于监测光纤在三维空间中的形状和相对位置的各种系统和方法，这些申请的全部内容以引用方式并入本文。替代实施例中的传感器可采用其他合适的应变感测技术，诸如瑞利散射、拉曼散射、布里渊散射和荧光散射。在另一些替代实施例中，可使用其他技术确定导管的形状。例如，导管远侧尖端姿势的历史能够用于在一定时间间隔内重建设备的形状。作为另一个示例，历史姿势、位置或取向数据可存储用于沿交替运动的循环(诸如呼吸)的器械系统的已知点。该存储的数据可用于开发关于导管的形状信息。另选地，沿导管定位的一系列位置传感器(诸如电磁(em)传感器)可以用于形状感测。另选地，可使用在规程期间来自器械系统上的位置传感器(诸如em传感器)的数据的历史来表示器械的形状，特别是如果解剖通路大体上是静态的话。另选地，具有由外部磁场控制的位置或取向的无线设备可用于形状感测。无线设备的位置的历史可用于确定导航通路的形状。
52.任选地，医疗器械系统可包括位置传感器系统220。位置传感器系统220可为em传感器系统的部件，其中传感器系统220包括可经受外部生成的电磁场的一个或多个导电线圈。在此实施例中，包括位置传感器系统220的em传感器系统的每个线圈然后产生感应电信号，该感应电信号具有取决于线圈相对于外部生成的电磁场的位置和取向的特性。在一个实施例中，em传感器系统可被配置和定位成测量六个自由度，例如，三个位置坐标x、y、z和三个取向角，指示基点的俯仰、偏转和滚动或五个自由度，例如，三个位置坐标x、y、z和两个取向角，指示基点的俯仰和偏转。在美国专利no.6,380,732(1999年8月11日提交)(公开了“在跟踪物体上具有被动转发器的六个自由度跟踪系统(six-degree of freedom tracking system having a passive transponder on the object being tracked)”)中公开了em传感器系统的进一步描述，该专利的全部内容以引用方式并入本文。在一些实施例中，形状传感器还可作为位置传感器起作用，因为传感器的形状连同关于形状传感器的基部的位置的信息(在患者的固定坐标系统中)允许计算各个点沿形状传感器的定位，包括远侧尖端。
53.跟踪系统230可包括位置传感器系统220和形状传感器系统222，以用于确定远侧端部218和沿器械系统200的一个或多个节段224的位置、取向、速度、姿势和/或形状。跟踪系统230可实现为硬件、固件、软件或它们的组合，其与一个或多个计算机处理器交互或以其他方式由一个或多个计算机处理器执行，计算机处理器可包括控制系统116的处理器。
54.柔性导管主体216包括通道221，通道221的尺寸和形状设计成接收医疗器械226。医疗器械可包括例如图像捕获探针、活检器械、激光消融纤维或其他外科手术、诊断或治疗工具。医疗工具可包括具有单个工作构件的端部执行器，诸如手术刀、钝刀片、光纤或电极。另一些端部执行器可包括例如镊子、抓紧器、剪刀或夹子施放器。电激活的端部执行器的示例包括电外科电极、换能器、传感器等。在各种实施例中，医疗器械226可为图像捕获探针，其包括远侧部分，该远侧部分在柔性导管主体216的远侧端部218处或附近具有立体或单视场相机，以用于捕获由可视化系统231处理以进行显示的图像(包括视频图像)。图像捕获探针可包括耦接到相机的电缆，以用于传输捕获的图像数据。另选地，图像捕获器械可为耦接到可视化系统的光纤束，诸如纤维镜。图像捕获器械可为单光谱或多光谱的，例如捕获可见光谱、红外光谱或紫外光谱中的一个或多个中的图像数据。
55.医疗器械226可容纳电缆、连杆或其他致动控制器(未示出)，它们在器械的近侧端部和远侧端部之间延伸，以可控制地弯曲器械的远侧端部。可转向的器械在美国专利no.7,316,681(2005年10月4日提交)(公开了“用于以增强的灵活性和灵敏度执行微创外科手术的铰接式外科手术器械(articulated surgical instrument for performing minimally invasive surgery with enhanced dexterity and sensitivity)”)和美国专利申请no.12/286,644(2008年9月30日提交)(公开了“用于外科手术器械的被动预载和绞盘驱动(passive preload and capstan drive for surgical instruments)”)中详细描述，这些申请的全部内容以引用方式并入本文。
56.柔性导管主体216还可容纳在壳体204和远侧端部218之间延伸的电缆、连杆或其他转向控制器(未示出)，以如图所示例如通过远侧端部的虚线描绘219可控制地弯曲远侧端部218。可转向导管在美国专利申请no.13/274,208(2011年10月14日提交)(公开了“具有可移除视觉探针的导管(catheter with removable vision probe)”)中详细描述，该申请的全部内容以引用方式并入本文。在器械系统200由远程操作组件致动的实施例中，壳体204可包括驱动输入，其可移除地耦接到远程操作组件的机动化驱动元件并从其接收动力。在器械系统200被手动操作的实施例中，壳体204可包括夹持特征、手动致动器或用于手动控制器械系统的运动的其他部件。导管系统可为可转向的或，另选地，系统可为不可转向的且没有用于操作者控制器械弯曲的集成机构。另外或另选地，在柔性主体216的壁中限定一个或多个管腔，医疗器械能够通过该管腔部署并在目标外科手术位置处使用。
57.在各种实施例中，医疗器械系统200可包括柔性支气管器械，诸如支气管镜或支气
管导管，用于在肺的检查、诊断、活检或治疗中使用。系统200还适用于经由天然的或外科手术产生的连接通路在各种解剖系统中的任一种中导航和治疗其他组织，该解剖系统包括结肠、肠、肾、脑、心脏、循环系统等。
58.来自跟踪系统230的信息可被发送到导航系统232，在导航系统232信息与来自可视化系统231和/或术前获得的模型的信息组合，以向外科医生或其他操作者提供关于显示系统110的实时位置信息，以用于在器械系统200的控制中使用。控制系统116可利用位置信息作为用于定位器械系统200的反馈。用于使用光纤传感器来配准和显示具有外科手术图像的外科手术器械的各种系统在2011年5月13日提交的公开了“提供图像引导外科手术的解剖结构模型的动态配准的医疗系统(medical system providing dynamic registration of a model of an anatomic structure for image-guided surgery)”的美国专利申请no.13/107,562中提供，其全部内容以引用方式并入本文。
59.光纤形状传感器作为定位传感器特别有用，因为它们提供关于器械的整个形状的数据，包括远侧尖端的姿势，而不对区域中的金属物体敏感或需要阻塞性成像设备。然而，当使用光纤形状传感器时，由于传感器的长度(例如，大约一米)，光纤近侧端部处的小的位置和取向误差可导致传感器远侧端部产生大的累积位置和取向误差。下面描述了减少这些误差的系统和方法，并且其可用于在规程期间产生更准确的光纤配准并因此产生医疗器械到外科手术坐标系以及到解剖结构模型的更准确的配准。
60.在图2a的实施例中，器械系统200在远程操作医疗系统100内被远程操作。在替代实施例中，远程操作组件102可由直接的操作者控制代替。在直接操作替代方案中，可包括各种手柄和操作者接口，以用于器械的手持操作。
61.在替代实施例中，远程操作系统可包括一个以上的从操纵器组件和/或一个以上的主组件。除了其他因素之外，操纵器组件的确切数量还将取决于医疗手术规程和手术室内的空间约束。主组件可并置，或它们可位于不同的位置。多个主组件允许一个以上操作者以各种组合控制一个或多个从操纵器组件。
62.如图2b中更详细地所示，用于诸如外科手术、活检、消融、照明、冲洗或抽吸的此类规程的(一个或多个)医疗工具228可以通过柔性主体216的通道221部署并且在解剖结构内的目标位置处使用。例如，如果工具228是活检器械，则它可用于从目标解剖位置移除样品组织或细胞取样。医疗工具228可与也在柔性主体216内的图像捕获探针一起使用。另选地，工具228自身可为图像捕获探针。工具228可从通道221的开口前进以执行规程，然后在规程完成时缩回到通道中。医疗工具228可从导管柔性主体的近侧端部217或从沿柔性主体的另一个任选器械端口(未示出)移除。
63.图3示出了定位在患者解剖结构的解剖通路内的导管系统202。在该实施例中，解剖通路是人肺201的气道。在替代实施例中，导管系统202可在解剖结构的其他通路中使用。
64.图4是示出用于在图像引导外科手术规程中使用的一般方法300的流程图。在过程302，从成像技术诸如成像技术诸如计算机断层摄影(ct)、磁共振成像(mri)、荧光镜检查、热红外成像、超声、光学相干断层摄影(oct)、热成像、阻抗成像、激光成像或纳米管x射线成像获得先前的图像数据，包括术前或术中图像数据。术前或术中图像数据可对应于二维、三维或四维(包括例如基于时间或基于速度的信息)图像。例如，图像数据可表示图3的人肺201。
65.在过程304，仅计算机软件或与手动输入组合的计算机软件用于将记录的图像转换成部分或整个解剖器官或解剖区域的分段的二维或三维合成表示或模型。合成表示和图像数据组描述通路的各种位置和形状及它们的连接性。更具体地，在分段过程期间，图像被分成共享某些特性或计算性质诸如颜色、密度、强度和纹理的节段或元素(例如，像素或体素)。该分段过程导致基于所获得的图像形成目标解剖结构的模型的二维或三维重建。为了表示模型，分段过程可描绘表示目标解剖结构的成组体素，然后应用诸如行进立方体函数的函数，以生成包围体素的3d表面。可以通过生成网眼、体积或体素图来制作模型。另外地或另选地，该模型可包括中心线模型，该中心线模型包括延伸穿过模型化通路的中心的一组互连的线段或点。在模型包括包括一组互连线段的中心线模型的情况下，那些线段可转换成一团或一组点。通过转换线段，能够手动或自动选择对应于互连线段的所需数量的点。
66.在过程306，解剖结构模型数据、用于执行医疗规程的医疗器械(例如，器械系统200)和患者解剖结构在对患者进行图像引导的外科手术规程之前和/或期间在公共参考系中共同配准。公共参考系可为例如外科手术环境参考系或患者参考系。过程306包括相对于患者定位医疗器械。过程306还包括相对于患者配准解剖结构模型。通常，配准涉及通过使用刚性和/或非刚性变换将测量点与模型的点匹配。可使用解剖结构中的标志、在规程期间扫描和跟踪的电磁线圈或形状传感器系统来生成测量点。可以生成测量点以用于迭代最近点(icp)技术。icp和其他配准技术在二者均于2015年8月14日提交的美国临时专利申请no.62/205,440和美国临时专利申请no.62/205,433中描述，这些申请的全部内容以引用方式并入本文。在过程308，可使用解剖结构模型数据来执行医疗规程以指导医疗器械的移动。
67.例如使用ct获取并且在图像引导外科手术规程中使用的先前的图像数据通常提供适合于许多规程的精细解剖细节。然而，先前的图像数据受到配准误差的影响并且没有示出解剖结构的实时配置，包括由于周期性或非周期性解剖学运动引起的任何变形、由于医疗器械而存在的组织变形或自获得先前的图像数据以来可能已经发生的对患者解剖结构的其他更改。
68.用于与图像引导外科手术一起使用的传统配准方法通常涉及使用基于电磁或阻抗感测的技术。在一些情况下，在外科手术环境中使用的金属物体或某些电子设备可产生损害感测数据质量的干扰。另外地或另选地，可使用透视成像系统诸如荧光镜成像系统和/或光学跟踪系统来执行配准。在本文描述的一些实施例中，荧光镜成像系统和/或光学跟踪系统可用于确定外科手术环境的坐标系内的医疗器械和患者解剖结构的位置和取向。尽管各种提供的示例描述了在解剖结构内执行的规程的使用，但是在替代实施例中，本公开的设备和方法不需要在解剖结构内使用，而是也可在患者解剖结构外部使用。
69.荧光镜检查是成像模态，其使用x射线获得成像视野内的患者解剖结构、医疗器械和任何不透射线的基准标识物的实时运动图像。在该讨论中，基准标识物也可称为基准元件或基准。常规的射线照片是通过将患者的一部分放置在x射线检测器前面然后用短x射线脉冲照射它而获得的x射线图像。以类似的方式，荧光镜检查使用x射线来获得患者体内的实时运动图像，包括外科手术环境内的不透射线的医疗器械、不透射线的染料和/或不透射线的基准标识物。荧光镜系统可包括c形臂系统，其提供位置灵活性并且能够经由手动或自动控制进行轨道、水平和/或竖直移动。非c形臂系统是静止的，并且在运动中提供较小的灵
活性。荧光镜系统通常使用图像增强器或平板检测器来生成患者解剖结构的二维实时图像。双平面荧光镜系统同时捕获两个荧光镜图像，每个图像来自不同的(通常是正交的)视点。x射线图像的质量和效用可以根据成像的组织类型而变化。在x射线图像中，密度较大的材料诸如骨骼和金属通常比充满空气的肺部的软组织更明显。对于肺部的规程，先前图像ct数据提供了在荧光镜图像上会难以辨别的气道和肿瘤的解剖细节，但是荧光镜图像提供了医疗器械和致密解剖组织的实时可视化。
70.光学跟踪系统使用位置传感器来检测附接到远程操作组件、医疗器械和/或患者的红外发射或反射标识物。位置传感器基于位置传感器从那些标识物接收的信息来计算远程操作组件、医疗器械和/或患者的位置和取向。更具体地，光学跟踪系统使用从图像传感器捕获的数据来对校准的相机之间的远程操作组件、医疗器械和/或患者之间的三维位置进行三角测量以提供重叠投影。
71.因此，可单独使用或与运动学数据和形状传感器数据组合使用配准的荧光镜、先前图像数据和/或光学跟踪数据，以通过提供更准确的医疗器械的姿势估计和定位来辅助临床医生导航解剖结构诸如肺部的某些部分。具体地，通过获得在外科手术坐标系内具有已知位置和/或形状特性的基准标识物的荧光镜数据，并且将荧光镜数据与基准标识物的位置或形状数据组合，远程操作系统可以更准确地将荧光镜成像系统配准到外科手术坐标系，从而提高外科手术规程期间器械导航的可靠性。
72.图5示出了根据一些实施例的示例性外科手术环境350，其具有外科手术坐标系xs、ys、zs，其中患者p定位在平台352上。患者p可以在手术环境中静止，该静止是在通过镇静、约束或其他方式限制患者的总体运动的意义上。除非患者暂时中止呼吸运动，否则可继续包括患者p的呼吸和心脏运动的循环解剖学运动。在外科手术环境350内，医疗器械354耦接到器械支架356。器械支架356安装到在外科手术环境350内固定或可移动的插入台358。器械支架356可为远程操作操纵器组件(例如，组件102)的部件，其耦接到器械354以控制插入运动(即，在xs方向上的运动)，并且任选地，控制器械的远侧端部在多个方向(包括偏转、俯仰和滚动)上的运动。器械支架356或插入台358可包括伺服马达(未示出)，其控制器械支架沿插入台的运动。
73.医疗器械354可包括耦接到近侧刚性器械主体362的柔性导管360。刚性器械主体362相对于器械支架356耦接并固定。光纤形状传感器364沿器械354延伸并且可操作以测量从固定或已知点366到另一点(诸如导管360的远侧端部部分368)的形状。医疗器械354可基本上类似于医疗器械系统200。
74.荧光镜成像系统370布置在患者p附近，以在导管360在患者体内延伸时获得患者的荧光镜图像。例如，如图6a和图6b所示，系统370可为移动式c形臂荧光镜成像系统。在一些实施例中，系统370可为来自华盛顿特区的西门子公司(siemens corporation)的多轴artis zeego荧光镜成像系统。
75.图6a和图6b示出了图5中所示的示例性外科手术环境350的另一视图。图6a示出了包括移动式c形臂380的荧光镜成像系统370，该移动式c形臂380位于相对于患者p和外部跟踪系统382的第一位置。在图示的实施例中，c形臂380包括x射线源384和x射线检测器386(也称为“x射线成像仪386”)。x射线检测器386生成表示接收的x射线的强度的图像。通常，x射线检测器386包括将x射线转换成可见光的图像增强器和将可见光转换成数字图像的电
荷耦接设备(ccd)摄像机。在操作中，患者p位于x射线源384和x射线检测器386之间。响应于操作者或远程操作系统的命令输入，从x射线源384发出的x射线穿过患者p并且进入x射线检测器386，产生患者的二维图像。
76.由x射线检测器386生成的原始图像易于遭受由许多因素引起的不期望的失真(例如，“桶形失真”和/或“s形失真”)，包括图像增强器和外部电磁场中的固有图像失真。内部校准(其为校正所接收的图像中的图像失真和学习成像仪的投影几何形状的过程)涉及将基准标识物400(也称为校准标识物)放置在x射线的路径中，其中基准标识物是对x射线不透明的物体。基准标识物400在x射线路径中的一个或多个平面中刚性地布置成预定图案，并且在记录的图像中可见。因为基准标识物400在外科手术环境中的真实相对位置是已知的(即，未失真位置)，所以控制系统112能够计算合成图像中的每个像素处的失真量(其中像素是图像中的单个点)。因此，控制系统112能够数字地补偿初始图像中的失真并生成无失真或至少失真改善的数字图像。改善基准标识物400的真实相对位置的准确度允许荧光镜成像系统370的增强的姿势估计，从而增加外科手术规程期间的器械姿势确定和导航的准确性。
77.尽管由荧光镜成像系统370拍摄的每个单独图像是二维图像，但是能够使用从不同视角拍摄的多个二维图像来推断外科手术视野内的解剖结构投影或医疗器械的三维位置。为了改变图像透视，c形臂380能够例如如图6b所示旋转。c形臂380能够枢转成从不同角度拍摄位于荧光镜成像系统370的视野内的患者p和基准标识物400的x射线图像。图6b示出了图6a中所示的外科手术环境350，其中荧光镜成像系统370的c形臂380位于相对于患者p和外部跟踪系统382的第二位置。能够从从不同投影角度或视点产生的二维投影图像生成三维断层摄影图像。通过从不同视角拍摄患者p和基准标识物400的多个二维图像，可确定视野内的各个点(例如，基准标识物400上的各个点)的三维位置。
78.如上所述，基准标识物400包括被放置在荧光镜成像系统370的视野中的不透射线的物体，其在外科手术环境中具有已知的配置。基准标识物400呈现在荧光镜图像中以用作参考点或测量点。在图示的实施例中，基准标识物400包括三维物体。在另一些实施例中，基准标识物可包括基本上一维或二维的物体。基准标识物400可放置在x射线成像路径中的固定的预定位置中，以获得图像变换(该图像变换从x射线检测器386生成的初始图像中去除失真)，或学习成像仪的投影几何形状(即，辨别图像中的像素如何投影到三维空间中或将基准标识物的二维图像映射到已知的三维模型)。基准标识物400可以是在图像中呈现为二维物体的三维形状，但是基准标识物400也可以使用本质上基本上是二维的薄膜来构建。许多可能的形状，诸如，作为非限制性示例，圆形、正方形、三角形、矩形、椭圆形、立方体、球体和圆柱形杆，可以用于设计基准标识物。球体在二维图像中呈现为圆形并且圆柱形杆呈现为线条。各种类型的基准标识物设计在2009年4月23日提交的标题为“用于定位图像中手术器械的基准标识物设计与检测(fiducial marker design and detection for locating surgical instrument in images)”的美国专利申请no.2010/0168562中描述，其全部内容以引用方式并入本文。
79.图7a至图9b示出了各种示例性基准标识物。在一些实施例中，如图7a所示，基准标识物400可包括一组独特的标识物元件401，使得每个标识物元件401a至401f可以与另一个元件且与背景特征区分开。在图示的实施例中，每个标识物元件401a至401f是不同的形状。
另外地或另选地，如图7b和图7c所示，基准标识物400可包括相似或不相似的标识物元件的唯一可识别图案。例如，在图7b中，基准标识物402包括由相同的基准元件404组成的网格图案，每个基准元件404是由深色边界包围的白色正方形。尽管每个基准元件不能与另一个基准元件区分开，但是基准标识物402的网格布局允许标识物在外科手术坐标系内被唯一地识别。相比之下，在图7c中，基准标识物410包括由两个不同的基准元件构成的棋盘网格图案：交替的深色方块412和明亮方块414。尽管每个基准元件不是唯一的，但是基准标识物410的棋盘布局允许标识物在外科手术坐标系内被唯一地识别和定位。在网格和棋盘图案中，每个正方形在外科手术环境中具有固定的长度和宽度。
80.在一些实施例中，基准标识物400可包括可辨别标识物，其包括文本和/或一个或多个符号。图8a至图8e示出了一些示例性可辨别的基准标识物，其中每个基准标识物422、426、432、438和444包括不同的基准元件的集合，并且每个基准元件包括不同的字母字符。例如，基准标识物422和444由拼写为“intuitive surgical”的不同字母或基准元件(例如，基准元件424由字母“e”组成)的集合形成。类似地，基准标识物426由基准元件428和430形成，基准标识物432由基准元件434和436形成，并且基准标识物438由基准元件440和442形成。基准标识物434、436和444各自由不同的设计图案组成，以允许更详细的定位。基准标识物422、426、432、438和444各自采用上面关于图7c中所示的基准标识物410描述的棋盘标识物设计的变型。尽管每个基准元件可不是唯一的，但是基准标识物422、426、432、438和444的整体形状和棋盘布局允许其唯一地识别并定位在外科手术坐标系内。
81.在一些实施例中，基准标识物400可包括以非均匀线性图案布置的一系列类似的基准元件。例如，在图9a和图9b中，基准标识物450和460分别包括一系列相同的基准标识物452和462，它们以非均匀间隔排列成直线。在这些实施例中，基准标识物452、462的非均匀间隔分别在对基准标识物452和462成像时形成唯一可识别的代码。在一些实施例中，此类代码类似于传统(一维)或矩阵(二维)条形码。
82.在图示的实施例中，基准标识物400被示出为位于患者p上。在另一些实施例中，基准标识物400可定位在患者p的上方、旁边或下方(例如，在平台352上)。在一个实施例中，例如，图7c中所示的棋盘基准标识物410可定位在患者p和平台352之间。在又一些实施例中，基准标识物400可在患者p的体内被找到或被定位在患者p的体内。例如，在一些实施例中，基准标识物400可包括导管360或形状传感器364自身。在此类实施例中，导管360和/或形状传感器364至少部分地是不透射线的。在一些实施例中，导管360和/或形状传感器364包括如上所述的一个或多个不透射线的基准元件。在另一些实施例中，导管360和/或形状传感器364至少沿它们的远侧部分是连续不透射线的(例如，可以由荧光镜成像系统370成像的远侧长度)。另外地或另选地，基准标识物400可包括患者p的解剖学标志(例如，一个或多个特定肋)。在另一些情况下，基准标志400可通过摄入或注入到患者p中的不透射线对比度来定义。荧光镜图像上的多个可识别位置以及包含形状传感器的柔性设备的已知长度也可以用作基准标识物点。另外，可以组合具有共同接地点的多个形状的设备的图像以产生覆盖三维中更多空间的更多基准标识物点，以减少模糊和/或改善校准和/或姿态估计的准确性。在不同的实施例中，整个设备可为不透射线的，而不是设备上的特定可识别位置。可以通过将设备形状的三维曲线到荧光镜图像中观察到的二维曲线的背投影误差最小化来执行姿势估计。以相同的方式，可以使用多个不同形状的多个图像来减少模糊和/或改善校准
和/或姿势估计的准确性。
83.如上所提及的，从不同视角获得具有已知三维特性的物体(例如，基准标识物400)的多个二维图像允许荧光镜成像系统370更准确地配准到外科手术坐标空间(即，通过更精确地估计c形臂380的姿势，并且从而更准确地确定所得到的二维图像的透视图)。可以通过使用交叉比作为投影不变性来完成不同成像视点中的基准标识物400的识别和荧光镜成像系统370的内部校准。参考图10，交叉比是与四个共线点的列表相关联的数字，特别是投影线上的点。给定在线上的a、b、c和d四个点，它们的交叉比定义为：
[0084][0085]
其中线的取向确定每个距离的符号，并且测量的距离是投影到欧几里德空间的。图10说明了该交叉比原理，证明了点a、b、c、d和a’、b’、c’、d’通过投影变换相关，使得它们的交叉比(a，b；c，d)和(a
′
，b
′
；c
′
，d
′
)相等。
[0086]
图11和图12示出了使用交叉比原理对荧光镜成像系统370进行内部校准的两种不同方法。在图11中，荧光镜成像系统370最初用第一位置p1处的x射线成像仪386投影二维荧光镜图像(平面投影)，获得a’和b’处的基准标识物a和b的位置。随后，荧光镜成像系统370用第二位置p2处的x射线成像仪386投影另一个二维荧光镜图像(平面投影)，获得a”和b”处的基准标识物a和b的位置。如果基准标识物400是平面校准图像，则图11所示的方法是特别有用的，其中成像仪386从不同角度检查基准标识物400。
[0087]
在图12中，荧光镜成像系统370的x射线成像仪386保持静止并且投影第一二维荧光镜图像(平面投影)，获得a’和b’处的基准标识物a和b的位置。随后，荧光镜成像系统370在基准标识物a和b处于第二位置p4处的情况下投射另一个二维荧光镜图像(平面投影)，获得a”和b”处的基准标识物a和b的位置。在两种情况下获得的四个点a’、b’、a”和b”可用于内部地校准荧光镜成像系统370。
[0088]
图13是示出用于在外科手术环境350中执行图像引导外科手术的方法490的流程图，其涉及大体上同时定位/跟踪外科手术环境中的医疗器械(例如，远程操作控制的器械系统200)和校准荧光镜成像系统370。本说明书的方法，包括方法490，在图13中示出为一组框、步骤、操作或过程。并非所有示出的、列举的操作都可在方法490的所有实施例中执行。另外，在方法中未明确示出的一些附加操作可包括在列举过程之前、之后、之间或作为其一部分。本说明书的方法的一些实施例包括对应于存储在存储器中的方法的过程的指令。这些指令可由类似控制系统112的处理器的处理器执行。
[0089]
如上所述，外科手术坐标空间内的荧光镜成像系统370的姿势(例如，c形臂380的位置)用于准确地确定二维荧光镜图像的透视。准确地解释二维荧光镜图像还可包括识别和校正图像失真。过程500描述了校准荧光镜成像系统370以校正失真同时通过对在外科手术环境中具有已知三维位置、形状和大小特性的基准标识物进行成像来确定荧光镜成像系统的姿势的示例性方法。可在重建器械姿势之前执行校准过程和校准模型的产生。标识物可由荧光镜成像系统370从多个不同的视角成像。在过程502，荧光镜成像系统370从多个视角或以多个姿势捕获基准标识物400的荧光镜图像数据，该基准标识物400在外科手术环境中具有已知的配置(例如，大小、形状、位置)(如上关于图11和图12所述)。如下面将进一步
in image-guided surgery)”的美国专利申请no.62/216,494中提供了对光学跟踪系统的进一步描述，这些申请的全部内容以引用方式并入本文。在一些实施例中，如图6a所示，当器械主体将柔性导管360移入或移出患者解剖结构时，光学跟踪传感器480跟踪附接到基准标识物400和/或医疗器械的一组光学基准标识物。在另一些实施例中，外部跟踪器系统382可用于估计荧光镜成像系统370的姿势，而与上面关于过程500描述的内部校准过程(依赖于基准标识物400获得的二维荧光镜图像)无关。
[0093]
在校准荧光镜成像系统并且将标识物定位在外科手术环境中之后，如上所述，可以将新的荧光镜图像配准到外科手术参考系。在过程514，在医疗规程期间，在荧光镜参考系中捕获包括基准标识物400和导管360的荧光镜图像。在过程516，根据荧光镜图像，外科手术参考系中的导管的一个或多个部分(例如，远侧尖端部分)的位置和取向由外科手术参考系到荧光镜参考系的配准确定。更具体地，当接收包括在同一参考系中的基准标识物和导管的远侧尖端的荧光镜图像时，校准模型(具有荧光镜系统的任选补充姿势跟踪)校正失真并且提供估计的荧光镜成像仪的姿势。根据校准模型，可确定外科手术参考系中导管的远侧尖端的姿势。
[0094]
如上面针对图4所述，用于在图像引导外科手术规程中使用的方法300包括相对于在外科手术环境中的患者定位医疗器械。因此，方法490的一些实施例可包括过程492，其中包括术前或术中图像数据的先前图像数据从成像技术诸如ct、mri、热红外成像、超声、oct、热成像、阻抗成像、激光成像或纳米管x射线成像获得。先前图像数据可对应于二维、三维或四维(包括例如基于时间或基于速度的信息)图像。如上所述，从先前图像数据产生解剖结构模型。在过程494，将外科手术参考系(xs，ys，zs)配准到器械传感器参考系(xi，yi，zi)。模型和器械参考系之间的这种配准可例如使用基于点的icp技术来实现，如在以引用方式并入的美国临时专利申请no.62/205,440和no.62/205,433中描述的。另外地或另选地，模型和传感器参考系可被配准到另一个公共参考系。该公共参考系可为例如外科手术环境参考系(xs，ys，zs)或患者参考系。例如，器械传感器的参考部分可在外科手术环境中被固定、已知或跟踪。
[0095]
在过程518，用户或远程操作系统可使用用于引导的三维模型和/或荧光镜图像数据，用医疗器械执行医疗规程，因为三维模型和荧光镜图像数据二者均被配准到外科手术参考系或另一个共同参考系。当医疗器械被插入或以其他方式在患者解剖结构内移动时，可在整个医疗规程中重复过程514至516，以提供关于器械相对于解剖结构和解剖结构模型的当前定位。
[0096]
任选地，来自形状传感器364的形状传感器数据可用于补充由过程500描述的荧光镜数据和内部校准过程。形状传感器数据描述在刚性器械主体上的已知参考点366和柔性导管360的远侧端部之间延伸的传感器的形状。在一些实施例中，如上所述，形状传感器364自身可用作基准标识物400，因为形状传感器数据提供传感器(以及其延伸的导管)的形状特性，包括远侧尖端的姿势，以及相对于外科手术参考系的已知参考系。获得关于诸如具有已知三维形状的形状传感器364的基准标识物400的二维成像数据允许控制系统112更准确地将基准标识物400定位在外科手术环境350内。当使用形状传感器作为基准标识物时，它可用作单个基准标识物，或可包括在存在于手术环境中的多个一维、二维和三维基准标识物中。在一些实施例中，医疗器械或导管360自身的形状至少部分是不透射线的并且充当基
准标识物400。更具体地，与外科手术环境中的参考点366的位置组合的形状信息(如通过运动学和/或通过光学跟踪传感器480跟踪)提供了柔性导管360的远侧尖端和沿外科手术环境中的导管的其他点的位置和取向。如果患者也被光学跟踪传感器480跟踪，则患者p的位置和取向在外科手术环境中也是已知的。因此，柔性导管360相对于外科手术环境参考系中的患者解剖结构的位置和取向是已知的。
[0097]
可编译来自外科手术环境中的多个视点的荧光镜图像数据(即，具有在多个位置之间移动的荧光镜成像仪)以生成二维或三维断层摄影图像。当使用包括数字检测器(例如，平板检测器)的荧光镜成像仪系统时，所生成和编译的荧光镜图像数据准许根据断层合成成像技术在平行平面中切割平面图像。传统的荧光镜成像仪运动已被限制为平面运动(例如，线或曲线)。例如，荧光镜成像仪可被约束为沿线性轨道线性移动，或可被约束为由c形臂限定的轨道运动。根据本公开的实施例，荧光镜成像仪在外科手术环境中的二维或三维运动产生荧光镜图像数据，与由被约束为平面运动的荧光镜成像仪生成的图像数据相比，该荧光镜图像数据提供关于患者解剖结构中的感兴趣区域的更多细节。利用根据前述方法中的任一个跟踪的荧光镜成像仪的姿势，荧光镜成像仪可在三维外科手术空间中四处移动以捕获以断层摄影组合的图像数据，以生成患者解剖结构中的感兴趣区域的最佳图像。
[0098]
由于外科手术环境内的约束(例如，空间、时间和成本)，使用来自基本上小于荧光镜成像仪的全范围的合成图像的断层摄影成像技术可用于准备断层摄影图像。例如，如果c形臂荧光镜成像仪的运动的全扫描范围对于自动扫描大约为200
°
，则由于远程操作系统的存在，外科手术环境中的空间限制可限制成像仪行进200
°
全扫描范围。然而，可通过在约束范围(其限定约束扫描区域)中手动摆动成像仪来构建有用的断层摄影图像，该约束范围基本上小于200
°
范围。在使用约束范围的一个实施例中，成像仪摆动或以其他方式移动到大约30
°
范围内的一个或多个位置，包括在c形臂的平面内轨迹中的位置，以及任选地，在c形臂轨迹的通常的平面之外的位置二者。
[0099]
图14示出了外科手术环境的平面x
sys
中的患者解剖结构和断层合成布置550。图15示出了在外科手术环境的正交平面y
szs
中的图14的患者解剖结构和断层合成布置550。x射线成像仪具有围绕患者的运动的全扫描范围r。如图14所示，患者p被成像，其中x射线源在约束范围内移动到位置c1、c2、c3、c4和c5，该位置基本上小于全扫描范围r。在该实施例中，约束范围(在x
sys
平面中)约为全扫描范围的30
°
或小于全扫描范围的20％。患者p在位置c1处成像到图像平面i1。x射线源在x
sys
平面(例如，第一运动平面)中旋转、摆动或以其他方式手动移动到位置c2，以将患者p成像到图像平面i2。x射线源进一步在x
sys
平面中旋转、摆动或以其他方式手动移动到位置c3，以将患者p成像到图像平面i3。图像i1、i2、i3可通过使用图像自身或在通过使用由x射线源的估计姿势和校准的内部参数唯一定义的平面投影变换(即，单应性)进行滤波之后被映射和累积到单个断层摄影平面t1。用于在平面t1处生成切片图像的图像重建算法模糊或以其他方式最小化在平面t1之外的特征。可基于感兴趣的解剖区域的位置或医疗器械的位置来选择断层摄影平面t1。还可或另选地映射图像i1、i2、i3的相同图像数据，以在多个断层摄影平面诸如平面t2或平面t3中生成切片图像。在该实施例中，可手动执行成像仪的运动，但是在其他实施例中，可对运动进行编程或以其他方式进行计算机控制。如图15中更清楚地示出的，x射线源也可从x
sys
平面移出到约束范围内的其
他运动平面中。随着x射线源移动到位置c4，患者被成像到图像平面i4。随着x射线源移动到位置c5，患者被成像到图像平面i5。可将图像i1、i2、i3、i4、i5的图像数据中的任一个或全部映射到单个断层摄影平面t4或单个断层摄影平面t5。平面t4、t5可相对于彼此和平面t1倾斜。在替代实施例中，可旋转位置c4和c5处的x射线成像仪以获得跨角度范围的多个图像以用于计算断层合成图像。可在离散位置处获得图像，但是任选地，来自连续荧光镜视频的帧可用于重建。
[0100]
图16示出了使用从外科手术环境中的荧光镜系统的多个三维视点获得的图像重建断层合成图像的图像引导医疗干预的方法580。如前所述，可使用荧光镜图像中的荧光镜标识物和/或外部跟踪器(诸如光学跟踪系统或用于荧光镜系统的关节的关节跟踪器(例如，编码器))来跟踪在外科手术环境中的荧光镜系统的姿势和位置。因此，可知道或指定在外科手术环境中的荧光镜成像仪的当前或期望姿势。包括方法580的本说明书的方法在图16中示出为一组框、步骤、操作或过程。并非所有示出的列举的操作都可在方法580的所有实施例中执行。另外，在方法中未明确示出的一些附加操作可包括在列举过程之前、之后、之间或作为其一部分。本说明书的方法的一些实施例包括对应于存储在存储器中的方法的过程的指令。这些指令可由类似控制系统112的处理器的处理器执行。
[0101]
在过程582，从位于外科手术坐标空间内的位置c1、c2、c3处的荧光镜成像仪(例如，成像系统370)接收患者解剖结构的荧光镜图像数据。在过程584，从荧光镜图像数据构建断层摄影图像t1。可以在对患者p的医疗规程期间实时地向临床医生显示图像。如果图像缺少感兴趣区域的足够细节，则附加的断层合成平面图像可为有用的。临床医生可例如通过使用操作者输入设备诸如触摸屏、鼠标或轨迹球选择图像的区域来识别感兴趣的区域(例如，肿瘤所在的区域)。另选地，可通过识别配准到外科手术环境的术前ct中的感兴趣区域来选择用于产生另外的平面断层合成图像的感兴趣区域。另选地，可通过确定配准的外科手术环境中的医疗器械的一部分(例如远侧尖端)的位置和从其延伸的器械(例如，活检针)的轨迹来选择用于产生另外的平面断层合成图像的感兴趣区域。
[0102]
在过程586，基于所识别的感兴趣区域，可生成用于将荧光镜成像仪移动到三维外科手术坐标空间中的另一姿势、姿势组或成像角度范围的指令。在运动之后或运动期间，可如前所述使用荧光镜图像中的荧光镜标识物和/或外部跟踪器(诸如光学跟踪系统或用于荧光镜系统的关节的关节跟踪器(例如，编码器))来跟踪荧光镜成像仪的姿势。荧光镜成像仪不限于在单个平面中的运动。相反，荧光镜成像仪的运动是不受约束的，允许成像仪保持姿势在提供最佳成像数据的配置。指令可为控制信号，其指示荧光镜成像仪的控制系统将荧光镜成像仪移动到外科手术坐标系中的指定姿势。另选地，可将指令显示给或以其他方式传达给操作者，以手动地将荧光镜成像仪移动到外科手术坐标系中的指定姿势。荧光镜成像仪可围绕外科手术坐标系自由移动，并且不被约束于单个平面中的线性或轨道运动。另选地，移动指令可包括用于重新定位成像系统370并从重新定位的位置获得在单个平面中的多个荧光镜图像的指令。例如，可基于指令将c形臂移动到新位置，并且可旋转c形臂以从旋转平面生成多个图像。
[0103]
在过程588，可从位于外科手术坐标空间内的指定姿势或姿势组的荧光镜成像仪接收患者解剖结构的附加荧光镜图像数据。例如，感兴趣区域可在平面t4中，因此成像仪可移动到位置c4以生成附加的荧光镜图像数据。在过程590，可从第二荧光镜图像数据构建第
二平面断层摄影图像。第二荧光镜图像数据可从单个图像或从多个图像生成。在各种实施例中，第二平面断层摄影图像可由与第一荧光镜图像数据组合的第二荧光镜图像数据构建。可通过重复和连续处理来实现期望结构的重建，其中添加和累积新图像。因此，可重复类似于586、588、590的过程步骤，直到得到的断层合成图像包括期望的结构，诸如肿瘤、导管或胸膜边界。可经由显示器或其他用户界面跟踪荧光镜成像仪的姿势历史并将其提供给用户，使得用户知道已经覆盖了外科手术环境中的哪些姿势和/或角度范围。
[0104]
尽管已经描述了本公开的系统和方法用于在肺的连接的支气管通路中使用，但是它们还适合于经由天然或外科手术创建的连接通路在各种解剖系统，包括结肠、肠、肾、脑、心脏、循环系统等中的任一个中导航和治疗其他组织。
[0105]
而且，尽管本公开描述了用于远程操作系统的各种系统和方法，但是它们也预期用于在其中直接控制操纵器组件和器械的非远程操作系统中使用。尽管各种提供的示例描述了在解剖结构内执行的规程的使用，但是在替代实施例中，本公开的设备和方法不需要在解剖结构内使用，而是也可在患者解剖结构之外使用。
[0106]
本发明的实施例中的一个或多个元件可以软件实现，以在计算机系统诸如控制系统112的处理器上执行。当以软件实现时，本发明的实施例的元件基本上是代码段，以执行必要的任务。程序或代码段可以存储在处理器可读存储介质或设备中，该处理器可读存储介质或设备可通过在传输介质或通信链路上的载波体现的计算机数据信号来下载。处理器可读存储设备可包括可以存储信息的任何介质，包括光学介质、半导体介质和磁介质。处理器可读存储设备示例包括电子电路；半导体设备、半导体存储设备、只读存储器(rom)、闪存、可擦除可编程只读存储器(eprom)；软盘、cd-rom、光盘、硬盘或其他存储设备。可经由计算机网络诸如互连网、内联网等下载代码段。
[0107]
注意，所呈现的过程和显示可不固有地与任何特定计算机或其他设备相关。各种这些系统所需的结构将作为权利要求中的元素出现。另外，不参考任何特定编程语言描述本发明的实施例。应当理解，可使用各种编程语言来实现如本文所述的本发明的教导。
[0108]
虽然已经在附图中描述和示出了本发明的某些示例性实施例，但是应该理解，此类实施例仅仅是对本发明的说明而非限制，并且本发明的实施例不限于所示和所述的具体结构和布置，因为本领域普通技术人员可想到各种其他修改。