集成有电磁导航的气管镜和锥束计算机断层摄影的可视化、导航和规划的制作方法

本公开涉及用于在医疗过程执行期间辅助医生的工具，更具体地，涉及用于在医疗过程期间提供基于图像的引导的系统、装置和方法。

背景技术：

肺部疾病会造成患者肺部的一个或多个部分失去其正常工作的能力，因此需要进行治疗。肺部的治疗过程可以是非常复杂的，并且如果执行过程的医生能够看见患者肺部中的气道和其他结构的形成方式和工具所处的位置，则将极大地有助于治疗过程。传统的术前成像对于前者而言在一定程度上是有帮助的，但是对于后者则无法提供引导。

用于显示图像和跟踪患者肺部中的工具的系统通常依赖于术前数据，该术前数据例如来自在治疗过程开始之前(提前若干天或若干周)执行的计算机断层摄影术(CT)扫描。然而，这样的系统没有考虑到在执行CT扫描之后可能会发生的变化，或者在治疗过程期间发生的移动。在下面描述用于对识别和可视化患者肺部及处于肺部中的结构和工具的过程进行改进的系统、装置和方法。

技术实现要素：

根据本公开提供了一种提供用于在患者胸部内导航的视觉引导的方法。根据本公开的实施例，所述方法包括：呈现管腔网络的三维(3D)模型；通过电磁(EM)场发生器在患者胸部周围产生电磁场；检测电磁传感器在电磁场内的位置；基于检测到的电磁传感器的位置，确定工具在患者胸部内的位置；在3D模型上显示工具的位置标记；接收患者胸部的锥束计算机断层摄影术(CBCT)图像数据；基于锥束 计算机断层摄影术图像数据，检测工具在患者胸部内的位置；以及基于检测到的位置，更新工具在3D模型上的位置标记。

在本公开的另一方面中，所述方法还包括：基于检测到的电磁传感器的位置，提供用于定位锥束计算机断层摄影术成像装置的引导。

在本公开的又一方面中，所述方法还包括：对患者胸部的在检测到的电磁传感器的位置周围的一部分成像，以产生锥束计算机断层摄影术图像数据。

在本公开的再一方面中，所呈现的3D模型包括目标位置标记和用于将工具导航到该目标位置的路径。

在本公开的又一方面中，通向目标位置的路径的第一部分位于管腔网络的内部，通向目标位置的路径的第二部分位于管腔网络的外部。

在本公开的又一方面中，在工具沿着通向目标位置的路径的第二部分导航的同时，接收锥束计算机断层摄影术数据。

在本公开的又一方面中，基于锥束计算机断层摄影术数据，更新通向目标位置的路径的第二部分。

在本公开的另一方面中，所述方法还包括：基于锥束计算机断层摄影术成像装置的位置，提醒电磁场可能扭曲。

在本公开的又一方面中，电磁场发生器基于锥束计算机断层摄影术成像装置的位置，补偿电磁场的扭曲。

在本公开的另一方面中，所述方法还包括：当患者胸部上的一个或多个电磁传感器指示患者在成像期间已经移动时，发出提醒。

在本公开的又一方面中，所述方法还包括：在对患者胸部的所述部分成像之前，禁用电磁场发生器；以及在对患者胸部的所述部分成像之后，启用电磁场发生器。

在本公开的又一方面中，在患者呼吸周期的第一阶段期间，生成锥束计算机断层摄影术图像数据，该方法还包括：在患者呼吸周期的第二阶段期间，对患者胸部的在检测到的电磁传感器的位置周围的所述部分成像，以生成附加锥束计算机断层摄影术图像数据。

在本公开的又一方面中，所述方法还包括：监控患者的呼吸周期， 以确定患者呼吸周期的当前阶段；以及显示与患者呼吸周期的当前阶段对应的锥束计算机断层摄影术图像数据或附加锥束计算机断层摄影术图像数据中的一个。

在本公开的又一方面中，基于位于患者胸部上的传感器来监控患者的呼吸周期。

在本公开的又一方面中，基于与患者相连的呼吸器来监控患者的呼吸周期。

在本公开的另一方面中，所述方法还包括：监控患者的呼吸周期，来确定患者呼吸周期的当前阶段；以及当患者呼吸周期的当前阶段不对应于锥束计算机断层摄影术图像数据或附加锥束计算机断层摄影术图像数据时，显示提醒。

在本公开的又一方面中，所述方法还包括：识别锥束计算机断层摄影术图像数据中的工具；基于在锥束计算机断层摄影术图像数据中的工具的位置和取向，定向锥束计算机断层摄影术图像数据；以及基于定向显示锥束计算机断层摄影术图像数据。

在本公开的再一方面中，工具是消融装置，该方法还包括：识别消融装置的辐射部分；基于消融装置的位置和取向以及消融设定，确定投影消融区域；以及在锥束计算机断层摄影术图像数据上显示投影消融区域的标记。

在本公开的另一方面中，所述方法还包括：基于消融装置的位置和取向、消融设定和经过时间，确定估计消融区域；以及在锥束计算机断层摄影术图像数据上显示估计消融区域的标记。

在本公开的又一方面中，所述方法还包括：接收患者的胸部的荧光图像数据；在荧光图像数据中识别患者胸部中的工具；基于工具的位置，将锥束计算机断层摄影术图像数据叠加在荧光图像数据上。

根据本公开的实施例，提供一种存储指令的非暂时性计算机可读存储介质，所述指令在被处理器执行时使得计算装置：接收患者胸部的第一图像数据；基于第一图像数据，识别患者胸部中的管腔网络；基于第一图像数据，生成管腔网络的三维(3D)模型；检测电磁(EM) 传感器在电磁场内的位置，所述电磁场由电磁场发生器在患者胸部周围生成；基于检测到的电磁传感器的位置，确定工具在患者胸部内的位置；使得显示装置在3D模型上显示工具的位置标记；接收患者胸部的第二图像数据；基于第二图像数据，检测工具在患者胸部内的位置；以及基于检测到的位置，更新工具在3D模型上的位置标记。

可以组合本公开的任何上述方面和实施例而不背离本公开的范围。

附图说明

下面参考附图描述了本公开的不同方面和特征，其中：

图1是根据本公开的实施例的用于规划和执行患者肺部区域治疗的气管内系统的示意图；

图2是关于患者示出的能够用于图1的系统中的成像装置的示意图；

图3A至3D示出了根据本公开的实施例的用于为患者胸部中的导航提供视觉引导的示例性方法的流程图；

图4示出了可以作为图3A至3D的方法的一部分的示例性用户界面；并且

图5是根据本公开的实施例的形成图1的系统的部分的示例性计算装置的框图。

具体实施方式

本公开涉及用于在患者的肺部中对工具进行导航且在患者的肺部中执行治疗时使用锥束计算机断层摄影术(CBCT)图像的装置、系统和方法。更具体地，本公开涉及将CBCT图像数据与肺部导航系统相集成以更新和/或改进在患者肺部内的治疗目标和工具的定位和可视化以及更新对治疗过程的基于图像的引导。CBCT图像数据可以与数字重构(例如患者肺部的三维(3D)模型或映射)以及来自其他成像手段的图像数据相结合地显示或者并列显示，所述其他成像手段包 括计算机断层摄影术(CT)图像、磁共振(MR)图像、正电子发射断层摄影术(PET)图像、荧光图像和其他X射线型图像、和/或超声图像。3D模型可以基于来自一种或多种前述成像手段的术前图像数据来构建。可选地或附加地，CBCT扫描在治疗过程开始时执行，该CBCT扫描也可以如下文进一步描述的那样用于校准，还可以用于构建和/或强化3D模型。

为了建立3D模型，可以基于患者肺部的图像数据执行术前区段和子区段描绘和外推以建立患者肺部(包括患者肺部的管腔、胸膜表面和肺裂)和/或可能存在于患者肺部中的肿瘤或其他病变结构的视觉表达。描绘可以利用在计算机上运行的一个或多个软件应用程序来执行。应用程序可以基于如上所述以射线摄影术的方式获得的图像数据生成患者肺部的3D模型以用于患者肺部的视觉表达。

其中，3D模型可以示出患者肺部的管腔、胸膜表面和肺裂、以及其他结构。图像数据可以进行进一步处理以识别患者肺部中的一个或多个治疗目标(例如肿瘤或其他病变结构)。例如，应用程序可以根据图像数据识别管腔(例如气道、血管和/或淋巴结构)的位置，并且基于管腔的位置确定肺裂的位置和肺裂的完整程度，以及确定胸膜表面和/或治疗目标的位置。3D模型和图像数据可以随后由医生和/或医师查看以规划医学治疗过程(例如手术或介入性过程)。可以进一步存储3D模型和/或治疗规划以用于随后在手术室等场所内的治疗过程期间查看。

如下文进一步描述的那样，治疗规划可以包括对于一个或多个治疗目标(例如在图像数据中识别出的肿瘤、损伤或其他病变结构)的识别位置，以及在患者的气管和每一个治疗目标之间的路径。路径可以包括位于患者肺部的管腔(例如气道)内部的部分、以及位于患者肺部的气道外部的部分。“出口点”可以标识在路径的位于患者气道内部的部分以及路径的位于患者气道外部的部分之间的转换点。

在治疗过程期间，可以如下文进一步描述的那样显示3D模型以帮助医生将一个或多个工具导航至治疗目标。3D模型可以包括在患者 肺部内的工具的跟踪位置的标记。在治疗过程期间的不同时间，可以收集附加图像数据(例如上述的CBCT数据)以示出在患者肺部中的工具和/或治疗目标的实时位置。例如，在工具经过“出口点”并且位于患者气道外部之后，或者在医生选择的任何其他时间，可以执行CBCT扫描并且处理所收集的数据以识别工具和/或治疗目标。工具的跟踪位置在3D模型上的标记可以随后基于从CBCT扫描中收集的图像数据进行更新，由此示出工具和/或治疗目标的确认位置。从CBCT扫描中收集的图像数据可以进一步显示出来，并由此为软件应用程序提供在患者呼吸周期的不同阶段期间跟踪工具的位置的能力。尽管3D模型可以基于在患者处于呼吸周期中的特定阶段(例如完全屏住呼吸)时所获取的图像数据来生成，但是患者不必在治疗过程的整个时段中都保持呼吸周期的该特定阶段。由此，在治疗过程期间、在患者呼吸周期的不同阶段期间、特别是在正常气量呼吸期间获取图像数据可以提供在患者肺部中的工具和治疗目标的位置以及治疗工具相对于治疗目标的位置的更加清楚和更加准确的可视化。因此，术中的CBCT扫描可以用于确认工具在治疗目标处的安置。

本文所述的方法、系统、装置和计算机可读介质在各种规划和/或导航的背景下能够有效用于对患者肺部和周围组织执行的治疗过程。例如，在医生对患者肺部的区域执行治疗的实施例中，所述方法和系统可以为医生提供患者肺部以及工具和治疗目标在患者肺部中的位置的各种视图。另外，正如要在下文进一步详述的那样，所述方法和系统可以在医生进行选择时，通过执行一次或多次术中CBCT扫描以收集关于工具和/或治疗目标在患者肺部中的位置的图像数据来为医生提供更新工具和/或治疗目标在3D模型上的指示位置的能力。下面详细介绍本公开的各个方面。

电磁导航(EMN)系统、例如目前由Medtronic PLC以商标名 销售的ELECTROMAGNETIC NAVIGATION 系统，可以用于规划和执行对患者肺部的区域的治疗。通常，在一个实施例中，EMN系统可以在规划治疗患者肺部的 区域时通过以下的方式使用：识别患者肺部中的一个或多个治疗目标的位置，选择一个或多个治疗目标作为目标位置，确定通向目标位置的路径，将定位组件导航至目标位置，以及经由定位组件将各种工具导航至目标位置。EMN系统可以构造成显示包括上述图像数据和3D模型在内的患者肺部的各种视图。

参照图1，根据本公开提供的EMN系统100适用于实施用以提供视觉引导以便在患者胸部内进行导航的方法。如图1所示，EMN系统100用于对承载于手术台40上的患者执行一种或多种过程。为此，EMN系统100通常包括气管镜50、监控设备30、电磁(EM)跟踪系统70、以及计算装置80。

气管镜50构造成用于通过患者的口部和/或鼻部插入到患者的气道中。气管镜50包括照明光源和视频成像系统(未明确示出)并且联接至监控设备30(例如视频显示器)以用于显示从气管镜50的视频成像系统接收到的视频图像。在一个实施例中，气管镜50可以结合导管引导组件90进行操作。导管引导组件90包括构造成用于通过气管镜50的作业通道插入患者气道中的可定位引导件(LG)92和延伸作业通道(EWC)96(不过导管引导组件90可以替代地不与气管镜50一起使用)。导管引导组件90包括连接至EWC 96的手柄91，并且手柄能够通过旋转和压缩来进行操纵以驾驭LG 92和EWC 96。EWC96的尺寸设置成安置到气管镜50的作业通道中。在导管引导组件90的操作中，包括EM传感器94的LG 92被插入EWC 96中并锁定就位，以使得EM传感器94延伸超出EWC 96的远侧末端93期望的距离。EM传感器94在由电磁场发生器76生成的电磁场内的位置(由此EWC 96的远侧末端93在由电磁场发生器76生成的电磁场内的位置)能够通过跟踪模块72和计算装置80导出。关于导管引导组件90的更多细节描述，可以参考2013年3月15日由Ladtkow等提交的、发明名称为“MICROWAVE ABLATION CATHETER AND METHOD OF UTILIZING THE SAME”且共同拥有的美国专利US9247992，在此通过引用将其全部内容并入本文。

LG 92和EWC 96能够经由锁定机构99而选择性地相对于彼此锁定。六自由度的EM跟踪系统70(例如类似于由Gilboa在1998年12月14日提交的、发明名称为“WIRELESS SIX-DEGREE-OF-FREEDOM LOCATOR”的美国专利US No.6188355以及公开的PCT申请WO No.00/10456和WO 01/67035所公开的EM跟踪系统)或者任意其他合适的定位测量系统被用于执行导航，不过也可以设想其他的构造，上述专利文献的全部内容均通过引用而并入本文。

EM跟踪系统70可以构造成用于与导管引导组件90一起使用以在EM传感器94与EWC 96相结合地运动通过患者的气道时跟踪EM传感器94的定位，如下所述。在一个实施例中，EM跟踪系统70包括跟踪模块72、多个基准传感器74和电磁场发生器76。如图1所示，电磁场发生器76定位在患者下方。电磁场发生器76和多个基准传感器74与跟踪模块72互连，跟踪模块72导出每一个基准传感器74在六个自由度中的位置。一个或多个基准传感器74附连至患者的胸部。将基准传感器74的六个自由度的坐标作为数据发送至计算装置80，所述计算装置80包括应用程序81，在其中使用来自基准传感器74的数据计算患者的基准坐标系。

尽管在上文中将EM传感器94描述为包含于LG 92中，但是可以设想将EM传感器94嵌入或并入治疗工具(例如活检工具62和/或消融工具64)中，其中治疗工具可以替代地用于导航且无需LG 92或使用LG 92所需的必要工具更换。EM传感器94也可以嵌入或并入EWC 96中，例如嵌入或并入在EWC 96的远侧部分处，由此使得无需单独的LG 92就能够跟踪EWC 96的远侧部分。

根据一个实施例，治疗工具62、64构造成能够在导航至目标位置并移除LG 92之后插入导管引导组件90中。活检工具62可以用于从目标位置收集一个或多个组织样本，并且在一个实施例中进一步构造成用于与跟踪系统70结合使用以便于将活检工具62导航至目标位置，并且在相对于目标位置操纵活检工具62以获得组织样本时跟踪活检 工具62的位置。消融工具64构造成与发生器66(例如射频发生器或微波发生器)一起操作，并且可以包括各种消融工具和/或导管中的任意一种，在美国专利US9259269、US9247993、US9044254和US9370398、以及公开号为US2014/0046211的美国专利申请(这些专利文献均由Ladtkow等在2013年3月15日申请且发明名称均为“MICROWAVE ABLATION CATHETER AND METHOD OF USING THE SAME”)中更加完整地描述了它们的示例，上述专利文献中的全部内容均通过引用而并入本文。尽管在图1中图示为活检工具和微波消融工具，但是本领域技术人员可以认识到，例如包括RF消融工具、短程治疗工具等的其它工具能够类似地布置和被跟踪而不背离本公开范围。另外，穿刺工具和/或穿孔工具可以使用和/或并入LG 92内以建立出口点，在出口点处，LG 92且由此EWC 96朝向目标位置被导航到患者气道的外部，正如下文进一步描述的那样。

能够对患者肺部的至少一部分执行CBCT扫描的射线摄影术成像装置20(例如C型臂成像装置)可以与EMN系统100结合使用。成像装置20还可以能够对患者的肺部执行荧光扫描。如图1所示，成像装置20连接至计算装置80，使得应用程序81可以接收并处理由成像装置20获得的图像数据。然而，成像装置20也可以具有位于治疗室内或单独的控制室内的单独的计算装置，以便首先接收由成像装置20获得的图像数据，然后将这些图像数据中继至计算装置80。例如，为了避免将医生暴露于因重复的射线摄影扫描而导致的不必要辐射，在成像装置20执行CBCT扫描和/或荧光扫描的时候，医生可以离开治疗室并在附近的房间(例如控制室)内等待。

计算装置80包括软件和/或硬件(例如应用程序81)以用于帮助进行EMN过程的各个阶段，阶段包括：生成3D模型，识别目标位置，规划通向目标位置的路径，利用患者的实际气道来校准3D模型，导航至目标位置，以及在目标位置处执行治疗。例如，计算装置80利用从CT扫描、CBCT扫描、磁共振成像(MRI)扫描、正电子发射断层摄影术(PET)扫描和/或任意其他合适的成像手段获取的数据来生 成并显示患者气道的3D模型，通过分析图像数据和/或3D模型来实现对3D模型上的目标位置的(自动、半自动或手动)识别，并允许确定和选择通过患者的气道到达目标位置的路径。尽管图像数据可能具有间隙、遗漏和/或包含在图像数据中的其他缺陷，但是3D模型是患者气道的平滑表达，其中图像数据中的任何这样的间隙、遗漏和/或缺陷均被填充或者校正。3D模型可以呈现在与计算装置80相关联的显示监控装置上，或者以任意其他合适的方式给出。本文所述的规划软件的示例能够在Baker等人于2013年3月15日申请的、公开号为US2014/0281961、US2014/0270441和US2014/0282216且发明名称为“PATHWAY PLANNING SYSTEM AND METHOD”的美国专利申请中找到，上述专利文献的内容都通过引用而并入本文。规划软件的更多示例能够在Brown等人于2015年6月29日申请的、公开号为US2016/0000302且发明名称为“SYSTEM AND METHOD FOR NAVIGATING WITHIN THE LUNG”的共同受让的美国专利申请中找到，其内容通过引用而并入本文。

使用计算装置80，图像数据和/或3D模型的各种视图可显示给医生并由医生操控以便于识别出目标位置。如上所述，目标位置可以是在患者肺部中的要执行治疗的部位。例如，治疗目标可以位于毗邻气道的肺部组织中。其中，3D模型可以包括与患者肺部的实际气道相对应的模型气道树，并且示出了患者的实际气道树中的各种通道、支路和分叉。另外，3D模型可以包括患者肺部中的损伤、标志物、血管和脉管结构、淋巴管和淋巴结构、器官、其他生理结构、和/或胸膜表面和肺裂的3D渲染。可以选择性地显示一些或全部的上述要素，以使得医生在查看3D模型时能够选择应显示哪些要素。

在识别出目标位置之后，应用程序81可以确定在患者的气管和目标位置之间的经由患者气道的路径。在目标位置位于不直接毗邻气道的肺部组织中的情况下，至少一部分路径将位于患者气道外部以将气道壁上的出口点连接至目标位置。在这样的情况下，LG 92和EWC 96将首先沿路径的第一部分通过患者的气道导航至气道壁上的出口点。 随后可以从EWC 96移除LG 92，并且将接入工具(例如穿刺工具或穿孔工具)插入EWC 96中以在气道壁中建立位于出口点处的开口。EWC 96可以随后通过气道壁行进到气道周围的软组织中。随后可以从EWC 96移除接入工具，并且将LG 92和/或工具62、64重新插入EWC 96中，以将EWC 96沿位于气道外部的路径的第二部分导航至目标位置。

在治疗过程期间，EM传感器94与跟踪系统70相结合使得能够在EM传感器94遵循规划阶段期间所规划的路径而行进通过患者的气道时跟踪EM传感器94(并由此跟踪EWC 96的远侧末端93或者工具62、64)。作为过程的初始步骤，利用患者的实际气道来校准3D模型，以使应用程序81能够在3D模型上显示EM传感器94的位置标记，该位置标记对应于EM传感器94在患者气道内的位置。

校准的一种可行方法包括：通过将LG 92在患者肺部的每一个肺叶中导航到该肺叶中的气道的至少第二分叉而执行对患者肺部的测绘。在该校准阶段期间跟踪LG 92的位置，并且基于可定位引导件在患者肺部的实际气道内的跟踪位置来迭代更新3D模型。在Barak等人于2010年5月14日申请的公开号为US2011/0085720且发明名称为“AUTOMATIC REGISTRATION TECHNIQUE”的共同拥有的美国专利申请以及Brown等人于2015年7月2日申请的公开号为US2016/0000356且发明名称为“REAL-TIME AUTOMATIC REGISTRATION FEEDBACK”的美国专利申请中描述了该校准过程，上述专利文献中的每一篇的内容都通过引用而并入本文。在校准过程专注于将患者的实际气道与3D模型中的气道对准的同时，校准也确保了肺部的脉管结构、胸膜表面和肺裂的位置得以精准地确定。

校准的另一种可行方法是在患者留在手术台40上且同时由医生执行上述规划阶段的情况下，使用来自在治疗过程开始时执行的CBCT扫描的图像数据来生成3D模型。因为利用安置在患者身上的基准传感器74来进行扫描，所以能够获知患者相对于基准传感器74的解剖结构。通过利用安置在患者身上的基准传感器74执行扫描，如 上所述通过使用肺部测绘技术来执行校准就变得不再必要。另外，在患者下方的电磁场发生器76中的特征结构和传感器也可以用作帮助确保将目标位置安置在电磁场中的另一种方式。医生随后无需执行上述对患者肺部的测绘即可启动治疗过程的导航阶段，原因在于患者仍然处于与在获取3D模型所基于的图像数据时患者所在的位置基本相同的位置。由此，应用程序81可以在LG 92沿着规划路径导航时根据电磁传感器94在电磁场中的位置推算充足的数据点，以便在进行导航阶段的同时将3D模型校准为患者的实际气道。

在治疗过程期间的不同时间，医生可以请求对患者执行附加CBCT扫描。附加CBCT扫描可以对准患者体内的医生想要获取附加图像数据的特定位置，例如患者肺部中在LG 92位置周围的区域。例如，附加图像数据可以用于确认患者肺部内的电磁传感器94的位置(其代表LG 92和/或工具62、64的位置)和/或目标位置。应用程序81可以接收通过附加CBCT扫描获取的图像数据并处理这些附加图像数据以识别患者肺部内的电磁传感器94的位置和/或目标位置。如果附加图像数据指示基于原始图像数据显示的位置不准确，则随后应用程序81可以基于附加图像数据更新电磁传感器94在3D模型上的位置标记。在一些实施例中，附加CBCT扫描例如可以基于患者的呼吸周期或呼吸循环执行，以便在患者的呼吸周期的不同阶段期间获取图像数据，正如以下进一步描述的那样。除了CBCT扫描以外，医生也可以在过程期间的不同时间请求执行荧光扫描。从荧光扫描获取的图像数据可以进一步用于帮助医生围绕目标位置导航和定位LG 92。

现转至图2，其中，患者被示出为平躺在手术台40上且成像装置20定位成用于执行对患者身体的一部分的扫描。正如以下进一步描述的那样，应用程序81可以在治疗过程期间请求附加扫描时提供关于成像装置20如何定位的引导。由此，可以在治疗过程期间移走成像装置20以允许医生更好地接近患者，并且可以将成像装置20移回就位以用于在应用程序81提供的引导下进行扫描。

参照图3A至3E，根据本公开的实施例示出了用于为在患者胸部 内导航提供视觉引导的示例性方法300的流程图。如下所述，方法300的各个子区段可以涉及不同的实施例。由此，本领域技术人员应当意识到，尽管给出并且描述了一定顺序的流程，但是方法300中的各个步骤可以省略或者按照与下文所述不同的顺序执行。

从图3A开始，方法300的起始部分301包括治疗过程中的上述规划阶段的步骤。由此，方法300可以在步骤S302开始，在步骤S302中，应用程序81接收患者胸部的图像数据。图像数据可以在患者身体或身体相关部分的术前扫描(例如CT扫描、MRI扫描、PET扫描、CBCT扫描等)期间获取。可选地，图像数据可以在治疗过程开始时执行的扫描(例如CBCT扫描)期间获取。

在接收到图像数据之后，应用程序81在步骤S304处理图像数据以识别图像数据中的管腔网络。管腔网络可以是患者肺部中的患者气道、血管、和/或淋巴管。应用程序81可以进一步处理图像数据以识别其他结构，例如患者肺部中的胸膜和肺裂、其他器官和关键结构、和/或在患者肺部内和/或在患者肺部周围的病变结构。应用程序81随后在步骤S306处基于经过处理的图像数据生成3D模型。基于图像数据和/或3D模型，由应用程序81自动地、或利用来自医生的输入半自动地、或者由医生手动地识别出至少一个治疗目标。在识别出治疗目标之后，将表示治疗目标的识别位置的目标位置标识在3D模型上，并且应用程序81确定在患者的气管和目标位置之间的经由患者气道的路径。

如上所述，路径可以包括各个部分，包括位于患者气道内部的在气管和邻近目标位置的气道壁中的出口点之间延伸的至少一个部分、以及位于患者气道外部的从出口点延伸至目标位置的至少一个部分。路径表示LG 92或包括传感器94的其他工具导航通过患者的气道并且如下文进一步描述的那样在到达出口点之后穿过患者气道周围的组织和空间所应当遵循的推荐路线。应用程序81在步骤S308显示所述路径和3D模型上的目标位置。

接下来开始治疗过程的导航阶段。作为初始任务，3D模型必须校 准为患者肺部的实际气道。如上所述，现有各种可以用于该目的的校准方法，包括如上所述的肺部测绘方法。可选地并且也是如上所述地，如果基于从治疗过程开始时执行的CBCT扫描中的图像数据来生成3D模型，并且患者在上述规划阶段期间保持在手术台40上的基本相同的位置，那么可以不必执行肺部测绘，原因在于应用程序81能够在导航阶段的初始部分期间收集到充足的关于LG 92在患者气道中的位置的数据点以便在进行导航的同时将3D模型校准为患者的气道。

为了启动该过程，在步骤S310，电磁场发生器76在患者的胸部周围产生电磁场。随后将包含于LG 92、工具62、64中和/或直接包含于EWC 96中的电磁传感器94插入到患者的气道中，并且在步骤S311由跟踪系统70检测电磁传感器94在电磁场中的位置。电磁传感器94的检测位置被中继至应用程序81，以便在步骤S312基于电磁传感器94的检测位置确定LG 92、工具62、64和/或EWC 96的位置。如本文所述，无论电磁传感器94包含于哪一个工具(例如LG 92、工具62、64和/或EWC 96)中，电磁传感器94的检测位置都可以反映该工具的位置，但是为了简洁和便于说明起见，在下文中描述将LG 92用于导航的示例。然而，本领域技术人员应当理解，包括电磁传感器94的任何其他上述工具和装置都可以用于替代LG 92。

接下来，在步骤S313，应用程序81显示LG 92在3D模型上的确定位置的标记。例如，如图4所示(如下所述)，3D模型的视图410至少包括气道树412、LG 92的确定位置的标记414、目标位置416、以及通向目标位置的路径418。步骤S311至S313可以在进行导航的同时迭代重复执行，以持续地检测电磁传感器94在电磁场中的位置，并且确定和显示LG 92在3D模型上的对应位置。

如上所述，医生可以在治疗过程期间的不同时间请求执行术中CBCT扫描以验证LG 92的确定位置。例如，医生可以在LG 92到达出口点(在此路径从患者气道内部移动到患者气道外部)时请求执行CBCT扫描。医生也可以在LG 92已经朝向患者气道外部的目标位置导航通过气道壁之后请求执行CBCT扫描。此外，医生可以在LG 92 导航到目标位置附近时请求执行CBCT扫描以确认LG 92的位置，例如确认将LG 92安置在治疗目标处。由此，应用程序81在步骤S314确定是否接收到用于CBCT扫描的请求(例如按钮的按下或者其他的用户输入)。如果并未接收到用于CBCT扫描的请求，则应用程序81在步骤S315继续跟踪电磁传感器94的位置，此后处理返回至步骤S311。然而，如果应用程序确定已经接收到用于CBCT扫描的请求，则处理前进至步骤S320。

现转至图3B，示出了方法300中的关于CBCT成像过程的部分。由此，在已经请求了CBCT扫描之后，应用程序81在步骤S320提供用于定位成像装置20的引导。该引导可以指示医生如何基于LG 92的确定位置来定位成像装置20以便对患者胸部的至少一部分执行CBCT扫描。由此，可以仅在LG 92的确定位置周围的区域执行集中的CBCT扫描，从而限制暴露于患者的辐射量。例如，应用程序81可以提供关于成像装置20的定位的视觉引导，例如图示和/或声音指令。随后或者与之并行地，在步骤S321，应用程序81至少部分地基于从跟踪系统70接收到的数据来确定成像装置20是否处于由电磁发生器76产生的电磁场内。

如果成像装置20位于电磁场内，在步骤S322中，应用程序81可以发出提醒，告知医生电磁场可能被扭曲，例如由于包括在成像装置20中的金属和/或其他电磁部件存在于电磁场中所致。所述提醒可以是视觉提醒和/或音频提醒，并且可以警告医生可能由于电磁场的扭曲而导致LG 92的显示位置不正确。应用程序81和/或跟踪系统70可以随后在步骤S323中补偿电磁场的扭曲，例如通过基于电磁场的扭曲来调节电磁场和/或在3D模型上显示的LG 92的位置。

此后，或如果应用程序81在步骤S321中确定成像装置20不在电磁场内，处理进行到步骤S324，在步骤S324中，应用程序81确定成像装置是否为成像做好了准备。在一些实施例中，应用程序81能够例如通过包括在成像装置20中的传感器主动跟踪成像装置20的位置。可替代地，应用程序81可以基于来自医生的输入来确定成像装置20 是否为成像做好了准备。如果应用程序81确定成像装置20还没有为成像做好准备，则处理返回至步骤S320。可替代地，如果应用程序81确定成像装置20为成像做好了准备，则处理进行至步骤S325，在步骤S325处，应用程序81确定患者的呼吸周期的当前阶段。可以基于从传感器接收的数据来确定患者的呼吸周期的当前阶段，所述传感器例如为位于患者胸部上的基准传感器74。与确定患者呼吸周期并且补偿在患者呼吸周期期间发生的移动有关的其他信息可以在由Koyrakh等人在2016年9月1日提交、名称为“RESPIRATION MOTION STABILIZATION FOR LUNG MAGNETIC NAVIGATION SYSTEM”的、共同拥有的待决美国专利申请No.15/254，141中找到，其全部内容通过引用并入本文。可替代地，或除此之外，可以基于从联接到患者的呼吸器接收到的数据来确定患者的呼吸周期的当前阶段。医生可以要求在患者的呼吸周期的特别的期望阶段期间实施CBCT扫描，所述期望的阶段例如为完全屏气，完全呼气等。因此，在步骤S326中，应用程序81确定患者的呼吸周期的当前阶段是否对应于医生所要求的患者的呼吸周期的期望阶段。如果应用程序81确定患者的呼吸周期的当前阶段不对应于期望阶段，则方法进行至步骤S327，在步骤S327中，应用程序81等待患者的呼吸周期进入期望阶段。此后，处理返回至步骤S325来再次确定患者的呼吸周期的当前阶段。如果应用程序81确定患者的呼吸周期的当前阶段对应于期望阶段，则处理进行至步骤S330。

在步骤S330中，应用程序81在成像过程期间使得跟踪系统70禁用电磁场发生器76以避免干扰成像装置20。此后，在步骤S331中，实施CBCT成像。可以通过医生与成像装置20的交互实施CBCT成像，从而手动地实施CBCT成像。可替代地，可以经由应用程序81直接或间接地控制成像装置20来自动或半自动地实施CBCT成像。在完成CBCT成像后(要么基于来自医生的输入、要么基于从成像装置20接收到的信号来进行检测)，处理进行至步骤S332，在步骤S332处应用程序81使得跟踪系统70重新启用电磁场发生器76。

此后，在步骤S333处，应用程序81确定患者在CBCT成像过程中是否移动。可以基于从例如基准传感器74的传感器接收到的数据来进行确定，所述数据指示相对于在CBCT成像之前的患者位置的患者的当前位置，和/或指示在CBCT成像过程期间患者的移动。如果应用程序81确定患者在CBCT成像过程期间移动，则在步骤S334中，应用程序81确定移动的量是否在预定的阈值之内。例如，仅仅是小的移动可能不足以影响在CBCT成像过程期间收集的CBCT图像数据，而更为显著的移动则会导致CBCT图像数据不可用。因此，如果应用程序81确定移动不在预定阈值之内，并且因此超出了预定阈值，则应用程序81可以将在CBCT成像之后从成像装置20接收到的CBCT图像数据标识为不可用，并且在步骤S335中重新开始CBCT成像过程，随后，处理返回至步骤S324。可替代地，如果应用程序81确定移动位于预定阈值中，则应用程序81可在步骤S336处提供提醒，指示患者移动了但是该移动在预定阈值中。此后，或如果在步骤S333处应用程序确定患者在CBCT成像过程期间未移动，处理进行至步骤S340。

现在返回至图3A，在步骤S340处，应用程序81基于CBCT图像数据验证LG 92的位置。例如，应用程序81可以处理在CBCT成像过程之后接收到的CBCT图像数据来识别患者胸部中的患者气道和LG 92的位置。如果应用程序81确定在CBCT图像数据中识别出的LG 92的位置与3D模型上指示的位置不对应，则在步骤S341中，应用程序81可以提醒在3D模型上的LG 92的指示位置可能不正确，并且更新在3D模型上的LG 92的指示位置。在一些实施例中，应用程序81可以在更新3D模型上的LG 92的指示位置之前，要求医生的批准。如果应用程序81更新3D模型上的LG 92的指示位置，则应用程序81还可以更新路径位于LG 92的更新位置和目标位置之间的部分。在一些实施例中，应用程序81可以在更新所述路径之前，要求医生的批准。此后，处理进行至步骤S350。

现在转到图3C，示出了方法300关于在CBCT成像过程期间获得的CBCT图像数据的显示的一部分。在步骤S350处，与在步骤S325 处实施的确定类似，应用程序81再次确定患者的呼吸周期的当前阶段。此后，在步骤S351处，应用程序81确定对应于患者的呼吸周期的当前阶段的CBCT图像数据是否可用。如果应用程序81确定对应于患者的呼吸周期的当前阶段的CBCT数据不可用，则应用程序81在步骤S353处提醒：对应于患者的呼吸周期的当前阶段的CBCT图像数据不可用。此后，在步骤S354处，应用程序81选择预定的CBCT图像数据。在一个实施例中，应用程序81可以选择与患者的呼吸周期朝向的阶段对应的CBCT图像数据。例如，如果患者的呼吸周期当前通过了完全吸气阶段并且部分地进入呼气阶段，则应用程序81可以选择与患者的呼吸周期朝向的呼气阶段的一部分对应的CBCT图像数据。在另一实施例中，应用程序81可以选择最近获取的CBCT图像数据。此后，处理进行至步骤S355。

如果应用程序81在步骤S351处确定对应于患者的呼吸周期的当前阶段的CBCT图像数据可用，则在步骤S352处，应用程序81选择该CBCT图像数据。在步骤S355处，与步骤S341中LG 92的识别类似，应用程序81在CBCT图像数据中识别LG 92。应用程序81还基于CBCT图像数据确定LG 92的位置和取向，并且在步骤S356处基于所确定的LG 92的位置和取向来定向CBCT图像数据。在步骤S357处，应用程序81随后显示CBCT图像数据(如下面将描述的图4的视图430中所示)。此后，在步骤S358处，应用程序81确定LG92是否被放置在目标位置。该确定可以基于对CBCT图像数据的处理、跟踪从跟踪系统70接收到的数据、和/或由医生提供的输入来进行。如果应用程序81确定LG 92还没有被放置在目标位置，或如果应用程序81不能确定LG 92已经被放置在了目标位置，或如果应用程序81确定(例如基于由医生提供的输入)需要有可选视图来确定LG 92是否已经被放置在目标位置，则处理进行至步骤S360。

现在转到图3D，示出了方法300关于荧光成像过程的一部分。在步骤S360处，应用程序81确定是否接收到了荧光图像数据。如果还没有接收到荧光图像数据，则处理返回至步骤S314，此后，可以重 复CBCT成像过程或可以继续导航。但是，如果接收到了荧光图像数据，则处理进行至步骤S361，在步骤S361处，应用程序81在荧光图像数据中识别LG 92。此后，在步骤S362处，应用程序81校准CBCT图像数据和荧光图像数据。

随后，在步骤S363处，应用程序81将CBCT图像数据与荧光图像数据结合显示。在下面描述的一个实施例中，如图4的视图420所示，应用程序81可以将CBCT图像数据作为叠加显示在荧光图像数据上。在该实施例中，CBCT数据在荧光图像数据上的叠加使得医生更好地观察LG 92在患者胸部内的实际位置。同样可以根据患者的呼吸周期来显示CBCT图像数据。例如，CBCT图像数据可以作为叠加显示在荧光图像数据上，并且随着患者呼吸而增强和减弱，因此当患者的呼吸周期与呼吸周期的阶段(在此期间采集CBCT图像数据)一致时，CBCT图像数据变得更清晰，当患者的呼吸周期移动到下一阶段时，CBCT图像数据变得不太清晰。

此后，在步骤S364处，应用程序81再次确定LG 92是否被放置在了目标位置。与上面描述的步骤S358一样，该确定可以基于CBCT图像数据的处理、跟踪从跟踪系统70中接收到的数据、和/或由医生提供的输入进行。如果应用程序81确定LG 92还没有被放置在目标位置，或如果应用程序81不能确定LG 92已经被放置在了目标位置，则处理返回至步骤S314以用于进一步成像和/或导航。

可替代地，如果在步骤S358或在步骤S364应用程序81确定LG 92已经被放置在了目标位置，则处理进行至步骤S359(图3C)。在确认LG 92(因而EWC 96)已经被放置在了目标位置之后，医生可以解开LG 92和EWC 96，并且在将EWC 96保持就位的同时，将LG92从患者的气道移除。活检工具62和/或消融工具64随后可以被插入到患者的气道中，并且通过EWC 96前进到在目标位置处的治疗目标。如上所述，在一些实施例中，EM传感器94可以包含在活检工具62和/或消融工具64中，因此无需进行工具更换。在更换完工具后，或在无需进行工具更换的实施例中，应用程序81确定所插入的工具是 活检工具62还是消融工具64。如果应用程序81确定所插入的工具为消融工具64，则处理进行至步骤S370。可替代地，如果应用程序81确定所插入的工具为活检工具62，则处理直接跳到步骤S380(下面描述的图3A)。

现在转到图3E，示出了方法300关于消融步骤的一部分。在S370处，应用程序81在CBCT图像数据、荧光图像数据、和/或3D模型中的一个或多个中识别消融工具64的辐射部。例如，消融工具64可以包括关于消融工具64的辐射部的一个或多个不透射线元件，所述不透射线元件可以在处理CBCT图像数据和/或荧光图像数据的同时由应用程序81检测到。在另一实施例中，应用程序81可以确定辐射部与消融工具64的远端相隔预定的距离。

在识别消融工具64的辐射部之后，在步骤S371处，应用程序81基于消融工具64在患者胸部内的位置(由此基于消融工具64的辐射部在患者胸部内的位置)、以及用于消融过程的配置设定来确定投影消融区域。作为上述规划阶段的一部分、和/或在LG 92放置在目标位置后或在先于步骤S371的任何点处，医生可以在计算装置80中输入用于消融过程的配置设定，例如时间、温度、瓦特数等。在步骤S371处，应用程序81可以随后使用该配置设定来确定投影消融区域，投影消融区域表示在消融工具64的辐射部周围根据配置设定将被消融的最大区域。

在步骤S372处，应用程序81随后可以在CBCT图像数据、荧光图像数据、和/或3D模型上显示投影消融区域的标记。在步骤S373处，应用程序81确定医生是否批准了投影消融区域。例如，投影消融区域可以由围绕消融工具64的球形来表示，球的定位点是消融工具64的辐射部。基于所显示的投影消融区域，医生可以决定调节用于消融过程的配置设定和/或消融工具64的位置。例如，基于所显示的投影消融区域，医生可以确定投影消融区域不足以覆盖治疗目标，因此选择调节配置设定或消融工具64的位置。医生可以在计算装置80中输入继续消融过程或返回导航的决定。如果应用程序81确定医生未批 准所显示的投影消融区域，则处理返回至步骤S314以用于进一步导航和/或成像。可替代地，如果应用程序81确定医生批准了所显示的投影消融区域，则处理进行至步骤S374，在步骤S374处，应用程序81确定消融过程是否开始。例如，应用程序81可以检测消融工具64上的激活按钮已经被按下。在另一实施例中，可以基于从医生接收到的输入由应用程序81控制消融工具64。因此，如果应用程序81确定消融过程还未开始，则处理返回至步骤S372。可替代地，如果应用程序81确定消融过程已经开始，则处理进行至步骤S375。

在步骤S375处，应用程序81确定估计消融区域。估计消融区域的确定可以基于用于消融过程的配置设定、消融工具64的辐射部的位置、自消融过程开始后所经过的时间、和/或在消融过程期间接收到的附加图像数据。例如，应用程序81可以基于配置设定来确定自消融过程开始经过了特定的时间之后，预期围绕消融工具64的辐射部的特定区域已经消融。在另一实施例中，在消融过程期间可以实施附加CBCT和/或荧光扫描以提供显示消融过程进展的图像数据。在步骤S376处，应用程序81随后可以在CBCT图像数据、荧光图像数据和/或3D模型中例如通过围绕消融工具64的球形或其他形状来显示该区域的标记。

此后，在步骤S377处，应用程序81确定消融过程是否已经完成。例如，应用程序81可以基于自消融过程开始所经过的时间达到包含在配置设定中的时间来确定消融过程完成。应用程序81也可以从医生接收消融过程已经完成的输入。如果应用程序81确定消融过程还未完成，则处理返回至步骤S375。可替代地，如果应用程序81确定消融过程已经完成，则处理进行至步骤S380。

在步骤S380处，应用程序81标识实施了治疗(活检或消融)的位置。例如，在实施治疗的同时，应用程序81可以存储从跟踪系统70接收到的关于患者胸中的工具62、64的位置的位置信息。在实施了消融过程的实施例中，应用程序81还可以存储消融过程的最后确定的估计消融区域。该存储的治疗位置和估计消融区域还可以在3D模 型上显示出来。

接着，在步骤S381处，应用程序81确定是否需要附加治疗。例如，应用程序81可以基于上述治疗计划确定需要附加治疗。应用程序81还可以从医生接收需要附加治疗的输入。因此，如果应用程序81确定需要附加治疗，则处理返回至步骤S311。如果需要导航到不同的目标位置，并且工具62、64不包括电磁传感器94，则工具62、64可以从EWC 96移除并且由LG 92替代。可替代地，如果应用程序81确定不需要附加治疗，则处理终止。

现参考图4，图4示出了示例用户界面，所述示例用户界面包括可以在实施上述治疗过程期间显示的各种图像数据。图4描述了图形用户界面(GUI)400，所述图形用户界面400包括至少三个图像视图：3D模型视图410、荧光图像视图420、以及CBCT图像视图430。3D图像视图410至少包括气道树412、表示患者气道中的电磁传感器94的位置的工具指示器414、目标位置416、以及路径418。根据医生的偏好，视图410、420和430中的每个均可以被选择性地启用并且配置成示出来自上述各种来源的图像数据。

现在转到图5，图5示出了计算装置80的简化的框图。计算装置80可以包括存储器502、处理器504、显示器506、网络接口508、输入装置510、和/或输出模块512。存储器502可以存储应用程序81和/或图像数据514。应用程序81当由处理器504执行时可以使得显示器506呈现用户界面516。应用程序81还可以提供在检测到的电磁传感器94的位置与在路径规划阶段形成的图像和规划数据之间的接口，如上所述。

存储器502可以包括用于存储数据和/或软件的非暂时性计算机可读存储介质，所述软件由处理器504执行并且控制计算装置80的操作。在一个实施例中，存储器502可以包括一个或多个固态存储装置，例如闪存芯片。可替代地或除此之外，一个或多个固态存储装置、存储器502可以包括经由大容量存储控制器(未示出)和通信总线(未示出)连接到处理器504的一个或多个大容量存储装置。尽管此处包含的计 算机可读介质的描述指的是固态存储，本领域技术人员应当理解计算机可读存储介质可以是任何可由处理器504访问的可用介质。也即，计算机可读存储介质包括在用于存储例如计算机可读指令、数据结构、程序模块或其他数据的信息的任何方法或技术中实施的非暂时性、易失性和非易失性、可移除和不可移除的介质。例如，计算机可读存储介质包括RAM、ROM、EPROM、EEPROM、闪存或其他固态存储技术、CD-ROM、DVD、蓝光或其他光学存储器、磁盒、磁带、磁盘存储器或其他磁存储装置、或任何其他可以用来存储所需信息并且可以由计算装置80访问的介质。

网络接口508可以构造成连接到网络，所述网络例如为由有线网络和/或无线网络构成的局域网(LAN)、广域网(WAN)、无线移动网络、蓝牙网络和/或因特网。输入装置510可以是使用者用来与计算装置80进行交互的任何装置，例如为鼠标、键盘、脚踏板、触摸屏和/或语音接口。输出模块512可以包括任何连接接口或总线、例如为并口、串口、通用串行总线(USB)、或其他任何本领域技术人员已知的类似的连接接口。

虽然在附图中示出了本公开的几个实施例，但其并旨在表示本公开被限制于此，其旨在表示本公开范围与本领域所允许的一样宽广并且也应同样的来解读说明书。因此，上面的描述不应被曲解为限制，其仅仅是特殊的实施例的示例。本领域技术人员将可以预想出在所附权利要求的范围和精神内的其他变型。