用于荧光镜图像中的导管检测和更新导管的显示位置的系统和方法与流程

本公开涉及检测一系列荧光镜图像中的导管、基于该检测确定导管的位置、以及在用于外科规程的电磁导航系统中更新导管的显示位置的系统、装置和方法。

背景技术：

现有多种用于治疗影响器官(包括肝脏、脑、心脏、肺和肾脏)的各种疾病的常用方法。通常，临床医生采用一种或多种成像模态诸如磁共振成像、超声成像、计算机断层扫描(ct)以及其他成像模式来识别在患者体内的感兴趣的区域并最终确定治疗目标。

已经证明内窥镜式方法可用于导航到在患者体内的感兴趣的区域，并且特别是用于在身体的管腔网络(诸如肺)内的区域。为了实现肺内的内窥镜式方法，并且更特别地实现支气管镜式方法，已经开发了支气管内导航系统，该支气管内导航系统使用先前所获取的mri数据或ct图像数据以生成特定身体部位(诸如肺)的三维渲染或体积。特别地，利用从患者的mri扫描或ct扫描获取的先前所获取的图像来生成患者的三维或体积渲染。

然后，利用从mri扫描或ct扫描生成的所得的体积来创建导航规划，以促进导航导管(或其他合适的设备)通过支气管镜和患者支气管的分支推进到感兴趣的区域。电磁跟踪可与ct数据结合利用，以便于引导导航导管通过支气管的分支到达感兴趣的区域。在某些情况下，导航导管可被定位在与感兴趣的区域相邻或在感兴趣的区域内的分支管腔网络的气道中的一者内，以便为一个或多个医疗器械提供通路。

在导航规程期间，荧光镜成像设备通常位于手术室中。临床医生可使用标准荧光镜成像设备在将工具导航到期望位置之后可视化并确认工具的放置。然而，尽管标准荧光镜图像显示高密度对象诸如金属工具和骨骼以及大型软组织对象诸如心脏，但是荧光镜图像难以分辨感兴趣的小的软组织对象诸如病变或肿瘤。此外，荧光镜图像仅为二维投影。为了能够在三维空间中看到小的软组织对象，需要进行x射线体积重构。存在若干解决方案，这些解决方案提供了软组织的三维体积重构，诸如在医学领域中广泛应用的ct和锥束ct。这些机器在算法上将来自已知的校准x射线源位置的多个x射线投影组合成三维体积，其中软组织是可见的。

技术实现要素：

本公开涉及检测一系列荧光镜图像中的导管、基于该检测确定导管的位置、以及在用于外科规程的电磁导航系统中更新导管的显示位置的系统、装置和方法。本公开利用浅层神经网络算子和深度神经网络算子的组合来检测荧光镜数据集中的导管候选。另外，根据本文所述的方法消除了假阳性候选检测。从荧光镜数据获取导管的位置数据，并将其用作导管的所显示的电磁跟踪位置的校正因子。

本公开的系统构建了包括导管和目标(即，软组织对象、病变、肿瘤等)的目标区域的基于荧光镜的3d构造，以便确定导管相对于目标的位置。特别地，该系统识别导管相对于荧光镜数据的每个荧光镜帧中的目标的位置、取向、角度和距离。该相对位置数据用于在例如患者的管腔网络的基于ct的渲染上更新导管的所显示的电磁位置。利用该更新的显示，临床医生在电磁导航规程期间能够更准确地导航并确认导管和其他外科工具相对于目标的放置。

参考附图详细描述了本公开的各方面，其中相同的附图标记表示相似或相同的元件。如本文所用，术语“远侧”是指所描述的离使用者较远的部分，而术语“近侧”是指所描述的离使用者较近的部分。

根据本公开的一个方面，提供了一种用于检测荧光镜数据中的导管的方法。该方法包括从目标区域的荧光镜扫描中获取荧光镜数据。该目标区域可以在例如患者的管腔网络内。荧光镜数据包括从不同视角捕获的目标区域的2d荧光镜帧。该方法还包括对荧光镜数据的每个2d帧中的导管末端候选执行初始导管检测，对荧光镜数据的每个2d帧中的导管末端候选执行二次导管检测。另外，该方法包括通过重构导管末端的3d位置并找到对应于每个2d帧的射线的交点来消除二次导管检测的假阳性导管末端候选，并且基于导管末端候选与投影的3d点的距离重新加权二次导管检测的导管末端候选。

初始导管检测可包括应用浅层神经网络算子，并且二次导管检测可包括应用深度神经网络算子。对荧光镜数据的每个2d帧中的导管末端候选的二次导管检测可包括考虑初始导管检测的导管末端候选。基于导管末端候选与投影的3d点的距离重新加权二次导管检测的导管末端候选可包括当导管末端候选与投影的3d点的距离远离投影的3d点时减小对应于候选的像素的权重。

另外，该方法还可包括通过重构导管末端的3d位置并找到对应于每个2d帧的射线的交点来迭代地重复消除假阳性检测。另外或另选地，该方法可包括在对荧光镜数据的每个2d帧中的导管末端候选执行初始导管检测之前，显示用于在荧光镜数据的2d荧光镜帧中手动选择导管末端的用户界面。

在另一方面，提供了一种用于在外科导航规程期间在荧光镜数据中检测导管的方法。该方法包括：在导管到目标区域的导航规程期间使用电磁坐标跟踪导管的电磁位置，在3d渲染的显示器上显示导管的跟踪电磁位置，并且从目标区域的荧光镜扫描中获取荧光镜数据。荧光镜数据包括从不同视角捕获的目标区域的2d荧光镜帧。目标区域可以例如在患者的管腔网络内，并且3d渲染可以是例如患者的管腔网络的3d渲染。该方法还包括：根据包括目标区域中的软组织目标的三维构造的所获取的荧光镜数据，构建目标区域的基于荧光镜的三维体积数据，针对荧光镜数据的每个2d帧，获取导管相对于软组织的三维构造的位置的数据，并且将所获取的导管相对于软组织的三维构造的位置的数据与导管的电磁位置配准。另外，该方法包括基于所获取的导管相对于软组织的三维构造的位置的数据与导管的电磁位置的配准，在3d渲染的显示器上显示导管的位置。

该方法还可包括对荧光镜数据的每个2d帧中的导管末端候选执行至少一次导管检测。初始导管检测可包括应用浅层神经网络算子，并且二次导管检测可包括应用深度神经网络算子。另外或另选地，该方法还可包括通过重构导管末端的3d位置并找到对应于每个2d帧的射线的交点来消除二次导管检测的假阳性导管末端候选。二次导管末端检测可以考虑在初始导管检测中识别的候选。另外或另选地，该方法可包括基于导管末端候选与投影的3d点的距离来重新加权二次导管检测的导管末端候选。

在另一方面，提供了一种用于执行电磁外科导航规程的系统。该系统包括：具有电磁跟踪坐标的电磁跟踪系统，包括传感器的导管，该传感器被配置为耦接到电磁跟踪系统以检测导管在电磁坐标中的位置，以及可操作地耦接到电磁跟踪系统和导管的计算设备。

计算设备被配置为显示导航路径以引导导管到目标区域的导航，在3d渲染上显示导管在电磁坐标中的位置，并且从目标区域的荧光扫描中获取荧光镜数据。目标区域可以例如在患者的管腔网络内，并且3d渲染可以是例如患者的管腔网络的3d渲染。荧光镜数据包括从不同视角捕获的目标区域的2d荧光镜帧。另外，计算设备被配置为对荧光镜数据的每个2d帧中的导管末端候选执行初始导管检测，对荧光镜数据的每个2d帧中的导管末端候选执行二次导管检测，通过重构导管末端的3d位置并找到对应于每个2d帧的射线的交点来消除二次导管检测的假阳性导管末端候选，并且基于导管末端候选与投影的3d点的距离来重新加权二次导管检测的导管末端候选。

计算设备可被配置为通过应用浅层神经网络算子对荧光镜数据的每个2d帧中的导管末端候选执行初始导管检测，并且通过应用深度神经网络算子对荧光镜数据的每个2d帧中的导管末端候选执行二次导管检测。另外或另选地，计算设备可被配置为根据所获取的荧光镜数据构建目标区域的基于荧光镜的三维体积数据。基于荧光镜的三维体积数据包括目标区域中的软组织目标的三维构造。

在一方面，计算设备还被配置为针对荧光镜数据的每个2d帧获取导管相对于软组织的三维构造的位置的数据，将所获取的导管相对于软组织的三维构造的位置的数据与导管的电磁位置配准，并且基于所获取的导管相对于软组织的三维构造的位置的数据与导管的电磁位置的配准，在3d渲染的显示器上显示导管的位置。

附图说明

下文结合附图描述了本公开的多个方面和实施方案，其中：

图1是结合了根据本公开的荧光镜成像设备的电磁导航(emn)系统的一个例示性实施方案的透视图。

图2是用于检测荧光镜数据中的导管并消除假阳性检测的方法的流程图。

图3a是根据本公开的由荧光镜成像设备捕获的荧光镜数据的帧的示例的例示，其示出了定位在患者的目标区域内的导管组件的延伸工作通道。

图3b是在图3a的帧上执行初始导管检测算子之后的所得的图像的例示；

图4a是根据本公开的由荧光镜成像设备捕获的荧光镜数据的帧的示例的例示，其示出了定位在患者的目标区域内的导管组件的延伸工作通道；

图4b是在图4a的帧上执行二次导管检测算子之后的所得的图像的例示；

图5是在经历初始导管检测算子和二次导管检测算子之后所得的荧光镜数据的图像帧的例示，以及在公共交点处相交的每个所得的帧的相应射线；

图6a是在导管末端的3d位置的初始3d重构之后的所得的图像的例示；

图6b是在重新加权图6a的导管末端的2d检测之后的所得的图像的例示；并且

图7是用于在患者的管腔网络的3d渲染上更新导航导管相对于目标的位置的方法的流程图。

具体实施方式

为了将工具导航到用于活组织检查或治疗的远程软组织目标，工具和目标都应该在某种三维引导系统中可见。这些系统中的大多数使用一些x射线设备来透视身体。例如，ct机器可在规程期间与迭代扫描一起使用，以提供通过身体的引导，直到工具到达目标。这是一个繁琐的规程，因为它需要几次完整的ct扫描、一个专用的ct室和在扫描之间的盲导航。此外，每次扫描都需要工作人员离开房间。另一种选择是锥束ct机器，它可以在一些手术室中使用并且稍微更容易操作，但是价格昂贵并且像ct一样在扫描之间仅提供盲导航，需要多次迭代导航并且需要工作人员离开房间。

因此，需要一种能够实现ct和锥束ct三维图像引导的益处而没有与这些系统相关联的潜在成本、制备要求和辐射副作用的系统。

本公开涉及用于在荧光镜数据中进行导管检测，并且根据由大多数手术室中可用的标准荧光镜成像设备捕获的荧光镜数据构建其中的小的软组织对象可见的局部三维体积数据的系统和方法。导管检测和构造的基于荧光镜的局部三维体积数据可用于引导、导航规划、改进的导航准确性、导航确认和治疗确认。

图1描绘了电磁导航(emn)系统100，其被配置用于检查ct图像数据以识别一个或多个目标，规划通往所识别目标的路径(规划阶段)，经由用户界面将导管引导组件40的延伸工作通道(ewc)12导航到目标(导航阶段)，并且确认ewc12相对于目标的放置。一种此类emn系统是目前由美敦力公司(medtronicplc)出售的electromagneticnavigation系统。目标可以是通过在规划阶段期间查看ct图像数据而识别的感兴趣的组织。在导航之后，可将医疗器械诸如活组织检查工具或其他工具插入ewc12中以从位于目标处或目标附近的组织获得组织样本(或执行任何治疗)。

如图1所示，ewc12是导管引导组件40的一部分。在实践中，将ewc12插入支气管镜30中以进入患者“p”的管腔网络。具体地，导管引导组件40的ewc12可以插入支气管镜30的工作通道中，用于导航通过患者的管腔网络。ewc12的远侧部分包括传感器44。可以导出传感器44相对于参考坐标系的位置和取向，并因此导出电磁场内的ewc12的远侧部分的位置和取向。导管引导组件40目前由美敦力公司(medtronicplc)以商品名规程套件或edge^tm规程套件市售和销售，并且设想可用于本公开。对于导管引导组件40的更详细描述，参考2013年3月15日提交的由ladtkow等人共同拥有的美国专利no.9,247,992，美国专利no.7,233,820，以及美国专利no.9,044,254，这些专利的全部内容以引入方式并入本文。下面更详细地描述系统100及其部件。

图2至图7的以下描述提供了使用系统100的部件(包括计算设备125和荧光镜成像设备110)以(例如，通过消除任何假阳性检测)准确地检测荧光镜数据中的导管的示例性工作流程。另外，图2至图7的以下描述提供了使用系统100来构建所需感兴趣的区域的局部的基于荧光镜的三维体积数据、将检测到的导管相对于目标的位置与跟踪导管的电磁坐标系配准、并且使用该配准来更新导管相对于目标的显示位置的示例性工作流程。本文所述的系统和方法可用于利用在emn规程期间通常位于外科环境内的成像设备来可视化患者的特定目标区域，从而避免后续的mri或ct扫描的需要，并且通过在患者的管腔网络的3d渲染中提供导管的更新的且更准确的显示来确认导管相对于目标的放置。

图2示出了用于检测荧光镜数据中的导管并且结合系统诸如图1中所述的系统100来消除假阳性检测的方法，现在将特别详细地描述该方法。尽管本文中示出和所述的方法被示出和描述为具有特定顺序并且需要特定步骤，但是任何方法可包括部分或所有的步骤并且能够以任何顺序实现。另外，本文中所述的任何方法的任何或所有的步骤可由系统100的计算设备125或系统100的任何其他部件或部件的组合来执行。

方法200开始于步骤201，其中导管(或任何外科工具)被导航到患者的管腔网络内的感兴趣的区域。步骤201中的导航可以利用上述的电磁跟踪和路径规划。在步骤203中，执行目标区域的荧光镜扫描以获取导管位于其中的目标区域的荧光镜数据。特别地，在步骤203中，将荧光镜定位在患者周围，使得可以沿着整个扫描(例如，在-30度至+30度的角度范围内)捕获目标区域的荧光镜图像。

在获取荧光镜数据之后，在步骤205中，执行初始导管检测。在初始导管检测中，计算设备在荧光镜数据的每个2d帧中执行算子以检测每个2d帧中可能的导管末端候选。在一个方面，步骤205包括利用浅层神经网络算子(例如，四层)。利用浅层神经网络算子提供快速完成(荧光镜数据的每32个2d帧大约1秒)的优点，但同时存在识别出许多假阳性导管末端检测的缺点。特别地，图3a示出了在步骤205中应用浅层神经网络算子之前的荧光镜数据的示例性2d帧301，并且图3b示出了在步骤205中应用浅层神经网络算子之后的所得的图像305，示出了所检测到的所有导管末端候选。如图3b所示，虽然帧中的真实导管末端307已经被检测为候选，但是也已经给出了许多假阳性候选检测309。

在步骤207中，执行二次导管检测操作以检测荧光数据的每个2d帧中的导管末端候选。在一个方面，步骤207包括利用第二神经网络算子，在这种情况下是深度神经网络算子(例如，11层)。与浅层神经网络算子相比，利用深度神经网络算子需要更长的时间才能完成，但导致较少的假阳性候选检测。另外，单独的深度神经网络算子虽然没有提供与浅层神经网络算子一样多的假阳性候选检测，但在某些情况下无法将实际导管末端检测为候选。图4a示出了在步骤207中应用深度神经网络算子之前的荧光镜数据的示例性2d帧401，并且图4b示出了在步骤207中应用深度神经网络算子之后的所得的图像405。如图4b所示，图像中的真实导管末端407已被检测为候选，并且仅给出了很少的假阳性候选检测409。

鉴于上述情况，所公开方法的一个益处是仅利用步骤205中的初始导管检测或步骤207中的二次导管检测中的一个可能不足以准确地识别荧光镜数据中的导管末端。如上所述，如果单独执行步骤205的浅层神经网络算子，则将在几乎所有2d帧中检测到导管，但是也将检测到许多假阳性，从而导致导管检测不准确。另外，如果单独执行深度神经网络算子，则将检测到很少的假阳性，但是将错过一些实际的导管检测，也导致导管检测不准确。因此，方法200包括应用浅层神经网络算子和深度神经网络算子这两者以确保准确的导管检测。另外，如果深度神经网络在荧光镜视频帧中具有误检测，则在该帧中将不会检测到导管(即使在初始导管检测中发现了导管)。因此，在这种情况下防止导管误检测的一种方法是来自其他帧的有效检测，如下面进一步详细描述的那样。利用两个单独的神经网络的另一个益处是将检测器分成初始网络和更深的第二网络可以增强运行时间优化，如上所述。

在一个方面，在步骤207中，深度神经网络算子考虑来自步骤205的初始导管检测的候选。也就是说，在利用在初始导管检测中检测到的候选的情况下，可以确保在深度神经网络算子中不会错过实际导管，并且在执行二次导管检测之后将始终将其识别为导管候选。特别地，初始导管检测输出每个荧光镜帧中的每个像素的“导管概率”。在初始导管检测之后，仅将具有高概率(高于某个固定阈值)的像素视为导管候选。在每个像素候选(其具有的导管概率超过阈值)周围提取图像块并且输入到第二导管检测(例如，深度神经网络)。

在步骤209中，通过重构导管末端的3d位置消除假阳性检测。特别地，参考图5，从每个2d帧501a、501b、501c...501n的候选延伸的射线503a、503b、503c...503n的交点505是导管末端的3d重构位置。在步骤209中，当针对特定导管候选在相同点处相交的射线的数量超过预先配置的阈值时，确定候选不是假阳性的并且实际上是导管末端。特别地，为了确认候选不是假阳性检测，一定数量的射线必须在相同的交点处相交。当针对特定导管候选在相同点处相交的射线的数量低于预先配置的阈值时，确定候选是假阳性检测而不是导管末端。方法200还能够可选地包括步骤211，其中迭代地重复消除假阳性候选检测的过程。在步骤211中迭代地重复消除假阳性候选检测，这使得用于相交射线的预先配置的阈值能够被设定为最优值，从而导致更可靠且更准确的假阳性候选检测的消除。

在步骤213中，根据步骤209中的导管候选检测与投影的3d点的距离对这些导管候选检测重新加权。特别地，参考图6a和图6b，图6a示出了在完成步骤205至209之后的示例性图像601，并且图6b示出了在执行步骤213的重新加权之后的图像605。图6a中的图像601包括了实际导管末端607和假阳性603作为导管末端候选。图6b中的图像605仅包括实际导管末端607作为候选并且不包括任何假阳性。在步骤213中，根据在体素中相交的射线的数量以及在步骤209中识别的体素与导管末端的3d位置的距离来为每个体素分配权重。在步骤213中，与步骤209中识别的导管末端的3d位置距离远的任何候选将被分配较低的权重，并且将被识别为假阳性候选检测且将被移除。另一方面，在步骤209中识别的与导管末端的3d位置距离近的任何候选将被分配较高的权重，并且将被识别为导管末端候选检测且将被保留。

图7示出了结合系统诸如图1中所述的系统100利用方法200执行电磁外科导航规程的方法，现在将特别详细地描述该方法，并且将其称为方法700。尽管本文中示出和所述的方法被示出和描述为具有特定顺序并且需要特定步骤，但是任何方法可包括部分或所有的步骤并且能够以任何顺序实现。另外，本文中所述的任何方法的任何或所有的步骤可由系统100的计算设备125或系统100的任何其他部件或部件的组合来执行。

方法700开始于步骤701，其中在导管导航到患者的管腔网络内的目标区域期间跟踪导管的电磁位置。在步骤703中，在导航期间在患者的管腔网络的基于ct的3d渲染的显示器上显示导管的跟踪电磁位置。在患者的管腔网络的3d渲染上显示导管的电磁位置有助于临床医生导航到感兴趣的区域或目标区域。步骤703可以另外包括显示预定的路线或路径以便遵循该预定的路线或路径通过患者的管腔网络以导航到目标区域。这种路径或路线的显示使临床医生能够识别导管何时偏离期望路径、导航进度以及何时到达目标。

一旦导管导航到目标区域，如步骤703中所示，导管在患者管腔网络内的实际位置可能与步骤703中显示的不完全相同，因为导管的显示位置仅基于导管传感器的电磁跟踪位置，并且显示在旧的ct数据集上。自获取ct数据时起，在目标区域内的目标和其他此类解剖特征可能已经改变，并且电磁跟踪会受到干扰和不可靠性的影响。另外，步骤703中的显示仅仅示出了导管的表示，而不是管腔网络内相对于其中的结构的实际导管。为了更准确地显示导管在患者的实际管腔网络内的实际位置，方法700前进至步骤705。

在步骤705中，执行目标区域的荧光镜扫描以获取导管位于其中的目标区域的荧光镜数据。特别地，在步骤705中，将荧光镜定位在患者周围，使得可以沿着扫描(例如，在-30度至+30度的角度范围内)捕获目标区域的荧光镜图像。在步骤707中，在荧光镜数据的所有帧中检测导管末端。在一个方面，步骤707利用方法200的部分或所有的步骤进行导管检测。

在步骤709中，构建导管位于其中的目标区域的基于荧光镜的3d渲染。这种基于荧光镜的3d构造使得能够可视化在荧光镜数据本身中不可见的对象。例如，小的软组织对象诸如肿瘤或病变在荧光镜数据中不可见，但在目标区域的基于荧光镜的3d渲染中可见。关于步骤709的构建的进一步细节可以在2016年8月1日提交的标题为“systemandmethodfornavigatingtotargetandperformingprocedureontargetutilizingfluoroscopic-basedlocalthreedimensionalvolumereconstruction”的美国专利申请公开no.2017/0035380、以及2016年8月1日提交的标题为“systemandmethodforlocalthreedimensionalvolumereconstructionusingastandardfluoroscope”的美国专利申请公开no.2017/0035379中找到，这些专利申请的全部内容以引用方式并入本文。

在步骤711中，获取荧光镜数据的每一帧中导管相对于目标区域中的目标的位置数据。特别地，步骤709中基于荧光镜的3d渲染的构造使得能够确定或以其他方式判定目标(例如，软组织对象、病变、肿瘤等)的可见性和目标的位置。如上所述，在步骤709中构建基于荧光镜的3d渲染之前，软组织对象(例如，目标、肿瘤、病变等)不可见，并且不能确定对象相对于导管的位置。在一个方面，在步骤711中，针对基于荧光镜的3d渲染的每一片确定导管相对于目标的位置、取向和距离。另外，在步骤711中获取的位置数据可与在步骤705中获取的荧光镜数据相关联。

在步骤713中，将在步骤711中获取的位置数据配准到导管的电磁跟踪坐标。在一个方面，在步骤713中，系统通过采用“天线到ct”配准在ct数据上显示导管，其中通过电磁定位算法连续计算天线坐标中的导管位置(以及可选地，取向)。然后将位置转换为ct坐标。该配准可基于气道树(主要隆突和支气管)的第一分叉。由于这一点(以及其他因素，诸如患者的平静状态、以及ct和支气管镜检查规程期间不同的患者姿势)，在肺周边的配准不太准确。通过组成以下配准中的一个或多个来校正目标区域的配准：1)天线到荧光，其中导管位置在天线坐标(使用电磁定位)和荧光坐标(前面的步骤中所述的自动导管检测)中都是已知的，并且用作配准的基础；和/或2)荧光到ct，其中目标的位置在操作前在ct数据上进行标记，并且然后在操作中在基于荧光的3d重构上也进行标记。在对上述配准执行计算后，通过采用“天线到荧光”配准将天线坐标中的新导管位置转换为荧光坐标，然后通过“荧光到ct”配准将其转换为ct坐标。

在步骤715中，使用在步骤711中获取的位置数据来更新导管在患者的管腔网络的基于ct的3d渲染上的显示位置。特别地，将基于荧光镜的3d数据集中的导管相对于目标的位置、取向和距离与基于ct的3d渲染中所显示的导管相对于目标的位置、取向和距离进行比较。在一个方面，更新所显示的导管相对于基于ct的渲染中的目标的取向、位置和距离，以对应于或匹配导管相对于基于荧光镜的3d数据集中的目标的取向、位置和距离。

返回参考图1，emn系统100通常包括被配置为支撑患者“p”的操作台20；被配置为通过患者“p”的口腔插入患者“p”的气道的支气管镜30；联接到支气管镜30的监视设备120(例如，视频显示器，用于显示从支气管镜30的视频成像系统接收的视频图像)；跟踪系统50，其包括跟踪模块52、多个参考传感器54和发射器垫56；以及计算设备125，该计算设备包括用于便于目标识别、通往目标的路径规划、将医疗器械导航到目标、以及确认ewc12或者穿过其中的合适的设备相对于目标的放置的软件和/或硬件。

能够获取患者“p”的荧光镜或x射线图像或视频的荧光镜成像设备110也包括在系统100的该特定方面中。由荧光镜成像设备110捕获的荧光镜数据(例如，图像、图像系列或视频)可以存储在荧光镜成像设备110内或者传输到计算设备125以进行存储、处理和显示。另外，荧光镜成像设备110可相对于患者“p”移动，使得可以从相对于患者“p”的不同角度或视角获取图像，以从荧光镜扫描产生荧光镜视频。荧光镜成像设备110可包括单个成像设备或不止一个成像设备。在包括多个成像设备的实施方案中，每个成像设备可以是不同类型或相同类型的成像设备。关于成像设备110的进一步细节在美国专利no.8,565,858中有所描述，该专利的全部内容以引用方式并入本文。

计算设备125可以是包括处理器和存储介质的任何合适的计算设备，其中处理器能够执行存储在存储介质上的指令。计算设备125还可包括：被配置为存储患者数据的数据库、包括ct图像的ct数据集、包括荧光镜图像和视频的荧光镜数据集、导航规划，以及任何其他此类数据。虽然未明确示出，但是计算设备125可包括输入部，或者可以其他方式配置为接收ct数据集、荧光镜图像/视频和本文所述的其他数据。另外，计算设备125包括被配置为显示图形用户界面的显示器。

关于规划阶段，计算设备125利用先前所获取的ct图像数据来生成和查看患者“p”的气道的三维模型，使得能够在三维模型上识别目标(自动地、半自动地或者手动地)，并且允许确定通过患者“p”的气道到位于目标处和周围的组织的路径。更具体地，处理从先前ct扫描所获取的ct图像并将其组装成三维ct体积，然后将其用于生成患者“p”的气道的三维模型。该三维模型可以显示在与计算设备125相关联的显示器上，或者以任何其他合适的方式显示。使用计算设备125，呈现三维模型的各种视图或从三维模型生成的增强的二维图像。增强的二维图像可具有一些三维能力，因为它们是从三维数据生成的。可以操纵三维模型以便于在三维模型或二维图像上识别目标，并且可以选择通过患者“p”的气道以接近位于目标处的组织的合适的路径(例如，在导航期间要遵循的路线)。一旦被选择，路径规划、三维模型和从其导出的图像可被保存并导出到导航系统以在导航阶段期间使用。其中一种规划软件是目前由美敦力公司(medtronicplc)销售的规划套件。

关于导航阶段，六自由度电磁跟踪系统50例如类似于美国专利no.8,467,589,no.6,188,355和公开的pct申请no.wo00/10456和no.wo01/67035中公开的那些(每个文献的全部内容以引用方式并入本文)、或者其他合适的定位测量系统用于执行图像和导航路径的配准，但是还可以设想其他配置。跟踪系统50包括跟踪模块52、多个参考传感器54和发射器垫56。跟踪系统50被配置为与导管引导组件40的传感器44一起使用，以在电磁坐标系内跟踪其电磁位置。

发射器垫56位于患者“p”下方。发射器垫56在患者“p”的至少一部分周围产生电磁场，其中可以使用跟踪模块52确定多个参考传感器54和传感器元件44的位置。一个或多个参考传感器54附接到患者“p”的胸部。参考传感器54的六个自由度坐标被发送到计算设备125(其包括适当的软件)，其中它们用于计算患者坐标参照系。如下所述，通常执行配准以协调三维模型的位置和来自规划阶段的二维图像与通过支气管镜30观察到的患者“p”的气道，并且即使在支气管镜30不能到达的气道的部分中，也允许在准确了解传感器44的位置的情况下进行导航阶段。这种配准技术及其在腔内导航中的实现的进一步细节可以在美国专利申请公开no.2011/0085720中找到，其全部内容以引用方式并入本文，但是也可以设想其他合适的技术。

通过将传感器44移动通过患者“p”的气道来执行患者在发射器垫56上“p”的位置的配准。更具体地，在ewc12移动通过气道时，使用发射器垫56、参考传感器54和跟踪模块52记录关于传感器44的位置的数据。将由该位置数据产生的形状与在规划阶段中生成的三维模型的通道的内部几何形状进行比较，并且基于该比较例如利用计算设备125上的软件确定在形状与三维模型之间的位置相关性。另外，软件识别三维模型中的非组织空间(例如，充满空气的空腔)。软件将表示传感器44的位置的图像与三维模型和从三维模型生成的二维图像对准或配准，这基于记录的位置数据和传感器44保持位于患者“p”的气道中的非组织空间中的假设。另选地，可通过将支气管镜30与传感器44导航到患者“p”的肺中的预定位置，并且手动将来自支气管镜的图像与三维模型的模型数据相关联来采用手动配准技术。

在将患者“p”配准到图像数据和路径规划之后，在导航软件中显示用户界面，该用户界面阐述临床医生要跟随到达目标的路径。一种这样的导航软件是目前由美敦力公司(medtronicplc)出售的导航套件。

一旦ewc12成功导航到目标附近，如用户界面所示，ewc12就位作为引导医疗器械的引导通道，所述医疗器械包括但不限于光学系统、超声探头、标记放置工具、活检工具、消融工具(即微波消融设备)、激光探头、低温探头、传感器探头和抽吸针到目标。

利用导管相对于目标区域中的目标的上述更新位置，临床医生能够更准确地导航到患者的管腔网络内的感兴趣的区域或目标。基于从目标区域的基于荧光镜的3d数据提取的近实时位置数据来校正在基于ct的患者的管腔网络的3d渲染中导管的电磁跟踪和显示位置中的误差。

根据前述内容并且参照各个附图，本领域的技术人员将会理解，还可以在不脱离本公开范围的情况下对本公开做出某些修改。例如，虽然系统和方法被描述为可用于emn系统以用于导航通过管腔网络诸如肺，但是本文所述的系统和方法可与利用其他导航和治疗设备诸如经皮设备的系统一起使用。另外，尽管上述系统和方法被描述为在患者的管腔网络内使用，但是应当理解，上述系统和方法可以用于其他目标区域，诸如肝脏。此外，上述系统和方法还可以用于经胸针抽吸规程。

本文公开了本公开的详细实施方案。然而，所公开的实施方案仅仅是本公开的示例，其可能以多种形式或方面体现。因此，本文所公开的特定的结构和功能细节不应理解为限制性的，而仅仅是权力要求书的基础，并作为具有代表性的基础用于教导本领域的技术人员以几乎任何合适的具体结构不同地采用本公开。

可以理解，可以通过患者的一个或多个分支管腔网络定位以治疗组织的医疗器械，诸如活检工具或能量设备，诸如微波消融导管，可以证明在外科领域中是有用的，并且本公开涉及可与这些器械和工具一起使用的系统和方法。通过使用导航技术，可以经皮或通过自然孔口进入管腔网络。另外，可以使用图像引导来完成通过管腔网络的导航。这些图像引导系统可与能量设备或单独的进入工具分离或集成，并且可包括mri、ct、荧光镜透视检查、超声、电阻抗断层摄影、光学和/或设备跟踪系统。用于定位进入工具的方法包括em、ir、回声定位、光学等。跟踪系统可以集成到成像设备，其中该跟踪在虚拟空间中完成或与术前或实时图像融合。在一些情况下，可以直接从腔内进入治疗目标，诸如用于治疗copd、哮喘、肺癌等的支气管壁。在其他情况下，可能需要能量设备和/或另外的进入工具刺穿管腔并延伸到其他组织中以到达目标，诸如用于治疗实质内的疾病。能量设备或工具放置的最终定位和确认可以使用结合有上述方法和系统的标准荧光镜成像设备通过成像和/或导航引导来执行。

尽管在附图中已经示出了本公开的若干实施方案，但是本公开不旨在限于此，因为本公开旨在与本领域所允许的范围那样宽泛，并且旨在同样宽泛地阅读说明书。因此，以上说明不应理解为限制性的，而是仅作为具体实施方案的例示。本领域的技术人员能够设想在本文所附权利要求书的范围和实质内的其他修改。