本公开涉及捕获、分析多源数据并将其集成到胸部导航系统，并且更具体地讲，涉及使用包括来自多个源的集成数据的胸部导航系统的系统、装置和方法。
相关领域
肺部疾病可能引起患者肺脏的一个或多个部分丧失其正常功能，因此可能需要接受治疗。肺脏治疗过程可能非常复杂，而如果主刀大夫可以从视觉上观察到病变肺脏部分的形成方式，如肺脏的不同部分是如何生长的以及/或者可能已经由于该疾病而变形，则会对治疗有极大的帮助。
通常，患者肺脏被分为5个肺叶：组成右肺的一个上叶、一个中叶和一个下叶，以及组成左肺的一个上叶和一个下叶。肺脏被肺胸膜(或胸膜表面)包绕。胸膜由两层浆膜构成：外壁层胸膜贴附于胸腔内壁，而内脏层胸膜直接贴附于肺脏表面。肺叶通过胸膜内的凹陷(也称为裂隙)形成。裂隙是胸膜的双重折叠，其将肺脏分隔成不同的叶。右肺和左肺均还在肺脏的根部具有被称为肺门的中央凹陷，气道、血管和淋巴管腔经此进入肺脏。
用于显示患者肺脏内图像并跟踪工具的系统通常依靠术前数据，如来自之前(有时是治疗过程开始之前数天或数周)进行的计算机断层扫描(ct)的数据。然而，此类系统并未考虑到可能在进行ct扫描之后发生的变化，也并未考虑到与呼吸周期有关的相对于原始数据集(其通常在肺总量或接近肺总量处采集)的变化以及在手术过程期间发生的肺容量变化。下文描述了用于改进识别和可视化患者肺脏及其中结构的方法的系统、装置和方法。
技术实现要素：
根据本公开提供了在管腔网络内部导航工具的方法。根据本公开的一个方面，该方法包括：接收患者胸部的图像数据；在所述图像数据中识别该患者的肺脏；在所述图像数据中确定该患者肺脏中管腔网络的位置；在该患者肺脏中识别出靶标位置；生成至所述靶标位置的通路；基于所述图像数据生成该患者肺脏的三维(3d)模型，所述3d模型显示该患者肺脏中的所述管腔网络以及至所述靶标位置的所述通路；当在该患者胸部内为工具导航时基于该工具内所含电磁(em)传感器确定该工具的位置；显示所述3d模型的视图，其显示了所确定的该工具的位置；基于该工具已经至少部分在该患者胸部内导航之后所进行的过程间锥形束断层扫描(cbct)扫描，接收该患者胸部的一部分的cbct图像数据；基于所述cbct图像数据，更新所述3d模型的至少一部分；以及显示更新后的3d模型的视图。
在本公开的另一个方面，该方法还包括：显示该患者胸部的图像数据与所述cbct图像数据的比较。
在本公开的又一个方面，该方法还包括：基于所述cbct图像数据而识别该工具的实际位置；以及显示更新后的3d模型的视图，包括显示该工具在给定肺容量时的实际位置。
在本公开的另一个方面，该方法还包括：当该工具被导航向所述靶标位置时，跟踪该工具在该患者胸部内的位置。
在本公开的另一个方面，该方法还包括：基于所述cbct图像数据而识别所述靶标位置的实际位置，其中显示更新后的3d模型的视图包括显示所述靶标位置的实际位置。
在本公开的另一个方面，该方法还包括：基于所述cbct图像数据而识别该工具的实际位置；基于所述cbct图像数据而识别所述靶标位置的实际位置；在该工具的实际位置与所述靶标位置的实际位置之间生成更新后的通路；以及在更新后的3d模型上显示所述更新后的通路。
在本公开的另一个方面，该方法还包括：显示所述更新后的3d模型的局部，包括该工具的实际位置、所述靶标位置的实际位置以及所述更新后的通路。
在本公开的另一个方面，所述cbct图像数据于该患者呼吸周期的正常潮式呼吸阶段期间采集。
根据本公开提供了存储有指令的非暂态计算机可读存储介质，当该指令由计算机执行时，使得该计算机：接收患者胸部的图像数据；在所述图像数据中识别该患者的肺脏；在所述图像数据中确定该患者肺脏中管腔网络的位置；在该患者肺脏中识别出靶标位置；生成至所述靶标位置的通路；基于所述图像数据生成该患者肺脏的三维(3d)模型，所述3d模型显示该患者肺脏中的所述管腔网络以及至所述靶标位置的所述通路；当在该患者胸部内为工具导航时基于电磁(em)传感器确定该工具的位置；使得显示装置显示所述3d模型的视图，其显示了所确定的该工具的位置；基于该工具已经至少部分在该患者胸部内导航之后所进行的过程间扫描，接收该患者胸部的一部分的锥形束断层扫描(cbct)图像数据；基于所述cbct图像数据，更新所述3d模型的至少一部分；以及使得所述显示装置显示更新后的3d模型的视图。
在本公开的另一个方面，所述指令还导致所述计算机使得所述显示装置显示该患者胸部的图像数据与所述cbct图像数据的比较。
在本公开的又一个方面，所述指令还使得所述计算机：基于所述cbct图像数据而识别该工具的实际位置；以及使得所述显示装置显示更新后的3d模型的视图，其包括该工具在给定肺容量时的实际位置。
在本公开的另一个方面，所述指令还导致所述计算机使得所述显示装置当该工具被导航向所述靶标位置时，反复更新该工具在该患者胸部内的显示的位置。
在本公开的另一个方面，所述指令还使得所述计算机：基于所述cbct图像数据而识别所述靶标位置的实际位置；以及使得所述显示装置显示更新后的3d模型的视图，其包括所述靶标位置的实际位置。
在本公开的另一个方面，所述指令还使得所述计算机：基于所述cbct图像数据而识别该工具的实际位置；基于所述cbct图像数据而识别所述靶标位置的实际位置；在该工具的实际位置与所述靶标位置的实际位置之间生成更新后的通路；以及使得所述显示装置在更新后的3d模型上显示所述更新后的通路。
在本公开的另一个方面，所述指令还导致所述计算机使得所述显示装置显示所述更新后的3d模型的局部，包括该工具的实际位置、所述靶标位置的实际位置以及所述更新后的通路。
在本公开的另一个方面，所述cbct图像数据于该患者呼吸周期的正常潮式呼吸阶段期间采集。
任何以上本公开的方面和实施方案均可在不脱离本公开的范围的情况下进行组合。
附图说明
下文结合附图描述了本公开的多个方面和特征，其中：
图1是根据本公开的实施方案，用于在患者胸部计划和实施诊断及治疗过程的支气管系统的示意图；
图2是根据本公开的实施方案，用于在患者胸部计划和实施诊断及治疗过程的经皮系统的示意图；
图3a和图3b显示了根据本公开的实施方案，用于在患者胸部计划和实施诊断及治疗过程的示例方法的流程图；和
图4是根据本公开的实施方案，形成图1的系统的一部分的示例计算设备的框图。
具体实施方式
本公开涉及用于捕获、分析多源数据并将其集成到胸部导航系统中的装置、系统和方法。更具体地讲，本公开涉及将在过程中采集的实时图像数据与在该过程之前采集的图像数据以及/或过程间采集的其它图像数据集成以更新和/或改进靶标和工具在患者胸部内的定位和可视化。可以基于该患者胸部的图像数据进行术前的节段以及亚节段勾绘和外推以生成患者胸部的可视化表征，包括，例如：该患者肺脏的气道、胸膜表面和裂隙，和/或该患者肺脏中可能存在的肿瘤或其它异常结构。此外，也可能在该图像数据中识别出各种其它器官和结构，例如心脏和血管系统、淋巴结和淋巴系统等，并将其包括在该患者胸部的可视化表征中。可使用在计算机上执行的一种或多种软件应用程序进行所述勾绘。所述应用程序可，例如，基于放射影像获得的图像数据，如计算机断层扫描(ct)图像数据，生成该患者胸部的三维(3d)模型或示意图，以用于该患者胸部的可视化表征。该3d模型可显示：该患者肺脏的气道、胸膜表面和裂隙以及其它结构、心脏和/或血管系统、淋巴结和/或淋巴系统、以及该患者胸部的其它相关结构，等等。所述图像数据可经过进一步处理以识别该患者胸部内的一个或多个靶标，如肿瘤、病变、或其它异常结构。例如，所述应用程序可从ct图像数据中识别出管腔(如气道、血管以及/或者淋巴管结构)的位置，并且基于所述管腔的位置，确定肺裂隙的所在以及该裂隙的完整度，以及确定胸膜表面和/或靶标的位置。所述3d模型和放射图像数据可随后供临床医生和/或主刀大夫查看以计划医疗过程，如诊断过程，以及/或者治疗过程如消融术或外科手术或干预过程。所述3d模型和/或过程计划可进一步被存储以供稍后在诸如手术室中或类似的医疗过程期间查看。
在医疗过程中，所述3d模型可被显示(如下文进一步描述的)以帮助临床医生将一个或多个工具导航至一个或多个选定的靶标。在医疗过程中的各个时间段，可收集额外的图像数据以显示该工具和/或该靶标在该患者胸部内的实时位置。例如，当工具接近靶标时，或在临床医生选定的任何其它时间，可进行锥形束断层扫描(cbct)或任何其它适用的成像方式，并处理所采集的图像数据以实时识别出该工具和/或该靶标的实际位置。所述3d模型可随后基于收集自cbct扫描的图像数据而更新，从而显示该工具和/或该靶标的更新后的位置。收集自cbct扫描的图像数据可进一步显示该工具在该患者呼吸周期的各个阶段期间以及各个肺容积时的位置，并因此为软件应用程序提供相应的跟踪的能力。尽管初始3d模型可能是基于当该患者处于呼吸周期的特定阶段中时所采集的数据而生成，该患者将在医疗过程期间处于不同肺容量/容积以及在医疗过程期间循环经历正常潮式量呼吸。因此，在该患者呼吸周期的各个阶段(特别是正常潮式量呼吸期间)采集过程间图像数据，可提供该工具和靶标在该患者胸部内的位置以及该工具相对于该靶标的位置的更清晰和更准确的可视化。由此，过程间cbct扫描可用于确认将该工具安放至该靶标。
本文所述的方法、系统、装置和计算机可读介质可用于针对在患者肺脏及患者胸部周围组织进行的诊断和/或治疗过程的各种计划和/或导航场景中。例如，在其中临床医生正在对患者肺脏的一个区域进行治疗的实施方案中，所述方法和系统可为该临床医生提供该患者肺脏的各种视图以及其中工具和靶标的位置。另外，正如将在下文中所详述的，所述方法和系统可为该临床医生提供在临床医生选择的时间更新3d模型的能力，其通过进行一个或多个过程间cbct扫描并将所得数据集成以收集该工具和/或靶标在患者胸部的位置的更新后的位置数据。下文详述了本公开的这些及其它方面。
用于在患者胸部计划和进行诊断和/或治疗过程的方法可以经由电磁导航(emn)系统实现。通常，在实施方案中，所述emn系统可通过以下步骤而用于计划到达患者肺脏的一个区域：识别该患者肺脏内一个或多个靶标的位置；选定所述靶标中的一个或多个作为靶位置；确定至该靶位置的通路；将定位组件导航至该靶位置；以及将多种工具如治疗工具、活检工具等导航至该靶位置。所述emn系统可被配置为显示该患者胸部以及上述3d模型的多种视图。
结合图1，根据本公开提供了适用于实施用于在患者胸部进行诊断和治疗过程的方法的emn系统100。一种此类emn系统100是现由covidienlp所售的electromagneticnavigation
支气管镜50被构造成用于经患者口腔和/或鼻腔插入到该患者的气道中。支气管镜50包括光源和视频成像系统(未明确显示)并被连接到监测设备30，例如，视频显示，用于显示接收自支气管镜50的视频成像系统的视频图像。在实施方案中，支气管镜50可与导管导引组件90结合工作。导管导引组件90包括可定位导引装置(lg)92和延伸的工作导槽(ewc)96，其被配置成用于经支气管镜50的工作导槽插入到患者气道中(但该导管导引组件90也可在没有支气管镜50的情况下使用)。导管导引组件90包括连接到ewc96的柄部91，并且其可以通过旋转和压缩操作而引导lg92和ewc96。ewc96的尺寸为适于安放在支气管镜50的工作导槽中。在导管导引组件90工作时，lg92(包括em传感器94)被插入到ewc96中并锁定位置使得em传感器94延伸超出ewc96的远端末梢93一段需要的距离。em传感器94以及ewc96的远端末梢93的位置，处于由em场发生器76产生的em场内，可以通过跟踪模块72和计算设备80获得。有关导管导引组件90的更具体的描述，可参考标题为“microwaveablationcatheterandmethodofutilizingthesame”的由ladtkow等人于2013年3月15日提交的共同所有的美国专利no.9,247,992，其全文以引用方式并入本文。
lg92和ewc96可相对彼此通过锁定机构99选择性地锁定。六自由度em跟踪系统70，例如，类似于在美国专利no.6,188,355以及已公开的pct申请号wo00/10456和wo01/67035(由gilboa于1998年12月14日提交的，标题为“wirelesssix-degree-of-freedomlocator”，以上每者以引用方式全文并入本文)中所披露的那些，或任何其它适用的定位测量系统，被用于进行导航，但还可以想到其它配置。
如下详述，em跟踪系统70可被配置成与导管导引组件90一起使用以跟踪em传感器94的位置(当其与ewc96联动通过患者气道时)。在实施方案中，em跟踪系统70包括：跟踪模块72、多个参照传感器74、以及em场发生器76。如图1所示，em场发生器76设置在患者下方。em场发生器76和多个参照传感器74与跟踪模块72互连，从而获得各个参照传感器74的六自由度位置。一个或多个参照传感器74附接到患者的胸部。参照传感器74的六自由度坐标被作为数据发送到计算设备80(其包括应用程序81)，其中来自传感器74的数据被用于计算患者参照坐标系。
尽管em传感器94在上文中被描述为包括在lg92中，但还是设想了em传感器94可嵌入或结合到导管导引组件90自身或工具(如活检工具62和/或消融工具64)中，其中所述工具还可被用于导航而无需lg92或使用lg92所要求的必要的工具替换。em传感器94还可被嵌入或结合到ewc96中，譬如ewc96的远端部分，从而使得能够跟踪ewc96的远端部分而无需单独的lg92。根据实施方案，治疗工具62、64被配置为可插入到导管导引组件90中，随后导航至靶标位置并移除lg92。活检工具62可用于从靶标位置收集一个或多个组织样品，并且在实施方案中，被进一步配置成与跟踪系统70结合使用以便于将活检工具62导航至靶标位置，并且当其相对于靶标位置操纵以获得组织样品时，跟踪活检工具62的位置。消融工具64被配置成与发生器66(如射频发生器或微波发生器)一起工作，并且可包括各种消融工具和/或导管中的任何一种，其实例在美国专利号9,259,269、9,247,993、9,044,254、和9,370,398，以及美国专利申请公开号2014/0046211中有更全面的描述，其均标题为“microwaveablationcatheterandmethodofusingthesame”，由ladtkow等人于2013年3月15日提交，以上每者以引用方式全文并入本文。虽然图1中仅显示了活检工具和微波消融工具，本领域技术人员将认识到其它工具包括例如rf消融工具、近距离放射治疗工具及其它也可类似地调配和跟踪而不脱离本公开的范围。
计算设备80包括软件和/或硬件，如应用程序81，用于方便emn过程的各个阶段，包括：生成3d模型；识别靶标位置；计划至靶标位置的通路；使3d模型与患者的实际气道相匹配；以及导航至靶标位置。例如，计算设备80利用采集自ct扫描、cbct扫描、磁共振成像(mri)扫描、正电子发射断层扫描(pet)和/或任何其它合适的成像方式的数据以生成并显示患者胸部的3d模型，从而使得能够在3d模型上(自动地、半自动地或手动地)识别出靶标位置，并且允许确定和选择经由患者气道到达靶标位置的通路。虽然ct扫描图像数据可能在图像数据中存在间隔、遗漏和/或其它缺陷，但是3d模型是患者气道的平滑表征，其中ct扫描图像数据中的任何此类间隔、遗漏和/或缺陷均被填补或校正。3d模型可在与计算设备80相连的显示器上显示，或以任何其它合适的方式提供。本文所述的计划软件的实例可见于美国专利公开号2014/0281961、2014/0270441和2014/0282216，其由baker等人于2013年3月15日提交，标题为“pathwayplanningsystemandmethod”，以上每者均以引用方式全文并入本文。计划软件的另外的实例可见于共同转让的美国专利公开号2016/0000302，标题为“systemandmethodfornavigatingwithinthelung”，由brown等人于2015年6月29日提交，其全文以引用方式并入本文。
使用计算设备80，临床医生可以显示并操作3d模型的各种视图以便于识别靶标位置。如上所述，靶标位置可能是即将进行治疗的手术部位和/或需要评估和治疗的患者肺脏的一部分、整个肺叶或多个肺叶。3d模型可包括对应于患者肺脏实际气道的模型气道树等，并且显示患者实际气道树的各个通道、分支和分岔。另外，3d模型可包括：病变、标记、血管和脉管结构、淋巴管和结构、器官、其它生理结构、以及/或者患者肺脏的胸膜表面和裂隙的3d渲染。可选择性地显示上述要素中的部分或全部，从而当临床医生查看3d模型时可选择应当显示哪些要素。
在治疗过程中，当em传感器94沿着计划阶段所计划的通路在患者气道内推进时，em传感器94(结合跟踪系统70)能够跟踪em传感器94(以及ewc96的远端末梢93或工具62、64)。作为该过程的初始步骤，将3d模型与患者的实际气道相匹配。一种可能的配准方法，下文中称为“肺调查法”，涉及将lg92导航进入患者肺脏的各个肺叶，并至少到达该肺叶的气道的第二分岔。在配准阶段跟踪lg92的位置，并且基于所跟踪到的该可定位导引装置在患者肺脏实际气道内的位置，反复更新3d模型。此配准方法在共同所有的美国专利申请公开号2011/0085720(标题为“automaticregistrationtechnique”，由barak等人于2010年5月14日提交)和美国专利公开号2016/0000356(标题为“real-timeautomaticregistrationfeedback”，由brown等人于2015年7月2日提交)中有述，以上每者以引用方式全文并入本文。尽管该配准方法侧重于将患者的实际气道与3d模型的气道对准，配准还确保准确地确定脉管结构、胸膜表面和肺脏裂隙的位置。
在该过程中的各个时间，临床医生可导入额外的图像数据并且/或者发起对患者进行额外的扫描。如上所述，这些额外的扫描可能是cbct扫描，但本领域技术人员将认识到也可使用其它成像方式、声学方法以及预测模型。例如，也可使用超声成像、c臂x射线成像、荧光成像等而不脱离本公开的范围。额外的扫描可被导向患者身体的特定位置，在该特定位置，临床医生需要有关患者体内的em传感器94的位置(代表lg92和/或工具62、64的位置)和/或靶标位置的实时图像数据。应用程序81可接收由所述额外扫描所采集的图像数据，并处理该图像数据以识别患者体内的em传感器94的位置和/或靶标位置。应用程序81可基于所述额外的图像数据随后更新以及/或者增强3d模型。例如，所述额外的图像数据可通过额外扫描成像为患者身体特定部位提供相比原初扫描更清晰的图像，而应用程序81可基于所述额外的图像数据以更新和/或增强3d模型的一部分。应用程序81可随之显示em传感器94相对于靶标位置的实时位置，并可更新em传感器94在3d模型上所显示的位置，如果所述额外的图像数据表明基于原初图像数据所显示的位置有误。
现在转向图2，其示出根据本公开提供了适用于实施用于在患者胸部进行诊断和/或治疗过程的方法的经皮系统200。系统200包括：显示器210、平台220(包括电磁(em)场发生器221)、工具230、超声传感器240(连接至超声工作台250)、蠕动泵260、以及计算设备80(附接至微波发生器270或可操作地与之连通)。计算设备80可以是类似于上文中结合图1所述的计算设备80。另外，计算设备80可被配置成控制微波发生器270、蠕动泵260、电源(未示出)、以及/或者任何其它与系统200相关或构成其一部分的附件和外设。显示器210被配置成输出与医疗过程的表现相关的指令、图像和信息。
平台220可以是，例如，手术台或其它在医疗过程中适用的平台，其包括em场发生器221。em场发生器221被用于在医疗过程中产生em场，并构成用于跟踪工具在患者胸部内的位置的em跟踪系统的一部分。em场发生器221可包括各种组件，如特别设计的垫子，从而被放置于手术台或病床之下或整合至其中。此类em跟踪系统的实例是northerndigitalinc.所售的auroratm系统。
工具230是用于经皮进入并在靶标位置进行诊断和/或治疗过程的医疗仪器。例如，工具230可以是用于消融组织的具有微波消融天线的消融探针。作为另外一种选择，工具230可以是用于消融组织的冷冻消融或射频(rf)消融探针。在一些实施方案中，工具230可包括光学仪器，如红外成像装置、热成像装置、共焦成像装置、光学相干层析(oct)成像装置等。工具230还可包括或附接有各种传感器，包括放射性核素检测器、温度传感器、光学传感器和/或实现em跟踪系统的em传感器，以跟踪工具230在患者胸部内的位置、定位和取向(也称为“姿态”)。微波发生器270可被配置成向工具230输出微波能量。蠕动泵260可被配置成将流体泵送经过工具230从而冷却工具230。虽然本公开描述了系统200在手术环境中的用途，但也可以想到系统200的部分或全部组件可被用于其它环境，例如，成像实验室和/或办公环境。
除了em跟踪系统，还可以通过使用超声成像使上述仪器可视化。超声传感器240，如超声棒，可用于在医疗过程中使患者胸部的一个或多个部分成像，从而使所述仪器(如工具230)在患者胸部内的位置可视化。超声传感器240可具有嵌入超声棒内或附接其上的em跟踪传感器，例如，夹式传感器或贴片传感器。超声传感器240可相对于工具230设置，使得工具230与超声图像平面呈一角度，从而使得临床医生能够从视觉上观察到工具230与超声图像平面以及与所成像对象的空间位置关系。另外，em跟踪系统还可跟踪超声传感器240的位置。在一些实施方案中，可将一个或多个超声传感器240置于患者体内。em跟踪系统可随之跟踪此类超声传感器240和工具230在患者体内的位置。超声工作台250可用于配置、操作以及/或者查看由超声传感器240所捕获的图像。同样，计算设备80可用于(直接或经由超声工作台中继)配置、操作以及/或者查看由超声传感器240所捕获的图像。
在医疗过程进行期间也可使用各种其它仪器或工具，如ligasuretm装置、外科缝合器等。在其中工具230是微波消融探针的实施方案中，所述微波消融探针通过使用微波能量加热组织以使癌细胞变性或将其杀死而被用于消融病变或肿瘤(下文称为“靶标”)。包括此类消融探针的系统的构造和用途在共同未决的美国专利公开号2016/0058507(标题为“microwaveablationsystem”，由dickhans于2014年8月26日提交)、美国专利no.9,247,992(标题为“microwaveablationcatheterandmethodofutilizingthesame”，由latkow等人于2013年3月15日提交)和美国专利no.9,119,650(标题为“microwaveenergy-deliverydeviceandsystem”，由brannan等人于2013年3月15日提交)中有更全面的描述，上述每者均以引用方式全文并入本文。
如上所述，可在医疗过程中跟踪工具230在患者胸部内的位置。跟踪工具230的位置的示例方法是通过使用em跟踪系统，其通过跟踪附接到或结合到工具230的传感器来跟踪工具230的位置。可使用各种类型的传感器，如印制传感器，其构造和用途在共同未决的美国专利公开号us2016/017487314/919,950(标题为“medicalinstrumentwithsensorforuseinasystemandmethodforelectromagneticnavigation”，由greenburg等人于2015年10月22日提交)中有更全面的描述，其全文以引用方式并入本文。类似于上述系统200的经皮治疗系统在共同未决的美国专利申请公开号2016/0317224(标题为“microwaveablationplanningandproceduresystems”，由girotto等人于2016年4月15日提交)中有进一步描述，其全文以引用方式并入本文。
虽然上述系统200使用微波发生器270来为工具230提供微波能量，本领域技术人员将认识到可以使用各种其它类型的发生器和工具而不脱离本公开的范围。例如，可用从rf发生器接收rf能量的射频(rf)消融工具替换上述微波发生器和消融工具。
现在转向图3，其根据本公开的实施方案示出了适用于实施用于在患者胸部进行诊断和治疗过程的示例性方法的流程图。虽然下述步骤使用图1的支气管系统100作为实例，本领域技术人员将认识到可替换为图2的经皮系统200并且改动下述步骤以适应经皮过程而不脱离本公开的范围。从步骤s302开始，计算设备80接收患者胸部的图像数据。该图像数据可通过各种成像方式中的一种或多种收集，包括：计算机断层(ct)扫描、锥束计算机断层(cbct)扫描、磁共振成像(mri)扫描、正电子发射断层(pet)扫描、超声扫描、x射线扫描以及/或者本领域技术人员已知的任何其它相关成像方式。在一些实施方案中，可组合使用来自多个过程前扫描的图像数据。在其它实施方案中，仅使用来自最近扫描的图像数据。所述过程前扫描可在过程前(如过程的数天和/或数周之前)进行，以及/或者可当患者已就该过程准备就绪后在过程开始时进行。图像数据可被接收或转换成统一的数据格式，如医学数字成像与通信(dicom)标准。
接着，在步骤s304，应用程序81处理所接收的图像数据以从该图像数据中识别出一个或多个患者器官。例如，应用程序81可从图像数据中识别出患者的肺脏。该图像处理可包括自动和/或用户参与的图像分析以从图像数据中识别出患者肺脏。可使用各种图像处理方法，包括区域生长技术，如在共同未决的美国专利公开号2016/0038248(标题为“treatmentprocedureplanningsystemandmethod”，由bharadwaj等人于2015年8月10日提交)和共同未决的美国专利公开号2016/0005193(标题为“systemandmethodforsegmentationoflung”，由markov等人于2015年6月30日提交)中所述，以上每者均以引用方式全文并入本文。
此后，在步骤s306，应用程序81确定管腔和/或患者肺脏的其它关键结构的位置。所述管腔可包括：患者支气管树的气道、患者脉管树的动脉和静脉、以及/或者患者淋巴树的淋巴管腔和淋巴结。健康的肺脏将通常在各肺叶的支气管树、脉管树和淋巴树的每者中具有独立的分支。然而，病变或畸形的肺叶可能存在来自一个或多个这些树的分支的管腔与来自相邻肺叶的分支的管腔相融合。在这种情况下，可能有必要治疗(如通过切除)多个融合的肺叶的全部或部分。
接着，在步骤s308，应用程序81生成患者胸部的三维(3d)模型。该3d模型包括患者肺脏的图形表征，显示：支气管树、脉管树和淋巴树的管腔的位置、以及患者肺脏的胸膜表面和裂隙、和/或肿瘤或患者肺脏中可能存在的其它异常结构。该模型还可表明哪里存在不完整裂隙以及哪里来自相邻肺叶的管腔已融合在一起。
在步骤s310，例如，通过使用显示装置(如下文所述图4的显示器406)将3d模型和图像数据显示给临床医生。临床医生可检查3d模型和图像数据的各种视图，并确定患者肺脏的哪些区域应当接受治疗。临床医生还可检查患者肺脏的裂隙的位置和完整度，从而确定治疗患者肺脏的病变区域所需过程的复杂度和范围。临床医生还可通过查看步骤s312的图像数据和/或3d模型来选择一个或多个靶标位置。例如，通过使用计算设备80的显示装置406和输入装置410(在下图4中所述)，临床医生可查看图像数据和/或3d模型并可识别和选择一个或多个靶标位置。临床医生可选择并且/或者标记图像数据的各个区域以将那些区域识别为可能需要诊断和/或治疗的区域。所述区域可能是患者肺脏的一个或多个整个肺叶，或患者肺脏的单个肺叶的一个或多个部分，或所识别出的胸部内肿瘤、病变或异常区域。此后，应用程序81可在3d模型中识别并标记对应于临床医生所标记的位置的位置。作为另外一种选择或除此之外，应用程序81可(例如，通过进行图像处理和分析)自动选择一个或多个靶标位置用于诊断和/或治疗。
此后，在步骤s314，应用程序81可自动或随着临床医生的输入而生成过程计划，如在上文提到的美国专利公开号2016/0038248中所进一步描述的。过程计划可包括至一个或多个靶标位置的通路。就支气管过程(如通过使用图1的系统100)而言，所述通路可始于患者的气管并经由患者肺脏的气道和周围实质行进至所述一个或多个靶标位置。作为另外一种选择，就经皮过程(如通过使用图2的系统200)而言，所述通路可始于患者皮肤上的一点并穿过介于其间的组织行进至所述靶标位置中的至少一个。有关生成至靶标位置的通路的进一步的信息可见于共同所有且共同未决的美国专利申请号15/253,084(标题为“pathwayplanningforusewithanavigationplanningandproceduresystem”，由williams.krimsky于2016年8月31日提交)，其全文以引用方式并入本文。正如本领域技术人员将认识到的，与美国专利公开号2016/0038248中所述的现有的ilogictm计划系统一致，此过程计划的生成可通过简单地查看图像数据而在生成3d模型之前发生而不脱离本公开的范围。
在生成过程计划之后，可如上所述在步骤s316将3d模型与患者身体相匹配。此后，在步骤s318的医疗过程中，当工具如lg92或工具62、64被导航至患者的气道附近时，应用程序81(经由em跟踪系统70)跟踪em传感器94的位置。例如，应用程序81从em跟踪系统70接收em跟踪数据(有关em传感器94在由em场发生器76所产生的em场内的位置)，并处理所述em跟踪数据以确定em传感器94在患者气道内的位置。应用程序81随后在步骤s320于3d模型上显示所跟踪到的em传感器94的位置，从而为工具在患者胸部内的位置提供指示。
在步骤s322，应用程序81确定是否已经收到额外的图像数据。如上所述，临床医生(在医疗过程中的各个时间)可对患者身体进行额外的扫描或输入其它图像数据。例如，当将工具导航至患者气道附近的预定距离或临床医生所选定的点之后，临床医生可对患者身体进行cbct扫描(如直接在工具所在的位置和/或靶标位置所在的位置)以采集额外的图像数据。由于该额外的图像数据采集自医疗过程中，因此该额外图像数据是实时图像数据，其显示了lg92和/或工具62、64在患者胸部内的实际位置。同样，该额外的图像数据可以显示靶标位置的实际位置。由于患者呼吸周期所引发的气道和周围实质(以及患者肺脏内的其它结构)的移动，因此在患者呼吸周期的某些阶段以及不同的肺容量时，(基于过程前采集的图像数据而生成的)3d模型可能与患者肺脏内气道和其它结构的实际位置不同步。如上所述，可以通过获得实时图像数据来考量和/或补偿此类移动。
如下文所述，步骤s324-s336描述了可由应用程序81在过程中的各个时间点接收到额外的cbct图像数据后所执行的图像处理。如本文所描绘及描述，步骤s324-s336的图像处理是在过程的导航阶段的暂停期间(始于上文步骤s316并在下文步骤s338继续)进行的。在此导航阶段的暂停期间，lg92和/或工具62、64可短暂地保持在固定位置。然而，本领域技术人员将认识到，步骤s324-s336的图像处理也可与治疗过程的导航阶段同时进行，并且因此lg92和/或工具62、64不必保持在固定位置。
因此，如果已经接收到额外的图像数据，应用程序81(在步骤s324)显示该额外图像数据的对比、在步骤s302接收到的原初图像数据、3d模型以及/或者em传感器94的当前位置。例如，应用程序81可以类似于上述处理原初图像数据的方式处理该额外的图像数据并且并排显示该额外图像数据与所述原初图像数据从而指明差异。在一些实施方案中，应用程序81可基于所述额外的图像数据而生成部分3d模型并以与在步骤s308所生成的3d模型的比较和/或覆盖其上的形式显示此部分3d模型。所述应用程序可随后在步骤326等待来自临床医生的输入以认可使用所述额外的图像数据。如果临床医生认可了所述额外的图像数据，则进程推进至步骤s328。或者，如果临床医生未认可所述额外的图像数据，则进程跳进至步骤s338。
在临床医生认可使用所述额外的图像数据之后，该额外的图像数据被匹配至3d模型。例如，在步骤s316的配准方法中获得的数据可与所述额外的图像数据拟合并且/或者比对从而将该额外的图像数据配准到3d模型。作为另外一种选择或除此之外，可基于在该额外及原初图像数据中识别出的陆标和/或基准标记将该额外的图像数据与在步骤s302接收到的原初图像数据进行匹配和/或比对。应用程序81可以自动将所述额外的图像数据配准至患者身体而无需临床医生重复上述肺调查配准法，因为所述额外的图像数据采集自过程间并且由于患者正处于过程的导航阶段中，所以在采集该额外的图像数据时患者保持大致相同位置。因此，在3d模型被匹配至患者气道后，中央气道的位置不会显著改变。另外，由于靶标位置是在步骤s312基于3d模型识别并且/或者选定的，因此在步骤s316进行的3d模型与患者气道的配准还会基于该配准而将靶标位置在3d模型中的定位与患者身体进行比对。因此，当应用程序81将额外的图像数据匹配至3d模型并且应用程序81确定3d模型中所跟踪的em传感器94相对于靶标位置的定位的位置不同于所述额外的图像数据中lg92和/或工具62、64相对于所述靶标位置的位置时，应用程序81可识别出应当基于所述额外的图像数据进行更新的3d模型的一个或多个部分。
应用程序81还可就充分屏气期间采集和/或产生的靶标位置、lg92和/或工具62、64与原初图像数据和/或3d模型之间的位置差异乃至移动，以及在患者呼吸周期的各个阶段过程间采集的所述额外的图像数据而存储参照数据。此参照数据可被输入到数据库中，并与在涉及同一患者和/或经历类似或相关过程的其它患者的其它过程中存储的参照数据相比较，从而生成患者胸部内的器官及其它结构在呼吸周期中的相对运动的预测模型。在已集合了足以生成此类预测模型的数据后，应用程序81还可在步骤s324所显示的比较中包括来自该预测模型的数据。在一些实施方案中，应用程序81还可基于患者的呼吸周期中患者胸部内器官和结构的预测运动而在过程中持续更新所显示的3d模型，从而生成反映患者呼吸周期的当前阶段的“呼吸3d模型”。
在步骤s328，应用程序81基于所述额外的图像数据和/或所述部分3d模型而更新所述3d模型的一个或多个部分。例如，由于成像的比例和质量，在步骤s302接收到的原初图像数据可能不包括有关气道和气道外层的其它结构和/或脉管树的足够的细节和/或清晰度，因而局部成像如本文所述的cbct成像可提供有关气道树外边缘的改善的细节和/或清晰度。因此，应用程序81可基于所述额外的图像数据而增强和/或更新3d模型的一个或多个部分。应用程序81还可如上所述基于3d模型与额外图像数据之间em传感器94的位置和/或靶标位置的差异而更新(被识别为需要更新的)3d模型的一个或多个部分。
此后，在步骤s330，应用程序81可处理所述额外的图像数据以从所述额外的图像数据中识别出靶标位置和lg92和/或工具62、64的实时/实际位置。尽管被描绘和描述成在更新3d模型之后进行，从所述额外的图像数据中识别出靶标位置和lg92和/或工具62、64可能在应用程序81接收到所述额外的图像数据之后的任何时间点进行。例如，识别靶标位置和lg92和/或工具62、64可能作为在步骤s324进行的对额外图像数据的处理的一部分而进行。应用程序81还可处理所述额外的图像数据以如上在步骤s306所述确定患者肺脏内管腔及其它结构的位置。在识别出靶标位置和lg92和/或工具62、64之后，应用程序81可在3d模型上显示所识别出的lg92和/或工具62、64以及靶标位置的位置的标识。应用程序81还可显示表明在步骤s312所识别出的靶标位置的移动以及在此步骤s330所识别出的靶标位置的定位的覆盖图。
应用程序82可随后等待临床医生的确认所识别出的位置的输入。如果临床医生认可了所识别出的lg92和/或工具62、64以及靶标位置的位置，则应用程序81会将在3d模型上所显示的代表em传感器94和靶标位置的定位的标识的位置更新为所识别出的lg92和/或工具62、64以及靶标位置的位置，并将进程推进至步骤s334。或者，如果临床医生未认可所识别出的位置，则进程跳进至步骤s338。
在步骤s334，应用程序81生成从代表em传感器94在3d模型上的位置的标识的更新后的位置连通至靶标位置的更新后的位置的更新后的通路。在一些实施方案中，应用程序81还可生成并显示经由患者气道至靶标位置的新通路，或穿过气道外实质到达靶标位置的轨迹。
此后，在步骤s336，应用程序81可显示3d模型的局部。例如，所述3d模型的局部可能是显示更新后的至靶标位置的通路的3d模型的一部分。也就是说，所述3d模型的局部可能不包括整个气道树，而是仅包括在步骤s330所确定的lg92和/或工具62、64所位于的气道以及沿着至靶标位置的通路从该气道分岔出的任何气道。在另一个实施方案中，在步骤s326之后生成的所述部分3d模型(如上所述)可用作所述局部3d模型，从而减少对计算设备80的处理需求。
在步骤s338，应用程序81确定所跟踪的em传感器94乃至lg92和/或工具62、64的位置是否已经改变。如果所跟踪的em传感器94的位置已经改变，则在步骤s340，应用程序81在3d模型上显示em传感器94的更新后的位置。例如，当lg92和/或工具62、64被导航至患者胸部附近时，应用程序81可反复更新em传感器94在3d模型上所显示的位置。
此后，如果em传感器94的位置未改变，则进程推进至步骤s342，其中应用程序81确定医疗过程是否已经完成。如果医疗过程尚未完成，则进程返回至步骤s322，其中应用程序81再次确定是否已经接收到额外的图像数据。或者，如果应用程序81确定医疗过程已经完成，则进程结束。
上述系统、装置和方法的另外的有益效果包括：临床医生可在医疗过程中的各个时间进行额外的扫描以更准确地确定工具在患者气道中的位置，以及基于侧重于患者身体的特定部位的图像数据来确认靶标位置的定位。当工具接近靶标位置时，临床医生还可进行额外的扫描以确认所述工具被安放至所述靶标位置。基于所述额外的扫描，可以确定所述工具相对于靶标位置并基于患者呼吸周期的当前阶段的更新后的位置。因此，在所述额外的扫描之后，所述工具，例如活检工具62，可直接前进至靶标位置，而无论是在患者气道内部或外部，因为所述工具和靶标位置的实际位置以及所述工具相对于所述靶标位置的位置均是已知的并且可以被实时跟踪。
现在转向图4，其显示了计算设备80的简化框图。计算设备80可包括：存储器402、处理器404、显示器406、网络接口408、输入装置410以及/或者输出模块412。存储器402可存储应用程序81和/或图像数据414。当由处理器404执行时，应用程序81可使得显示器406提供用户界面416。应用程序81还可提供所跟踪的em传感器94的位置与在通路计划阶段所形成的图像和计划数据之间的联系。
存储器402可包括可由处理器404执行的用于存储数据和/或软件的任何非暂态计算机可读存储介质，其控制着计算设备80的运行。在实施方案中，存储器402可包括一个或多个固态存储装置如闪存芯片。作为另外一种选择，或除了所述一个或多个固态存储装置之外，存储器402可包括一个或多个通过大容量存储控制器(未示出)和通信总线(未示出)连接至处理器404的大容量存储装置。虽然本文所述的计算机可读介质指代固态存储器，但本领域技术人员应当理解，计算机可读存储介质可以是可以通过处理器404访问的任何可用的介质。也就是说，计算机可读存储介质包括以任何方法或技术实现的用于存储信息如计算机可读指令、数据结构、程序模块或其它数据的非暂态、易失性和非易失性、可移动和不可移动介质。例如，计算机可读存储介质包括：ram、rom、eprom、eeprom、闪存或其它固态存储器技术、cd-rom、dvd、蓝光或其它光学存储器、磁带、磁条、磁盘存储器或其它磁存储装置、或可以用于存储所需信息并可以通过计算设备80访问的任何其它介质。
网络接口408可被配置成连接至网络，如由有线网络和/或无线网络组成的局域网(lan)、广域网(wan)、无线移动网络、蓝牙网络以及/或者因特网。输入装置410可以是用户可倚之与计算设备80进行交互的任何装置，如例如，鼠标、键盘、脚踏板、触摸屏以及/或者语音界面。输出模块412可包括任何连接端口或总线，如例如，并行端口、串行端口、通用串行总线(usb)或本领域技术人员已知的任何其它类似的连接端口。
包含了此类装置的装置、系统以及其使用方法的具体实施方案如本文所述。然而，这些具体实施方案仅仅是本公开的实例，其可能以多种形式体现。因此，本文所公开的特定的结构和功能细节不应理解为限制性的，而仅仅是权力要求书的基础，并作为具有代表性的基础用于允许本领域技术人员以合适的具体结构多样化地运用本公开。尽管前述实施方案是以患者气道的支气管镜描述的，但是本领域技术人员将认识到，相同或类似的装置、系统和方法也可用于其它管腔网络，如例如，脉管网络、淋巴网络以及/或者胃肠道网络。
尽管在附图中已经示出了本公开的几个实施例，但是本公开不旨在限于此，因为本公开旨在与本领域所允许的范围那样宽泛，并且旨在同样宽泛地阅读说明书。因此，以上说明不应理解为限制性的，而是仅作为具体实施例的例示。本领域技术人员将预想到在所附权利要求书的范围和精神内的其它修改形式以及最终使用预测建模以确定并更新数据。