技术领域
本公开涉及用于导航患者解剖结构以进行微创程序的系统和方法，并且更特别地涉及配准用于进行微创程序的多个视觉系统的系统和方法。
背景技术：
微创医疗技术旨在减少在介入性程序期间被损伤的组织的量，由此减少患者恢复时间、不适以及有害副作用。这类微创技术可以通过患者解剖结构内的自然孔口或者通过一个或多个外科手术切口来执行。通过这些自然孔口或切口，临床医生可以插入介入性器械(包括外科手术器械、诊断器械、治疗器械或活检器械)以达到目标组织位置。为了达到目标组织位置，微创介入性器械可以导航在解剖结构系统(例如，肺、结肠、肠、肾、心脏、循环系统等)中的自然的或外科手术产生的通道中。多个系统可以被用于辅助临床医生引导介入性器械通过解剖结构通道。这些系统包括向临床医生显示来自介入性器械的视点的解剖结构通道的视图的可视化系统。需要改进的系统和方法以便利用多个可视化系统来增强临床医生对介入性器械的位置和姿态的理解。
技术实现要素：
本发明的实施例由随附的权利要求概括。
在一个实施例中，一种方法包括生成解剖结构区域的模型并且从位于解剖结构区域内的内窥镜图像捕获探针接收真实图像。该方法还包括识别真实图像中的真实基准区域并且识别解剖结构区域的模型中的多个虚拟组织结构。该方法还包括将多个虚拟组织结构中的一个与真实基准区域进行匹配并且根据多个虚拟组织结构中的匹配的一个虚拟组织结构确定内窥镜图像捕获探针的探针姿态。
在另一实施例中，医疗系统包括柔性导管主体、在导管主体内延伸的图像捕获探针以及存储描述解剖结构区域的解剖结构数据的存储器。该系统还包括处理器，该处理器被配置为生成解剖结构区域的模型并且从位于解剖结构区域内的图像捕获探针接收真实图像。该处理器被进一步配置为识别真实图像中的真实基准区域并且识别解剖结构区域的模型中的多个虚拟组织结构。该处理器被进一步配置为将多个虚拟组织结构中的一个与真实基准区域进行匹配并且根据多个虚拟组织结构中的匹配的一个虚拟组织结构确定图像捕获探针的探针姿态。
一种配准解剖结构图像的方法，该方法包括生成解剖结构区域的三维模型并且从位于解剖结构区域内的内窥镜图像捕获探针接收真实图像。该方法进一步包括识别真实图像中的真实基准区域并且从方位传感器接收方位信息，该方位信息识别解剖结构区域中的探针的尖端所处的子区域。该方法进一步包括识别子区域中的多个虚拟组织结构、将子区域中的多个虚拟组织结构中的一个与真实基准区域进行匹配以及根据子区域中的多个虚拟组织结构中的匹配的一个虚拟组织结构确定内窥镜图像捕获探针的探针姿态。
附图说明
当与附图一起阅读时，从以下具体实施方式中更好地理解本公开的各方面。需要强调的是，根据行业标准惯例，各种特征没有按比例绘制。事实上，各种特征的尺寸可以被任意地增加或减少，以便清晰地讨论。此外，本公开可能在各个示例中重复参考编号和/或字母。这种重复是出于简化和清晰的目的，并且本身并不规定所讨论的各个实施例和/或配置之间的关系。
图1是根据本公开的实施例的机器人介入系统。
图2示出利用本公开的各方面的介入性器械系统。
图3a是来自肺部内的可视化器械的采样真实图像。
图3b是从图3a的真实图像中提取的组织结构的表示。
图3c和3d是从图3a的真实图像中提取的组织结构的分层表示。
图3e是描绘肺部的跟踪图像，微创器械被插入肺部内。
图3f是图3e的跟踪图像的子区域的放大视图。
图3g是显示真实图像、虚拟图像、微观跟踪图像以及宏观跟踪图像的示例性显示屏。
图4a-4d是示出配准多个可视化系统的方法的流程图。
具体实施方式
在本发明的各方面的以下具体实施方式中，陈述多个具体细节是为了彻底理解所公开的实施例。然而，对于本领域技术人员显而易见的是，本公开的实施例可以在没有这些具体细节的情况下被实施。在其他情况下，没有详细描述熟知的方法、程序、部件以及电路，以免不必要地掩盖本发明实施例的各方面。并且，为了避免不必要的描述性重复，当适用于其他说明性实施例时，根据一个说明性实施例描述的一个或多个部件或动作可以被使用或省略。
以下的实施例将依据各种器械和器械的各部分在三维空间中的状态来描述它们。如本文使用的，术语“方位”指代对象或对象的一部分在三维空间(例如，沿笛卡尔X、Y、Z坐标系的三个平移自由度)中的位置。如本文使用的，术语“取向”指代对象或对象的一部分的旋转布置(三个旋转自由度，例如滚动、俯仰和偏摆)。如本文使用的，术语“姿态”指代对象或对象的一部分在至少一个平移自由度中的方位以及对象或对象的一部分在至少一个旋转自由度中的取向(高达六个总的自由度)。如本文使用的，术语“形状”指代沿着对象测得的一组姿态、方位或取向。
参考附图中的图1，用在例如外科手术程序、诊断程序、治疗程序或活检程序中的机器人介入性系统总体由参考编号100指示。如图1所示，机器人系统100通常包括介入操纵器组件102，用于操作介入性器械104对患者P执行各种程序。组件102被安装到手术台O或者在手术台O附近。主控组件106允许外科医生S观察外科手术部位并且控制从动操纵器组件102。
主控组件106可以位于外科医生的控制台C，所述控制台通常位于与手术台O相同的房间内。然而应该理解，外科医生S可以位于与患者P不同的房间内或者完全不同的建筑内。主控组件106通常包括可选的支撑件108和控制操纵器组件102的一个或多个控制设备112。控制设备112可以包括任何数量的多种输入设备，例如操纵杆、追踪球、数据手套、触发枪、手操作控制器、声音识别设备、身体动作或存在传感器等。在一些实施例中，一个或多个控制设备112将被提供有与相关联的介入性器械104相同的自由度，以便向外科医生提供临场感(telepresence)，或者一个或多个控制设备112是与器械104一体的感觉，使得外科医生具有直接控制器械104的强烈感觉。在其他实施例中，(多个)控制设备112可以具有比相关联的介入性器械104更多或更少的自由度并且仍然向外科医生提供临场感。在一些实施例中，(多个)控制设备112是手动输入设备，其以六个自由度移动并且还可以包括用于致动器械(例如，用于关闭抓爪、对电极施加电势、输送药物处理等)的可致动手柄。
在替换实施例中，机器人系统可以包括多于一个从动操纵器组件和/或多于一个主控组件。操纵器组件的准确数量将取决于外科手术程序和手术室内的空间限制以及其他因素。主控组件可以是集中的，或者它们可以被定位在分开的位置。多个主控组件允许多于一个操作者以各种组合控制一个或多个从动操纵器组件。
可视化系统110可以包括内窥镜系统，使得外科手术部位的同步(实时)图像被提供给外科医生控制台C。同步图像可以是例如由位于外科手术部位内的内窥镜探针捕获的二维或三维图像。在该实施例中，可视化系统110包括可以被集成地或可移除地耦合到介入性器械104的内窥镜部件。然而，在替换实施例中，可以使用附连到单独的操纵器组件的单独的内窥镜来对外科手术部位进行成像。替换地，单独的内窥镜组件可以由用户直接操作，而无需机器人控制。内窥镜组件可以包括主动转向件(例如，经由遥控转向线)或被动转向件(例如，经由导向线或直接用户导向件)。可视化系统110可以被实施为硬件、固件、软件或其结合，它们与一个或多个计算机处理器交互，或者由一个或多个计算机处理器以其他方式执行，该计算机处理器可以包括控制系统116的(多个)处理器。
显示系统111可以显示由可视化系统110捕获的外科手术部位和介入性器械的图像。显示系统111和(多个)主控设备112可以被取向为使得内窥镜组件中的成像器件和介入性器械的相对方位类似于外科医生的眼睛和(多只)手的相对方位，所以操作者能够如同在基本真实的现场中观察工作空间一样，操纵介入性器械104和(多个)主控设备112。真实现场意味着所显示的组织图像对操作者来说看起来如同操作者身体存在于成像器位置并且从成像器的视角直接观察组织。
替换地或另外地，显示系统111可以使用成像技术来呈现手术前所记录和/或模拟的外科手术部位的图像，成像技术是例如计算机化层析X射线照相术(CT)、核磁共振成像(MRI)、X线透视检查、热敏成像、超声波、光学相干断层成像(OCT)、热成像、阻抗成像、激光成像、纳米管X射线成像等。所呈现的手术前图像可以包括二维、三维或四维(包括，例如基于时间或基于速度的信息)图像。
在一些实施例中，显示系统111可以显示如下虚拟可视化图像，在该图像中，介入性器械的真实位置与手术前图像或同步图像配准(例如，动态参考)，从而向外科医生S呈现外科手术器械的尖端的位置处的内部外科手术部位的虚拟图像。
在其他的实施例中，显示系统111可以显示如下虚拟可视化图像，在该图像中，介入性器械的真实位置与先前的图像(包括手术前记录的图像)或者同步图像配准，从而向外科医生S呈现外科手术部位处的介入性器械的虚拟图像。一部分介入性器械的图像可以被叠加在虚拟图像上，以便辅助外科医生控制介入性器械。
如图1中所示，控制系统116包括至少一个处理器(未示出)，并且通常为多个处理器，用于实现从动外科手术操纵器组件102、主控组件106、可视化系统101以及显示系统111之间的控制。控制系统116还可以包括编程指令(例如，计算机可读介质存储指令)以实施本文所述的某些或所有方法。虽然控制系统116在图1的简化示意图中被示为单个模块，但是该系统可以包括多个数据处理电路(例如，在从动外科手术操纵器组件102上和/或在主控组件106上)，其中至少一部分处理可选地邻近从动外科手术操纵器组件执行，一部分由主控组件执行等。可以采用任何各种集中式或分布式数据处理架构。类似地，编程指令可以被实施为多个单独的程序或子例程，或者它们可以被集成到本文所述的机器人系统的多个其他方面。在一个实施例中，控制系统116支持无线通信协议，例如蓝牙、IrDA、HomeRF、IEEE 802.11、DECT以及无线遥测。
在一些实施例中，控制系统116可以包括一个或多个伺服控制器，以便向(多个)控制设备112的一个或多个对应的伺服马达提供来自介入性器械104的力和扭矩反馈。(多个)伺服控制器还可以传输信号，这些信号指示操纵器组件102移动器械，器械经由身体的开口延伸进入患者身体内的外科手术部位中。可以使用任何合适的常规的或专门的伺服控制器。伺服控制器可以与操纵器组件102分开或集成。在一些实施例中，伺服控制器和操纵器组件被提供作为位于患者身体附近的机器人臂车的一部分。
每个操纵器组件102支持介入性器械104并且可以包括一个或多个非伺服受控连杆(例如，可以被手动定位并且锁定在适当位置的一个或多个连杆，通常被称为设置结构)和机器人操纵器的运动学结构。机器人操纵器组件102由多个致动器(例如，马达)驱动。这些马达响应于来自控制系统116的命令而主动移动机器人操纵器。马达进一步耦合到介入性器械，以便将介入性器械推进到自然的或外科手术产生的解剖结构孔口中，并且以多个自由度移动介入性器械的远端，多个自由度可以包括三个线性运动度(例如，沿着X、Y、Z笛卡尔轴线的线性运动)和三个旋转运动度(例如，围绕X、Y、Z笛卡尔轴线的旋转)。此外，马达可以被用于致动器械的可铰接末端执行器，以便将组织抓取在活检设备等的爪中。
图2示出利用本公开的多方面的微创系统200。该系统200可以被合并到诸如系统100的机器人介入性系统中。替换地，该系统200可以被用于非机器人探查程序，或者被用在涉及传统的手动操作的介入性器械(例如，腹腔镜检查器械)的程序中。系统200包括导管系统202(例如，器械104的一部分)，其通过接口单元204耦合到真实可视化系统206和跟踪系统208。导航系统210(例如，控制系统116的一部分)处理来自真实可视化系统206、跟踪系统208以及虚拟可视化系统212的信息，以便在显示系统214(例如，显示系统111的一部分)上显示。系统200可以进一步包括可选的操作和支持系统(未示出)，例如照明系统、转向控制系统、冲洗系统和/或抽吸系统。
导管系统202包括具有近端217和远端218的伸长柔性主体216。在一个实施例中，柔性主体216具有大约3mm的外直径。其他的柔性主体外直径可以更大或更小。柔性主体216容纳图像捕获探针220。图像捕获探针220包括带有立体或单视场摄像机222的尖端部分，该摄像机被设置在柔性主体216的远端218附近，用于捕获图像(包括视频图像)，这些图像被传输到真实可视化系统206并由其处理。图像捕获探针220还包括耦合到摄像机的电缆224，用于将捕获的图像数据传输到真实可视化系统206。替换地，图像捕获器械可以是耦合到成像系统的光纤束(例如，光纤镜)。图像捕获器械可以是单光谱的或多光谱的，例如，捕获可见光谱中的图像数据，或者捕获可见光谱以及红外或紫外光谱中的图像数据。
柔性主体216还容纳电缆、联动装置或者在接口204和尖端远端218之间延伸以便使远端218可控地弯曲或转向(例如，由虚线远端所示的)的其他转向控件。导管系统可以是可转向的，或者替换地可以是不可转向的，没有操作者控制器械弯曲的集成机构。柔性主体216可以进一步容纳控制机构(未示出)，用于操作外科手术末端执行器或可操纵用于医疗功能(例如，用于实现目标组织的预定处理)的另一工作远端零件。例如，某些末端执行器具有单个工作构件，例如解剖刀、刀片、光纤或电极。其他末端执行器可以包括成对或多个工作构件，例如镊子、抓紧器、剪刀或施夹器。电激活的末端执行器的示例包括电外科手术电极、换能器、传感器等。同样地或替换地，柔性主体216可以限定一个或多个管腔，介入性器械可以被部署通过其中并且被用于目标外科手术位置。
导管系统202可选地包括方位传感器系统226(例如，电磁(EM)传感器系统)和形状传感器系统228，用于确定远端218以及沿着柔性主体216的一个或多个区段230的方位、取向、速度、姿态和/或形状。在远端218和近端217之间的柔性主体216的整个长度可以被等效地划分成这些区段230。方位传感器系统226和形状传感器系统228与跟踪系统208接口连接。跟踪系统208可以被实施为硬件、固件、软件或其组合，它们与一个或多个计算机处理器交互，或者由一个或多个计算机处理器以其他方式执行，所述计算机处理器可以包括控制系统116的处理器。另外地或替换地，方位传感器系统可以耦合到探针220。例如，五个自由度的传感器可以在远端尖端附近耦合到探针220，而较大的六个自由度的传感器可以在更近端位置处耦合到导管。
方位传感器系统226可以是EM传感器系统，其包括一个或多个导电线圈，这些导电线圈可能经受外部生成的电磁场。于是，EM传感器系统226的每个线圈产生感应的电信号，其特性取决于线圈相对于外部生成的电磁场的方位和取向。在一个实施例中，EM传感器系统可以被配置并且定位以测量六个自由度(例如，三个方位坐标X、Y、Z以及指示基准点的俯仰、偏摆和滚动的三个取向角)。在1999年8月11日提交的、题为“Six-Degree of Freedom Tracking System Having a Passive Transponder on the Object Being Tracked”的美国专利6,380,732中提供了对EM传感器系统的进一步描述，该专利通过引用以其整体合并于此。
形状传感器系统228包括与柔性主体216对准的光纤(例如，被提供在内部通道内(未示出)，或者被安装在外部)。跟踪系统208可以耦合到光纤的近端。在一个实施例中，光纤具有大约200μm的直径。在其他实施例中，该尺寸可以更大或更小。
形状传感器系统228的光纤形成用于确定导管系统202的形状的光纤弯曲传感器。在一个替换例中，包含布拉格光纤光栅(FBG)的光纤被用于提供结构中的一个或多个维度上的应变测量。用于监测光纤在三个维度上的形状和相对方位的各种系统和方法在以下文献中进行了描述：2005年7月13日提交的、题为“Fiber optic position and shape sensing device and method relating thereto”的美国专利申请11/180,389；2004年7月16日提交的、题为“Fiber-optic shape and relative position sensing”的美国临时专利申请60/588,336；以及1998年6月17日提交的、题为“Optical Fibre Bend Sensor”美国专利6,389,187，这些文献通过引用以其整体合并于此。在其它替换例中，采用其他应变感测技术(例如，瑞利散射、拉曼散射、布里渊散射以及荧光散射)的传感器可以是合适的。在其他替换实施例中，可以使用其他技术来确定导管的形状。例如，如果导管的远端尖端姿态的历史被存储的时间间隔小于刷新导航显示或交替运动(例如，吸气和呼气)的周期，则姿态历史可以被用于重新构造设备在时间间隔期间的形状。作为另一示例，可以针对器械的已知点沿交替运动(例如，呼吸)的周期存储历史姿态数据、方位数据或取向数据。这个存储的数据可以被用于开发关于导管的形状信息。替换地，沿着导管设置的一系列方位传感器，例如EM传感器，可以被用于形状感测。替换地，在程序期间来自器械上的方位传感器(例如，EM传感器)的数据的历史可以被用于表示器械的形状，特别是当解剖结构通道是基本静止时。替换地，方位或取向由外部磁场控制的无线器件可以被用于形状感测。其方位的历史可以被用于确定导航通道的形状。
在该实施例中，光纤可以包括在单个包层内的多个纤芯。每个纤芯可以是单模的，其具有足够距离，并且包层将纤芯分开，使得每个纤芯中的光不会与其他纤芯承载的光显著地相互作用。在其他实施例中，纤芯的数量可以变化，或者每个纤芯可以被包含在分开的光纤中。
在一些实施例中，在每个纤芯内提供FBG阵列。每个FBG包括对纤芯的折射率的一系列调制，以便按折射率生成空间周期性。间距可以被选择为使得对于窄波长带，来自每个折射率变化的部分反射相干叠加，并且因此仅仅反射这个窄波长带，同时使更宽的带通过。在FBG的制造期间，调制被隔开已知的距离，由此导致已知波长带的反射。然而，当在纤芯上感应出应变时，调制的间距将改变，这取决于纤芯中的应变量。替换地，可以使用背散射或者随着光纤的弯曲而变化的其他光学现象来确定每个纤芯内的应变。
因此，为了测量应变，光被向下发送到光纤，并且测量返回光的特性。例如，FBG产生反射波长，该反射波长是光纤上的应变及其温度的函数。这种FBG技术在商业上可从各种来源得到，例如英国布拉克内尔的智能光纤有限公司(Smart Fibers Ltd.)。在2006年7月20日提交的、题为“Robotic Surgery System Including Position Sensors Using Fiber Bragg Gratings”的美国专利7,930,065中描述了将FBG技术用在机器人外科手术的方位传感器中，该专利通过引用以其整体合并于此。
当被应用到多芯光纤时，光纤的弯曲在纤芯上感应出应变，该应变能够通过监测每个纤芯中的波长偏移来测量。通过将两个或更多个纤芯离轴地设置在光纤中，光纤的弯曲在每个纤芯上感应出不同的应变。这些应变是局部的光纤弯曲度的函数。例如，包含FBG的纤芯区域如果位于光纤弯曲的点处，则能够由此被用于确定在这些点处的弯曲量。这些数据与FBG区域的已知间距结合，能够被用于重新构造光纤的形状。这种系统已经被弗吉尼亚州的布莱克斯堡的月神创新股份有限公司(Luna Innovations.Inc.)描述。
如所描述的，光纤被用于监测至少一部分导管系统202的形状。更具体地说，经过光纤的光由跟踪系统208处理，以便检测导管系统202的形状并且利用该信息来辅助外科手术程序。跟踪系统208可以包括用于生成和检测确定导管系统202的形状所使用的光的检测系统。该信息继而能够被用于确定其他的相关变量，例如介入性器械的零件的速度和加速度。通过实时获得这些变量中的一个或多个的准确测量值，控制器能够提高机器人介入性系统的准确度并且补偿驱动部件零件时引入的误差。该感测可以仅限于由机器人系统致动的自由度，或者可以被应用于被动自由度(例如，接头之间的刚性构件的非致动弯曲)和主动(器械的致动移动)自由度两者。
如先前描述的，真实可视化系统206处理从探针220接收的实时的真实图像。真实可视化系统206向临床医生提供关于探针的尖端的当前环境的有价值的信息，而不提供用于将导管导航到具体目标位置的方向性引导。而且，粘液、血液以及其他身体物质变得粘附到探针，从而导致阻碍了接收的真实图像。
虚拟可视化系统212提供额外的导航辅助。使用虚拟可视化系统的虚拟导航是基于参考所采集的数据集，该数据集与解剖结构通道的三维结构相关联。更具体地说，虚拟可视化系统212处理使用成像技术(例如，计算机化层析X射线照相术(CT)、核磁共振成像(MRI)、X线透视检查、热敏成像、超声波、光学相干断层成像术(OCT)、热成像、阻抗成像、激光成像、纳米管X线成像等)记录和/或模拟的外科手术部位的图像。软件被用于将所记录的图像转换成部分或全部解剖结构器官或解剖结构区域的二维或三维模型。该模型描述通道的各个位置和形状以及它们的连接性。用于生成模型的图像可以在手术前或者在临床程序期间被记录。在替换实施例中，虚拟可视化系统可以使用标准模型(即，不是特定患者的)或者标准模型和特定患者数据的混合型。该模型和由模型生成的任何虚拟图像可以表示在运动的一个或多个阶段期间(例如，在肺部的吸气/呼气循环期间)的可变形解剖结构区域的静态姿态。
在虚拟导航程序期间，可以使用传感器系统来计算器械相对于患者解剖结构的近似位置。可以跟踪该位置，以产生患者解剖结构的宏观层次的跟踪图像和患者解剖结构的虚拟内部图像。使用光纤传感器将介入性实施与手术前记录的外科手术图像(例如，来自虚拟可视化系统的那些图像)配准并且显示在一起的各种系统是已知的。例如，2011年5月13日提交的、题为“Medical System Providing Dynamic Registration of a Model of an Anatomical Structure for Image-Guided Surgery”的美国专利申请13/107,562公开了一个这种系统，该专利申请通过引用以其整体合并于此。
然而，通常，单独使用传感器系统来配准探针的尖端和来自虚拟可视化系统的虚拟图像不是完全足够的。例如，传感器系统可能提供不充分的关于探针的尖端的方位和取向的信息。这可能导致虚拟可视化系统不正确地配准虚拟图像和探针的真实姿态，从而潜在地导致将探针不准确地放置在虚拟环境中(例如，将探针显示在气管树的错误分支)、用不准确的视角(例如，虚拟图像中并非与从真实可视化系统接收的实时真实图像对应的滚动角度)描绘虚拟图像、和/或各种其他与配准失配有关的效应。
在本公开的实施例中，来自真实可视化系统206和虚拟可视化系统212的信息(以及可选地，来自跟踪系统208的传感器信息)由导航系统210处理，以生成在方位和取向上均与真实可视化图像准确配准的虚拟可视化图像。为了实现虚拟图像与真实图像的准确配准，识别真实图像和虚拟图像中的共同特征和结构并且将其关联。两个图像的准确配准对于临床医生将导管导航到具体的目标位置可能是有用的，因为该配准传达了关于探针的尖端的真实方位和取向的信息。因此，临床医生不太可能将导管引导到非计划的位置，从而使消耗时间和潜在的有害回溯(backtracking)的需要最小。
图3a示出由例如真实可视化系统206捕获的支气管通道的采样真实图像270。可以使用诸如最大稳定极值区域(MSER)分析或其他二进制大对象提取技术的任何技术，可以从真实图像270中识别如图3b所描绘的组织结构(例如，管腔L1-L6和关联的分叉点)连同结构性方面(例如，管腔的位置、相对方位、尺寸、轮廓以及形状)。尽管将参考解剖结构通道分叉点，但是本公开的实施例不限于两个通道的接合点。应当理解，本公开的系统和方法可适用于具有两个或更多个分支的任何叉形，或者适用于任何其他可识别的组织结构。每个自然组织结构(例如，管腔L1-L6和关联的分叉点或者其他可识别的组织结构)可以被用作基准区域，从而提供自然基准结构以便配准到虚拟图像。
例如，如图3b所示，指示了管腔L1-L6的相对大小和形状，以及由管腔对L1和L2形成的分叉点相对于真实图像270的水平轴线HL的取向(即，角度A1)和相对于由管腔对L3和L4形成的分叉点的取向(即，角度A2)。可以从真实图像270提取不同的其他结构方面。注意到，在不同的实施例中，诸如图3b中所描绘的检测到的组织结构的图形表示可以不被渲染而显示，而在不同的其他实施例中，图形表示可以重叠在真实图像270上。
为了更高效地分析，还可以根据物理布置或层次来表征所识别的包括真实图像270中的(多个)组织结构的基准区域。例如，如图3c中所示，管腔L1-L6可以被组织成真实图像270中所示的解剖结构的树形结构表示。因此，管腔L1和L2从初始分叉点B1分支。接下来，因为在管腔L1内检测到管腔L3和L4，所以图3c示出管腔L3和L4在分叉点B1下游的分叉点B2处分支。同样地，管腔L5和L6在分叉点B1下游的分叉点B3处分支。
注意到，尽管出于示例性目的在图3c中描绘了节点分支线形图示，但是从真实图像270中提取的组织结构的分析表示可以采用任何图形的、数字的、符号的和/或数据库格式。进一步注意到，在一些实施例中，所提取的管腔的历史可以被维持以提供额外的信息，用于确定探针尖端的位置。例如，图3d示出图3c的树形结构补充有从之前的真实图像提取的管腔HL1-HL6和分叉点HB1-HB3，这些之前的真实图像是当患者解剖结构被横贯时由探针/可视化系统捕获的。
结合上面所描述的组织结构识别(同时、之前和/或之后)，从目标解剖结构的模型内定义潜在匹配模型组织结构的搜索空间。例如，图3e示出示例性跟踪图像251，其描绘了初始与微创器械(例如，导管系统202)的图像254配准的患者肺部模型252的二维视图。跟踪图像251可以由虚拟可视化系统(例如，212)生成。该器械202的图像254的初始配准可以基于方位传感器(例如EM传感器)和/或任何其他的方位间接指示(例如，运动学建模、形状感测、RF跟踪和/或路径历史等)。
然而，由于测量精度限制和解剖结构移动(例如，患者呼吸或响应于外科手术器械的组织变形)，所有这些方法将面临不准确性。例如，对于肺部252，使用胸部上的参考基准，由EM传感器提供的方位信息可以准确到大约+/-3mm。当考虑到肺部的运动时，误差可能增加到+/-10mm或者更多。这些误差可能导致器械的图像254变为被配准到肺部252的错误气管。
为了克服这种配准不确定性，可以将从真实图像270提取的组织结构与来自解剖结构的手术前模型的潜在对应组织结构进行比较，以识别模型和捕获的图像之间的最佳匹配。在一些实施例中，可以使用例如来自方位传感器系统226的信息来估计探针的尖端的方位。正如在图3e中所示，肺部模型252内的探针220的尖端的方位被估计为在子区域256内，在图3f中示出了详细的视图。
子区域256可以被定义为肺部模型252内与探针220的尖端在实际肺部解剖结构内的潜在方位对应的任何区域。例如，在一些实施例中，子区域256可以至少表示能够从传感器公差叠加(stackup)、解剖结构运动/变形和/或与探针220的尖端的方位关联的任何其他不确定性源预计的最大方位变化(注意到，这些叠加可以定义子区域256的最小边界，并且在一些实施例中，子区域256的实际边界可能超出那些最小边界)。在不同的其他实施例中，基于历史路径分析(即，跟踪当探针220被推进时所遇到的所有分叉点，以确定按顺序会遇到哪一个或多个分叉点)，子区域256可以表示与探针220的尖端关联的可能的组织结构(例如，分叉点)的范围(universe)。用于定义空间减少的子区域256的这些技术和其他技术可以单个使用，或者组合使用。
潜在地与从真实图像270提取的组织结构(如上所述)对应的模型组织结构于是能够从子区域256内的模型252提取。因此，子区域256的定义可以显著地降低这种模型组织结构提取的计算要求。例如，仅需要提取图3e中所示的那些分叉点280-292，而不是提取肺部模型252的每一个分叉点。接着，可以将这些候选组织结构(例如，分叉点280-292)与真实图像组织结构进行比较(例如，分叉点B1)。
在一些实施例中，通过对来自空间减少的子区域的候选组织结构与真实图像组织结构执行初始的“粗”匹配，以过滤明显不匹配的候选者，以此可以进一步提高计算效率。可以使用从真实图像和模型可容易辨别的结构性方面来执行这个粗匹配。如上所述，在肺部内，这种结构性方面可以包含管腔的位置、相对方位、尺寸、轮廓和/或形状等。
例如，如图3a和3b中所示，分叉点(B2和B3)在分叉点B1的两个管腔(分别为L1和L2)中是可见的。接下来参考图3e中所示的肺部模型子区域256，可以确定，在分叉点B1的每个管腔中可见下游分叉点的这个状况不能满足模型分叉点282，该模型分叉点282仅在其一个分支中展示出下游分叉点。因此，可以从候选组织结构的列表中消除模型分叉点282。出于类似的原因，还可以潜在地从候选组织结构的列表中消除模型分叉点284和292。以类似的方式，经由任何其他类型的基于结构性方面的过滤，可以进一步减小候选组织结构的列表。
接着，可以将满足上述结构性方面匹配标准的每个组织结构与在真实图像中所识别的真实图像结构进行更精确地比较。可以使用任何技术来确定真实图像和剩余候选组织结构之间的最佳匹配(相似性最大化)，例如迭代渲染和图像匹配(综合分析)、特征点云匹配和/或差分表面分析。
例如，使用综合分析，生成每个候选组织结构(例如，模型分叉点280、286、288以及290)的迭代渲染，其中每个渲染与捕获3D解剖结构模型的视图所要求的探针尖端姿态相关联。将这些迭代与从真实图像提取的组织结构(例如，从真实图像270提取的分叉点B1)进行比较，从而生成中间(interim)相似性度量，从这些中间相似性度量能够识别“最优”相似性度量。该最优相似性度量对应于最佳匹配真实图像组织结构的候选模型组织结构的视图。从每个候选模型组织结构的最优相似性度量中，可以选择最大的相似性度量，由此指示与真实图像组织结构对应的候选模型组织结构。于是，与该候选模型组织结构和最优相似性度量关联的探针尖端姿态可以被用于配准解剖结构模型，使得真实图像最佳匹配从虚拟摄像机探针尖端生成的虚拟图像。在替换实施例中，使用三维解剖结构模型的迭代渲染来与真实图像进行比较，而不提取组织结构。
能够计算相似性度量并且找到最优度量的方法有多种。在一个实施例中，最优算法将对每个候选组织结构进行迭代渲染并且计算与真实图像的相似性度量。在另一实施例中，最优算法进行层次图像渲染和相似性计算架构，在其中图像的分辨率被逐步增加，以使在正确的最优值处停止的可能性最大，并且抵抗相似性度量函数空间中的噪声。
配准程序可以被用于将与三维解剖结构模型关联的信息传递到真实图像。这个配准可以用各种方式图形表达。例如，在图3g中，(例如，在显示系统111中的)显示器300提供一组图像。真实视觉图像302与来自虚拟模型的配准的虚拟图像304一起显示。在配准图像中，虚拟图像304的管腔的大小和观察角度(包括滚动角度)与真实图像302对准。微观跟踪图像306被示为具有标记308，该标记308指示与肺部的二维模型配准的探针的尖端。宏观跟踪图像310被示为具有标记312，该标记312指示与肺部的三维模型配准的探针的尖端。真实图像和虚拟(模型)视图的各种其他组合将会是显而易见的。
在一个实施例中，配准的虚拟图像(或从其提取的特征，例如，轮廓、边缘、特征点、解剖结构标签)可以被重叠在真实图像上，其其中透明度随着图像匹配的质量而变化。在另一实施例中，配准的虚拟图像可以被显示为在真实图像上的画中画角落图像。在另一实施例中，在立体视图中，从配准的组织模型提取的导航提示(例如，计划方向上的字形指向、与目标的距离、局部直径、用于缩回的后视图摄像机视图等)被显示在真实视觉图像旁边或者之上。在又一实施例中，配准的真实图像被显示为3D气管树表面网格或体积渲染的显示上的横截面，以表明探针尖端的当前位置和取向。在另一实施例中，响应于自动触发或用户命令，可以打开或关闭真实图像上的重叠。
图4a示出例如上述的解剖结构模型配准方法的流程图。在“探针图像捕获”步骤410中，由成像系统，例如图像捕获探针220以及关联的真实可视化系统206，捕获患者解剖结构的真实图像(例如，图像270)。然后，在“解剖结构特征识别”步骤420中，从真实图像提取有关的组织结构，例如关于图3a和3b所述的。作为步骤420的一部分，可以确定提取的组织结构的结构性方面(例如，管腔的位置、相对方位、尺寸、轮廓以及形状)以及任何其他潜在的识别方面。
例如，图4b示出对“特征识别”步骤420的示例性方法的流程图，该示例性方法适用于分支解剖结构，例如肺部中的气管树或者肾脏中的动脉网。在“提取二进制大对象”步骤421中，可以在真实图像中检测各管腔(例如关于图3a和3b所描述的)，接着在“关联管腔结构”步骤422中确定同级(sibling)管腔(例如，形成分叉点的管腔)。最后，可以在“识别分叉点”步骤423中标记(例如，如图3c和3d中所示)并且表征(例如，如图3b中所示)检测到的分叉点。
返回到图4a，在“模型匹配空间求精”步骤430中，定义解剖结构模型中的潜在的匹配组织结构的初始数量。在一个实施例中，该初始定义可以按照图4c中的流程图所指示地执行。在“感测探针方位”步骤431中，使用仪器(例如，EM传感器、形状传感器和/或其他监测/跟踪元件)来生成成像系统(探针)尖端的方位和/或取向，并且基于感测到的信息，在“定义关注的子区域”步骤432中，将一部分解剖结构模型指定为潜在地包括探针尖端(例如，关于图3e所描述的)。接着，在“识别子区域中的模型分叉点”步骤433中，识别该关注的子区域内的模型组织结构(例如，关于图3f所描述的)。
如上所述，减少能够找到真实图像的模型中的最佳匹配的搜索空间可以显著地减少与该技术关联的计算负荷。返回到图4a，在“模型对应匹配”步骤440中，从初始模型候选匹配空间中滤除不可能的候选者，并且在“最佳匹配选择”步骤450中，选择剩余模型候选者中展示出与真实图像组织结构最匹配的一个。通过经由步骤420、430以及440缩小候选者匹配空间，与常规的暴力方法相比，显著减少了与匹配处理关联的计算负担(并且因此减少了时间)，同时维持或者甚至增加匹配准确度。
图4d示出用于步骤440和450的实施例的流程图，其将适用于分支解剖结构，例如肺部中的气管树或者肾脏中的动脉网。在“选择模型分叉点”步骤441中，选择候选模型组织结构(例如，图3e中所示的分叉点280-292)中的一个，并且在“与真实图像分叉点的特征比较”步骤442中，将该候选模型组织结构的结构性方面(例如，上面关于图3b所描述的)与真实图像组织结构的结构性方面进行比较。接着，在“在匹配阈值内”步骤443中，如果确定没有匹配是可能的，则处理回到步骤441，并且选择不同的候选模型组织结构。
然而，如果基于结构性比较，候选模型组织结构仍然是可行的候选者，则在“渲染迭代”步骤443中执行更精细的比较。出于示例性目的，在流程图中描绘了综合分析方法(如上所述)，在其中，在“渲染迭代”步骤451中迭代地修改候选模型组织结构(每次修改表示不同的虚拟摄像机姿态)，直到在“计算相似性度量”步骤452中最优化渲染相对(vis a vis)真实图像组织结构的相似性度量。
接着，在“额外的模型分叉点？”步骤453中，如果存在任何未检查的候选模型组织结构，则处理回到步骤441。否则，在“选择最高相似性”步骤454中，识别与最大相似性度量关联的候选模型组织结构。注意到，虽然出于示例性目的，针对候选模型组织结构描绘了一系列处理(即，在移到下一个候选模型组织结构之前，对单个候选组织结构执行步骤440和450)，但是在各种其他实施例中，步骤440和450可以被执行为批处理(即，对所有候选模型组织结构执行步骤440，然后对在步骤400中识别的所有适当候选模型组织结构执行步骤450)。
返回到图4a，接着在“真实图像-模型配准”步骤460中，在步骤450中被识别为具有最高相似性分数的候选模型组织结构被用于配准真实图像和解剖结构模型。在一个实施例中，可以根据与步骤450的输出关联的渲染/姿态信息(例如，在步骤454中识别的最高相似性度量渲染)生成所显示的虚拟环境(例如，图3g中所示的虚拟图像304)。在其他的实施例中，步骤460的配准允许探针方位和/或轨迹能够被映射到总体解剖结构的虚拟图像或真实图像上(例如，图3g中所示的微观跟踪图像306和/或宏观跟踪图像310)。
一旦真实图像和虚拟图像被配准并且计算出姿态偏移，则虚拟图像和姿态偏移可以被用于引导导管，而不使用真实图像。例如，当摄像机被移除时或者当真实视觉图像由于身体物质(例如，血液或粘液)变为阻挡时，对于临床医生引导探针和导管通过解剖结构通道来说，使用计算出的姿态估计和虚拟探针位置图像可以是有用的。在图像捕获探针被移除并且被替换为治疗器械(例如，药物输送装置)或者介入性器械(例如，活检装置)的程序期间，导管的姿态估计也可以是有用的。当通过导管进行进一步的程序时，知道导管的姿态和轨迹允许更大的精确度。
尽管在此已经针对遥控或手动操作的介入性系统描述了配准系统和方法，但是这些配准系统和方法将适用于要求准确的器械图像配准的各种医疗和非医疗器械中。
尽管本公开的系统和方法被阐述为用于肺部的连接支气管通道，但是它们也合适于在任何多种解剖结构系统(包括结肠、肠、肾脏、脑、心脏、循环系统等)中经由自然的或外科手术产生的连接通道对其他组织进行导航和处理。本公开的方法和实施例也合适于非介入性应用。
本发明的实施例中的一个或多个元件可以被实施在软件中以在计算机系统(例如，控制系统116)的处理器上执行。当被实施在软件中时，本发明的实施例的元件本质上是执行必要任务的代码段。程序或代码段可以被存储在处理器可读存储介质或器件上，这些程序或代码段可以借助体现在载波中的计算机数据信号经由传输介质或通信链路被下载。处理器可读存储器件可以包括能够存储信息的任何介质，包括光学介质、半导体介质以及磁介质。处理器可读存储器件示例包括电子电路；半导体器件、半导体存储器件、只读存储器(ROM)、闪存、可擦除可编程只读存储器(EPROM)；软盘、CD-ROM、光盘、硬盘或其他存储器件。代码段可以经由计算机网络(例如，因特网、内部网等)下载。
注意到，所呈现的过程和显示可以并非固有地与任何特定计算机或其他装置相关。各种这些系统所要求的结构将表现为权利要求中的元素。此外，本发明的实施例并非参考任何特定的编程语言进行描述。应当理解，各种编程语言可以被用于实施本文所描述的发明的教导。
虽然本发明的某些示例实施例已经被描述并且在附图中示出，但是应理解，这种实施例仅是说明性的，并不限制宽阔的本发明，并且本发明的这些实施例不限于所示并且描述的具体构造和布置，因为本领域技术人员可以想到各种其他修改。