本公开涉及用于导航患者解剖结构以进行微创手术的系统和方法，并且更具体地涉及用于动态地使用于显示的解剖通道模型变形的系统和方法。
背景技术：
：微创医疗技术意在减少在介入手术期间受损的组织的量，从而减少患者恢复时间、不舒适性和有害的副作用。此类微创技术可以通过患者解剖结构中的自然孔口或者通过一个或多个手术切口实行。通过这些自然孔口或切口，临床医生可以插入介入仪器(包括手术仪器、诊断仪器、治疗仪器或活检仪器)，以到达目标组织部位。为了到达所述目标组织部位，微创介入仪器可以在诸如肺、结肠、肠、肾、心脏、循环系统等解剖系统中导航自然通道或手术创建的通道。远程操作的介入系统可以用于将所述介入仪器插入并定位在所述患者解剖结构内。在所述介入仪器的导航期间，由于例如解剖运动(例如，心脏运动、呼吸运动)或由所述介入仪器施加的力，所述解剖通道可以变形。在利用介入仪器导航实际患者解剖通道的同时，需要动态地使解剖通道模型变形显示给使用者的系统和方法。技术实现要素：本发明的实施例由随附说明书的权利要求进行总结。在一个实施例中，建模解剖变形的方法包括接收处于参考状态中的分支解剖构造的参考三维模型。所述方法还包括：将三维变形场应用于所述参考三维模型，以创建所述分支解剖构造的变形状态的变形三维模型；以及动态地显示所述分支解剖构造的所述变形状态的所述变形三维模型的图像。在另一实施例中，处理系统包括处理器和具有存储在其上的计算机可读指令的存储器。所述计算机可读指令在由所述处理器执行时引起所述系统接收处于参考状态中的分支解剖构造的参考三维模型。所述指令在由所述处理器执行时也引起所述系统将三维变形场应用于所述参考三维模型，以创建所述分支解剖构造的变形状态的变形三维模型。所述指令在由所述处理器执行时也引起所述系统动态地显示所述分支解剖构造的所述变形状态的所述变形三维模型的图像。本公开的附加方面、特征和优点通过以下具体实施方式将变得显而易见。附图说明当结合附图阅读时根据以下的具体实施方式将最好地理解本公开的各方面。根据该行业中的标准惯例，应强调的是各种特征不按比例绘制。实际上，所述各种特征的尺寸为了便于讨论的清晰可以任意地增大或减小。另外，本公开可以在所述各种示例中重复参考标号和/或字母。这种重复是为了简单和清楚的目的，而其本身不是指定所讨论的各种实施例和/或配置之间的关系。图1是根据本公开的实施例的远程机器人介入系统。图2示出利用本公开的各方面的介入仪器系统。图3示出用于生成处于变形状态中的解剖通道的模型的动态显示的方法。图4示出在参考状态下的解剖通道的三维体表示。图5示出基于图4的所述参考模型的骨架树。图6示出基于图4的所述参考模型的几何模型。图7示出在变形的第一状态下的所述解剖通道的变形的测量。图8示出在变形的第二状态下的所述解剖通道的变形的测量。图9示出基于所述解剖通道的复合变形的骨架树。图10示出描述所述解剖通道的所述变形的变形场。图11示出带有所述复合变形的所述解剖通道的三维几何模型。图12示出呈现出所述复合变形的图4的解剖通道的所述三维体表示。图13示出带有所述介入仪器的图12的解剖通道的所述变形三维体表示。图14示出使用图形处理单元(GPU)的网格模型变形的方法。具体实施方式在本发明的各方面的下列具体实施方式中，详细阐述许多具体细节，以便提供对所公开的实施例的完全理解。然而，对本领域的技术人员将显而易见的是，本公开的实施例可以在无这些具体细节的情况下实践。在另一些示例中，众所周知的方法、过程、组件和电路尚未详细描述，以便必要地使本发明的实施例的各方面模糊。并且为了避免不需要的描述性重复，当根据其他说明性实施例可应用时，可以使用或省略根据一个说明性实施例描述的一个或多个组件或动作。以下实施例将以各种仪器和仪器的各部分在三维空间中的形式来描述各种仪器和仪器的各部分。如本文所用，术语“位置”是指物体或物体的一部分在三维空间中的部位(例如，沿笛卡尔X、Y、Z坐标的三个平移自由度)。如本文所用，术语“取向”是指物体或物体的一部分的旋转放置(三个旋转自由度——例如，滚动、俯仰和偏转)。如本文所用，术语“姿势”是指物体或物体的一部分在至少一个平移自由度中的位置和该物体或该物体的一部分在至少一个旋转自由度中(高达总共六个自由度)的取向。如本文所用，术语“形状”是指沿细长物体测量的一组姿势、位置或取向。参照所述附图的图1，用于在例如外科手术过程、诊断过程、治疗过程或活检过程中的远程机器人介入系统大体由参考标号100标示。如将描述的，本公开的远程机器人介入系统通常在外科医生的远程操作控制下。然而，对于一些过程或子过程，所述远程机器人介入系统可以在经编程用来进行所述过程或子过程的计算机的部分或全部控制下。如图1中所示，所述远程机器人介入系统100通常包括安装到其中安置患者P的手术台O或安装在所述手术台O附近的机器人组件102。介入仪器系统104可操作地耦合到所述机器人组件102。操作者输入系统106允许外科医生或其他类型的临床医生S观看所述手术部位并且控制所述介入仪器系统104的操作。所述操作者输入系统106可以位于外科医生的控制台，所述控制台通常位于与手术台O相同的房间内。然而，应该理解的是所述外科医生S能够位于与所述患者P不同的房间或完全不同的建筑物内。操作者输入系统106通常包括用于控制所述介入仪器系统104的一个或多个控制装置。(一个或多个)所述控制装置可以包括任何数量的各种输入装置，如把手、操纵杆、追踪球、数据手套、触发枪、手动控制器、声音识别装置、触摸屏、身体运动或存在传感器等。在一些实施例中，(一个或多个)所述控制装置将提供有与所述机器人组件的介入仪器相同的自由度，以向所述外科医生提供远程监控或(一个或多个)控制设备与仪器集成的感知，从而使得外科医生具有直接控制仪器的强烈感觉。另一些实施例中，(一个或多个)所述控制装置可以具有比所相关联的介入仪器更多或更少的自由度，并且仍然向所述外科医生提供远程监控。在一些实施例中，(一个或多个)所述控制装置是手动输入装置，所述手动输入装置以六个自由度移动并且也可以包括用于致动仪器(例如，用于关闭抓紧的钳头、向电极施加电势、递送医疗治疗件等)的可致动手柄。所述机器人组件102支撑所述介入仪器系统104，并且可以包括：一个或多个非伺服控制的连杆(例如，可以手动定位并锁定在适当位置中的一个或多个连杆，其通常称为组合结构)的运动学结构；和机器人操纵器。所述机器人组件102包括驱动所述介入仪器104上的输入的多个致动器(例如，马达)。这些马达响应于来自所述控制系统(例如，控制系统112)的命令主动地运动。所述马达包括驱动系统，所述驱动系统在耦合到所述介入仪器104时可以推进所述介入仪器到自然孔口或手术创建的解剖孔口中并且/或者可以以多个自由度移动所述介入仪器的远端，所述多个自由度可以包括三个自由度的线性运动(例如，沿X、Y、Z笛卡尔坐标轴的线性运动)和三个自由度的旋转运动(例如，围绕所述X、Y、Z笛卡尔坐标轴的旋转运动)。此外，所述马达能够用于致动用于抓持活检装置等的钳头中的组织的所述仪器的可铰接的末端执行器。所述机器人介入系统100也包括传感器系统108，所述传感器系统108具有用于接收关于所述机器人组件的所述仪器的信息的一个或多个子系统。此类子系统可以包括位置传感器系统(例如，电磁(EM)传感器系统)；用于确定所述导管尖端和/或沿仪器104的柔性主体的一个或多个节段的所述位置、取向、速度、姿势和/或形状的形状传感器系统；和/或用于捕获来自所述导管系统的所述远端的图像的可视化系统。所述机器人介入系统100也包括用于显示由所述传感器系统108的子系统生成的所述手术部位和介入仪器104的图像的显示系统110。所述显示器110和所述操作者输入系统106可经取向使得所述操作者能够控制所述介入仪器系统104和所述操作者输入系统106，就好像在基本真实的存在中观看所述工作空间。真实存在意味着所显示的组织图像向操作者呈现，就好像所述操作者实际地存在于所述图像位置并从所述图像的角度直接地观看所述组织。可替代地或附加地，显示系统110可以呈现使用诸如计算机层析技术(CT)、核磁共振成像(MRI)、荧光透视、热像图、超声、光学相干断层成像术(OCT)、热成像、阻抗成像、激光成像、纳米管X射线成像等成像技术在手术前或在手术中记录和/或建模的所述手术部位的图像。所呈现的手术前或手术中的图像可以包括二维的、三维的或四维的(包括例如基于时间或基于速度的信息)图像和模型。在一些实施例中，所述显示系统110可以显示虚拟可视化图像，其中所述介入仪器的实际位置在所述虚拟可视化图像中与手术前图像或同时发生的图像配准(例如，动态地引用)，以向所述外科医生呈现所述内部手术部位在所述手术仪器的尖端的位置处的虚拟图像。在另一些实施例中，所述显示系统110可以显示虚拟可视化图像，其中所述介入仪器的实际位置在所述虚拟可视化图像中与先前图像(包括手术前记录的图像)或同时发生的图像，以向所述外科医生呈现介入仪器在所述手术部位处的虚拟图像。所述介入仪器104的一部分的图像可以叠合在所述虚拟图像上，以协助所述外科医生控制所述介入仪器。所述机器人介入系统100也包括控制系统112。所述控制系统112包括至少一个存储器和至少一个处理器(未示出)，并且通常是多个处理器，用于实现所述介入仪器系统104、所述操作者输入系统106、所述传感器系统108和所述显示系统110之间的控制。所述控制系统112也包括编程的指令(例如，存储所述指令的计算机可读介质)，以实施本文所述的方法中的部分或全部方法。虽然控制系统112在图1的简化图示中被示出作为单个方框，但是所述系统可以包括许多数据处理电路，所述许多数据处理电路具有任选地在所述机器人组件102上或与所述机器人组件102邻近执行的所述处理的一部分、在所述操作者输入系统106处执行的一部分等。可以采用各种集中式或分布式数据处理架构中的任何架构。类似地，编程的指令可以实施为许多单独的程序或子例程，或者所述指令可以集成到本文所述的机器人系统的许多其他方面中。在一个实施例中，控制系统112支持诸如蓝牙、红外数据通讯、家庭无线射频、IEEE802.11、数字增强无绳通讯、和无线遥测的无线通信协议。在一些实施例中，控制系统112可以包括一个或多个伺服控制器来为所述操作者输入系统106提供从所述介入仪器系统104到一个或多个对应伺服马达的力和扭矩反馈。所述伺服控制器(多个伺服控制器)也可以传输指导机器人组件102移动所述介入仪器104的信号，所述介入仪器104经由所述身体中的开口延伸到所述患者身体内的内部手术部位中。可以使用任何合适的常规或专门的伺服控制器。伺服控制器可以与机器人组件102分离或者与所述机器人组件102集成。在一些实施例中，提供所述伺服控制器和机器人组件作为与所述患者身体邻近定位的机器人臂推车的一部分。所述控制系统112还可以包括虚拟可视化系统，以向所述介入仪器104提供导航帮助。使用所述虚拟可视化系统的虚拟导航是基于参照与所述解剖通道的所述三维结构相关联的所获取的数据组。更具体地，所述虚拟可视化系统处理使用诸如计算机层析术(CT)、核磁共振成像(MRI)、荧光透视、热像图、超声、光学相干断层成像术(OCT)、热成像、阻抗成像、激光成像、纳米管X射线成像等成像技术记录和/或建模的所述手术部位的图像。软件用于将所记录的图像转换成部分或全部解剖器官或解剖区域的二维或三维模型。所述模型描述所述通道的各种位置和形状及其连通性。用于生成所述模型的图像可以在临床手术期间在手术前或在手术中记录。在可替代的实施例中，虚拟可视化系统可以使用标准模型(即非具体患者)或标准模型和患者具体数据的合成。所述模型和由所述模型生成的任何虚拟图像可以表示在一个或多个运动阶段期间(例如，在肺的呼入/呼出周期期间)变形解剖区域的静止姿势。在虚拟导航过程期间，所述传感器系统108可以用于计算所述仪器相对于所述患者解剖结构的合适的位置。所述位置能够用于同时生成所述患者解剖结构的宏观水平追踪图像和所述患者解剖结构的虚拟内部图像两者。用于使用光纤传感器来配准手术前记录的手术图像(如来自虚拟可视化系统的那些图像)且一起显示介入实施方式和手术前记录的手术图像(如来自虚拟可视化系统的那些图像)的各种系统是已知的。例如，2011年5月13日提交的公开为“提供用于影像导引的解剖结构的模型的动态配准的医疗系统”的美国专利申请No.13/107,562公开了一种此类系统，其全文通过引用并入本文。所述机器人介入系统100还可以包括任选的操作和支撑系统(未示出)，如照明系统、操纵控制系统、冲洗系统和/或抽吸系统。在可替代的实施例中，所述机器人系统可以包括一个以上的机器人组件和/或一个以上的操作者输入系统。操纵器组件的具体数量将取决于所述手术过程和在所述手术室内的空间限制等等其他因素。所述操作者输入系统可以放置在一起，或者所述操作者输入系统可以定位在分离的位置中。多个操作者输入系统允许一个以上的操作者控制在各种组合中的一个或多个操纵器组件。图2示出介入仪器系统200，所述介入仪器系统200可以用作机器人介入系统100的介入仪器系统104。可替代地，所述介入仪器系统200可以用于非机器人探索性手术，或者用在涉及诸如内镜检查术等传统手动操作的介入仪器的手术中。所述仪器系统200包括耦合到仪器主体204的导管系统202。所述导管系统202包括具有近端217和远端或尖端部分218的细长柔性导管体216。在一个实施例中，所述柔性主体216具有约3mm的外径。其他柔性主体外径可以更大或更小。所述导管系统202可以任选地包括用于确定在远端218处的所述导管尖端和/或沿所述主体216的一个或多个节段224的位置、取向、速度、姿势和/或形状的形状传感器222。所述主体216在所述远端218和所述近端217之间的整个长度可以有效地分为所述节段224。如果所述仪器系统200是机器人介入系统100的介入仪器系统104，则所述形状传感器222可以是所述传感器系统108的组件。如果所述仪器系统200是手动操作的或者以其他方式用于非机器人手术，则所述形状传感器222可以耦合到询问所述形状传感器并处理所接收的形状数据的追踪系统。所述形状传感器系统222可以包括与所述柔性导管主体216对齐(例如，设置在内部通道(未示出)或安装在外部)的光纤。在一个实施例中，所述光纤具有约200μm的直径。在另一些实施例中，所述尺寸可以更大或更小。所述形状传感器系统222的光纤形成光纤弯曲传感器用于确定所述导管系统202的形状。在一种替代方案中，包括布拉格光纤光栅(FBG)的光纤用于提供一个或多个尺寸的结构的应变测量。用于监测在三个维度中的光纤的形状和相对位置的各种系统和方法在2005年7月13日提交的公开为“光纤位置和形状感测装置及与其相关的方法”的美国专利申请No.11/180,389；2004年7月16日提交的公开为“光纤形状和相对位置感测”的美国临时专利申请No.60/588,336；和1998年6月17日提交的公开为“光纤弯曲传感器”的美国专利No.6,389,187中进行描述，所述的专利通过引用全部并入本文。在另一些替代方案中，采用诸如瑞利散射、拉曼散射、布里渊散射和荧光散射等其他应变传感技术的传感器可以是合适的。在其他可替代的实施例中，所述导管的形状可以使用其他技术确定。例如，如果所述导管的远侧尖端姿势的历史记录被存储一时间间隔，其中所述一时间间隔小于用于更新所述导航显示或用于交替运动(例如，吸气和呼气)的时间段，则所述姿势历史能够用于在所述一时间间隔内重新构造所述装置的形状。作为另一示例，历史姿势、位置或取向数据可以存储用于仪器沿诸如呼吸的交替运动的周期的已知点。这个存储的数据可以用于开发关于所述导管的形状信息。可替代地，沿所述导管定位的诸如EM传感器的一系列位置传感器可以用于形状感测。可替代地，在手术期间来自所述仪器上的诸如EM传感器的位置传感器的数据的历史可以用于表示所述仪器的形状，特别是如果解剖通道大体是静止的。可替代地，带有由外部磁场控制的位置或取向的无线装置可以用于形状感测。其位置的历史可以用于确定用于所导航的通道的形状。在此实施例中，所述光纤可以包括在单个包层(cladding)内的多个芯。每个芯可以是单模，其具有足够距离和分离所述芯的包层使得每个芯中的光不显著地与其他芯中携载的光相互作用。在另一些实施例中，芯的数量可以改变，或者每个芯可以包含在分离的光纤中。在一些实施例中，在每个芯内提供FBG的阵列。每个FBG包括所述芯的折射率的一系列调制，以便生成所述折射率的空间周期性。所述间隔可经选择使得来自每个折射率变化的部分反射前后一致地增加波长的窄频带，并且因此仅因此当穿过宽得多的频带时仅反射波长的这个窄频带。在所述FBG的制造期间，所述调制以已知的距离间隔开，从而引起波长的已知的频带的反射。然而，当在所述纤维芯上引起应变时，所述调制的间隔将改变，这取决于所述芯中的应变的量。可替代地，随所述光纤的弯曲改变而改变的反向散射或其他光学现象可以用于确定每个芯内的应变。因此，为了测量应变，光沿所述纤维向下发送，并且所述返回光的特征得以测量。例如，FBG生成反射波长，所述反射波长是所述纤维上的应变及其温度的函数。此FBG技术可从各种资源可商购，如英国布拉克内尔的智能纤维有限公司(SmartFibresLtd.ofBracknell，England)。FBG技术在用于机器人手术的位置传感器中的使用在2006年7月20日提交的公开为“包括使用布拉格光纤光栅的位置传感器的机器人外科手术系统”的美国专利No.7,930,065中进行描述，其通过引用全部并入本文。当应用于多芯纤维时，所述光纤的弯曲在所述芯上引起应变，所述应变能够通过监测每个芯中的波长移位进行测量。由于在所述纤维中具有离轴线布置的两个或更多个芯，所述纤维的弯曲在每个所述芯上引起不同应变。这些应变是所述纤维的局部弯曲度的函数。例如，含有FBG的所述芯的区域如果位于其中所述纤维弯曲的点处则能够由此用于确定在那些点处的弯曲的量。这些数据与所述FBG区域的已知间隔结合能够用于重新构造所述纤维的形状。此类系统已经由弗吉尼亚黑堡市的LunaInnovations.Inc.描述。如所述的，所述光纤可以用于监测所述导管系统202的至少一部分的形状。更具体地，穿过所述光纤的光经处理检测所述导管系统202的形状，并且用于使用所述信息协助外科手术。所述传感器系统(例如，传感器系统108)可以包括用于生成和检测用于确定所述导管系统202的形状的光的询问系统。此信息进而能够用于确定其他相关变量，如介入仪器的各部件的速度和加速度。所述感测可以仅限于由所述机器人系统致动的自由度，或者可以应用于受动(例如，在各接合处之间的刚性构件的未致动弯曲)自由度和主动(例如，所述仪器的致动运动)自由度。所述介入仪器系统可以任选地包括位置传感器系统220。所述位置传感器系统220可以是包括一个或多个导电线圈的电磁(EM)传感器系统，所述一个或多个导电线圈可以受到外部生成的电磁场。那么所述EM传感器系统220的每个线圈生成所感应的电信号，所述电信号具有取决于所述线圈相对于所述外部生成的电磁场的位置和取向的特征。在一个实施例中，所述EM传感器系统可以经配置且定位成测量六个自由度，例如三个位置坐标X、Y、Z和指示原点的俯仰、偏转和滚动的三个取向角度，或五个自由度，例如三个位置坐标X、Y、Z和指示原点的俯仰和偏转的两个取向角度。在1999年8月11日提交的公开为“具有在被追踪的物体上的被动式转发器的六自由度追踪系统”的美国专利No.6,380,732中提供了EM传感器系统的进一步描述，其通过引用全部并入本文。所述柔性导管主体216包括通道，该通道的尺寸和形状经设定以接收辅助工具226。辅助工具可以包括例如图像捕获探头、活检装置、激光烧蚀纤维或其他手术的、诊断的或治疗的工具。辅助工具可以包括具有诸如外科手术刀、刀片、光纤或电极等单个工作构件的末端执行器。其他末端执行器可以包括成对的或多个工作构件，如例如手术钳、抓紧器、剪刀或夹器。电激活的末端执行器的示例包括电外科电极、换能器、传感器等。在各种实施例中，所述辅助工具226可以是包括带有立体摄像头或单视场摄像头的远端部分的图像捕获探针，所述立体摄像头或单视场摄像头设置在所述柔性导管主体216的远端218附近用于捕获经处理用于显示的图像(包括视频图像)。所述图像捕获探针可以包括耦合到所述摄像头用于传输所捕获的图像数据的电缆。可替代地，所述图像捕获仪器可以是耦合到所述成像系统的光纤束，如纤维内窥镜。所述图像捕获仪器可以是单光谱或多光谱的，例如捕获所述可见光谱中的图像数据或者捕获所述可见的和红外线的或紫外线的光谱中的图像数据。所述柔性导管主体216也可以容纳电缆、连杆或在所述仪器主体204和所述远端218之间延伸以如例如由所述远端的虚线变形所示可控制地弯曲或转动所述远端218的其他操纵控件(未示出)。在所述仪器系统200由机器人组件致动的实施例中，所述仪器主体204可以包括耦合到所述机器人组件的机动化驱动元件的驱动输入装置。在手动地操作所述仪器系统200的实施例中，所述仪器主体204可以包括抓紧特征件、手动致动器和用于手动地控制所述仪器系统的运动的其他组件。所述导管系统可以是可操纵的或者，可替代地，可以是不可操纵的，不具有用于操作者控制所述仪器弯曲的集成机构。另外或可替代地，所述柔性主体216能够限定一个或多个腔，其中介入仪器能够通过所述一个或多个腔被部署在目标手术位置处且用在目标手术位置处。在各种实施例中，所述介入仪器系统200可以包括柔性支气管仪器，诸如用于在肺的检查、诊断、活检或治疗中使用的气管镜或支气管导管。所述系统也适合于其他组织经由在包括结肠、肠、肾、脑、心脏、循环系统等的各种解剖系统中的任何解剖系统中自然或手术创建的连接通道的导航和治疗。当使用介入仪器系统200在患者体内执行手术时，可以期望所述外科医生可以同步地获得与所述手术相关的各种形式的数据，如本文所述的。例如，当通过诸如呼吸系统的所述解剖结构的某些部分引导介入仪器时，内窥镜可以太大而不能安全地通过所述解剖结构装配在所述介入仪器系统200旁边。在此类手术中，所述外科医生可以希望用上述类型的手术前或手术中的图像的显示补充或替换内窥镜摄像头的显示。此外，所述外科医生可以希望用指示所述介入仪器相对于所述手术部位的或在所述解剖结构内的特定目标位置的位置的所述解剖结构的概况表示的显示补充内窥镜摄像头的显示。图3示出用于生成在变形状态中的解剖通道的三维体表示的动态显示的方法300。在302处，从使用诸如计算机层析术(CT)、核磁共振成像(MRI)、荧光透视、热成像、超声、光学相干断层成像术(OCT)、热成像、阻抗成像、激光成像、纳米管X射线成像等技术在手术前或在手术中生成的图像接收或创建患者解剖结构的解剖通道的三维体表示(即实体模型)。图4示出如在所述方法300的步骤302处接收或创建的患者解剖通道的三维体表示400的至少一部分。所述三维体表示400表示在参考状态，如患者呼吸周期的全呼出状态下的各种肺通道402。再次参照图3，所述方法300还包括在304处根据在所述参考状态下的所述参考模型创建节点和连杆的分段刚性参考骨架树(skeletontree)。图5示出基于所述三维体表示400的骨架树420并且包括由连杆424相互连接的多个节点422，以近似于所述三维体表示400的结构。所述骨架树420的节点402可以位于所述解剖通道的分叉点处、在显著弯曲或扭转的点处和/或在沿所述解剖通道的任何其他点处。所述节点通常可以在所述解剖通道内居中，但是在可替代的实施例中，所述节点可以沿通道壁定位或者位于相对于所述解剖结构的参考结构的其他位置处。所述连杆424是在所述节点之间延伸的直节段。所述连杆通常在所述解剖通道内居中，但是在可替代的实施例中，所述连杆可以沿通道壁定位或者位于相对于所述解剖结构的参考结构的其他位置处。再次参照图3，所述方法300还包括在306处创建参考几何模型。在一个实施例中，如图6中所示，所述几何模型450是由表示所述解剖通道的表面(内部或外部)的多个三角形452组成的多边形网格模型。例如，用于解剖通道的一部分的网格模型可以包括约130000个三角形。在可替代的实施例中，所述多边形网格模型可以包括四边形或其他平的、凸的或凹的多边形。网格模型450的每个顶点可以受限于(boundto)所述骨架树420的所述节点422之一。因此，受限于所选择的节点422的所述网格模型450的每个顶点也受限于连接到那个选择的节点的骨架连杆424。再次参照图3，所述方法300还包括在308处测量由于解剖运动而引起的所述解剖通道的至少一个变形。所述患者解剖结构的许多区域在正常功能(例如，心脏、肺、肾、肝、血管)中是动态的。在此实施例中，所述解剖运动可以是由例如呼吸或心动周期引起的所述肺的周期性解剖运动。在与所述参考状态的状态不同的所述解剖周期的至少一个状态下测量所述变形。例如，如果用于所述呼吸周期的所述参考状态是全呼出，则所述变形状态可以在全呼入的状态下。附加地或可替代地，所述变形状态可以在全呼入和全呼出之间的状态下发生。如果所述解剖运动包括由于所述心动周期引起的运动，则所述参考状态可以是例如早期心脏舒张状态，并且所述变形状态可以是所述心动周期的另一阶段，如心房收缩期、等容心室收缩、心室射血、等容心室舒张状态。所述解剖通道的变形可以根据使用前述成像技术中的任何技术的手术前或手术中的图像、根据形状传感器测量、根据位置传感器测量或根据测量由于运动引起的变形的其他已知方法确定。在310处，所述方法300包括测量由于由定位在所述通道内部的介入仪器(例如，导管202)施加的力所引起的所述解剖通道的变形。可以使用用于仪器形状感测的上述任何方法(包括例如使用形状感测光纤)感测所述介入仪器的形状。在312处，所述方法300包括创建由所述解剖运动和所述介入仪器的影响而变形的骨架树。图7示出由于解剖运动在变形状态下的所述解剖通道的骨架树460。在此图示中，所述肺通道处于全呼吸的所述变形状态。在所述变形的骨架460中，所述节点422的位置和所述连杆424的位置和取向经修改与根据在所述变形状态下所成像的解剖结构的所述解剖通道对齐。图8示出在呼出的参考状态下但在由于由介入仪器472在部分所述解剖通道内施加的力而变形的状态下的所述解剖通道的骨架树470。在所述变形骨架470中，所述节点422的位置和所述连杆424的位置和取向基于用于所述介入仪器472的形状测量进行修改。所述介入仪器472的形状可以直接地使所述介入仪器所位于的所述通道变形，但是也可以间接地由于施加到连接所述通道的所述组织的力使所述邻近通道变形。图9示出由于解剖运动(例如，图7的全呼吸)和由所述介入仪器施加的力(例如，图8)的组合所引起的在变形状态下的所述解剖通道的骨架树480。在各种可替代的实施例中，可以测量并使用由其他力引起的所述解剖通道的变形，以创建所述复合变形骨架树。再次参照图3，所述方法300还包括在314处生成变形场，以描述由于解剖运动和/或介入仪器力的所测量的变形。例如，所述变形场可以包括描述所述解剖通道从所述全呼出参考状态到所述全吸入变形状态的变形的三维场向量阵列，其中伴随在所述参考状态和所述全变形状态之间的一系列的中间变形状态。如图10中所示，变形场490可以包括描述骨架树420到所述骨架树480的三维变形的三维场向量阵列。再次参照图3，所述方法300还包括在316处将所述变形场应用于所述参考几何模型，以创建变形的几何模型。一般地，对于所述参考网格模型450中的每个顶点，所述变形场490的插值在每个时间t处执行。来自所述参考网格模型450的每个顶点然后转换成变形的网格模型500(图11)的对应顶点。为本领域的技术人员所知的线性混合蒙皮(Linearblendskinning)(LBS)技术可以在所述变形网格模型的创建中使用。利用LBS技术，所述网格模型450的每个三角形452的每个顶点受限于负责使所述顶点变形的所述骨架树420。在LBS术语中，所述骨架的连杆被认为是所述“骨头”并且提供所述“骨影响”。每个顶点也可以被分配一权值(wi)用于影响所述顶点的所述骨架中的每个连杆。所述权值的分配使得对于每个权值，0≤wi≤1和∑wi＝1。所述权值可以通过创建不同的骨架姿势且然后改变所述权值直到所述网格相应地变形而实验式地被发现。为了使每个顶点(v)从其在所述网格模型450中的初始姿势变形，使用由所述骨架连杆变形的所述顶点的加权组合：变形公式：其中N是骨影响的数量，i是所述骨架中的连杆，以及M是绝对连杆变换矩阵，诸如描述所述骨架变形的所述变形场490。提供了一种用于确定所述权重的示例方法。使用两个连杆影响(即，骨影响)用于所述网格的选定顶点v，在所述变形公式中N＝2。为了确定用于所述顶点v的w1和w2，选择了两个最接近v的连杆。第一最接近的连杆是l1，并且第二最接近的连杆是l2。v和l1(l2)之间的距离是dv，l1(dv，l2)，限定为v和点l1(l2)之间的最短欧几里德距离。为了计算dv，l1和dv，l2，应用向量的数量积以测试点P(在所述顶点v处)和节段S(即所述骨架的连杆)之间的最短距离是否在P和S的端点中的一个端点之间。此测试描述如下该算法也可以表示为：因此，w1和w2能够被计算作为dv，l1和dv，l2的标准化：w1=dv,l1dv,l1+dv,l2]]>w2=dv,l2dv,l1+dv,l2]]>因此，能够确定用于所述网格的每个顶点的权重，并且可以确定所述网格中的每个变形顶点(v变形)。在图14处提供了使用图形处理单元(GPU)的所述网格模型变形的实施方式。再次参照图3，所述方法300还包括在318处使所述参考三维体表示400变形成与所述变形网格对齐，以生成如图12中所示的所述变形三维体表示510的图像。在320处，生成合成图像520(图13)用于显示所述变形三维体表示510或带有所述介入仪器472的图像的变形网格模型450。为了加速所述变形网格模型的创建使得所述变形模型可以动态地以近似实时显示速率显示，可以使用基于软件和/或硬件的加速器，如使用GPU的并行计算平台。利用此类计算平台，可以显示所述解剖通道从所述参考状态到所述全变形状态并包括全部所述中间变形的所述变形图像。所述GPU可以允许所述参考状态图像和变形状态图像以每秒约30个不同帧的速率且在一些实施例中以约每秒50个不同帧的速率显示。图14示出使用GPU602的网格模型变形的方法600【方法300的步骤316】。在604处，在所述参考状态下的所述网格模型(例如，网格450)被提供到中央处理单元(CPU)606。在所述CPU606上运行的装入程序608将所述网格模型加载主存储器(未示出)。从所述存储器，所述网格模型转移到所述GPU602。映射阶段610也在所述CPU上执行。图15示出用于在所述网格空间630(例如，所述网格模型450的一部分)到存储在三维纹理存储器612中的三维纹理空间632之间映射的映射技术。所述GPU602上的所述三维纹理存储器612存储用于所述骨架树的每个节点和用于在所述骨架节点之间的插值坐标的刚性转换。所述三维纹理存储器提供一种快速且方便的格式用于存储用于所述骨架节点的刚性转换和用于所述节点之间的坐标的插值转换。所述插值的所述速度允许在近似实时受限于所述骨架模型的所述网格模型的转换和运动。在所述骨架的许多组成节点上的刚性转换的使用近似在整个网格模型空间上的非刚性转换。三维纹理存储器空间632中的每个(Tx，Ty，Tz)纹理空间坐标映射到所述网格模型空间630中的对应网格空间坐标(Mx，My，Mz)。对于(Mx，My，Mz)，最接近的连杆l1(l2)和权重w1(w2)被确定，如上所述的LBS技术。如果(Mx，My，Mz)离所述骨架的任何连杆太远，则w1＝w2＝0。为了节省所述存储器空间，如果且仅如果w1≠0，所述映射阶段610的输出是带有5列的映射表(如下所示)。(Tx，Ty，Tz)l1的指数w1l2的指数w2所述映射表可仅需要为每个变形计算一次。所述映射表移至所述GPU602。对于每个时间t，非刚性转换614移至所述GPU602。所述非刚性转换算法614用于计算用于所述骨架树420的每个节点的刚性转换，以描述该节点应该如何基于所述变形骨架树480移动。在616处，所述非刚性转换614由所述GPU602使用，以计算用于所述骨架树中的每个节点的转换。基于所创建的映射表，从所转换的骨架树节点发展全变形场，用于所述三维纹理空间632中的每个插值坐标。所述三维纹理存储器612存储用于所述三维纹理空间632中的每个坐标的所述转换。所述三维纹理存储器612的场(field)由所述GPU同时填充。所述GPU的独立的线程(即小序列的独立管理的编程指令)起作用，以使用上述提供的所述变形公式计算用于所述三维纹理存储器的每个坐标的变形值。所述GPU中的所述三维纹理存储器用作两个目的。首先，所述纹理的尺寸比所述模型空间小得多。例如，所述三维纹理存储器可以使用128×128×128三维体素(voxel)阵列，并且所述模型空间可以使用1024×1024×1024三维体素阵列。其次，利用线性插值推导出所述GPU的所述三维纹理存储器中的值是非常快速的。在618处，利用在所述网格模型450的每个顶点上起作用的一个线程，线程从所述三维纹理存储器612推导出值(使用所述映射表)，所述值对应于所述初始网格模型450中的所述顶点的位置并且将其转换成变形顶点。在620处，利用为每个所述参考状态顶点所创建的变形顶点，生成并显示变形的网格模型。所述变形网格模型的显示可以动态地用以与所述患者解剖结构的接近实时的变形对应的高显示速率更新的所述变形网格模型的显示进行呈现。例如，显示速率可以是每秒约30个或更多个帧。因此，临床医生通过所述患者解剖结构导航介入仪器提供有所述患者解剖结构在其当前的变形状态下的当前图像。本发明的实施例中的一个或多个元件可以在软件中实施，以在诸如控制系统112的计算机系统的处理器上执行。当在软件中实施时，本发明的实施例的元件本质上是用来执行必要的任务的编码节段。所述程序或编码节段能够被存储在处理器可读存储介质或装置中，其中所述处理器可读存储介质或装置已经通过传输介质或通信链接经由实施在载波中的计算机数据信号下载。所述处理器可读存储装置可以包括能够存储信息的任何介质，包括光学介质、半导体介质和电磁介质。处理器可读存储装置示例包括电子电路；半导体装置、半导体存储器装置、只读存储器(ROM)、闪速存储器、可擦可编程只读存储器(EPROM)；软盘、CD-ROM、光盘、硬盘或其他存储装置。所述编码节段可以经由诸如互联网、内联网等计算机网络下载。应当注意的是，所呈现的处理和显示可以不是固有地涉及任何特定计算机或其他设备。所需的用于各种这些系统的结构将在权利要求书中作为元件出现。另外，本发明的实施例不参照任何特定的编程语言描述。应当理解，各种编程语言可以用于实施如本文所述的本发明的启示。虽然已经描述且在附图中示出了本发明的某些说明性实施例，但是此类实施例仅仅是广泛的发明中的说明性的而不是限制性的，并且本发明的实施例不局限于所示出的和所描述的具体构造和布置，因为本领域技术人员可以想到各种其他的修改。当前第1页1 2 3