提供用于图像引导的外科手术的解剖结构的模型的动态配准的医疗系统的制作方法
【专利摘要】医疗系统向外科医生提供导航辅助，以便外科医生可以导航柔性医疗器械穿过解剖结构的连接的通道到达解剖结构中的目标或邻近解剖结构的目标。当医疗器械移动穿过连接的通道时，由在其远端的图像捕获元件捕获图像，并且由布置在医疗器械中的传感器接收医疗器械的姿势和形状信息。利用4-D形状配准和虚拟照相机配准中的一个或两者使解剖结构的4-D计算机模型与医疗器械配准，以便使捕获的图像和由虚拟照相机的透视生成的虚拟图像与彼此配准，并且当提供到目标的导航路径的指示时显示。
【专利说明】提供用于图像引导的外科手术的解剖结构的模型的动态配准的医疗系统
【技术领域】
[0001]本发明一般地涉及医疗系统，并且具体地涉及提供用于图像引导的外科手术的解剖结构的模型的动态配准的医疗系统。
【背景技术】
[0002]图像引导的外科手术有助于外科医生将医疗器械操纵到患者内的目标，以便可以对目标执行治疗和/或诊断医疗程序。为了引导，医疗器械的工作端的姿势(即，位置和方向)可以被跟踪，并且连同解剖结构的模型一起显示的或叠加在解剖结构的模型上的图像与目标关联。模型可以是从手术前和/或手术中患者解剖扫描数据例如X射线、超声波、X线透视、计算机断层摄影(CT)、磁共振成像(MRI)以及其他成像技术通过计算机生成的。医疗器械可以是内窥镜、导管或具有可操纵的末端和能够贴合通向患者的解剖结构中的目标的身体通道的柔性主体的医疗器具。
[0003]显示将要在其上执行治疗和/或诊断医疗程序的目标、其中目标停留或者邻近的解剖结构的模型、以及叠加在解剖结构模型上的医疗器械的工作端的图像对于外科医生是特别有用的，以便提供辅助引导医疗器械通过自然和/或人工身体通道到达和通过解剖结构至目标。然而当解剖结构既不是固定的也不是刚性的，而相反根据解剖结构的周期或非周期运动移动和/或改变形状时，例如具有患者的肺或心脏搏动的情况，适当配准模型与医疗器械可能是非常困难的。
【发明内容】
[0004]因此，本发明的一个或多个方面的一个目的是利用图像引导的外科手术的手术中解剖信息用于提供解剖结构的模型的动态配准的医疗系统及在其中实施的方法。
[0005]本发明的一个或多个方面的另一个目的是利用图像引导的外科手术的手术中解剖信息用于提供解剖结构的模型的动态配准的医疗系统及在其中实施的方法，其实施简单并且不需要昂贵的跟踪系统。
[0006]本发明的一个或多个方面的另一个目的是在图像引导的外科手术期间用于提供解剖结构的模型的动态配准的医疗系统及在其中实施的方法，其是计算高效的，并且适于实时应用。
[0007]本发明的一个或多个方面的另一个目的是在图像引导的外科手术期间用于提供解剖结构的模型的动态配准的医疗系统及在其中实施的方法，其是准确的。
[0008]这些以及其他目的通过本发明的各个方面实现，其中简要说明，一个方面是医疗系统，其包括:存储解剖结构的计算机模型的信息的存储器；医疗器械，其具有柔性主体以及沿柔性主体的长度分布的多个传感器；以及处理器，其被编程以在柔性主体被布置在解剖结构的通道中时利用由多个传感器在相同时间点提供的信息确定柔性主体的姿势和形状，并且通过匹配至少柔性主体的确定的形状与解剖结构的计算机模型中的一个或多个潜在通道的形状的最适合的一个，配准计算机模型与医疗器械。
[0009]另一个方面是用于配准解剖结构的计算机模型与布置在解剖结构中的通道内的柔性医疗器械的方法，其中柔性医疗器械具有沿柔性医疗器械的长度分布的多个传感器，该方法包括:利用由多个传感器在相同时间点提供的信息确定柔性医疗器械的当前姿势和形状；通过匹配至少柔性医疗器械的确定的形状与计算机模型中的潜在通道的形状的最适合的一个配准解剖结构的计算机模型与柔性医疗器械。
[0010]另一个方面是医疗系统，其包括:存储解剖结构的计算机模型的信息的存储器；医疗器械；图像捕获装置，其从医疗器械的远端的透视捕获图像；以及处理器，其被编程以通过在医疗器械被布置在解剖结构的通道中时确定医疗器械的姿势和形状，并且通过匹配至少医疗器械的确定的形状与解剖结构的计算机模型中的一个或多个潜在通道的形状的最适合的一个，随后通过比较由图像捕获装置捕获的图像与解剖结构的计算机模型的多个虚拟视图执行计算机模型与医疗器械的局部配准，周期性地执行计算机模型与医疗器械的整体配准， 其中多个虚拟视图由虚拟照相机的透视生成，该虚拟照相机的姿势被最初设置在医疗器械的远端的姿势，并且然后围绕该最初姿势扰动。
[0011]再一个方面是用于配准解剖结构的计算机模型与医疗器械的方法，该方法包括:通过在医疗器械被布置在解剖结构的通道中时确定医疗器械的姿势和形状并且通过匹配至少医疗器械的确定的形状与解剖结构的计算机模型中的一个或多个潜在通道的形状的最适合的一个，随后通过比较由图像捕获装置捕获的图像与解剖结构的计算机模型的多个虚拟视图执行计算机模型与医疗器械的局部配准，周期性地执行计算机模型与医疗器械的整体配准，其中多个虚拟视图由虚拟照相机的透视生成，该虚拟照相机的姿势被最初设置在医疗器械的远端的姿势，并且然后围绕该最初姿势扰动。
[0012]由结合附图进行的以下描述，本发明的各个方面的其他目的、特征和优点将变得显而易见。
【专利附图】
【附图说明】
[0013]图1图解采用本发明的方面的医疗系统，其包括手动操作的医疗器械。
[0014]图2图解采用本发明的方面的可选医疗系统，其包括远程操作的医疗器械。
[0015]图3图解插入患者的解剖结构中的医疗器械的图。
[0016]图4图解对患者执行医疗程序之前进行的手术前任务的流程图。
[0017]图5图解在呼吸周期期间肺的运动。
[0018]图6图解在配准解剖结构的计算机模型与医疗器械之前，在将医疗器械导航到解剖结构中的目标区域期间的主屏的视图。
[0019]图7图解在将医疗器械导航到解剖结构中的目标区域期间的辅助屏的视图。
[0020]图8图解用于执行医疗程序的方法的流程图，该方法包括采用用于配准解剖结构的计算机模型与医疗器械的本发明的方面的第一和第二方法中的一个。
[0021]图9图解采用用于配准解剖结构的计算机模型与医疗器械的本发明的方面的第一方法的流程图。
[0022]图10图解采用用于配准解剖结构的计算机模型与医疗器械的本发明的方面的第二方法的流程图。[0023]图11图解用于执行医疗程序的方法的流程图，该方法包括采用用于配准解剖结构的计算机模型与医疗器械的本发明的方面的第一和第二方法二者。
[0024]图12A-C图解当医疗器械移动穿过患者的解剖结构的通道时具有单一端传感器的医疗器械分别在三个不同时间点的示意图。
[0025]图13图解在医疗器械被布置在患者中的解剖结构的通道中时具有多个分布的传感器的医疗器械在单一时间点的示意图。
[0026]图14图解在配准解剖结构的计算机模型与医疗器械之后，在将医疗器械导航到解剖结构中的目标区域期间的主屏的视图。
[0027]图15图解被任选地用于采用本发明的方面的医疗系统的虚拟现实系统。
【具体实施方式】
[0028]作为实例，图1图解了医疗系统100，其包括可操纵的医疗器械110、被插入医疗器械110中的一个或更多纤维光学电缆120、姿势/形状处理器130、图像处理器140、图像捕获元件141、显示处理器150、主显示屏151、辅助显示屏152、导航处理器160以及存储器161。虽然示出为单独的单元，但是姿势/形状处理器130、图像处理器140、显示处理器150和导航处理器160每个可以被实施为硬件、固件、软件或他们的组合，其与一个或更多计算机处理器相互作用或另外地由一个或更多计算机处理器执行。主显示屏以及辅助显示屏151和152优选是能够对系统100的操作员显示三维图像的计算机计监视器。然而，考虑到成本，主显示屏以及辅助显示屏151和152中的任意一个或两者可以是仅能够显示二维图像的标准计算机监视 器。
[0029]医疗器械110具有柔性主体114、在其远端111处的可操纵的末端112、以及在其近端115处的手动操作的手柄116。控制电缆(未示出)或其他控制装置通常从手柄116延伸到可操纵的末端113，以便末端112可以被可控地弯曲或转动，例如由弯曲的末端112的虚线形式所示的。医疗器械110可以是内窥镜、导管或具有柔性主体和可操纵的末端的其他医疗器具。
[0030]图像捕获元件141可以是被布置在远端111处的立体或单视场(monoscopic)照相机，其用于捕获传输到图像处理器140和/或显示处理器150并且由其处理的图像，该图像被显示在主显示屏151、辅助显示屏152和/或根据如本文所述的发明的各个方面的其他显示装置。可选地，图像捕获元件141可以是连接到医疗器械110的近端上的成像和处理系统的相干纤维光学束，例如纤维光学镜。图像捕获元件141还可以是在可见或红外/紫外光谱内捕获图像数据的单个或多光谱图像捕获元件。因此，本文所指的任何图像捕获元件、装置或系统可以是这些或其他成像技术中的任意一个或其组合。多个纤维光学电缆120中的一个可以在其近端被连接到在远端111处用于照明目的的光源(未示出)。纤维光学电缆120中的其他纤维光学电缆可以被配置具有沿医疗器械110的长度分布的位置和弯曲或形状传感器，例如光纤布拉格光栅(Fiber Bragg Grating)(或其他应变传感器，例如采用瑞利散射的那些)，以便穿过纤维光学电缆的光被姿势/形状处理器130处理，从而确定医疗器械110的当前姿势和形状。
[0031]作为实例，图2图解了医疗器械100的可选实施方式，其中手柄116被机电接口170、控制器180、以及用于远程操作医疗器械110的输入装置190代替。接口 170包括用于致动医疗器械110中的电缆以便操纵末端112的致动器，以及用于前后移动整个医疗器械110的致动器，以便其通过入口——例如自然身体孔口或外科医生创建的一个孔口——可以被插入患者以及从患者收回。控制器180优选地被实施为与处理器130、140、150和160相同的一个或更多计算机处理器或者不同的计算机处理器中的硬件、固件或软件(或其组合)。在该实施方式中，柔性主体114可以是被动或主动可弯曲的。
[0032]这种可操纵的医疗器械的实例在题目为“Method and System for Assisting anOperator in Endoscopic Navigation” 的 U.S.2010/0249506A1 以及题目为 “Apparatusand Methods for Automatically Controlling an Endoscope” 的 W02009/097461A1 中进行了描述，其每个通过引用被并入本文。使用光纤布拉格光栅确定内窥镜的位置和弯曲的细节可以在例如题目为 “Robotic Surgery System Including Position SensorsUsing Fiber Bragg Gratings，，的 U.S.2007/0156019A1、题目为 “Fiber Optic Positionand/or Shape Sensing Based on Rayleigh Scatter” 的 U.S.2008/0212082A1、题目为“Robotic Surgical Instrument and Methods using Bragg Fiber Sensors” 的U.S.2008/0218770A1、以及题目为 “Fiber Optic Shape Sensor” 的 U.S.2009/0324161A1中找到，其每个通过引用被并入本文。
[0033]作为实例，图3图解了医疗器械110的图，其通过入口 310插入并且延伸进入患者300的解剖结构330中。在该实例中，解剖结构330是一对肺，其具有包括气管、支气管和细支气管的多个自然身体通道；入口 310是患者的嘴；以及医疗器械110是支气管镜。由于肺的特性，医疗器械110可以被引导通过支气管树的若干连接的通道。这样做时，医疗器械110的柔性主体114贴合其行进通过的通道。虽然在本实例中示出一对肺，但是应当明白，除了呼吸系统以外，本发明的各个方面对于其他解剖结构也是适用和有用的，例如心脏、脑、消化系统、循环系统、以及泌尿系统。进一步地，虽然仅示出自然身体通道，但是本文所述的方法也适用于可在医疗程序期间或医疗程序之前形成并且被叠加在患者解剖的计算机模型上的人工通道或者外科医生创建的通道。
[0034]作为实例，图4图解了被执行准备用于对患者的医疗程序的手术术前任务的流程图。在以下实例中，解剖结构被假定是这样的一种，其以可识别的方式在医疗程序期间运动，例如空气和血液循环系统的周期运动或例如对刺激的身体反应的非周期运动。尽管在医疗程序期间当解剖结构不运动时本发明的方面仍然可以适用和有用，但是本发明的全部优势最好是其中解剖结构在医疗程序期间以可识别的或以其他已知方式运动的环境中体验。
[0035]在方框401中，使用适当的成像技术获得患者的一组或更多组图像，由该图像可以生成一组解剖结构的三维(3-D)计算机模型，其中每个3-D计算机模型与一段时间内的不同时间点关联，以便时间表示第四维度，并且该图像在这里被称为四维(4-D)图像。另外的维度也可以被定义并且用于本文所述的方法中。这种成像技术的例子包括但不限于X线透视、磁共振成像、热相图法、X线体层照相术、超声波、光学干涉断层术、热成像、阻抗成像、激光成像、纳米管X射线成像等。
[0036]图像的被捕获的时间段内取决于解剖结构和关注的运动。例如，当解剖结构是肺时，一组图像可以用于周期运动，比如图5中所示的呼吸循环，其中肺从最大呼气状态501(实线)膨胀到最大吸气状态502 (虚线)。另一组图像可以用于非周期运动，比如导致肺的运动的咳嗽或对刺激的其他身体反应。作为另一个例子，当解剖结构是心脏时，一组图像可以用于周期运动，比如血液循环。选择确定这种3-D计算机模型的数量的采样率，以便在这种运动期间的解剖结构的运动被充分描述，用于准确的配准和导航的目的。
[0037]在方框402中，从获得的解剖结构的图像提取4-D形状信息。当获得的图像是在运动时间段内以增量时间点被采样(例如，根据采样率)的解剖结构的二维(2-D)切片组时，生成解剖结构的3-D形状信息用于对应于相同时间点的每组2-D切片。因此，对于η个时间点，提取“ η ”组3-D形状信息，其中“ η ”是在运动时间段内的采样时间点的数量。
[0038]在方框403中，解剖结构中的一个或更多目标被识别。目标是在其中或其上要执行医疗程序的解剖结构中的位置或对象，或邻近于解剖结构的位置或对象。例如，目标可以是在解剖结构中或邻近于解剖结构的肿瘤。目标(一个或更多)可以由外科医生以常规方式通过分析解剖结构的获得的图像或提取的4-D形状信息进行识别，其任何一种对于这种识别是更方便和/或可靠的。
[0039]在方框404中，确定导航路径到并且通过医疗器械110的工作端的解剖结构以行进到每个目标。在这种情况下，工作端被假定为医疗器械110的远端111。外科医生可以通过分析解剖结构的获得的图像或提取的4-D形状信息确定到目标的合适的导航路径，以便考虑在医疗器械110朝目标移动时其引起的对患者造成的任何伤害，以及最短的时间/或最短的路径。可选地，计算机程序可以使得处理器执行这种分析，以便利用人工智能技术确定导航路径。
[0040]作为实例，图6图解了在配准解剖结构的计算机模型与医疗器械之前，在导航医疗器械110到解剖结构中的目标区域期间的主屏151的视图。左图像610是在观看肺中的分叉时由图像捕获元件141捕获的图像，其中分叉指示左通道611和右通道612，通过其一个或另一个，在医疗器械被进一步插入到肺中时医疗器械110可以通过。还示出了右图像620，其是由观看解剖结构的4-D计算机模型的对应位置的虚拟照相机生成的虚拟图像，虚拟图像已经在以某种方式配准4-D计算机模型与医疗器械110之前由图4的方框402中提取的4-D形状信息生成。具体而言，虽然示出对应于通道611和612的左通道621和右通道622，但是由于关于解剖结构的4-D计算机模型对医疗器械110的配准变换中的平移和旋转误差，他们的尺寸和对齐不同。
[0041]作为实例，图7图解了在导航医疗器械110到解剖结构中的目标区域期间的辅助屏152的视图。该视图可以是解剖结构330的计算机模型720和医疗器械110的计算机模型710的2-D或3-D视图，其在医疗器械110移动通过解剖结构330时被实时更新。还示出了目标的指示721。因此，辅助屏152帮助外科医生操纵医疗器械110通过解剖结构330到达目标。
[0042]作为实例，图8图解了用于对患者执行医疗程序的方法的流程图。在方框801中，在准备执行医疗程序中执行若干手术前任务。首先，通过例如将医疗器械110的远端111触摸至固定参考系中的已知的和静止的点将医疗器械110以常规方式定位到固定的参考系。其次，通过将医疗器械110的远端111触摸并保持至患者上的一个或更多点，可以以常规方式配准患者与固定的参考系，该点与在与4-D计算机模型关联的运动期间如图4的方框401中所述的患者的获得的图像上的可识别的点相对应。因此，通过将患者上的一个或更多点之间的已知关系应用到解剖结构330，可以配准解剖结构的计算机模型与患者的解剖结构、固定参考系、以及医疗器械110。
[0043]导航医疗器械110通过解剖结构330的连接的通道到目标在图8中从“开始”到“结束”被执行。在方框802中，取决于外科医生所使用的医疗系统100的实施实施方式，外科医生操纵手柄116或输入装置190以插入方向或缩回方向使医疗器械110移动穿过连接的通道。在方框803中，导航处理器160由姿势/形状处理器130接收医疗器械110的姿势和形状信息，并且由图像处理器140接收图像数据。因此，导航处理器160具有关于医疗器械110的远端111的当前位置和方向(即，姿势)和医疗器械110的柔性主体114的形状的信息，连同已经由图像捕获元件141此时已经捕获的图像的信息。
[0044]在方框804中，导航处理器160执行解剖结构330的4_D计算机模型与医疗器械110的配准的校正。执行这种配准的一个方法参考图9进行描述，并且另一个方法参考图10进行描述。可选地，不是执行两种方法中的一个或另一个，而是执行两种方法，如参考图11所述并且进行描述。在执行方框804时，假设医疗器械110的形状贴合当时在其中布置医疗器械的解剖结构的通道的形状。因此，配准计算机模型与医疗器械110有效地配准解剖结构的计算机模型与患者的实际解剖结构。 [0045]在方框805中，捕获的图像和虚拟图像以类似方式示出，如参考图6所述并且进行描述，除了虚拟图像620现在被调整类似于比如图14中所示的捕获图像610，这是由于解剖结构330的4-D计算机模型与医疗器械110的适当配准。具体而言，虚拟图像620的左和右通道621和622的尺寸和方向与捕获的图像610的左和右通道611和612的尺寸和方向匹配。在方框806中，提供在虚拟图像620中的导航路径指示，比如箭头623，以便外科医生知道医疗器械110被操纵到指示的通道中。
[0046]在方框807中，进行确定医疗器械110的工作端111是否已进入目标的阀值距离内。在这种情况下，阀值距离是这样的距离，其足以使得外科医生操纵医疗器械110的工作端111以执行其期望的目的，而不需要将医疗器械110进一步插入解剖结构330中。如果在807中的确定是“是”，那么完成到目标的引导的导航，并且方法结束。另一方面，如果医疗器械110还没有到达目标的阀值距离，那么方法跳转返回至802，以便由外科医生操纵手柄116或输入装置190进一步移动医疗器械110穿过连接的通道，这取决于外科医生使用的医疗系统100的实施方式。
[0047]作为实例，图9图解了用于通过配准解剖结构的计算机模型与医疗器械的导航处理器160可执行的第一方法(被称为“形状配准”)的流程图。当实时图像由医疗器械110的远端111的透视是不可利用的时，例如当图像捕获元件141被去除或其视图被阻隔时，这种方法是特别有用的。
[0048]如前面解释的，由于柔性主体114贴合医疗器械110当时穿过的解剖结构的通道的形状，医疗器械110的形状类似于通道的形状。因此，通过配准解剖结构的计算机模型与医疗器械110，这与将解剖结构的计算机模型与实际解剖结构配准是同样有效的。可选地，利用参考图12A-C所述的方法通道的形状可以被确定，其中当医疗器械110移动穿过解剖结构1200的通道1202时，远端传感器1210的姿势在不同时间点被记录。然而，这种方法的一个问题是当解剖结构1200移动时，在不同时间点进行的不同位置测量(并且可能是解剖结构的动态运动中的不同点)会导致误差或复杂的校正调节。因此，在图13中示出本发明的优选实施方式，其中可采用数量足够并且沿医疗器械110的长度适当分布的多个传感器1310a-1310k，以便可以准确进行在相同的时间点的所有姿势和形状测量。
[0049]在方框901中，利用从姿势/形状处理器130接收的姿势和形状信息，可以生成对应于医疗器械110的当前姿势和形状的3-D计算机模型。由于姿势和形状信息容易地由布置在医疗器械110中的位置和形状传感器生成，因此进行计算地快速确定医疗器械的姿势和形状。
[0050]在方框902中，将医疗器械110的形状与每个采样时间点的3-D计算机模型中的连接的通道的形状进行比较，以发现最近匹配的连接的通道。若干众所周知的匹配技术可以被用于执行这种功能，比如，例如在u.S.2005/0182319A1中所描述的迭代最近点(ICP)算法或奇异值分解(SVD)算法，本专利通过引用被并入本文。因此，对于动态运动周期中的每个采样时间，医疗器械110 (以及因此当时医疗器械110被布置其中的通道)的当前形状与解剖结构的计算机模型中的连接的通道中的一个的最近匹配被确定。
[0051]在方框903中，在902中被确定的连接的通道与医疗器械110的形状的每个最近匹配之间的偏差被确定。接着，与医疗器械110的当前形状具有最小偏差的连接的通道的最近匹配被确定为在匹配之中是“最合适的”。因此，鉴于方框902为每个3-D计算机模型确定其通道中的一个或更多与医疗器械的当前形状之间的最近匹配，方框903确定这样的
3-D计算机模型，其中连接的通道的最近匹配是所有3-D计算机模型的最近匹配(多个)中的“最适合的”(即，最近匹配)。接着在方框904中，解剖结构的4-D计算机模型中的连接的通道中“最适合的”被定位到已经被确定是“最适合的”医疗器械110的部分，以便配准
4-D计算机模型与医疗器械110(并且因此患者的解剖结构)。
[0052]作为实例，图10图解了用于校正解剖结构的计算机模型与医疗器械的配准由导航处理器160可执行的第二方法(被称为“虚拟照相机配准”)的流程图。在执行方法时，假设4-D计算机模型与医疗器械110之间的在前配准已经被执行(比如最初在图8的方框801中)。
[0053]在方框1001中，虚拟照相机被最初假设为布置成医疗器械110的远端的当前姿势。在方框1002中，生成解剖结构的4-D计算机模型的一个或更多虚拟图像，好像通过平移地/定向地扰动虚拟照相机的当前姿势由虚拟照相机捕获的一样。在方框1003中，将一个或更多虚拟图像与由图像捕获元件141捕获的解剖结构的当前图像进行比较。在方框1004中，虚拟照相机姿势根据在方框1003中执行的比较进行调节，以便由虚拟照相机在调整的姿势捕获的虚拟图像更加匹配由图像捕获元件141捕获的解剖结构的当前图像。在方框1005中，生成4-D计算机模型的虚拟图像，好像由虚拟照相机在调整的姿势所捕获的一样。在方框1006中，使由虚拟照相机在调整的姿势所捕获的虚拟图像与由图像捕获元件141捕获的解剖结构的当前图像进行比较。在方框1007中，确定虚拟图像与实时捕获的图像之间的偏差是否在公差范围内。公差范围可以被预先设定为之前以某种方式确定的极限值，从而在合理的时间段内产生可接受的匹配。可选地，算法可以被用于递增地改变作为经过方框1002-1007的循环的处理结果的函数的最初公差范围。
[0054]如果确定为“是”，那么在1908中，虚拟照相机的调整的姿势被用于生成将解剖结构的4-D计算机模型与医疗器械110配准的配准变换，并且配准变换被用于将4-D计算机模型定位到医疗器械110。另一方面，如果确定为“否”，那么方法跳转返回到方框1002，以便通过扰动虚拟照相机的调 整的姿势由虚拟照相机的透视生成解剖结构的4-D计算机模型的一个或更多虚拟图像。接着，方法继续循环经过方框1002-1007，直到在方框1007中的确定为“是”。
[0055]作为实例，图11图解了用于执行医疗程序的方法的流程图，该医疗程序包括用于配准解剖结构的计算机模型与医疗器械的第一和第二方法二者。在该方法中，与图8的方框801-803相同地执行方框1101-1103，并且与图8的方框805-807相同地执行方框1106-1108。如参考图9所述的方法相同地执行方框1104，并且可以被认为是相对快地执行的整体或粗糙配准。如参考图10所述的方法相同地执行方框1105，并且可以被认为是校正在执行方框1104后可剩下的任何“残留误差”的局部或精密配准。因此，在该实例中，周期性地执行参考图9和10所述的方法的组合可以提供解剖结构的4-D计算机模型与医疗器械110的更加准确的配准。进一步地，周期性地执行方框1104的整体配准可以用于防止任何“漂移”误差，该误差可能产生在比如图8的方框801的初始配准后仅周期性地执行方框1105。
[0056]在执行本文所述的任意一种配准方法后，如果所产生的虚拟图像620仍然与捕获的图像610明显地未对齐(例如在主显示屏151上观看的)，则可以提供手动配准装置，借此计算机模型可以根据输入装置的操作员操纵被平移和/定向，直到虚拟和捕获的图像看起来对齐。
[0057]作为实例，图15图解了被任选地用于医疗系统100的虚拟现实系统1500，用于在虚拟现实环境中向外科医生提供到在患者的解剖结构中或邻近患者的解剖结构的目标的导航引导。在虚拟现实系统1500中，在外科医生移动医疗器械110通过解剖结构时，外科医生戴着的立体护目镜或眼镜1501以3-D地显示由虚拟照相机生成的虚拟图像或由图像捕获元件141捕获的实时图像。当外科医生靠近解剖结构的连接的通道的每个分叉时，要采取的导航路径的指示可以以一个或更多感官方式被提供。例如，导航处理器160可以如参考图8所述的一样执行步骤801-805，但是代替在主显示屏151上显示虚拟图像620中的箭头，其可以在立体眼镜1501中提供导航指示为指示要采用的正确通道的箭头(通过显示处理器150)，以便外科医生接收正确导航路径的可见指示。
[0058]可选地或附加地，当医疗器械110接近分叉时，可以通过声音系统1502提供导航路径指示，其通过如果外科医生将医疗器械110的远端111引导进入错误通道发出能够被听见的警告声，和/或如果外科医生将医疗器械110的远端111引导进入正确通道发出能够被听到的确认声音。可选地或附加地，当医疗器械110靠近分叉时，可以通过嗅觉系统1503提供导航路径指示，其通过如果外科医生将医疗器械110的远端111引导进入错误通道能够被闻到的难闻气味，和/或如果外科医生将医疗器械110的远端111引导进入正确通道能够被闻到的令人愉悦的气味。可选地或附加地，当医疗器械110靠近分叉时，可以通过味觉系统1504提供导航路径指示，其通过如果外科医生将医疗器械110的远端111引导进入错误通道能够在被插入到外科医生口中的口操纵杆1515上被感测的苦味，和/或如果外科医生将医疗器械110的远端111引导进入正确通道能够在口操纵杆1515上被感测的甜味。可选地或附加地，当医疗器械110靠近分叉时，可以通过触觉系统1505提供导航路径指示，其通过如果外科医生将医疗器械110的远端111引导进入错误通道能够在输入装置190上感觉到的阻力，和/或如果外科医生将医疗器械110的远端111引导进入正确通道能够在输入装置190上感觉到的向前轻推的力。[0059]虽然本发明的各个方面已经通过一个或更多实施方式进行了描述，但是应当理解，本发明具有完全保护所附权利要求的全部范围的权利 。
【权利要求】
1.一种医疗系统，其包括:存储器，其存储解剖结构的计算机模型的信息；医疗器械，其具有柔性主体和沿所述柔性主体的长度分布的多个传感器；以及处理器，其被编程以在所述柔性主体被布置在所述解剖结构的通道中时利用由所述多个传感器在相同的时间点提供的信息确定所述柔性主体的姿势和形状，以及通过匹配至少所述柔性主体的确定的形状与所述解剖结构的所述计算机模型中的一个或更多潜在通道的形状的最适合的一个配准所述计算机模型与所述医疗器械。
2.根据权利要求1所述的医疗系统，其中所述存储器存储到所述解剖结构中的目标的导航路径相对于所述计算机模型的信息，并且其中所述处理器被编程以在配准所述计算机模型与所述医疗器械后提供所述导航路径的指示作为所述医疗器械的操纵方向。
3.根据权利要求2所述的医疗系统，其进一步包括:显示器；其中所述处理器被编程以由所述医疗器械远端的透视生成所述解剖结构的内部的所述计算机模型内的虚拟视图；并且在所述显示器上显示所生成的虚拟视图和所述导航路径的指示。
4.根据权利要求3所述的医疗系统，其进一步包括: 图像捕获装置，用于从所述医疗器械远端的透视捕获图像；其中所述处理器被编程以在所述显示器上显示被捕获的图像。
5.根据权利要求2所述的医疗系统，其进一步包括:虚拟现实环境；其中所述处理器被编程以从所述医疗器械远端的透视生成所述解剖结构的内部的所述虚拟现实环境内的虚拟视图；并且连同所述导航路径的一个或更多感官指示提供所生成的虚拟视图的一个或更多感官指示。
6.根据权利要求5所述的医疗系统，其中所述导航路径的一个或更多感官指示包括听觉、视觉、触觉、嗅觉和味觉五种感觉中的一种或更多。
7.根据权利要求2所述的医疗系统，其中所述多个传感器是多个应变传感器。
8.根据权利要求7所述的医疗系统，其中所述多个传感器包括采用瑞利散射的传感器。
9.根据权利要求7所述的医疗系统，其中所述医疗器械具有延伸通过所述柔性主体的一个或更多光纤，并且所述多个传感器包括在所述一个或更多光纤上的采用光纤布拉格光栅的传感器。
10.根据权利要求2所述的医疗系统，其中所述解剖结构是肺，并且所述一个或更多潜在通道包括气管、支气管、以及细支气管。
11.根据权利要求2所述的医疗系统，其中所述解剖结构是心脏、脑、消化系统、循环系统和泌尿系统中的一个。
12.根据权利要求2所述的医疗系统，其进一步包括:输入装置；连接到所述医疗器械的一个或更多致动器；其中所述处理器被编程以命令所述一个或更多致动器移动所述医疗器械响应于所述输入装置的操作员移动。
13.根据权利要求2所述的医疗系统，其中所述医疗器械包括内窥镜、导管和医疗器具中的一个。
14.根据权利要求2所述的医疗系统，其中所述处理器被编程以通过识别运动以及采用与所识别的运动中的点关联的触发器补偿所述解剖结构的运动。
15.根据权利要求14所述的医疗系统，其中所述运动是与所述解剖结构关联的周期运动和非周期运动中的一个或其组合。
16.根据权利要求15所述的医疗系统，其中所述周期运动包括空气和血液中的至少一个在身体内的循环。
17.根据权利要求15所述的医疗系统，其中所述非周期运动产生自对刺激的身体反应。
18.根据权利要求2所述的医疗系统，其中所述存储器存储所述解剖结构的多个计算机模型的信息，其中所述多个计算机模型的每个对应于所述解剖结构的运动时间段内的不同时间点，其中所述处理器被编程以通过匹配至少所述柔性主体的确定的形状与所述解剖结构的所述多个计算机模型中的潜在通道的形状的最适合的一个，配准所述计算机模型与所述医疗器械。
19.根据权利要求18所述的医疗系统，其中所述运动时间段与可识别的周期运动和可识别的非周期运动中的至少一个关联。
20.根据权利要求19所述的医疗系统，其中所述可识别的周期运动包括空气和血液中的至少一个在身体内的循环。
21.根据权利要求19所述的医疗系统，其中所述可识别的非周期运动产生自对刺激的身体反应。
22.用于配准解剖结构的计算机模型与布置在所述解剖结构中的通道内的柔性医疗器械的方法，其中所述柔性医疗器械具有沿所述柔性医疗器械的长度分布的多个传感器，所述方法包括:利用由所述多个传感器在相同时间点提供的信息确定所述柔性医疗器械的当前姿势和形状；通过匹配至少所述柔性医疗器械的确定的形状与所述计算机模型中的潜在通道的形状的最适合的一个，配准所述解剖结构的所述计算机模型与所述柔性医疗器械。
23.—种医疗系统，其包括:存储器，其存储解剖结构的计算机模型的信息；医疗器械；图像捕获装置，用于从所述医疗器械远端的透视捕获图像；以及处理器，其被编程以通过在所述医疗器械被布置在所述解剖结构的通道中时确定所述医疗器械的姿势和形状，并且匹配至少所述医疗器械的确定的形状与所述解剖结构的所述计算机模型中的一个或多个潜在通道的形状的最适合的一个，随后通过比较由图像捕获装置捕获的图像与所述解剖结构的所述计算机模型的多个虚拟视图执行所述计算机模型与所述医疗器械的局部配准，周期性地执行所述计算机模型与所述医疗器械的整体配准，其中所述多个虚拟视图由虚拟照相机的透视生成，所述虚拟照相机的姿势被最初设置在所述医疗器械的远端的姿势，并且然后围绕该最初姿势扰动。
24.根据权利要求23所述的医疗系统，其进一步包括:显示器； 其中所述存储器存储到所述解剖结构中的目标的导航路径的信息，并且其中所述处理器被编程以利用所述解剖结构的所述计算机模型的周期性地执行的整体和局部配准生成所述解剖结构的校正虚拟视图，在所述显示器上显示被捕获的图像、所校正的虚拟视图、以及所述导航路径的指示。
25.根据权利要求24所述的医疗系统，其中所述处理器被编程以在邻近的窗口中显示所捕获的图像和所校正的虚拟视图，以及在所述显示器上显示所述导航路径的指示为指示在所述校正的虚拟视图中要采取的方向的箭头。
26.根据权利要求24所述的医疗系统，其进一步包括:输入装置；连接到所述医疗器械的一个或更多致动器；其中所述处理器被编程以命令所述一个或更多致动器移动所述医疗器械响应于所述输入装置的操作员移动。
27.根据权利要求23所述的医疗系统，其中所述医疗器械包括内窥镜、导管和医疗器具中的一个。
28.根据权利要求23所述的医疗系统，其中所述处理器被编程以通过识别运动以及采用与所识别的运动中的点关联的触发器补偿所述解剖结构的运动。
29.根据权利要求28所述的医疗系统，其中所述运动是与所述解剖结构关联的周期运动和非周期运动中的一个或其组合。
30.根据权利要求29所述的医疗系统，其中所述周期运动包括空气和血液中的至少一个在身体内的循环。
31.根据权利要求29所述的医疗系统，其中所述非周期运动产生自对刺激的身体反应。
32.根据权利要求23所述的医疗系统，其中所述存储器存储所述解剖结构的多个计算机模型的信息，其中所述多个计算机模型的每个对应于所述解剖结构的运动时间段内的不同时间点，其中所述处理器被编程以通过匹配至少所述柔性主体的确定的形状与所述多个计算机模型中的潜在通道的形状的最适合的一个配准所述计算机模型与所述医疗器械，并且其中由所述处理器使用的用于生成所述多个虚拟视图的所述计算机模型是对应于所匹配的通道的计算机模型。
33.根据权利要求32所述的医疗系统，其中所述运动时间段与可识别的周期运动和可识别的非周期运动中的至少一个关联。
34.根据权利要求33所述的医疗系统，其中所述可识别的周期运动包括空气和血液中的至少一个在身体内的循环。
35.根据权利要求33所述的医疗系统，其中所述可识别的非周期运动产生自对刺激的身体反应。
36.一种用于配准解剖结构的计算机模型与医疗器械的方法，所述方法包括:通过在所述医疗器械被布置在所述解剖结构的通道中时确定所述医疗器械的姿势和形状，并且匹配至少所述医疗器械的确定的形状与所述解剖结构的所述计算机模型中的一个或多个潜在通道的形状的最适合的一个，随后通过比较由图像捕获装置捕获的图像与所述解剖结构的所述计算机模型的多个虚拟视图执行所述计算机模型与所述医疗器械的局部配准，周期性地执行所述计算机模型与所述医疗器械的整体配准，其中所述多个虚拟视图由虚拟照相机的透视生成， 所述虚拟照相机的姿势被最初设置在所述医疗器械的远端的姿势，并且然后围绕该最初姿势扰动。
【文档编号】A61B1/045GK103648361SQ201280034693
【公开日】2014年3月19日 申请日期:2012年4月27日 优先权日:2011年5月13日
【发明者】P·乔普拉, C·Q·唐豪, V·多文戴姆, G·M·普里斯科 申请人:直观外科手术操作公司