用于在图像引导的程序中将细长装置配准到三维图像的系统和方法与流程

本专利申请要求2017年1月9日提交的题为“用于在图像引导的程序中将细长装置配准到三维图像的系统和方法(systemsandmethodsforregisteringelongatedevicestothree-dimensionalimagesinimage-guidedprocedures)”的美国临时专利申请us62/444,018的优先权和申请日的权益，其全部内容通过引用并入本文。

本公开涉及用于进行图像引导的程序的系统和方法，并且更具体地涉及用于在图像引导的程序期间使用配准的实时图像和先前时间解剖图像的系统和方法。

背景技术：

微创医疗技术意图减少医疗程序期间损伤的组织量，从而减少患者恢复时间、不适和有害副作用。这种微创技术可以通过患者解剖体的自然孔口或通过一个或多个手术切口执行。通过这些自然孔口或切口，医师可以插入微创医疗器械(包括手术器械、诊断器械、治疗器械或活检器械)到达目标组织方位。为了帮助到达目标组织方位，医疗器械的方位和移动可以与患者解剖体的术前图像相互关联。通过使图像引导器械与图像相互关联，图像可以用于帮助器械在解剖系统中导航通过自然或手术创建的通路，诸如肺、结肠、肠、肾、心脏、循环系统或诸如此类。虽然术前图像是有帮助的，但它们是通常在程序之前就拍摄好的静态表示。

因此，有利的是提供器械与成像模态的配准以提供用于执行图像引导的程序的增强导航信息，其中该成像模态在程序期间采集患者解剖体的图像，。

技术实现要素：

随附于说明书的权利要求概括了本发明的实施例。

在一个实施例中，由计算系统执行一种方法。该方法包括获得患者解剖体和设置在其中的医疗器械的部分的三维图像。三维图像包括表征医疗器械的该部分的形状的图像信息。处理装置从三维图像分割医疗器械的该部分。当医疗器械的该部分位于患者解剖体内时，从该部分获得形状数据，并且处理装置将医疗器械的该部分的分割形状与来自医疗器械的该部分的形状数据进行配准。该方面的其它实施例包括对应的计算机系统、设备和记录在一个或多个非瞬时性计算机存储介质上的计算机程序，每个计算机程序被配置为执行该方法的动作。

在另一实施例中，医疗系统包括医疗器械，该医疗器械包括形状传感器、被配置为从形状传感器接收形状数据的跟踪子系统、以及耦连到医疗器械和跟踪子系统的处理器。处理器被配置为接收患者解剖体的图像数据，该患者解剖体具有设置在其中的医疗器械，使得图像数据在图像参考系中。处理器被进一步配置为：分割对应于医疗器械的图像数据的一部分；从器械参考系中的医疗器械获得形状数据；以及通过将形状数据与对应于医疗器械的图像数据的部分进行比较，将器械参考系配准到图像参考系。

在另一实施例中，由计算系统执行一种方法。该方法包括当医疗器械设置在患者解剖体内时获得患者解剖体的成像数据。成像数据包括多个图像并且在图像参考系中。当医疗器械设置在患者解剖体内时，从医疗器械获得形状数据。形状数据包括多个子集并且在器械参考系中。形状数据的多个子集中的子集被匹配到多个图像中的图像，并且器械参考系基于将形状数据的多个子集中的匹配子集与多个图像中的图像进行比较而被配准到图像参考系。该方面的其它实施例包括对应的计算机系统、设备和记录在一个或多个非瞬时性计算机存储介质上的计算机程序，每个计算机程序被配置为执行该方法的动作。

应理解，以上大致描述和以下详细描述二者本质上是示例性和解释性的，并且旨在提供对本公开的理解而非限制本公开的范围。就此而言，根据下面的详细描述，本公开的附加方面、特征和优点对于本领域技术人员将是明显的。

附图说明

图1是根据一些实施例的远程操作医疗系统的简化示意图。

图2a示出了利用本公开的各方面的医疗器械系统。

图2b示出了根据本公开的实施例的具有扩展医疗工具的图2a的医疗器械系统的远端。

图3a和图3b是根据一些实施例的包括安装在插入组装件上的医疗器械的患者坐标空间的侧视图的简化示意图。

图4a、图4b、图4c和图4d示出了在插入人肺内期间的图2、图3a和图3b的医疗机器人系统的远端。

图5示出了根据本公开的一个实施例的图像引导医疗程序的流程图。

图6a示出了根据本公开的各方面的示例性过滤三维图像，其包括与支气管通路和医疗器械关联的图像信息。

图6b示出了根据本公开的实施例的图6a的医疗器械的分割模型。

图7a是根据本公开的各方面的外科手术坐标空间的另一侧视图，其包括如图3a和图3b中所见的医疗器械和三维成像系统。

图7b示出了图7a中所示的医疗器械的远侧部分的详细视图。

图7c示出了根据本公开的各方面的使用图7a和图7b中所示的导管医疗器械采集的形状数据。

图8示出了根据本公开的各方面的在共同参考系中与医疗器械配准的三维图像的内部透视图。

图9示出了根据本公开的一些实施例的用于执行图像引导外科手术的方法的流程图。

图10a和图10b是根据本公开的一些实施例的医疗器械的侧视图。

图11示出了根据本公开的示例的包括更新的术前模型的表示图的复合图像。

当与附图一起阅读时，根据随后的详细描述，本公开的实施例被最好地理解。应认识到，同样的附图标记被用来标识在一个或多个附图中图示的同样的元件，其中的显示是用于图示本公开的实施例的目的，并不是用于限制本公开的目的。

具体实施方式

在以下描述中，阐述了描述与本公开一致的一些实施例的特定细节。阐述了很多特定细节，以便提供对实施例的充分理解。然而，对本领域技术人员显而易见的是，可以在没有这些特定细节中的一些或全部的情况下实践一些实施例。本文中公开的特定实施例旨在是图示性的而不是限制性的。本领域技术人员可以实现尽管此处未具体描述但是在本公开的范围和精神内的其他元件。此外，为了避免不必要的重复，结合一个实施例示出并描述的一个或多个特征可以被并入到其他实施例内，除非另外具体描述或如果一个或多个特征将会使实施例不能工作。

在一些实例中，公知的方法、程序、部件和电路未被详细描述，从而不会不必要地使实施例的多个方面模糊不清。

本公开从各种器械和器械部分在三维空间中的状态角度对其进行描述。如本文所用，术语“位置”指代对象或对象的一部分在三维空间中的方位(例如，沿笛卡尔x、y和z坐标的三个平移自由度)。如本文所用，术语“取向”指代对象或对象的一部分的旋转布置(三个旋转自由度——例如，滚转、俯仰和偏摆)。如本文所用，术语“姿态”指代对象或对象的一部分在至少一个平移自由度上的位置和该对象或对象的一些部分在至少一个旋转自由度上的取向(多达六个自由度)。如本文所用，术语“形状”指代沿着对象测量的一组姿态、位置或取向。

图1是根据一些实施例的远程操作医疗系统100的简化示意图。在一些实施例中，远程操作医疗系统100可以适合于在例如手术程序、诊断程序、治疗程序或活检程序中使用。如图1所示，医疗系统100一般包括用于操作医疗器械104以对患者p执行各种程序的操纵器组装件102(其可以是远程操作操纵器组装件或部分远程操作操纵器组装件)。操纵器组装件102安装于操作台t或安装在操作台t附近。主控组装件106允许操作者o(例如，外科医生、临床医生或医师)观看介入部位并控制操纵器组装件102。

主控组装件106可以位于医师控制台处，所述医师控制台通常与手术台t位于相同的房间中，诸如在患者p位于其上的外科手术台的一侧。然而，应当理解，操作者o可以与患者p位于不同的房间或完全不同的建筑中。主控组装件106一般包括用于控制操纵器组装件102的一个或多个控制装置。所述控制装置可以包括任意数量的各种输入装置，诸如操纵杆、跟踪球、数据手套、触发枪、手动操作控制器、语音识别装置、身体动作或存在传感器和/或类似装置。为了为操作者o提供直接控制器械104的强烈感觉，控制装置可以被提供有与关联的医疗器械104相同的自由度。以此方式，控制装置为操作者o提供控制装置与医疗器械104为一体的远程呈现/远程临场感(telepresence)或感知。

在一些实施例中，控制装置可以比关联的医疗器械104具有更多或更少的自由度，并且仍向操作者o提供远程呈现。在一些实施例中，控制装置可以可选地是手动输入装置，其以六个自由度运动并且还可以包括用于致动器械(例如，用于闭合抓取夹具、施加电势至电极、递送药物治疗和/或诸如此类)的可致动手柄。

操纵器组装件102支撑医疗器械104并且可以包括一个或多个非伺服控制的连杆(例如，可手动定位并锁定在适当位置的一个或多个连杆，通常被称为装配(set-up)结构)的运动学结构以及远程操作操纵器。操纵器组装件102可以可选地包括多个致动器或马达，该多个致动器或马达响应于来自控制系统(例如，控制系统112)的命令而驱动医疗器械104上的输入装置。致动器可选地包括驱动系统，当该驱动系统耦接到医疗器械104时，该驱动系统可将医疗器械104推进到自然的或外科手术创建的解剖孔口。其他驱动系统可以以多个自由度移动医疗器械104的远端，所述多个自由度可以包括三个线性运动自由度(例如，沿x、y、z笛卡尔坐标轴的线性运动)和三个旋转运动自由度(例如，围绕x、y、z笛卡尔坐标轴的旋转)。此外，致动器可以被用于致动医疗器械104的可铰接末端执行器，以便将组织抓取在活检设备和/或类似设备的夹具(jaw)中。致动器位置传感器(诸如解码器、编码器、电位计和其他机构)可以为医疗系统100提供描述马达轴的旋转和取向的传感器数据。这种位置传感器数据可以被用来确定由致动器操纵的对象的运动。

远程操作医疗系统100可以包括传感器系统108，该传感器系统108具有用于接收关于操纵器组装件102的器械的信息的一个或多个子系统。这些子系统可以包括：位置/定位传感器系统(例如，电磁(em)传感器系统)；用于确定沿着可组成医疗器械104的柔性主体的远端和/或一个或多个节段的位置、取向、速度、速率、姿态和/或形状的形状传感器系统；和/或用于从医疗器械104的远端采集图像的可视化系统。

远程操作医疗系统100还包括显示系统110，用于显示由传感器系统108的子系统生成的外科手术部位和医疗器械104的图像或表示图。显示系统110和主控组装件106可以被取向，使得操作者o能够借助于远程呈现/临场感的感知来控制医疗器械104和主控组装件106。

在一些实施例中，医疗器械104可以具有可视化系统(在下面更详细地进行讨论)，所述可视化系统可以包括观察镜组装件，所述观察镜组装件记录外科手术部位的即时(concurrent)或实时图像并且通过医疗系统100的一个或多个显示器(诸如显示系统110的一个或多个显示器)为操作者o提供图像。即时图像可以是例如通过定位在外科手术部位内的内窥镜采集的二维或三维图像。在一些实施例中，可视化系统包括可以被一体地或可移除地耦接到医疗器械104的内窥镜部件。然而，在一些实施例中，被附连到单独操纵器组装件的单独内窥镜可以与医疗器械104一起被用来对外科手术部位进行成像。在一些示例中，内窥镜可以包括用于在一个或多个透镜被内窥镜遇到的流体和/或其他材料部分地遮挡和/或完全地遮挡时清洁内窥镜的一个或多个透镜的一个或多个机构。在一些示例中，一个或多个清洁机构可以可选地包括空气和/或其他气体输送系统，其可用于发射一股空气和/或其他气体以吹净一个或多个透镜。在国际公开wo/2016/025465(2016年8月11日提交)(公开“systemsandmethodsforcleaninganendoscopicinstrument”)中更详细地讨论了一个或多个清洁机构的示例，其通过引用以其整体并入本文。可视化系统可以被实现为与一个或多个计算机处理器交互或另外由一个或多个计算机处理器(其可以包括控制系统112的处理器)执行的硬件、固件、软件或其组合。

显示系统110也可以显示通过可视化系统采集的外科手术部位和医疗器械的图像。在一些示例中，远程操作医疗系统100可以配置医疗器械104和主控组装件106的控件，使得医疗器械的相对位置类似于操作者o的眼睛和手的相对位置。以此方式，操作者o能够操作医疗器械104和手控件好像在基本上真实临场的情况下观察工作空间。就真实临场而言，它意味着图像的呈现是模拟物理地操纵医疗器械104的医师的视角的真实透视图像。

在一些示例中，显示系统110可以使用来自成像技术图像数据呈现术前或术中记录的外科手术部位的图像，成像技术诸如计算机断层摄影术(ct)、磁共振成像(mri)、荧光镜检查、温度记录法、超声、光学相干断层摄影术(oct)、热成像、阻抗成像、激光成像、纳米管x射线成像或类似技术。术前或术中图像数据可以被呈现为二维(2d)、三维(3d)或四维(2d)(包括例如基于时间或基于速度的信息)图像，和/或被呈现为来自从术前或术中图像数据集创建的模型的图像。

在一些实施例中，通常为了成像引导的医疗程序的目的，显示系统110可以显示虚拟的导航图像，在该虚拟的导航图像中医疗器械104的实际方位与术前或即时图像/模型配准(即动态参考)。这样做可以从医疗器械104的视角向操作者o呈现内部外科手术部位的虚拟图像。在一些示例中，视角可以来自医疗器械104的尖端。医疗器械104的尖端的图像和/或其他图形或字母数字指示符可以被叠加在虚拟图像上以帮助操作者o控制医疗器械104。在一些示例中，医疗器械104可以在虚拟图像中不可见。

在一些实施例中，显示系统110可以显示虚拟的导航图像，在该虚拟的导航图像中医疗器械104的实际方位与术前图像或即时图像配准，以从外部视角向操作者o呈现在外科手术部位内的医疗器械104的虚拟图像。医疗器械104的一部分的图像或其他图形或字母数字指示符可以被叠加在虚拟图像上以帮助操作者o控制医疗器械104。如本文所描述，数据点的视觉表示图可以被渲染到显示系统110。例如，测量的数据点、移动的数据点、配准的数据点以及本文描述的其他数据点可以以视觉表示图被显示在显示系统110上。数据点可以通过显示系统110上的多个点(point)或圆斑(dot)或作为渲染模型(诸如基于一组数据点所创建的网格或线模型)在用户界面上可视地表示。在一些示例中，数据点可以根据它们表示的数据进行颜色编码。在一些实施例中，在每个处理操作已经被实现以改变数据点之后，视觉表示图可以在显示系统110中被刷新。

远程操作医疗系统100还可以包括控制系统112。控制系统112包括至少一个存储器和至少一个计算机处理器(未示出)，用于实现医疗器械104、主控组装件106、传感器系统108和显示系统110之间的控制。控制系统112还包括用于实现根据本文公开的各方面描述的方法的一些或全部的程序化指令(例如，存储这些指令的非临时性机器可读介质)，包括用于向显示系统110提供信息的指令。虽然控制系统112在图1的简化示意图中被示出为单个方框，但该系统可以包括两个或更多个数据处理电路，其中一部分处理可选地在操纵器组装件102上或邻近操纵器组装件102执行，另一部分处理在主控组装件106和/或类似物处执行。控制系统112的处理器可以执行一些指令，包括对应于在本文中公开并且在下面更详细地描述的处理的指令。任何各种各样的集中式或分布式数据处理体系结构可以被利用。类似地，程序化指令可以被实现为若干独立的程序或子程序，或者它们可以被集成到本文所描述的远程操作系统的若干其他方面中。在一个实施例中，控制系统112支持无线通信协议，诸如蓝牙、irda(红外数据通信)、homerf(家用射频)、ieee802.11、dect(数位加强式无线通信)和无线遥测。

在一些实施例中，控制系统112可以从医疗器械104接收力和/或扭矩反馈。响应于该反馈，控制系统112可以向主控组装件106传输信号。在一些示例中，控制系统112可以传输指示操纵器组装件102的一个或多个致动器移动医疗器械104的信号。医疗器械104可以经由患者p的身体中的开口延伸到患者p的身体内的内部外科手术部位。可以使用任何合适的常规的和/或专用的致动器。在一些示例中，一个或多个致动器可以与操纵器组装件102分开，或者与操纵器组装件102集成在一起。在一些实施例中，一个或多个致动器和操纵器组装件102被提供作为邻近患者p和操作台t定位的远程操作推车的一部分。

控制系统112可以可选地进一步包括虚拟可视化系统，以便当在图像引导的医疗程序期间控制医疗器械104时为操作者o提供导航帮助。使用虚拟可视化系统的虚拟导航可以基于对获取的解剖通路的术前或术中数据集的参考。虚拟可视化系统处理使用成像技术(诸如ct、mri、荧光镜检查、温度记录法、超声、oct、热成像、阻抗成像、激光成像、纳米管x射线成像和/或类似技术)成像的外科手术部位的图像。可以与手动输入结合使用的软件被用来将记录的图像转换为局部或整体解剖器官或解剖区域的分割二维或三维复合表示图。图像数据集与复合表示图关联。复合表示图和图像数据集描述通路的各种方位和形状以及它们的连通性。被用来生成复合表示图的图像可以在临床程序期间在术前或术中被记录。在一些实施例中，虚拟可视化系统可以使用标准表示图(即，不是患者特定的)或者标准表示图与患者特定数据的混合。复合表示图和由该复合表示图生成的任何虚拟图像可以表示在一个或多个运动阶段期间(例如，在肺的吸气/呼气循环期间)可变形解剖区域的静态姿态。

在虚拟导航程序期间，传感器系统108可以被用来计算医疗器械104相对于患者p的解剖体的近似方位。该方位能够被用来产生患者p的解剖体的宏观层面(外部)跟踪图像和患者p的解剖体的虚拟内部图像。该系统可以实现一个或多个电磁(em)传感器、光纤传感器和/或其他传感器，以配准并显示医疗器具和术前记录的外科手术图像，诸如来自虚拟可视化系统的那些图像。例如，美国专利申请us13/107,562(2011年5月13日提交)(公开“medicalsystemprovidingdynamicregistrationofamodelofananatomicstructureforimage-guidedsurgery”)公开了一种这样的系统，该申请通过引用以其整体并入本文。远程操作医疗系统100可以进一步包括可选的操作和支持系统(未示出)，诸如照明系统、转向(steering)控制系统、冲洗系统和/或抽吸系统。在一些实施例中，远程操作医疗系统100可以包括一个以上的远程操作操纵器组装件和/或一个以上的主控组装件。远程操作操纵器组装件的确切数量将取决于医疗程序和手术室内的空间约束以及其他因素。主控组装件106可以被并置(collocated)，或它们可以被定位在独立的方位中。多个主控组装件允许一个以上的操作者以各种组合形式控制一个或多个远程操作操纵器组装件。

图2a是根据一些实施例的医疗器械系统200的简化示意图。在一些实施例中，医疗器械系统200可以在利用远程操作医疗系统100执行的图像引导的医疗程序中被用作医疗器械104。在一些示例中，医疗器械系统200可以被用于非远程操作的探索程序或用在涉及传统手动操作的医疗器械(诸如内窥镜)的程序中。可选地，医疗器械系统200可以被用来收集(即测量)对应于患者(诸如患者p)的解剖通路内的方位的一组数据点。

医疗器械系统200包括被耦接到驱动单元204的细长装置202。细长装置202包括柔性主体216，该柔性主体216具有近端217和远端218。在一些实施例中，柔性主体216具有大约3mm的外直径。其他柔性主体外直径可以更大或更小。细长装置202的示例包括内窥镜、支气管镜、导管和其它医疗装置。

医疗器械系统200进一步包括跟踪系统230，所述跟踪系统230用于使用一个或多个传感器和/或成像装置来确定沿着柔性主体216的远端218处的导管尖端和/或沿着柔性主体216的一个或多个节段224的位置、取向、速度、速率、姿态和/或形状，如在下面进一步详细描述的。远端218和近端217之间的柔性主体216的整个长度可以被有效地划分为多个节段224。跟踪系统230可以被可选地实现为与一个或多个计算机处理器交互或另外由一个或多个计算机处理器执行的硬件、固件、软件或其组合，所述一个或多个计算机处理器可以包括图1中的控制系统112的处理器。

跟踪系统230可以可选地使用形状传感器222来跟踪远端218和/或一个或多个节段224。形状传感器222可以可选地包括与柔性主体216对齐的光纤(例如，在内部通道(未示出)内提供或外部安装)。在一个实施例中，光纤具有大约200μm的直径。在其他实施例中，该尺寸可以更大或更小。形状传感器222的光纤形成用于确定柔性主体216的形状的光纤弯曲传感器。在一个替代方案中，包括光纤布拉格光栅(fbg)的光纤被用于在一个或多个维度上提供结构中的应变测量。用于监测光纤在三维中的形状和相对方位的各种系统和方法被描述在以下文献中：在美国专利申请us11/180,389(2005年7月13日提交)(公开“fiberopticpositionandshapesensingdeviceandmethodrelatingthereto”)；美国专利申请us12/047,056(2004年7月16日提交)(公开“fiber-opticshapeandrelativepositionsensing”)；以及美国专利us6,389,187(1998年6月17日提交)(公开“opticalfiberbendsensor”)，这些申请通过引用以其整体并入本文。在一些实施例中，传感器可以采用其他合适的应变感测技术，诸如瑞利散射、拉曼散射、布里渊散射和荧光散射。在一些实施例中，导管的形状可以使用其他技术来确定。例如，柔性主体216的远端姿态的历史能够被用来重建柔性主体216在时间间隔内的形状。在一些实施例中，跟踪系统230可以可选地和/或额外地使用位置传感器系统220来跟踪远端218。位置传感器系统220可以是具有位置传感器的em传感器系统的部件，em传感器系统包括可以经受外部生成的电磁场的一个或多个传导线圈。然后传感器系统220的每个线圈产生感应电信号，所述感应电信号具有取决于线圈相对于外部生成的电磁场的位置和取向的特性。在一些实施例中，位置传感器系统220可以被配置并且被定位为测量六个自由度(例如，三个位置坐标x、y、z和指示基点的俯仰、偏摆和滚转的三个取向角)或五个自由度(例如，三个位置坐标x、y、z和指示基点的俯仰和偏摆的两个取向角)。在美国专利us6,380,732(1999年8月11日提交)(公开“six-degreeoffreedomtrackingsystemhavingapassivetransponderontheobjectbeingtracked”)中提供了位置传感器系统的进一步描述，该专利通过引用以其整体并入本文。

在一些实施例中，跟踪系统230可以替代地和/或额外地依赖于沿着交替运动(诸如呼吸)的周期针对器械系统的已知点所存储的历史姿态、位置或取向数据。该存储的数据可以被用来发展关于柔性主体216的形状信息。在一些示例中，一系列位置传感器(未示出)(诸如与位置传感器220的传感器类似的电磁(em)传感器)可以沿着柔性主体216进行定位，并且然后被用于形状感测。在一些示例中，在某一程序期间获取的来自这些传感器中的一个或多个传感器的数据的历史可以被用来表示细长装置202的形状，特别是如果解剖通路是大致静态的。

柔性主体216包括尺寸和形状被设计为接收医疗工具226的通道(channel)221。图2b是根据一些实施例的具有延伸的医疗工具226的柔性主体216的简化示意图。在一些实施例中，医疗工具226可以被用于诸如外科手术、活检、消融、照明、冲洗或抽吸的程序。医疗工具226能够通过柔性主体216的通道221来部署，并且在解剖体内的目标方位处被使用。医疗工具226可以包括例如图像采集探针(probe)、活检器械、激光消融纤维和/或其他手术、诊断或治疗工具。医疗工具可以包括具有单个工作构件的末端执行器，诸如手术刀、钝刀片、光纤、电极和/或类似物。其他末端执行器可以包括例如镊子、抓取器、剪刀、施夹器和/或类似物。其他末端执行器可以进一步包括电激活的末端执行器，诸如电外科电极、换能器、传感器和/或类似物。在各种实施例中，医疗工具226是活检器械，其可以被用来从目标解剖体方位移除样本组织或细胞采样。医疗工具226可以与也在柔性主体216内的图像采集探针一起使用。在各种实施例中，医疗工具226可以是图像采集探针，其包括在柔性主体216的远端218处或附近具有用于采集图像(包括视频图像)的立体摄像机或单视场摄像机的远侧部分，该图像被可视化系统231处理以便显示和/或提供给跟踪系统230以支持远端218和/或一个或多个节段224的跟踪。图像采集探针可以包括耦接到摄像机用于传输所采集的图像数据的电缆。在一些示例中，图像采集探针可以是耦接到可视化系统231的光纤束，诸如纤维镜。图像采集探针可以是单光谱的或多光谱的，例如采集在可见光光谱、红外光谱和/或紫外光谱中一个或多个光谱中的图像数据。可替代地，医疗工具226本身可以是图像采集探针。医疗工具226可以从通道221的开口被推进以执行程序，并且然后当该程序完成时被缩回到通道内。医疗工具226可以从柔性主体216的近端217或从沿着柔性主体216的另一可选器械端口(未示出)被移除。

医疗工具226可以额外地容纳在其近端和远端之间延伸以可控地弯曲医疗工具226的远端的电缆、联动装置或其他致动控件(未示出)。可转向器械被详细描述在美国专利us7,316,681(2005年10月4日提交)(公开“articulatedsurgicalinstrumentforperformingminimallyinvasivesurgerywithenhanceddexterityandsensitivity”)和美国专利申请us12/286,644(2008年9月30日提交)(公开“passivepreloadandcapstandriveforsurgicalinstruments”)中，该专利和专利申请通过引用以其整体并入本文。

柔性主体216也可以容纳在驱动单元204与远端218之间延伸以便如例如由远端218的虚线描绘219示出的那样可控地弯曲远端218的电缆、联动装置或其他转向控件(未示出)。在一些示例中，至少四个电缆被用来提供独立的控制远端218的俯仰的“上下”转向和控制远端218的偏摆的“左右”转向。可转向导管被详细地描述在美国专利申请us13/274,208(2011年10月14日提交)(公开“catheterwithremovablevisionprobe”)中，该专利申请通过引用以其整体并入本文。在医疗器械系统200由远程操作组装件致动的实施例中，驱动单元204可以包括驱动输入装置，其可移除地耦接到远程操作组装件的驱动元件(诸如致动器)并且从该驱动元件接收动力。在一些实施例中，医疗器械系统200可以包括夹紧特征件、手动致动器或用于手动控制医疗器械系统200的运动的其他部件。细长装置202可以是可转向的，或可替代地，该系统在没有用于操作者控制远端218的弯曲的集成机构的情况下可以是不可转向的。在一些示例中，一个或多个腔被限定在柔性主体216的壁中，医疗器械能够通过所述一个或多个腔在目标外科手术方位处被部署并且被使用。

在一些实施例中，医疗器械系统200可以包括柔性支气管器械，诸如用于在肺的检查、诊断、活检或治疗中使用的支气管镜或支气管导管。医疗器械系统200也适用于在各种解剖系统(包括结肠、肠、肾和肾盏、大脑、心脏、包括脉管系统的循环系统和/或类似物)中的任一解剖系统中经由自然的或外科手术建立的连接通路对其他组织进行导航和治疗。

来自跟踪系统230的信息可以被发送给导航系统232，其中它与来自可视化系统231的信息和/或术前获得的模型进行组合以便为操作者o或另一操作者提供实时位置信息。在一些示例中，实时位置信息可以被显示在图1的显示系统110上以用于医疗器械系统200的控制。在一些示例中，图1的控制系统116可以将位置信息用作反馈以便定位医疗器械系统200。2011年5月13日提交的公开“medicalsystemprovidingdynamicregistrationofamodelofananatomicstructureforimage-guidedsurgery”的美国专利申请us13/107,562中提供了用于利用光纤传感器来配准和显示外科手术器械与外科手术图像的各种系统，该专利申请通过引用以其整体并入本文。

在一些示例中，医疗器械系统200可以在图1的医疗系统100内被远程操作。在一些实施例中，图1的操纵器组装件102可以由直接操作者控件来代替。在一些示例中，直接操作者控件可以包括用于器械的手持操作的各种手柄和操作者界面。

图3a和图3b是根据一些实施例的包括被安装在插入组装件上的医疗器械的患者坐标空间的侧视图的简化示意图。如图3a和图3b所示，外科手术环境300具有外科手术环境参考系(xs、ys、zs)，其中患者p被定位在操作台t上。从通过镇静、约束和/或其他手段来限制总体患者移动的意义上讲，患者p在外科手术环境内可以是静止的。周期性解剖运动(包括患者p的呼吸和心脏运动)可以继续，除非告诉患者屏住他或她的呼吸以暂时中止呼吸运动。因此，在一些实施例中，数据可以在呼吸中的特定阶段处进行收集，并且利用该阶段来进行标记和识别。在一些实施例中，在其间收集数据的阶段可以根据从患者p收集的生理信息来推测。在外科手术环境300内，医疗器械304被耦接到器械托架306。在一些实施例中，医疗器械304可以使用em传感器、形状传感器和/或其他传感器模态。器械托架306被安装到固定于外科手术环境300内的插入台308。可替代地，插入台308可以是可移动的，但是在外科手术环境300内具有已知的方位(例如，经由跟踪传感器或其他跟踪装置来获知)。器械托架306可以是远程操作操纵器组装件(例如，操纵器组装件102)的部件，该部件耦接到医疗器械304以控制插入运动(即沿着a轴线或在xs方向上的运动)并且可选地控制细长装置310的远端318沿多个方向的运动(包括偏摆、俯仰和滚转)。器械托架306或插入台308可以包括控制器械托架306沿着插入台308的运动的致动器(未示出)，诸如伺服马达。

细长装置310被耦接到器械主体312。器械主体312相对于器械托架306被耦接并且被固定。在一些实施例中，光纤形状传感器314被固定在器械主体312上的近侧点316处。在一些实施例中，光纤形状传感器314的近侧点316可以是连同器械主体312一起可移动的，但是近侧点316的方位可以是已知的(例如，经由跟踪传感器或其他跟踪装置来获知)。形状传感器314测量从近侧点316到另一点(诸如细长装置310的远端318)的形状。医疗器械304可以基本上类似于医疗器械系统200。

三维成像系统330被布置在患者p附近以在细长装置310在患者内延伸时获得患者的三维图像。三维成像系统330可以使用成像技术(诸如ct、荧光镜检查、温度记录法、超声、oct、热成像、阻抗成像、激光成像、纳米管x射线成像和/或类似技术)来提供患者p的实时或近实时图像。在一些实施例中，成像系统330包括移动旋转成像元件，诸如用于采集术中3d图像和/或荧光透视(fluoroscopic)2d图像的移动c臂锥束ct成像系统的移动旋转成像元件。例如，系统330可以是华盛顿特区西门子公司(siemenscorporation)的dynact成像系统、来自德国慕尼黑的brainlabag的airoct系统或其它合适的成像系统。因此，成像系统330可以通过围绕患者p旋转成像元件而从一个或多个角度采集一组图像，该一组图像可以是静止图像、一系列静止图像或视频。当细长装置310位于患者p内时，该图像可以由成像系统330收集，并且该图像可以包括图像信息，该图像信息表征与患者p的解剖结构物理相关的细长装置310。虽然被称为“三维”成像系统，但系统330可以采集二维、三维或四维图像。

当器械主体312在插入台308上沿着插入轴线a移动时，位置测量装置320提供关于器械主体312的位置的信息。位置测量装置320可以包括解码器、编码器、电位计和/或确定控制器械托架306的运动并因此控制器械主体312的运动的致动器的旋转和/或取向的其他传感器。在一些实施例中，插入台308是线性的，而在其他实施例中，插入台308可以是弧形的，或者具有弧形区段和线性区段的组合。

图3a示出了处于沿着插入台308的缩回位置的器械主体312和器械托架306。在该缩回位置中，近侧点316处于轴线a上的位置l0处。在沿着插入台308的该位置中，沿着轴线a的近侧点316的方位的分量可以被设置为零和/或另一参考值，以提供描述器械托架306并且因此近侧点316在插入台308上的位置的基本参考。通过器械主体312和器械托架306的该缩回位置，细长装置310的远端318可以被刚好定位在患者p的进入孔口内部。同样在该位置中，位置测量装置320可以被设置为零或另一参考值。在图3b中，器械主体312和器械托架306已经沿着插入台308的线性轨道推进，并且细长装置310的远端318已经被推进到患者p内。在该推进位置中，近侧点316处于轴线a上的位置l1处。

图4a、图4b、图4c和图4d图示了图3a和图3b的细长装置310通过图1和图3的患者p的肺400的解剖通路402的推进。这些通路402包括气管和支气管气道。当托架306沿着插入台308移动时细长装置310被推进，操作者o可以使细长装置310的远端318转向以导航通过解剖通路402。在导航通过解剖通路402时，细长装置310呈现可以由在细长装置310内延伸的形状传感器314测量的形状。如上所述，当细长装置310位于肺400(或任何其他身体结构或腔)内时，当图3a和图3b的成像系统330采集患者p的图像时，细长装置310可以出现在这些图像中。

图5是图示用于在外科手术环境300中执行图像引导的外科手术的方法500的流程图。包括方法500的本说明书的方法在图5中示出为一组块、步骤、操作或过程。并非所有图示的、枚举的操作都可以在方法500的所有实施例中执行。另外，在所述方法中未明确示出的一些额外操作可以包括在枚举过程之前、之后、之间或作为枚举过程的一部分。本说明书的方法的一些实施例包括与存储在非瞬时性存储器中的方法的过程对应的计算机可读指令。这些指令可以由一个或多个硬件处理器(如控制系统112的处理器)执行或协调。

因此，方法500的一些实施例可以在操作502处开始，其中从成像系统获得患者解剖体的术中三维图像数据。成像系统可以在图像引导的医疗程序期间使用。可以使用成像技术(诸如ct、mri、温度记录法、超声、oct、热成像、阻抗成像、激光成像或纳米管x射线成像)来获得图像数据。在一些实施例中，图像数据可以包括来自多个视角的二维图像，其可以组合成伪三维图像。因此，术中图像数据可以对应于二维、三维或四维(包括例如基于时间或基于速度的信息)图像。在可替代实施例中，图像数据可以在术前被获取，并且提供对应于二维、三维或四维(包括例如基于时间或基于速度的信息)图像的术前图像数据。

例如，三维图像数据可以包括表示位于患者p的解剖体内的医疗器械304的至少一部分的数据，如图3a-图3b和图4a-图4d中所示。该数据可以包括医疗器械304的细长装置310的形状的表示图，并且该形状的三维模型可以作为分割过程的一部分而生成。例如，三维图像数据可以是从成像系统330(诸如锥束ct系统)的实施例获得的实时或伪实时图像数据。

在操作504处，作为配准过程的一部分，可以识别在操作502中获得的对应于医疗器械的图像数据中的像素或体素。为此，在一些实施例中，单独或与手动输入结合的计算机软件被用于将术中三维图像数据转换为包括在图像数据中的结构的一个或多个二维或三维复合表示图或术中模型。例如，图像数据可以被转换为部分或整个解剖器官或解剖区域(如包括图4a-图4d的肺400的躯干)的术中模型。术中模型可以描述解剖通路的各种方位和形状及其连通性。

由于图像数据还可以包括医疗器械的图像，诸如如图4a-图4d中所示的细长装置310，操作504可以包括分割(segmentation)过程，以描画(delineate)表示特定结构(诸如细长装置310或另一医疗器械或另一些医疗器械)的像素或体素集。然后，操作504可以构造(一个或多个)医疗器械的一个或多个模型。在分割过程期间，像素或体素可以被划分为节段或元素或者被标记以指示它们共享某些特性或计算的属性，诸如颜色、密度、强度和纹理。然后，执行该操作的系统可以应用诸如行进立方体函数(marchingcubefunction)的函数，以生成包围体素的3d表面。可以通过生成网格、体积或体素图来形成模型。另外或可替代地，基于表面的模型可以包括或可以用于生成中心线模型，中心线模型包括延伸穿过模型化器械的中心的一组互连的线段或点。在术中模型包括中心线模型(其包括一组互连的线段)的情况下，这些线段可以被转换成云或点集。通过转换线段，可以手动或自动地选择对应于互连线段的期望数量的点。

在一些实施例中，分割过程可以利用从细长装置310获得的形状信息(在操作506处从跟踪系统230获得或类似操作)。例如，执行处理图像数据的机器学习算法可以在图像数据中搜索具有与从细长装置310获得的形状信息所描述的形状相对应的形状的体素集，如本文所述。与形状信息所描述的形状或该形状的一部分相对应的体素可以被用于识别与具有该形状的医疗器械相对应的其它体素。在一些实施例中，形状信息可以被用于识别包括对应于医疗器械的体素的搜索区域或搜索区。通过使用形状信息，可以简化用于从三维图像数据的其余部分分割医疗器械的分割过程，并且更快地执行分割过程。以这种方式，操作504的一些实施例可以包括使用形状数据识别要分割的三维图像的区域，并且从三维图像的区域分割医疗器械的部分的形状。

例如，当医疗器械(如医疗器械200或304)就位时，当获得ct图像时，医疗器械或其一部分被包括在图像中。医疗器械可以从图像中被分割或过滤，并且模型可以由包括其形状的表示图的医疗器械形成。类似地，解剖通路可以在图像数据内被识别并用于一般的基于表面或线的模型。

例如，通过利用ct值或诸如与医疗器械304或其部件关联的hounsfield值之类的放射密度值的分割或过滤，医疗器械304可以在图像数据中被识别为医疗器械。与医疗器械304关联的数据可以与和患者p或特定组织类型关联的图像数据的其他部分隔离。可以在隔离的数据周围形成三维网格和/或可以确定表示医疗器械的中心线的中心线。

在一些实施例中，三维网格可以作为模型在显示器中渲染。该模型可以被渲染为不透明的或半透明的。还可以在分割过程期间生成解剖体的一个或多个其他模型。图6a描绘了由人肺的三维ct图像扫描产生的渲染的三维图像600。例如，图像600可以被渲染到显示器，如图1的显示器110。图像600是显示肺的支气管通路602和柔性细长医疗器械604的过滤图像，在一些实施例中，柔性细长医疗器械604可以是图3a和图3b的医疗器械304的细长装置310。如图6a所描绘的，图像600已经被分割和过滤，使得肺的软组织不可见。如图6b中所看到的，图像600可以被进一步分割，使得仅医疗器械604作为渲染模型被显示。与医疗器械604关联的图像数据可以与其他类型的图像数据隔离并且被分开处理和操纵。对应于医疗器械604的图像600中的信息可以被分割出来并且被处理以生成医疗器械604的形状的三维模型。图6b描绘与图像600中的形状信息相对应的医疗器械604的隔离的分割形状模型。

如图所示，渲染图像600还包括目标606。例如，目标606可以是存在于患者p的肺中的肿瘤或瘤。三维图像数据可以包括表征和定义肿瘤的位置和形状的数据，该数据可以由控制系统112分割或过滤以确定肿瘤的位置和形状，并且使得肿瘤可以被选择性地显示。例如，肿瘤可以在图像600中被渲染为不透明物体，而其他组织被渲染为半透明，使得可以透过其他组织看到肿瘤。控制系统112可以计算器械604的远侧尖端的位置和取向，并且可以确定从器械604的远侧尖端延伸到目标606的向量608。向量608可以被称为轨迹向量，并且可以指示这样的方向，即操作者o应使医疗器械在该方向上转向以便进入目标606用于进行活检或治疗。

在操作506处，当医疗器械的一部分位于患者解剖体内时，可以从医疗器械获得形状数据或信息。在一些实施例中，操作504和506可以同时或几乎同时执行，使得包含在术中三维图像数据和形状数据中的信息在时间上具有高对应度。形状数据可以通过跟踪系统230或从跟踪系统230获得，跟踪系统230询问或接收来自一个或多个传感器的数据。例如，跟踪系统230可以从光纤形状传感器或其它传感器系统(诸如沿着细长装置310定位的多个电磁位置传感器)接收位置/形状信息。一个或多个传感器可以被设置在与细长装置310的物理特征(如外管壁)有关的已知或可跟踪的位置，这些物理特征在包括定位在患者p内的医疗器械的采集的图像或一组图像中可见。例如，图3a和图3b中的医疗器械304包括具有在其中延伸的光纤形状传感器314的细长装置310。如本文所述，细长装置310的材料可以由成像系统330成像并包括在表征患者解剖体的三维图像数据中。光纤形状传感器314可以用于获得测量点的集合，该测量点根据器械参考系或形状传感器参考系(xi、yi、zi)描述细长装置310的形状。因此，初始采集的形状数据可以被表示在形状传感器参考系中，而同样初始采集的三维图像被表示在图像参考系或解剖模型参考系(xct、yct、zct)中。

在操作508处，医疗器械的分割形状可以与从医疗器械获得的形状数据配准。以此方式，形状传感器参考系或器械参考系(xi、yi、zi)被配准到图像参考系或解剖模型参考系(xct、yct、zct)，反之亦然。该配准可以通过与分割形状关联的刚性或非刚性变换点和与感测形状数据关联的点来旋转、平移或以其它方式操纵。在术中模型参考系和器械参考系之间的这种配准可以例如通过使用基于点的迭代最近点(icp)技术(如在通过参考而被并入的美国临时专利申请us62/205,440和us62/205,433中所描述的)或另一点云配准技术来实现。可替代地，配准可以通过匹配和配准器械和图像点云中的特征点来执行，在这些点云中，点对应根据一些特征空间中的形状相似性确定。在一些实施例中，医疗器械的分割形状被配准到形状传感器参考系中的形状数据，并且关联的变换(应用到分割形状中的每一个点以与形状传感器参考系中的形状数据对准的向量)然后可以被应用于整个三维图像和/或随后在医疗程序期间获得的三维图像。该变换可以是六自由度(6dof)变换，使得形状数据可以在x、y和z以及俯仰、滚转和偏摆中的任一个或全部中被平移或旋转。

在一些实施例中，在三维图像被配准到形状传感器参考系之前，形状传感器参考系可以被配准到外科手术环境参考系(xs、ys、zs)或另一患者参考系。以这种方式，形状数据和术中三维图像或模型都可以被配准到共同参考系，该共同参考系可以是外科手术环境参考系。由于医疗器械可以被耦连到外科手术环境内的已知位置处的器械托架和/或插入台，形状传感器参考系和外科手术环境参考系之间的空间关系可以被容易地确定。

在一些实施例中，可以对三维图像应用第一变换以将该图像带入形状传感器参考系，并且之后可以对三维图像应用第二变换以将其带入外科手术环境参考系。在一些实施例中，这两种变换可以组合成单个变换。在三维图像和形状数据被共同配准之后，附加操作可以作为操作510的一部分而被执行，在操作510中，通过在显示器中显示配准信息来使用配准信息执行医疗程序(诸如，手术、活检、消融、照明、冲洗或抽吸)以向操作者o提供基于图像的引导。

方法500的一些实施例可以包括更新配准的操作。例如，控制系统112可以检测或确定位于患者解剖体内的医疗器械已经被移动。此后，可以采集患者解剖体的附加三维图像。可以基于附加三维图像来更新配准。此外，方法500的一些实施例包括当医疗器械的部分定位在患者解剖体内时获得患者解剖体的二维图像。可以从与三维图像相同的视角获得该二维图像，使得两个图像都从共同的成像系获得。另外，在一些实施例中，二维图像可以从用于获得三维图像的不同成像模态获得。例如，三维图像可以是ct图像，而二维图像是荧光透视图像。在一些实施例中，形状信息可以被用于将三维图像和二维图像配准到共同参考系。

现在参考图7a，其中示出的是如上面结合图3a和图3b所讨论的示例性外科手术环境300的侧视图。与图3a和图3b相比较，细长装置310的远侧尖端318已被更深地插入到患者解剖体中，使得柔性细长装置310的远侧部分(在范围700中示出)呈至少部分依赖于细长装置310所插入的解剖体的形状。范围700中的远侧部分的形状在图7b中更详细地示出，图7b还示出在细长装置310内延伸到远侧尖端318的光纤形状传感器314。可以询问形状传感器314以获得图7c中可视化示出的形状数据710。该形状数据对应于定位在患者解剖体内的细长装置310的形状。而形状数据710在图7c中可视化地示出，形状数据710可以由存储在存储器中的数值(诸如形状传感器参考系中的坐标)来表示。由成像系统330获得的形状数据710和三维图像可以包括时间戳，以确保信息在大致相同的时间段反映医疗器械在患者解剖体中的位置和取向。形状数据710和医疗器械604的模型的分割形状可以被配准，以将图像600中所示的图像数据带入与细长装置310的共同参考系中。该共同参考系可以是传感器或器械参考系(xi、yi、zi)，或者可以是外科手术环境的参考系(xs、ys、zs)。器械304和成像系统330均可以被包括在图1的医疗系统100的实施例中。

图8描绘了通过将医疗器械的部分的分割形状与来自医疗器械的相同部分的形状数据配准而产生的复合图像800。该复合图像800包括支气管通道的表面模型802，其以图6的支气管通路602的解剖通路的内部透视图示出。表面模型802可以由使用如前所述的成像技术获得的成像数据生成。如图8所示，内部透视图可以被提供给操作者o以利于图像引导的医疗程序。内部透视图从医疗器械804的远侧尖端的视角呈现了模型802的视图，医疗器械804可以是如图6a和图6b中示出为604的相同器械。

复合图像800还包括目标806的图像。例如，目标806可以是存在于患者p的肺中的肿瘤或瘤。三维图像数据可以包括表征和定义肿瘤的位置和形状的数据，该数据可以被分割或过滤，使得肿瘤的方位可以被确定，并且使得肿瘤可以被选择性地显示。例如，目标806可以被渲染为不透明物体，而其它组织被渲染为半透明，使得可以透过其它组织看到肿瘤。例如，当目标806不与模型802的壁共同定位时，模型802可以被渲染为半透明的以允许目标806的透视图。控制系统112可以计算器械模型804的远侧尖端的位置和取向，并且可以确定从器械模型804的远侧尖端延伸到目标806的向量。向量可以被称为轨迹向量808，并且可以指示这样的方向，即操作者o应使实际医疗器械在该方向上转向以便进入实际目标用于活检或治疗。轨迹向量808也可以被包括在外部透视图中，如图6a所示的那样。图8示出了在显示器(如图1的显示器110)中渲染的复合图像800。控制系统112可以使其他用户界面元素显示在显示器110中。例如，显示器110还在窗口810中示出图6的图像600。当操作者o在患者内导航时，图像600和图像800中所示的透视图可以实时更新并被渲染到显示器110上。其他信息和元素可以在显示器110中呈现给操作者o，诸如生理信息或控制元素。

操作者o可以在患者解剖体内导航，基于图像600使医疗器械转向，该图像600可以包括过滤的ct图像数据。由于医疗器械被配准到图像600，所以医疗器械相对于患者p的移动可以通过所显示的医疗器械604在图像600中表示的患者解剖体内的对应移动的显示而被可视化。

在一些实施例中，在控制系统112确定并显示轨迹向量808之后，控制系统112可以施加约束，该约束超控(override)经由主控组装件106从操作者o接收的移动命令。例如，在方法500的一些实施例中，移动命令可以从用户控制装置(如主控组装件106)接收，其指示医疗器械的远侧尖端的被命令的移动。控制系统112或另一部件可以超控所接收的移动命令，以约束医疗器械的远侧尖端的移动，使得沿着轨迹向量808的移动被允许，同时远离轨迹向量808的移动不被允许。例如，移动命令可以作为指示操作者o希望移动医疗器械的远侧尖端的方向的向量而被接收。这些移动命令向量可以具有平行于轨迹向量808的分量和不平行于轨迹向量808的分量。控制系统112可以过滤出不平行于轨迹向量808的移动命令向量部分，并且可以使平行于轨迹向量808的移动命令向量部分由伺服电机执行。

在一些实施例中，轨迹向量808可以响应于来自操作者o的请求或基于距离目标806的计算距离而被生成。另外，操作者o或另一操作者可以在显示器110中被提供有用户界面元素，该用户界面元素的选择允许操作者o使医疗器械远离轨迹向量808移动。

参照图9描述了外科手术方法的进一步示例。在这一点上，图9是示出根据本公开的一些实施例的用于在外科手术环境300中执行图像引导的外科手术的方法900的流程图。包括方法900的本说明书的方法在图9中示出为一组块、步骤、操作或过程。并非所有图示的、枚举的操作都可以在方法900的所有实施例中执行。另外，在所述方法中未明确示出的一些额外操作可以被包括在枚举的过程之前、之后、之间或作为枚举的过程的一部分。本说明书的方法的一些实施例包括与存储在非瞬时性存储器中的方法的过程对应的计算机可读指令。这些指令可以由一个或多个硬件处理器(如控制系统112的处理器)执行或协调。

参照操作902，从成像系统获得患者解剖体的术前图像数据。在各种示例中，图像数据包括ct数据、mri数据、温度记录数据、超声数据、oct数据、热成像数据、阻抗数据、激光成像数据、纳米管x射线成像数据和/或表示患者解剖体的其他合适数据。在一些实施例中，图像数据可以包括来自多个视角的二维图像，其可以被组合成伪三维图像。因此，术前图像数据可以对应于二维、三维或四维(例如，基于时间或基于速度的信息)图像。术前图像数据在第一参考系(即，术前图像参考系)中。

参照操作904，从术前图像数据生成患者解剖体的术前模型。由于模型是由术前图像数据生成的，所以术前模型可以在术前图像参考系中。在一些示例中，区别特征(诸如不透射线性、mri响应、密度和/或颜色)被用于区分患者解剖体内的不同组织、结构和空隙。模型可以包含部分或整个解剖器官或解剖区域，如包括图4a-图4d的肺400的躯干。在模拟肺的一个这样的示例中，该模型可以描述肺内的解剖通路的各种方位和形状及其连通性。在一些示例中，该模型包括诸如血管、肺胸膜、大疱和/或诸如此类的解剖体。

参考可选的操作906，操作者可以生成通过术前模型中的解剖通路的导航路径，以将医疗器械引导到目标。在这方面，术前模型可以包括在医疗程序期间要进入的多个目标，诸如肿瘤、病变或组织的其他区域。这种医疗程序可以包括活检、消融、照明、冲洗、抽吸等，并且可以通过将医疗器械(诸如，图3a-图3b和图4a-图4d的医疗器械304)推进通过解剖通路到达目标来执行。因此，可以执行规划步骤，其中目标由操作者在术前模型内识别，并且通过术前模型的解剖通路的导航路径被确定，以引导医疗器械到达目标。

参照操作908，术前图像参考系被配准到器械参考系。医疗器械被推进到患者p中，并且具体地被推进到在操作902中成像并包含在操作904的术前模型中的患者解剖体中。这可以作为配准过程的一部分或者作为如上所述的图像引导的医疗程序的一部分来执行。在推进期间，器械参考系中的形状数据可以从医疗器械中的传感器采集。由于医疗器械通常符合患者解剖体的解剖结构的通道，所以从医疗器械获得的形状数据对应于医疗器械在患者中的方位。因此，计算系统可以通过将医疗器械的形状数据与术前模型中的通道的形状进行比较来确定术前模型的术前图像参考系与医疗器械的器械参考系的配准。

匹配技术诸如icp或奇异值分解(svd)可以用于将医疗器械的形状与术前模型中的通道的形状匹配。由此，医疗器械和术前模型之间的关系被确定。在pct公开wo2016/191298(2016年12月1日公开)(公开了“systemsandmethodsofregistrationforimageguidedsurgery”)中描述了这种配准过程的示例，在此通过引用以其整体并入本文。

在一些示例中，医疗器械可以被进一步推进到患者解剖体中。在一些示例中，操作者o沿着操作906的导航路径朝向目标远程推进医疗器械。在可替代示例中，可以手动推进医疗器械。在一些示例中，医疗器械借助来自从操作906生成的计划路径的导航引导而被推进。

在一些示例中，导航引导可以在术前模型中显示。复合图像(诸如图8中所示的复合图像)可以被提供以显示器械相对于目标和解剖通路的方位。如参考图8所描述的，复合图像800包括支气管通道的表面模型802，其以图6的支气管通路602的解剖通路的内部透视图示出。表面模型802可以由使用如前所述的成像技术获得的成像数据生成。如图8所示，内部透视图可以被提供给操作者o以利于图像引导的医疗程序。内部透视图从医疗器械804的远侧尖端的角度展示了模型802的视图，医疗器械804可以是图6a和图6b中示出为604的相同器械。

复合图像800还包括目标806的图像。例如，目标806可以是存在于患者p的肺中的肿瘤或瘤。三维图像数据可以包括表征和定义肿瘤的位置和形状的数据，该数据可以被分割或过滤，使得肿瘤的方位可以被确定，并且使得肿瘤可以被选择性地显示。例如，目标806可以被渲染为不透明物体，而其它组织被渲染为半透明，使得可以透过其它组织看到肿瘤。例如，当目标806不与模型802的壁共同定位时，模型802可以被渲染为半透明的以允许目标806的透视图。控制系统112可以使其他用户界面元素显示在显示器110中。例如，显示器110还在窗口810中示出图6的图像600。当操作者o在患者内导航时，图像600和图像800中所示的透视图可以实时更新并且被渲染到显示器110。其他信息和元素可以在显示器110中呈现给操作者o，诸如生理信息或控制元素。

操作者o可以在患者解剖体内导航，基于图像600来使医疗器械转向，该图像600可以包括过滤的ct图像数据。由于医疗器械被配准到图像600和图像800，所以医疗器械相对于患者p的移动可以通过显示的医疗器械604和804在图像600和图像800中分别表示的患者解剖体内的对应移动的显示而被可视化。在一些示例(未示出)中，医疗器械以距离目标的一定距离定位在解剖通路内，使得目标不在模型中显示，并且提供朝向目标的定向引导的指示符被显示。

参照操作910，当医疗器械在患者解剖体内时，获得患者解剖体的术中图像数据。在一些示例中，医疗器械接近目标。因此，术中图像数据可以采集患者解剖体、医疗器械和目标的某种组合。操作910的一些方面可以基本上如在操作502中描述的那样执行。诸如上述三维成像系统330的成像系统可以使用任何合适的成像技术(诸如ct、荧光镜检查、温度记录法、超声、oct、热成像、阻抗成像、激光成像、纳米管x射线成像和/或类似技术)来获得术中图像。通过围绕患者p旋转成像元件，成像系统可以从一个或多个角度采集术中图像集合，术中图像可以是静止图像、一系列静止图像或视频。因此，每个术中图像可以具有对应的记录时间和相对于其他图像的取向(例如，旋转角度)。

类似地，术中图像数据可以相对于医疗器械具有对应的取向。当医疗器械在三维中移动时，器械的部分在一些或全部图像数据中可能模糊不清或另外成像不良。例如，垂直于成像平面延伸的器械的长度可能不能在术中图像数据中被正确采集。因此，在一些示例中，系统(例如，控制系统112)在操作910中的成像之前指导医疗器械的放置、形状或取向，以改进医疗器械的成像。在一个这样的示例中，系统指导放置以增加沿着成像平面的医疗器械的长度的量。在另一个这样的示例中，系统指导器械沿着成像平面弯曲或呈钩状，以在术中图像数据中创建不同的特征。在一些示例中，系统(例如，控制系统112)在操作910中成像之前指导成像系统的放置或取向以改善医疗器械的成像，例如增加沿着成像平面的医疗器械的长度的量。术中图像数据作为整体可以在与术前图像参考系不同的第二参考系(即，术中图像参考帧)中。

参照操作912，计算系统将器械参考系配准到术中图像参考系。操作912的一些方面可以基本上如在操作504-508中描述的那样执行。在一些这样的示例中，计算系统从医疗器械获得与医疗器械的位置、取向和/或姿态相关的形状数据。计算系统的跟踪系统可以接收来自光纤形状传感器或其它传感器系统(诸如沿着医疗器械的细长装置定位的多个电磁位置传感器)的该位置、取向和/或姿态信息。一个或多个传感器可以被设置在与医疗器械的物理特征相关的已知或可跟踪位置(如在术中图像中可区分的外管壁)处。传感器可以用于获得测量点的集合，该测量点描述器械参考系内的医疗器械的形状。该形状数据可以以规则的间隔或响应于诸如医疗器械的中断或位置改变的触发而获得，并且该形状数据可以包括在获得该形状数据的每个子集时的时间戳或其它指示符。在一个示例中，响应于每次成像系统在操作910中采集术中图像数据的图像时产生的中断，获得形状数据的子集。

形状数据可以用于帮助在图像数据中找到医疗器械的表示图。因此，计算系统可以执行图像数据的分割以识别对应于医疗器械的术中图像的那些部分和对应于患者解剖体的那些部分。通过使用形状信息，用于从三维图像数据的其余部分分割医疗器械的分割过程可以被简化并且被更快地执行。分割的一些方面可以基本上如在操作504中描述的那样执行。在一些实施例中，计算系统将术中图像数据转换为患者解剖体的二维或三维模型(如包括图4a-图4d的肺400的躯干)和医疗器械的二维或三维模型。在各种示例中，对应于医疗器械的像素或体素部分地基于在术中图像中可见的区别特性(诸如，射线不透性、mri响应、密度和/或颜色)来识别。为此目的，医疗器械可以包括在术中图像内可检测或可见的结构，其充当基准特征。

例如，图10a和图10b是根据本公开的一些实施例的医疗器械1000的侧视图的简化示意图。医疗器械1000包括细长装置1002，其可以基本上类似于细长装置202和/或细长装置310。参见图10a，细长装置1002的远侧部分1004包含轴向支撑结构1006，其被配置为响应于致动力而弯曲。因此，当对轴向支撑结构1006施加不相等的致动力时，远侧部分1004弯曲。轴向支撑结构的进一步示例被提供在美国专利申请us15/685,979(于2017年8月24日提交)(公开了“axialsupportstructureforaflexibleelongatedevice”)和美国临时专利申请us62/535,673(于2017年7月21日提交)(公开了“flexibleelongatedevicesystemsandmethods”)，这些专利申请的每一个通过引用以其整体并入本文。轴向支撑结构1006可以具有在术中图像中将其与周围患者解剖体和/或细长装置1002的剩余部分区分开的特性(例如，射线不透性、mri响应、密度和/或颜色)。在进一步的示例中，细长装置1002的远侧尖端包括控制环1008、尖端环1010或远侧尖端处的具有在术中图像中可见的区别特性的其它结构。

在一些示例中，细长装置1002包括工具内腔1011。工具内腔1011允许通过细长装置1002部署医疗工具1012。医疗工具1012可以基本上类似于上面的医疗工具226，并且可以用于诸如手术、活检、消融、照明、冲洗或抽吸的程序。合适的医疗工具1012包括活检器械(诸如针)、激光消融纤维、和/或其他手术、诊断或治疗工具，并且因此医疗工具1012可以具有末端执行器，诸如手术刀、钝刀片、镊子、抓取器、剪刀、施夹器和/或电极。工具内腔1011和医疗工具1012的部分(诸如末端执行器)可以在术中图像中具有区别特性，并且由此可以充当基准特征。

参见图10b，细长装置1002还可以包括形状传感器内腔1014，形状传感器1016延伸通过该内腔1014。形状传感器1016可以基本上类似于上面的形状传感器222，并且可以包括延伸通过形状传感器内腔1014的光纤。为了减少经由形状传感器1016获得的数据与成像数据之间的差异，形状传感器内腔1014和/或形状传感器1016可以具有在术中图像中的区别特性，以便用作基准特征。由于形状传感器内腔1014可以与设置在其中的形状传感器1016紧密接近，所以对应于形状传感器内腔1014的成像数据可以密切跟踪从形状传感器1016获得的形状数据。

返回参考图9的操作912，执行分割的计算系统识别术中图像数据中的这些基准特征(例如，轴向支撑结构1006、控制环1008、尖端环1010、工具内腔1011、医疗工具1012、形状传感器内腔1014、形状传感器1016)，以识别医疗器械的一个或多个部分，并且使用从上面获得的形状数据确定的医疗器械的位置、取向和/或姿态来将器械参考系配准到术中图像参考系。配准可以通过与分割形状关联的刚性或非刚性变换点和与感测形状数据关联的点来旋转、平移或以其它方式操纵。例如，可以通过使用icp技术或另一点云配准技术来实现器械参考系和术中图像参考系之间的配准。可替代地，可以通过匹配和配准器械和图像点云内的特征点来执行配准，在这些点云中，点对应根据一些特征空间中的形状相似性确定。在一些实施例中，医疗器械的分割形状被配准到形状传感器参考系中的形状数据，并且关联的变换(应用到分割形状中的每一个点以与器械参考系中的形状数据对准的向量)随后可以被应用到整个三维图像和/或随后在医疗程序期间获得的三维图像。该变换可以是6dof变换，使得形状数据可以在x、y和z以及俯仰、滚转和偏摆中的任一个或全部中被平移或旋转。

为了提高该过程的准确度，计算系统可以可选地执行形状数据与术中图像数据的时间匹配。在一些示例中，形状数据包括多个子集，每个子集包含在离散时间处获得的数据点。可以以规则的间隔或响应于诸如医疗器械的中断或位置改变的触发而获得子集，并且形状数据可以包括在获得每一个形状数据单元时的时间戳或其他指示符。类似地，构成术中图像数据的图像可以各自具有获得图像时的时间戳记录。在这些示例中，执行配准的计算系统可以利用时间戳来及时地将形状数据的子集与术中图像数据的图像相互关联。在这方面，计算系统可以通过比较在某个时间点获得的术中图像与形状数据的同时期的子集来确定器械参考系与术中图像参考系的配准。这可以减少由解剖体移动、器械移动或传感器随时间的漂移引起的误差。

另外或在替代方案中，计算系统可以可选地将形状数据和图像的时序与循环运动相互关联。例如，患者解剖体可以在常规循环活动(例如，心脏活动、呼吸活动等)期间移动。计算系统可以确定形状数据的每个子集和术中图像数据的每个图像在循环活动的哪个阶段(例如，舒张期、呼吸保持)获得。为此，与数据关联的时间戳或触发可以与监测循环活动的各种其他患者状态监视器(诸如心脏监视器或呼吸监视器(例如，患者平板))相互关联。因此，计算系统可以通过比较在循环活动的特定阶段获得的术中图像与在同一阶段获得的形状数据的子集来确定器械参考系与术中图像参考系的配准。由于活动可以是周期性的，来自活动的一个周期的图像数据可以与在另一个周期期间获得的形状数据的子集进行比较。此外，在循环活动期间的一些点可能更有利于成像。因此，在一些示例中，识别在循环活动期间的最佳点期间所拍摄的术中图像，并将其与同时获得的形状数据的子集进行比较。

由于术中图像数据可能不采集整个医疗器械，所以在一些示例中，计算系统可选地将医疗器械分成各部分并确定由术中图像数据的每个图像采集的那些部分。对于每个成像部分，计算系统可以将该部分的形状数据与术中图像数据的图像相互关联。这可以包括时间和空间对应关系。例如，如果术中图像数据的第一图像在扫描的第一秒中采集到医疗器械的最远侧部分，则可以将对应于扫描的第一秒的最远侧部分的形状数据与第一图像进行比较。如果术中图像数据的第二图像在扫描的第二秒中采集到医疗器械的第二最远侧部分，则可以将对应于扫描的第二秒的第二最远侧部分的形状数据与第二图像进行比较。

为了进一步提高准确度，计算系统可以进行多次比较，并且可以分别对每次比较进行加权。如上所述，术中图像数据可以包括以不同取向拍摄的一组图像。例如，由移动旋转成像元件获得的术中图像数据可以包括一组图像，每个图像相对于患者p具有不同的时间、方位和旋转取向。计算系统可以使用数据集中的一些或全部图像执行配准。在这方面，每个图像可以基于它的时间点(绝对时间或相对于循环活动的时间)、方位、取向和/或其他因素而被赋予权重。例如，图像可以在具有显著患者移动的时间点期间被获得，并且可以比集合中的其他图像更小地被加权。在另一个示例中，以医疗器械、目标或另一解剖结构较不可见的取向拍摄的图像可以被更小地加权。在另一个示例中，图像可以是低质量的并且可以被更小地加权。当确定器械参考系到术中图像参考系的配准时，计算系统可以考虑与每个图像或形状数据的每个单元关联的权重因子。在一些实施例中，次优图像可以通过重复操作910而被识别和重新拍摄。然后可以使用重新拍摄的术中图像来执行配准。

接下来参考操作914，将术前模型的术前图像参考系配准到术中图像参考系。如上所述，计算系统可以在操作908中将术前图像参考系配准到器械参考系，并且在操作912中将器械参考系配准到术中图像参考系。因此，可以使用共同参考系(即，器械参考系)来执行术前图像参考系与术中图像参考系的配准。

另外或者在替代方案中，可以使用基于特征的配准来将术前参考系配准到术中参考系，以比较相应的模型和/或图像，并且计算系统在术中模型/图像和术前模型/图像中定位对应的基准特征。基准特征包括在术中图像数据、术前图像数据和/或术前模型中具有区别特性(例如，射线不透性、mri响应、密度和/或颜色)的人工特征和解剖结构特征两者。区别特性在每个数据集中可以不同，例如，在术前mri数据中的mri响应和在术中图像数据中的射线不透性。合适的基准特征包括骨骼、组织边界、其他器官和器官系统、空隙和解剖体内部和外部的人工特征。在一些示例中，在术前和术中成像期间，诸如患者平板或立体定向框架之类的一组外部基准特征被放置在患者上。一旦在术中图像数据和术前图像数据和/或术前模型的某种组合中识别对应的基准特征，则基准特征的位置和取向可以用于确定术前图像参考系和术中图像参考系之间的关系。

作为基于特征的配准的补充或替代，计算系统可以执行基于图像的匹配以将来自术前图像数据或模型的各个图像与来自术中图像数据的图像匹配。对于给定的术前图像，计算系统可以选择对应的术中图像以进行比较，反之亦然。对应的图像可以基于其方位、取向和/或其他因素而被选择。在通过可移动的旋转成像元件获得术中图像数据的示例中，每个术中图像可以具有相对于患者p的方位和旋转取向。对于一些或全部术中图像，对应术前图像可以基于具有相对于患者p的类似方位和旋转取向而被选择。如果这种术前图像不可用，可以通过使用术前模型模拟以该方位和旋转取向拍摄的图像来生成术前图像。

计算系统可以可选地执行术前图像数据或模型与术中图像数据的时间匹配。在一些这样的示例中，术前图像数据或模型与术中图像数据可以包括指示何时获得每个图像的时间戳。在一些这样的示例中，可以基于这些时间戳来选择对应的图像。时间戳可以与各种其他患者状态监视器相互关联，以监视循环活动并确定在循环活动期间的哪个阶段拍摄图像。对于在循环活动期间在特定阶段(例如，舒张期、呼吸保持)拍摄的术中图像，可以基于在活动的类似或对应阶段拍摄来选择对应的术前图像。

一旦选择了对应的图像，它们可以被比较以确定位置和/或取向的变化，从而确定术前图像参考系和术中图像参考系之间的关系。

在一些示例中，每个图像或每对对应图像可以基于它们的时间点(绝对时间或相对于循环活动的时间)、方位、取向和/或其他因素而被赋予权重。例如，图像可以在具有显著患者移动的时间点期间被获得，并且可以比其他图像更小地被加权。在另一个示例中，以基准特征较不可见的取向拍摄的图像可以被更小地加权。在另一个示例中，图像可以是低质量的并且可以被更小地加权。当确定术前图像参考系到术中图像参考系的配准时，计算系统可以考虑与每个图像关联的权重因子。在一些实施例中，次优术中图像可以通过重复操作910而被识别和重新拍摄。

应注意，通过迭代两个配准过程一次或多次，基于形状的配准可以与基于特征的配准和/或基于图像的配准相组合，其中每次迭代都提高了术前图像参考系与术中图像参考系的配准的准确度。

在配准了两个图像参考系的情况下，计算系统可以基于在操作916中示出的术中图像数据来更新术前模型。返回参考图8，作为一个示例，术前模型包括患者解剖体、诸如待治疗的肿瘤或组织的其他区域的目标和/或医疗器械的表示图。在采集术中图像之后，肿瘤相对于其它解剖结构和/或器械的实时方位可能已经从在术前模型中表示的位置偏移，如图8所示。计算系统可以基于术中图像数据来更新目标的大小、方位和/或其他属性。在一个这样的示例中，计算系统基于根据术中图像数据和/或从医疗器械获得的形状数据确定的医疗器械和对应组织之间的测量的距离来更新目标的方位。如果术前模型相对于术中图像数据变化超过阈值，则一些或全部术前模型可以被替换以反映肿瘤相对于医疗器械的实时方位。在一个替代示例中，当术前模型变化大于阈值且术中模型被用于替换一些或全部术前模型时，计算系统从术中图像数据生成新模型，基本上如在操作904中所述。在一些示例中，其它解剖结构(诸如通路、血管和诸如此类)被提供在操作904中生成的术前模型中。在这些示例中，其他解剖结构的尺寸、形状和/或相对方位也可以以类似的方式在术前模型中更新。以这种方式，应当避免的解剖结构可以在医疗程序期间显示为进一步的导航辅助。

参考操作918，可选地，计算系统可以显示在操作916中更新的术前模型的表示图。图11描绘了复合图像1100，其包括根据在显示器110(诸如图1的显示器)上显示的本公开的示例的术前模型的表示图。在许多方面，图像1100可以基本上类似于图像800。复合图像1100包括医疗器械所位于的通路(例如，支气管通道)的表面模型1102，该表面模型1102从术前模型生成。可以向操作者o提供内部透视图以利于图像引导的医疗程序。内部透视图从医疗器械的远侧尖端的视角呈现了模型1102的视图。作为参考，可以显示医疗器械的渲染1104。如果医疗工具已经延伸通过医疗器械，则可以显示医疗工具的渲染1106。

复合图像1100还包括目标1108的图像。目标1108可以被渲染为不透明物体，而其它组织被渲染为半透明，使得可以透过其它组织看到肿瘤。例如，当目标1108不与模型1102的壁共同定位时，模型1102可以被半透明地渲染以允许目标1108的透视图。计算系统可以计算器械模型1104的远侧尖端的位置和取向，并且可以显示从器械模型1104的远侧尖端延伸到目标1108的轨迹向量1110。其他信息和元件可以在显示器110中呈现给操作者o，诸如生理信息或控制元素。例如，显示器110可以在窗口1112中包括图6的图像600。

可选地，操作者o和/或远程操作系统可以使用更新的术前模型来执行图像引导的医疗程序。例如，操作者o或远程操作系统可以通过基于图像1100使医疗器械转向来在患者解剖体内导航医疗器械。由于医疗器械被配准到图像1100，所以医疗器械相对于患者p的移动可以通过显示所显示的医疗器械1104在图像1100中表示的患者解剖体内的对应移动而被可视化。一旦医疗器械定位在目标附近，操作者o可以将医疗工具(诸如图2中的医疗工具226)推进通过医疗器械。操作者o可以使用医疗工具来对目标执行程序(诸如手术、活检、消融、照明、冲洗或抽吸)，并且可以在程序期间使用其渲染1106来可视化医疗工具的移动和操作。

参考操作920，可选地，可以获得第二组术中图像。这可以基本上如在操作910中描述的那样执行。第二组术中图像可以用于评估该程序的有效性。在一个示例中，操作者o对目标执行消融程序，并且第二组术中图像采集目标和周围解剖体以评估消融程序对目标的影响。在一些示例中，患者移动可能导致解剖体、目标和/或器械方位的偏移。因此，所描述的配准技术可以用于将第二组术中图像配准到在消融程序之前拍摄的第一组术中图像，或者将第二组术中图像配准到术前模型。

在一些示例中，获得第二组术中图像包括基于操作912的器械参考系到术中参考系的配准来确定到图像的局部区域。由于在术中参考系中的医疗器械和目标的位置是已知的，所以可以更精确地确定到图像的区域。使用相对较小的区域获得第二组术中图像可以减少患者对辐射的暴露。在一些示例中，可以拍摄第二组术中图像来补充第一组术中图像中的低质量图像。在一些示例中，可以拍摄多个术中图像，每个术中图像可以被配准到术前模型或任何先前的术中图像。

本公开的这些实施例中的一些实施例可以利于三维图像或一组或一系列三维图像与医疗器械形状的配准。例如，在医疗器械就位时获得的来自锥束ct扫描仪的一个或多个图像也可以通过在采集一个或多个图像时或在这个时间附近从该医疗器械获得形状数据而被配准到医疗器械。使图像中的医疗器械的形状与来自光纤形状传感器的形状数据相关的变换可以被应用到整个图像或其中的一部分，以将图像带入与医疗器械共同的参考系中。此外，诸如术前图像的图像也可以被配准到共同参考系中以用于图像引导的医疗程序。此外，图像中的肿瘤或其他目标的方位可以被用于约束或以其他方式调整从操作者接收的移动命令，从而使得医疗器械遵循确定的轨迹到达肿瘤以进行活检或治疗。

本发明的实施例中的一个或多个元件可以用软件实现以在计算机系统(诸如控制系统112)的处理装置上执行。当以软件实现时，本发明实施例的元件基本上是执行必要任务的代码段。程序或代码段可以被存储在非暂时性机器可读存储介质或装置中，该存储介质或装置包括可以存储信息的任何介质，包括光学介质、半导体介质和磁介质。处理器可读存储装置示例包括：电子电路；半导体器件，半导体存储器器件、只读存储器(rom)、闪速存储器、可擦除可编程只读存储器(eprom)；软盘、cd-rom、光盘、硬盘或其他存储装置。代码段可以通过诸如因特网、内联网等计算机网络下载。

应注意，所呈现的过程和显示器可能不固有地与任何特定计算机或其他设备相关。各种此类系统所需的结构将作为权利要求中的元件出现。另外，不参考任何具体编程语言描述本发明的实施例。应当理解，可以使用各种编程语言来实现如本文所述的本发明的教导。另外，关于具体实施例更详细描述的特征可以与其他实施例的特征组合。

虽然已经在附图中描述和示出了本发明的某些示例性实施例，但是应该理解，这些实施例仅仅是对宽发明的说明而非限制，并且本发明的实施例不限于所示和所述的具体构造和布置，因为本领域普通技术人员可以想到各种其他修改。