用于在图像引导过程期间显示引导信息的图形用户界面的制作方法

相关申请的交叉引用

本专利申请要求于2017年4月18日提交的标题为“graphicaluserinterfaceformonitoringanimage-guidedprocedure(用于监控图像引导过程的图形用户界面)”的美国临时专利申请no.62/486,879的优先权和申请日的权益，以及于2016年6月30日提交的标题为“graphicaluserinterfacefordisplayingguidanceinformationduringanimage-guidedprocedure(用于在图像引导过程期间显示引导信息的图形用户界面)”的美国临时专利申请no.62/357,217的优先权，其全部内容通过引用合并于此。本公开涉及于2016年6月30日提交的标题为“graphicaluserinterfacefordisplayingguidanceinformationinapluralityofmodesduringanimage-guidedprocedure(用于在图像引导过程期间以多种模式显示引导信息的图形用户界面)”的美国临时专利申请62/357,258；于2016年6月30日提交的标题为“systemsandmethodsofsteerableelongatedevice(可操控的细长装置的系统和方法)”的美国临时专利申请62/357,272；以及于2017年6月28日提交的标题为“systemsandmethodsofsteerableelongatedevice(可操控的细长装置的系统和方法)”的pct/us2017/039808，其全部内容通过引用并入本文。

本公开涉及用于执行图像引导过程的系统和方法，并且更具体地涉及用于在图像引导过程期间显示引导信息的系统和方法。

背景技术：

微创医疗技术旨在减少医疗过程期间受损组织的量，从而减少患者恢复时间、不适和有害的副作用。这种微创技术可以通过患者解剖结构中的自然孔口或通过一个或更多个外科手术切口来执行。通过这些天然的孔口或切口，临床医师可以插入微创医疗器械(包括外科手术、诊断、治疗或活检器械)以达到目标组织位置。一种这样的微创技术是使用可以插入解剖学通道并导向患者解剖结构内的感兴趣区域的柔性和/或可操控的细长装置，例如导管。医疗人员在图像引导过程期间对这种细长装置的控制涉及几个自由度的管理，包括至少管理细长装置的插入和缩回以及装置的操控和/或弯曲半径。另外，也可以支持不同的操作模式。

因此，提供图形用户界面将是有利的，该图形用户界面支持适合在微创医疗技术期间使用的柔性和/或可操控的细长装置(例如可操控的导管)的直观控制和管理。

技术实现要素：

本发明的实施例由随附权利要求最好地总结。

一种用于在图像引导手术过程期间显示引导信息的方法包括：通过一个或更多个硬件处理器接收来自与包括柔性主体的细长装置相关联的跟踪系统的数据，并且通过所述一个或更多个硬件处理器基于所述数据计算沿着所述柔性主体的长度的至少一个状况。所述方法进一步包括通过所述一个或更多个硬件处理器基于所述至少一个状况来确定补充引导信息，并且通过所述一个或更多个硬件处理器利用所述补充引导信息来增强(augment)一个或更多个图像以产生一个或更多个增强图像。该方法进一步包括在外科医师控制台处在显示装置上显示一个或更多个增强图像。非暂时性机器可读介质包括多个机器可读指令，所述多个机器可读指令在被与医疗装置相关联的一个或更多个处理器执行时，适于使一个或更多个处理器执行用于显示引导信息的方法。

一种医疗装置，其包括细长装置和沿柔性主体的至少一部分设置的跟踪系统，所述细长装置包括柔性主体。医疗系统还包括联接到跟踪系统的一个或更多个处理器。所述一个或更多个处理器被配置为从所述跟踪系统接收数据，基于所接收的数据计算沿着所述柔性主体的长度的至少一个状况，并且基于所述至少一个状况确定补充引导信息。所述一个或更多个处理器进一步经配置以使用所述补充引导信息来增强一个或更多个图像以产生一个或更多个增强图像并显示所述一个或更多个增强图像。

应当理解的是，前面的一般描述和下面的详细描述本质上都是示例性和解释性的，并且旨在提供对本公开的理解而不限制本公开的范围。就此而言，根据以下详细描述，本公开的其他方面、特征和优点对于本领域技术人员来说将是显而易见的。

附图说明

专利或申请文件至少包含一张彩色附图。具有(一个或更多个)彩色附图的本专利或专利申请出版物的副本将由办公室根据要求和支付必要的费用提供。

图1是根据一些实施例的远程操作医疗系统的简化图。

图2a是根据一些实施例的医疗器械系统的简化图。

图2b是根据一些实施例的具有扩展医疗工具的医疗器械的简化图。

图3a和图3b是根据一些实施例的包括安装在插入组件上的医疗器械的患者坐标空间的侧视图的简化图。

图4是根据一些实施例的用于显示用在图像引导的外科手术过程中的补充引导信息的图形用户界面的简化图。

图5是根据一些实施例的用于显示用补充引导信息增强的图像的窗口的简化图。

图6是根据一些实施例的显示包括补充引导信息的致动信息的致动信息窗口的简化图。

图7是根据一些实施例的在图像引导的外科手术过程期间显示补充引导信息的方法的简化图。

图8是根据一些实施例的显示用在图像引导的外科手术过程中的补充引导信息的图形用户界面的屏幕截图。

图9是根据一些实施例的弯曲指示符的简化图。

通过参考下面的详细描述可以最好地理解本公开的实施例及其优点。应当理解的是，相似的附图标记用于表示在一个或更多个附图中示出的相同的元件，其中的示出用于说明本公开的实施例，而不是为了限制本公开的实施例。

具体实施方式

在以下描述中，阐述了描述与本公开一致的一些实施例的具体细节。阐述了许多具体细节以便提供对实施例的透彻理解。然而，对于本领域技术人员来说显而易见的是，可以在没有这些具体细节中的一些或全部的情况下实践一些实施例。这里公开的具体实施例意在说明而不是限制。本领域的技术人员可以认识到其他特征，尽管这里没有具体描述，但是其在本公开的范围和精神内。另外，为了避免不必要的重复，与一个实施例相关联地示出和描述的一个或更多个特征可以被并入到其他实施例中，除非另外特别描述，或者如果一个或更多个特征将使得实施例不起作用。

在一些情况下，众所周知的方法、过程、组件和电路未被详细描述，以免不必要地模糊实施例的方面。

本公开内容根据三维空间中的状态来描述各种器械和器械的部分。如本文所使用的，术语“位置”是指三维空间中的物体或物体的一部分的位置(例如，沿着笛卡尔x、y和z坐标的三个平移自由度)。如本文所使用的，术语“定向”是指物体或物体的一部分的旋转放置(三个旋转自由度，例如，滚动、俯仰和偏转)。如在此使用的，术语“姿态”是指物体或物体的一部分在至少一个平移自由度上的位置以及该物体或物体的一部分在至少一个旋转自由度的定向(最多六个自由度)。如本文所使用的，术语“形状”是指沿着物体测量的一组姿态、位置或定向。

图1是根据一些实施例的远程操作医疗系统100(也称为“远程可操作操纵器组件”)的简化图。在一些实施例中，远程操作医疗系统100可以适用于例如外科手术、诊断、治疗或活检过程。如图1所示，医疗系统100一般包括用于在对患者p执行各种过程时操作医疗器械104的远程可操作操纵器组件102。远程可操作操纵器组件102安装到手术台t或附近。主组件106允许操作者(例如，外科医师、临床医师或如图1示出的医师o)，以观察介入部位并控制远程可操作操纵器组件102。

主组件106可以位于通常位于与手术台t相同的房间中的外科医师控制台处，例如在患者p所位于的手术台的侧面。然而，应当理解的是，医师o可以位于与患者p不同的房间或完全不同的建筑物中。主组件106通常包括用于控制远程可操作操纵器组件102的一个或更多个控制装置。控制装置可以包括任何数量的各种输入装置，诸如操纵杆、追踪球、数据手套、触发枪、手操作的控制器、语音识别设备、人体运动或存在传感器等。为了给医师o提供直接控制器械104的强烈感觉，控制装置可以提供具有与关联的医疗器械104相同的自由度。以这种方式，控制装置为医师o提供远程呈现或控制装置与医疗器械104是一体的感知。

在一些实施例中，控制装置可以具有比关联的医疗器械104更多或更少的自由度，并且仍然为医师o提供远程呈现。在一些实施例中，控制装置可以可选地是以六个自由度移动的手动输入装置，并且该手动输入装置还可以包括用于致动器械(例如，用于闭合抓取钳头、向电极施加电势、递送药用治疗等)的可致动柄部。

远程可操作操纵器组件102支撑医疗器械104，并且可以包括一个或更多个非伺服控制的连杆的运动学结构(例如，可以手动定位并锁定在适当位置的一个或更多个连杆，通常称为机构结构(set-upstructure))和远程可操作操纵器。远程可操作操纵器组件102可以可选地包括响应于来自控制系统(例如，控制系统112)的命令而驱动医疗器械104上的输入的多个致动器或马达。致动器可以可选地包括驱动系统，当驱动系统联接到医疗器械104时，可以将医疗器械104推进到自然或外科手术创建的解剖孔口中。其他驱动系统可以以多个自由度移动医疗器械104的远端，其可以包括三个线性运动(例如，沿着x、y、z笛卡尔坐标轴的线性运动)自由度和三个旋转运动(例如，围绕x、y、z笛卡尔坐标轴的旋转)自由度。另外，致动器可以用于致动医疗器械104的可铰接的(articulable)末端执行器，用于抓取活检装置的钳头等中的组织。诸如分解器、编码器、电位计和其他机构的致动器位置传感器可将传感器数据提供给描述马达轴的旋转和定向的医疗系统100。该位置传感器数据可以用于确定由致动器操纵的物体的运动。

远程操作医疗系统100可以包括具有一个或更多个子系统的传感器系统108，该子系统用于接收关于远程可操作操纵器组件102的器械的信息。这样的子系统可以包括位置/定位传感器系统(例如，电磁(em)传感器系统)；形状传感器系统，其用于确定沿着可构成医疗器械104的柔性主体的远端和/或一个或更多个部分的位置、定向、转速、速度、姿态和/或形状；和/或用于从医疗器械104的远端捕获图像的可视化系统。

远程操作医疗系统100还包括显示系统110，用于显示由传感器系统108的子系统生成的手术部位和医疗器械104的图像或表示。显示系统110和主组件106可以被定向，因此医师o可以利用远程呈现的感知来控制医疗器械104和主组件106。

在一些实施例中，医疗器械104可以具有可视化系统(在下面更详细地讨论)，其可以包括观察镜组件，该观察镜组件记录手术部位的同步或实时图像，并将该图像通过医疗系统100的一个或更多个显示器(诸如，显示系统110的一个或更多个显示器)提供给操作者或医师o。同步图像可以是例如由位于外科手术部位内的内窥镜捕获的二维或三维图像。在一些实施例中，可视化系统包括可整体地或可移除地联接到医疗器械104的内窥镜部件。然而，在一些实施例中，附接到单独的操纵器组件的单独的内窥镜可以与医疗器械104一起使用以对外科手术部位成像。可视化系统可以被实施为与一个或更多个计算机处理器交互或以其他方式由一个或更多个计算机处理器执行的硬件、固件、软件或其组合，所述计算机处理器可以包括控制系统112的处理器。

显示系统110还可以显示由可视化系统捕获的手术部位和医疗器械的图像。在一些示例中，远程操作医疗系统100可以配置医疗器械104和主组件106的控制，使得医疗器械的相对位置类似于医师o的眼睛和手的相对位置。以这种方式，医师o可以操纵医疗器械104和手控制，就好像在基本上真实的呈现下观察工作空间一样。通过真实呈现，意味着图像的呈现是模拟物理地操纵医疗器械104的医师的视角的真实的立体图像。

在一些示例中，显示系统110可以使用来自诸如计算机断层扫描(ct)、核磁共振成像(mri)、荧光镜检查、热像图、超声波、光学相干断层扫描(oct)、热成像、阻抗成像、激光成像、纳米管x-射线成像等成像技术的图像数据呈现术前或术中记录的手术部位的图像。术前或术中图像数据可以被呈现为二维图像、三维图像或四维(包括例如，基于时间的信息或基于速度的信息)图像或来自创建自术前或术中图像数据集的模型的图像。

在一些实施例中，通常为了成像的引导外科手术的目的，显示系统110可以显示虚拟导航图像，其中医疗器械104的实际位置与术前或同步图像/模型一起配准(即动态地参考)。这可以完成以从医疗器械104的视角来看，向医师o呈现内部手术部位的虚拟图像。在一些示例中，视角可以来自医疗器械104的尖端。医疗器械104的尖端的图像和/或其他图形或字母数字指示符可以叠加在虚拟图像上，以辅助医师o控制医疗器械104。在一些示例中，医疗器械104可能在虚拟图像中不可见。

在一些实施例中，显示系统110可以显示虚拟导航图像，其中医疗器械104的实际位置与术前或同步图像配准，以从外部视角向医师o呈现手术部位内医疗器械104的虚拟图像。医疗器械104的一部分的图像或其它图形或字母数字指示符可以叠加在虚拟图像上，以辅助医师o控制医疗器械104。如本文所描述的，数据点的可视化表示可以被呈现给显示系统110。例如，测量的数据点、移动的数据点、配准的数据点和本文描述的其他数据点可以以可视化表示显示在显示系统110上。数据点可以通过显示系统110上的多个点或圆点(dot)可视地表示在用户界面中，或者作为呈现的模型，诸如基于该组数据点创建的网格或线模型。在一些示例中，数据点可以根据它们表示的数据进行颜色编码。在一些实施例中，在每个处理操作已经被实现以改变数据点之后，可以在显示系统110中刷新可视化表示。

远程操作医疗系统100还可以包括控制系统112。控制系统112包括用于在医疗器械104、主组件106、传感器系统108和显示系统110之间实现控制的至少一个存储器和至少一个计算机处理器(未示出)。控制系统112还包括以实现根据本文公开的方面描述的方法中的一些或全部的编程指令(例如，存储指令的非暂时性机器可读介质)，包括用于向显示系统110提供信息的指令。尽管控制系统112在图1的简化示意图中被示出为单个块，该系统可以包括两个或更多个数据处理电路，其中处理的一部分可选地在远程可操作操纵器组件102上或其附近执行，处理的另一部分在主组件106处执行等。控制系统112的处理器可以执行的指令包括对应于在此公开的并在下面更详细描述的处理的指令。可以采用各种各样的集中式或分布式数据处理架构中的任何一种。类似地，编程的指令可以被实现为多个独立的程序或子程序，或者它们可以被集成到本文描述的远程操作系统的多个其他方面中。在一个实施例中，控制系统112支持诸如蓝牙、irda、homerf、ieee802.11、dect和无线遥测技术的无线通信协议。

在一些实施例中，控制系统112可以从医疗器械104接收力和/或扭矩反馈。响应于反馈，控制系统112可以传输信号到主组件106。在一些示例中，控制系统112可以传输指示远程可操作操纵器组件102的一个或更多个致动器的信号以移动医疗器械104。医疗器械104可以经由患者p体内的开口延伸到患者p体内的内部手术部位。可以使用任何合适的常规和/或专用致动器。在一些示例中，一个或更多个致动器可以与远程可操作操纵器组件102分离或者与其一体化。在一些实施例中，一个或更多个致动器和远程可操作操纵器组件102被提供为与患者p和手术台t相邻定位的远程可操作推车的一部分。

控制系统112可选地进一步包括虚拟可视化系统，以在图像引导外科手术过程中在控制医疗器械104时向医师o提供导航辅助。使用虚拟可视化系统的虚拟导航可以基于对所获取的解剖学通路的术前或术中数据集的参考。虚拟可视化系统处理使用诸如计算机断层扫描(ct)、核磁共振成像(mri)、荧光镜检查、热像图、超声波、光学相干断层扫描(oct)、热成像、阻抗成像、激光成像、纳米管x-射线成像等成像技术成像的手术部位的图像。使用可以与手动输入组合使用的软件将记录的图像转变为部分或整个解剖器官或解剖区域的节段的二维或三维复合表示。图像数据集与复合表示相关联。复合表示和图像数据集描述了通道的各种位置和形状及其连通性。用于生成复合表示的图像可以在临床手术期间在术前或术中被记录。在一些实施例中，虚拟可视化系统可以使用标准表示(即，非患者特定的)或标准表示与患者特定数据的混合。复合表示和通过复合表示生成的任何虚拟图像可以表示在运动的一个或更多个阶段期间(例如，在肺的吸气/呼气循环期间)的可变形解剖区域的静态姿态。

在虚拟导航程序期间，可以使用传感器系统108计算医疗器械104相对于患者p的解剖结构的近似位置。该位置能够用于产生患者p的解剖结构的宏观层次(外部)跟踪图像和患者p的解剖结构的虚拟内部图像二者。系统可以实现一个或更多个电磁(em)传感器、光纤传感器和/或其它传感器，以配准和显示医疗器具以及术前记录的手术图像(例如来自虚拟可视化系统的图像)，这是已知的。例如，通过引用以其全文并入本文的美国专利申请no.13/107,562(提交于2011年5月13日)(公开了“medicalsystemprovidingdynamicregistrationofamodelofananatomicalstructureforimage-guidedsurgery(提供用于图像引导的外科手术的解剖结构的模型的动态配准的医疗系统)”)公开了一个这样的系统。远程操作医疗系统100可以进一步包括可选的操作和支撑系统(未示出)，诸如照明系统、操控(steering)控制系统、冲洗系统和/或抽吸系统。在一些实施例中，远程操作系统100可以包括多于一个的远程可操作操纵器组件和/或多于一个的主组件。远程可操作操纵器组件的确切的数量将取决于外科手术过程和手术室内的空间约束，以及其他因素。主组件106可以并置，或者其可以定位在分开的位置中。多个主组件允许多于一个的操作者以各种组合控制一个或更多个远程可操作操纵器组件。

图2a是根据一些实施例的医疗器械系统200的简化图。在一些实施例中，医疗器械系统200可以被用作在使用远程操纵医疗系统100执行的图像引导医疗过程中的医疗器械104。在一些示例中，医疗器械系统200可以用于非远程可操作探查过程或者涉及传统的手动操作的医疗器械例如内窥镜的过程。可选地，医疗器械系统200可用于收集(即，测量)对应于诸如患者p的患者的解剖学通道内的位置的一组数据点。

医疗器械系统200包括联接到驱动单元204的细长装置202。细长装置202包括具有近端217和远端218(也称为“尖端部分218”)的柔性主体216。在一些实施例中，柔性主体216具有大约3mm的外径。其他柔性主体外径可以更大或更小。

医疗器械系统200进一步包括跟踪系统230，其用于使用一个或更多个传感器和/或成像装置，来确定在远端218处的柔性主体216的和/或沿着柔性主体216的一个或更多个部分224的位置、定向、转速、速度、姿态和/或形状，如下面进一步详细描述的。柔性主体216的在远端218和近端217之间的整个长度可以被有效地分成部段224。如果医疗器械系统200与远程操作医疗系统100的医疗器械104一致，则跟踪系统230。跟踪系统230可以可选地实现为与一个或更多个计算机处理器交互或以其他方式由一个或更多个计算机处理器执行的硬件、固件、软件或其组合，所述计算机处理器可以包括图1的控制系统112的处理器。

跟踪系统230可以可选地使用形状传感器222跟踪远端218和/或部段224中的一个或更多个。形状传感器222可以可选地包括与柔性主体216对齐的光纤(例如，设置在内部通道(未示出)内或安装在外部)。在一个实施例中，光纤具有大约200μm的直径。在其他实施例中，该尺寸可以更大或更小。形状传感器222的光纤形成光纤弯曲传感器，以用于确定柔性主体216的形状。在一个替代实施例中，包括布拉格光纤光栅(fbg)的光纤用于在一个或更多个维度上的结构中提供应变测量。在美国专利申请no.11/180,389(提交于2005年7月13日)(公开了“fiberopticpositionandshapesensingdeviceandmethodrelatingthereto”(光纤位置和形状感测装置及其相关方法))；美国专利申请no.12/047,056(提交于2004年7月16日)(公开了“fiber-opticshapeandrelativepositionsensing(光纤形状和相对位置感测)”)；和美国专利no.6,389,187(提交于1998年6月17日)(公开了“opticalfibrebendsensor(光纤弯曲传感器)”)中描述用于监测光纤在三维中的形状和相对位置的各种系统和方法，上述专利通过引用以其全文并入本文。在一些实施例中的传感器可以采用其他合适的应变感测技术，诸如瑞利散射、拉曼散射、布里渊散射和荧光散射。在一些实施例中，可以使用其他技术确定柔性主体216的形状。例如，柔性主体216的远端姿态的历史能够用于在该时间间隔内重建柔性主体216的形状。在一些实施例中，跟踪系统230可以可选地和/或附加地使用位置传感器系统220跟踪远端218。位置传感器系统220可以包括em传感器系统或者作为em传感器系统的部件，该em传感器系统包括可能受到外部产生的电磁场影响的一个或更多个导电线圈。用于实现位置传感器系统220的em传感器系统的每个线圈然后产生具有基于线圈相对于外部产生的电磁场的位置和定向的特性的感应电信号。在一些实施例中，位置传感器系统220可以被配置和定位成测量六个自由度，例如三个位置坐标x、y、z和表示基点的俯仰、偏转和滚动的三个取向角度，或被配置和定位成测量五个自由度，例如三个位置坐标x、y、z和表示基点的俯仰和偏转的两个取向角度。在通过引用以其全文并入本文的美国专利no.6,380,732(提交于1999年8月11日)(公开了“six-degreeoffreedomtrackingsystemhavingapassivetransponderontheobjectbeingtracked(在被跟踪对象上具有被动转发器的六自由度跟踪系统)”)中提供了位置传感器系统的进一步描述。

在一些实施例中，跟踪系统230可以替代地和/或附加地依赖于针对沿着交替运动(例如呼吸)的循环存储的器械系统的已知点的历史姿态、位置或定向数据。该存储的数据可以被用于形成关于柔性主体216的形状信息。在一些示例中，类似于位置传感器系统220中的传感器的一系列位置传感器(未示出)，诸如电磁(em)传感器，可以沿着柔性主体216定位，然后用于形状感测。在一些示例中，在手术过程期间从这些传感器中的一个或更多个获取的数据的历史记录可以用于表示细长装置202的形状，特别是如果解剖通道大致静止。

柔性主体216包括通道221，通道221的尺寸和形状设置成接收医疗器械226。图2b是根据一些实施例的具有延伸的医疗器械226的柔性主体216的简化图。在一些实施例中，医疗器械226可以用于诸如手术、活检、消融、照明、冲洗或抽吸的过程。医疗器械226可以通过柔性主体216的通道221进行部署并且用在解剖结构内的目标位置处。医疗器械226可以包括例如图像捕获探针、活检器械、激光消融纤维和/或其他外科手术工具、诊断工具或治疗工具。医疗工具可以包括具有单个工作构件的末端执行器，例如解剖刀、钝刀片、光纤或电极。其它末端执行器可以包括例如钳子、抓紧器、剪刀或施夹器。其它末端执行器可以进一步电激活的末端执行器，如电外科电极、传导器、传感器等等。在各种实施例中，医疗器械226是活检器械，其可用于从目标解剖位置移除样品组织或细胞的取样。医疗器械226也可以与柔性主体216内的图像捕获探针一起使用。在各种实施例中，医疗工具226可以是图像捕获探针，其包括在柔性主体216的远端218处或远端218附近带有立体或单视场相机的远端部，以用于捕获通过可视化系统231处理以用于显示和/或提供给跟踪系统230以支持远端218和/或一个或更多个部分224的跟踪的图像(包括视频图像)。图像捕获探针可以包括被联接到相机的电缆，以用于传输捕获到的图像数据。在一些示例中，图像捕获器械可以是联接到可视化系统231的光纤束，例如纤维镜。图像捕获器械可以是单光谱或多光谱的，例如在可见光谱、红外光谱或紫外光谱的一个或更多个中捕获图像数据。替代地，医疗器械226本身可以是图像捕获探针。医疗器械226可以从通道221的开口推进以执行该过程，然后当过程完成时缩回到通道中。医疗器械226可以从柔性主体216的近端217或从另一个可选的器械端口(未示出)沿着柔性主体216移除。

医疗器械226可以另外容纳在器械的近端和远端之间延伸的电缆、联动装置或其它致动控制件(未示出)，以可控制地使医疗器械226的远端弯曲。在通过引用以其全文并入本文的美国专利no.7,316,681(提交于2005年10月4日)(公开了“articulatedsurgicalinstrumentforperformingminimallyinvasivesurgerywithenhanceddexterityandsensitivity(具有增强的灵巧度和灵敏度的用于执行微创手术的铰接的手术器械)”)和美国专利申请no.12/286,644(提交于2008年9月30日)(公开了“passivepreloadandcapstandriveforsurgicalinstruments(用于外科器械的无源预载和绞盘驱动)”)中详细描述了可操控的器械。

柔性主体216也可以容纳在驱动单元204和远端218之间延伸的电缆、联动装置或其它操控控制件(未示出)，以可控地使远端218如所示弯曲，例如由远端的断裂的虚线描绘219所示。在一些示例中，使用至少四根电缆来提供独立的“上下”操控以控制远端218的俯仰和“左右”操控以控制远端281的偏转。在通过引用以其全文并入本文的美国专利申请no.13/274,208(提交于2011年10月14日)(公开了“catheterwithremovablevisionprobe(具有可移除的视觉探头的导管)”)中详细描述了可操控的导管。在其中医疗器械系统200由远程可操作组件致动的实施例中，驱动单元204可以包括被可移除地耦接到远程可操作组件的驱动元件(如致动器)并从其接收功率的驱动输入装置。在一些实施例中，医疗器械系统200可包括抓握特征、手动致动器或用于手动控制医疗器械系统200的运动的其他部件。细长装置202可以是可操控的，或者替代地，系统可以是不可操控的，其不具有用于操作者控制远端218的弯曲的集成机构。在一些示例中，在柔性主体216的壁中限定了一个或更多个管腔，医疗器械能够通过所述管腔在目标手术位置处被部署和使用。

在一些实施例中，医疗器械系统200可包括用于在肺的检查、诊断、活检或治疗中使用的柔性支气管器械(例如支气管镜或支气管导管)。医疗器械系统200也适用于在多种解剖系统中的任一种中经由自然连接通道或手术创建的连接通道对其他组织的导航和治疗，所述解剖系统包括结肠、肠、肾和肾盏、脑、心脏、包括血管的循环系统等。

来自跟踪系统230的信息可以被发送到导航系统232，在导航系统232中，该信息与来自可视化系统231和/或术前获得的模型的信息相组合以向医师、临床医师或外科医生或其他操作者提供实时位置信息。在一些示例中，实时位置信息可以被显示在图1的用于医疗器械系统200控制的显示系统110上。在一些示例中，图1的控制系统116可以利用位置信息作为定位医疗器械系统200的反馈。在通过引用以其全文并入本文的美国专利申请no.13/107,562(提交于2011年5月13日，公开了“medicalsystemprovidingdynamicregistrationofamodelofananatomicalstructureforimage-guidedsurgery(提供用于图像引导的外科手术的解剖结构的模型的动态配准的医学系统)”)中提供了使用光纤传感器来配准并显示带有外科图像的外科器械的各种系统。

在一些示例中，医疗器械系统200可以在图1的医疗系统100内被远程操作。在一些实施例中，图1的远程可操作操纵器组件102可能被直接的操作者控制所取代。在一些示例中，直接的操作者控制可以包括用于器械的手持操作的各种柄部和操作者界面。

图3a和图3b是根据一些实施例的包括安装在插入组件上的医疗器械的患者坐标空间的侧视图的简化图。如图3a和图3b所示，手术环境300包括定位在平台302上的患者p。患者p可能在手术环境内是静止的，因为总体患者运动受到镇静、约束和/或其他手段的限制。除非患者被要求屏住呼吸暂时停止呼吸运动，否则包括患者p的呼吸和心脏运动的循环解剖运动可以继续。相应地，在一些实施例中，可以在呼吸的特定阶段收集数据，并且利用该阶段标记和识别数据。在一些实施例中，在其期间收集数据的阶段可以根据从患者p收集的生理信息推断。在手术环境300内，点收集器械304联接到器械托架306。在一些实施例中，点收集器械304可以使用em传感器、形状传感器和/或其它传感器模态。器械托架306被安装到固定在手术环境300内的插入台308。替代地，插入台308可以是可移动的，但是在手术环境300内具有已知的位置(例如，通过跟踪传感器或其他跟踪装置)。器械托架306可以是远程可操作操纵器组件(例如，远程可操作操纵器组件102)的部件，其联接到点收集器械304以控制插入运动(即沿着a轴线的运动)以及可选地，细长装置310的远端318在包括偏转、俯仰和滚动的多个方向上的运动。器械托架306或插入台308可以包括致动器，诸如伺服马达(未示出)，其控制器械托架306沿插入台308的运动。

细长装置310联接到器械主体312。器械主体312联接到器械托架306并相对于器械托架306固定。在一些实施例中，光纤形状传感器314被固定在器械主体312上的近端点316处。在一些实施例中，光纤形状传感器314的近端点316可以与器械主体312一起移动，但近端点316的位置可以是已知的(例如，通过跟踪传感器或其他跟踪装置)。形状传感器314测量从近端点316到例如细长装置310的远端318的另一个点的形状。点收集器械304可以基本上类似于医疗器械系统200。

当器械主体312在插入台308上沿着插入轴线a移动时，位置测量装置320提供关于器械主体312的位置的信息。位置测量装置320可以包括分解器、编码器、电位计和/或其他传感器，其确定致动器的旋转和/或定向，其控制器械托架306的运动并且因此控制器械主体312的运动。在一些实施例中，插入台308是线性的。在一些实施例中，插入台308可以是弯曲的或者具有弯曲部分和线性部分的组合。

图3a示出了沿着插入台308处于缩回位置的器械主体312和器械托架306。在该缩回位置中，近侧点316位于轴线a上的位置l0处。在该位置中，沿着插入台308，近侧点316的位置的a分量可以设定为零和/或另一个参考值以提供基本参考来描述器械托架306的位置，从而描述插入台308上的近端点316的位置。利用器械主体312和器械托架306的这个缩回位置，细长装置310的远端318可以刚好位于患者p的入口孔口内。同样在该位置，位置测量装置320可以被设置为零和/或另一个参考值(例如，i＝0)。在图3b中，器械主体312和器械托架306已经沿着插入台308的线性轨道推进，并且细长装置310的远端318已经推进到患者p中。在该推进位置中，近端点316位于轴线a上的位置l1处。在一些示例中，编码器和/或来自控制器械托架306沿着插入台308的移动的一个或更多个致动器和/或与器械托架306和/或插入台308相关联的一个或更多个位置传感器的其它位置数据被用来确定近端点316相对于位置l0的位置lx。在一些示例中，位置lx可以进一步用做细长装置310的远端318插入到患者p的解剖结构的通道中的距离或插入深度的指示。

图4是根据一些实施例的在显示系统110上可显示的图形用户界面400的简化图。在与图1-图3一致的一些实施例中，图形用户界面400可以用于在诸如远程可操作操纵器组件100和/或医疗器械系统200的医疗器械系统的操作和/或控制期间辅助诸如医师、临床医生或外科医生o的操作者。图形用户界面400在一个或更多个窗口410-460中显示操作者可以看到的信息。尽管在图4中描绘了单个屏幕上的六个同时可视窗口，但可以理解的是，图形用户界面400可以显示在任何合适数量的屏幕上显示的任何合适数量的窗口。在一些示例中，可以通过打开和关闭窗口、最小化和最大化窗口、在图形用户界面400的前景和背景之间移动窗口、在屏幕之间切换和/或以其他方式完全或部分从视图遮蔽窗口，改变同时可视的窗口的数量。类似地，窗口410-460的布置(包括它们的尺寸、形状、定向、排序(在重叠窗口的情况下)等)可以改变和/或可以是用户可配置的。

根据一些实施例，窗口410-460可以显示图像数据、传感器数据、指示符、控制模式和/或其任何组合。在一些示例中，图像数据可以包括术前或术中图像数据。图像数据可以呈现为二维、三维或四维(包括例如，基于时间或基于速度的信息)实时图像和/或作为从术前或术中图像数据组创建的计算的模型的图像。在一些示例中，计算的模型的图像可以从传感器数据导出，并且可以包括引入到解剖结构内的器械的模型。在一些示例中，可以从经验数据(除了图像数据之外或代替图像数据)创建计算的模型，和/或计算的模型可以基于器械和/或人体解剖结构的预定几何形状。在一些示例中，指示符可以包括图形和/或字母数字指示符。在一些示例中，控件可以包括按钮、文本输入、导航面板、任务栏、图标、警报等。根据一些实施例，图形用户界面400可以包括显示与医疗器械系统相关联的可用控制模式、当前控制模式和/或设置列表的设置窗口450。

如图4中所示，图形用户界面400的一个示例包括目标引导窗口410和虚拟全局视图窗口420和430。根据一些实施例，在窗口410-430中显示的数据可以包括由虚拟可视化系统(诸如控制系统112的虚拟可视化系统)生成的虚拟图像。

目标引导视图窗口410从对应于细长装置的远端的视角显示目标位置。根据一些实施例，目标引导视图窗口410可以显示引导信息，该引导信息被设计成帮助操作者从近距离范围将细长装置操控到目标位置。

虚拟全局视图窗口420和430从提供患者p的全局视图的视角显示虚拟图像数据。以这种方式，虚拟全局视图窗口430模拟观察者(例如外科医生o)的视野。在一些示例中，虚拟图像数据可以显示细长装置在患者解剖结构中的实时位置。在一些示例中，可以手动和/或自动地选择虚拟全局视图窗口470和480的相应视角。根据一些实施例，虚拟全局视图窗口470和480的各自视角可以相对于彼此旋转。在一些示例中，视角具有固定偏移(例如，保持正交性的90度偏移)，使得旋转其中一个视图使另一个自动旋转对应的量。在一些示例中，可以自动选择一个或更多个视角以增强细长装置中的一个或更多个弯曲的可视性。在一些示例中，可以自动选择视角之一以匹配用于观察过程的荧光成像设备的视图。虚拟全局视图窗口420和430的一个实施例将在下面参照图5进行更详细的讨论。

相机视图窗口440显示由可视化系统(例如医疗器械104的可视化系统)捕获的视频图像数据。例如，视频图像数据可以包括在医疗器械的远端处或其附近的内窥镜和/或立体或单视场相机捕获的视频。一个或更多个指示符和/或控件可以叠加在图像数据上和/或显示在图像数据旁边，以帮助操作者控制医疗器械。

当同时显示窗口410-440时，显示在窗口410-440中的图像有利地允许操作者同时监控和/或可视化医疗器械的远端附近(经由目标引导窗口410和/或相机视图窗口440)以及与患者解剖结构相关的医疗器械的三维姿态(经由虚拟全局视图窗口420和430)。

根据一些实施例，窗口410-440中显示的图像中的一个或更多个图像可以被增强以向操作者显示补充引导信息。另外地和/或替代地，图形用户界面400可以使用致动信息窗口460向操作者显示补充引导信息。在一些示例中，可以使用补充引导信息来警报操作者在医疗器械的操作期间出现的问题和/或潜在问题。补充引导信息可以额外地向操作者提供帮助以校正、避免和/或减轻检测到的问题。

根据一些实施例，补充引导信息可以与来自跟踪系统(诸如跟踪系统230)的数据相关联。来自跟踪系统的数据可以指示细长装置和/或其部分的位置、定向、转速、速度、姿态和/或形状。来自跟踪系统的数据可以进一步指示细长装置和/或其部分的化学、生物、机械和/或热状况。例如，如以上关于图2a所讨论的，跟踪系统可以包括用于确定细长装置(诸如细长装置202)的形状的形状传感器(诸如形状传感器222和/或光纤弯曲传感器)。来自形状传感器的数据可用于进一步计算沿着细长装置的长度的具体状况(例如，弯曲半径、屈曲应变、激活力、温度和/或扭曲)。替代地或附加地，跟踪系统可以包括一个或更多个专用传感器，例如温度传感器、力传感器、应变仪、电磁传感器和/或压力传感器，以测量沿着细长装置的长度的状况。当状况达到预定阈值时，这样的状况可以向操作者提供连续的补充引导信息或警报。

在一个示例中，补充引导信息可以警报操作者由跟踪系统检测到的细长装置的过度弯曲。是否存在过度的弯曲状况可取决于患者(例如患者p)的解剖结构、细长装置的材料和/或设计、插入到细长装置中的医疗工具的材料和/或设计等。例如，过度弯曲可能是有问题的，因为其防止插入到细长装置中的医疗工具到达细长装置的远端和/或可能导致在细长装置中形成扭折(kink)。在一些示例中，插入到细长装置中的医疗工具和/或医疗工具的分立部分可以比细长装置的柔性主体更硬。因此，当细长装置处于细长装置的一个或更多个部分过度弯曲的配置时，医疗装置可能难以和/或不可能被传送通过(一个或更多个)过度弯曲部分。为了促进这样的示例，在将医疗工具插入患者之前，补充引导信息可以帮助操作者检测和校正过度弯曲状况。当细长装置的一个或更多个部分过度弯曲时，这防止操作者反复插入医疗工具以及从细长装置移除医疗工具以通过“猜测和检查”方法手动发现。根据一些实施例，补充引导信息可以警报操作者在医疗器械系统的操作期间出现的各种其他问题，诸如屈曲、过度应力、过度扭曲、过度的力、超出范围的温度、解剖通道堵塞、跟踪系统检测到的异常(例如，细长装置的化学、生物、机械和/或热环境中的异常)等。

图5是根据一些实施例的用于显示用补充引导信息增强的虚拟图像数据的窗口500的简化图。根据与图1-图4一致的一些实施例，窗口500可以对应于虚拟全局视图窗口420和430中的一个或更多个。在该示例中，窗口500中的图像数据描绘细长装置510、解剖特征520和目标530。根据一些实施例，解剖特征520可以包括感兴趣的解剖特征，例如解剖通道、血管、器官等。

目标530识别操作者意图引导细长装置510的患者解剖结构的点或区域。如图5中描绘，目标530被描绘为球体。根据一些实施例，目标530可以被省略。例如，解剖特征520可以向操作者提供足够的引导，从而即使没有目标530也能够将细长装置510操控至特定的位置。

在一些实施例中，描绘细长装置510、解剖特征520和目标530的图像数据可以向操作者提供足够的引导信息，以将细长装置510操控到患者(例如患者p)内的特定位置。但是，在许多情况下，操作者可能难以检测和校正在插入期间细长装置510遇到的问题。例如，在一些图像中，操作者可能难以精确地确定细长装置510(和/或其一部分)的弯曲半径。在一些图像中，操作者可能难以区分细长装置510的可操控部分与不可操控部分。结果，这些图像可能不足以以确保细长装置510的弯曲半径不超过一个或更多个预定阈值的方式来控制细长装置510。类似地，即使操作者确定细长装置510过度弯曲，传统图像也可能不提供足够的引导信息给操作者，以能够在不求助于诸如“猜测和检验(guess-and-check)”的低效方法的情况下校正问题，以确定将细长装置510操控到哪个方向，以校正该问题。

为了解决这些缺陷，在窗口500中显示的图像数据被增强以向操作者显示补充引导信息。可以使用跟踪系统来确定补充引导信息，所述跟踪系统诸如如前所述的沿着细长装置510的长度设置的光纤弯曲传感器。在一个实施例中，只有当预定阈值被通过时才传送补充引导信息。在替代实施例中，补充引导信息可以通过颜色方案542、警报图标544、触觉/音频警报546、结构指示符548、数值等等连续地传送给操作者。

在一个示例中，颜色方案542指示细长装置510在沿着细长装置510的不同位置处的弯曲半径。可以使用颜色方案542来通过根据位置改变细长装置510的颜色、纹理、图案、透明度、阴影和/或另一视觉特性来显示所测量的弯曲半径。使用颜色方案542，可以将不同的颜色和/或阴影分配给弯曲半径值的范围(例如，绿色可以被分配到被认为是直的范围，并且红色可以被分配到被认为弯曲的范围，而黄色可以被分配到中间范围)。如图5中描绘，采用了颜色方案，其中细长装置510的较暗部分对应于较小弯曲半径。这样的颜色方案可以提醒操作者细长装置510的被过度弯曲的可能部分。例如，当弯曲超过阈值时，细长装置510的区域可以变成红色。根据一些实施例，阈值可以对应于医疗工具(例如针)不能再自由地穿过细长装置510的弯曲半径。在一些示例中，阈值可以对应于细长装置510的最小弯曲半径，诸如细长装置510变得易于形成扭折的半径。在一些实施例中，可以存在多个阈值，其中每个阈值在颜色方案542中触发不同的改变，诸如向红色的较暗色调的转变，以指示已经超过更极端的阈值。尽管颜色之间的转变被描绘为是突然的，但是应当理解，在一些示例中，颜色方案542可以在颜色之间逐渐转变，从而计算颜色方案542的属性，诸如色调、亮度等等作为弯曲半径的连续函数。在一些示例中，颜色方案542可以沿着细长装置510的整个长度施加。在一些示例中，颜色方案542可限于细长装置510的远侧部分，因为细长装置510的近侧部分可能不像远侧部分变得过度弯曲那样敏感。

根据一些实施例，当弯曲半径超过一个或更多个阈值时，警报图标544可以出现在窗口500中。如图5中描述，警报图标544位于问题区域的附近，以将操作员的注意力引导至识别出过度弯曲的区域。然而，在一些实施例中，警报图标544可以出现在窗口500中的任何位置处，例如沿着细长装置510的长度测量紧密(tight)弯曲半径的位置附近。在一些实施例(未示出)中，警报图标544可以显示量化弯曲半径的字母数字值，和/或可以使用计量器、仪表等在视觉上表示弯曲半径的量值。在一些实施例中，警报图标544的大小、颜色和/或其他属性可以与弯曲半径的大小成比例。在一些示例中，警报图标544可以包括箭头和/或其他方向指示符，以帮助操作者减小细长装置510的弯曲半径。

根据一些实施例，当弯曲半径超过一个或更多个阈值时，可以使用触觉/音频警报546和关联的图形图标来警告操作员。例如，触觉警报可以通过振动由操作者使用的控制装置来传送，以控制细长装置510，诸如操纵杆、追踪球等。音频警报可以包括警报信号和/或说明所遇到的问题的类型的语音朗读。当弯曲半径超过一个或更多个阈值时，即使操作员正在别处寻找，触觉/音频警报546也可帮助将操作员的注意力吸引到窗口500。

根据一些实施例，补充引导信息可以包括结构指示符548。通常，结构指示符可以指示细长装置510的结构部件，例如细长装置510的远端和/或细长装置510的不同部分，作为操作者的视觉帮助。如图5所描述，结构指示符548包括可操控的范围指示符，其在视觉上挡住(bookend)细长装置510的可操控的一部分(如果有的话)。为了促进这样的实施例，结构指示符548可以包括指示沿着细长装置510的位置的线和/或标记，在细长装置510的可操控部分和非可操控部分之间的转变发生在该处。在一些示例中，结构指示符548可以包括箭头、十字准线和/或任何其他合适的指示符或指示符组。在一些实施例中，可以使用可操控范围内的颜色方案542并使用可操控范围外的正常颜色方案(例如灰色)来描绘细长装置510。在一些示例中，指定的颜色可以用于结构指示符548，例如蓝色。

根据一些实施例，可以对窗口500进行各种修改以改善显示补充引导信息的清晰度和/或显著性。根据一些实施例，窗口500的视角可以被选择以突出具有最紧密弯曲半径的细长装置510的部分。例如，视角可以被动态地选择为与最紧密弯曲半径的平面正交。在一些示例中，解剖特征520和/或目标530可以不被显示在窗口500中，以免从包括在窗口500中的补充引导信息中引起注意。

图6是根据一些实施例的用于显示包括补充引导信息的致动信息的窗口600的简化图。根据与图1-图4一致的一些实施例，窗口600可对应于致动信息窗口460。与在窗口500中显示的增强的图像类似，窗口600用于显示与使用跟踪系统(例如沿着细长装置的长度布置的光纤弯曲传感器)测量的弯曲半径相关联的补充引导信息。根据一些实施例，窗口600可以显示包括致动信息图标610的一个或更多个图形指示符。

通常，致动信息图标610提供辅助操作者校正在控制细长装置时遇到的问题(例如细长装置的过度弯曲)的引导信息。在一些示例中，致动信息图标610可以包括显示细长装置的最小弯曲半径(即，沿着细长装置的长度的最小弯曲半径)的字母数字指示符612，以警告操作员过度弯曲的状况。在一些示例中，字母数字指示符612可以显示一数值，该数值随着最紧密弯曲半径改变而不断更新，但当最紧密弯曲半径等于预先确定的值时切换到α值(例如，yes或pass)，以安全地允许医疗工具通过。在一些示例中，该值可以是显示在细长装置的长度下的足够大的弯曲半径的通过或失败(pass或fail)、是或否(yes或no)和/或另一个二进制指示符的α值，以允许医疗工具通过。

在一些示例中，致动信息图标610可以包括方向指示符614，诸如箭头，其指示操作者应该将细长装置操控哪个方向以减轻过度弯曲状况。在一些示例中，致动信息图标610、字母数字指示符612和/或方向指示符614的颜色、大小、纹理和/或其他属性可以是动态的，以便将补充引导信息传送给操作员。例如，不同的颜色可以对应于不同范围的弯曲半径(例如，红色对应于1-10的弯曲半径，绿色对应于超过50的弯曲半径，并且黄色(和/或从红色到橙色到黄色到绿色的逐渐变化阴影的颜色)对应于11-49的弯曲半径)。在一些示例中，用于确定致动信息图标610的颜色的颜色方案可以匹配窗口500的颜色方案542。可以将颜色方案应用于致动信息图标610或其部分，诸如方向指示符614和/或数字指示符612。在一些示例中，当未检测到过度的弯曲时，致动信息图标610、字母数字指示符612和/或方向指示符614中的一个或更多个可以消失。

在图6中描绘的说明性示例中，细长装置的最小弯曲半径为11mm，如字母数字指示符612所描绘。数字越小，弯曲半径越紧密。为了增加最小弯曲半径，操作者被指示向下并向左导航控制装置，诸如操纵杆、追踪球等，如方向指示符614的箭头所描绘。例如，在一个或更多个实施例中，致动信息图标610可描绘由操作员使用以控制细长装置的可操控部分的弯曲的追踪球的俯视图。在进一步的这种实施例中，方向指示符614可以指示追踪球应该被滚动的方向，以拉直细长装置的可操控部分。

尽管已经关于弯曲半径的显示大体描述了图4-图6中的示例，但是应当理解的是，前述任何示例中的显示器可以类似地表示状况，例如但不限于屈曲应变、激活力、温度和/或扭曲。与弯曲一样，屈曲、应变、激活力、温度和/或扭曲可以沿着细长装置的长度或在任何之前描述的显示窗口中的任何位置处显示为可变的颜色、纹理、图案、透明度、阴影、字母数字指示符，触觉/听觉/视觉警报和/或视觉特性。

图7是根据一些实施例的在图像引导的手术过程期间显示补充引导信息的方法700的简化图。在一些示例中，方法700可以用于在诸如图形用户界面400的图形用户界面上和/或在图形用户界面的诸如窗口500和/或600的窗口中显示补充引导信息。方法700在图7中被说明为一组操作或过程710-740。并非所有说明的过程710-740都可以在方法700的所有实施例中执行。另外，图7中没有明确说明的一个或更多个过程可以在过程710-740之前、之后、之间或作为过程710-740的一部分被包括。在一些实施例中，方法700的过程710-740中的一个或更多个过程可以至少部分地以存储在非临时性、有形的计算机可读介质上的可执行代码的形式来实现，该可执行代码当由一个或更多个处理器(例如，控制系统112的处理器)时，可以使一个或更多个处理器执行处理710-740中的一个或更多个。

在过程710处，跟踪数据从与细长装置(例如细长装置202)相关联的跟踪系统接收。根据一些实施例，跟踪数据可以包括与细长装置的柔性主体的位置、定向、转速、速度、环境(例如，化学、热和/或生物环境)、温度、力、姿态和/或形状相关联的信息。在一些示例中，跟踪数据可以包括沿着柔性主体的长度从多个点和/或部段收集的数据。在一些示例中，跟踪系统可以包括形状传感器，诸如沿着柔性主体的长度布置的光纤弯曲传感器。与这样的实施例一致，跟踪数据可以包括在沿着柔性主体的各个位置处的柔性主体的弯曲半径和/或用于确定弯曲半径所根据的足够的信息。在另外的实施例中，跟踪数据可以用于计算柔性主体的替代状况，诸如屈曲、应变、激活力、温度或扭转。

在过程720处，基于所接收的跟踪数据来确定补充引导信息。在一些示例中，可以通过将探测数据与一个或更多个预定阈值进行比较来确定补充引导信息。例如，当探测数据包括在沿着柔性主体的各个位置处的柔性主体的弯曲半径时，可以通过将弯曲半径与柔性主体的最小可允许弯曲半径进行比较来确定补充引导。在一些示例中，可以选择最小可允许弯曲半径以确保一个或更多个医疗装置不受阻碍地通过柔性主体。在一些示例中，可以选择最小可允许弯曲半径以防止扭折或对柔性主体的其他损坏。

在一些示例中，最小弯曲半径可以是10mm或更小。在一些示例中，一个或更多个阈值可以是可配置的(例如由操作者设置)和/或可以基于外科手术过程的类型、细长装置的模型、患者的身体特征、被插入到柔性主体中的医疗装置类型等而变化。根据一些实施例，补充引导信息可以附加地和/或替代地包括校正引导信息。例如，当柔性主体的弯曲半径小于特定阈值时，确定校正引导信息可以包括确定操控柔性主体以减轻过度弯曲状况的方向。

在过程730处，增强一个或更多个图像以包括补充引导信息。根据一些实施例，一个或更多个图像可对应于由虚拟可视化系统(诸如控制系统112的虚拟可视化系统)生成的虚拟全局图像。与这样的实施例一致，可以将补充引导信息输入到虚拟可视化系统中以生成使用补充引导信息增强的虚拟图像。替代地或附加地，可以从虚拟可视化系统接收虚拟图像，并且可以将补充引导信息覆盖在所接收的虚拟图像上。在一些实施例中，一个或更多个图像可以对应于由诸如医疗器械104的可视化系统的可视化系统捕获的视频图像数据。与这样的实施例一致，补充引导信息可以被覆盖在视频图像数据上。如之前关于图5所讨论的，可以通过包括色彩方案、警报图标、触觉/音频指示符、结构指示符等来增强图像。在一些示例中，增强一个或更多个图像可以包括将颜色方案应用于柔性主体，使得具有较小弯曲半径的柔性主体的部分与具有较大弯曲半径的柔性主体的部分被不同地着色或加阴影。类似地，增强一个或更多个图像可以包括将结构指示符应用于柔性主体以划分(demarcate)柔性主体的可操控的一个或更多个部分。在一些示例中，补充引导信息可以被显示为致动信息，诸如指示操控细长装置的柔性主体以便减少弯曲的方向的箭头。

在过程740处，将一个或更多个增强图像显示在图形用户界面上。在一些示例中，一个或更多个增强图像可以显示在窗口中，同时显示在补充引导窗口(诸如补充引导窗口600)中。在一些示例中，一个或更多个增强图像可以与音频和/或触觉警报同时地显示，以指示阈值是否被超过，诸如当检测到柔性主体的过度弯曲时。在一些示例中，一个或更多个增强图像可以与致动信息图标同时地显示。例如，致动信息图标可以包括方向指示符，以显示操控柔性主体的方向以增加弯曲半径。

图8是根据一些实施例的显示用于图像引导的手术过程的补充引导信息的图形用户界面的屏幕截图800。与图形用户界面400类似，屏幕截图800描绘了六个同时可见的画面或窗口810-860。上面的三个画面810-830描绘对应于目标引导视图的虚拟图像和插入到解剖通道中的细长装置的两个虚拟全局视图。定向指示符870显示在每个虚拟图像的右下角，以指示每个图像相对于患者的视角。虚拟全局视图820和830示出了当细长装置移动通过肺的分支时，患者的肺的3d解剖模型822和细长装置的模型824的图形表示。在一些示例中，可以从术前ct扫描生成3d解剖模型822，然后将3d解剖模型822配准到患者的解剖结构。模型824也配准到患者的解剖结构，并且基于先前描述的跟踪数据实时更新模型824内的细长装置的表示。另外，在画面810-830中显示用户预先选择的目标880。

像在窗口500中显示的图像一样，虚拟全局图像820和830被增强以显示补充引导信息。更具体地，细长装置的模型824根据指示细长装置在沿其长度的每个点处的弯曲半径的颜色方案来着色。模型824的红色部分指示该部分中的弯曲半径处于临界范围内(例如，低于预定阈值)，其中存在阻止器械通过细长装置和/或拉长细长装置的风险，而将绿色分配给被认为在临界范围之外的细长装置的部分，并且在细长装置上的应变和器械的通过方面没有问题。在这个特定的示例中，红色对应于1-10的弯曲半径，绿色对应于超过50的弯曲半径，并且颜色从红色到橙色到黄色到绿色的渐变阴影对应于11-49的弯曲半径。另外，模型824上的蓝线划定了可操控的细长装置的部分。蓝线之间的细长装置的部分是可操控的；其他部分是不可操控的。

在屏幕截图800中描绘的下面三个画面或窗口包括内窥镜相机窗口840、控制模式窗口850和致动信息窗口860。类似于致动信息窗口600，致动信息窗口860包括描绘出由操作员使用的追踪球的顶视图的致动信息图标865。致动信息图标865以字母数字方式指示细长装置的最小弯曲半径，并以图形方式指示操控细长装置的方向(即，操作者应该滚动追踪球的方向)以增加最小弯曲半径并减轻过度弯曲。致动信息图标865的颜色是动态的并且与模型824的颜色方案相匹配：红色对应于1-10的最小弯曲半径，绿色对应于超过50的最小弯曲半径，并且颜色从红色到橙色到黄色到绿色的渐变阴影对应于11-49的最小弯曲半径。

基于模型824的颜色方案、致动信息图标865的颜色方案和/或致动信息图标865的字母数字弯曲半径指示符，操作者可以观察细长装置的过度弯曲状况。而且，操作者可以观察细长装置的预期形状是直的位置处(例如在解剖通道的直线分支内或附近的位置处)的细长装置的弯曲的突然变化。基于这些观察，操作者可以使用追踪球手动和/或自动地重新定位细长装置，特别是当操作者相信所显示的信息指示次要的和/或可修复的(fixable)问题时。替代地或附加地，操作者可以部分地收回细长装置，并且尝试与目标不同的接近，和/或从患者完全收回细长装置，特别是当操作者相信显示的信息指示严重和/或危险的故障时。在一些示例中，该过程可以允许操作者在将医疗工具插入细长装置之前从患者移除细长装置，从而防止通过将医疗工具插入存在未检测到的故障的区域中而加重故障。在一个或更多个实施例中，用于弯曲半径的一个或更多个阈值可用于帮助操作者确定过度弯曲状况的严重程度和要采取的适当的缓解措施。

图9是根据一些实施例的弯曲指示符900的简化图。根据符合图1-图8的一些实施例，弯曲指示符900可以显示在致动信息窗口460中。在一些示例中，弯曲指示符900可以与致动信息图标(例如致动信息图标610)一起显示，和/或作为致动信息图标的替代。然而，应当理解的是，弯曲指示符900可以在除了图形用户界面400之外的环境中显示，包括作为独立视图和/或结合与在图形用户界面400中描绘的视图不同的视图。在一些示例中，当在导管中检测到紧密弯曲半径时(例如，当弯曲半径低于预定阈值时)，弯曲指示符900可以出现，否则可能会被隐藏。替代地，当不存在紧密的弯曲时，弯曲指示符900的选定部分可以被隐藏，例如，数值弯曲半径910。

弯曲指示符900提供导管的示意性弯曲表示910。当导管的远侧尖端弯曲时，出现指示导管远端弯曲的方向的弯曲线925。例如，如图9中所示，弯曲线925出现在环915的右上方，表明导管向右弯曲。因此，为了拉直导管，可以将导管操控到左下方以减少弯曲。在一些示例中，当导管远端是直的时，弯曲线925可以被隐藏。

在一些示例中，示意性弯曲表示910可以包括从通过导管的远侧尖端向后观察导管的(从远侧尖端朝向导管的近侧部分)视角呈现导管的远端。与这样的示例一致，环915可以被解释为对应于导管的远侧尖端。当导管弯曲时，导管的部分在远侧尖端(即环915)后面变得可见。因此，由于导管的弯曲，弯曲线925可以对应于在远侧尖端(即，环915)后面的可见的导管的远端的部分。

在替代示例中，示意性弯曲表示910可以包括从沿着导管从近侧位置朝向远侧尖端向下观察的视角呈现导管远侧末端。与这样的示例一致，环915可以被解释为对应于导管在近侧位置处的横截面切口。当导管弯曲时，远端的部分在横截面切口(即环915)后面变得可见。因此，由于导管的弯曲，弯曲线925可以对应于在横截面切口(即环915)后面可见的导管部分。

在一些示例中，弯曲指示符900可以显示沿导管检测到的最低弯曲半径或最小弯曲半径的视觉和/或字母数字表示。当最小弯曲半径下降到阈值以下时，弯曲指示符900可以通过显示字母数字值和/或以其他方式改变外观来提醒临床医生已经违反了预定阈值。在一些实施例中，阈值可以基于工具是否可以穿过导管来确定。在一些实施例中，阈值可以基于可能发生屈曲和/或导管损伤的半径来确定。阈值可以手动选择、自动确定、基于导管和/或工具的类型确定、和/或使用一般经验法则设定。如图9中所描绘，当检测到的最小弯曲半径低于阈值时，弯曲指示符900包括指示最小弯曲半径的实时值的数字920，并且弯曲指示符900的部分变成不同的颜色，诸如如图9所示的红色。

在一些实施例中，红色着色部分的位置可以反映由马达之一施加到导管的该部分中的导管拉线的力的大小。例如，在图9中，左上方的拉线被拉得更硬，如由示意性弯曲表示910中出现的红色着色楔形所示。在一些示例中，弯曲指示符900可以包括基于最小弯曲半径是否接近或超过阈值来动态改变颜色的外环930。在一些示例中，动态变化可以通过弯曲指示符900的部分在透明度、纹理、线宽度和/或颜色等方面的外观变化来表示。

诸如控制单元130的控制单元的一些示例可以包括非瞬时的、有形的机器可读介质，其包括可执行代码，该可执行代码当由一个或更多个处理器(例如，处理器140)运行时可以使得一个或更多个处理器提供图形用户界面400或执行方法700的过程。可以提供图形用户界面400或包括方法700的过程的一些常见形式的机器可读介质例如是软盘、软磁盘、硬盘、磁带、任何其他磁介质、cd-rom、任何其他光学介质、穿孔卡、纸带、具有孔图案的任何其他物理介质、ram、prom、eprom、flash-eprom、任何其他存储芯片或盒、和/或处理器或计算机适于读取的任何其他介质。

其他示例

a.包含多个机器可读指令的非暂时性机器可读介质，所述机器可读指令在被与医疗装置相关联的一个或更多个处理器执行时适于使所述一个或更多个处理器执行一种方法，该方法包括：

接收与细长装置相关联的跟踪数据；

基于跟踪数据计算沿细长装置的长度的至少一个状况；

基于所述至少一个状况确定补充引导信息；

使用所述补充引导信息增强包括所述细长装置的图形表示的一个或更多个图像以产生一个或更多个增强图像；和

在外科医师控制台处在显示设备上显示所述一个或更多个增强图像。

b.根据示例a的非暂时性机器可读介质，其中从包括形状传感器的跟踪系统接收跟踪数据。

c.根据示例b的非暂时性机器可读介质，其中所述形状传感器包括光纤弯曲传感器。

d.根据示例a-c任一项的非暂时性机器可读介质，其中所述至少一个状况还包括以下的至少一个：细长装置的柔性主体的弯曲半径、屈曲状况、应变、激活力、温度和扭曲。

e.根据示例d的非暂时性机器可读介质，其中确定所述补充引导信息包括确定所述弯曲半径是否小于最小可允许弯曲半径。

f.根据示例e的非暂时性机器可读介质，其中选择最小可允许弯曲半径以允许医疗装置通过细长装置。

g.根据示例e的非暂时性机器可读介质，其中选择最小可允许弯曲半径以防止细长装置的扭折或损坏。

h.根据示例d的非暂时性机器可读介质，其中增强所述一个或更多个图像包括将颜色方案应用于细长装置的图形表示，其中对应于较小弯曲半径的细长装置的图形表示的部分与对应于较大弯曲半径的细长装置的图形表示的部分被不同地加阴影。

i.根据示例a-h中任一项的非暂时性机器可读介质，其中所述一个或更多个图像包含结构指示符，所述结构指示符划分所述细长装置的可操控的一个或更多个部分。

j.根据示例d-i中任一项的非暂时性机器可读介质，其中所述补充引导信息包括校正引导信息。

k.根据示例j的非暂时性机器可读介质，其中所述校正引导信息包括操控所述细长装置以增加所述弯曲半径的方向。

l.根据示例k的非暂时性机器可读介质，其中所述方法还包括在所述显示装置上显示致动信息，所述致动信息包括方向指示符，以显示操控柔性主体以增加所述弯曲半径的方向。

m.根据示例a-l中任一项的非暂时性机器可读介质，其中，所述一个或更多个图像包括一个或更多个虚拟图像。

n.根据示例a-l中任一项的非暂时性机器可读介质，其中所述一个或更多个图像包括一个或更多个视频图像。

o.根据示例a的非暂时性机器可读介质，其中由所述一个或更多个处理器执行的所述方法还包括从跟踪数据识别细长装置的位置、定向、转速、速度、化学环境、热环境、生物环境、姿态和形状中的至少一个。

p.根据权利要求o的非暂时性机器可读介质，其中，所述位置、定向、转速、速度、化学环境、热环境、生物环境、姿态和形状中的至少一个在沿着细长装置的长度的多个位置处被测量。

尽管已经示出和描述了说明性实施例，但是在前述公开内容中考虑了各种各样的修改、改变和替换，并且在一些情况下，可以采用这些实施例的一些特征而不相应地使用其他特征。本领域的普通技术人员将认识到许多变化、替换和修改。因此，本发明的范围应该仅由随附权利要求来限定，并且认识到权利要求应当以与本文所公开的实施例的范围一致的方式被宽泛地解释。