2D路径探测可视化的制作方法

2d路径探测可视化
技术领域
1.本发明涉及医疗系统，并且具体地但并非排他性地涉及路径可视化。


背景技术：

2.在图像引导的外科手术(igs)中，执业医生使用身体内实时跟踪的器械，使得在外科规程中可将器械的位置和/或取向呈现在患者解剖结构的图像上。在许多igs情况下，以一种模式(例如，磁共振成像(mri)或计算机断层摄影(ct))准备患者的图像，并且器械跟踪使用的是不同的模式，例如电磁跟踪。为了使跟踪有效，两种模式的参照系必须相互配准。
3.bronstein等人的美国专利公布2011/0236868描述了一种执行图像引导的规程的计算机化模拟的方法。该方法可包括接收特定患者的医学图像数据。可以基于医学图像数据生成特定患者的解剖结构的基于患者特定数字图像的模型。可以使用基于数字图像的模型来执行图像引导的规程的计算机化模拟。可以同时显示医学图像数据、基于图像的模型和模拟医疗工具模型。
4.walker等人的美国专利公布2017/0151027描述了用于利用机器人辅助将柔性医疗器械驱动到解剖空间中的目标的系统和方法。柔性器械可以具有嵌入其中的跟踪传感器。可以提供相关联的机器人控制系统，其被配置成使用来自跟踪传感器的数据将柔性器械与解剖图像配准，并且识别适于将器械朝所识别的目标导航的一次或多次移动。在一些实施方案中，机器人控制系统驱动或辅助将柔性器械驱动到目标。
5.averbuch等人的美国专利公布2016/0174874描述了一种配准方法，由此使用基于传感器的方法进行初始配准，并且由此在开始导航内窥镜时，使用基于图像的配准方法以更准确地维持内窥镜位置与先前获取的图像之间的配准。将六自由度位置传感器置于探针上，以便减少必须与从内窥镜获得的实时图像进行比较的先前获取的图像数量。
6.bitter等人的美国专利公布2005/0228250描述了一种用户界面，该用户界面包括被分成多个视图的图像区域，用于查看解剖区域的对应的2维图像和3维图像。可以同时打开并访问工具控制面板。分割面板使得能够在用户指定的强度范围内或基于预定强度自动分割所显示图像的部件。
7.dachille等人的美国专利公布2007/0276214描述了一种用于医学图像的自动分割和可视化的成像系统，并且包括使用识别图像数据中的目标对象并且根据指定的协议处理图像数据的一组指令来自动处理图像数据的图像处理模块、用于基于指令中的一个或多个指令来自动生成目标对象的一个或多个图像的渲染模块、以及用于存储一个或多个生成的图像的数字档案。图像数据可以是dicom格式化图像数据，其中成像处理模块提取并处理图像数据的dicom域中的元数据以识别目标对象。图像处理模块引导分割模块以使用由指令中的一个或多个指令指定的处理参数来分割目标对象。
8.授予yanof等人的美国专利5,371,778描述了一种ct扫描仪，其非侵入性地检查受试者的体积区域并生成指示该体积区域的体积图像数据。对象存储器存储对应于体积区域的每个体素的数据值。仿射变换算法在体积区域的可见面上操作以将面从对象空间转换成
图像空间中的观察平面上的面的投影。操作员控制台包括操作员控件，用于选择体积区域相对于观察平面(即，视频显示器的平面)的投影图像的角取向。光标定位轨迹球输入图像空间中的i和j坐标位置，这些坐标位置被转换为在投影图像上的光标十字线显示。确定在垂直于观察平面的观察方向上的观察平面与体积区域之间的深度尺寸k。光标的(i,j,k)图像空间位置通过反转所选转换来操作，用于识别对象空间中对应的(x,y,z)光标坐标。在对象空间中的光标坐标被转换为对象存储器的对应地址，用于穿过体积区域的横切平面、冠状平面和矢状平面。
9.授予gliner等人的美国专利10,188,465描述了一种方法，该方法包括接收患者身体的至少一部分的计算机断层摄影扫描，以及识别扫描体素，该扫描体素对应于由插入其中的探针可穿过的体内区域。该方法还包括在屏幕上显示扫描，并且在其上为探针标记所选的起点和终点。处理器找到从起点到终点的路径，该路径由连续的一组已识别体素组成。处理器还使用扫描生成身体外表面的表示，并在屏幕上显示该表示。然后，处理器渲染围绕在显示的表示中局部透明的路径的外表面区域，以便在屏幕上使在路径附近的身体内部结构可见。
10.altmann等人的美国专利公布2018/0303550描述了一种用于可视化的方法，该方法包括在共同参照系内使患者身体的至少一部分的位置跟踪系统和三维(3d)计算机断层摄影(ct)图像配准。至少一个虚拟相机的位置和取向在共同参照系内指定。使用位置跟踪系统跟踪在身体中的通路内移动的医疗工具的坐标。从指定位置和取向渲染并显示身体中通路的基于3d ct图像的虚拟内窥镜图像，包括根据跟踪坐标定位在虚拟内窥镜图像中的医疗工具的动画表示。


技术实现要素：

11.根据本公开的实施方案，提供了一种医疗设备，其包括医疗器械，该医疗器械被配置成在患者的身体中的通路内移动；位置跟踪系统，该位置跟踪系统被配置成用于跟踪医疗器械在身体内的坐标；显示屏；处理器，该处理器被配置成将位置跟踪系统和身体的至少一部分的三维(3d)计算机断层摄影(ct)图像在共同参照系内配准，在共同参照系内找到医疗器械通过从给定起点到给定终点的通路的3d路径，响应于跟踪坐标而计算从医疗器械到3d路径的方向，以及基于3d ct图像在显示屏上渲染并同时显示相应的二维(2d)ct切片，包括投射到相应2d ct切片上的从医疗器械到3d路径的方向的相应2d指示。
12.还根据本公开的实施方案，从医疗器械到3d路径的方向的相应2d指示包括相应的箭头。
13.还根据本公开的实施方案，处理器被配置成基于3d ct图像，在显示屏上渲染并同时显示相应的二维(2d)ct切片，包括投射到相应2d ct切片上的从医疗器械到3d路径的方向的相应2d指示、以及响应于跟踪坐标的医疗器械的表示。
14.另外，根据本公开的实施方案，处理器被配置成响应于跟踪坐标而计算从医疗器械到3d路径的最近点的方向。
15.此外，根据本公开的实施方案，处理器被配置成响应于跟踪坐标而计算从医疗器械到3d路径的3d向量。
16.还根据本公开的实施方案，处理器被配置成基于3d ct图像，在显示屏上渲染并同
时显示相应的2d ct切片，包括投射到相应2d ct切片上的从医疗器械到3d路径的3d向量的相应2d指示。
17.还根据本公开的实施方案，处理器被配置成基于3d ct图像，在显示屏上渲染并同时显示三个相应的二维(2d)ct切片，包括投射到三个相应2d ct切片上的从医疗器械到3d路径的方向的三个相应2d指示。
18.另外，根据本公开的实施方案，三个相应的2d切片分别包括冠状面视图、矢状面视图和横切面视图。
19.此外，根据本公开的实施方案，处理器被配置成响应于跟踪坐标而计算从医疗器械到3d路径的距离，并且基于3d ct图像在显示屏上渲染并同时显示相应的二维(2d)ct切片，包括投射到相应2d ct切片上的从医疗器械到3d路径的方向和距离的相应2d指示。
20.还根据本公开的实施方案，处理器被配置成基于3d ct图像，在显示屏上渲染并同时显示相应的二维(2d)ct切片，包括投射到相应2d ct切片上的从医疗器械到3d路径的方向的相应2d指示、以及从至少一个相应虚拟相机的至少一个相应位置观察到的身体中通路的基于3d ct图像的虚拟内窥镜图像，包括根据跟踪坐标定位在虚拟内窥镜图像中的医疗器械的动画表示、以及从医疗器械到3d路径的方向的3d指示。
21.还根据本公开的实施方案，位置跟踪系统包括电磁跟踪系统，该电磁跟踪系统包括定位在身体部分周围的一个或多个磁场发生器和位于医疗器械的远端处的磁场传感器。
22.根据本公开的另一个实施方案，还提供了一种医疗方法，其包括使用位置跟踪系统跟踪医疗器械在患者的身体内的的坐标，该医疗器械被配置成在患者的身体中的通路内移动，将位置跟踪系统和身体的至少一部分的三维(3d)计算机断层摄影(ct)图像在共同参照系内配准，在共同参照系内找到医疗器械通过从给定起点到给定终点的通路的3d路径，响应于跟踪坐标而计算从医疗器械到3d路径的方向，以及基于3d ct图像在显示屏上渲染并同时显示相应的二维(2d)ct切片，包括投射到相应2d ct切片上的从医疗器械到3d路径的方向的相应2d指示。
23.另外，根据本公开的实施方案，从医疗器械到3d路径的方向的相应2d指示包括相应的箭头。
24.此外，根据本公开的实施方案，渲染和同时显示包括基于3d ct图像，在显示屏上渲染并同时显示相应的二维(2d)ct切片，包括投射到相应2d ct切片上的从医疗器械到3d路径的方向的相应2d指示、以及响应于跟踪坐标的医疗器械的表示。
25.还根据本公开的实施方案，计算包括响应于跟踪坐标而计算从医疗器械到3d路径的最近点的方向。
26.还根据本公开的实施方案，计算包括响应于跟踪坐标而计算从医疗器械到3d路径的3d向量。
27.另外，根据本公开的实施方案，渲染和同时显示包括基于3d ct图像，在显示屏上渲染并同时显示相应的2d ct切片，包括投射到相应2d ct切片上的从医疗器械到3d路径的3d向量的相应2d指示。
28.此外，根据本公开的实施方案，渲染和同时显示包括基于3d ct图像，在显示屏上渲染并同时显示三个相应的二维(2d)ct切片，包括投射在三个相应2d ct切片上的从医疗器械到3d路径的方向的三个相应2d指示。
29.另外，根据本公开的实施方案，三个相应的2d切片分别包括冠状面视图、矢状面视图和横切面视图。
30.仍根据本公开的实施方案，该方法还包括响应于跟踪坐标而计算到从医疗器械到3d路径的距离，并且其中渲染和同时显示包括基于3d ct图像，在显示屏上渲染并同时显示相应的二维(2d)ct切片，包括投射到相应2d ct切片上的从医疗器械到3d路径的方向和距离的相应2d指示。
31.另外，根据本公开的实施方案，渲染并同时显示包括基于3d ct图像在显示屏上渲染并同时显示相应的二维(2d)ct切片，包括投射到相应2d ct切片上的从医疗器械到3d路径的方向的相应2d指示、以及从至少一个相应虚拟相机的至少一个相应位置观察到的身体中通路的基于3d ct图像的虚拟内窥镜图像，包括根据跟踪坐标定位在虚拟内窥镜图像中的医疗器械的动画表示、以及从医疗器械到3d路径的方向的3d指示。
32.仍根据本公开的另一个实施方案还提供了一种软件产品，其包括非暂态计算机可读介质，在该非暂态计算机可读介质其存储程序指令，这些指令在被中央处理单元(cpu)读取时，致使cpu使用位置跟踪系统跟踪医疗器械在患者的身体内的坐标，该医疗器械被配置成在患者的身体中的通路内移动，将位置跟踪系统和身体的至少一部分的三维(3d)计算机断层摄影(ct)图像在共同参照系内配准，在共同参照系内找到医疗器械通过从给定起点到给定终点的通路的3d路径，响应于跟踪坐标而计算从医疗器械到3d路径的方向，以及基于3d ct图像在显示屏上渲染并同时显示相应的二维(2d)ct切片，包括投射到相应2d ct切片上的从医疗器械到3d路径的方向的相应2d指示。
附图说明
33.根据以下详细说明结合附图将理解本发明，其中：
34.图1是根据本发明的实施方案构造和操作的医疗系统的部分示意的部分框图视图；
35.图2是根据本发明的实施方案的包括在图1的设备中使用的三维路径可视化的方法中的步骤的流程图；
36.图3为包括使用图1的设备找到通过通路的路径的方法的步骤的流程图。
37.图4-图9为示出图3的流程图的方法的步骤的示意图；
38.图10为包括使用图1的设备计算路径区段并计算虚拟相机沿该路径的位置的方法中的步骤的流程图；
39.图11和图12为示出图10的流程图的方法的步骤的示意图；
40.图13为包括使用图1的设备选择相机的方法中的步骤的流程图；
41.图14和图15为示出图13的流程图的方法的步骤的示意图；
42.图16为包括使用图1的设备计算取向并偏移虚拟相机位置的方法中的步骤的流程图；
43.图17和图18是示出图16的流程图的方法的步骤的示意图；
44.图19为包括使用图1的设备渲染过渡的方法中的步骤的流程图；
45.图20为示出图19的流程图的方法的步骤的示意图；
46.图21-图23是由图1的设备渲染和显示的示意性虚拟内窥镜图像；
47.图24是根据本发明的实施方案的包括在图1设备中使用的二维路径可视化方法中的步骤的流程图；并且
48.图25是示出图24的流程图的方法的步骤的组合2d和3d路径可视化的示意图。
具体实施方式
49.概述
50.在鼻腔通道内的医疗规程(诸如鼻窦扩张手术)期间，如果不将内窥镜插入到鼻窦中就不可能直接观察到鼻窦中的情况。然而，因为所涉及的紧密空间以及内窥镜的额外成本，内窥镜的插入存在问题。此外，用于鼻腔通道的内窥镜通常是刚性器械，其无法转向或提供从鼻窦腔返回到鼻窦开口的视图。
51.本文描述的本发明的实施方案通过由虚拟相机生成规程的虚拟内窥镜视图来解决这个问题，类似于定位在鼻腔通道内的虚拟相机位置处的实际内窥镜将看到的视图。虚拟内窥镜视图显示解剖结构以及移动通过解剖结构的医疗器械。随着医疗器械沿通路移动，用于生成虚拟内窥镜视图的虚拟相机响应于医疗器械的跟踪坐标从一个虚拟相机传递到另一个虚拟相机。
52.这些虚拟内窥镜视图可用于例如可视化导丝相对于解剖结构以及其他器械如吸入工具或剃刮工具(清创器)的位置和取向。
53.从一个虚拟相机移动到另一个虚拟相机提供了比将虚拟相机置于医疗器械的远侧末端上(由此虚拟相机始终“移动”)更稳定的解剖结构视图，因为远侧末端的移动导致解剖结构的视频跳动或断断续续，这是很难跟踪的。
54.此外，尽管下文公开的实施方案专门涉及鼻腔通道内的可视化，但是本发明的原理可以类似地应用于身体的其他空间内，特别是在其中实际光学内窥镜不可用或难以使用的狭窄通道内。
55.在医疗规程之前，获取包括鼻窦的患者头部的ct图像、以及与ct图像配准的位置跟踪系统，例如电磁跟踪系统。将位置传感器附接到导丝或其他器械的远端，并且因此在将远端插入到鼻窦中时，跟踪远端相对于配准的ct图像的位置和取向。对头部的ct图像进行处理以生成并显示鼻腔通道的3d体积的图像。
56.在该3d体积内，成像系统的操作员(诸如执行鼻窦扩张术规程的外科医生)可以选择沿着其导航医疗器械的3d路径的起点和终点。从起点到终点的合适的3d路径例如使用路径找到算法和来自ct图像的数据来计算，指示ct图像的哪些体素包括适于穿过的材料，诸如空气或液体。
57.计算的3d路径被自动分成区段，并且区段之间的转向点高于阈值转向值。虚拟相机定位在这些转向点周围。如果在定位在转向点处的虚拟相机之间没有视线和/或在转向点之间的距离超过给定值，则可以自动定位另外的虚拟相机。
58.计算每个虚拟相机的光轴的取向。可以使用任何合适的方法来计算取向。在一些实施方案中，可以基于从虚拟相机到沿路径直到下一个虚拟相机的位置的向量的平均方向来计算取向。在其他实施方案中，取向可以计算为与相应虚拟相机位置处的路径平行的方向。虚拟相机的视野可以是固定的，例如，固定到90度或任何合适的值，或者根据相应虚拟相机所服务的路径的相关区段的外部限制来设定，其具有额外的公差以允许与路径偏离。
59.在一些实施方案中，虚拟相机的位置可以在与所计算的平均方向相反的方向上向后偏移。虚拟相机可以向后偏移任何合适的距离，例如，直到相机向后偏移到固体材料，诸如组织或骨。使虚拟相机向后偏移可以产生在相应虚拟内窥镜图像内医疗器械的更好视图，特别是当医疗器械非常靠近相应的虚拟相机时，并且可以产生周围解剖结构的更好视图。
60.随着医疗工具移动通过通路，根据相机选择方法选择相应虚拟相机以用于渲染和显示相应的虚拟内窥镜图像。在一些实施方案中，相机选择方法包括找到与医疗器械的跟踪坐标最近的相机，然后找到跟踪坐标落在与最近的相机相关联的二等分线(平面)的哪一侧。如果跟踪坐标落在距最近相机的所计算的路径(在医疗器械的行进方向上)更下游的二等分线一侧，则选择最近的相机进行渲染。如果跟踪坐标落在最近的当前虚拟相机的二等分线一侧，则当前虚拟相机继续提供其内窥镜图像。与最近相机相关联的二等分线可以定义为垂直于最近相机的点处的所计算的路径的平面。在其他实施方案中，通路可以基于区段而被分成多个区域，其中虚拟相机根据其中设置有跟踪坐标的区域来选择。
61.两个虚拟相机之间的过渡以及因此相关联的虚拟内窥镜图像之间的过渡可以是平滑过渡或急剧过渡。在一些实施方案中，在两个相应虚拟相机之间的平滑过渡可以通过在两个虚拟相机之间的路径上找到附加虚拟相机的位置、然后连续渲染从另外的虚拟相机位置观察到的相应过渡虚拟内窥镜图像来进行。
62.尽管可以使用3d图像来帮助医师沿着所计算的路径导航医疗器械，但是一些医师对于为此目的的3d图像表现感觉不适。
63.本发明的实施方案通过在显示器上渲染和显示ct图像的二维(2d)ct切片，例如3d ct图像的2d冠状面切片、矢状面切片和横切面切片来解决上述问题，在每个2d图像上显示医疗器械移动的方向，以便使医疗器械返回所计算的路径。在一些实施方案中，示出医疗工具的表示的3d图像(诸如虚拟内窥镜图像)可以与2d ct切片一起显示。
64.在一些实施方案中，处理器响应于医疗器械的跟踪坐标而计算从医疗器械到3d路径(例如，到3d路径上的最近点)的方向、和任选的距离和/或3d向量。处理器基于3d ct图像在显示屏上渲染并同时显示相应的2d ct切片，包括投射到相应2d ct切片上的从医疗器械到3d路径的方向、和任选的距离、和/或3d向量的相应2d指示(例如，箭头或其他符号)，以及任选的响应于跟踪坐标的医疗器械的表示。在一些实施方案中，相应的2d切片分别包括冠状面视图、矢状面视图和横切面视图。
65.系统描述
66.现在参见图1，该图是根据本发明的实施方案构造和操作的医疗设备20的部分示意的部分框图视图。在以下描述中，假设设备20的医疗器械21用于对患者22执行医疗规程。医疗器械21被配置成在患者22的身体中的通路内移动。
67.医疗设备20包括位置跟踪系统23，该位置跟踪系统被配置成跟踪医疗器械21在身体内的坐标。在一些实施方案中，位置跟踪系统23包括电磁跟踪系统25，该电磁跟踪系统包括定位在身体部分周围的一个或多个磁场发生器26和位于医疗器械21的远端处的一个或多个磁场传感器32。在一个实施方案中，磁场传感器32包括单轴线圈和双轴线圈，该单轴线圈和双轴线圈充当磁场传感器并且在规程期间由电磁跟踪系统25跟踪。为了使跟踪有效，在设备20中，将患者22的ct(计算机断层摄影)图像与电磁跟踪系统25的参照系进行配准，
更详细的描述参见图2和图3。虽然ct图像通常可包括磁共振成像(mri)图像或荧光透视图像，但是在本文的描述中，以举例的方式，图像被假设为包括荧光透视ct图像。在一些实施方案中，位置跟踪系统23可以使用任何合适的跟踪方法，例如基于在体表电极上的电流或阻抗分布、或基于超声换能器来跟踪医疗器械21的坐标。
68.在窦手术之前和期间，包括在电磁跟踪系统25中的磁辐射器组件24定位在患者的头部下方。磁辐射器组件24包括磁场发生器26，该磁场辐射器被固定在适当位置并将交变磁场传输到患者22的头部所位于的区域30中。由区域30中的磁场传感器32的单轴线圈响应于磁场而生成的电位使得能够在磁跟踪系统的参照系中测量单轴线圈的位置和取向。位置可在三个线性维度(3d)上测量，并且取向可针对与单轴线圈的对称轴正交的两个轴线来测量。然而，单轴线圈相对于其对称轴的取向不能由线圈生成的电位确定。
69.对于磁场传感器32的双轴线圈的两个线圈中的每个线圈也是如此。即，对于每个线圈，3d上的位置可被测量，相对于与线圈对称轴正交的两个轴线的取向也可被测量，但线圈相对于其对称轴的取向不能被确定。
70.以举例的方式，组件24的辐射器26被布置成在患者22的头部周围的大致马蹄形状。然而，组件24的辐射体的另选构型对于本领域的技术人员将是显而易见的，并且所有这样的构型都被认为包括在本发明的范围内。
71.在手术之前，可通过将磁传感器定位在图像的已知位置(诸如患者的鼻子的末端)处来执行磁跟踪系统的参照系与ct图像的配准。然而，如参见图2更详细描述的，可以使用用于参照系配准的任何其他方便的系统。
72.包括辐射器26和磁场传感器32的设备20的元件在系统处理器40的总体控制下。处理器40可安装在控制台50中，该控制台50包括操作控件58，该操作控件58通常包括小键盘和/或指向装置，诸如鼠标或轨迹球。控制台50经由一根或多根缆线60和/或无线地连接到辐射器和磁场传感器32。医生54使用操作控件58以与处理器40交互，同时使用设备20来执行医疗规程。在执行该规程时，处理器可在显示屏56上呈现该规程的结果。
73.处理器40使用存储在存储器42中的软件来操作设备20。该软件可例如通过网络以电子形式下载到处理器40，或者另选地或除此之外，该软件可被提供和/或存储在非临时性有形介质诸如磁存储器、光学存储器或电子存储器上。
74.现在参见图2，其为根据本发明的实施方案的包括在图1设备20中使用的三维路径可视化方法中的步骤的流程图70。
75.位置跟踪系统23(图1)被配置成跟踪(框72)医疗器械21(图1)的远端在身体内的坐标。处理器40(图1)被配置成将位置跟踪系统23和身体的至少一部分的三维(3d)计算机断层摄影(ct)图像在共同参照系内配准(框74)。配准可以通过任何合适的配准技术执行。例如但不限于美国专利公布2017/0020411或2019/0046272中描述的配准方法。如后一个专利公布所述，例如，处理器40可以分析ct图像以识别图像中患者眼睛的相应位置，从而限定连接这些相应位置的线段。此外，处理器40识别沿着平行于第一线段的第二线段以及垂直于第一线段的第三线段覆盖头部的骨部分的ct中的体素子集。医师54将探针定位在骨部分附近，并且因此测量覆盖骨部分的头部表面上的位置。处理器40计算ct图像中这些测量位置与体素子集之间的对应关系，并且因此将磁跟踪系统25与ct图像配准。
76.处理器40被配置成找到(框76)医疗器械21通过从给定起点到给定终点的通路的
3d路径。框76的步骤参考图3-图9的路径寻找方法进行了更详细的描述。
77.处理器40被配置成计算(框78)所计算的3d路径的区段。处理器40被配置成响应于所计算的区段，计算(框80)沿着相应虚拟相机的3d路径的相应不同位置。框78和框80的步骤参考图10-图12进行了更详细的描述。
78.处理器40被配置成响应于医疗器械21的跟踪坐标和相应虚拟相机在共同参照系内的相应位置来选择(框82)相应虚拟相机以用于渲染相应虚拟内窥镜图像。随着医疗器械21沿着3d路径移动(其可以距离路径的任一侧一定距离，因为医疗器械21未被锁定到该路径)，根据医疗器械21的跟踪坐标选择提供虚拟内窥镜图像的虚拟相机，并且当医疗器械21沿路径移动时控制从一个虚拟相机到另一个虚拟相机连续传递。框82的步骤可以间歇重复，例如，每次新跟踪坐标以例如在10毫秒至100毫秒之间的范围内被接收，如50毫秒。框82的步骤参考图13-图15进行了更详细的描述。
79.处理器40被配置成计算(框84)相应虚拟相机的相应取向。相机的取向通常是3d取向并且相对于相应虚拟相机的相应光轴限定。换句话说，相机的取向是对相机面对光学目标的方向的测量。虚拟相机的位置也可以如参见图16和图18所详细描述的那样向后偏移。可以作为选择相机的过程的一部分，在选择相机之前或者当医疗器械21离开当前提供虚拟内窥镜图像的虚拟相机视野时计算取向和/或向后移动。
80.处理器40被配置成在显示屏56(图1)上渲染和显示(框86)从相应虚拟相机的相应位置和取向观察到的身体中的通路的基于3d ct图像的相应虚拟内窥镜图像，包括根据跟踪坐标定位在相应虚拟内窥镜图像中的医疗器械21的动画表示。换句话说，基于医疗器械21的位置和取向和预先获取的ct数据，处理器40在框86的步骤处将相应图像在它们被相应的虚拟相机捕获时渲染并在显示屏56上呈现图像。由任何给定选择的虚拟相机渲染的图像是从相机位置处将可见的3d体积的一部分在相机的虚拟图像平面上的投影。框86的步骤参考图21-图23进行了更详细的描述。
81.现在参见图3，其为包括使用图1的设备20找到通过通路的路径的方法的步骤的流程图90。图4-图9为示出图3的流程图的方法的步骤的示意图。参见流程图90描述的预计划部件通常在对患者22(图1)执行侵入性外科规程之前实施，并且确定规程中后续侵入性医疗器械21(图1)的最佳路径。假设预计划由医师54执行(图1)。
82.在初始步骤(流程图90的框100)中，执行患者22鼻窦的计算机断层摄影(ct)x射线扫描，并且由处理器40获取来自扫描的数据。如本领域已知的，扫描包括患者22的二维x-射线“切片”，并且切片的组合产生三维体素，每个体素具有hounsfield单位，该hounsfield单位是由ct扫描确定的放射强度的量度。
83.在图像生成步骤(框102)中，医师54(图1)在显示屏56上显示扫描结果(图1)。如本领域已知的，结果可以显示为一系列二维(2d)切片，通常沿着平行于患者22的矢状面、冠状面和/或横切平面的平面，但其他平面也是可能的。平面的方向可由医师54来选择。
84.所显示的结果通常是灰度色标图像，并且在图4中提供了示例，其是平行于患者22的冠状平面的切片。从黑色到白色的灰度值可以与对应体素的hounsfield单位(hu)相关，使得当应用于图4的图像时，具有hu＝-1000的空气可以被分配为黑色，并且具有hu＝3000的致密骨可以被分配为白色。
85.如本领域已知的，除了空气和水的值(其按定义分别为-1000和0)之外，任何其他
物质或物种(诸如致密骨)的hounsfield单位的值尤其取决于用于产生本文所提及的ct扫描的辐照x射线的光谱。继而，x射线的光谱取决于许多因素，包括施加到x射线发生器的电势(以千伏(kv)计)，以及发生器的阳极的组成。为清楚起见，在本公开中，特定物质或物种的hounsfield单位值如下表i中给出。
86.物种/物质hounsfield单位空气-1000软组织-300至-100脂肪-50水0血液+30至+45致密骨+3000
87.然而，表i中给出的特定物种(除空气和水之外)的hu的数值应理解为纯粹是示例性的，并且本领域的普通技术人员将能够根据用于生成本文所提及的ct图像的物种和x射线机来修改这些示例性值，而无需过度实验。
88.通常，hu值和灰度值之间的平移被编码到dicom(医学数字成像和通信)文件中，该文件是来自给定ct机器的ct扫描输出。为清楚起见，在下文描述中，使用了hu＝-1000与黑色的相关性，hu＝3000与白色的相关性，以及中间hu值与对应的中间灰度水平的相关性，但是应当理解，这种相关性仅是任意的。例如，该相关性可以是“相反的”，即，hu＝-1000可被分配给白色，hu＝3000分配给黑色，并且中间hu值分配给对应的中间灰度水平。因此，本领域的普通技术人员将能够调整本文的描述以包括在hounsfield单位与灰度水平之间的其他关联，并且假定所有此类关联包含在本发明的范围内。
89.在标记步骤(框104)中，医师54(图1)标记预期的起点，其中他/她将医疗器械21(图1)插入患者22(图1)中，并且标记预期的终点，其中医疗器械21的远端将停止。两个点可以在同一2d切片上。另选地，每个点可以在不同切片上。通常但不一定的，两个点均在空气中，即，其中hu＝-1000，并且终点通常但不一定在空气与切片中所示的液体或组织的接合部处。终点不处于此类接合部处的示例是当该点可以在空气填充腔的中间时。
90.图5示出了由医师标记在相同2d切片上的起点150和终点152，并且为清楚起见，除非另有说明，否则假设这些点是在流程图的剩余描述中使用的点。通常，起点和终点以非灰度色标颜色显示，例如红色。
91.在许可路径限定步骤(框106)中，医师限定了在找到从起点150到终点152的路径时由路径找到算法(下文提及)用作可接受的体素值的hounsfield单位的范围。限定范围通常包括等于-1000的hu，对应于路径中的空气或空隙；限定范围还可包括大于-1000的hu，例如，该范围可以被定义为由表达式(1)给出：
92.{hu|-1000≤hu≤u}
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
93.其中u是医师选择的值。
94.例如，u可以设置为+45，使得所采取的路径可以包括水、脂肪、血液、软组织以及空气或空隙。在一些实施方案中，该范围可由处理器40(图1)设置，无需医师干预。
95.不需要限定的值范围是连续范围，并且该范围可以是不相交的，包括一个或多个子范围。在一些实施方案中，可以选择子范围以包括特定类型的材料。不相交的范围的示例
由表达式(2)给出：
96.{hu|hu＝-1000或a≤hu≤b}
ꢀꢀꢀꢀꢀꢀꢀ
(2)
97.其中a、b是医师选择的值。
98.例如，a和b可分别设置为等于-300和-100，使得所采取的路径可包括空气或空隙和软组织。
99.选择hu范围的方法可包括任何合适的方法，包括但不限于数字和/或材料名称和/或灰度色标。例如，在通过灰度进行选择的情况下，医师54(图1)可以选择ct图像的一个或多个区域，并且所选区域的灰度值的等同hu包含在可接受的hu范围内，用于通过路径找到算法确定路径的体素。
100.在通过名称选择的情况下，可以向医师展示命名物种的表。所展示的表通常类似于表i，但没有提供以hounsfield为单位的值的列。医师可以从表中选择一个或多个命名的物种，在这种情况下，所选择的命名物种的等同hu包含在可接受的hu范围内，用于待通过路径找到算法确定路径的体素。
101.在路径找到步骤(框108)中，处理器40(图1)实施路径找到算法以在起点150与终点152之间找到医疗器械21(图1)将按其行进的一个或多个最短路径。该算法假设路径中的可穿过体素包括具有在框106的步骤中限定的hu范围内的hu的任何体素，并且具有在该限定范围之外的hu值的体素充当所发现的任何路径中的屏障。虽然所使用的路径找到算法可以是能够确定三维迷宫内的最短路径的任何合适的算法，但是发明人已经发现，泛洪填充算法(flood fill algorithm)、狄克斯特拉算法(dijkstra's algorithm)或例如a*算法的扩展在计算速度和确定最短路径的准确性方面提供比其他算法(诸如弗洛伊德算法(floyd's algorithm)或其变体)更好的结果。
102.在一些实施方案中，路径找到步骤包括考虑医疗器械21的机械特性和尺寸(图1)。例如，在所公开的实施方案中，医疗器械21当其弯曲时可能被限制在可能的曲率半径范围内。在确定医疗器械21之后的可能路径时，处理器40(图1)确保路径的任何部分都不限定小于这一半径范围的半径。
103.在另一个公开的实施方案中，处理器40(图1)考虑医疗器械21(图1)的机械特性，这些机械特性允许医疗器械21的不同部分具有不同的曲率半径范围。例如，可能路径的端部可以具有比医疗器械21的近侧部分的可能曲率半径更小的曲率半径。然而，医疗器械21的远端可以比近侧部分更具柔性，并且可以具有足够的柔性以容纳较小的曲率半径，使得可能的路径是可接受的。
104.在考虑医疗器械21(图1)的可能曲率半径和可能路径的不同曲率半径的情况下，处理器40(图1)考虑了在医疗器械21的远端从起点150移动到终点152时，需要由医疗器械21的不同部分穿过路径的哪些部分、以及医疗器械21可达到的曲率半径。
105.在另一个公开的实施方案中，处理器40(图1)确保路径直径d始终大于医疗器械21的测量直径d。如本领域已知的，确认可以至少部分地例如由处理器40使用侵蚀/膨胀算法来实施，从而找到在框106的步骤中限定的范围内的体素。
106.在叠加步骤(框110)中，在框108的步骤中发现的最短路径叠加在显示在显示屏56上的图像上。图6示出在起点150与终点152之间已经叠加在图5的图像上的最短路径154。通常，路径154以非灰度色标颜色显示，其可以具有或可以不具有与起点和终点的颜色相同的
颜色。在框108的步骤找到多于一个最短路径的情况下，所有此类路径可以叠加在图像上，通常以不同的非灰度色标颜色叠加。
107.通常，发现的路径穿过多于一个2d切片，在这种情况下，可以通过将发现的路径结合到相关的所有2d切片中，即，路径穿过的所有2d切片，来实施叠加。另选地或除此之外，可以从扫描2d切片生成至少部分透明的3d图像，并且发现的路径可以叠加在3d图像上。至少部分透明的3d图像可以在患者22的外表面的表示上形成，如下文更详细地描述。
108.图7是根据本发明的实施方案的患者22的外表面180的表示。处理器40(图1)使用在框100的步骤中获取的ct扫描数据，用于通过使用空气的hu值为-1000的事实而产生外表面的表示，而皮肤具有与其显著不同的hu值。举例来说，假设表示180在平行于患者22的冠状平面的平面上形成，即，平行于由患者22限定的参照系184的x-y平面，其轴线也在图7和图8中绘制。
109.图8示意性地展示了根据本发明的实施方案的边界平面190和边界区域192。在从医师54(图1)看来的方向上，处理器40(图1)任选地描绘待渲染为透明的表示180的区域，以及将保留为“原样”的那些区域。为了执行描绘，医生使用区域192的边界周边194在边界平面中限定边界平面190和边界区域192。
110.为清楚起见，下文描述假设边界平面平行于参照系184的x-y平面，如图8示意性地示出，并且其具有下文给出的等式：
111.z＝z
bp
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)
112.如下所述，处理器40使用边界平面和边界区域192来确定表面180的哪些元件被渲染为局部透明，并且哪些元件将不被如此渲染。
113.处理器40确定表面180的元件(图7)，其具有z≥z
bp
的值，并且当沿z-轴投影时位于边界区域192内。然后，处理器40将元件渲染为透明，因此使得这些元件在表面180中不再可见。例如在图8中，患者22的鼻尖196具有值z≥z
bp
，因此患者的鼻尖附近的虚线198示出当表面的图像呈现在显示屏56上时不再可见的外表面180的部分(图1)。
114.因为上文所述的元件被渲染为透明的，具有值z《z
bp
并且当沿着z-轴投影时位于边界区域192内的表面180的元件现在是可见的，因此显示在图像中。在局部透明渲染之前，“现在可见”元件是不可见的，因为它们被表面元件遮挡。现在可见的元件包括最短路径154的元件，如图9所示。
115.图9示意性地示出在边界区域192内的表面的元件的局部透明渲染之后(图8)，在显示屏56(图1)上显示的表面180。为了清楚起见，对应于边界周边194(图8)的虚线圆194a已经叠加在图像上，并且参照系184也在图中绘制。由于圆194a内的元件的透明渲染，在圆内的区域200现在显示患者22的从框100的步骤中接收到的ct断层摄影数据导出的内部结构(图1)。
116.图9还绘制了最短路径154。由于圆194a内的元件的透明渲染，路径的一部分现在在表面180的图像中可见，并且已被绘制为白色实线202。由于其被表面180的尚未透明渲染的元件遮挡而不可见的路径的部分以白色虚线204表示。
117.应当理解，在图7和图9所示的情况下，显示屏56上示出的图像是沿着x-y平面的z轴观察的患者22的视图。
118.上文描述提供了应用局部透明以查看从断层摄影数据导出的最短路径的一个示
例，在这种情况下，局部透明相对于与患者22的冠状平面平行的平面形成。应当理解，由于断层摄影数据的三维性质，可以操纵数据使得本发明的实施方案可以使用相对于穿过患者22的基本上任何平面形成的局部透明来查看最短路径154，并且可以在参照系184中限定。
119.在形成局部透明时，可以改变边界平面190和边界区域192的尺寸和位置，以使医生54(图1)也能够查看最短路径154和在路径154附近的内部结构。
120.医生54可以改变边界平面190的方向，例如用于增强特定内部结构的可见度。虽然边界平面190通常平行于呈现在显示屏56上的图像的平面，但这不是必需的，因此如果例如医生54想要看到特定结构的更多细节，则她/他可以旋转边界平面190，使得其不再平行于图像平面。
121.在一些情况下，在框106的步骤中选择的hu值/灰度范围包括除空气之外的区域，例如对应于软组织和/或黏液的区域。在框108的步骤中找到的路径154可以包括此类区域，并且在这种情况下，对于经过路径154的医疗器械21(图1)，可能必须清除这些区域，例如通过清创。在任选的警告步骤(框112)中，医生54(图1)得到存在不在空气中的路径154区域的通知，例如通过突出显示路径154的相关部分和/或通过其他视觉或听觉提示来通知。
122.虽然上文描述假定ct扫描为x射线扫描，但是应当理解，本发明的实施方案包括使用mri(磁共振成像)断层摄影图像找到最短路径。
123.因此，重新参见流程图90，在mri图像的情况下，其中hounsfield值可能不再直接适用，在步骤106中，医生54(图1)定义了灰度值(mri图像的灰度值)的范围，路径找到算法使用该范围作为找到从起点150到终点152的路径时可接受的体素值。在框108的步骤中，路径找到算法假设路径中的可穿过体素包括具有在框106的步骤中限定的灰度范围内的灰度的任何体素，并且具有在该限定范围之外的灰度值的体素充当所找到的任何路径中的屏障。对用于适应使用mri图像而非x射线ct图像的上文描述的其他改变，对于本领域普通技术人员来说将是显而易见的，并且所有此类改变都应视为包含在本发明的范围内。
124.现在参见图10-图12。图10为包括使用图1的设备20计算路径154的区段并计算虚拟相机320沿路径154的位置的方法中的步骤的流程图300。图11和图12为示出图10的流程图300的方法的步骤的示意图。
125.处理器40(图1)被配置成找到(框302)3d路径154中高于阈值转向的转向点324，并且响应于所找到的转向点324计算3d路径154的区段322和沿着相应虚拟相机320的3d路径154的相应不同位置，如图11所示。
126.现在在下文描述框302的步骤的子步骤。
127.处理器40(图1)被配置成基于n-维多线段简化计算(框304)区段322。在一些实施方案中，以举例的方式，n-维多线段简化包括ramer
–
douglas
–
peucker算法、visvalingam
–
whyatt算法或reumann-witkam。可以使用将n-维多线段简化为尺寸更小的多线段的任何合适的算法。算法通常分析移除小转向点的路径154，同时留下较大转向点，使得较大转向点324限定在转向点324之间的区段322。可以通过配置所使用的算法的参数来设置对应于从路径154移除的转向点的阈值转向值。例如，ramer
–
douglas
–
peucker算法的输入参数可以设置为约0.08。
128.在其他实施方案中，处理器40被配置成使用任何合适的算法来计算区段322，使得低于阈值转向值的转向点被去除。
129.处理器40(图1)被配置成将虚拟相机320定位(框306)在区段322之间的转向点324处或其周围，以及在路径154的起点150处并且任选地在终点152处。图11示出了通路328中的路径154已经用一个转向点324和两个区段322进行了简化。三个虚拟相机320已经分别置于路径154上的起点150、转向点324和终点152处。通过n-维多线段简化去除路径154上的小转向点(使用虚线椭圆形326指示)以留下转向点324。
130.处理器40被配置成检查(框308)两个相邻虚拟相机320之间的视线，并且响应于视线被阻挡而将一个或多个虚拟相机320定位在两个相邻虚拟相机320之间。可以通过检查3d ct图像的体素来检查视线，从而确定是否存在阻挡相邻虚拟相机320之间的视线的材料。认为是阻挡或不阻挡视线的材料类型可以与当计算如参考图3的框106的步骤所述的路径154时相同。在一些实施方案中，可使用不同的标准。例如，医生54可以将阻挡视线的材料设置为骨和硬组织，从而将空气、液体和软组织限定为不阻挡视线的材料。在一些情况下，医生54可以将阻挡视线的材料设置为骨、硬组织和软组织。另选地，医生54可以设置不阻挡视线的材料，例如空气或液体，而不是指定阻挡视线的材料。在一些实施方案中，处理器40被配置成检查两个相邻虚拟相机320之间的直接视线未被阻挡。在其他实施方案中，处理器40可以被配置成检查在两个相邻虚拟相机320之间的直接视线未被阻挡，包括检查在两个虚拟相机320之间的视线周围的给定公差未被阻挡。视线周围的给定公差可以具有任何合适的值。例如，图11示出了在虚拟相机320-2与沿着区段322-2的虚拟相机320-3之间的视线被组织330的一部分阻挡。图12示出了另一个虚拟相机320-4已经被加在虚拟相机320-2和虚拟相机320-3之间。图11还示出了尽管虚拟相机320-1和虚拟相机320-2之间的直接视线未被阻挡，但是当考虑到围绕视线的给定公差时，由给定公差扩展的视线被组织332的一部分阻挡。图12示出了另一个虚拟相机320-5已经被加在虚拟相机320-1和虚拟相机320-2之间。一旦已经添加了另外的虚拟相机320，处理器40就可以基于初始虚拟相机320加上另外的虚拟相机320来检查相邻虚拟相机320之间的视线(或扩展的视线)。
131.处理器40任选地被配置成响应于现有虚拟相机320之间的距离超过限值而定位(框310)在一个或多个区段322中间的一个或多个附加虚拟相机320。图12示出了虚拟相机320-6和虚拟相机320-7已经响应于现有虚拟相机320之间的距离超过限值而被添加到区段322-1中。限值可以是任何合适的限值，例如但不限于在1mm至20mm的范围内，诸如4mm。附加相机320通常在现有虚拟相机320之间均匀地间隔开。
132.现在参见图13-图15。图13为包括使用图1的设备20选择相机的方法中的步骤的流程图340。图14和图15为示出图13的流程图340的方法的步骤的示意图。
133.处理器40(图1)被配置成针对虚拟相机320中的相应虚拟相机计算(框342)相应二等分线350(图14)。在一些实施方案中，处理器40被配置成将相应二等分线350计算为在3d路径154上的相应虚拟相机320的相应位置处垂直于3d路径154的相应平面。图14示出了每个虚拟相机320的二等分线350。二等分线350可以在已经计算路径154之后的任何时间计算，直到当医疗器械21紧邻相应虚拟相机320时，如下文框344的步骤所述。
134.处理器40被配置成响应于医疗器械21的跟踪坐标和虚拟相机320的已知位置而找到(框344)到医疗器械21的远端最近的虚拟相机320(例如，虚拟相机320-7)(图1)。处理器40被配置成找到(框346)跟踪坐标落在最近虚拟相机320(例如，虚拟相机320-7)的二等分线350的哪一侧。处理器40被配置成选择(框348)虚拟相机320中的一个以用于基于医疗器
械21的跟踪坐标相对于最近虚拟相机320(例如，虚拟相机320-7)的二等分线350落在哪一侧来渲染虚拟内窥镜图像。如果跟踪坐标落在二等分线350的更靠近当前虚拟相机320(例如，虚拟相机320-6)的一侧上，则仍然使用当前虚拟相机(例如，虚拟相机320-6)。如果跟踪坐标落在二等分线350的更远离当前虚拟相机320(例如，虚拟相机320-6)的一侧上，则选择沿着路径的下一个虚拟相机320(即，虚拟相机320(例如，虚拟相机320-7))作为新虚拟相机320。间歇重复框344-346的步骤。
135.框344-348的步骤在图15中示出。图15示出两个虚拟相机320-6和320-7。虚拟相机320-6是用于渲染和显示通路328的虚拟内窥镜图像的当前虚拟相机。相对于医疗器械21的行进方向，虚拟相机320-7与虚拟相机320-6相比在路径154的更下游。换句话说，虚拟相机320-7比虚拟相机320-6更靠近终点152(图11)。图15示出了医疗器械21的远端的各种可能的示例位置352。所有位置352比虚拟相机320-6更靠近虚拟相机320-7。因此，对于如图15所示的所有位置352，将发现虚拟相机320-7是框344的步骤中最接近的虚拟相机320。一旦找到最接近的虚拟相机320-7，在框346的步骤中检查医疗器械21的远端相对于最近虚拟相机320-7的二等分线350的位置。在图15的示例中，位置352-6位于与虚拟相机320-6(当前虚拟相机)最接近的二等分线350的一侧(用箭头354指示)，并且位置352-7位于更远离当前虚拟相机320-6的二等分线350的另一侧(用箭头356指示)。在图15的示例中，根据框348的步骤，如果医疗器械21的远端的跟踪坐标处于位置352-6或类似位置中的任一位置，则当前虚拟相机320-6将保持为所选虚拟相机。如果医疗器械21的远端的跟踪坐标处于位置352-7或类似位置中的任一位置，则选择虚拟相机320-7作为新虚拟相机。
136.因此，处理器40被配置成响应于医疗器械21(图1)的跟踪坐标(位置352)相对于最接近跟踪坐标的相应虚拟相机320的相应二等分线350落在哪一侧，来选择相应虚拟相机320以用于渲染相应虚拟内窥镜图像。
137.在其他实施方案中，通路可以基于区段322分成多个区域，其中虚拟相机320根据其中设置有跟踪坐标的区域来选择。
138.现在参见图16，其为包括使用图1的设备20计算取向并偏移一个虚拟相机320位置的方法中的步骤的流程图360。还参见图17和图18，它们为示出图16的流程图360的方法的步骤的示意图。
139.计算每个虚拟相机320的光轴的取向。可以在已经计算虚拟相机320的位置之后的任何时间计算取向。在一些实施方案中，虚拟相机320的取向可以在选择每个虚拟相机320用作沿路径154移动的医疗器械21(图1)时进行计算。现在如下所述计算一个虚拟相机320的取向的一种方法。
140.处理器40(图1)被配置成选择(框362)从一个虚拟相机320-2到另一个虚拟相机320-4的路径154上的位置370，如图17所示。可选择位置370以包括或不包括虚拟相机320-4的位置。可以通过将虚拟相机320-2和虚拟相机320-4之间的区段322分成子区段来选择位置370。另选地，可以通过测量沿着路径154从虚拟相机320-2到每个位置370的给定距离来选择位置370。在一些实施方案中，当生成路径154时，可以使用限定路径154的点来选择位置370。处理器40(图1)被配置成限定从虚拟相机320-2到位置370的向量372，并且计算(框364)如图17所示的向量372的平均方向374。因此，处理器40被配置成计算沿着3d路径154从虚拟相机320-2的位置到不同的点(例如，位置370)的向量的平均方向。处理器40(图1)被配
置成响应于所计算的平均方向374计算(框366)虚拟相机320-2的取向。换句话讲，将虚拟相机320的光轴的取向计算为平均方向374。在其他实施方案中，取向可以计算为与相应虚拟相机320-2位置处的路径平行的方向。
141.在一些实施方案中，相应虚拟相机320(例如，虚拟相机320-2)的相应位置可以例如在相反方向376上向后偏移到相应虚拟相机320的相应平均方向374，如图18所示。使虚拟相机320向回偏移可以产生在相应虚拟内窥镜图像内医疗器械21的更好视图，特别是当医疗器械21非常接近相应的虚拟相机320时，并且可以产生周围解剖结构的更好视图。因此，处理器40(图1)被配置成将虚拟相机320-2的位置在与所计算的平均方向374相反的方向376上偏移(框368)到新位置380，如图18所示。偏移的程度可以是固定的，例如，预定数量的毫米，例如在0.2mm和2mm之间的范围内，例如1.3mm。另选地，偏移的程度可能受到周围解剖结构378的限制，使得相机320-2尽可能多地向后偏移，只要它未被推到骨或组织中即可，这由医生54来定义。“周围解剖结构”所考虑的材料类型可以为与如参见图3的框106的步骤所述，用于限定阻挡医疗器械21的路径的材料标准相同或不同。
142.相应虚拟相机320的视野可以设置为任何合适的相应值。每个虚拟相机320的视野可以是固定的，例如，在25度-170度之间的值的范围内，例如90度。任何一个虚拟相机320的视野可以根据路径254的区段322的外部限制来设置，该虚拟相机320覆盖(例如，从图17的向量372偏离或通过找到区段322的外部限制)该虚拟相机320的附加公差(诸如给定的角度公差，例如给外部限制增加x度，其中x可以是任何合适的值，例如在5度与90度之间的范围内)。在一些实施方案中，通过分析围绕区段322的周围解剖结构378，视野可以设置为覆盖区段322中的所有解剖结构，直到下一个虚拟相机。“周围解剖结构”所考虑的材料类型可以为与如参见图3的框106的步骤所述，用于限定阻挡医疗器械21的路径的材料标准相同或不同。
143.现在参见图19，其为包括用于图1的系统20中的渲染过渡方法中的步骤的流程图390。现在参见图20，其为示出图19的流程图390的方法的步骤的示意图。
144.两个虚拟相机320之间的过渡以及因此相关联的虚拟内窥镜图像之间的过渡可以是平滑过渡或急剧过渡。在一些实施方案中，可以通过执行以下步骤来进行两个相应虚拟相机之间的平滑过渡。通过示例在虚拟相机320-2和虚拟相机320-4之间描述过渡。
145.处理器40(图1)被配置成找到(框392)在当前虚拟相机320-2与下一个虚拟相机320-4之间添加的附加虚拟相机396的位置，如图20所示。可以以与参见图16和图17描述的位置370的选择类似的方式找到附加虚拟相机396的位置。可以选择任何合适数量的附加虚拟相机396。较大数量的附加虚拟相机396通常将产生更平滑的过渡。
146.处理器40(图1)被配置成基于连续渲染从设置在两个相邻虚拟相机320-2、320-4之间的相应附加虚拟相机396的相应位置观察到的身体内通路328的相应过渡虚拟内窥镜图像(图20)，在显示屏56(图1)上渲染并显示(框394)在两个相应的相邻虚拟相机320-2、320-4的两个相应虚拟内窥镜图像之间的过渡。过渡虚拟内窥镜图像中的每一个可以在显示屏56上显示达任何合适的持续时间，例如，在20毫秒至40毫秒范围内的持续时间。
147.现在参见图21-图23，它们是由图1的设备20渲染和显示的示意性虚拟内窥镜图像398。如先前参见图2所提及的，处理器40(图1)被配置成基于3d ct图像，根据医疗器械21的跟踪坐标在包括定位在相应虚拟内窥镜图像398中的医疗器械21(图1)的动画表示400的相
应虚拟相机320(图11)的相应位置和取向观察的身体中的通路328的显示屏56(图1)上渲染和显示相应虚拟内窥镜图像398。
148.图21-图22示出从一个虚拟相机320的位置观看的虚拟内窥镜图像398-1。医疗器械21的表示400在图21中，在通路328中沿着路径154的一个位置显示，并且在图22中，在通路328中沿着路径154的一个更靠前的位置显示。使用箭头表示仍保持被穿过的路径154，其在医疗器械21沿着路径154移动时消失。可以使用任何合适的线或符号来表示路径154。图23示出从另一个虚拟相机320的位置观看的虚拟内窥镜图像398-2。
149.虚拟内窥镜图像398可以使用体积可视化技术来渲染，该体积可视化技术从组织图像数据(例如，基于3d ct扫描的体素的hu)生成在3d视见体(例如从相关虚拟相机320的位置向外投影的锥体)中的虚拟内窥镜图像398。图像398可以基于组织的已知颜色来渲染。可将某些材料如液体或甚至软组织选择为透明的，而所有其他密度更高的材料可以根据密度更高材料的天然颜色来渲染。另选地，甚至可以根据相应材料的天然颜色来渲染带有密度更高的材料的液体和软组织。在一些实施方案中，医生54(图1)可以设置上文讨论的虚拟内窥镜图像398的渲染参数。在一些实施方案中，可以渲染周围解剖结构378，而其他解剖结构可以忽略。“周围解剖结构”所考虑的材料类型可以为与如参见图3的框106的步骤所述，用于限定路径154不能穿过的材料标准相同或不同。
150.仅出于说明的目的呈现上文图像398，并且可以根据本发明的原理同样渲染和显示其他种类的图像。
151.现在参见图24和图25。图24是根据本发明的实施方案的包括在图1的设备20中使用的二维路径可视化方法中的步骤的流程图500。图25是示出图24的流程图500的方法的步骤的组合2d和3d路径可视化512的示意图。
152.位置跟踪系统23(图1)被配置成跟踪(框502)医疗器械21(图1)在身体内的坐标。处理器40(图1)将位置跟踪系统23和身体的至少一部分的三维(3d)计算机断层摄影(ct)图像在共同参照系内配准(框504)。框504的步骤基本上与参见图2详细描述的框74的步骤相同。
153.处理器40(图1)被配置成在共同参照系内找到(框506)医疗器械21(图1)通过从给定起点150(图9)到给定终点152(图9)的通路328(图25)的3d路径154(图25)。框506的步骤基本上与参见图2详细描述的框76的步骤相同。
154.处理器40(图1)被配置成响应于医疗器械21的跟踪坐标而计算(框508)从医疗器械21(图1)的远端到3d路径154的方向和任选的距离和/或3d向量。在一些实施方案中，处理器40被配置成响应于医疗器械21的跟踪坐标而计算从医疗器械21的远端到3d路径154的最近点的方向和任选的距离和/或3d向量。
155.处理器40(图1)被配置成基于3d ct图像在显示屏56(图1)上渲染并同时显示(框510)相应的二维(2d)ct切片514，包括投射到相应2d ct切片514上的从医疗器械21的远端到3d路径154的方向、和任选的距离、和/或3d向量的相应2d指示516，以及任选的响应于医疗器械21的跟踪坐标的医疗器械21的表示518。
156.根据医疗器械21的远端的跟踪坐标从3d ct图像生成2d ct切片514，使得2d ct切片514是在跟踪坐标处在3d ct图像中相交的平面。在一些实施方案中，处理器40被配置成在显示屏56(图1)上渲染并同时显示三个相应的二维(2d)ct切片514，包括投射到三个相应
2d ct切片514上的从医疗器械21的远端到3d路径154(的最近点)的方向、和任选的距离、和/或3d向量的相应2d指示516，以及任选的响应于医疗器械21的跟踪坐标的医疗器械21的表示518。在一些实施方案中，三个相应的2d切片分别包括冠状面视图切片514-1、矢状面视图切片514-2和横切面视图切片514-3。
157.2d指示516可以包括任何合适的符号，例如箭头或指针。2d指示516可以仅指示到路径154的方向，并且因此所有2d指示516可以是相同的长度，无论到路径154的距离如何。在一些实施方案中，2d指示516可以指示到路径154的方向和距离(或3d向量)，并且根据到路径154的距离，2d指示516可以设定尺寸(长度和/或宽度)。2d指示516表示投射到相应2d ct切片514上的路径的方向和任选的距离或向量。例如，基于如图8所示的参照系184，将3d向量投射到x-y平面上以生成用于冠状面视图切片514-1的2d指示516、透射到y-z平面上以生成用于矢状面视图切片514-2的2d指示516、以及透射到x-z平面上以生成用于横切面视图切片514-3的2d指示516。
158.医疗器械21(图1)的表示518可以包括任何合适的符号，例如，交叉或圆。
159.在一些实施方案中，处理器40(图1)被配置成在显示屏上渲染并同时显示：(a)相应的2d ct切片514，包括投射到相应2d ct切片514上的从医疗器械21到3d路径154的方向的相应2d指示516；以及从至少一个相应虚拟相机520的至少一个相应位置观察到的身体中通路328的基于3d ct图像的虚拟内窥镜图像，包括根据跟踪坐标定位在虚拟内窥镜图像520中的医疗器械21的动画表示522、以及从医疗器械21到3d路径154的方向的3d指示524。虚拟内窥镜图像520可以根据如上文参见图2-图23描述的方法渲染和显示。
160.仅出于说明的目的呈现上文图像514、520，并且可以根据本发明的原理同样渲染和显示其他种类的图像。
161.如本文所用，针对任何数值或范围的术语“约”或“大约”指示允许部件或元件的集合实现如本文所述的其预期要达到的目的的合适的尺寸公差。更具体地，“约”或“大约”可指列举值的值
±
20％的范围，例如“约90％”可指从72％到108％的值范围。
162.为清晰起见，在独立实施方案的上下文中描述的本发明的各种特征部也可在单个实施方案中组合提供。相反地，为简明起见，本发明的各种特征部在单个实施方案的上下文中进行描述，也可单独地或以任何合适的子组合形式提供。
163.上述实施方案以举例的方式被引用，并且本发明不受上文具体示出和描述的内容的限制。相反，本发明的范围包括上述各种特征部的组合和子组合以及它们的变型和修改，本领域的技术人员在阅读上述说明时应当想到该变型和修改，并且该变型和修改并未在现有技术中公开。