专利名称：虚拟内空腔检视系统的制作方法
技术领域：
本发明涉及固体内部通道的可视化，尤其是涉及从图象数据非注入式地模拟通道内部的景象。
本申请书与Jonathan A，Zarge及William J.Schroeder提出的1992年1月2日提交的序号为No.07/815,772的美国专利申请“减轻多边形网复杂性的方法”及William E.Lorensen提出的1993年10月8日提交的序号为No.08/144,270的美国专利申请“利用布尔组织的几何裁剪”(“组织绘图”)有关，并均转让给本受让人。
有时需要获得从穿过固体受验者的通道内部的视点出发观看到的通道景象。当这个受验者是病人时，就需要观察结肠、肠子、支气管、动脉等的障碍物和结构。内窥镜是这样一种装置，它提供存在于人体内部的中空器官或空腔内部的高分辨率的实时景象。虽然内窥镜检验大部分是非注入式的，但为了减轻病人不适，还是要求服用某些镇静剂或麻醉剂。
类似于内窥镜的内部检视装置可以用于非医疗装置来检视固体结构内部的通道。其中某些是不允许进行内部检视的，因为通道或空腔可能没有通向外界的开口，或者虽有连续的开口通向外界，但却并不大得足以接纳内部检视装置。
内部检视装置的另一个问题是视野仅限于通道内部细小的区域。确定受验者中的精确位置，以便把内部成象装置得到的图像与受验者总体结构联系起来是极其困难的。
为了确定在受验者内部的位置，采用层面X射线照相术(CT)和磁谐振成象术(MRI)来显示受验者的内部解剖。这些方法都是非破坏性的或非注入式的成象技术。使用这些方法来补充内部成象装置的图像，以便把检视的图像与受验者内部的位置联系起来。
在医疗装置中，典型的做法是辐射检验师检视二维断面，并在内心里构造一个三维结构图像，试图把通道内部的图像与受验者内的三维位置联系起来。但当受验者具有复杂的内部结构时，例如在体内呈管状结构并反复地向前向后地穿过截面。
现在需要一种非注入式地显示固体内部通道的图像，而同时呈现所得图像在受验者中的位置。
本发明的一个目的是提供一种显示系统，它非注入式地显示受验者内部空腔的图像，而同时又提供一个标明内部图像的视点在整个受验者中的位置的图像。
本发明的另一个目的是提供一种系统，它使操作者能够检视受验者中的不具有通向外界的开口的空腔的结构和表面。
本发明两种类型的检视图都提供内部“虚拟内窥镜”检视图和说明内窥镜当时位置的总体检视图。
本发明相信是新的特点将在后附的权利要求书中提出。但本发明本身，不论是组织还是操作方法，以及目标和优点，最好参照结合附图所作的说明加以理解。
附图是
图1是本发明系统的简化框图。
图2是显示与本发明的路径规划同时采用的设置二维距离标记方法。
图3是显示按本发明的一个实施例的路径规方法。
图4是计算机产生的一个受验者结肠内部的景象。
图5是用圆柱体符号建立的总的地象，它用圆柱体符号指明了图4图像的视点。
本发明可以使受验者内部通道可视化，并探索通道内部的表面和结构。在图1中显示了一个按照本发明的虚拟空腔检视系统，它由几个子系统组成1.一个图像获取单元21，它能以非注入的方式产生受验者的内部结构的图像信息。它可以是层面X射线照相术(X射线CT)、磁谐振成象术(MRI)或超声波系统；2.分段单元23，它识别这些图像信息所描述的体积内感兴趣的组织；3.为每一个选定的组织构造多边形模型的表面提取器25；4.一个能够转换和处理多边形模型数据组的模型真实感显示器29；5.用来存储图像数据的按功能分隔的存储器；以及6.任选的路径寻找子系统35，计算穿过用户选择的器官的一条“安全的”轨迹。
图像获取层面X射线照相术(X射线CT)、磁谐振成象术(MRI)或超声波系统均可用作图像获取单元21，以获取有关受验者3内部结构的多维图像信息。这些信息可能是以前某个时刻获取并存入存储器10的，或者在需要时也可以是以交互方式获取的。存储器10是按功能分段的，使得不同类型的信息可以独立地存放，而取出时不破坏存于存储器10的其他信息。
分段存于存储器10的图像信息提供给分段单元23，后者分析图像信息并确定具有同样类型的组织的连续地址，并把所有这些地址识别为一个器官。它将信息分割为可识别的固体结构。这里可以采用传统的分段方法。与本发明兼容的分段技术描述于W.Lorensen，H.Cline1988年6月14日发表的美国专利No.4,751,643“确定体内相连的子组织用的方法和装置”。可以采用的第二个方法描述于H.Cline，W.Lorensen 1993年2月16日发表的美国专利No.5,187,658“固体对象内部区域中所含的内部结构的分段系统及方法”，这两个专利均转让给本受让人并附此作参考。
表面提取器一旦图像信息的体象元(voxels)被分段、标以组织/器官标记，就可以用传统的技术，例如描述于Harvey E.Cline及William E.Lorensen 1987年12月1日发表的美国专利No.4,710,876“固体内部区域中所含的表面结构的显示系统及方法”的立方体推进算法，由表面提取器25从图像单元21得到的体积数据产生表面模型。该个专利已转让给本受让人并附此作参考。
立方体推进算法利用线性内插法找出已识别的组织的表面点，以便在由8个相邻体象元定义的“立方体”中找出组织边界。另外，由体象元数据的梯度为每个三角形顶点求出该表面法向单元矢量。对于内窥镜的用途而言，由三角形定义表面比用点或直接体积真实感显示为好，因为体积数据的再内插对于要求的交互真实感显示速度来说计算开销过大。
由于往往要用大量的三角形来构造表面模型，固需使用简化器27来减少表面较平的部分的三角形数量。简化器27可以使用许多已知的简化方法，诸如上述“相关应用的交叉索引”中引用的Zarge，Schroeder所著“简化法应用”一文。简化后的表面仅以较少的细节损失为代价改善真实感显示速度。
显示模型的另一个方法描述于Harvey E.Cline，Siegwalt Ludke及William E.Lorensen 1988年1月12日发表的美国专利No.4,719,585“固体内部区域中所含的表面结构显示用的分割立方体系统及方法”，该个专利已转让给本受让人并附此作参考。该法从体积数据开始，建立一个用若干个点及与每个点有关的法向矢量而不是用多边形描述的表面。“分割立方体”法已经应用于体积数据内所含的表面的显示。
简化法可能不能用于要求常规的空间信息，诸如点和法向显示的显示。
简化器27简化后的图像信息描述了一个三维(3D)表面模型，并存于存储器10中。模型真实感显示器29建立一个从选定的视点看见的三维表面模型。真实感显示器29可以按照传统的计算机图形真实感显示设计来构造。
虚拟摄像机视点本发明可以使用三个方法之中的任何一种，来选择三维表面模型的图像视点，或一系列的图像视点，合起来称为视点路径。
采用第一种方法时，操作者可以通过图形界面31，例如鼠标，控制图像的视点。图形界面31可以移动图像的视点。操作者5还可以通过图形界面31控制视野及真实感显示器29的其他图像参数。这种手工技术最适用于外科手术规划及外科手术模拟。
第二种技术采用称为关键帧的计算机动画技术。真实感显示器29提供受验者3内部结构的图像，还指出内部通道。操作者5通过图形界面31选择不同的视点来观察成为关键帧的图像。一旦建立了关键帧，一个路径平滑单元37便产生一个连接各关键帧的平滑路径。已知的平滑技术，诸如立方样条均可采用。真实感显示器29沿着已平滑化的路径上的视点依次产生图像来播放虚拟影片。这给其他操作者一个印象，好象虚拟的摄像机沿着路径移动。关键帧技术适用于总的摄像机通过开放的内部或外部环境进行运动。
路径规划穿过操作者5想探索的中空的器官乃是一个对上述第一和第二种方法的挑战。在狭窄的空间中进行手工的视点移动是困难的。采用了一种类似于机器人路径规划的技术来为挤迫的空间中图像选择视点。
这一技术自动地寻找穿过通道的路径。操作者5通过图形界面31规定三维空间位置作为图像视点的最终目标。
航行体积计算单元33用体象元到目标的距离来标记所有的体象元。图2显示单个样条的二维距离标记。目标是G点。图2的实现是采用一种穿过体象元的波前传播技术。为了提高效率，距离采用曼哈顿(城市街区)一类的网格确定。航行体积中不是“障碍物”一部分的每个体象元，均加上到目标的整数距离的标记。包含障碍物的体象元不加标记。这一步骤对所有未经处理的相邻的体象元进行重复，结果产生“波前”的处理。当没有新的相邻的波前可以加标记时，加距离标记的工作即告结束。
一旦建立了航行体积，分段模型的样条就像是解剖切片似的，可以显示了。
操作者5还选择一个起点。路径计算单元35便采用传统的方法，最好用以存于存储器10的航行体积的值为依据的最陡下降法，计算出从该体积中选定的起点到目标的一条推荐的视点路径。路径计算单元还能计算出从每一个起点到目标的距离并将其显示给操作者5。图3显示从两个起点算出的路径。
一个路径平滑单元37利用传统的平滑技术计算连接起点和目标之间各选定点的平滑的飞行路径。路径平滑单元35在向目标移动时产生一些小步，所以视点路径上的点数一般都要减为平滑前的1/2或1/3。
一旦产生了视点路径，操作者5就可以通过向真实感显示器29发出相应的信号，开始、停止或沿着算出的视点路径步进。
显示—真实感显示真实感显示器29还可以采用几种不同的显示方案。
1.单个的三维图像—受验者3内部结构表面的真实感显示可以利用商业上可以购到的硬件进行真实感显示。巨大的包裹组织(诸如皮肤)的透明感显示可以无障碍地观察较深的结构，而同时由为用户提供三维的前后关系，如前述“相关应用交叉索引”所引用的“组织映射”应用一文中叙述的。
2.立体—立体镜观察可以增强三维关系的感觉。这要求向操作者5提供两个分开的图像一个相当于左眼看到的，另一个相当于右眼看到的。
3.分开的屏幕—两个景象同时由真实感显示器29显示在显示器39上。一个图像来自操作者5所选的视点用作受验者3的总体参照图，起地图的作用。第二个图像来自空腔内部的视点。
4.我在哪里？—在显示沿着产生的视点路径移动的视点的图像的同时，操作者5可以按图形界面31上的“我在哪里”按钮，使当前的内部图像变成一个总体视图，带有一个符号显示前一个内部视点的位置。
5.在横截面切片上的摄像机轨迹—真实感显示器29在显示器39的一个窗口上显示当前的视点，用一个符号标在由采集单元21采集到的原有的CT或MRI切片。这样就可以参照熟识的截面图进行定位。
试验结果虚拟空腔检视系统在活体一些区域进行检验。
在图4中，层面X射线照相(CT)装置用作获取单元21来获取受验者3内部结构的图像信息。表面提取器25提取出一个由60,000个三角形描述的表面。图4的视图是从沿着穿过结肠的视点路径上的视点看到的。用这个方法选择视点，就可以模拟一般的内窥镜。
图5显示放大了的结肠的总体视图，一个“地图”图像，用圆柱形作符号标出建立图4的图象所用的视点位置。这个地像可以同时由真实感显示器29建立并显示在显示器39上，可以对图4模拟内窥镜景象进行定位。
本发明还使用活体的头盖骨、脑血管和主动脉，全都得出了出色的图像。本发明对诸如血管中的血小板、胃肠中的息肉等在医学上有重要意义的结构提供了增强的可视化，而且不采用注入方式，这导致了潜在的严重疾病的早期发现和治疗。
本发明还可以用于非活体和无生命体。所需要的仅仅是它们的内部结构的图像信息。这些可以用上述方法获取，或者用CAD或CAM方法合成。
图像信息可以各种形式提供，而且不一定需要上述的全部处理过程。例如，若提供的图像信息已经是分了段的信息，则无需分段单元。类似地，如果图像信息是作为表面提供的，表面提取器25就不需要了。另外，如果表面已经简化，则可去掉简化器27。
本发明产生的内部景象模拟用诸如内窥镜一类空腔检视装置所获得的景象类型。与真实的内窥镜景象相比，本发明有下列优点1.对所有的虚拟摄像机参数，包括视场进行交互控制；2.能够穿过器官壁来检视相邻的解剖物；3.可以对空腔内部图像的视点进行三维定位；4.由用户控制沿着计算机产生的路径运动；5.场深无限。
这里对发明的目前比较推荐的实施例进行了详细的描述，但本领域的一般技术人员都会看出可以作很多的修改和变更。因此应该明白，后附的权利要求书意在覆盖所有的修改和变更，因为它们都落在本发明的真实精神的范围以内。
权利要求
1.一个由下列步骤组成的模拟内窥镜的方法a.获取受验者内部结构的图像信息；b.建立这些图像信息的三维表面模型；c.选择起始视点；d.选择目标视点；e.计算连接起始视点和目标点的绕过障碍物的视点路径；f.建立众多的具有在视点路径上的视点的内部图像；g.沿着视点路径位置依次显示这些图像，从而模拟内窥镜。
2.权利要求1的方法，其中计算视点路径的步骤包括a.计算从表面模型的每一个体象元绕过障碍物到目标点的距离；b.以每一个体象元算出的距离来标记该体象元；c.把含有起点的体象元设置成当前体象元；d.把当前体象元加入视点路径；e.确定具有最低标记距离值的并与当前体象元相邻的体象元；f.把具有最低标记距离值的体象元设置为当前体象元；g.重复步骤“d”到“f”，直至达到一个含有目标的体象元。
3.权利要求1的方法，其中计算视点路径的步骤包括a.向操作者显示三维模型的图像；b.与操作者交互，确定视点路径通过的关键帧的位置；c.把起始视点、目标视点及中间的关键帧拟合成一条平滑的视点路径。
4.权利要求1的方法还包括下列步骤a.在视点路径之外选择一个视点；b.产生另一个图像，其视场远远大于视点路径上的视点产生的内部图像，作为“地像”；c.在地像上产生一个任意的符号，指出建立当前显示的内部图像用的视点。
5.权利要求1的方法还包括下列步骤a.从受验者的内部结构的图像信息产生一个横截面图像，其视场远远大于视点路径上的视点产生的内部图像，作为“地像”；b.在横截面图像上产生一个任意的符号，指出建立当前显示的内部图像用的视点。
6.权利要求1的方法，其中a.以视点路径上的视点建立多个立体内部图像对；b.按照视点路径的位置顺序地把立体图像对呈现给操作者，以此模拟立体内窥镜。
7.用来检视一个受验者的内部空腔的虚拟检视系统包括a.一个用来存储图像信息的存储器；b.与该存储器耦合的三维模型显示装置，用来显示从视点路径上选定的视点观察的该存储器中所存的图像信息；c.与操作者交互的图形界面，用以确定起始视点和目标视点；d.耦合到该存储器的航行体积计算单元，用来计算从每个体象元穿过该空腔到目标视点的距离，并建立一个具有各标以其相应的距离的体象元的航行空间。e.耦合到该存储器的路径计算单元，用来计算试点路径上从起始视点到目标视点的最短距离，并将此路径存入该存储器，使三维模型显示装置可以建立一系列图像，就象沿着这条算出的视点路径的点看到的一样。
8.权利要求7要求的虚拟检视系统还包括一个耦合到该存储器的路径平滑单元，用来在三维模型显示装置建立一系列图像之前对视点路径进行平滑化。
9.一个用来检视受验者内部空腔的虚拟检视系统包括a.一个用来存储图像信息的存储器；b.与该存储器耦合的三维模型显示装置，用来象从视点路径上选定的视点观察到的一样地显示该存储器中所存的图像信息；c.与操作者交互用的图形界面，用以确定起始视点、目标视点以及内部空腔内的称为关键帧的中间视点；d.一个耦合到该存储器的路径平滑单元，用来建立连接起点、目标及中间视点的平滑了的视点路径，并将该路径存入该存储器，使三维模型显示装置能够建立一系列图像，就象从沿着这条算出的视点路径上的点看到的一样。
全文摘要
本发明非注入式地提供从空腔内部的视点看到的受验者空腔的图像。一个信息获取单元获取关于受验者内部结构的图像信息。这些信息被分段成单独的结构，并构造一个三维表面模型。操作者观察三维模型图像，以选定起始视点和目标视点。建立一个视点路径，连接起始视点及目标视点。以该视点路径上的视点建立图像。一系列附加的可视化技术帮助观察者确定当前图像视点的位置及其与受验者的关系。
文档编号G09B23/28GK1135047SQ9511818
公开日1996年11月6日 申请日期1995年11月22日 优先权日1994年11月23日
发明者W·E·洛伦森, F·A·佐列茨, R·基基尼斯 申请人:通用电气公司