专利名称：交互式四维虚拟内窥镜检查术的方法和设备的制作方法
技术领域：
本发明通常涉及妊式四维(4D)成像，并且更特别地涉及用于心脏成像 的四维虚拟内窥镜检查术。
背景技术：
虚拟内窥镜检查术允许由预先捕获的数据所建立的场景的可视化。禾拥由 用户妊式地操纵的虚拟摄像机来产生图像。下面，首先对目前〗顿的成像技 术以及如何可视化所捕获的数据进行简要回顾。
目前，依照现有技术，计^m断层扫描(CT)和磁共振(MR)成像是用 5W获患者的解剖学图像的两种流行的成像技术。利用CT，由旋转扫描仪所拍 摄的不同的X射线图像被用于重^维体积。不同部分和内部解剖学部分的图 ^ffl常会以不同^^的图像呈现。禾,MR共振，受m^T的弛豫时间被测 量。^ffi正确的参数，育^对不同的组织进行成像。这两种技术都提供了适用的 分辨率。在另一有前景的三维成像技术中，超声波通过对来自超声波发射器的 声回声进行定位而被用来产生图像。最近的硬件设备允许数据的三维捕获。
也能利用二维超声波帧的合成来对三维体积进行内插。所捕获的 育, 在体绘制器中、在虚拟内窥镜检查术中被可视化或被可视化为单个切片。切片 可以是任何任意的切片，被称为多平面重建(MPR)。通51操纵这些切片，能得
到体积的三维场景。在体绘制器中，数据被直接显示为三维。能围绕该体积旋
转，并且能放大繊小(zoom or pan)该1^只。通^l魏煤些强度的数据，不 同的组织被展现。作为观察内部的附加帮助，体积肖,被任意平面切割或截断。 在虚拟内窥镜检查术中，^m摄像机被定位在该体积之内。摄像机能够移 动或旋转，并且能改变诸如其视野的摄影参数。选择等值面的值用于定义构成 体积中的空腔的东西。强度低于这个值会被认为是空腔，而强度高于这个值会 被绘制为不透明物。在内窥镜检査视图中，所看见的分界因此取决于等值面的 值。
为了绘制虚拟内窥镜检査视图，以下两种方法被使用光线投射和等值面 可视化。第一种方法透射来自虚拟摄像机的光线，并且检领恍线何时射中该体 积。在分界处，曲面法线被用于计算当前像素的正确的采光。每条光线都在屏 幕上生成像素。第二种方法从该体积中提取等值面，例如，利用移动立方体算 法来提取等值面。得到的网格被放置在三维世界中，并且虚拟摄像机能够对该 网格进行导航。这育^(多利用OpenGL或任何其他合适的图形语言来有效完成。 背景信息可以在文献中被查找到例如，参见下面引用的文献。
目前的可视化现有技术多数保矛 态。对于现有内窥镜检查方法的广泛回 顾例如参见，Anna Vilanova i Bartroli的"Visualization Techniques for Virtual Endoscopy (虚拟内窥镜检査术的可视化技术)"(博士论文，维也纳工业大学， 2001年9月)。
四维体绘制器和动态MPR目前是可用的例如参见Kostas Anagnostou、 Tim J. Atherton、 Andrew E. Waterfall的"4D volume Rendering With The Shear Warp Factorisation" (Proceedings of the 2000正EE Symposium on Volume Visualization.， 第129-137页，2000年)；然而，这份材料并没有说明四维J^以内窥镜检查术系 统。
在提供有助于获得对本发明的更好的理解的背景资料方面有用的教科书例 如包括《VIRTUAL ENDOSCOPY and RELATED 3D TECHNIQUES (jtj以内窥 镜检查术和相关的三维技术)》(P.Rogalla等，Springer,Berlin&NewYoik， 2002 年)、{FUNDAMENTALS OF IMAGE PROCESSING (图像处理的基本原理)》 (Arthur R. Weeks, SP正Optical Engineering Press &正EE Press; 1996年)、 《MAGE PROCESSING ANALYSIS, AND MACHINE VISION (图像鹏、分析
和机器视觉)》(第二版，Milan Sonka等，PWS出版；1999年)以及《DIGITAL MAGE PROCESSING (数字图像处理)》(第二版，Rafael C. Gonzalez等， Prentice Hall; 2002年)。
发明内容
依照本发明的方面，其中四维可视化对应于三个维数加上时间，内窥镜检 查可视化利用心脏成像数据，诸如利用来自计算机断层扫描(CT)、磁共振(MR) ，声波(US)成像的数据。系统允许对来自心脏内部的动态场景的可视化， 并且能被用作诊断工具或用于外科手术规划。与三维静态内窥镜检查可视化比较，所述系统为用户提供更多的视觉信息。
依照本发明的方面， 一种用于四维(三维+时间)内窥镜检查可视化的系统 利用心脏成像数据，诸如利用计算机断层扫描、磁共振或超声波成像。依照本发明的系统允许如从心脏内部观察到的动态场景的可视化。该系统能被用于诊断或用于外科手术规划。如与三维静态内窥镜检查可视化相比较的那样，该系统为用户提供更多的视觉信息。
依照本发明的方面， 一禾中四维虚拟以内窥镜检查术的方法包括从成像设备捕获患者心脏的心脏图像序列；捕获展示心脏的心动周期的心电图信号；以及利用该心电图信号；以及利用该心电图信号来选通(gate)图像，用于由每个相对应的心动周期共同的经选择的相位点处的相应心脏图像在相对应的心动周期接连地导出相应的三维视图。
依照本发明的另一方面，用于导出相应的三维视图的步骤包括将心脏图像放置在三维空间中并重建体积。
依照本发明的另一方面，捕获心电图信号的步骤包括检测心动周期的步骤和交互式选择相位点的步骤。
傲照本发明的另一方面，用于导出相应的三维视图的步骤利用(a)光线投射算法和(b)网格提取算法中的一种。
依照本发明的另一方面，用于导出一系列相应的三维视图的步骤包括修改三维视图，以便以所述顺序产生下幅三维视图。
依照本发明的另一方面，用于导出一系列相应的三维视图的步骤包括感测 (sensing)患者的呼吸和排除不在呼吸周期的相同相位中的图像的步骤。
依照本发明的另一方面，用于导出一系列相应的三维视图的步骤包括感测 患者体内导管突发移动和排除其中发生这种突发运动的图像的步骤。
依照本发明的另一方面，用于捕获心脏图像序列的步骤包括利用虚拟摄 像机的步骤；和将虚拟摄像机虚拟地附着到患者心脏的壁图像上以便产生基本 上稳定的心脏图像的步骤。
^M本发明的另一方面， 一种四维(4D)虚拟内窥镜检查术的方B括 捕获展示患者器官运动周期的该器官的运动信号；从成像设备捕获该器官的三 维(3D)图像序列；利用运动信号^il图像，用于由每个相对应的运动周期 共同的经选择的相位点处的相应器官图像在相对应的运动周期接连地导出相应 的三维视图。
依照本发明的另一方面，用于捕获三维视图序列的步骤包括以下步骤之一: (a)禾,具有多个换能器阵列的实时三维超声波成像设备，和(b)利用在空间 上收集数据的被追踪的超声波成像设备。
依照本发明的另一方面，禾,在空间上收集数据的被追踪的超声波成像设
备的步骤包括利用Acunav，系统。
依照本发明的另一方面， 一种用于执行四维(4D)虚拟内窥镜检查术的系 统包括存储设备，用于存储程序和其他数据；以及与存储设备进行通信的处 理器，该鹏器运行该禾辨来执行从成像设备捕获患者心脏的心脏图像序列； 捕获展示心脏的心动周期的心电图信号；禾诉拥心电图信号选通图像，用于由 每个相对应的心动周期共同的经选择的相位点处的相应心脏图像在相对应的心 动周期接慰也导出相应的三维(3D)视图。
依照本发明的另一方面， 一种用于执行四维(4D)虚拟内窥镜检查术的系 统包括用于捕获展示患者器官运动周期的该器官的运动信号的设备；用于从 成像设备捕获该器官的三维(3D)图像序列的设备；和用于利用运动信号総 通图像的设备，用于由每个相对应的运动周期共同的经选择的相位点处的相应 器官图像在相对应的运动周期接连地导出相应的三维视图。
依照本发明的另一方面，计算机程序产品包括具有被记录在其上的、针对 禾聘代码的计算机程序逻辑的计算机可用介质，用于执行四维(4D)虚拟内窥 镜检查术，其包括从成像设备捕获患者心脏的心脏图像序列；捕获展示心脏 的心动周期的心电图信号；和利用心电图信号，通图像，用于由^相对应的心动周期共同的经选择的相位点处的相应心脏图像在相对应的心动周期接连地导出相应的三维(3D)视图。
结合附图，本发明将由下面的详述得到更全面的理解，其中
图1示出依照本发明原理的由相应的心动周期中的相同给定的心脏相位的帧在相对应的不同心动周期重建多个三维体积；
图2示出依照本发明的^ 以内窥镜检查术的接连生成的视图3-7示出依照本发明原理的各步骤的示意性流程图；以及
图8以方框示意图的形式示出数字计算机在本发明中的应用。
具体实施例方式
为了更清楚地说明，本发明将根据示例性实施例进行描述；然而，可以理 解的是，特定实施例的详细说明并不意图限制本发明，而是帮助说明。可以理 解的是，在本上下文中对例如摄像机和摄像机附件的弓阅通常是指虚拟等价物。
依照本发明的方面， 一种用于交互式四维虚拟内窥镜检查术系统的方法和 系统的总框架包括
由三维图像重建四维体积；
t賴恸态内窥镜检查场景；
^5式操纟i^J以内窥衞以及 ^s式调整系统参数。
四维CT和MR体积是从扫描j组接获得的。这些方法的说明可在文献中 得到，并且不必在此详细重复。因此，在lt树本发明的实施例的说明中，将说 明如何使用三维超声波(US)图像来重建四维体积的方式。超声 列或者利 用具有多个换能器阵列的实时三维超声波或者禾,在空间上收集数据的被追踪 的Acunav，来捕获。这样捕获的图像被放置于三维空间中，以重建体积。结合 可适用的心电图信号(ECG)， US帧被选通且由对应于相同的心脏相位(cardiac phase)的帧创建多个三维体积。结果为被重建的四维体积。
如下面将参考图1和图2说明的那样，动态场景的绘制要求在^连续帧 处使用不同的三维数据集。依照本发明的系统使用单个三维体积来生成内窥镜
检查视图，且在每个新时间步长改变三维体积。每个单幅图像生成可以使用任 意虚拟内窥镜检查术成像。例如可以是如在前面部分所描述的光线SI寸算法或 者网,取算法。该算法也可以被硬件加速，用于动态场景的平滑可视化。
如同静态戯以内窥镜检查术一样，内窥镜可以由用户进行妊式操纵。依
照本发明的实施例包括摄像机旋转指令；摄像机平移指令；摄像机倾斜指令和 摄像机鹏选择指令。
依照本发明的系统的实施例也包括绘制器参数调整项目，诸如包括
改变等值面的值；
改变等值面的颜色；
改顿光和鹏；
改变图像分辨率；和
(例如，M采用平均过滤器或中值滤波器)平滑所会魏啲翻。 这些摄像机和纟魏U器的固有特性可以被保存和被加载。预置也是可用的。
例如，在体积加载之后，摄像机被自动放置在左心房并指向肺静脉。依照本发
明的系统可以处理不同的模态，诸如处理CT、 MR或者三维复合超声。每种模
态都要求参数调整项目，这些项目配备有可用的预置。
另外，依照本发明的系统的实施例提供时附旨令，这些时间指令可以包括
诸如以下的指令
时间导航条，其包括播放和暂停按钮、停止按钮、快进按钮和快退按钮。 以电影文件形式记录内窥镜检查视图的指令；以及 改变动态场景的帧频的指令。
这些控制被用于理解场景中包括的动态化。这些控制可以被用于诊断。例 如，运动异常可以利用帧通过帧分析而被检测出来。
此外，傲照本发明的系统的实施例包括诸如实时虚拟以内窥镜检查术的特征; 利用超声波，能够实时完成捕获(最新可用的三维体积能被用于绘制算法)。
当场景为动态时，得到快速移动结构的稳定可视化是很困难的。可以设想
将摄像机位置与壁上的表面点"绑定"，其中摄像机就可与该点一起运动，以致 在屏幕上看来是静态的。
因此，依照本发明的实施例可包括将摄像机附着到图像中的壁或表面的特 征，该壁戯面例如在心脏的情况下可以是心内膜。时间标记也可被提供，其中表面上的点被标记且在之后随时间变化而被追 踪，因而允许可视化和分析标记运动。
碰撞检测也可被提供，以致当用户移动摄像机时，系统检测到摄像机与某 个体积的等值面碰撞，以致摄像头不能跨越，面移动。
利用有效的四维路径生成算法供给更简单的心脏内导航，如在任何时候都 将摄像机约束在心脏之内那样。
如图1和2中所示，在使用三维超声波图像的情况下，测试M使用心内
回声而被执行。图1示出由相应的心动周期中的相同给定心脏相位的各帧在相
对应的不同心动周期重建多个三维体积。参考编号io表示被用于进行M的心
动周期波形，其中箭头状的线指向下面的相应帧12—18。与给定帧相对应的代 表性的、被重建的三维fl^只通过编号20 *^:。
图2示出虚拟内窥镜检查术的相继生成的视图(A)、 (B)和(C)。尽管前 述的说明性实例利用了心内回声，但是明显地，本发明方法也适用于普通的心 脏超声心动图。
图3-7提供了对本发明方法的4樣性实施例的操作的进一步理解，这些图 提供了本发明方法的多个方面的流程图。
图3示出ECG信号源22，该ECG信号源22将波形信号提供给心动周期 检测器和相位点选择器30，该心动周期检测器和相位点选择器30被耦合到用于 进行相位点选择的妊式控制器32。在24，捕获超声波图像序列，并且在26， 这些图像被放置在三维空间中，在该三维空间中，体积图像被重建并且然后在 28被M。与来自选择器30的信号合作，在34，由对应于相应的连续心动周 期中的经选择的心脏相位点的帧生成多个三维视图，并且其后在36输出这些三 维视图。
图4示出ECG信号源22，该ECG信号源22将波形信号提供给心动周期 检测器和相位点选择器30，该心动周期检测器和相位点选择器30被耦合到用于 进行相位点选择的妊式控制器32。在46，感测到了相应的连续心动周期中的 乡魏择的心脏相位点的出现。在48，来自选择器30的舰信号育,M图像， 用于生成三维视图。
在图5中，在50，由对应于相应的连续心动周期中的经选择的心脏相位点 的帧生成多个三维视图，且在52，存储这些三维视图。在54，在所存储的视图
与下幅或接连的视图之间进行比较。在56，所存储的视图被修改来使其与下幅
视图一致。
图6在28示出图像的iiffl，用于生成三维视图。来自呼吸传感器60的信 号被施加到呼吸门控电路(respiratory gate) 62，用于相对应:tte31图像。导管 突发移动检测器64在66提供用于M功能的、代表这种突发移动的信号，使 得在68由对应于相应的连续心动周期中的经选择的心脏相位点的帧生成多个三 维视图，这些帧不包括未被呼吸门控电路和导管突发移动门控电路选通的帧。 这些视图在36被输出到图像处理和查看设备。
图7在70示出多个三维视图的生成，MJOT光线投射算法或网格提取算 法由对应于相应的连续心动周期中的经选择的心脏相位点的帧来生成这些三维 视图。
显而易见地，本发明最好被意图利用和应用结合被编程的数字计算机的成 像设备来实现。图8以基本示意的形式示出用于本发明实施例的数字处理器， 该数字处理器皮耦合用于与输入设备、输出设备和存储设备进行双向 通信。 在82，数据总线80将诸如ECG、超声波设备或CT扫描设备或mri扫描设备 的输入设备耦合到处理器86和图形卡、存储器84、输出设备88以及交互， 户控制器90。
存储设备通常被用于存储程序和其他数据。依照本发明，输入设备在广义 上被如此命名为用于提供适当的一幅或多幅图像用于进行处理的设备。例如， 输入可以来自成像设备，该成像设备诸如是被并入catscan的设备、x射线
机、mri或其它设备，或者输入是所存储的图像，或舰与其它计^m或设备
利用直 行通信、调制过的红外光束、无线电波、陆线、传真或卫星如例如 通过万维网或因特网那样进行输入，或者输入是任何其它适当的这种数据源。 输出设备可以包括使用任意适当设备的计算机型显示设备，这些适当的设备诸 如是阴极射线显象管、等离子体显示器、、液晶显示器等等，或者输出设备也可 包括或不包括用于绘制图^象的设备，以及可包括图8的存储设备或该存储设备 的部分，用于存储图像，以进行进一步地处理，或用于查看、或评估(如可更 方便的那样)，或者输出设备可以禾佣包括诸如上面关于输入设备所述的连接或 耦合。处理器运行依照本发明所设置的程序，用于实现本发明的步骤。这样的 被编程的计算机可ffiil诸如陆线、无线电、因特网等等的通信介质很容易地连接，用于进行图像娜捕获和传输。
本发明可以很容易地(至少部分地)被实现软件存储设备并且被包装在软 件存储设备中，该软件存储设备形成为软件产品。这可以是计^t几程序产品的 形式，该计算机程序产品包括具有被记录在其上的、针对程序代码的计算机程 序逻辑的计算机可用介质，用于执行本发明方法。
本发明并不被限于心脏应用。为方便起见，出于说明的目的，实施例被描 述为心脏设置，但是本发明也适用于具有诸如呼吸运动的周斯性运动的人体其 它部分。
本发明也例如使用说明性的示例性实施例部分被说明。可以理解的是，利 用示例性实施例的说明并不是为了对其进行限制，而是为了本发明可以广泛地 应用，利用示例性实施例也助于说明其原理，而又不失一般性。
也应该理解的是，所属领域的技术人员可以对其进行各种没有在此详细描述 的改变和替换。在不偏离由随后的权利要求所限定的本发明的精祌和范围的情 况下，可以进行这种改变和替换。
权利要求
1.一种执行四维虚拟内窥镜检查术的方法，该方法包括从成像设备捕获患者心脏的心脏图像序列；捕获展示所述心脏的心动周期的心电图信号；以及利用所述心电图信号选通所述图像，用于由每个所述相对应的心动周期共同的经选择的相位点处的相应心脏图像在相对应的心动周期接连地导出相应的三维视图。
2. 如权利要求l所述的方法，其中，所述用于导出相应的三维视图的步骤 包括将所述心脏图像放置在三维空间中并重建^f只。
3. 如权利要求l所述的方法，其中，所述捕获心电图信号的步骤包括检测 所述心动周期的步骤和交互式选择所述相位点的步骤。
4. 如权利要求l所述的方法，其中，所述用于导出相应的三维视图的步骤 利用以下算法之一(a)光线投射算法和(b)网,取算法。
5. 如权利要求1所述的方法，其中，所述用于导出一系列相应的三维视图 的步骤包括修改三维视图，以便以所遗l顷序产生下幅三维视图。
6. 如权利要求l所述的方法，其中，所述用于导出相应的三维视图的步骤 包括感测所述患者的呼吸并且排除所述图像中受所述呼吸影响的图像的步骤。
7. 如权利要求l所述的方法，其中，所述用于导出相应的三维视图的步骤 包括感测所述患者的呼吸和呼吸周期并且排除不在呼吸周期的相同相位中的图 像的步骤。
8. 如权利要求l所述的方法，其中，所述用于导出相应的三维视图的步骤 包括感测所述患者体内导管突发移动并且排除所述图像中受所述导管突发移动 影响的图像的步骤。
9. 如权利要求l所述的方法，其中，所述用于捕获心脏图像序列的步骤包括禾拥戯以摄像机的步骤；禾口将所述虚拟摄像机虚拟地附着至断述患者的心脏的壁图像以便产生所述心 脏的基本上稳定的图像的步骤。
10. —种执行四维lfej以内窥镜检查术的方法，该方法包括捕获患者器官的运动信号，所^动信号展示所述器官的运动周期； ,A^像设备捕获所述器官的三维图像序列；以及禾,所述运动信号M所述图像，用于由每个所述相对应的运动周期共同 的经选择的相位点处的相应器官图像在相对应的运动周期接连地导出相应的三 维视图。
11. 如权禾腰求10所述的方法，其中，所述捕获三维视图序列的步骤包括 以下步骤之一(a) 利用具有多个换能器阵列的实时三维超声波成像设备，禾口(b) 禾,在空间上收集 的被超宗的超声波成像设备。
12. 如权利要求10所述的方法，其中，所述禾,在空间上收集数据的被追 踪的超声波成像设备的步骤包括利用Acunav，系统。
13. 如权利要求10所述的方法，其中，所述捕获运动信号的步骤包括检测 所述运动周期的步骤和交互式选择所述相位点的步骤。
14. 如权利要求10所述的方法，其中，所述导出相应的三维视图的步骤包 括修^H维视图，以便以所逸ltW产生下幅三维视图。
15. 如权利要求10所述的方法，其中，所述导出相应的三维视图的步骤 包括感测所述患者的呼吸和排除所述图像中受所述呼吸影响的图像的步骤。
16. 如权利要求10所述的方法，其中，所述导出相应的三维视图的步骤包 括感测所述患者体内导管突发移动和排除所述图像中受所述导管突发移动影响 的图像的步骤。
17. 如权利要求10所述的方法，其中，所述用于捕获心脏图像序列的步骤包括禾,j^以摄像机的步骤；禾口将所述虚拟摄像机虚拟地附着至U所述患者的器官的壁图像上以便产生所述 器官的基本上稳定的图像的步骤。
18. —种用于执行四维虚拟内窥镜检查术的系统，该系统包括 存储设备，用于存储程序和其他 ;以及与所述存储设备进纟M信的处理器，所述处理器运行所述程序来执行 从成像设备捕获患者心脏的心脏图像序列； '捕获展示所述心脏的心动周期的心电图信号；禾口禾,所述心电图信号M所述图像，用于由^所述相对应的心动周期共同 的经选择的相位点处的相应心脏图像在相对应的心动周期接连地导出相应的三 维视图。
19. 如权利要求18所述的系统，其中，所述用于导出相应的三维视图的步 骤包括将所述心脏图像放置在三维空间中并重建体积。
20. 如权利要求18所述的系统，其中，所述捕获心电图信号的步骤包括检 观術述心动周期的步骤和妊式选择所述相位点的步骤。
21. 如权利要求18所述的系统，其中，所述用于导出相应的三维视图的步 骤利用以下算法之一(a)光线投射算法和(b)网,取算法。
22. 如权利要求18所述的系统，其中，所述用于导出相应的三维视图的步 骤包括修改三维视图，以便以所逾顷序产生下幅三维视图。
23. —种用于执行四维虚拟内窥镜检查术的系统，该系统包括 用于捕获患者器官的运动信号的，，所述运动j言号展示所述器官的运动周期；用于从成像设备捕获所述器官的三维图像序列的装置；禾口 用于禾,所述运动信号选通所述图像的装置，用于由^所述相对应的运动周期共同的经选择的相位点处的相应器官图像在相对应的运动周期接连地导出相应的三维视图。
24. —种计算机程序产品，其包括计^m可用介质，该计^m可用介质具有被记录在其上的、针对程序代码的计算机程序逻辑，用于执行四维虚拟内窥 镜检查术，其包括从成像设备捕获患者心脏的心脏图像序列；捕获展示所述心脏的心动周期的心电图信号；以及禾,所述心电图信号m所述图像，用于由^所述相对应的心动周期共 同的经选择的相位点处的相应心脏图像在相对应的心动周期接连地导出相应的 三维视图。
25. 如权利要求24所述的计算机程序产品，其中，所述捕获心电图信号的 步骤包括检测所述心动周期的步骤和5ffi式选择所述相位点的步骤；并且其中， 所述用于导出一系歹湘应的三维视图的步骤包括修改三维视图，以便以所逾顿 序产生下幅三维视图。
全文摘要
一种执行四维虚拟内窥镜检查术的方法包括从成像设备捕获患者心脏的心脏图像序列；捕获展示心脏的心动周期的心电图信号；以及利用心电图信号选通所述图像，用于由每个相对应的心动周期共同的经选择的相位点处的相应心脏图像在相对应的心动周期接连地导出相应的三维视图。
文档编号G06T15/08GK101190124SQ200710307178
公开日2008年6月4日 申请日期2007年11月8日 优先权日2006年11月8日
发明者C·徐, F·绍尔, H·J·A·隆贝尔特, Y·孙 申请人:美国西门子医疗解决公司