专利名称：融合3d体绘制图像上拾取和根据拾取动作更新相应视图的制作方法
技术领域：
本发明涉及象诸如MR、 CT、 PET之类的医学扫描器生成的规则网 格体积集的可视化。
更具体而言，本发明涉及多重体积的融合的3D体绘制。
背景技术：
对于以无创的方式检查患者的体内的需要允许本发明具有几种体 积扫描模式，比如MR、 CT或PET。这些扫描器产生在叠加于被研究对 象上的精细体积网格上测量的物理性质的大体积数据集。
各种扫描模式根据不同测量物理性质产生揭示诊断信息的数据 集。这使得每种扫描模式更适合于特定检查。CT扫描器更适合于可视 化具有不同密度的解剖部分(象例如骨)之间的边界。由于根据与氢原 子的结合来区分组织，所以MR扫描器在区分软组织方面更好。PET扫 描器测量代谢活动，从而使得它们适合于检测癌症的早期。除了所测量 的物理性质之外，扫描器的测量分辨率也有很大不同，CT具有高分辨 率，MR具有中等分辨率，而PET具有低分辨率。
有时一种特定扫描器所揭示的信息对于精确诊断或外科干预来说 是不够的。在这些情况下患者需要由多重扫描模式进行扫描。由于对于 患者的被扫描部分中的每个位置具有这些多重扫描体积数据集，所以现 在有多重测量值将要被考虑。多重测量值的组合允许更精确的诊断或外 科干预的更精确计划。最常见的是，PET和CT体积被组合以允许癌症 的更好治疗。
多重体积数据集的组合使用的另 一 个实例出现在特定疾病的发展 的评价或比较手术前和手术后状况的跟踪研究中。在这种情况下，来自 相同或不同扫描模式在不同时间实例的扫描结果的体积数据集将被组 合。
一旦多重体积数据集可用，检查者就希望将多重体积作为一个融合 体积来可视化。融合体积将作为一个扫描体积呈现给检查者，其中每个 体积网格交点具有多重测量值。为了在多重测量值之间进行区别，它们
常常被赋予不同颜色。融合操作可以根据混合算子和可变融合权重来混 合多重颜色。这使检查者能够单独地或以任何融合组合来可视化任一多
重体积。
由于多重体积数据集的测量网格可以在分辨率和方向上不同，因此 它们需要被配准。配准过程将保证多重体积的测量网格被定标和旋转以 使它们映射到患者中的相同位置。刚性配准由多重数据集的定标和旋转 组成。非刚性配准也考虑到患者可能的变形。当身体形状在每个扫描实 例不同时，需要非刚性配准将测量网格正确地映射到患者中的相同位 置。
以前仅仅可以以2D方式通过滚动切片的叠层来检查体积数据集。 每个切片表示患者与虛拟切割平面的相交图像。为了以3D直接检查体 积数据集，已经发明了在3D表示中显示体积的体绘制方法。这些方法 包括直接体绘制(DVR )、最大强度投影(MIP )、最小强度投影(MinIP )、 平均强度投影、数字射线照相重建(DRR)、双对比钡灌肠模拟(DCBE)。 这些体绘制方法使检查者能够以3D来旋转、缩放和平移体积数据集。
由于融合的体绘制，所以将多重配准体积数据集作为3D中的一个 融合体积来可视化变得可能。检查者常常希望选择融合的3D体绘制图 像的特定像素和在患者中的相应3D位置上执行动作。寻找与绘制的像 素有关的相应3D位置被称为拾取(picking)。所期望的拾取动作可以 包括围绕所拾取的3D位置重定其他显示视图的中心，将包括测量值 和标记的3D注释添加到所拾取的3D位置，利用所拾取的3D位置作为 种子点开始分割操作。
假定每个像素是多重配准的体绘制图像之间的融合操作的结果，这 使得如何寻找所拾取的3D位置不是显而易见的。
直到现在，在体绘制图像上的拾取被限制为基于单体积的体绘制。 在基于多重体积的融合的体绘制的情况下，在现有技术中没有方法被知 道用于执行拾取。
在文献中描述了体积融合的几种方式。
出版物Maria Ferre, Anna Puig和Dani Tost的"A framework for fusion methods and rendering techniques of multimodal volume data"; Computer Animation and Virtual Worlds Archive, Vol. 15， Issue 2 ( 2004年
5月)描述了在融合的体绘制流水线的所有阶段应用融合的各种方式。
融合由在不同流水线阶段的所计算的性质的加权平均值来执行。权重可 以是固定的或者是数据范围相关的。
出片反物[2]: Ravi Managuli, Yang Mo Yoo, Yongmin Kim的"Multi-volume Rendering for Three-dimensional Power Doppler Imaging" , IEEE Ultrasonics Symposium, 2005描述了类似的融合技术并且在复合融合和 后融合之间进行区分，类似于出版物[1]的材料/阴影融合和颜色融合。 然而，复合融合进行来自两个体积之一的体素的数据相关选择而不是加 权。
出版物[3]: F. R6ssler, Eduardo Tejada, Thomas Fangmeier, Thomas Ertl, Markus Knauff 的 "GPU岡based multi-volume rendering for the visualization of functional brain image" , SimVis 2006 ( 305-318 )描述了 适合于在GPU上执行的交替的切片复合体积融合技术，这类似于[l]的 材料/阴影融合，而不进行加权。
并非所有以上融合方法都适合于拾取。绘制后的融合单独地绘制体 积，并且之后融合所绘制的图像。对于这种技术，融合的拾取未被定义。 拾取可以在n个单独绘制的体积上被执行，从而导致n个拾取结果，但 是不可能将这n个拾取结果组合成在视觉上有意义的一个拾取点。为了 避开该问题，现有技术将融合拾取限制到用于融合的体积之一。出版物 [4]: Gobbetti E等人的"Interactive Virtual Angioscopy", Proceedings IEEE Visualization, pages 435-438, IEEE Computer Society Press ( 1998年10 月)描述了单体积拾取的实施。
本发明的 一 个方面是提供 一 种在多重体积的融合的体绘制图像上 拾取的方法。
本发明的另 一方面是根据依赖于拾取点的拾取动作来更新单独或 融合的体积的其他同时显示的视图。
发明内容
上述方面通过具有权利要求1中所述的特定特征的方法来实现。 本发明提供一种在多重配准体积的复合前融合的体绘制图像上进 行加权点拾取的方法，该方法包括以下步骤 -选择所绘制的像素， -通过所绘制的像素来寻找投影射线， -寻找投影射线与融合体积的相交段， -根据横向交点来横穿该相交段，
对于每个横向交点
-在横向交点处查找每个体积的体积样本， -在体积样本上应用可选的转移函数和阴影， -在体积样本之间执行加权的融合操作， -将融合结果与属于先前横向交点的先前融合结果进行复合， -评价在每个横向交点处导致最终复合结果的结果条件， -输出达到结果条件的横向交点的坐标以作为拾取点。 在从属权利要求中阐述了本发明的优选实施例的特定特征。 融合权重可以被交互地改变并且影响拾取结果。由于复合前融合 (在复合之前的融合)，所以拾取点将自然地对应于用户将如何直观地 关联所绘制选择的像素与3D中的一点。当一个体积具有小权重因子
具有更高可见度的3D点，除非在所选择绘制的像素的相交射线段，前 者的密度高而后者的密度低。
当前描述的融合拾取可以应用于体绘制、最大强度投影(MIP)或 最小强度投影(MinIP)。
对于体绘制，复合公式被改变以对体绘制的线积分进行从前向后迭 代积分。当复合的不透明度值超过典型为95%的某个值时达到结果条 件。
对于MIP或MinIP,复合公式被改变以计算在所算出的融合值和先 前计算的复合值之间的最大值或最小值。在融合结果达到最大或最小值 的横向交点处满足结果条件。
在一个实施例中，才艮据依赖于拾取点的拾取动作来更新单独或融合 的体积的其他同时显示的视图。拾取动作可以围绕拾取点来重定视图的 中心。
在一个可选实施例中，拾取动作是添加3D注释，例如3D标记和 3D测量值，并且拾取点是参考点。
在又一可选实施例中，拾取动作是分割，并且拾取点是种子点。 其他显示的一见图可以包括MPR。
其他显示的视图可以包括3D体绘制视图，所述3D体绘制视图包
括外部3D视图、内窥镜3D视图、感兴趣体积视图、厚MPR等。
在所有这些情况下的体绘制方法包括下列之一直接体绘制，最大
强度投影(MIP)，最小强度投影MinIP，平均强度投影，数字射线照
相重建(DRR)，双对比钡灌肠模拟(DCBE)。
其他显示的视图可以包括分割结果的绘制和3d注释的绘制。实施。
所述计算机程序通常被存储在计算机可读载体介质上。
权利要求
1.一种在多重配准体积的复合前融合的体绘制图像上进行加权点拾取的方法，包括以下步骤-选择所绘制的像素，-通过所绘制的像素寻找投影射线，-寻找投影射线与融合体积的相交段，-根据横向交点来横穿该相交段，对于每个横向交点-在横向交点处查找每个体积的体积样本，-在体积样本上应用可选的转移函数和阴影，-在体积样本之间执行加权的融合操作，-对融合结果和属于先前横向交点的先前融合结果进行复合，-评价在每个横向交点处导致最终复合结果的结果条件，-输出达到结果条件的横向交点的坐标以作为拾取点。
2. 根据权利要求1所述的方法，其中权重值被交互地改变以影响 体积融合，并且因此影响拾取点。
3. 根据权利要求1所述的方法，其中复合方法包括体绘制，并且 结果条件超过某个复合的不透明度值。
4. 根据权利要求1所述的方法，其中复合方法包括最大强度投影 (MIP)或最小强度投影(MinIP)，并且结果条件达到最大或最小复合值。
5. 根据权利要求1所述的方法，其中根据依赖于拾取点的拾取动 作来更新单独或融合的体积的其他同时显示的视图。
6. 根据权利要求5所述的方法，其中拾取动作围绕拾取点来重定 视图的中心。
7. 根据权利要求5所述的方法，其中拾取动作是添加包括3D标记 和3D测量值的3D注释，并且拾取点是参考点。
8. 根据权利要求5所述的方法，其中拾取动作是分割，并且拾取 点是种子点。
9. 根据权利要求5所述的方法，其中其他显示的视图包括MPR。
10. 根据权利要求5所述的方法，其中其他显示的视图包括3D体 绘制视图，所述3D体绘制视图包括外部3D视图、内窥镜3D视图、感 兴趣体积视图、厚MPR。
11. 根据权利要求5所述的方法，其中其他显示的视图包括分割结 果的绘制和3D注释的绘制。
12. 根据权利要求1所述的方法，其中体绘制方法包括直接体绘制、 最大强度投影(MIP)、最小强度投影MinIP、平均强度投影、数字射 线照相重建(DRR)、双对比钡灌肠模拟(DCBE)。
13. —种计算机程序产品，其在计算机上运行时适于执行权利要求 1所述的步骤。
14. 一种计算机可读载体介质，包括适于执行权利要求1所述的步 骤的计算机可执行程序代码。
全文摘要
本发明公开了融合3D体绘制图像上拾取和根据拾取动作更新相应视图。一种在多重配准体积的复合前融合的体绘制图像上进行加权点拾取的方法包括选择所绘制的像素，通过所绘制的像素寻找投影射线，寻找投影射线与融合体积的相交段，根据横向交点来横穿该相交段，并且对于每个横向交点在横向交点处查找每个体积的体积样本，在体积样本上应用可选的转移函数和阴影，在体积样本之间执行加权的融合操作，对融合结果和属于先前横向交点的先前融合结果进行复合，评价在每个横向交点处导致最终复合结果的结果条件，输出达到结果条件的横向交点的坐标以作为拾取点。
文档编号G06T15/08GK101188024SQ20071018497
公开日2008年5月28日 申请日期2007年10月31日 优先权日2006年11月20日
发明者J·夫利廷克 申请人:爱克发医疗保健公司