专利名称：一种生成3d对象的2d图像的方法
一种生成3D对象的2D图像的方法本发明通常涉及一种使用改进的直接体绘制技术生成3D对象的 2D图像的方法。在2D图像上可视化3D对象的结构是计算机图形学领域的重要 主题并获得在诸如医疗行业的很多行业中的应用。CT扫描器可产生 患者身体的数千个平行的2D图像切片，每个切片都包括数据值的2D 阵列，而每个值代表该身体在给定位置处的属性，例如密度。将所有 的切片都堆积在一起以形成患者身体的图像体积或体积数据集。在医 疗工作站的监视器上显示出表示身体3D特征的交互式2D图像提供 了强大的诊断工具。用于可视化3D数据集的两种重要的绘制方法是直接体绘制 (DVR)和等值面绘制(ISR)。在当前技术水平的医疗工作站中，实现了 用于两种方法的两种截然不同的算法，这两种实现相当不同。在DVR中，在图像体积中任何点处的标量属性或体素与多种光 学特性相关，如色彩或不透明度，其由用户指定的转移函数所定义并 被存储作为灰度。2D图像平面包括图像元素或像素的规则间隔网格， 每个像素具有红色、绿色和蓝色的色彩分量。多条名义射线被投射穿 过该体积，且这些射线被所述体积衰减或反射。每条射线被衰减或反 射的射线能量的量指示出嵌入图像体积中的对象的3D特征，并根据 所述体积沿着相应射线路径的不透明度和色彩映射来确定2D图像平 面上的像素值。典型地，在沿着每条射线路径的等距位置处对体积数据进行采 样。与2D图像平面上多个射线源有关的像素值形成了可被绘制在计 算机监控器上的图像。原则上，沿着射线路径的每个样本点都可对最 终的像素色彩起作用，并且通常对每个样本点根据其沿射线位于的顺序进行处理。在等值面绘制中，由给定阈值定义的表面被确定并被可视化。基 于射线投射的等值面算法对该表面执行有效的查找，并且以很高的精 确度确定体素内确切的表面点。例如，这可通过二分査找，或通过使用在"M. K. Bosma: Iso-Surface Volume Rendering: Speed and Accuracy for Medical Application, Ph. D. thesis Twente University, PrintPartners Ipskamp， Enschede， 2000"中详细解释的Newton迭代来完成。当使用二分查找时，"个计算步骤对于以rM本素的精确度沿着观察射线定位所述表面是足够的。当沿着每条观察射线仅有一个点对输出图像 起作用，并且仅有该点必须被确定时，这种迭代逼近才是可能的。采 样的点被访问的顺序并不必须是其沿射线所处的顺序。理论上，也可使用DVR算法通过选择适当的分类函数来显示等 值面，该函数将0或1的不透明度分配给低于或高于阈值的灰度值。 然而，与迭代的等值面绘制相比，这导致了图像质量中可见的损失。 DVR对于显示与不止一个的单个等值面相关的数据集是有用的，例 如为了显示多个等值面，处于平滑方向或区域中的根本不能被等值面 可视化的噪声数据。然而，要实现与等值面绘制所得到的相同的图像 质量需要将步距减少到2-"，其中"可为10，这在计算上是不可行的。本发明的实施例旨在减轻上述问题。本发明的实施例旨在结合等值面绘制的优势(高的图像质量)和 直接体绘制的灵活性。 一方面，本发明的实施例旨在允许有效地生成 高质量的等值面图像。另一方面，保持了直接体绘制的充分灵活性， 并且能够在同一图像中显示半透明度和不同色彩的对象。因此，在医疗工作站中仅需要一种可视化工具。这既可改进软件 的可维护性又可改进工作站的可用性用户界面可得到简化使得用户 不必在不同的绘制模型中进行选择，或者，如果自动完成模式切换， 他在图像表现中观察不到潜在的转移(distmcting)改变。根据本发明，提供了一种用于生成由包括多种数据点的体积数据 集表示的3D对象的2D图像的方法，其中每个数据点具有对象参数值，该方法包括投射穿过该3D对象的多条名义射线；并且对于每 条射线，将射线路径划分为由该路径上的数据点所定义的多个基本采 样间隔；并且如果确定跨越该基本采样间隔的参数值的差大于预定 值，那么在该基本采样间隔内生成数据点间的较小采样间隔，直到确 定在该基本间隔中跨越每个生成的较小釆样间隔的参数值的差小于 预定阈值，并且其中，将指示沿着该路径的采样间隔中所述射线和所述3D对象之间的交互作用的值累积以确定该2D图像中的像素值。现在将通过仅参照附图的举例方式对本发明的实施例进行描述， 在附图中
图1是体现了本发明的系统的示意图； 图2A示出了射线图；图2B示出了示范了本发明的实施例的射线图；图3示出了示范了本发明的实施例的另一射线图； 图4示出了示范了本发明的实施例的又一射线图；图5A、 5B、 5C示出了显示在2D平面上的3D图像； 图6A、 6B示出了显示在2D平面上的3D图像。首先参照图1，本发明实施例的数据采集可使用CT医疗扫描器 (未示出)来完成，该CT医疗扫描器包括用于采集代表身体或部分 身体的3D体积数字数据的器件。如图1中所示与医疗扫描器相关联 的是用于处理采集到的3D体积数据的数字处理系统100。系统100 可以是具有由CT扫描器获得的3D体积数据(作为数据被输入)的 医疗工作站。该系统包括用于根据本发明的实施例来处理3D体积数 据处理部件101、用于显示图像的显示器102和用于存储数据的存储. 器103。工作站100也可包括作为用户输入器件的键盘104和鼠标 105。处理部件101可为工作站100的适于编程的处理器，或具有诸如滤波器、逻辑算子和存储器的电路器件的专用处理器，所述电路器件被布置为执行根据本发明的方法步骤的函数。系统IOO可使用具有程序指令的计算机程序产品，处理部件101执行该程序指令以实现所述 方法步骤。数据处理系统、显示和/或存储器件可远程位于系统的数 据采集器件。图2A示出了本发明的实施例中直接体绘制的基本原理。从图像 平面111投射穿过代表诸如身体的3D对象的部分的图像体积112的 多条名义的射线(示出了其中一条射线110)。不同射线对应于2D图像屏幕上，例如工作站100的显示器102 上的不同像素。每个像素值通过至少一条射线和图像体积112之间的 交互作用来确定。为了计算沿着射线的每个样本点的个别像素值，执行以下步骤a) 从体积数据中取出样本灰度值。b) 依靠该样本灰度值，确定该样本的光学参数(如衰减、色彩)。 转移函数(有时也称为分类)是将灰度值映射为光学值的函 数。c) 依靠这些光学值，使用在本领域中所公知的"阴影和累积 (ShadeAndAccumulate)"过程来更新像素的色彩。这发生于两 个步骤第一，确定出当前样本的有效色彩。由转移函数返 回的色彩可被看作材料色彩。根据光照模型，典型地为 Phong-Blinn模型对色彩进行修改，这取决于样本点处的照明 和表面法线。第二，根据目前已累积的射线的衰减确定出样 本的可见度，并将阴影样本色彩增加到具有该权重的最终像 素色彩中。有关体绘制的光照模型的细节和进一步信息可在Max Nelson: "Optical Models for Direct Volume Rendering", IEEE Transactions on Visualization and Computer Graphics 1995 ， pp. 99-108中找至U 。图2B示出了图像体积中的单个体素单元201 ，并且沿着射线200 的点Po和P,定义了基本间隔，其为沿着射线路径的两个连续采样点 之间的标准距离。在正常的DVR中，每个采样点以不变的基本间隔 与前一采样点分隔开，使得沿着射线采样点是等距的。本发明的直接体绘制方法对沿着射线路径的每个基本间隔应用了下列递归过程。<formula>formula see original document page 8</formula>该过程对每个基本间隔估计，两个样本点之间体积数据集的相关特性，例如其不透明度的任何两个值之间的差是否超过预定阈值。如果，根据估计，不透明度值的差未超过该阈值，那么将基本间 隔通常地通过"阴影和累积"过程来进行处理，该过程确定射线间隔[Po， P,]的色彩作用，并且每个都按照标准DVR算法将其增加到当前 的像素色彩中。如果，根据估计，不透明度值的差超过了该阈值，那么将基本间 隔划分为两个新的较小间隔[Po， H]和[H， P小优选地两个具有相同 的大小，并且两个新的间隔都由使用相同标准的相同过程进行递归处 理。也即，每个新的间隔被划分为较小间隔直到确定出跨越间隔的不 透明度值的差并未超过预定阈值或间隔的几何长度低于另一阈值。一 旦对于间隔确定出以上内容，即将"阴影和累积"过程应用到该间隔。例如，通过评价定义出间隔(如果该间隔为基本间隔)的两个点 Po和P、处的分类函数，可实现用于期望的不透明度差的估计函数 "0/^c^D纟^^"ce"。更一般地，沿着全部间隔的不透明度函数，确 定出最大的改变，该间隔由在定义出间隔(如果该间隔为基本间隔) 的两个点Po和P,处釆样的两个灰度值所定义。应注意到的是，估计 函数也可取决于不透明度之外的其它分类参数，如色彩或也可沿着射线快速改变的其它光学参数。仅当样本点之间的距离大于预定阈值时才能发生递归的需要防 止无止尽的递归循环。参照图3描述了另一示例，其中名义射线射线300显示为投射穿 过体素单元301。分类函数定义了定义出等值面的步骤函数，所述过 程执行以下步骤。第一点(P,)处的不透明度较低，而第二点(P2)处的较高。因此，在 第一点(P,)和第二点(P2)处的不透明度值的差超过阈值，从而将由第一 点(P,)和第二点(P2)定义的间隔划分为两个新的间隔，这两个间隔分别 由第一点(P,)和第三点P3以及第三点P3和第二点P2所定义。由第一点P,和第三点P3定义的新间隔具有不变的不透明度0。 因此，不需要进一步将其划分成新的间隔，并且将该间隔在单个"阴 影和累积"步骤中处理。优选地，正确执行的算法检测到该间隔是完 全透明的，使得这里不执行昂贵的阴影操作。在第三点(P3)和第二点(P2)处的不透明度值的差仍然超过阈值，从 而将由这两个点定义的新间隔划分为两个新的间隔，这两个间隔分别 由第三点(P3)和第四点P4以及第四点P4和第二点P2所定义。由第四点P4和第二点P2定义的新间隔具有不变的不透明度1。 因此，不需要进一步将其划分成新的间隔。在第三点(P3)和第四点(P4)处的不透明度值的差仍然超过阈值，从 而将由这两个点定义的新间隔划分为两个新的间隔，这两个间隔分别 由第三点(P3)和第五点P5以及第五点Ps和第四点P4所定义。由第五点Ps和第四点P4定义的新间隔具有不变的不透明度1， 并且不需要进一步的子划分。第三点(P3)和第五点(P5)处的不透明度值的差仍然高。但是，P3 和Ps之间的距离小于采样距离的阈值，从而将由这些点定义的间隔 在单个的非平凡"阴影和累积"步骤中进行处理。现在，当沿着射线累积的不透明度为1 (=完全不透明)，并且额 外的样本点将对结果不产生任何影响时，算法可停止处理。因此，间 隔[P5， P4]和[P4， P2]不需要进一步处理。总而言之，已经确切地执行了非平凡"ShadeAndAccumulate"步骤，并且该算法已有效地对表面执行了二分查找。因此，其图像质量 与等值面算法产生的相同，并且计算复杂程度也是同阶。图4显示了更普遍的示例，其示出了射线400投射穿过包括透明 区域401a、半透明区域401b和不透明区域401c的体素单元401。跨 越由透明区域401a中的第一点Pl和不透明区域401c中的第二点P2 定义基本间隔的不透明度值的差超过阈值，以致将初始的间隔划分为 由第一点Pl和不透明区域401c中的第三点P3以及第三点P3和第二 点P2所定义的新间隔。都位于不透明区域401c的第三点P3和第二点P2之间的不透明 度差为零，从而将该间隔在单个"阴影和累积"步骤中进行处理。在第三点P3和第一点P之间的不透明度差超过阈值，从而将该 间隔划分为两个新的间隔，这两个间隔分别由第一点Pl和位于透明 区域401a中的第四点P4以及第四点P4和第三点P3所定义。都位于透明区域401a的第一点Pl和第四点P4之间的不透明度 差为零，从而将该间隔在单个"阴影和累积"步骤中进行处理。在第四点P4和第三点P3之间的不透明度差超过阈值，从而将该 间隔划分为两个新的间隔，这两个间隔分别由第四点P4和位于半透 明区域401b中的第五点P5以及第五点P5和第三点P3所定义。最后，第四点P4和第五点P5之间的不透明度差，以及第五点 P5和第三点P3之间的不透明度差每个都小于阈值，从而停止递归。 将这两个间隔分别用"阴影和累积"步骤进行处理。总而言之，采样 距离已适应于沿着射线改变不透明度。体现了本发明的方法允许既不使用等值面绘制也不使用标准的 直接体绘制来生成图像。图5示出了示例。在图5A中，分类函数500 指定了手部骨骼的等值面500a，以及手部皮肤的半透明区域500b。 半透明区域仅可通过DVR类似的算法进行绘制。然而，通过使用本 发明的实施例，手部骨骼可以与(迭代的)等值面算法所获得的相同 质量来显示，而对其使用经典的DVR算法仅能以非常高的计算成本 才可能实现。图5B显示了步骤分类函数500c和高质量的手部图像，其既可通过等值面算法也可通过本发明的实施例等效的算法来产生，但其无法通过标准的DVR来产生。在手部中心手指周围，可见一些噪声颗粒， 这是因为等值面绘制通常对噪声很敏感。在图5C中，步骤函数500d被轻微地改变以具有一段线性上坡， 其导致了 "光滑"的等值面。本发明实施例可被用于生成图5B所示 的手部和图5C所示的手部，而之前则需要从用于生成图5B的手部 的等值面算法切换到用于生成图5C的手部的标准的DVR算法。图6显示了手部的两幅图像，其中一幅(图6A)使用本发明的 实施例生成，另一幅(图6B)使用标准的DVR生成，用分类函数 600来选择以展示由两种方法所生成的不同结果。分段600a描述了与手部模型的皮肤中非常薄的不透明区域有关 的任意小的灰度级间隔。使用本发明的实施例，图6A中皮肤可被正 确地可视化，并且具有与高质量的等值面相同的视觉表现。使用标准的DVR算法，这是关于样本点是否位于皮肤区域的机 会问题，其产生了图6B中断裂的表面。如果使用如在"K.Engel，M. Kraus, and T. Ertl， High-Quality Pre-Integrated Volume Rendering Using Hardware-Accelerated Pixel Shading, SIGGRAPH Workshop on Graphics Hardware, 2001"中讲授的预积分(pre-integration)，就可以避 免这样的断裂。然而，表面仍将表现出与图6A不同，这是因为阴影 强烈地取决于确切的表面位置的概念。应理解的是，本发明的实施例可用于多种其它成像方式以及医疗 应用中，其需要利用不同的绘制模式以高的图像质量对于感兴趣的结 构进行交互式的3D数据可视化。已经通过参考优选实施例描述了本发明，可以很好地理解的是， 所述实施例仅是示范性的，并且在不脱离本发明的精神和范围的情况 下，拥有适当知识和技术的人员可进行按照随附的权利要求书及其等 价物中提出的更改和变动。在权利要求书中，任何置于括号中的附图 标记将不应理解为对权利要求书的限制。词语"包括"和"包含"及 类似词语，并不排除存在任何权利要求书或书作为整体那些中所列的那些之外的元件或步骤。元件的单数标记不排除这种元件的复数标 记。
权利要求
1、一种用于生成由包括多个数据点的体积数据集表示的3D对象的2D图像的方法，每个数据点具有对象参数值，所述方法包括投射穿过所述3D对象的多条名义射线(101，200，300，400)；并且对于每条射线，将射线路径划分为由所述路径上的数据点(P1，P2，P3，P4)定义的多个基本采样间隔([P0P1]，[P1P2]，[P1P3]，[P3P2])；并且如果确定跨越基本采样间隔的参数值的差大于预定值，那么在所述基本采样间隔内生成数据点间的较小采样间隔，直到确定在所述基本间隔中跨越每个生成的较小采样间隔的参数值的差小于预定阈值；并且其中，将指示沿着所述路径的所述采样间隔中所述射线和所述3D对象之间的交互作用的值累积以确定所述2D图像中的像素值。
2、 根据权利要求1所述的方法， 将较大采样间隔划分成两个而生成。
3、 根据权利要求1所述的方法， 将较大采样间隔划分成两半而生成。
4、 根据权利要求1所述的方法，值。其中，每个较小采样间隔通过 其中，每个较小采样间隔通过 其中，所述参数值为不透明度
5、 根据权利要求5所述的方法，其中，所述数据集中参数值的 变化通过不透明度或色彩函数来确定。
6、 根据权利要求1所述的方法，其中，指示采样间隔中所述射 线和所述样本之间的交互作用的值使用直接体绘制过程来确定。
7、 根据权利要求6所述的方法，其中，所述交互作用使用阴影 和累积过程来确定。
8、 根据权利要求1所述的方法，其中，如果确定冉较大采样间 隔具有大于预定阈值的长度，那么较小采样间隔仅在所述较大采样间 隔内生成。
9、 一种用于生成由包括多个数据点的体积数据集表示的3D对 象的2D图像的装置，每个数据点具有对象参数值，所述装置包括扫描器单元，用于投射穿过所述3D对象的多条名义射线(101， 200， 300， 400);处理单元(ioo)，用于将每个射线路径划分为由所述路径上数据点 (Pl， P2， P3， P4)定义的多个基本采样间隔([P0P1]， [P1P2]， [P1P3]， [P3P2])，并且如果确定跨越基本采样间隔的参数值的差大于预定值， 那么所述处理单元还在所述基本采样间隔内生成数据点间的较小采 样间隔，直到确定在所述基本间隔中跨越每个生成的较小采样间隔的 参数值的差小于预定阈值，并且其中，将指示沿着所述路径的所述采 样间隔中所述射线和所述3D对象之间的交互作用的值累积以确定所 述2D图像中的像素值。
10、 一种包括被编程用于实现权利要求1所述的方法的处理器器 件的计算机设备。
全文摘要
描述了一种用于生成由包括多个数据点的体积数据集表示的3D对象的2D图像的方法，每个数据点具有不透明度值。投射穿过该3D对象的多条名义射线，并且对于每条射线，将射线路径划分为由该路径上数据点定义的多个基本采样间隔，并且如果确定跨越该基本采样间隔的不透明度值的差大于预定值，那么继续在该基本采样间隔内生成较小的采样区域，直到确定该基本间隔中跨越每个生成的较小采样间隔的参数值的差小于预定阈值。使用直接体绘制过程来累积指示沿着该路径的采样间隔中射线和3D对象之间的交互作用的值以确定出2D图像中的像素值。
文档编号G06T15/50GK101248459SQ200680030918
公开日2008年8月20日 申请日期2006年8月23日 优先权日2005年8月26日
发明者G·基弗, J·威斯 申请人:皇家飞利浦电子股份有限公司