借助体绘制有效地可视化对象特征的制作方法

专利名称：借助体绘制有效地可视化对象特征的制作方法
技术领域：
本发明涉及一种用于借助模拟光照可视化对象的方法和装置。
技术背景
本发明属于体绘制领域、即显示或可视化三维身体或对象的领域。三维对象的 建模、重建或可视化在医疗(例如CT、PET、MR、超声波)、物理(例如大分子的电子 结构)或地理(地层的特性和位置)领域中具有广泛应用范围。典型地，借助电磁波或 声波照射待检查的对象，以检查其特性。探测散射的光线并且从探测的值中确定身体的 特征。通常地，结果在于物理参数(例如密度、组织成分的分量、弹性、速度)，对于身 体确定这些参数的值。在此，通常使用虚拟的栅格，在其栅格点上确定参数的值。这些 栅格点或在这些位置上的参数的值通常表示为体素。这些体素通常以所谓的灰度值的形 式呈现。
借助体绘制，在二维显示面(例如显示屏)上从体素中产生检查的对象或身体的 三维表示。在此，从体素中产生所谓的像素(通常具有从体素中通过插值获得的对象点 的中间级)，从像素中合成二维图像显示的图像。为了在二维显示器上可视化三维，通常 进行所谓的阿尔法合成(Alpha-Compositing)或者阿尔法分解(Alpha-Zerlegung)。在这 些标准方法中，体素或从体素形成的体积点被赋予颜色以及透明度值，更精确来说是用 于不透明度的值或阻光度(通常用英语Opacity表示，其表示身体的不同层的透明性或遮 盖力(deckkraft))。更具体地，一个对象点通常对应于以对颜色分量红、绿和蓝编码(所 谓的RGB值)的三元组形式的三个颜色、和对不透明性进行参数化的所谓的阿尔法值。 这些参数合成形成颜色值RGBA，其与其它的对象点的颜色值(通常借助所谓的阿尔法混 合(AlphaBlending)为了可视化部分透明的对象)合成或混合为用于像素的颜色值。
为了赋予合适的颜色值，通常利用光照模型工作。该光照模型在为了可视化而 对对象建模的或模拟的光照情况下考虑灯光效果(通常是对象的表面上的灯光的反射； 在此可以是检查的对象的外表面或内部层的表面)。
文献中有一系列被应用的光照模型。常用的例如有:Phong或Blinn-Hiong模型。
用于体绘制的最常用的方法中的一种是所谓的光线投影算法(Ray-Casting)或者 说模拟用于表示或可视化身体的光照。在光线投影算法中，将从虚拟观察者的眼睛出发 的虚拟光线，发送通过检查的身体或检查的对象。沿着光线，从体素确定对于采样点的 RGBA值，并且借助阿尔法合成或阿尔法混合合成为用于二维图像的像素。在此，通常 借助上面提到的光照模型中的一个在称为“阴影法(Shading)”的方法的范围内考虑光照 效果。
通常在进行用于图像计算的光线投影算法之前，事先(在预处理过程的范围内) 确定特定的几何参数，例如，壁厚、距离或者被检查的对象内部的半径。例如，Lueriget al.[l]在预处理范围内使用形态学操作，以便计算结构的直径。Knorpp et al.[2]沿着表面 法向量搜索用于体积的表面的相对的点。Reinhart etal.[3]使用预处理步骤，在该步骤中使用在围绕材料过渡的球形区域内部的局部搜索，以便找到如下的区域在该区域中在 空气和材料之间出现两个相邻的过渡。
这样的预处理的结果(例如对象结构)可以存储在由对象的三维表示导出的数据 结构中，例如在次表示(sekundSren Darstellung)或次体积(sekundaren Volumen)中，在主体积的绘制中读取该次体积，以便对相应于对象的结构大小的表面着色。
存在对在体绘制中用于考虑对象特征、例如几何结构的有效方法的需求。首先 要这样有效地进行相应的体绘制，使得能够交互地操作对象(旋转、不同地着色，…)， 其中，这些操作允许要求利用对几何结构的重新确定重新进行绘制。发明内容
本发明要解决的技术问题是，考虑到对象特征更灵活和更有效地绘制对象。
本发明涉及借助模拟光照(例如光线投影算法)可视化对象。在此宽泛地理解 对象的概念。特别地，对象还可以由利用该方法共同检查的多个物体组成。相关的或相 连的物体例如借助从一个物体到另一个物体传播的光线(在下述方法的意义上的第一或 第二光线)来检查。对象可以具有实际上任意的性质。特别地本方法适合于材料检验和 医学成像。
产生对象的表示，在该表示中在对象的空间点上给出表征对象的参数的标量值 (通常所称的灰度值)。在该关联中，也称为三维图像或立体表示。表征对象的参数例 如是利用测量方法(例如计算机断层造影、核自旋断层造影，…)确定的物理参数。在 此例如是密度信息(组织或氢成分的密度；后者是在核自旋断层造影中)。
本发明目的在于对象或对象特性的二维表示，S卩，二维图像的产生。该图像由 所谓的像素组成。优选对于对象的二维图像的所有像素进行以下对于一个像素描述的本 发明方法。
对于像素的表示，在此确定颜色值。该颜色值通常以RGB值形式被编码(即通 过颜色红、绿和蓝的份额)。颜色值的概念应该包括颜色值的每个编码。在本发明方法 中，不同颜色值可以被合成为一个像素颜色值(例如在所谓的阿尔法合成或阿尔法混合 过程中)。为此目的，通常使用所谓的阿尔法值，其表示各个点的阻光度的度量。通常 也被称为RGBA的四元组，其除了颜色值之外还包括阿尔法值。颜色值的概念还应该包 括这样的表达，即，必要情况下还包含阻光度或透明度信息或者说阿尔法值。对于专业 人员来说清楚的是，为了将多个颜色值合成为一个时，这样的值是必需的。也就是，在 本发明的进行颜色值合成的实施方式中，颜色值信息的确定通常还包括用于阻光度或透 明度的信息。
按照本发明，在第一步骤中产生用于确定赋于对象(或对象特性)的二维表示的 像素的像素颜色值的第一光线。该第一光线通过对象的至少一部分传播，其中，在该第 一光线上逐步地确定表征对象的参数的值(例如作为灰度值表示的密度信息)。在传播 中可以对于光线的采样点将颜色值(例如RGBA值)赋予所确定的值(例如借助传递函 数)。此外在这些位置上还可以例如借助局部光照模型进行阴影形成。
在第一光线的传播过程中借助在第一光线上确定的值探测对象的表面。在 此，可以是对象的外表面或内表面(内表面在此例如通过不同材料或组织层的结合来定义)。表面探测通常由对光线与表面的交点的确定组成。在此，例如可以借助间隔嵌套 (Intervallschachtelung)关于在第一光线的传播中使用的步长而进行对表面的探测的细化。
按照本发明然后产生第二光线或多个第二光线，其用于确定表示对象特征的定 量值。在此可以是几何特征(例如与表面交界的材料层或组织层的厚度或用于密度波动 的度量)。但是还可以考虑例如材料特征，例如均勻性或各向异性。
该至少一个第二光线从表面出发通过对象的至少一部分传播。光线的方向例 如可以按照在与第一光线的交点上的表面法向量来确定(例如在与矢量相反方向上的光 线，包括与法线的定义的角度的光线束，…)。在至少一个第二光线上逐步地确定与表 征对象的参数相关的值。在此可以，但不必是参数的值。例如可以考虑的是，确定参数 的梯度的绝对值，例如作为用于波动的度量。
借助第二光线确定表征对象的特征的定量值。在此例如传播至少一个第二光 线，直到满足中断标准。该中断标准例如由(例如通过与表征对象的参数相关联的值的 梯度的绝对值所探测的)到另一个表面的击中组成。但也可以给出其它标准。例如可以 考虑对材料的均勻性的检验。将在这些步骤中获得的值互相相关并且当该值超过了预先 给出的用于波动的度量时中断。在中断时可以进行用于精确确定满足中断标准的位置的 细化。当表征对象的特征的定量值是二次光线的长度或由多个二次光线的长度所确定的 参数时，这点是有意义的。
为这样确定的定量值例如借助传递函数赋予颜色值(例如RGBA值)。在此在 许多应用中有意义的是，按照对象的至少一个待显示的组成部分确定传递函数。例如对 象可以是生物的头部，并且为了显示血管对于颅盖的基本上透明的表示确定传递函数。
通过从表面出发继续传播第一光线，可以在传递至少一个第二光线之后继续该 方法。可以在重新到达另一个表面之后进行至少另一个第二光线的传播。在此有意义的 是，当在光线的继续传播的范围内不能确定对像素的颜色值的重要份额时，例如由于在 继续传播的方向上出现对象的不透明，中断第一光线的传播。
在至少一个第二光线的传播过程中所确定的颜色值被用于确定像素颜色值。在 此，可以将该颜色值与在该方法中借助第一光线和/或其它第二光线确定的其它颜色值 进行合成，以便揭示像素颜色值。
本发明具有如下优点能够利用像素产生实时地(on-the-fly)还考虑检查的对象 的几何形状或其它特征的光线。由此其比常规的方法开销低。


以下在实施例的范围内借助附图详细解释本发明。其中，
图1示出了光线投影算法的示意图，
图2示出了按照本发明的方法的流程图，
图3示出了找出表面的位置的过程，
图4解释了用于对象的厚度确定的本发明方法，
图5示出了借助该方法可视化的对象的两幅图像，
图6示出了用于执行本发明方法的硬件结构。
具体实施方式
在本发明的一种实施方式中，例如在表面的着色的范围内根据位于其下的结构 的厚度在使用调色板的条件下产生图像，这些图像可视化对象的几何特征。
图1示出了如目前使用的立体光线投影算法的原理。从虚拟的眼睛11出发发送 光线通过虚拟的图像平面12的每个像素。在体积或对象O的内部的离散的位置上(第一 位置1 采样这些光线的点。然后将多个采样值合成为最终的像素颜色值。
图2示出了在考虑在此确定的几何信息的条件下用于从体数据中产生图像的流 程图。在该方法中，如在标准的立体光线投影算法过程中，对于图像平面的每个像素产 生一条光线(步骤21)，该光线从虚拟的眼睛位置出发(参见图1)。利用这些光线采样 对象内部。在此，探测体数据的内表面或外表面(步骤22)。这点例如通过阈值方法或 通过在体数据中探测局部高梯度值来进行。可以使用对分搜索(binSre Suche)，以便按 照子体素-精度或者比光线的采样步长更高的精度确定表面的位置。
图3示出了按照更高精度确定表面位置的过程。出发点是虚构的眼睛31，从该 虚构的眼睛出发逐步地传播光线。该光线在第一步骤中到达位置32，然后到达33并且最 后到达34。在步骤33和34之间光线进入对象O。从对象的体素上的密度值，计算各个 采样点31、32、33，…的密度值。在采样点33密度值是零，因为该采样点尚位于体积 O外部。该密度值在采样点34被强烈改变。该改变被识别并且由此触发细化过程。作 为下一步骤，采样位于采样值33和34之间的点35。在该位置上的密度的计算显示，该 值位于对象O的外部。作为下一步骤采样位于点35和34之间的中心的点36。该点位 于对象内部，如由密度所展示的。由此在该间隔嵌套的过程中将表面的位置确定为位于 点35和36之间。作为表面的位置的近似，此时取该间隔的平均的值，即，点37。这点 表明，如何利用一种间隔嵌套准确表达在表面中光线的进入点的位置确定。
由此图3详细示出，如何能够进行图2的步骤22。按照图2，下一步骤是计算 表面法线和产生测试光线(步骤23和M)。这点在图4中详细示出。从进入点41，确 定表面法线η并且在相反方向上传播测试光线，该测试光线被用来计算在该位置上对象O 的厚度(图2的步骤24)。该测试光线具有采样点42、43和44，其中又通过密度改变识 别，在步骤43到44发生密度改变。重新相应于图3进行对从表面出来的位置的细化搜 索，以便获得在该位置上对象O的厚度d的值。这点是在图2中利用25和沈描述的步 骤，即，探测后面的表面和计算其位置或厚度d。箭头45表示，该厚度d被用作为用于 传递函数的输入，该传递函数为该厚度d赋予颜色和阻光度(RGBA值)。图4的下部示 出了图D，其示出了三个不同的传递函数Tl至T3。在此在X轴上示出了确定的厚度并 且在Y轴上示出了相应的透明度或透明性值。下部标出了所计算的厚度d。视所选择的 传递函数Tl至T3不同，在显示中表面是透明的或阻光的或者说不透明的。通过合适选 择传递函数可以更好地可视化检查的对象O的特征。将获得的颜色值(RGBA值)与在 光线投影算法中获得的颜色值(例如通过阿尔法混合)相关联，如图2的步骤27所示。 在该位置上，如果其它采样点对像素没有份额，因为光线到不了那里，则然后中断最初 的光线投影算法的光线的传播。这点在图2的查询观中显示；当达到了用于不透明性的 阈值时，结束像素计算并且可以存储颜色值用于显示(步骤四)。否则的话继续光线投影 算法，直到找到新的表面并且利用如前面相同的方法确定该表面对像素的可能份额。
图5示出了利用本发明方法检查的对象的两个例子。对象内部的结构的厚度被 可视化。利用在那里使用的传递函数(图中的白色曲线)，透明地显示具有平均厚度的结 构。这点通过相应的低的阿尔法值实现。例如在图的右边可以看出优点。因为在人的 头内部的颅盖和血管具有类似的厚度，因此二者在常规的光线投影算法中难以区分。所 示出的图使用不同的厚度(即血管的小的厚度和颅盖的平均的厚度)以实现血管的更好的 可视化。
该方法不仅允许探测同一个的体数据组内部的次表面或内表面，而且还允许探 测组合的体积内部的次表面。在这种情况下将测试光线从主体积中的主表面传播到与之 相连的体积中，以便在那里探测表面。可以将这点用于在工业的CT应用中可视化例如在 不同的组件中的厚度的波动，或用于医学可视化方法中手术前和手术后的比较。
可以理解的是，本发明可以以硬件、软件、固件、特殊用途处理器或其组合的 不同形式执行。优选地可以在具有OpenGL (open graphics language开放图形语言)和 OpenGL劝ading(开放图形语言阴影)语言的GPU(图形处理单元)上实现。
在一种实施方式中本发明可以在软件中作为应用程序来实现。该应用程序可以 上传到具有任意合适的结构的机器上并且可以在该机器上执行。
参考图6，按照本发明的一种实施方式，用于基于GPU的光线投影算法的计算 机系统401除了别的之外，可以具有中央处理单元(CPU)402、存储器403、输入/输出 (E/A)接口 404。计算机系统401 —般地通过E/A接口 404与显示装置405和不同的输 入装置106、例如鼠标或键盘耦合。附加电路可以包括诸如高速缓存、电源、时钟电路 和通信母线等电路。存储器403可以是读写存储器(随机存取存储器，RAM)、只读存 储器(ROM)、磁盘驱动器、磁带驱动器等或其组合。本发明可以作为在存储器403中存 储的并且由CPU 402执行的例程407被执行，用以处理信号源408的信号。计算机系统 401还包括图形处理单元(GPU)409，用于处理图形指令，例如，用于处理具有图像数据 的信号源408。计算机系统401本身是普通的多用途计算机系统，当该计算机系统执行本 发明的程序407时，该计算机系统变成特殊用途计算机系统。
计算机平台401还包括操作系统和微命令代码。在此描述的不同的方法和功 能或者可以是微命令代码的部分或者是由操作系统运行的应用程序的部分(或它们的组 合)。此外不同的其它外围设备、例如附加的数据存储装置和打印装置可以连接到该计算 机平台。
此外可以理解的是，因为在附图中示出的各个系统组件和方法步骤中的一些可 以在软件中执行，因此取决于编程本发明的方式，在系统组件之间的(或者在处理步骤 之间的)实际的连接可能不同。通过在此提供的本发明给出的教导，相关技术人员能够 考虑本发明的类似实施方式或配置。
本发明不限于所述实施例。特别是可以想到的是，该方法可以应用于与医学技 术或部件检验完全不同的领域中的虚拟显示。例如在经济和商业以及计算机游戏领域中 的产品的可视化。
[IJChristoph Lurig, Thomas Ertl Hierarchical volume analysis and visualization based on morphological operators.IEEE Visualization 1998 335-341
[2]Dr.Ralph Knorpp, Dr.Dimitri Vitkin Method for non-destructive wall thicknessinspection, Patent Application number EP20010120835，Daimler Chrysler AG (DE)，2002
[3]C.Reinhart, C.Poliwoda, T.Guenther, W.Roemer, S.Maass, C.Gosch, ” Modern Voxel Based Data and Geometry Analysis Software Tools for Industrial CT “，16th World Conference on NDT 200权利要求
1.一种借助模拟的光照可视化对象的方法，包括a)使用对象的表示，在该表示中在对象的空间点上给出表征对象的参数的值，b)产生第一光线，以确定赋予用于对象的二维表示的像素的像素颜色值，c)该光线通过对象的至少一个部分传播，d)在第一光线上逐步确定所述参数的值，e)借助在第一光线上所确定的值探测对象的表面，f)产生至少一个第二光线，用于确定表征对象的特征的定量值，g)从所述表面出发传播所述至少一个第二光线通过对象的至少一个部分，h)在所述至少一个第二光线上逐步确定与表征的参数相关的值，i)借助所述至少一个第二光线确定表征对象的特征的定量值， j)按照所述定量值赋予颜色值，并且k)使用所述颜色值，用于确定像素颜色值。
2.根据权利要求1所述的方法，其特征在于， 所述表征的参数是对象的密度。
3.根据权利要求1或2所述的方法，其特征在于，d')在步骤d)中进行对于所确定的参数的颜色值的赋予。
4.根据上述权利要求中任一项所述的方法，其特征在于，e')在步骤e)中关于在步骤d)中使用的步长进行表面的细化探测。
5.根据上述权利要求中任一项所述的方法，其特征在于，g')按照所述表面的法向量确定所述至少一个第二光线的传播的方向。
6.根据上述权利要求中任一项所述的方法，其特征在于， g")传播所述第二光线，直到满足中断标准。
7.根据权利要求6所述的方法，其特征在于，按照所述表征的值定义所述中断标准。
8.根据上述权利要求中任一项所述的方法，其特征在于， 所述表征对象的特征的定量值是长度。
9.根据权利要求8所述的方法，其特征在于，i')关于在步骤h)中使用的步长进行细化的长度确定。
10.根据上述权利要求中任一项所述的方法，其特征在于，j')借助传递函数进行按照步骤j)的颜色值的赋予，其中按照对象的至少一个待显 示的组成部分确定所述传递函数。
11.根据权利要求10所述的方法，其特征在于，所述对象的生物的头部，并且为了显 示血管对于颅盖的基本上透明的表示确定所述传递函数。
12.根据上述权利要求中任一项所述的方法，其特征在于，在传递所述至少一个第二 光线之后从表面出发继续传播所述第一光线。
13.根据权利要求12所述的方法，其特征在于，多次进行至少一个第二光线的传播。
14.根据上述权利要求中任一项所述的方法，其特征在于，当在所述光线的继续传播 的范围内不能确定对像素的颜色值的重要份额时，中断所述第一光线的传播。
15.根据上述权利要求中任一项所述的方法，其特征在于，进行在该方法中确定的颜 色值的合成以确定像素颜色值。
16.一种构造为用于执行按照权利要求1至15中任一项所述的方法的装置。
17.一种具有计算机程序的计算机程序产品，其执行按照权利要求1至15中任一项所 述的方法。
全文摘要
本发明涉及一种借助模拟的光照可视化对象的方法。在此，执行以下步骤a)使用对象的表示，在该表示中在对象的空间点上给出表征对象的参数的值，b)产生第一光线，以确定赋予用于对象的二维表示的像素的像素颜色值，c)光线通过对象的至少一个部分传播，d)在第一光线上逐步确定所述参数的值，e)借助在第一光线上确定的值探测对象的表面，f)产生至少一个第二光线，用于确定表征对象的特征的定量值，g)从所述表面出发传播所述至少一个第二光线通过对象的至少一个部分，h)在所述至少一个第二光线上逐步确定与表征的参数相关的值，i)借助所述至少一个第二光线确定表征对象的特征的定量值，j)按照所述定量值赋予颜色值，并且k)使用所述颜色值，用于确定像素颜色值。
文档编号G06T17/00GK102024271SQ20101028926
公开日2011年4月20日 申请日期2010年9月20日 优先权日2009年9月21日
发明者克劳斯·恩格尔 申请人:西门子公司