3d立体平面剪裁的用户控制的制作方法

专利名称：3d立体平面剪裁的用户控制的制作方法
技术领域：
本发明涉及三维(3D)超声波成像，并且更加具体地讲，涉及对3D立体图像剪裁的实时图形平面实现。
面绘制是这样一种成像技术，其中通过诸如等值面生成、等值线生成、表面提取或边缘跟踪之类的处理，将立体数据转换成几何图元。然后使用传统的几何绘制技术对这些图元(例如多边形网格或等值线)进行绘制，以用于显示。
体绘制是一种用于可视化采样数据的3D阵列的成像技术。3D数据阵列广泛用于表达图像信息。抉句话说，体绘制是一种直接显示3D采样数据的技术或方法。例如，诸如超声波之类的医疗成像技术能够产生包含体内器官的详细表示的采样数据的3D阵列。体绘制的基本步骤包括为3D输入阵列中的各个采样分配颜色和不透明度值、将这些采样投影到图像平面上和对这些采样进行混合(blending)。这种可视化的基础是一种用于光线在着色的半透明材料中传播的基于物理学的模型。
3D阵列(体积)的每个元素称为体元，它代表空间中的小立方体，或连续标量函数的采样点。体绘制处理包括光通过参与媒质传播的近似模拟。可以将该媒质想象成一决着色的半透明凝胶体，其中颜色和不透明度是输入阵列的标量值的函数。光可由体积吸收、散射或透射，这对于本领域技术人员是公知的。

图1是用于体绘制的简单物理模型。该图示出光线156从光源150通过半透明凝胶体的立方体154传播，并且散射到一个单独的图像平面152上。立方体154的体积内的各个体元发出光线并且吸收一小部分穿过它的光。构成该立方体的各个像素值是这样计算出来的沿着视线从图像平面上的点x到体积的相对边界上的点Xb对体元值进行采样，然后数值计算，这对于本领域技术人员是公知的，称为体绘制积分。
体绘制的一项重要优点是，与面绘制技术不同，不需要对体数据进行定界。用于体数据的面绘制技术是通过将多边形拟合成体积中的等值面(本领域技术人员公知的技术)，然后用传统的多边形绘制技术绘制多边形模型。
本领域技术人员还知道，体绘制要求感兴趣的物理体积是首先以3D数组的形式获取的，包括不透明度值。获取过程可以包括准备步骤，比如将体积重采样成规则栅格、内插丢失的体元值并且应用图像处理算子来提高对比度。一般来说，在分级步骤中，给予不透明度值从0到55的值。该阵列一般是按照x-y平面的多个z来存储的，其中每个z是存储器中的一个2D片段。另一种方法是使用分段算法将体积划分为特定的结构，然后为分段得到的结构分配不透明度值。
在对数据进行分级之后，一般采用阴影功能来规定光照模型和用于确定各个体元颜色的规则。细心使用视觉暗示，比如镜面高亮、深度暗示和阴影，能够大大提高可视化效果。然后特定的绘制系统选择视图参数，比如视点、投影类型(平行或透视)、剪切(即剪裁(cropping))面等。现有的体积剪裁技术一般来说是通过预先绘制实现的。
已经有了很多对体绘制进行加速的技术，最成功的是使用空间数据结构。Philippe G.Lacroute的《FAST VOLUME RENDERING USINGSHEAR-WARP FACTORIZATION OF THE VIEWING TRANSFORMATION》(斯坦福大学，电子工程与计算机科学系，计算机系统实验室，1995)。有四种主要的体绘制算法射线造型法、足迹表法(splatting)、单元投影法和多次重采样法。射线造型算法通过穿过各个图像像素的体积投射射线并且沿着该射线对颜色和不透明度进行积分来产生图像。射线造型法有时候也称为向后投影算法，因为它们通过将图像像素沿着观察射线投影到体积内来计算体元到图像像素的映射。光线向前从图像中流出，而观察射线从图像向后流入体积内。
与射线造型算法不同，足迹表算法是通过对体元进行迭代进行运算的。更加具体地说，足迹表算法通过求体元与将该体元的值分配给相邻像素的滤波器的卷积来计算体素对图像的贡献。可以将足迹表算法描述为向前投影，因为像素是沿着与光线相同的取向直接投影到图像上的。
单元投影技术经常用于在不规则栅格上采样的体积，并且使用多边形扫描转换来进行投影。多次重采样算法是通过对图像坐标系的整个体积进行重采样来进行运算的，从而使得经过重采样的体元在图像空间内的观察轴上彼此跟随着排列。然后可以象射线造型中那样将体元沿着观察轴合成在一起，只是在经过重采样的体积中观察射线总是成一条直线的轴。将视图转换分解成了一系列的简单错切(shear)和缩放，然后在每遍中将它们应用于体积。体积的每次错切或缩放可以通过扫描线顺序算法和ID重采样滤波器来实现。按照这种方式，例如，可以使用三遍来实现仿射变换。第一遍在体积的x取向上对体积进行采样。然后新的体积变为第二遍的输入，第二遍在y取向上对扫描线进行重采样。然后将结果输送给第三遍，第三遍在z取向上对扫描线进行重采样。
从对象空间到图像空间的映射的任意特性使得对象顺序体绘制算法中的有效高质量滤波和投影变得复杂，这个问题是通过将体积变换成中间坐标系来解决的。这一坐标系统在本领域中称为错切对象空间，其中所有观察射线全都平行于第三坐标轴。附图2A、2B一起表示透视变换。图中水平线164代表在截面内观察到的体积数据的切片。在图2A中，射线166是从源162通过成像面160照射到立体对象空间(采样数据)中的。在变换之后，如图2B所示，平行于切片组对体积进行了错切，该切片组几乎垂直于视图取向并且观察射线166’垂直于切片，并且进行了缩放和平移。首先计算变形的中间图像的原因是，因子分解的特性会导致非常有效地实现重采样和合成环路。就是说，各个体元切片中体元的扫描线平行于中间范围内像素的扫描线。
传统的3D扫描转换算法可以使用类似于称为混合数据组绘制算法的数据结构，其中边缘表和有效边缘表掌握着哪些剪裁面与当前体元扫描线相互作用。剪裁平面的斜率用于计算递增地计算交点，因为该算法反复地穿过体元扫描线迭代。交点决定在扫描线内的体元的范围内进行迭代的环路的边界。
在体积分析中，研究对象通常是简单的或多或少有些凸起的形状，比如大脑、心脏或发动机组。“平面剪裁”移除位于三维空间中平面的指定侧的体积的整个部分。剪裁平面通常用在体积可视化应用中，用来提供数据组中内部结构的剖视图或者用来在关注数据组的特定部分的同时移除额外的信息。可以通过使用3D扫描转换算法将剪裁平面转换为绘制环路的边界，来将具有任意取向的剪裁平面加到例如错切变形体绘制算法中。
在美国专利US5454371(“‘371专利”)中给出了一种使用剪裁或切片平面技术使体积可视化的方法。‘371专利提供交互式用户界面，该界面能够用于操纵从包括多个切片的体积中选取的切片的显示图像。使用与体绘制截然不同的‘371专利技术使得用户能够关于任意轴旋转3D图像的切片。就是说，全部使用图形用户界面，对用于显示的图象表面部分进行平移，以提供图像的不同截面图，并且可以关于任意轴旋转所显示图像的选取表面。
‘371专利进行体积图像重构并且将经过重构的体积图像，即，体积图像阵列，存储在外部文件存储器中和/或使用Fenster的图形用户输入装置，即鼠标，进行显示。‘371专利执行的例行程序分配体积图像以具有在与将显示的，一般是一个正平行六面体，基本上封闭了立体图像阵列中所有像素的3D图像相同的空间中定义的多个平面的合成多面体的形式显示一个模型。该模型接着投影到全屏幕显示的矩形子区域内的监视器屏幕上。只有模型的可视面显示在屏幕上。执行隐藏面消除从而显示模型具有不透明的外观。
考虑到显示面的多面体区域内的各个屏幕像素具有可扩展到3D的相关联的2D Cartesian坐标对的事实，执行每个可视模型面的显示。3D坐标接着转换为体元坐标以选择体积图像阵列中的体元。提取的体元按照本技术中已知为纹理映射的方法进行处理。显示坐标和体积图像坐标之间的对应关系通过Fenster定义为视见变换的方式确定。Fenster专利还定义了每次用户使用图形用户界面改变诸如视角、显示比例等参数时，重新计算视见变换的细节。
3D图像和模型显示在监视器屏幕上后，初始视图保存在存储器中。观看的同时，所有用户操作用定义为“点”、“拖”和“单击”的三个动作完成。用户可以关于任意轴旋转整个模型和3D图像，平移一个选择的模型平面，并关于任意轴旋转模型的选择平面。将3D图像旋转的固定点限制为初始模型的几何中心。
‘371专利描述了模型关于凸多面体的数学描述的操作。凸多面体由至少四个平面定义的一组半空间表征，这在Fenster专利中称为边界平面。它描述了多面体的每个面为实施在对应边界平面中的凸多边形，其中模型多面体形状的任何改变通过改变边界平面的参数实现。
‘371专利教导边界平面系数的两个主要操作。用户可以改变D并旋转，D是从平面到坐标原点的垂直距离。旋转需要3D系数中的一个变化，这些系数共同指定了平面相对于坐标轴的取向。‘371专利在分配到体积图像阵列的模型的原始边界平面和响应于用户输入而增加的平面之间有区别。对应于原始边界平面的模型面具有作为白线显示的它们的周界线，同时对应于用户增加平面的面用另一种颜色表示。只有用户增加的平面可以平移、旋转或删除。因为用户增加的平面由用户经由图形用户界面平移，所以图像的各种截面图可以作为通过体积图像阵列的平移平面切片来观看。
当‘371专利的图形输入设备进行移动以影响显示视图中的变化并且展示受到影响的一个平面或多个平面的中间位置和取向的显示被更新时，该专利的显示模块必须重新采样体积图像显示并完成纹理映射处理。在‘371专利中描述的3D绘制可以以体绘制的粗略仿真为特征，其中外部体元“描绘”到立体的粗略多边形近似上。技术必须与传统的体绘制区分开，这示出了来自特定视点的立体中全部体元的组合效果。与Fenster的‘371专利相反，本发明包括一个图形平面，它在本文中可交替称为剪裁平面，用以实时剪裁掉3D图像不想要的部分，以及一个用于控制剪裁平面的一流的用户界面。
本发明指出剪裁从获取的超声波数据中得到的一个3D物理体积，例如心脏，肾等并实时绘制剪裁的体积用于显示。剪裁比切片更强大，因为剪裁允许观看内部的3D结构。本发明还提供3D立体剪裁的有效用户控制。为了这样做，本发明定义了一种剪裁平面作为球心在成像物体重心的球体的切线。也就是说，将成像物体的中心假定为Cartesian坐标中的(0，0，0)。物体的边界可以假定代表一个矩形，其中具有半径R的球体在该矩形(物体)周围画线。在这样的表示中，球体的直径定义为通过原点(0，0，0)的矩形的最长对角线。球体的半径是该对角线的一半。从而球体全部包围着物体的体积并且因而在这里称为“边界球体”。
剪裁平面定义在关于从(0，0，0)发出一个单位法向矢量的空间中。剪裁平面与单位法向矢量垂直。由于在剪裁特征开始时的默认设置，如描述的那样单位法向矢量等于半径，从而剪裁平面与球体相切。这样，没有用户输入就没有剪裁发生。通过改变单位法向矢量或球体半径的尺寸，移动剪裁平面的取向朝向成像物体的中心或远离成像物体的中心。
本发明提供图形平面或图像在剪裁平面的每一侧看起来不同。例如，绿色和紫色可以用于区分定义剪裁平面各个侧面上图形平面的体元。本领域技术人员应当意识到其它颜色、图案、亮度等也可以用于在平面的前面和后面之间进行区分。在所有本发明的实施例中，平面与图象的关系被锁定并且确定被剪裁的图象部分。关于单位法向矢量小于边界物体半径的空间部分，平面外的体元归零(zero out)。
用户界面是这样的，该平面可以恰好用提供用户执行视图改变的跟踪球容易并迅速地操作，图像重构和改变后图像的显示可以实时执行并观看。用户很简单地仅仅改变球体半径来控制/定义该平面切入图像的深度。当观察常规球形器官，比如人类心脏时，这样的一种配置是很方便的。
本发明的理解能够结合附图从随后本方面的详细描述中获得，其中图1是用于3D体绘制的现有技术模型；图2是一个体积向错切物体空间变换以显示一个透视投影的现有技术描述；图3是一种超声波系统的简要框图，它可以用于执行本发明；图4是一个物体的3D图像的屏幕截图；图5是图4所示物体的3D图像的屏幕截图，其中本发明的剪裁模式特征已经由用户启动，并且剪裁平面可以在3D图像空间的前景中看到；图6是3D图像的屏幕截图，其中剪裁平面已经由用户调整以剪裁掉物体的3D图像的40％；图7是3D图像的屏幕截图，其中剪裁平面已经由用户调整以剪裁掉物体的3D图像的60％；图8是3D图像的屏幕截图，其中剪裁平面已经向上旋转以改变图像的取向；图9是按下平面锁定按钮并且没有剪裁变化地将跟踪球旋转到右边时的3D图像的屏幕截图；和图10是按下保存剪裁按钮时的3D图像的屏幕截图，其中该体积关于施加的剪裁示出。
以下优选装置和方法的详细描述按照代表存储器、相关联的处理器和可能有的网络和网络设备内数据比特操作的例行程序和符号来呈现。
这些描述和表示是本领域技术人员有效传递他们的工作实质给其他本领域技术人员的措施。一种例行程序在这里出现并且通常构思为产生期望结果的步骤或动作的自相容顺序。从而，术语“例行程序”通常用于指由处理器执行的一系列操作，处理器可以是一个超声波系统的中央处理单元或这样的一个超声波系统的次级处理单元，并同样包含这样的技术术语，例如“程序”、“物体”、“功能”“子例行程序”和“过程”。
通常，例行程序中的步骤顺序需要物理量的物理操作。一般，尽管不是必须的，这些量采用能够被存储、转换、组合、比较和其它操作的电或磁信号的形式。本领域普通技术人员方便地把这些信号称为“比特”、“值”、“元素”、“符号”、“字符”、“图像”、“项”、“数字”等。应当意识到这些和类似的术语将与适当的物理量相关联，并且仅仅是应用到这些量的便利标签。
在这种情况下，例行程序和操作是与人类操作者结合执行的机器操作。用于执行本发明操作的有用机器包括本发明的拥有者通常所拥有的超声波系统的SONOS线路，和其它类似设备。通常，本发明涉及方法步骤、软件和包括计算机可读介质的相关硬件，配置该计算机可读介质以使用这里描述的例行程序存储和/或处理电或其它物理信号以产生其它期望的物理信号。
本申请提出的设备优选地为了所需目的，即超声波成像特别构造，但是这里描述的方法可以在由存储在计算机中的例行程序选择性激活或重构的通用目的计算机或其它网络设备上实施以及与必要的超声波成像设备相接口。这里提出的过程不是固有地涉及任何特定超声波系统、计算机或其它设备。特别是，各种机器可以按照这里的教导与例行程序一起使用，或者它可能证明构造更特定的设备执行所需方法步骤更方便。在某些环境下，当期望一个硬件具有某些特征时，这些特征在以下的文字中更全面的描述。各种这些机器所需的结构可以出现在以下给出的描述中。可以执行本发明功能的机器包括那些例如由飞利浦医疗系统国际、GE医疗系统和西门子医疗系统以及其它超声波设备的制造商这样的公司制造的机器。
关于这里描述的软件，本领域技术人员将意识到存在用于建立执行这里概括的过程的软件的各种平台和语言。本领域普通技术人员也意识到准确的平台和语言的选择通常由构成的实际系统的细节所规定，从而使得可以为一种类型的系统工作而对其它系统是无效的。
图3是按照本发明的一个优选实施例的超声波成像系统100的简要框图。相关领域的普通技术人员将意识到超声波成像系统100和以下描述的该系统的操作通常表示医疗成像系统。任何特定系统可能与图3所示的系统有显著不同，特别是在这种系统的结构和操作的细节上有显著不同。同样，超声波成像系统100将被看作是说明性和示例性的并不对这里描述的本发明或所附权利要求进行限制。
图3的超声波成像系统100示出了一个发射束形成器110，它通过发射/接收(T/R)开关112耦合到转换器阵列114。转换器阵列114包括一个转换器元件阵列，一般用在3D成像中的是二维(2D)转换器元件阵列。T/R开关112一般包括用于每个转换器元件的一个切换元件。发射束形成器110从一个脉冲发生器116中接收脉冲序列。由发射束形成器110激励的转换器阵列114发射超声波能量到病人身体中的感兴趣区域(ROI)并从病人身体内的各种结构和器官接收反射的超声波能量或回波。如本领域所公知的，通过适当延迟由发射束形成器110施加到每个转换器元件的波形，发射聚焦的超声波束。
超声波阵列114也通过T/R开关112耦合到接收束形成器118。从病人体内一个给定点发出的超声波能量在不同时间由转换器元件接收。转换器元件将接收到的超声波能量转换为转换器信号，该信号可以被放大、单独被延迟并接着由接收束形成器118进行求和。这样的操作提供了代表沿着期望的接收线路接收的超声波电平的射束形成器信号。接收束形成器118可以是一个数字射束形成器，它包括一个用于将转换器信号转换为数字值的模拟到数字变换器。如本技术领域所公知的，施加到转换器的延迟可以在超声波能量接收期间改变以实现动态聚焦。该过程对多条扫描线重复进行以提供用于产生病人体内感兴趣区域的图像的信号，并从而执行3D成像。
射束形成器信号施加到信号处理器124，它处理射束形成器信号用于提高图像质量。信号处理器可以包括诸如谐波处理的过程。接收束形成器118和信号处理器124构成超声波接收器126。信号处理器在系统内实际发生3D重构的位置处。信号处理器124的输出提供到扫描变换器128，它将扇区扫描或其它扫描图案信号变换为传统的光栅扫描显示信号。扫描变换器128的输出进行缓冲用于最终显示。
系统控制器130提供系统的整体控制。系统控制器130执行计时和控制功能并一般包括在存储器1.34中存储的控制例行程序132的控制下操作的微处理器。如将在下文中详细讨论的，控制例行程序132除了已知的控制例行程序之外还包括各种建立、存储、索引和同步数字化的音频信息的例行程序。系统控制器130也利用存储器134来存储包括描述超声波成像系统100的操作的系统变量的中间值和缓冲包括扫描变换器128的输出的各种输出。
输入/输出单元136(以下称为“用户接口”)控制各种输入和输出操作，例如，传统的跟踪球或鼠标(图中未示出)。本发明的用户接口提供优选是由跟踪球执行的几种交互控制。
获得一个环后，没有施加到该体积的剪裁。用户表明想要通过打开剪裁模式选择器来操纵剪裁。在这一点上，剪裁平面在其默认位置上呈现，一般旋转到侧面以防止遮蔽体积。默认位置总是由半径R定义，R是距体积中心(0，0，0)的固定距离，它定义了完全包含整个体积的球体。
图4示出了被成像的物体的3D体积，而图5示出了使能剪裁模式的图4中成像的相同物体。在图5所示的实施例中，该平面看起来是紫色的并平行于屏幕的平面。由本发明的用户接口提供的“剪裁模式”选择器打开和关闭剪裁平面的控制。一旦用户启动剪裁模式，跟踪球就用于控制体积/平面的取向。因为球体的半径还没有执行剪裁，从而平面关于中心(0，0，0)的位置仍然仅仅进行限制而不是剪裁该物体。
用户能够通过移动跟踪球围着体积移动剪裁光标，跟踪球将围着边界球体的表面移动该平面。剪裁调整旋钮将平面朝向体积中心或远离体积中心移动，减小或增大R。随着平面移动，体积将交互地剪裁。由于对可视化有帮助，剪裁平面贯穿该体积的体积部分将按灰度级显示，同时体积的剩余部分(在该平面后面)将涂上与该平面同样的颜色。
通过旋转用户界面的剪裁调整旋钮，调整剪裁的百分比。逆时针旋转将剪裁平面朝向原点(0，0，0)移动，减小R。逆时针旋转将剪裁平面远离原点(0，0，0)移动。图6示出了3D体积在剪裁平面的用户一侧的图像被剪裁掉近似40％。图7示出了剪裁进一步调整到60％的情况下的图像。看到一个期望的特征，它作为物体体积的上部分中的深色区域。
本发明的用户界面的另一个特征包括旋转剪裁平面以改变特征视图取向的能力。图8示出了物体的图像，其中通过向上移动跟踪球旋转剪裁。
“锁定平面到体积”触发器，它控制剪裁平面独立旋转还是与体积结合旋转。这样的操作用图9所示的屏幕截图高亮显示。当“锁定平面到体积”按钮打开(平面锁定按钮)，剪裁光标锁定到该体积，并因此随着该体积的旋转而旋转，以便保持与该体积的固定关系。如果“光标锁定”按钮关闭，则光标将保持固定在那里并且该体积将旋转从而改变剪裁相对于体积的位置。剪裁将在当前位置取消并在新的位置再次进行。
用户然后按照期望自由改变剪裁量和位置，直到他们满意剪裁的当前状态，在那一点上他们能够点击“存储”按钮。这将当前剪裁加入到与该体积相关联的剪裁列表，并接着开始新的剪裁。当前剪裁能够通过将剪裁位置向回拨到0(关闭)而被丢弃。
本发明的用户界面的另一个特征是“保存剪裁”特征。保存剪裁特征允许用户将当前剪裁设置绑定到该体积。图10是高亮显示允许用户保存特定剪裁的本发明特征的屏幕截图。图中所示的体积施加了剪裁。
尽管已经示出并描述本发明的几个例子，但是本领域技术人员将意识到在不脱离本发明的原理和精神的情况下可能做出改变，本发明的范围在权利要求书及其等效物中定义。
权利要求
1.一种用于物体的3D超声波图像交互调整的方法，包括以下步骤获取物体的3D图像数据的一个环，并在显示器上提供物体的3D图像用于用户观看；响应于用户输入经由用户界面激活一个剪裁模式，其中产生一个剪裁平面并关于图像空间中物体图像的取向确定该剪裁平面的取向，并且剪裁平面与3D图像一起显示，并且其中用户可以操作用户界面以关于图像的取向控制图像空间中剪裁平面的取向。
2.如权利要求1所述的方法，其中激活步骤包括使用一个跟踪球。
3.如权利要求1所述的方法，其中激活步骤包括一个保存剪裁设置的执行，其中由定义剪裁平面取向的当前用户定义的当前剪裁限制物体体积。
4.如权利要求1所述的方法，其中激活步骤包括一个特征的执行，其确定剪裁平面是否锁定到成像物体的体积，在代替独立旋转的地方，旋转剪裁平面来对3D图像进行旋转。
5.如权利要求1所述的方法，其中激活步骤包括打开和关闭剪裁模式。
6.一种用于包含执行用于物体的3D超声波图像的交互调整方法的一组计算机指令的计算机可读介质，该方法包含以下步骤获取物体的3D图像数据的一个环，并在显示器上提供物体的3D图像用于用户观看；响应于用户输入经由用户界面激活一个剪裁模式，其中产生一个剪裁平面并关于图像空间中物体的图像的取向确定该剪裁平面的取向，并且其中剪裁平面与3D图像一起显示，并且其中用户可以操作用户界面以关于图像的取向控制图像空间中剪裁平面的取向。
全文摘要
一种用于交互调整物体的3D超声波图像的方法，包括获取物体的3D图像数据的一个环，并在显示器上提供物体的3D图像用于用户观看。该方法还包括响应于用户输入经由用户界面激活剪裁模式以产生剪裁平面。可以由用户关于图像空间中物体的图像取向来确定该剪裁平面的取向。剪裁平面与3D图像一起显示。用户可以操作用户界面以关于图像的取向控制图像空间中剪裁平面的取向。
文档编号G06T15/30GK1806260SQ200480016416
公开日2006年7月19日 申请日期2004年6月7日 优先权日2003年6月11日
发明者S·瓦特金斯, S·阿雷扎 申请人:皇家飞利浦电子股份有限公司