专利名称：用于指示体绘制图像中3d光标深度的方法和系统的制作方法
用于指示体绘制图像中3D光标深度的方法和系统技术领域
本公开一般涉及用于调整在体绘制图像(volume-rendered image)中的3D光标的颜色以便示出3D光标的深度的方法和系统。
背景技术：
体绘制图像对于图示3D数据集非常有用，特别是在医学成像领域中。体绘制图像通常是3D数据集的2D表示。目前有许多不同的技术用于生成体绘制图像，但通常使用的技术包括使用算法基于体素(voxel)值从3D数据集提取表面。然后，在显示装置上显示表面的表示。时常地，体绘制图像将使用多个透明度水平和颜色以便同时示出多个表面，即使这些表面可能完全或部分重叠。以此方式，可以使用体绘制图像来传递比基于2D数据集的图像更多的信息。
在与体绘制图像交互时，用户将通常使用3D光标来在体绘制图像内导航。用户能够在3个维度上控制关于体绘制图像的3D光标的位置。换言之，可在X方向和y方向上调整3D光标的位置，并且用户可在深度或z方向上调整3D光标的位置。对于用户来说，在平行于视平面的各方向上理解3D光标的放置通常是容易的，但对于用户来说通常很难或不可能在深度方向上(即z方向或垂直于视平面)理解3D光标的放置。在体绘制图像中确定3D光标深度这一难题使得难以执行要求3D光标的精确放置的任何任务，例如在体绘制图像内放置标记、放置注解、或执行测量。
因此，出于这些和其它原因，希望有改进的超声成像方法以及改进的超声成像系统。发明内容
本文解决上述的不足、缺陷和问题，这将通过阅读和理解以下说明书而得以理解。
在一实施例中，一种方法包括显示体绘制图像以及在体绘制图像上显示3D光标。 该方法包括通过用户接口控制3D光标关于视平面的深度，并基于3D光标关于视平面的深度来自动调整3D光标的颜色。
在另一实施例中，一种方法包括显示从3D数据集生成的体绘制图像，并在体绘制图像内将3D光标定位在第一深度。该方法包括在第一深度将3D光标着色为第一颜色。该方法包括在体绘制图像内将3D光标定位在第二深度，并在第二深度将3D光标着色为第二颜色。
在另一实施例中，一种用于与3D数据集交互的系统，包括显示装置、存储器、用户输入、以及处理器，该处理器配置为与显示装置、存储器和用户输入进行通信。该处理器配置为从存储器中存取3D数据集，并从3D数据集生成体绘制图像。该处理器配置为在显示装置上显示体绘制图像。该处理器配置为响应来自用户输入的命令而在体绘制图像上显示3D光标，并且该处理器配置成基于体绘制图像中3D光标的深度来改变3D光标的颜色。
对于本领域技术人员来说，本发明的各种其它特征、目的以及优势将通过附图及其详细描述而变得明显。
图I是根据一实施例的超声成像系统的示意图2是根据一实施例的可以用于生成体绘制图像的几何结构的示意表示；
图3是根据一实施例的体绘制图像的示意表示；以及
图4是根据一实施例的用户接口的示意表示。
具体实施方式
在以下的详细描述中，参考形成该详细描述一部分的附图，并且其中以可实践的说明性具体实施例的方式来示出。充分详细地描述这些实施例以使本领域技术人员能够实践这些实施例，并且要理解的是可利用其它实施例，以及在不偏离这些实施例的范围的情况下可做出逻辑的、机械的、电的和其它的改变。因此以下详细描述不作为对本发明范围的限制。
图I是根据一实施例的超声成像系统100的示意图。超声成像系统100包括发送器102，其发送信号至发送波束生成器103，发送波束生成器103又驱动换能器阵列106内的换能器元件104以发射脉冲超声信号至例如患者(未示出)的结构。探头105包括换能器阵列106、换能器元件104以及探头/SAP电子设备107。探头/SAP电子设备107可用来控制换能器元件104的开关。探头/SAP电子设备107还可用来将元件104聚集到一个或多个子孔径中。可使用多种几何结构的换能器阵列。脉冲超声信号从体内的结构(例如血细胞或肌肉组织)反向散射，以产生返回到换能器元件104的回波(echo)。通过换能器元件104将回波转换为电信号或超声数据，并且由接收器108接收该电信号。超声数据可包括从患者身体的3D区域采集到的体积超声数据(volumetric ultrasound data)。表示所接收的回波的电信号穿过输出超声数据的接收波束生成器110。用户接口 115可用于控制超声成像系统100的操作,包括控制患者数据的输入、改变扫描或显示参数、控制3D光标的位置等。
超声成像系统100还包括处理器116，以处理超声数据并生成用于在显示装置118 上显示的帧或图像。处理器116可包括一个或多个分开的处理部件。例如，根据一实施例， 处理器116可以包括图形处理单元(GPU)。具有包括GPU的处理器可以有利于计算密集型操作(例如体绘制)，这将在下文更详细地描述。处理器116与探头105以及显示装置118 电子通信。处理器116可硬接线至探头105以及显示装置118，或者处理器116可通过包括无线通信的其它技术进行电子通信。显示装置118可包括屏幕、监视器、平板LED、平板LCD 或立体显示器。立体显示器可配置为同时地或快速连续地从不同视角显示多幅图像，从而允许用户感觉是在观察3D图像。用户可能需要穿戴特殊眼镜以保证每只眼睛每次仅看到一幅图像。特殊眼镜可包括针对每只眼镜在不同视角上设置线偏振滤波器的眼镜，或限制每只眼睛在给定时间观察图像的快速切换快门眼镜。为了有效地生成立体图像，处理器116 可能需要以如下方式在显示装置上从不同视角显示图像，即特殊的眼镜能够有效地隔离左眼所观察的图像与右眼所观察的图像。处理器116可能需要在显示装置118上生成体绘制图像，包括来自不同视角的两幅重叠图像。例如，如果用户正戴着具有线偏振滤波器的特殊眼镜，则来自第一视角的第一图像可以在第一方向上偏振以使得它只穿过覆盖用户右眼的镜片，并且来自第二视角的第二图像可以在第二方向上偏振以使得它只穿过覆盖用户左眼的镜片。
处理器116可适于根据超声数据上的多个可选择的超声模态来执行一个或多个处理操作。其它实施例可使用多个处理器来执行各种处理任务。处理器116还可适于控制采周探头105的超声数据的采集。随着接收到超声信号，在扫描时间段期间可实时地处理超声数据。对于本公开的目的，术语“实时”定义为包括无故意滞后或延迟地执行的处理。 一实施例可以以高于20次每秒的速率来更新所显示的超声图像。该图像可显示为实况图像(live image)的一部分。对于本公开的目的，术语“实况图像”定义为包括动态图像，其作为所采集的超声数据的额外的帧来更新。例如，在正在显示实况图像时，即使正在基于以前采集的数据生成图像，也可采集超声数据。然后，根据一实施例，随着额外的超声数据被采集，顺序显示从刚刚采集的超声数据生成的额外帧或图像。此外地或备选地，在扫描时间段期间超声数据可暂时存储在缓冲器(未示出)中，并在实况或离线操作中不那么实时地处理。本发明的一些实施例可包括多个处理器(未示出)以处置该处理任务。例如，可利用第一处理器来解调超声信号并取其十分之一，而可使用第二处理器来在显示图像前进一步处理数据。应当领会的是其它实施例可使用不同的处理器安排。
处理器116可用于从探头105所采集的3D数据集生成体绘制图像。根据一实施例，3D数据集包含分配给3D数据集内每个体素、或体元素的值或强度。在采用超声成像系统所采集的3D数据集中，每个体素被分配了由对应特定体素的组织的声学性质所确定的值。根据各种实施例，3D超声数据集可包括b-模式数据、颜色数据、应变模式数据等。3D 数据集中体素的值可表示用不同成像模态采集的实施例中的不同属性。例如，在计算断层照相数据中的体素通常是基于X射线衰减而分配的值，以及在磁共振数据中的体素通常是基于材料的质子密度而分配的值。超声、计算断层照相、以及磁共振只是可用于采集3D数据集的成像系统的三种示例。根据额外的实施例，也可使用任何其它的3D数据集。
图2是根据一实施例的可用于生成体绘制图像的几何结构的示意表示。图2包括 3D数据集150和视平面154。
参考图I和2两者，处理器116可根据多个不同技术来生成体绘制图像。根据示例性实施例，处理器116可通过光线投射技术从视平面154生成体绘制图像。处理器116可将来自视平面154的多束平行光线投射至3D数据集150。图2示出光线156、光线158、光线160以及光线162，它们限定了视平面154的边界。应该领会的是，可投射更多的光线从而为视平面154内的所有像素163分配值。3D数据集150包括体素数据,其中为每个体素分配值或强度。根据一实施例，处理器116可使用针对体积组成的标准“前至后”技术，以便向由光线相交的视平面154中的每个像素分配值。可基于3D数据集中的信息为每个体素分配值和不透明度。例如，在作为从其观察图像的方向的前方开始，沿光线的每个值与对应的不透明度相乘。然后沿每条光线在前至后方向上累加不透明度加权值。对视平面154 中的像素163中的每个来重复该过程以便生成体绘制图像。根据一实施例，来自视平面154 的像素值可显示为体绘制图像。体绘制算法可配置为使用不透明度函数，其提供了从不透明度为零(完全透明)至1.0 (完全不透明)的渐变。当向视平面154内的每个像素163 分配值时，体绘制算法可沿每条光线将体素的不透明度计入在内。例如，具有接近I. O不透明度的体素将阻止来自沿射线的其它体素的大部分贡献，而具有接近零不透明度的体素将允许来自沿射线的其它体素的大部分贡献。另外，在将表面可视化时，可在基于值重新分配体素不透明度处执行阈值操作。根据示例性的阈值操作，具有约为阈值的值的体素的不透明度可以设置为I. O而具有低于阈值的值的体素的不透明度的体素可以设置为零。这种类型的阈值消除了沿光线除了阈值之上的第一体素以外的其它体素的贡献。也可使用其它类型的阈值方案。例如，可在明显高于阈值的体素设置为1.0(其是不透明的)以及明显低于阈值的体素设置为零(透明)处使用不透明度函数。然而，不透明度函数可用于将除了零和1.0以外的不透明度分配给具有接近阈值的值的体素。这种“转变区”用于减少当使用简单二值化阈值算法时可能发生的伪影。例如，可使用将不透明度映射到值的线性函数来向具有“转变区”内的值的体素分配不透明度。根据其它实施例，可使用从零至I. O渐进的其它类型的函数。
在一示例性实施例中，可使用梯度阴影来生成体绘制图像，以便为用户提供关于表面的深度的更好感知。例如，可通过阈值的使用来部分地定义数据集150内的表面，其移除低于或高于阈值的数据。接下来，可在每条光线和该表面的交叉处定义梯度。如前面所述，光线可从视平面154内的像素163中的每个像素跟踪到数据集150内定义的表面。一旦在每条光线上计算了梯度，处理器116 (示于图I)可在表面上对应每个像素的位置计算光反射，并基于梯度应用标准阴影法。根据另一实施例，处理器116识别相似强度的连接体素群，以便从3D数据定义一个或多个表面。根据其它实施例，可从单一观察点投射光线。
根据上面列举的生成体绘制图像的非限制性示例中的全部，处理器116可使用颜色，以便向用户传递深度信息。仍然参考图1，作为体绘制过程的部分，可通过处理器116填充深度缓存器117。深度缓存器117包含分配给体绘制图像中每个像素的深度值。深度值表示从像素至体积内的表面的距离，该体积在该特定像素中示出。深度值还可限定为包括到第一体素的距离，其为高于定义表面的阈值的值。根据深度相关方案(cbpth-cbpendent scheme)，每个深度值与某一颜色值相关联。这样，处理器116可生成颜色编码体绘制图像， 其中在体绘制图像中每个像素根据其距离视平面154 (示于图2)的深度来着色。根据示例性着色方案，表示相对较浅深度表面的像素可以第一颜色(例如青铜色)来描绘，以及表示相对较深深度表面的像素可以第二颜色(例如蓝色)来描绘。根据一实施例，用于像素的颜色可随着深度增加平滑地从青铜色至蓝色渐进。本领域技术人员应该领会的是，根据其它实施例可使用许多其它的着色方案。
仍参考图1，超声成像系统100可取决于超声数据的大小和空间分辨率而连续地以例如5Hz至50Hz的帧速率来采集超声数据。然而，其它实施例可以以不同速率来采集超声数据。包括存储器120用以存储所采集的超声数据的已处理的帧，它们未排定为立即显示。在示例性实施例中，存储器120具有充足的容量以存储相当于至少若干秒的超声数据的帧。根据采集的顺序或时间，超声数据的帧以便于取回的方式来存储。如上文所述，可在实况图像的生成和显示期间取回超声数据。存储器120可包括任何已知的数据存储介质。
可选地,可利用造影剂(contrast agent)来实现本发明的实施例。在使用包括微泡(microbubble)的超声造影剂时,造影成像生成体内解剖结构和血液流动的增强图像。 在使用造影剂采集超声数据后，图像分析包括分离谐波和线性成分、增强谐波成分并且利用增强的谐波成分来生成超声图像。使用合适的滤波器来执行从所接收的信号中分离谐波CN 102982576 A书明说5/8页
成分。用于超声成像的造影剂的使用对于本领域技术人员来说是已知的，因此将不进一步详细描述。
在本发明的各种实施例中，可通过其它或不同的模式相关的模块来处理超声数据。对图像进行存储，并且指示图像被采集到存储器中的时刻的定时信息可与每幅图像一起记录。模块可包括例如扫描转换模块以执行扫描转换操作，以将图像帧从极坐标转换为笛卡尔坐标。可提供视频处理器模块，其从存储器中读取图像，并当在患者上执行程序时实时显示该图像。视频处理器模块可将图像存储在图像存储器中，图像从这里读取并显示。根据各种实施例，所示的超声成像系统100可以是控制台系统、车载系统或便携式系统(例如手持或膝上型系统)。
图3是根据一实施例的体绘制图像300的示意表示。体绘制图像300可在显示装置(例如图I所示的显示装置118)上示出。体绘制图像300是通常会从3D数据集生成的体绘制图像的简化版本。坐标轴301与体绘制图像300 —起示出。坐标轴301示出X方向、y方向和z方向。可通过坐标轴301示出的任意两个方向来定义平面。例如，视平面可在χ-y平面中或与χ-y平面平行。本领域技术人员应领会解的是，z方向对应于深度,并垂直于x-y平面。
在图3中，示出了多个等高线。使用等高线作为不同颜色区域的边界。如前所述， 每个颜色对应于表面距离视平面154 (示于图2)的深度。可将每个颜色分配给距离视平面的一段深度区间。根据一实施例，所有标为302的区域以第一颜色着色、所有标为304的区域以第二颜色着色、所有标为306的区域以第三颜色着色、以及所有标为308的区域以第四颜色着色。连续颜色的区域在图2中相对较大。应该领会的是，在许多其它实施例中，可使用多于四种不同颜色来示出体绘制图像的深度。另外，对于更加复杂的形状，特别是从医学成像数据中生成的那些，每种颜色的精细变化可用于示出对精细分辨率的深度。例如，根据一实施例，颜色的分级可足够精细以便使用上百种或上千种不同颜色来为观察者提供关于在不同深度的目标形状的额外的细节。
还示出了 3D光标310。3D光标用于在体绘制图像300中导航。用户可使用用户接口 115(示于图I)来控制3D光标310在平行于视平面(即图3内的平面)的方向上的位置，或者用户可使用用户接口 115来控制在3D光标310在z方向上的深度或位置。
图4是根据一实施例的图I所示的用户接口 115的示意表示。除了其它控制以外， 用户接口 115还包括键盘400、跟踪球402、多个旋转设备(rotary)404以及按钮406。
现在参考图3和图4，用户可操纵图像300内的3D光标310的位置。可使用跟踪球402控制3D光标310的位置。根据一个实施例，跟踪球402可用于将3D光标310定位在平行于x-y平面的平面。3D光标310可以以与传统光标会被定位在个人计算机的屏幕上非常相同的方式实时地在X方向和y方向上定位。用户然后可通过选择按钮406触发跟踪球的功能。按钮406改变跟踪球402的功能，从在x-y平面中控制3D光标310到控制3D 光标310在z方向上的位置。换言之，在选择按钮406后，用户能够容易地控制3D光标310 在体绘制图像300中的深度。虽然该示例性实施例描述了使用跟踪球来控制3D光标310 的深度，应该领会的是，也可使用其它控制来控制3D光标310的位置，包括鼠标(未示出)、 一个或更多旋转设备404、触摸屏(未示出)、以及手势跟踪系统(未示出)。
处理器116 (示于图I)自动地调整3D光标310的颜色，以便基于体绘制图像3007内3D光标310的深度来调整3D光标的颜色。用户能够基于3D光标的颜色快速并精确地确定体绘制图像300内3D光标310的深度。另外，由于3D光标310的颜色随用户调整3D 光标310的深度而实时更新，所以用户容易在体绘制图像300内精确导航。
如上面所述，体绘制图像300可根据深度相关方案着色，其基于表面和视平面 154(示于图2)之间的距离而为体绘制图像300中的每个像素分配颜色。根据一示例性实施例，3D光标310可根据用于为体绘制图像300中的像素分配颜色的相同的深度相关方案来着色。因此用户能容易地基于3D光标310的颜色来确定3D光标310的深度。根据许多工作流，用户可能试图将3D光标310靠近目标结构定位。例如，用户可能试图在感兴趣位置执行任务，例如添加注解或放置标记。或者，用户可能试图获得两个解剖结构之间的测量。由于用于着色3D光标310的深度相关方案与体绘制图像300中所使用的相同，所以用户可简单地在深度方向上调整3D光标310的位置，直到3D光标310与目标结构的颜色相同或近似相同。根据一实施例，3D光标310具有矩形的固定几何结构形状。因为3D光标 310是矩形形状，所以当处于与体绘制图像300中的表面相同的深度时，用户仍然通常能够容易地从体绘制图像中区分3D光标310。另外，由于多数体绘制图像在深度方面并因此在颜色方面与示例性体绘制图像300相比是更加有细微差别的，所以多数时候用户能够确定地识别3D光标310，这是由于3D光标310处于单一的深度，并因此是单一的颜色。
根据一实施例，3D光标310可包括在3D光标310边缘上的侧影(silhouette) 312。 侧影312可以是白色的来另外帮助用户识别体绘制图像300中的3D光标。根据其它实施例，用户可选择性地去除侧影312和/或改变侧影312的颜色。例如，如果图像主要是浅色， 则更有利的是侧影使用深色来代替如上面示例性实施例所描述的侧影使用白色。根据另一实施例，处理器116 (示于图I)还可基于3D光标310关于视平面154 (示于图2)的深度来改变3D光标310的尺寸。例如，除了调整3D光标310的颜色以外，处理器116还可随深度调整3D光标310的尺寸。根据示例性实施例，当3D光标接近视平面154时，3D光标310可示出为较大尺寸，而当3D光标距离视平面154较远时，3D光标310可示出为较小尺寸。根据另一实施例，体绘制图像300中的多个深度中的每个可与不同3D光标尺寸相关联。然后， 用户能够另外使用3D光标的实时尺寸来帮助在体绘制图像300中定位3D光标。
根据示例性方法，用户可将3D光标310定位在第一深度。接下来，在体绘制图像 300中距离视平面154 (示于图2)第一深度处，处理器116 (示于图I)可将3D光标310着色为第一颜色。可基于第一深度来选择第一颜色。例如，处理器116可访问查找表，该查找表具有与不同深度相关联的不同颜色。接下来，用户可将3D光标310定位于体绘制图像 300中距离视平面154第二深度处。然后，处理器116将第二深度处的3D光标310着色为第二颜色。3D光标310的该着色可优选地实时发生。该方法的技术效果在于体绘制图像 300内3D光标310的深度由3D光标的颜色实时地指示。用户因此能够使用3D光标310的颜色作为3D光标310深度的指示器。可根据上述的深度相关方案来选择用于3D光标310 的颜色。
3D光标310可能不时地由用户定位在体绘制图像的一个或多个表面之下。根据一实施例，处理器116可根据不同方案来对3D光标310着色，以便更好地图示3D光标310在表面之下。例如，处理器116可用如下颜色对3D光标310着色，该颜色是仅基于根据深度相关方案的深度的颜色和与3D光标310重叠的表面的颜色之间的混合。
本书面说明书使用示例来公开本发明，包括最佳模式，并且也使本领域任何技术人员能够实践本发明，包括制作和使用任何装置或系统以及执行任何并入的方法。本发明的可专利范围由权利要求书限定，并可包括本领域技术人员想到的其它示例。如果这样的其它示例具有与权利要求书的字面语言没有不同的结构性元件、或者如果它们包括与权利要求书的字面语言没有实质区别的等效结构性元件，则这样的其它示例预计落在权利要求书的范围之内。
部件列表
图1
100超声成像系统
102发送器
103发送波束生成器
104换能器元件
105探头
106换能器阵列
107探头/SAP电子麥108接收器
110接收波束生成器
115用户输入
116处理器
117深度缓存器
118显示装置
120存储器
图2
1503D数据集
154视平面
156光线
158光线
160光线
162光线
163像素
图3
300体绘制图像
301坐标轴
302区域
304区域
306区域
308区域
3103D光标
312侧影
图4:
115用户接口
400键盘402跟踪球
404旋转设备
406按钮。
权利要求
1.一种用于与3D数据集交互的系统，包括 显示装置(118)； 存储器(120)； 用户输入(115);以及 处理器(116)，配置为与所述显示装置(118)、所述存储器(120)和所述用户输入(115)通信，其中所述处理器(116)配置为 从所述存储器(120)存取3D数据集； 从所述3D数据集生成体绘制图像； 在所述显示装置(118)上显示所述体绘制图像； 响应来自所述用户输入(115)的命令来在所述体绘制图像上显示3D光标；以及 基于所述体绘制图像中所述3D光标的深度自动改变所述3D光标的颜色。
2.如权利要求I所述的系统，其中所述处理器(116)还配置为根据深度相关方案为所述体绘制图像分配颜色。
3.如权利要求2所述的系统，其中所述处理器(116)还配置为根据在所述体绘制图像中使用的所述深度相关方案自动改变所述3D光标的所述颜色。
4.如权利要求I所述的系统，其中所述处理器(116)还配置为显示环绕所述3D光标的侧影，其中所述侧影是与所述3D光标不同的颜色。
5.如权利要求I所述的系统，其中所述处理器(116)还配置为基于所述3D光标关于视平面的所述深度来自动调整所述3D光标的尺寸。
6.如权利要求I所述的系统，其中所述处理器(116)还配置为当所述3D光标位于所述体绘制图像的表面之下时，自动将所述3D光标着色为所述表面的第一颜色和根据深度相关方案的第二颜色之间的混合。
7.如权利要求I所述的系统，其中所述处理器(116)还配置为在第一深度区间上以第一颜色显示所述3D光标，以及在第二深度区间上以第二颜色显示所述3D光标，其中所述第二深度区间比所述第一深度区间深。
8.如权利要求7所述的系统，其中所述处理器(116)还配置为随着通过所述用户接口对所述3D光标的所述深度的调整而平滑地调整所述3D光标的所述颜色。
9.如权利要求I所述的系统，其中所述显示装置(118)包括立体显示器。
10.如权利要求I所述的系统，其中所述系统包括超声成像系统(100)。
全文摘要
本发明的名称为“用于指示体绘制图像中3D光标深度的方法和系统”。一种用于与3D数据集交互的系统，包括显示装置(118)、存储器(120)、用户输入(115)以及处理器(116)。处理器(116)配置为从存储器(120)存取3D数据集并从3D数据集生成体绘制图像。处理器(116)还配置为在显示装置(118)上显示体绘制图像，响应来自用户输入(115)的命令在体绘制图像上显示3D光标，以及基于体绘制图像中3D光标的深度自动改变3D光标的颜色。
文档编号G06T15/08GK102982576SQ20121031962
公开日2013年3月20日 申请日期2012年5月31日 优先权日2011年5月31日
发明者E·N·斯蒂恩 申请人:通用电气公司