基于gpu平台的三维及四维超声成像方法与装置及系统的制作方法
【专利摘要】本发明公开了一种基于GPU并行处理平台的三维超声实时成像方法与装置，所述GPU进行三维成像运算包括分帧与整卷两种处理模式，其中分帧处理模式用于完成三维实时超声系统成像，而整卷处理模式用于完成非实时三维成像处理。对于体绘制渲染中存在的大量三维浮点寻址，本方案采用了优化的存储器使用策略，在减少GPU存储器使用量的同时，大幅度提高了运算的精度与速度。
【专利说明】基于Gpu平台的三维及四维超声成像方法与装置及系统
[0001]
【技术领域】
本申请涉及医学超声三维成像【技术领域】，特别是涉及一种基于GPU平台的三维及三维实时超声成像方法与装置及成像系统。
【背景技术】
[0002]医疗设备中的三维可视化技术是根据一系列具有特定空间位置关系的二维图像重构出三维体数据，并通过图形绘制在成像终端显示出来。这样不仅可以更直观形象的进行观测整体结构，而且通过体绘制技术还可以观察到结构内部的细节，同时，医生还可以得到丰富的三维信息，完成三维测量检测。
[0003]三维实时超声系统在应用中面临的一大困难是巨大的三维数据处理量，这对于传统基于DSP (数字信号处理器)或CPU (中央处理器)的超声系统而言需要的硬件代价是极高的，而且还往往受限于诸如浮点或超越函数计算的开销。三维实时超声系统大概可以由超声前端处理模块，射频信号基带解调模块，三维体数据采集模块，三维体数据重建模块和体绘制渲染成像模块组成。传统上，三维体数据重建和体绘制渲染成像模块是三维实时超声系统计算量巨大的环节。现在一般的加速做法主要是基于查表的体数据重建和基于图形硬件的体绘制渲染。基于查表的体数据重建是指为了将重建体数据的直角坐标系转换为原始体数据的极坐标系(同时需要对无效体素进行排除保留并标识在重构六面体内的有效和边界体素)需要大量三角和超越函数指令，通过事先建立查找表的方式，可以降低运算开销。体绘制渲染是基于光线投射算法的，简而言之，就是从视平面的当前像素投射出一条光线，在重构后的包围盒内以一定步长沿光线行进，得到一系列采样点坐标(传统上是取整)，根据坐标重建表查询体素，直到满足一定条件光线终止，可以看到这个步骤中视平面每个像素都需要投射一条光线，迭代步进，同时包含大量的三维寻址与插值操作，计算量极大。
[0004]现有技术存在的缺陷主要有:
1，由于图像数据在处理时存在极大的计算无关性可以大规模并行处理，因此传统基于DSP或CPU的超声系统处理这样大量的数据效率低下且造价昂贵。
[0005]2，传统医疗超声系统对三维实时成像只对体绘制渲染部分使用图形硬件加速，这有两个方面的缺陷，首先使用图形硬件加速让体绘制算法实现受到一定程度的制约，例如纹理大小，数据格式，算法流程等方面；其次，对图像预处理和三维重建都没有进行进一步的加速，需要额外的高成本硬件和三维体数据的PC1-E传输开销等。
[0006]3，在光线投射过程中得到的采样点坐标往往为浮点坐标，取整的做法会让图像品质下降，而普通的三次线性插值的寻址计算开销巨大。
[0007]4，由于GPU (图形处理器)采用单指令多线程硬件架构，传统的处理流程，难以在单个GPU上同时完成超声三维体数据重建和体绘制渲染的实时处理。
【发明内容】
[0008]本发明的目的在于克服现有技术中所存在的上述不足，提供基于GPU平台的三维及四维超声成像方法与装置及系统。
[0009]为了实现上述发明目的，本发明提供了以下技术方案:
一种基于GPU平台的三维超声成像方法，包括如下步骤:所述GPU进行三维成像运算包括分帧与整卷两种处理模式，其中分帧处理模式用于完成三维实时超声系统成像，而整卷处理模式用于完成非实时三维成像处理。
[0010]本发明的附加技术方案如下:
优选地，所述分帧处理模式包括如下步骤:
a.在采集模块获得第I卷第I帧数据时，不开始后续处理；
b.当第I卷第2帧数据到来时，进行预处理和重建处理，得到预处理后帧SI，并完成第I卷第一和第二帧之间的重建，完成第一卷数据的所有预处理和体数据重建；
c.采集模块获得第2卷第I帧数据时，开始第一卷数据的剖面计算；当采集模块获得第2卷第2帧数据时，首先进行预处理和重建处理，得到预处理后帧SI，并完成第2卷第I和第2帧之间的重建，然后完成第I卷I小块数据的体绘制光线追踪计算，在当前卷的预处理与重建过程中完成前一卷的剖面计算和体绘制渲染。
[0011]优选地，所述GPU进行三维成像运算包括分帧与整卷两种处理模式，在各模式中，三维重建后的体纹理数据为8bit数据，首先将三维重建模块的输出直接写入表面存储器，对表面存储器的数据进行自动插值转换为32bit浮点数据放入纹理存储器，体绘制渲染模块通过纹理存储器获得数据。
[0012]在本方案中，优化了 GPU的存储器，即将三维重建模块的输出直接写入表面存储器，而体绘制渲染模块通过纹理存储器获得硬件自动插值的结果，如图6所示。这种方案的好处在于写入表面存储器的数据，使用纹理读取时可自动转换为32bit浮点，体数据重建输出模块不会产生额外的空间消耗，同时，纹理存储器支持三维浮点寻址并提供了三维访存局部性优化，采用这一优化方案可大幅度提高运算速度，使用优化的存储器策略相比于未优化的GPU体绘制运算过程提高了 10倍以上。
[0013]优选地，所述整卷处理模式包括如下步骤:
A.原始图像预处理，对来自超声系统前端控制器将回波信号进行波束形成并通过总线将射频信号传输至内存原始体数据进行三维平滑处理，即沿XYZ三个方向进行均值滤波操作；
B.三维重建计算，首先在初始化阶段根据容积探头采集方位计算出重建查找表，在处理时通过查表完成由探头物理坐标系下的体数据变换为直角坐标系下的体数据；
C.剖面计算，由未进行重建的原始体数据通过场景和参数并通过三次线性插值获得当前剖面所在点的像素值；
D.三维数据到2D图像的体绘制渲染显示，输入点阵数据和几何信息，输出结果为图像；其中，体绘制又划分为光线定位、光线求交和光线合成等三个子模块:
光线定位:遍历视口各个像素，按照坐标变换关系，确定当前光线；
光线求交:将当前光线与体数据立方体求交，确定当前光线的有效区间；
光线合成:按照当前成像模式，根据体数据内容，计算出当前光线的合成结果；
对体绘制使用的4种基本合成模式如下:
表面模式:将光线上所有采样点看作半透明粒子，使用透明模型进行合成； 最小值模式:取光线上所有采样点大于阈值的最小灰度值；
最大值模式:取光线上所有采样点的最大灰度值；
X-ray模式:取光线上所有采样点的平均灰度值。
[0014]优选地，在整卷处理模式的B步骤后，还包括三维图像编辑。
[0015]本发明还提供了基于GPU平台的三维超声成像装置，包括4D超声探头，4D超声探头输出信号至超声系统前端，超声系统前端通过总线与主机内存(主机内存这里存放的是超声系统前端得到的射频信号，主机会将射频信号传输到GPU端信号处理模块，GPU设备端存储器包括表面和纹理存储器，三维重建计算结果写入表面存储器，然后体绘制渲染模块通过表面存储器所绑定的纹理获取体数据)联系，主机内存与GPU通过PC1-E联系，GPU输出渲染的图像至显示器。
[0016]优选地，所述所述装置中，包括三维成像处理模块，所述三维成像处理模块包括图像预处理，三维重建计算，剖面计算和体绘制渲染，其中
Cl)图像预处理
图像预处理是对原始体数据进行三维平滑处理，即沿XYZ三个方向进行均值滤波操作。
[0017](2)三维重建计算
首先在初始化阶段根据容积探头采集方位计算出重建查找表，在处理时通过查表完成由探头物理坐标系下的体数据变换为直角坐标系下的体数据。
[0018](3)剖面计算
剖面绘制是由未进行重建的原始体数据通过场景和参数并通过三次线性插值获得当前剖面所在点的像素值。
[0019](4)体绘制渲染
三维绘制渲染模块用于三维数据到2D图像的体绘制渲染显示。其输入输出可表述为:点阵数据十几何信息，输出结果为图像。体绘制模块又可以划分为光线定位、光线求交和光线合成等三个子模块，如图5所示。各子模块的介绍如下:
光线定位:遍历视口各个像素，按照坐标变换关系，确定当前光线。
[0020]光线求交:将当前光线与体数据立方体求交，确定当前光线的有效区间。
[0021]光线合成:按照当前成像模式，根据体数据内容，计算出当前光线的合成结果。
[0022]对体绘制使用的4种基本合成模式作简要介绍如下:
表面模式:将光线上所有采样点看作半透明粒子，使用透明模型进行合成。
[0023]最小值模式:取光线上所有米样点大于阈值的最小灰度值。
[0024]最大值模式:取光线上所有采样点的最大灰度值。
[0025]X-ray模式:取光线上所有采样点的平均灰度值。
[0026]与现有技术相比，本发明以及一些【具体实施方式】的有益效果:
1，利用分帧和整卷两种处理模式在GPU平台上实现了高速三维及三维实时超声成像，三维实时超声成像在分帧模式下达到的处理速度意味着超声前端可使用更高速扫描方式进行三维扫查，而非实时三维超声成像在整卷处理模式下取得高速处理效果可以让医生进行各种三维观察，测量和编辑操作更为流畅。
[0027]2，在普通中档GPU设备上(例如GTX650)，测试结果为: a，在分帧模式下，处理速度已超过300帧/s b，在整卷模式下，处理速度已超过20卷/s
c，使用优化的存储器策略相比于未优化的GPU体绘制运算过程提高了 10倍以上。
【专利附图】
【附图说明】
[0028]图1为本发明实施例的装置结构。
[0029]图2本发明实施例的三维及三维实时超声成像处理框架。
[0030]图3本发明实施例的三维超声成像整卷处理模式流程图。
[0031]图4.1至图4.3为本发明实施例的三维超声成像整卷处理模式流程图。
[0032]图5本发明实施例的的体绘制结构图。
[0033]图6本发明实施例的体数据重建和体绘制存储器使用方案。
【具体实施方式】
[0034]下面结合试验例及【具体实施方式】对本发明作进一步的详细描述。但不应将此理解为本发明上述主题的范围仅限于以下的实施例，凡基于本
【发明内容】
所实现的技术均属于本发明的范围。
[0035]本发明的装置结构见图1所示，包括四维超声探头，超声系统前端控制电路，系统内存，GPU和显示终端。按照本发明装置的处理流程，首先4D探头通过马达带动其均匀机械运动进行扫描，超声系统前端控制器将回波信号进行波束形成并通过总线将射频信号传输至内存，再通过PC1-E传输将射频信号拷贝至显存供GPU使用，最后再将GPU处理好的图像由显示终端完成显示。
[0036]要实现三维超声成像的实时处理，必须满足三维超声成像所有处理环节的总运行时间小于两帧之间的扫描时间。对于三维超声成像而言，主要的处理包括超声信号处理模块和三维成像处理模块。超声信号处理模块主要包含信号解调，包络计算和对数压缩。它的输出即为三维成像处理模块需要的二维原始图像数据。三维成像处理模块主要由图像预处理(平滑)，三维体数据重建，剖面计算和体绘制渲染等处理环节构成.图2给出了本发明中三维超声实时成像处理框架，在三维成像处理模块包含了分帧与整卷两种处理模式。
[0037]图3给出了整卷处理模式的流程图，包括原始图像预处理(平滑)，三维重建计算，三维图像编辑(可打开或关闭)，，剖面计算，三维体绘制渲染等处理环节，其中体绘制渲染有表面(可打开关闭梯度计算)模式，最大值模式，最小值模式和x-ray模式等。
[0038]分帧处理模式下的处理流程如下(其适用于一切基于单GPU系统的超声三维实时成像处理，各处理步骤算法的显而易见修改及替换应视为本专利保护范畴):
1，在采集模块获得第I卷第I帧数据时，不开始后续处理。
[0039]2，当第I卷第2帧数据到来时，进行预处理和重建处理，得到预处理后帧SI，并完成第I卷第一和第二帧之间的重建，如图4.1所示。
[0040]依此类推，完成第一卷数据的所有预处理和体数据重建。
[0041]3，当采集模块获得第2卷第I帧数据时，开始第一卷数据的剖面计算。
[0042]当采集模块获得第2卷第2帧数据时，首先进行预处理和重建处理，得到预处理后帧SI,并完成第2卷第I和第2帧之间的重建，然后完成第一卷一小块数据的体绘制光线追踪计算，如图4.2所示。一般前一卷的体绘制运算被分成多块(例如10，最大不超过卷内帧数减一即可)。依此类推，在当前卷的预处理与重建过程中完成前一卷的剖面计算和体绘制渲染，如图4.3所示。
[0043]本发明中三维成像处理模块主要包括图像预处理，三维重建计算，剖面计算和体绘制渲染等。
[0044](I)图像预处理
图像预处理是对原始体数据进行三维平滑处理，即沿XYZ三个方向进行均值滤波操作。
[0045](2)三维重建计算
首先在初始化阶段根据容积探头采集方位计算出重建查找表，在处理时通过查表完成由探头物理坐标系下的体数据变换为直角坐标系下的体数据。
[0046](3)剖面计算
剖面绘制是由未进行重建的原始体数据通过场景和参数并通过三次线性插值获得当前剖面所在点的像素值。
[0047](4)体绘制渲染
三维绘制渲染模块用于三维数据到2D图像的体绘制渲染显示。其输入输出可表述为:点阵数据十几何信息，输出结果为图像。体绘制模块又可以划分为光线定位、光线求交和光线合成等三个子模块，如图5所示。各子模块的介绍如下:
光线定位:遍历视口各个像素，按照坐标变换关系，确定当前光线。
[0048]光线求交:将当前光线与体数据立方体求交，确定当前光线的有效区间。
[0049]光线合成:按照当前成像模式，根据体数据内容，计算出当前光线的合成结果。
[0050]对体绘制使用的4种基本合成模式作简要介绍如下:
表面模式:将光线上所有采样点看作半透明粒子，使用透明模型进行合成。
[0051]最小值模式:取光线上所有米样点大于阈值的最小灰度值。
[0052]最大值模式:取光线上所有采样点的最大灰度值。
[0053]X-ray模式:取光线上所有采样点的平均灰度值。
[0054]为了解决体纹理空间和访存开销过大，本发明设计了一种GPU存储器优化使用方案:
三维重建后的体纹理数据为8bit数据，GPU平台的运算和寻址指令以32bit为单位，如果将得到的体纹理以32bit存放，固然可以提高运算速度，但就会多出3倍的空间消耗，为了解决这一问题，本发明提出了一种优化GPU存储器使用方案，即将三维重建模块的输出直接写入表面存储器，而体绘制渲染模块通过纹理存储器获得硬件自动插值的结果，如图6所示。这种方案的好处在于写入表面存储器的数据，使用纹理读取时可自动转换为32bit浮点，体数据重建输出模块不会产生额外的空间消耗，同时，纹理存储器支持三维浮点寻址并提供了三维访存局部性优化，采用这一优化方案可大幅度提高运算速度，使用优化的存储器策略相比于未优化的GPU体绘制运算过程提高了 10倍以上。GPU存储器使用流程，如图6所示。
【权利要求】
1.一种基于GPU平台的三维超声成像方法，包括如下步骤: 所述GPU进行三维成像运算包括分帧与整卷两种处理模式，其中分帧处理模式用于完成三维实时超声系统成像，而整卷处理模式用于完成非实时三维成像处理。
2.根据权利要求1所述的方法，其特征在于所述分帧处理模式包括如下步骤: a.在采集模块获得第I卷第I帧数据时，不开始后续处理； b.当第I卷第2帧数据到来时，进行预处理和重建处理，得到预处理后帧SI，并完成第I卷第一和第二帧之间的重建，完成第一卷数据的所有预处理和体数据重建； c.采集模块获得第2卷第I帧数据时，开始第一卷数据的剖面计算；当采集模块获得第2卷第2帧数据时，首先进行预处理和重建处理，得到预处理后帧SI，并完成第2卷第I和第2帧之间的重建，然后完成第I卷I小块数据的体绘制光线追踪计算，在当前卷的预处理与重建过程中完成前一卷的剖面计算和体绘制渲染。
3.根据权利要求1或2所述的方法，其特征在于:所述整卷处理模式包括如下步骤: A.原始图像预处理，对来自超声系统前端控制器将回波信号进行波束形成并通过总线将射频信号传输至内存原始体数据进行三维平滑处理，即沿XYZ三个方向进行均值滤波操作； B.三维重建计算，首先在初始化阶段根据容积探头采集方位计算出重建查找表，在处理时通过查表完成由探头物理坐标系下的体数据变换为直角坐标系下的体数据； C.剖面计算，由未进行重建的原始体数据通过场景和参数并通过三次线性插值获得当前剖面所在点的像素值； D.三维数据到2D图像的体绘制渲染显示，输入点阵数据和几何信息，输出结果为图像；其中，体绘制又划分为光线定位、光线求交和光线合成等三个子模块: 光线定位:遍历视口各个像素，按照坐标变换关系，确定当前光线； 光线求交:将当前光线与体数据立方体求交，确定当前光线的有效区间； 光线合成:按照当前成像模式，根据体数据内容，计算出当前光线的合成结果； 对体绘制使用的4种基本合成模式如下: 表面模式:将光线上所有采样点看作半透明粒子，使用透明模型进行合成； 最小值模式:取光线上所有采样点大于阈值的最小灰度值； 最大值模式:取光线上所有采样点的最大灰度值； X-ray模式:取光线上所有采样点的平均灰度值。
4.根据权利要求3所述的方法，其特征在于:在整卷处理模式的B步骤后，还包括三维图像编辑。
5.根据权利要求3所述的方法，其特征在于:在各模式中，三维重建后的体纹理数据为8bit数据，首先将三维重建模块的输出直接写入表面存储器，对表面存储器中的数据采用纹理绑定，体绘制渲染模块通过纹理存储器拾取所绑定的数据会进行自动插值并转换为32bit浮点数据缓存。
6.一种实施权利要求2的基于GPU平台的三维超声成像装置，包括4D超声探头，4D超声探头输出信号至超声系统前端，超声系统前端通过总线与主机内存联系，主机内存与GPU通过PC1-E联系，GPU输出渲染的图像至显示器。
7.根据权利要求6所述的装置，其特征在于:所述所述装置中，包括三维成像处理模块，所述三维成像处理模块包括图像预处理，三维重建计算，剖面计算和体绘制渲染，其中 a.图像预处理图像预处理是对原始体数据进行三维平滑处理，即沿XYZ三个方向进行均值滤波操作； b.三维重建计算 首先在初始化阶段根据容积探头采集方位计算出重建查找表，在处理时通过查表完成由探头物理坐标系下的体数据变换为直角坐标系下的体数据； c.剖面计算 剖面绘制是由未进行重建的原始体数据通过场景和参数并通过三次线性插值获得当前剖面所在点的像素值； d.体绘制渲染 三维绘制渲染模块用于三维数据到2D图像的体绘制渲染显示，其输入输出可表述为:点阵数据十几何信息，输出结果为图像，体绘制模块又划分为光线定位、光线求交和光线合成等三个子模块，各子模块如下: 光线定位:遍历视口各个像素，按照坐标变换关系，确定当前光线； 光线求交:将当前光线与体数据立方体求交，确定当前光线的有效区间； 光线合成:按照当前成像模式，根据体数据内容，计算出当前光线的合成结果； 体绘制使用的4种基本合成模式作如下: 表面模式:将光线上所有采样点看作半透明粒子，使用透明模型进行合成； 最小值模式:取光线上所有采样点大于阈值的最小灰度值； 最大值模式:取光线上所有采样点的最大灰度值； X-ray模式:取光线上所有采样点的平均灰度值。
【文档编号】A61B8/00GK104224230SQ201410466094
【公开日】2014年12月24日 申请日期:2014年9月15日 优先权日:2014年9月15日
【发明者】石丹, 佘跃, 刘东权 申请人:声泰特（成都）科技有限公司