专利名称：一种实时医学超声三维成像方法
技术领域：
本发明涉及对三维医学图像进行快速重建及可视化。
背景技术：
传统医学诊疗所依赖的波形图、二维截面图在观察时不够直观。对此，Derek Ney 在1994年于SIGGRAPH Course中首次正式提出了医学可视化的概念，即将二维图像转变成更加直观、逼真的三维图像，对其可进行多角度、多层次的观察、分析和交互操作，为医学诊断、治疗提供一个更安全、可靠、准确地解决途径。通常根据绘制过程中数据描述的方法，可将医学体数据可视化分为三大类一类是通过几何单元拼接拟合物体表面来描述物体三维结构，成为表面绘制方法；第二类是直接将体素投影到现实平面的方法，称为体绘制；第三类是前两者的结合，既以绘制表面为目标又采用了体绘制原理，或者既以反映数据整体信息为目标又以几何造型作为现实单元的算法，称之为混合绘制方法。表面绘制方法是从体数据中提取感兴趣的部分数据，恢复成连续曲面，如等值面、 轮廓面，再采取传统的图形学方法进行绘制。基于该方法的算法比较常用的有轮廓线连接法、不透明立体法、移动立方体法、分解立方体法和移动四面体法。体绘制是依据视觉成像原理，首先构造出理想化的物理模型，即将每个体素都看成是能够接收或者发射光线的粒子，然后依据光照模型及体素的介质属性分配一定的光强和不透明度，并沿着视线观察方向积分，最后在像平面上就形成了半透明的投影图像。在体绘制方程上发展起来的典型算法有光线投射法和足迹表法。事实上，针对体绘制计算量较大的问题，很多相关的图像处理技术已经得到了应用，以加快成像速度，提高运算效率。中国专利申请Q00710102736.X)提出了用一种类似八叉树的数据结构来实现三维图像的体绘制，以减少在空洞区域内的运算。不过八叉树的结构在存储时难以保证连续存储，在查找子节点或父节点时都需要进行内存的寻址操作，所以内存带宽的问题同样存在；另外由于各个节点的大小不一，也使得算法实现时的可并行化得到了削弱。中国专利(200910104840. 1)引入了一种计算直线与曲面交点的方法，以确定光线投射的初始点，其根本目的同样是为了减少冗余计算，提高算法效率，不过同时也引入了相当的几何运算。
发明内容
本发明着重解决运用光线投射法进行三维数据重建与可视化的问题。光线投射法依据视觉成像的原理，首先构造出理想化的物理模型，即将每个体素看成是能够接受或者发出光子的粒子，然后依据光照模型及体素的介质属性分配一定的光强和不透明度，沿着视觉方向作积分获其他操作，最后在像平面上得到投影图象。其需要解决的最大的问题是计算量大、耗时，尤其是单纯用CPU实现。
本发明应用形态学的方法，替代传统的几何学解析运算，快速地解决了投射光线与体数据相交位置的问题。本发明提出将体数据分块存储，以解决内存带宽的问题，并且将含信息少的数据块标志为空，略过不处理，能有效地提高运算的效率。这是因为在超声图像本身内部，以及在进行重构的体数据内部，不可避免地会存在大量透明区域，并不包含任何的信息。另外， 根据光线投射的方向，对数据块重新分组与排序，使光线按数据块的排列顺序逐层前进，任一条光线不会同时与层内的两个数据块相交，从而在较少了资源竞争，提高了算法并行化实现的效率。本发明在传统的光线投射法的基础上，提出了可变步长的光线投射法，即在每一个采样点根据梯度值的大小，决定光线下一步前进的步长。这是针对体数据内部的均勻区域，可以用第一个采样点代替后续的采样点，避免重复多次相同的运算，从而在基本不影响算法效果的基础上，提高运算的效率。本发明为解决上述技术问题所采用的技术方案为本发明包括如下步骤A.从图像采集设备或文件得到原始体数据文件得到原始体数据D。H，根据医学超声数据特有的各种采集方式，将其重构成相对位置与真实空间一致的体数据Dorth = T(Dori)其中T( ·)表示重构变换。B.对当前的体数据进行预处理，如滤波与采样，在保证三维成像的效果同时减小计算量D' orth= S(Dorth)其中S( ·)表示对体数据的预处理操作。C.按输出图像的大小，模拟WXh条成阵列的平行光线Rwxh穿过体数据，并通过形态学区域生长的方法求得每条光线在体数据上的入射点，其中w、h分别为输出图像的宽
尚OD.为节省内存寻址的开销，体数据被划分成大小均勻的小立方体块(B)进行存储，这些小立方体块又依据光线到达的先后进行分组与排列D'。rth= {B0,0,0 U B0,ο,！ UAU B1^n-J其中，1，m, η分别表示体数据在x，y，ζ三个方向上的立方体数。Ε.对每一条光线Rm，模拟其穿透体数据的过程，按照步骤D所述的数据块的排列顺序，逐层地穿过每一层数据。F.根据成像模式的不同，在沿光线上的每一个采样点进行相应的计算，当光线满足中止条件或穿出体数据时，返回其计算值Ι^. = Ρ( ' orth(xk,yk, Zk))G.改变光线投射的角度，返回步骤D，进行下一帧的成像。所述C步骤包括以下步骤Cl.生成wXh条平行的光线，并求出第一条到达体数据的光线在光线阵列中所在
的位置Ww。。C2.假设光线平面从进入到离开体数据需要前进1步，则生成个先进先出队列，将民。,凡放入队列queues。。C3.从queues开始，若当前队列为空，则进入下一个队列，否则执行以下步骤。C4.取出当前队列queues的第一条光线R，按照四连通的方式访问其相邻光线 R'。由当前光线的深度η开始，向前搜索直至与体数据相交，得到的深度η'，并将其放入队列 queuen,。所述D步骤包括以下步骤Dl.数据块内部的数据是连续存储的，数据块之间也是连续存储的。D2.数据块内部采用了三维指针，以提高三维寻址的效率。D3.根据数据块的大小及其内容，信息量较少或无的数据块将被标记为空，在后续的处理中将被跳过，以减少无用的冗余计算。D4.对任一个数据块By, k，有一个光线的列表，为所有穿过该数据块的光线的集合R(Bi,j,k)°所述E步骤包括以下步骤El.基于光线入射的角度，按光线到达的顺序对数据块进行排序与分组，使每一组的数据块间没有公用的光线。沿体对角线的正反方向共有八种排列顺序，例如B0 = {B0j0j0}B1 = (B1j0j0jB0j1j0jB0j0jJMB1+m+n_4 — {Bl-2,m-l,n-l' ^1-1,111-2,11-1' ^1-1, m-1, n-2^B1+ffl+n_3 = IB1-^n-JE2.若光线在数据体内达到了中止条件，将不再进行后续的计算R(Buk)=R' (Bi, j,k)+Rstopped其中，R(B^k)表示数据块Bi, μ的入射光线集合，R' (B^k)表示B^k的出射光线集合，Rstopped表示中止光线的集合。E3.光线在体数据内的投射按照数据块排列的顺序，逐层计算，待本层的运算全部结束，再将穿过本层的光线传递给下一层待处理的数据块。所述F步骤包括以下步骤Fl.在光线穿透体数据的过程中，在每一个采样点，根据成像方式的不同作相应的运算。F2.对于体绘制，运算公式为_ )*"— {o:out=o:m+{l-o:in)*a*step其中，I。ut、Iin和分别代表光线经过采样点前后的强度与不透明度，而I和α分别代表在采样点处求得的强度与不透明度，而step则代表光线当前的步长。F3.于表面绘制，当采样值大于预设的预制时，中止光线的穿透，并返回该点处的梯度与光线方向上的单位向量的点积I = gx*vx+gy*vy+gz*vzF4.根据采样点处的梯度值g(x，y, ζ)，代表体数据在采样点处的均勻程度，决定光线下一步传播的步长，梯度越小则步长越大，用当先采样点的数据代替之后若干个采样点的数据，省去在该处的计算step = f (g(x, y, ζ))在具体实现中，该过程通过一个预先计算完成的查找表实现，以免去在每一个采样点都进行计算。
图1是本发明实施例实时医学三维超声成像方法的流程示意图；图2是本发明实施例基于形态学计算投射光线集合位置的流程示意图；图3是本发明实施例基于数据块排序的示意图；图4是本发明实施例可变步长光线投射法的流程示意图；图5是本发明实施例实时医学三维超声成像方法处理前数据源效果示意图；图6是本发明实施例实时医学三维超声成像方法处理后数据源效果示意图。
具体实施例方式下面根据附图和实施例对本发明作进一步详细说明图1是该发明实施的实时医学三维超声成像流程图，其简单描述了医学三维超声实时成像处理流程，该处理方法适用于医学三维超声图像，在CT、MRI等医学三维成像系统同样有应用的价值。本发明考虑重点解决快速实现三维数据重建与可视化的问题。因此，本发明首先要解决三维数据存储的问题。为了能表达足够多的信息，三维数据的容量通常相当大。目前CPU内存的存储方式是一维的，如果简单地按照一般图像的存储方式，即逐行、逐层地存储，则相邻层之间体素在内存中的距离相差很大，而在处理过程中，往往需要按这种方式访问相邻体素，这样对内存带宽的要求非常大。通常的CPU缓存不足以存储如此多的数据，势必造成连续性地刷新缓存区，降低程序效率。为解决这一问题，我们提出将体数据切割成多个均勻的数据块进行存储，这样在处理同一个数据块内的数据时，无需刷新缓存区。另外， 根据光线投射的方向，对数据块进行相应的排列，使得同一层的数据块不会被一条光线同时穿过，降低了算法并行实现时对资源的竞争。在重构之后的三维数据中，存在大量的空洞及透明区域(数据源范围以外的区域)，对这些区域进行的处理是不必要的，对此，我们提出对每一个数据块进行标记，一旦被标记为空，则在处理时略过这些数据块，避免了过多的冗余计算。本发明提出在每个采样点，根据其数据的均勻程度，采取动态的步长进行投射。与通常的固定步长的光线投射法相比，考虑到了体数据内部大量存在的均勻部分，包含的信息比较少。计算只要集中在更感兴趣的边界处进行，而对于内部的均勻区域，只需更粗略的计算，同样可以在保证成像质量基本不变的情况下，提高程序执行的效率。另外，本发明还提出了一种利用形态学方法解决了计算投射光线在体数据上入射点的问题。由于输出的光线阵列与体数据的大小、旋转角度不可能完全匹配，所以对于每一条光线，都需要判断其与体数据的相对位置(是否相交)，并求出入射点(光线投射的运算从入射点开始)。传统的解析方法将光线与体数据通过一定的解析方程表示，继而通过求解方程来求得其相对位置与交点坐标，需要相当的计算量。对此，我们提出了一种类似形态学浸漫的方法，避免了解析计算。即从光线平面与体数据的第一个交点开始(即数据体的某一个顶点)，按照光线平面前进步数的顺序，在光线平面上进行区域生长。生长的模式是以四邻域方式，从已经与体数据相交的相邻光线开始，向前搜索直至当前光线与体数据的交点。图1简要地描述了该发明所涉及的处理步骤1.从图像采集设备或文件得到原始体数据文件得到原始体数据Dori，根据医学超声数据特有的各种采集方式，将其重构成相对位置与真实空间一致的体数据Dorth = T(Dori)其中T ( ·)表示重构变换。如图5(1)所示是体数据的一个切面。2.对当前的体数据进行预处理，如滤波与采样，在保证三维成像的效果同时减小计算量D'。rth= S(Dorth)其中S( ·)表示对体数据的预处理操作。对于平扫的体数据，由于在平扫方向上的速度差异，使得该维度的间隔与另两个维度很难保持一致，为了能尽量真实地还原对象的面貌，重采样是必须的。在超声图像中最常见的是回声噪音，通常采用各向异性滤波等方向性滤波对其进行处理，在降噪的同时尽量多地保持图像原有信息。3.按输出图像的大小，模拟WXh条成阵列的平行光线Rwxh穿过体数据，并通过形态学区域生长的方法求得每条光线在体数据上的入射点，其中w、h分别为输出图像的宽
尚O4.为节省内存寻址的开销，体数据被划分成大小均勻的小立方体块(B)进行存储，这些小立方体块又依据光线到达的先后进行分组与排列D'。rth= {B0,0,0 U B0,ο,！ UAU B1^n-J其中，1，m, η分别表示体数据在x，y，ζ三个方向上的立方体数。5.对每一条光线氏丨模拟其穿透体数据的过程，按照步骤4所述的数据块的排列顺序，逐层地穿过每一层数据。6.根据成像模式的不同，在沿光线上的每一个采样点进行相应的计算，当光线满足中止条件或穿出体数据时，返回其计算值Ι^. = Ρ( ' orth(xk,yk, Zk))图5( 所示即产科超声胎儿面部的三维成像结果。7.改变光线投射的角度，返回步骤4，进行下一帧的成像。上述处理程序包含六大部分，步骤103对源数据重构成三维直角坐标内的体数据，对于平扫图像可不作处理，对于扇扫图像，即相当于极坐标到直角坐标的转换；步骤 105对体数据作基本的预处理，如平滑与采样，以提高成像的质量；步骤107将体数据分解成均勻的数据块进行存储，并依据光线投射的方向对起排序；步骤109通过形态学方法计算投射光线与体数据的几何位置关系与其入射点。过程111是体数据成像的主体部分，投射的光线逐步前进，并在每一个采样点进行计算，直至达到中止条件或离开体数据。计算投射光线与体数据的几何位置关系，通常通过解析法求得，本发明提出了用形态学的方法来达到同样的目的。图2说明了其处理过程，包含以下几个子步骤(1)按输出图像的大小，如步骤201所示，模拟wXh条成阵列的平行光线Rwxh穿过体数据，并通过形态学区域生长的方法求得每条光线在体数据上的入射点，其中《、h分别为输出图像的宽高。(2)假设光线平面从进入到离开体数据需要前进1步，则生成个先进先出队列，将民-。放入队列queu%，如步骤203所示。(3)从quei^。开始，若当前队列为空，则进入下一个队列，否则执行以下步骤。(4)如步骤205和207所示，取出当前队列queiK3n的第一条光线R，按照四连通的方式访问其相邻光线R'。由当前光线的深度η开始，向前搜索直至与体数据相交，得到的深度η'，并将其放入队列Cpeuen,。图3说明了对数据块进行排序的处理过程，其包含以下处理过程(1)令体数据x，y，ζ三个方向上的数据块个数分别为l，m，n。对于光线投射方向上的单位向量ν = {vx, vy, vj，找出光线最先到达的数据块找。，“，即
内的数据块的运算是相互独立的，避免了在并行实现是的资源冲突。可以发现，由于体数据有八个顶点，则排序方式也有八种。并不需要为每一次成像都进行排列，因为当光线投射防线变化不大时(即三个方向上的分量的符号都不发生变化)，排序方式是不会发生变化的。图4描述了在体数据内进行可变步长光线投射法的过程，其包含以下子步骤(1)从Btl开始逐层处理排序好的数据块。(2)对当前层内的每一个数据块，逐条计算与其相交的光线，若数据块为空，则直接跳到步骤(6)。(3)对于每一条光线，从入射点开始，在每个采样点计算其梯度，通过事先计算好的查找表得到下一步的步长，步长的取值范围是1、2、4、8、16。
,+ JO Vx >0
/0"V"1 <0
.={ 0 Vj >0
Jo ~\m-l vy <0
Γ 0 ν >0
k = Jζ
0νζ <0
(2)对于其他人一个数据块，其分组就是其与^^cA:。^问的形态学距离，即 Bn= u |i-i0| + |j-j0| + |k-k0| =n} 一个典型的例子是 B0 = (B0,0’J
Bl — {Bi,0,0' Bo,1,0' Bo,0, J M
Bl+m+n-4 — {Bl-2, II1-1, n-1 ‘ ^l-I, m-2, n-1 ‘ ^1-1, m-1, n-2^ Bl+m+n-3 — {Bl-1, m-1, n-J
经如此划分与排列，任何光线都不会与同一层内的两个数据块相交。这样，同一层
(4)根据成像模式的不同，在采样点作相应的计算。对于融合成像方法，由于做的是积分操作，故每一点的计算值需再乘以步长。(5)若光线到达了中止条件，则停止对其的运算，进入下一条光线，直至处理完与数据块相交的所有光线。对于融合成像，中止条件一般为光线不透明度的累计值大于预设的阈值；对于表面成像，中止条件一般为光线的采样值大于预设的阈值。更新当前数据块的光线列表，将仍需要处理的光线放入后续数据块的光线列表。本领域技术人员不脱离本发明的实质和精神，可以有多种变形方案实现本发明， 以上所述仅为本发明较佳可行的实施例而已，并非因此局限本发明的权利范围，凡运用本发明说明书及附图内容所作的等效结构变化，均包含于本发明的权利范围之内。
权利要求
1.一种实时医学超声三维成像方法，其包括以下步骤A.从图像采集设备或文件得到原始体数据文件的原始体数据DOTi，根据医学超声数据特有的各种采集方式，将其重构成相对位置与真实空间一致的体数据D0rth — T (Dori)其中τ(·)表示重构变换；B.对当前的体数据进行预处理，预处理包括滤波与采样，在保证三维成像的效果同时减小计算量u orth-S (Dorth)其中s( ·)表示对体数据的预处理操作；C.按输出图像的大小，模拟WXh条成阵列的平行光线Rwxh穿过体数据，并通过形态学区域生长的方法求得每条光线在体数据上的入射点，其中w、h分别为输出图像的宽高；D.为节省内存寻址的开销，体数据被划分成大小均勻的小立方体块(B)进行存储，这些小立方体块又依据光线到达的先后进行分组与排列D' orth = {Bo,O,O U B0,0,1 UAU B1-Lm-Ln-J其中，1，m，η分别表示体数据在X，y，ζ三个方向上的立方体数； Ε.对每一条光线Ri, j,模拟其穿透体数据的过程，按照步骤D所述的数据块的排列顺序，逐层地穿过每一层数据；F.根据成像模式的不同，在沿光线上的每一个采样点进行相应的计算，当光线满足中止条件或穿出体数据时，返回其计算值Ii,j = F(D' orth(Xk' Yk' Zk))G.改变光线投射的角度，返回步骤D，进行下一帧的成像。
2.根据权利要求1所述的一种实时医学超声三维成像方法，其特征在于所述C步骤包括以下步骤Cl.生成wXh条平行的光线，并求出第一条到达体数据的光线在光线阵列中所在的位β/ ·且‘C2.假设光线平面从进入到离开体数据需要前进1步，则生成个先进先出队列，将Ww。 放入队列queue。；C3.从queues开始，若当前队列为空，则进入下一个队列，否则执行以下步骤； C4.取出当前队列queues的第一条光线R，按照四连通的方式访问其相邻光线R'。 由当前光线的深度η开始，向前搜索直至与体数据相交，得到的深度η'，并将其放入队列 queuen,。
3.根据权利要求1所述的一种实时医学超声三维成像方法，其特征在于所述D步骤包括以下步骤Dl.数据块内部的数据是连续存储的，数据块之间也是连续存储的； D2.数据块内部采用了三维指针，以提高三维寻址的效率；D3.根据数据块的大小及其内容，信息量较少或无的数据块将被标记为空，在后续的处理中将被跳过，以减少无用的冗余计算；D4.对任一个数据块B^k，有一个光线的列表，为所有穿过该数据块的光线的集合R(BiJk)。
4.根据权利要求1所述的一种实时医学超声三维成像方法，其特征在于所述E步骤包括以下步骤El.基于光线入射的角度，按光线到达的顺序对数据块进行排序与分组，使每一组的数据块间没有公用的光线。沿体对角线的正反方向共有八种排列顺序，如
5.根据权利要求1所述的一种实时医学超声三维成像方法，其特征在于所述F步骤包括以下步骤Fl.在光线穿透体数据的过程中，在每一个采样点，根据成像方式的不同作相应的运算；F2.对于体绘制，运算公式为{hut = 4 +{l-ain)*a*I* step其中，I。ut、Iin和分别代表光线经过采样点前后的强度与不透明度，而I和α分别代表在采样点处求得的强度与不透明度，而Step则代表光线当前的步长；F3.于表面绘制，当采样值大于预设的预制时，中止光线的穿透，并返回该点处的梯度与光线方向上的单位向量的点积I = R 氺V +R 氺V +R 氺V 丄οχ 、χ Oy 、y Oz Z，F4.根据采样点处的梯度值g(x，y, ζ)，代表体数据在采样点处的均勻程度，决定光线下一步传播的步长，梯度越小则步长越大，用当先采样点的数据代替之后若干个采样点的数据，省去在该处的计算 step = f (g(x, y, ζ))在具体实现中，该过程通过一个预先计算完成的查找表实现，以免去在每一个采样点都进行计算。
全文摘要
本发明提供一种实时医学超声三维成像方法，应用于实时获取或已存储的三维医学超声体数据。针对当前CPU的特性以及三维超声图像的特性，优化三维数据的存储与访问模式，结合了图像形态学的知识，并对传统的光线投射法加以改进，从而快速地实现对三维数据的重建与可视化。
文档编号G06T15/06GK102254339SQ201110075178
公开日2011年11月23日 申请日期2011年3月28日 优先权日2011年3月28日
发明者刘龙, 张羽, 徐漫涛, 潘梁亮, 陆汇海 申请人:深圳市蓝韵实业有限公司