一种三维超声图像的重建方法及装置与流程

文档序号:20603541发布日期:2020-05-01 21:52阅读:来源:国知局

技术特征:

1.一种三维超声图像的重建方法,其特征在于:其包括以下步骤:

(1)将采集到的带有空间定位信息的二维b超切片序列按照其空间位置插值为带有空洞的三维图像;

(2)将传统卷积层替换为三维部分卷积层,并且每个部分卷积层都跟着一个三维掩膜更新步骤;

(3)构建新的谱归一化最小二乘生成式对抗网络,所述生成式对抗网络包括生成器和判别器;

(4)将内容损失和对抗式损失结合,构建新的针对超声重建的损失函数,其中内容损失包括:上下文损失、总变分损失和特征映射损失;

(5)向训练好的对抗式网络的生成器同时输入带有空洞的三维超声图像和三维掩膜图像,然后生成修复空洞后的三维超声图像。

2.根据权利要求1所述的三维超声图像的重建方法,其特征在于:所述步骤(1)中,采集一个个体的具有空间定位信息的超声切片序列,根据这些序列之间的空间定位信息插值为3d体数据;插值过程为:首先建立一个空的具有空间坐标系的三维体,空间坐标系包括原点、尺寸和体网格间距;根据空间位置信息将二维超声图像中的像素映射到三维体附近与其对应的体素中去。

3.根据权利要求1所述的三维超声图像的重建方法,其特征在于:所述步骤(2)中,部分卷积层的定义为公式(1):

其中w是卷积滤波的权重,b是相应的偏差,x表示当前卷积窗口的特征值,m是对应的二进制掩膜,1表示位置(x,y,z)处的体素有效,0表示(x,y,z)处的体素无效;卷积的输出值仅仅取决于未被掩膜的输入,应用缩放因子1/sum(m)来调整未掩膜化的输入的变化量,给定一个三维的二进制掩膜,三维卷积结果仅仅依赖于每层的已知区域的内容;

在每次部分卷积操作之后进行掩膜的更新,掩膜更新步骤表示为公式(2):

如果卷积能够在至少一个有效输入值上调节其输出,就删除该位置的掩膜;如果输入包括任何有效体素,在充分应用部分卷积层的情况下,即使较大的掩膜区域也会收缩,并且任何掩膜最后都将更新为1。

4.根据权利要求1所述的三维超声图像的重建方法,其特征在于:所述步骤(3)中,所有的正常卷积都被三维部分卷积替换,图像通过网络与掩膜一起传递入生成器,在3du-net网络架构的解码器中,引入残块结构和跳跃连接;所有的卷积层都用3*3*3的卷积核,在解码器阶段使用alpha=0.2的三维leakyrelu激活层;三维relu激活层用于所有编码层和判别器的所有层中;除了第一层和最后一层之外,每个三维部分卷积层和三维leakyrelu激活层、三维relu激活层之间都使用三维标准化层;在解码阶段中,三维标准化层后面跟着速率为0.5的droupout层以防止训练数据过度拟合。定义大小为d×h×w×c的掩膜,和图像具有相同的大小,然后利用一个固定层实现掩膜更新的过程,该层的卷积核大小和部分卷积操作的卷积核大小相同,但权重设置为1,偏移量设为0;所有的三维dropout层、三维leakyrelu激活层、三维relu激活层仅仅作用于部分卷积操作而不作用于掩膜更新层。对生成器和判别器设置不同的学习率。利用三维谱归一化方法来进一步稳定生成器和判别器网络的训练,三维谱归一化是一种旨在通过归一化网络中的每个卷积层的权重来控制生成器和判别器的lipschitz常数的方法,归一化后的新权重定义为:

其中w是每一层的权重,σ(w)是权重的最大奇异值;该方法对判别器和生成器施加全局正则化。

5.根据权利要求1所述的三维超声图像的重建方法,其特征在于:所述步骤(4)中,

给定带有缺失区域的图像iin,初始二进制掩膜m,0表示空洞,生成图像iout,和金标准图像igt;

首先定义上下文损失lc以从输入图像iin捕获剩余可用的信息,上下文损失是基于远离缺失区域的体素对修复过程的不太重要这个假设,定义重要性w为公式(4):

其中,i表示体素的索引,wi表示位置i处体素的重要性,n(i)表示在局部窗口中体素i的近邻集合,在|n(i)|表示n(i)的基数;

上下文损失lc定义为:

lc=||w⊙(iout-igt)||1(5)

其中,⊙表示元素与元素的相乘。

总变分失itv为公式(6),是对生成的p的平滑惩罚,其中p是缺失区域的1体素扩张区域,

其中,icomp是生成输出图像iout,但把未缺失区域的像素直接替换成对应的金标准图像igt的体素;

特征匹配损失lfm定义为公式(7):

其中,l是判别器的最后一层,ni是第i层的元素的总数,是判别器第i层的激活映射;

对抗损失lgan(gsn,dsn)为公式(8),由训练阶段引入的最小二乘gan计算得来,通过同时训练生成器和判别器求解argmingmaxdlgan(gsn,dsn)得到:

其中,dsn表示谱归一化的判别器,gsn表示谱归一化的超声生成器,输入带有缺失区域的超声体y。

6.根据权利要求1所述的三维超声图像的重建方法,其特征在于:所述步骤(5)中,生成对抗式网络的训练过程为:根据生成器的输出结果及对应的真实超声图像得到真实超声图像的内容损失函数;基于生成对抗式网络中生成器和判别器的最小二乘损失函数,根据判别器的输出结果以及真实超声图像的内容损失函数得到生成器的总体损失函数,根据判别器的输出结果得到判别器的总体损失函数;根据所述判别器的总体损失函数以及生成器的总体损失函数,分别更新判别器以及生成器的网络结构中的参数,直至生成对抗网络收敛。

7.一种三维超声图像的重建装置,其特征在于:该装置包括:

插值模块,其配置来将采集到的带有空间定位信息的二维b超切片序列按照其空间位置插值为带有空洞的三维图像;

三维部分卷积及三维掩模更新模块,其配置来将传统卷积层替换为三维部分卷积层,并且每个部分卷积层都跟着一个三维掩膜更新步骤;

构建网络模块,其配置来构建谱归一化最小二乘生成式对抗网络,所述生成式对抗网络包括生成器和判别器;

损失结合模块,其配置来将内容损失和对抗式损失结合,构建新的针对超声重建的损失函数,其中内容损失包括:上下文损失、总变分损失和特征映射损失;

修复模块,其配置来向训练好的对抗式网络的生成器同时输入带有空洞的三维超声图像和三维掩膜图像,然后生成修复空洞后的三维超声图像。


技术总结
一种三维超声图像的重建方法及装置,其对于处理不规则形状的缺失区域来说效果很好,并且适于任意位置的缺失区域的重建。其包括:将采集到的带有空间定位信息的二维B超切片序列按照其空间位置插值为带有空洞的三维图像;将传统卷积层替换为三维部分卷积层,并且每个部分卷积层都跟着一个三维掩膜更新步骤;构建新的谱归一化的最小二乘生成式对抗网络,所述生成式对抗网络包括生成器和判别器;将内容损失和对抗式损失结合,构建新的针对超声重建的损失函数,其中内容损失包括:上下文损失、总变分损失和特征匹配损失;向训练好的对抗式网络的生成器同时输入带有空洞的三维超声图像和三维掩膜,然后生成修复空洞后的三维超声图像。

技术研发人员:丛伟建;武潺;董佳慧
受保护的技术使用者:艾瑞迈迪科技石家庄有限公司
技术研发日:2019.11.25
技术公布日:2020.05.01
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1