一种三维超声图像的重建方法及装置与流程

本发明涉及超声图像重建的技术领域，尤其涉及一种三维超声图像的重建方法，以及三维超声图像的重建装置。

背景技术：

二维超声因其无创，非电离，快速成像，方便应用和低成本而被广泛应用于医学诊断和图像引导手术。然而，与三维超声体相比，二维超声图像无法为医生提供完整个体数据和组织器官的空间信息。因此，三维超声对腹部疾病的诊断和治疗具有重要的临床价值。在过去十年中，已经提出了许多用于重建三维超声体数据的方法，手持三维超声技术由于其低成本和灵活性而受到越来越多的关注。对手持三维超声技术来说，可以获取一系列具有位置信息和方向信息的二维b超切片，这些切片是由二维超声探头进行扫描和记录的。然后可以用这些b超切片来重建三维超声体。

用于三维超声重建的经典方法，通常都基于已知的信息，并且探索超声体的先验知识来进行修复。例如，块匹配方法：在已知的区域里面搜索相近的小块并且复制最相近小块的信息来对空洞进行填充，该方法由于其较高的重建质量而被称为目前来说最成功的修复方法。然而，由于搜索小块和优化的过程需要耗费大量的时间，所以该方法不适合实时的三维超声重建。有人提出了一种基于最近邻搜索的多分辨率的三维超声重建方法，其构建纹理和结构金字塔来保留超声体的纹理和结构信息。然而上述重建方法都要求可以从输入的超声体的背景区域(例如，相似的体素，结构或者小块)的某处获取缺失区域的信息。如果缺失区域大并且复杂，具有非重复的结构，并且当缺失区域具有任意形状时，这些方法将无法合成语义上合理的缺失区域的内容。

近年来，深度神经网络的最新进展表明，其可以以端对端的方式学习语义先验和有意义的隐藏表示，因此可以用到自然图像的修复工作中。有人提出一个端对端渐进式的网络，他们将修复任务划分为若干个子任务，然后使用长短期记忆将所有的子任务串联起来。有人提出了一种基于将全局gan(generativeadversarialnetworks，生成式对抗网络)和patchgan(局部生成式对抗网络)相结合的图像修复方法，该模型可以捕获纹理的局部连续性和普遍的全局特征。有人提出了基于全局内容和局部纹理约束的联合优化的多尺度小块方法，纹理约束是利用来自非空洞区域的纹理信息来修补空洞区域。有人提出了一个两步阶段卷积网络，第一阶段是一个简单的带有上下文感知层(利用已知的小块的特征作为卷积层处理生成的小块)的空洞卷积网络来粗略地修复缺失的区域。第二个阶段包括全局和局部判别器来保留图像的结构和细节信息。同样的，有人提出了一种带有位移连接层(类似于上下文感知层)的u-net网络，其已知区域的编码特征被移到解码层来完成缺失区域的内容的估计。然而，上述方法的局限性在于他们只关注矩形的缺失区域，并且这些区域通常位于图像的正中心，限制了这些模型在超声重建中的实用性。

技术实现要素：

为克服现有技术的缺陷，本发明要解决的技术问题是提供了一种三维超声图像的重建方法，其对于处理不规则形状的缺失区域来说效果很好，并且适于任意位置的缺失区域的重建。

本发明的技术方案是：这种三维超声图像的重建方法，其包括以下步骤：

(1)将采集到的带有空间定位信息的二维b超切片序列按照其空间位置插值为带有空洞的三维图像；

(2)将传统卷积层替换为三维部分卷积层，并且每个部分卷积层都跟着一个三维掩膜更新步骤；

(3)构建谱归一化最小二乘生成式对抗网络，所述生成式对抗网络包括生成器和判别器；

(4)将内容损失和对抗式损失结合，构建新的针对超声重建的损失函数，其中内容损失包括：上下文损失、总变分损失和特征映射损失；

(5)向训练好的对抗式网络的生成器同时输入带有空洞的三维超声图像和三维掩膜图像，然后生成修复空洞后的三维超声图像。

本发明将二维b超切片序列按照其空间位置插值为带有空洞的三维图像，将传统卷积层替换为三维部分卷积层，并且每个部分卷积层都跟着一个三维掩膜更新步骤，构建新的谱归一化的最小二乘生成对抗式网络，将内容损失和对抗式损失结合，向训练好的对抗式网络的生成器同时输入带有空洞的三维超声图像和三维掩膜图像，然后生成修复空洞后的三维超声图像，因此对于处理不规则形状的缺失区域来说效果很好，并且适于任意位置的缺失区域的重建。

还提供了一种三维超声图像的重建装置，该装置包括：

插值模块，其配置来将采集到的带有空间定位信息的二维b超切片序列按照其空间位置插值为带有空洞的三维图像；

三维部分卷积及三维掩模更新模块，其配置来将传统卷积层替换为三维部分卷积层，并且每个部分卷积层都跟着一个三维掩膜更新步骤；

构建网络模块，其配置来构建谱归一化最小二乘生成式对抗网络，所述生成式对抗网络包括生成器和判别器；

损失结合模块，其配置来将内容损失和对抗式损失结合，构建新的针对超声重建的损失函数，其中内容损失包括：上下文损失、总变分损失和特征映射损失；

修复模块，其配置来向训练好的对抗式网络的生成器同时输入带有空洞的三维超声图像和三维掩膜图像，然后生成修复空洞后的三维超声图像。

附图说明

图1是根据本发明的三维超声图像的重建方法的步骤(1)的流程示意图。

图2是根据本发明的三维超声图像的重建方法的流程示意图。

图3是根据本发明的三维超声图像的重建方法的生成器中的编码器的具体网络架构。

图4是根据本发明的三维超声图像的重建方法的流程图。

具体实施方式

如图4所示，这种三维超声图像的重建方法，其包括以下步骤：

(1)将采集到的带有空间定位信息的二维b超切片序列按照其空间位置插值为带有空洞的三维图像；

(2)将传统卷积层替换为三维部分卷积层，并且每个部分卷积层都跟着一个三维掩膜更新步骤；

(3)构建新的谱归一化的最小二乘生成式对抗网络，所述生成式对抗网络包括生成器和判别器；

(4)将内容损失和对抗式损失结合，构建新的针对超声重建的损失函数，其中内容损失包括：上下文损失、总变分损失和特征映射损失；

(5)向训练好的对抗式网络的生成器同时输入带有空洞的三维超声图像和三维掩膜图像，然后生成修复空洞后的三维超声图像。

本发明将二维b超切片序列按照其空间位置插值为带有空洞的三维图像，将传统卷积层替换为三维部分卷积层，并且每个部分卷积层都跟着一个三维掩膜更新步骤，构建新的谱归一化的最小二乘生成式对抗网络，将内容损失和对抗式损失结合，向训练好的对抗式网络的生成器同时输入带有空洞的三维超声图像和三维掩膜图像，然后生成修复空洞后的三维超声图像，因此对于处理不规则形状的缺失区域来说效果很好，并且适于任意位置的缺失区域的重建。

优选地，所述步骤(1)中，采集一个个体的具有空间定位信息的超声切片序列，根据这些序列之间的空间定位信息插值为3d体数据；插值过程为：首先建立一个空的具有空间坐标系的三维体，空间坐标系包括原点、尺寸和体网格间距；根据空间位置信息将二维超声图像中的像素映射到三维体附近与其对应的体素中去。

优选地，所述步骤(2)中，部分卷积层的定义为公式(1)：

其中w是卷积滤波的权重，b是相应的偏差，x表示当前卷积窗口的特征值，m是对应的二进制掩膜，1表示位置(x，y，z)处的体素有效，0表示(x，y，z)处的体素无效；卷积的输出值仅仅取决于未被掩膜的输入，应用缩放因子1/sum(m)来调整未掩膜化的输入的变化量，给定一个三维的二进制掩膜，三维卷积结果仅仅依赖于每层的已知区域的内容；

在每次部分卷积操作之后进行掩膜的更新，掩膜更新表示为公式(2)：

如果卷积能够在至少一个有效输入值上调节其输出，就删除该位置的掩膜；如果输入包括任何有效体素，在充分应用部分卷积层的情况下，即使较大的掩膜区域也会收缩，并且任何掩膜最后都将全部为1。

优选地，所述步骤(2)中，所有的正常卷积都被三维部分卷积替换，图像通过网络与掩膜一起传递，在3du-net网络架构的解码器中，引入残块结构和跳跃连接；所有的卷积层都用3*3*3的卷积核，在解码器阶段使用alpha＝0.2的三维leakyrelu激活层；三维relu激活层用于所有编码层和判别器的所有层中；除了第一层和最后一层之外，每个三维部分卷积层和三维leakyrelu激活层、三维relu激活层之间都使用三维标准化层；在解码阶段中，三维标准化层后面跟着速率为0.5的droupout层以防止训练数据过度拟合。定义大小为d×h×w×c的掩膜，和图像具有相同的大小，然后利用一个固定层实现掩膜更新的过程，该层的卷积核大小和部分卷积操作的卷积核大小相同，但权重设置为1，偏移量设为0；所有的三维dropout层、三维leakyrelu激活层、三维relu激活层仅仅作用于部分卷积操作而不作用于掩膜更新层。对生成器和判别器设置不同的学习率。

优选地，所述步骤(3)中利用三维谱归一化方法来进一步稳定生成器和判别器网络的训练，三维谱归一化是一种旨在通过归一化网络中的每个卷积层的权重来控制生成器和判别器的lipschitz常数的方法，归一化后的新权重定义为：

其中w是每一层的权重，σ(w)是权重的最大奇异值；该方法对判别器和生成器施加全局正则化。

优选地，所述步骤(4)中，给定带有缺失区域的图像iin，初始二进制掩膜m，0表示空洞，生成图像iout，和金标准图像igt；

首先定义上下文损失lc以从输入图像iin捕获剩余可用的信息，上下文损失是基于远离缺失区域的体素对修复过程的不太重要这个假设，定义重要性w为公式(4)：

其中，i表示体素的索引，wi表示位置i处体素的重要性，n(i)表示在局部窗口中体素i的近邻集合，在|n(i)|表示n(i)的基数；

上下文损失lc定义为：

lc＝||w⊙(iout-igt)||1(5)

其中，⊙表示元素与元素的相乘。

总变分失ltv为公式(6)，是对生成的p的平滑惩罚，其中p是缺失区域的1体素扩张区域，

其中，icomp是生成输出图像iout，但把未缺失区域的像素直接替换成对应的金标准图像igt的体素；

特征匹配损失lfm定义为公式(7)：

其中，l是判别器的最后一层，ni是第i层的元素的总数，是判别器第i层的激活映射；

对抗损失lgan(g^sn，d^sn)为公式(8)，由训练阶段引入的最小二乘gan计算得来，通过同时训练生成器和判别器求解argmingmaxdlgan(g^sn，d^sn)得到：

其中，d^sn表示谱归一化的判别器，g^sn表示谱归一化的超声生成器，输入带有缺失区域的超声体y。

优选地，所述步骤(5)中，生成对抗式网络的训练过程为：根据生成器的输出结果及对应的真实超声图像得到真实超声图像的内容损失函数；基于生成对抗式网络中生成器和判别器的最小二乘损失函数，根据判别器的输出结果以及真实超声图像的内容损失函数得到生成器的总体损失函数，根据判别器的输出结果得到判别器的总体损失函数；根据所述判别器的总体损失函数以及生成器的总体损失函数，分别更新判别器以及生成器的网络结构中的参数，直至生成对抗网络收敛。

本领域普通技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，包括上述实施例方法的各步骤，而所述的存储介质可以是：rom/ram、磁碟、光盘、存储卡等。因此，与本发明的方法相对应的，本发明还同时包括一种三维超声图像的重建装置，该装置通常以与方法各步骤相对应的功能模块的形式表示。该装置包括：

插值模块，其配置来将采集到的带有空间定位信息的二维b超切片序列按照其空间位置插值为带有空洞的三维图像；

三维部分卷积及三维掩模更新模块，其配置来将传统卷积层替换为三维部分卷积层，并且每个部分卷积层都跟着一个三维掩膜更新步骤；

构建网络模块，其配置来构建新的谱归一化最小二乘生成式对抗网络，所述生成式对抗网络包括生成器和判别器；

损失结合模块，其配置来将内容损失和对抗式损失结合，构建新的针对超声重建的损失函数，其中内容损失包括：上下文损失、总变分损失和特征映射损失；

修复模块，其配置来向训练好的对抗式网络的生成器同时输入带有空洞的三维超声图像和三维掩膜图像，然后生成修复空洞后的三维超声图像。

以下更详细地说明本发明。

采集同一个病人的具有空间定位信息的超声切片序列，根据序列之间的空间信息其插值为3d体数据。插值过程首先建立一个空的具有空间坐标系(包括原点，尺寸和体网格间距)的三维体。构建体网格以后，根据空间位置信息将二维超声图像中的像素映射到三维体附近与其对应的体素中去。超声切片与三维体之间的坐标关系如图1所示。由于手持式扫描的主观性，所收集的二维超声图像通常都是高度稀疏的。因此在上述体素映射完成以后，三维超声体中会存在一些间隙，如图1右侧部分所示。本发明的目标就是利用三维最小二乘生成对抗式网络完成间隙部分的填充，三维最小二乘生成对抗式网络不仅可以利用已知体素的信息来填充空隙，并且可以合成非重复的纹理和结构。

部分卷积层的定义如下：

其中w是卷积滤波的权重，b是相应的偏差，x表示当前卷积窗口的特征值。m是对应的二进制掩膜，1表示位置(x，y，z)处的体素有效，0表示(x，y，z)处的体素无效。从公式(1)中，可以看出，卷积的输出值仅仅取决于未被掩膜的输入。应用缩放因子1/sum(m)来调整未掩膜化的输入的变化量。给定一个三维的二进制掩膜，本发明的三维卷积结果仅仅依赖于每层的已知区域的内容。

在每次部分卷积操作之后我们进行掩膜的更新，掩膜更新表示为：

如果卷积能够在至少一个有效输入值上调节其输出，就删除该位置的掩膜。这个过程可以在任何网络架构中实现。如果输入包括任何有效体素，在充分应用部分卷积层的情况下，即使较大的掩膜区域也会收缩，并且任何掩膜最后都将更新为1。

提出的网络架构是类似于3du-net的网络架构，其中所有的正常卷积都被三维部分卷积替换，因此在此情况下，图像通过网络与掩膜一起传递，图2提供了整个网络的架构。在3du-net网络架构的解码器中，引入残块结构和跳跃连接，如图3所示，类似于srgan的结构。跳跃连接减轻了对自身映射进行建模的网络体系机构，这对于使用卷积内核来表示可能并非易事。所有的卷积层都用3*3*3的卷积核，在解码器阶段使用alpha＝0.2的三维leakyrelu激活层。三维relu激活层用于所有编码层和判别器的所有层中。除了第一层和最后一层之外，每个三维部分卷积层和三维leakyrelu/relu层之间都使用三维标准化层。在解码阶段中，三维标准化层后面跟着速率为0.5的droupout层(用来抵消内部协变量移位)以防止训练数据过度拟合。

定义大小为d×h×w×c的掩膜，和图像具有相同的大小，然后利用一个固定层实现掩膜更新的过程，该层的卷积核大小和部分卷积操作的卷积核大小相同，但权重设置为1，偏移量设为0。值得注意的是，所有的三维dropout层、三维leakyrelu/relu层仅仅作用于部分卷积操作，不作用于掩膜更新层。

在训练网络过程中，为了平衡生成器和判别器两者训练速度，可以对生成器和判别器设置不同的学习率。

利用三维谱归一化方法来进一步稳定生成器和判别器网络的训练。三维谱归一化是一种旨在通过归一化网络中的每个卷积层的权重来控制生成器和判别器的lipschitz常数(假设统计的有界性)的方法。归一化后的新权重定义为：

其中w是每一层的权重，σ(w)是权重的最大奇异值。与其他权重归一化不同，谱归一化允许参数矩阵在满足局部1-lipschitz约束的同时使用尽可能多的特征，并且可以改善生成的图像的质量。该方法对判别器和生成器施加全局正则化，并且可以很容易的与最小二乘生成对抗式网络或者其他形式的gans相结合。

为了提高重建的质量，为生成器的训练设计了内容损失，该损失由三部分组成，即上下文损失，总变分损失和特征匹配损失。给定带有缺失区域的图像iin，初始二进制掩膜m(0表示空洞)，生成图像iout，和金标准图像igt。首先定义上下文损失lc以从输入图像iin捕获剩余可用的信息。上下文损失是基于远离缺失区域的体素对修复过程的不太重要这个假设。定义重要性w：

其中，i表示体素的索引，wi表示位置i处体素的重要性，n(i)表示在局部窗口中体素i的近邻集合，在|n(i)|表示n(i)的基数。上下文损失lc定义为：

lc＝||w⊙(iout-igt)||1(5)

其中，⊙表示元素与元素的相乘。

接下来，定义由总变分损失ltv。总变分损失是对生成的p的平滑惩罚，其中p是缺失区域的1体素扩张区域。

其中，icomp是生成输出图像iout，但把未缺失区域的像素直接替换成对应的金标准图像igt的体素。

最终损失是特征匹配损失lfm，其类似于测量图像之间感知差异的感知损失。感知损失的激活映射是由利用预先训练好的vgg19网络计算得来的。特征匹配损失比较的是判别器中间层的激活映射，如图2所示。测量输出图像和真实图像之间的差异，并迫使生成器生成类似于真实输出的输出。利用上下文损失和总变分损失，没有测量超声体之间的内在相似性，而是只测量了他们在欧几里得距离上的表面差异。通过比较超声体内在结构，应该将它们投影到流形上，并且计算其测地距离，因此，利用特征匹配损失有利于产生更清晰的细节的重建结果。特征匹配损失lfm定义为：

其中，l是判别器的最后一层，ni是第i层的元素的总数，是判别器第i层的激活映射。

对抗损失由训练阶段引入的最小二乘gan计算得来，通过同时训练生成器和判别器求解argmingmaxdlgan(g^sn，d^sn)得到：

其中，d^sn表示谱归一化的判别器，g^sn表示谱归一化的超声生成器，输入带有缺失区域的超声体y。

由此可见，生成对抗式网络的训练过程为，根据生成器的输出结果及对应的真实超声图像得到真实超声图像的内容损失函数；基于生成对抗式网络中生成器和判别器的最小二乘损失函数，根据判别器的输出结果以及真实超声图像的内容损失函数得到生成器的总体损失函数，根据判别器的输出结果得到判别器的总体损失函数；根据所述判别器的总体损失函数以及生成器的总体损失函数，分别更新判别器以及生成器的网络结构中的参数，直至生成对抗网络收敛。

通过上述深度网络学习的方法生成对抗式网络，向训练好的对抗式网络的生成器同时输入带有空洞的三维超声图像和三维掩膜图像，然后生成修复空洞后的三维超声图像，该合成超声图像为与真实超声图像的高度拟真的超声图像。

以上所述，仅是本发明的较佳实施例，并非对本发明作任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属本发明技术方案的保护范围。