神经网络的训练方法、消除金属伪影的方法及其装置与流程

本发明涉及电子计算机断层扫描技术领域，尤其涉及一种神经网络的训练方法、消除金属伪影的方法及其装置。

背景技术：

ct(computedtomography，电子计算机断层扫描)技术利用精确准直的射线(例如：x射线、γ射线或超声波等)、以及高灵敏度的探测器一同围绕人体的某一部位作连续的断面扫描，并生成该部位的影像，具有扫描时间快且图像清晰等优点。其过程通常可以归纳为：以不同的角度向人体射出射线，在经过人体时，这些射线会被人体吸收并衰减，之后，探测器会接受到衰减后的射线，并得到原始投影数据，然后通过图像重建(例如：滤波反投影等)算法生成最终的影像学图像。

在发明人的长期实践中，发现如果在ct成像视野范围内存在金属物体时，该金属物体会导致射线束硬化，同时噪声和散射效应被放大；甚至会导致射线完全衰减，没有光子达到接收器，导致没有有效信息用于重建。这些因素会导致或者加剧金属伪影。因此，设计一种去除金属伪影的方法，就成为一个亟待解决的问题。

技术实现要素：

本发明的目的在于提供一种神经网络的训练方法、消除金属伪影的方法及其装置。

为了实现上述发明目的之一，本发明一实施方式提供了一种神经网络的训练方法，包括以下步骤：获取投影数据sma、二值图xm和sma对应的金属投影数据mp，所述投影数据sma包含金属伪影，在所述二值图xm中，值为1的像素值用于表征金属的形状；创建神经网络模型，所述神经网络模型包括第一神经网络、快速滤波反投影算子和第二神经网络；第一神经网络用于接收sma和mp，减弱sma上的金属伪影并得到投影sse；所述快速滤波反投影算子用于对投影sse进行重建处理并得到图像xse，以及对投影sma进行重建处理并得到图像xma，并且滤波反投影算子是可微的，能够将第二神经网络的训练中的梯度前向传播至第一神经网络；第二神经网络用于在图像域上，结合金属二值图xm对图像xse和xma进行减弱二次金属伪影的处理；基于若干投影数据sma、以及每个sma对应的金属投影数据mp，对所述神经网络模型进行有监督的训练。

作为本发明一实施方式的进一步改进，所述第一神经网络包括：第一编码器、第二编码器和第一解码器；第一编码器接收投影数据sma，第一编码器包含有m个排成一列的编码层，其中，m为自然数；每个编码层均包含有卷积模块、激活模块和池化模块，编码层的输入经过卷积模块提取特征信息，再经过激活模块进行非线性变化，最后通过池化模块压缩高维的特征并输出所述特征；第二编码器接收金属投影数据mp，第二编码器包含有n个排成一列的处理层，其中，n为自然数且n≤m，每个处理层都唯一对应到编码层；每个处理层均包含有池化模块，处理层的输入经过池化模块的平均池化处理、并得到池化结果；所述池化结果与对应的编码层的输出进行连接处理、并得到连接结果，所述连接结果作为对应的编码层的下一个编码层的输入；第一解码器包含有m个排成一列的解码层，解码层包含有卷积模块、激活模块和池化模块，编码层的输入经过卷积模块提取特征信息，再经过激活模块进行非线性变化，最后通过池化模块得到更高维的特征；第1个解码层接收第m个编码层的输出，第i个解码器接收第m-i+1编码层的输出和第i-1个解码层的输出的连接处理的结果；第一神经网络最后输出消除金属伪影的投影数据sse。

作为本发明一实施方式的进一步改进，所述“获取投影数据sma”具体包括：获取不包含伪影的ct图xgt；将xgt分割为软组织图xw以及骨组织图xb，对xw和xb进行处理并分别得到x’w和x’b，所述处理具体包括：在确定所述二值图xm中的第一像素的值为1时，则将xw中的与第一像素对应的第二像素的值置为0，将xb中的与第一像素对应的第三像素的值置为0；基于正投影算子分别对x’w、x’b和xm分别进行处理，并分别得到若干投影数据pw、若干投影数据pb和若干投影数据pm，其中，不同的pw表征软组织在不同能级下的投影数据，不同的pb表征骨组织在不同能级下的投影数据，不同的pm表征金属在不同能级下的投影数据；基于不同组织在不同能级下的衰减密度曲线、对pw、pb和pm进行能谱密度归一化处理，从而得到不含其它噪声的投影数据s^*ma；对s^*ma叠加泊松噪声和散射噪声，之后，进行射束硬化校正处理，从而得到投影数据sma。

作为本发明一实施方式的进一步改进，所述“将xgt分割为软组织图xw以及骨组织图xb”具体包括：基于软阈值法，将xgt分割为软组织图xw以及骨组织图xb。

作为本发明一实施方式的进一步改进，第二神经网络包括：第一卷积器、第二卷积器、第三卷积器和u-net网络，首先对图像xma和二值图xm进行堆叠处理并得到图像x’ma，对图像xse和二值图xm进行堆叠处理从而分别得到图像x’se；之后，第一卷积器获取图像x’ma的融合有金属位置的第一特征层，第二卷积器获取图像x’se的融合有金属位置的第二特征层；之后，对第一、第二特征层进行堆叠处理，并将堆叠处理输入到u-net网络，u-net网络得到包含有多个通道第三特征层；第三卷积器得到通道数据为1的减弱伪影的结果图xout。

本发明实施例提供了一种神经网络的训练装置，包括以下模块：数据获取模块，用于获取投影数据sma、二值图xm和sma对应的金属投影数据mp，所述投影数据sma包含金属伪影，在所述二值图xm中，值为1的像素值用于表征金属的形状；神经网络创建模块，用于创建神经网络模型，所述神经网络模型包括第一神经网络、快速滤波反投影算子和第二神经网络；第一神经网络用于接收sma和mp，减弱sma上的金属伪影并得到投影sse；所述快速滤波反投影算子用于对投影sse进行重建处理并得到图像xse，以及对投影sma进行重建处理并得到图像xma，并且滤波反投影算子是可微的，能够将第二神经网络的训练中的梯度前向传播至第一神经网络；第二神经网络用于在图像域上，结合金属二值图xm对图像xse和xma进行减弱二次金属伪影的处理；训练模块，用于基于若干投影数据sma、以及每个sma对应的金属投影数据mp，对所述神经网络模型进行有监督的训练。

本发明实施例提供了一种电子设备，包括：存储器，用于存储可执行指令；

处理器，用于执行所述存储器中存储的可执行指令时，实现上述的训练方法。

本发明实施例提供了一种计算机可读存储介质，存储有可执行指令，用于引起处理器执行时，实现上述的训练方法。

本发明实施例提供了一种消除金属伪影的方法，包括以下步骤：获取包含有金属伪影的ct图像xma，通过阈值分割从xma得到金属的二值图像xm，将xma和xm通过正投影算子得到含金属伪影的投影数据sma和金属投影数据mp，并将sma、mp和xm输入上述的神经网络模型，并得到减弱金属伪影的ct图像xout。

本发明实施例提供了一种消除金属伪影的装置，包括以下模块：处理模块，用于获取包含有金属伪影的ct图像xma，通过阈值分割从xma得到金属的二值图像xm，将xma和xm通过正投影算子得到含金属伪影的投影数据sma和金属投影数据mp，并将sma、mp和xm输入上述的神经网络模型，并得到减弱金属伪影的ct图像xout。

相对于现有技术，本发明的技术效果在于：本发明实施例提供一种神经网络的训练方法、消除金属伪影的方法及其装置，所述神经网络模型包括第一神经网络、快速滤波反投影算子和第二神经网络；第一神经网络用于接收含有伪影的投影数据sma和sma对应的金属投影数据mp，减弱sma上的金属伪影并得到投影sse；所述快速滤波反投影算子用于对投影sse进行重建处理并得到图像xse，以及对投影sma进行重建处理并得到图像xma；第二神经网络用于在图像域上、对图像xse和xma进行减弱二次金属伪影的处理，最终输出消除伪影的图像。基于若干投影数据sma、以及每个sma对应的金属投影数据mp，以及相对应的不含伪影的投影标签sgt和重建图像标签xgt，对所述神经网络模型进行训练。该神经网络模型能够很好的去除金属伪影。

附图说明

图1是本发明实施例中的生成投影数据的原理图；

图2是本发明实施例中的神经网络模型的结构示意图；

图3是本发明实施例中的神经网络的训练方法的流程示意图；

图4是本发明实施例中的神经网络模型的去除金属伪影的效果图；

图5是本发明实施例中的展示使用投影数据左右方进行循环padding的一个示例图。

具体实施方式

以下将结合附图所示的各实施方式对本发明进行详细描述。但这些实施方式并不限制本发明，本领域的普通技术人员根据这些实施方式所做出的结构、方法、或功能上的变换均包含在本发明的保护范围内。

本文使用的例如“上”、“上方”、“下”、“下方”等表示空间相对位置的术语是出于便于说明的目的来描述如附图中所示的一个单元或特征相对于另一个单元或特征的关系。空间相对位置的术语可以旨在包括设备在使用或工作中除了图中所示方位以外的不同方位。例如，如果将图中的设备翻转，则被描述为位于其他单元或特征“下方”或“之下”的单元将位于其他单元或特征“上方”。因此，示例性术语“下方”可以囊括上方和下方这两种方位。设备可以以其他方式被定向(旋转90度或其他朝向)，并相应地解释本文使用的与空间相关的描述语。

本发明实施例一提供了一种神经网络的训练方法，如图3所示，包括以下步骤：

步骤301：获取投影数据sma、二值图xm和sma对应的金属投影数据mp，所述投影数据sma包含金属伪影，在所述二值图xm中，值为1的像素值用于表征金属的形状；这里，mp为金属的二值图xm在当前几何下的投影，例如，使用正投影算子对二值图xm进行处理，从而得到金属投影数据mp。

步骤302：创建神经网络模型，所述神经网络模型包括第一神经网络、快速滤波反投影算子和第二神经网络；第一神经网络用于接收sma和mp，减弱sma上的金属伪影并得到投影sse；所述快速滤波反投影算子用于对投影sse进行重建处理并得到图像xse，以及对投影sma进行重建处理并得到图像xma，并且滤波反投影算子是可微的，能够将第二神经网络的训练中的梯度前向传播至第一神经网络；第二神经网络用于在图像域上，结合金属二值图xm对图像xse和xma进行减弱二次金属伪影的处理；这里，第一神经网络1可以具有多个尺度，第一神经网络1能够在投影域上直接纠正原始数据中的异常值，第二神经网络2模型能够进一步减弱二次伪影，可以理解的是，该神经网络模型结合了投影法和影像法的优势。

这里，快速滤波反投影算子是一个使用并行计算实现的快速反投影重建算子，其几何参数与训练数据的几何参数一致，同时，快速滤波反投影算子是可微的，即在训练过程中，快速滤波反投影算子后面的第二网络结构的误差梯度可以通过快速滤波反投影算子传递至前面的第一网络结构，这一特性使得投影域和图像域的网络可以共同训练。

步骤303：基于若干投影数据sma、以及每个sma对应的金属投影数据mp，对所述神经网络模型进行有监督的训练。

本实施例中，所述第一神经网络1包括：

第一编码器、第二编码器和第一解码器；

第一编码器接收投影数据sma，第一编码器包含有m个排成一列的编码层，其中，m为自然数；每个编码层均包含有卷积模块、激活模块和池化模块，编码层的输入经过卷积模块提取特征信息，再经过激活模块进行非线性变化，最后通过池化模块压缩高维的特征并输出所述特征；

第二编码器接收金属投影数据mp，第二编码器包含有n个排成一列的处理层，其中，n为自然数且n≤m，每个处理层都唯一对应到编码层；每个处理层均包含有池化模块，处理层的输入经过池化模块的平均池化处理、并得到池化结果；所述池化结果与对应的编码层的输出进行连接处理、并得到连接结果，所述连接结果作为对应的编码层的下一个编码层的输入；

第一解码器包含有m个排成一列的解码层，解码层包含有卷积模块、激活模块和池化模块，编码层的输入经过卷积模块提取特征信息，再经过激活模块进行非线性变化，最后通过池化模块得到更高维的特征；第1个解码层接收第m个编码层的输出，第i个解码器接收第m-i+1编码层的输出和第i-1个解码层的输出的连接处理的结果；

第一神经网络最后输出消除金属伪影的投影数据sse。

这里，可以将特征信息融合在一起，在图像恢复的过程中起到保持特征细节的作用。

这里，可以根据投影数据的特性(投影几何为在一个圆周内均匀采样)，第一编码器11的padding操作在探测器方向上采用循环padding的操作，即，使用投影数据一侧的边缘数据部分对另一侧进行padding(见图5)。由于只需要恢复受到金属影响的投影数据，最后减弱金属伪影的投影数据定义为第一编码器11的输出和sma的复合：sse＝φse(sma,mp)emt+smae(1-mt)，其中，mt为二值化的mp，像素值为1的区域表示受金属伪影影响的区域，φse代表第一神经网络。

本实施例中，所述“获取投影数据sma”具体包括：

步骤1：获取不包含伪影的ct图xgt；这里，如图1所示，该ct图xgt和二值图xm为在同一次实验中得到的数据，其中，ct图xgt为一个不包含伪影的ct影像图，而二值图xm描述了高密度金属的形状。可选的，在该二值图中，值为1的像素值构成一片区域，该区域表征了金属的形状。将不含伪影的图像标签xgt经过正投影(fp，forwardprojection)算子得到不含伪影的投影数据标签sgt。

步骤2：将xgt分割为软组织图xw以及骨组织图xb，对xw和xb进行处理并分别得到x’w和x’b，所述处理具体包括：在确定所述二值图xm中的第一像素的值为1时，则将xw中的与第一像素对应的第二像素的值置为0，将xb中的与第一像素对应的第三像素的值置为0；这里，可以理解的是，软组织的密度通常比较低，而骨组织的密度通常比较高；如图1所示，xm、xw和xb是相对应的，因此，对于二值图xm中的第一像素来说，其在xw和xb都会存在着对应的像素，分别为第二像素和第三像素。

步骤3：基于正投影算子分别对x’w、x’b和xm分别进行处理，并分别得到若干投影数据pw、若干投影数据pb和若干投影数据pm，其中，不同的pw表征软组织在不同能级下的投影数据，不同的pb表征骨组织在不同能级下的投影数据，不同的pm表征金属在不同能级下的投影数据；

可选的，考虑到金属投影的局部容积效应(在ct扫描中，凡小于层厚的病变，其ct值受层厚内其它组织的影响，所测出的ct值不能代表病变的真正的ct值：如在高密度组织中较小的低密度病灶，其ct值偏高；反之，在低密度组织中的较小的高密度病灶，其ct值偏低，这种现象称为部分容积效应)，可以将pm中的带状投影数据边缘处的像素值变为原来的1/4。

步骤4：基于不同组织在不同能级下的衰减密度曲线、对pw、pb和pm进行能谱密度归一化处理，从而得到不含其它噪声的投影数据s^*ma；可选的，对于不同类型的金属，可以使用不同的衰减密度曲线，来提高算法的鲁棒性。

步骤5：对s^*ma叠加泊松噪声和散射噪声，之后，进行射束硬化校正(bhc，beamhardeningcorrection)处理，从而得到投影数据sma。

这里，泊松噪声是一种信号依赖噪声，对于一张图像而言，每个像素点的值都满足泊松分布，且每个像素点的泊松分布的均值是无噪图像在该像素点对应的值。可选的，可以使用matlab软件中的imnoise(i，'poisson')来叠加泊松噪声。

这里，散射效应也被称作康普顿效应。康普顿散射可以在任何物质中发生。当光子从光子源发出，射入散射物质(一般指金属)时，主要是与电子发生作用。如果光子的能量比较低，与电子束缚能同数量级时，则主要产生光电效应，原子吸收光子而产生电离。一般情况下，如果光子的能量相当大，远超过电子的束缚能时，电子与光子发生弹性碰撞，电子获得光子的一部分能量而反弹，失去部分能量的光子则改变方向飞出，而产生康普顿效应，即散射噪声。

射束硬化是由x射线束的多能性和衰减系数与能量的相关性造成的。多能x射线穿过物体时，能量较低的x光子由于光电效应优先被吸收，使得穿透物质的x射线高能成分比例增加，表现为平均能量升高，从而使射线随贯穿长度增加，变得更易穿透，频谱分布的峰值向较高的能量方向移动，这就是射束硬化效应，它会导致密度均匀的被测物体切片在重建ct图像上表现为亮度不一，图像上的像素值分布呈中间黑边缘亮的“茶杯”状，即“杯状”伪影。bhc校正处理可以为：多项式校正法、迭代法、单能法和双能法等。

本实施例中，所述“将xgt分割为软组织图xw以及骨组织图xb”具体包括：基于软阈值法，将xgt分割为软组织图xw以及骨组织图xb。

本实施例中，第二神经网络包括：第一卷积器、第二卷积器、第三卷积器和u-net网络，首先对图像xma和二值图xm进行堆叠处理并得到图像x’ma，对图像xse和二值图xm进行堆叠处理从而分别得到图像x’se；之后，第一卷积器获取图像x’ma的融合有金属位置的第一特征层，第二卷积器获取图像x’se的融合有金属位置的第二特征层；之后，对第一、第二特征层进行堆叠处理，并将堆叠处理输入到u-net网络，u-net网络得到包含有多个通道第三特征层；第三卷积器得到通道数据为1的减弱伪影的结果图xout。

这里，可以理解的是，第一神经网络1的每层的结构为“卷积-激活-卷积-激活-降采样层”，第二神经网络2的层的结构为“反卷积-卷积-激活-卷积-激活”，这里反卷积用于不断恢复深层特征的空间信息。

这里，用来训练的loss定义如下，其中αse＝αrc＝αie＝1，可以使用adam优化器训练模型，相应的参数设置为(β1,β2)＝(0.5,0.999)，训练中学习率设置为从0.0002开始每训练30轮后衰减原来的1/2，整个模型一共训练了201轮，每次迭代的数据量为2。

ltotal＝αse||sse-sgt||1+(αrc||xse-xgt||1+αie||xout-xgt||1)e(1-m)

这里，该神经网络模型保留投影数据中受金属影响的部分投影数据，在成像几何下的投影先验知识mp的前提下，通过深度学习网络在投影域恢复投影数据中的细节信息，同时在图像域结合金属伪影的ct图像mp和金属二值图xm进一步抑制二次金属伪影。

这里，ct图像表示线性衰减系数的空间分布，能体现人体的解剖结构信息。x(e)代表依赖于能量e的衰减系数图。根据lambert-beer法则，探测器接收到的理想投影数据s可表示为(记为公式1)：

s＝-ln∫η(e)e^-p(x(e))de，其中，η(e)代表e能量分数，ρ代表投影算子。

当金属出现在成像视野范围内时，x(e)随着能量e的不同变化剧烈，可以分解成两部分(记为公式2)：

x(e)＝xr+xm(e)＝xr+λm(e)ρmm，

其中，第一部分为随着能量变化缓慢的人体组织xr，第二部分为金属植入物的衰减系数图xm(e)，xm(e)可以进一步分解为金属二值图像xm，金属密度ρm和随着能量剧烈变化的金属衰减系数λm(e)，根据投影算子ρ的线性特性，金属的投影可以写成(记为公式3)：

p(x(e))＝λm(e)ρmp(m)＝λm(e)ρmmp

将公式3式带入公式1式后，可以得到：

其中，等式右边第一项是来自于xr的投影数据p(xr)，而第二项则给图像中引入金属伪影，在已知金属类型和能谱密度的情况下，第二项可以写为f(mp)。因此，利用mp这个先验知识，可以使投影域的伪影去除更加有效，同时最大程度的保留来自于有效区域的投影信息的细节。

本发明实施例二提供了一种神经网络的训练装置，包括以下模块：

数据获取模块，用于获取投影数据sma、二值图xm和sma对应的金属投影数据mp，所述投影数据sma包含金属伪影，在所述二值图xm中，值为1的像素值用于表征金属的形状；

神经网络创建模块，用于创建神经网络模型，所述神经网络模型包括第一神经网络、快速滤波反投影算子和第二神经网络；第一神经网络用于接收sma和mp，减弱sma上的金属伪影并得到投影sse；所述快速滤波反投影算子用于对投影sse进行重建处理并得到图像xse，以及对投影sma进行重建处理并得到图像xma，并且滤波反投影算子是可微的，能够将第二神经网络的训练中的梯度前向传播至第一神经网络；第二神经网络用于在图像域上，结合金属二值图xm对图像xse和xma进行减弱二次金属伪影的处理；

训练模块，用于基于若干投影数据sma、以及每个sma对应的金属投影数据mp，对所述神经网络模型进行有监督的训练。

本实施例还提供了一种电子设备，包括：

存储器，用于存储可执行指令；

处理器，用于执行所述存储器中存储的可执行指令时，实现实施例一中的训练方法。

本实施例还提供了一种计算机可读存储介质，存储有可执行指令，用于引起处理器执行时，实现实施例一中的训练方法。

本发明实施例三提供了一种消除金属伪影的方法，包括以下步骤：

获取包含有金属伪影的ct图像xma，通过阈值分割从xma得到金属的二值图像xm，将xma和xm通过正投影算子得到含金属伪影的投影数据sma和金属投影数据mp，并将sma、mp和xm输入权利要求1至5任一项所得到的神经网络模型，并得到减弱金属伪影的ct图像xout。

本发明实施例四提供了一种消除金属伪影的装置，包括以下模块：

处理模块，用于获取包含有金属伪影的ct图像xma，通过阈值分割从xma得到金属的二值图像xm，将xma和xm通过正投影算子得到含金属伪影的投影数据sma和金属投影数据mp，并将sma、mp和xm输入权利要求1至5任一项所得到的神经网络模型，并得到减弱金属伪影的ct图像xout。

这里，图4展示该神经网络模型的去除金属伪影的效果。

应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施方式中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

上文所列出的一系列的详细说明仅仅是针对本发明的可行性实施方式的具体说明，它们并非用以限制本发明的保护范围，凡未脱离本发明技艺精神所作的等效实施方式或变更均应包含在本发明的保护范围之内。