医学图像生成方法、模型训练方法、装置及介质与流程

本申请涉及医学图像技术领域，尤其涉及一种医学图像生成方法、模型训练方法、装置及介质。

背景技术：

磁共振(mr，magneticresonance)成像技术已经广泛应用于疾病诊断和科学研究，与其他成像技术相比，磁共振成像技术的优点在于其在组织对比度，空间分辨率等方面都比较理想，尤其对于软组织有很好的成像效果，可以提供更加丰富的诊断信息。然而，由于磁共振图像的数据是在k空间按顺序获取的，而在k空间的遍历速度受限于硬件扫描系统以及奈奎斯特采样定理的限制，磁共振成像在k空间的采样时间过长，从而导致磁共振成像速度较慢。此外，由于磁共振成像过程是基于较封闭的空间中进行的，成像时间过长还会导致病人产生幽闭恐惧症，会不自主的移动从而产生运动伪影，最终影响成像质量。因此，如何进行磁共振快速成像一直都是医学成像的研究热点。

现有技术，在磁共振成像过程中，加速成像过程的一种方法为在k空间进行欠采样，但由于欠采样违反了奈奎斯特采样定理，在重建图像时会产生混叠伪影。为了消除混叠伪影，目前主要的重建算法包括grappa、sense等并行成像技术，这种方法需要一个射频线圈并行采集多通道图像，利用通道间的灵敏度差异来消除图像重建的混叠伪影，但需要在每次扫描前对线圈灵敏度进行针对性校准，校准过程会降低最终的加速效果。而近些年，压缩感知技术被广泛的用于磁共振快速成像，这种方法假设磁共振成像数据是具有稀疏性的，并不断地迭代，最终得到重建后的图像，压缩感知技术不需要校准程序，但仍具有较高的计算成本，且压缩感知技术对图像重建过程的正则化参数都很敏感，导致其临床效果并不是很稳定。

技术实现要素：

本申请提供了一种医学图像生成方法、模型训练方法、装置及介质，以解决以上至少一种技术问题。

一方面，本申请提供了一种医学图像生成方法，包括：

获取检测对象的扫描序列数据；所述扫描序列数据包括全采样扫描序列数据和至少一个欠采样倍率的多个欠采样扫描序列数据；所述全采样扫描序列数据对应的扫描序列和所述欠采样扫描序列数据对应的扫描序列不同；

基于所述全采样扫描序列数据和已训练的神经网络模型，对每个欠采样扫描序列数据进行图像生成；

根据图像生成结果，获得检测对象的医学图像。

另一方面，还提供一种医学图像生成的模型训练方法，所述方法包括：

获取多个扫描序列对应的训练集，所述训练集包括全采样样本图像和欠采样样本集合，所述欠采样样本集合包括至少一个欠采样倍率的多个欠采样样本图像和所述欠采样样本图像对应的参考图像；所述全采样样本图像对应的扫描序列和所述欠采样样本图像对应的扫描序列不同；

构建包括多个神经网络的初始级联网络模型；

基于所述训练集对所述初始级联网络模型进行训练，得到用于医学图像生成的神经网络模型；

其中，所述初始级联网络模型中初级神经网络的输入包括所述全采样样本图像和第一顺序的欠采样样本图像；所述初始级联网络模型中第j级神经网络的输入包括所述全采样样本图像、第j顺序的欠采样样本图像和前面各级神经网络所输出的样本生成图像，其中，j为大于1的整数。

另一方面，还提供一种医学图像生成装置，包括：

获取模块，用于获取检测对象的扫描序列数据；所述扫描序列数据包括全采样扫描序列数据和至少一个欠采样倍率的多个欠采样扫描序列数据，所述全采样扫描序列数据对应的扫描序列和所述欠采样扫描序列数据对应的扫描序列不同；

图像生成模块，用于基于所述全采样扫描序列数据和已训练的神经网络模型，对每个欠采样扫描序列数据进行图像生成；

图像获得模块，用于根据图像生成结果，获得检测对象的医学图像。

另一方面，还提供一种医学图像生成的模型训练装置，包括：

训练集获取模块，用于获取多个扫描序列对应的训练集，所述训练集包括全采样样本图像和欠采样样本集合，所述欠采样样本集合包括至少一个欠采样倍率的多个欠采样样本图像和所述欠采样样本图像对应的参考图像；所述全采样样本图像对应的扫描序列和所述欠采样样本图像对应的扫描序列不同；

模型构建模块，用于构建包括多个神经网络的初始级联网络模型；

训练模块，用于基于所述训练集对所述初始级联网络模型进行训练，得到用于医学图像生成的神经网络模型；

其中，所述初始级联网络模型中初级神经网络的输入包括所述全采样样本图像和第一顺序的欠采样样本图像；所述初始级联网络模型中第j级神经网络的输入包括所述全采样样本图像、第j顺序的欠采样样本图像和前面各级神经网络所输出的样本生成图像，其中，j为大于1的整数。

另一方面还提供一种计算机设备，所述设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现上述任一所述的一种医学图像生成方法，和/或医学图像生成的模型训练方法。

另一方面还提供一种计算机存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行如上述任一所述的一种医学图像生成方法，和/或医学图像生成的模型训练方法。

本申请提供的一种医学图像生成方法、模型训练方法、装置及介质，具有如下技术效果：

本申请实施例通过获取检测对象的扫描序列数据；扫描序列数据包括不同扫描序列的全采样扫描序列数据和至少一个欠采样倍率的多个欠采样扫描序列数据；基于欠采样倍率大小、全采样扫描序列数据和已训练的神经网络模型，对每个欠采样扫描序列数据进行图像生成，以获得检测对象的医学图像。利用多个扫描序列数据和神经网络模型，对欠采样扫描序列数据进行处理，减少了图像扫描过程中的总扫描时间，无需多余的校正过程，从而提高了成像效率，同时还减少了各种成像伪影，提高了医学成像质量。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。

图1是本申请实施例提供的一种医学图像生成方法的流程示意图；

图2是本申请实施例步骤s103的流程示意图；

图3是本申请实施例步骤s205'的流程示意图；

图4是本申请实施例提供的一种医学图像生成的模型训练方法的流程示意图；

图5是本申请提供的一种模型训练过程示意图；

图6是本申请实施例提供的一种医学图像生成装置的结构框图；

图7是本申请实施例提供的一种医学图像生成的模型训练装置的结构框图；

图8是本申请提供的一种用于实现本申请实施例所提供的方法的计算机设备的硬件结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。

以下介绍本申请一种医学图像生成方法的具体实施例，图1是本申请实施例提供的一种医学图像生成方法的流程示意图，本申请提供了如实施例或流程图所述的方法操作步骤，但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。如图1所示，该方法应用于计算机设备，该计算机设备可包括服务器、服务器集群、医学成像系统等。在本申请实施例中以计算机设备为服务器为例进行说明，该方法可以包括：

s101：获取检测对象的扫描序列数据；扫描序列数据包括全采样扫描序列数据和至少一个欠采样倍率的多个欠采样扫描序列数据，所述全采样扫描序列数据对应的扫描序列和所述欠采样扫描序列数据对应的扫描序列不同。

其中，扫描序列数据用于表征采用一定数量的扫描序列对检测对象进行扫描，所得到的扫描反馈信号对应的图像特征信息。

检测对象可为受检者(比如人或动物等)中需要进行检测的部位，例如器官(比如脑部、肺部、肝部等)、组织等，或者其任意组合。

扫描序列是指射频脉冲、梯度场和信号采集时刻等相关参数的设置及其在时序上的排列。不同的扫描序列对应的扫描参数及其在时序上的排列不同。仅作为示例，在磁共振领域，扫描序列的类型有多种，例如可以包括自旋回波(spinecho，se)序列、快速自旋回波(fastspinecho，fse)序列、梯度回波(gradient-echo，gre)序列、快速梯度回波(fastgradient-echo，fgre)、稳态自由进动(steadystatefreeprocession，ssfp)序列、反转恢复(inversionrecovery，ir)序列、杂合序列等中的一种或多种的组合。其中，反转恢复序列可包括短时间反转恢复(shorttimeinversionrecovery，stir)序列和磁共振成像液体衰减反转恢复(fluidattenuatedinversionrecovery，flair)序列。

对于自旋回波se序列，根据不同的回波时间tr和重复时间te，自旋回波se序列又可以分为到t1w1序列、t2w1序列和pdw1序列等不同类型。其中，采用t1w1序列进行扫描可以得到t1加权像，采用t2w1序列进行扫描可以得到t2加权像，采用pdw1序列进行扫描可以得到质子加权像。

在本申请实施例，所述全采样扫描序列数据对应的扫描序列和所述欠采样扫描序列数据对应的扫描序列不同。示例的，全采样扫描序列数据可以是采用第一扫描序列q1对检测对象进行全采样扫描得到的数据；欠采样扫描序列数据可以是采用第二扫描序列q2对检测对象进行欠采样扫描得到的数据。

若第一扫描序列q1的序列数量为n，即q11、......q1n；对应的，全采样扫描序列数据可以表示为p11、......p1n。其中，n为大于等于1的正整数。

若第二扫描序列q2的序列数量为m，即q21、......q2m；对应的，欠采样扫描序列数据可以表示为p21、......p2m。其中，m为大于等于1的正整数。

由于相对于全采样扫描序列数据而言，欠采样扫描序列数据所耗费的扫描时间短，因此为了加速医学图像生成速度，在实际应用中，在保证成像质量的前提下，可以提高欠采样扫描序列数据的数量。在一优选实施例，第二扫描序列q2的序列数量大于第一扫描序列q1的序列数量，即m＞n。仅作为示例，n为1，m为3。当然，在其他示例中，n和m可以取其他数值。

在本申请实施例，多个欠采样扫描序列数据是经过至少一个欠采样倍率的欠采样扫描得到的数据。多个欠采样扫描序列数据对应的欠采样倍率可以全部相同、部分相同或者完全不同。欠采样倍率是相对于全采样扫描而言的，若全采样扫描序列数据对应的欠采样倍率为1，则欠采样扫描序列数据的欠采样倍率的取值范围可为大于1的数值，例如2倍欠采样、2.25倍欠采样、3.5倍欠采样等。欠采样倍率越大，对应的欠采样扫描序列数据所包含的图像特征信息越少，对应生成的图像的伪影越多，成像质量越差。

在一可能实施例，全采样扫描序列数据和欠采样扫描序列数据可以是基于不同类型的扫描序列经扫描所得，也即，第一扫描序列q1和第二扫描序列q2为两两完全不同类型的扫描序列。此外，在一可选实施例中，若第二扫描序列q2的序列数量为多个，则每个第二扫描序列对应的欠采样倍率也均不相同。作为一种示例，第一扫描序列q1为se序列，第二扫描序列q2为gre序列(3倍欠采样)和flair序列(2倍欠采样)。作为另一种示例，第一扫描序列q1为t2w1序列，第二扫描序列q2为t1w1序列(2倍欠采样)、pdw1序列(2.25倍欠采样)和gre序列(3倍欠采样)。

当然，在其他实施例，全采样扫描序列数据和欠采样扫描序列数据可以是基于至少部分相同类型的扫描序列经扫描所得。也即，第一扫描序列q1和第二扫描序列q2可以至少部分相同。作为示例，第一扫描序列q1和第二扫描序列q2均为se序列，两者完全不同；或者，第一扫描序列q1为t1w1序列，第二扫描序列q2为t1w1序列和pdw1序列。需要说明的是，若欠采样扫描序列数据对应的各扫描序列之间存在具有相同类型的扫描序列，则对应的欠采样倍率优选为不同的。例如，若q21和q23均为t1w1序列，则q21和q23对应的欠采样倍率优选为不同的。

在一实施例中，计算机设备可以从数据库或云端中获取检测对象的扫描序列数据，也可从医学检测设备中实时获取。

具体地，以磁共振扫描为例进行说明，磁共振扫描设备采用多个扫描序列依次对检测对象进行一次组合扫描。先采用t2w1序列对该检测对象进行全采样扫描，得到全采样扫描反馈信号(比如mr信号)，对全采样扫描反馈信号进行数据填充操作得到对应的全采样扫描序列数据。再依次采用t1w1序列(2倍欠采样)、pdw1序列(2.25倍欠采样)和gre序列(3倍欠采样)对该检测对象进行欠采样扫描，得到对应的3个欠采样扫描反馈信号(比如mr信号)，对欠采样扫描反馈信号进行傅里叶逆变换以执行数据填充操作，得到对应的欠采样扫描序列数据。磁共振扫描设备将组合扫描得到的全采样扫描序列数据和各欠采样扫描序列数据作为检测对象的扫描序列数据，发送至相应的计算机设备；或存储在对应的数据库或云端中以供计算机设备使用。

可以理解的是，每个扫描序列得到的全采样扫描序列数据，及每个扫描序列得到的欠采样扫描序列数据可以分别为单个切片图像对应的数据，两者也可以分别为多个切片图像对应的数据集。

s103：基于所述全采样扫描序列数据和已训练的神经网络模型，对每个欠采样扫描序列数据进行图像生成。

其中，已训练的神经网络模型是对神经网络模型进行训练得到的，通过不断训练使其学习到所述至少一个欠采样倍率对应的欠采样图像到全采样图像的映射关系。在本实施例中，已训练的神经网络模型还学习到不同扫描序列对应的图像数据之间的相互信息。神经网络模型的训练过程将在后面进行详细论述。

神经网络模型可为基于机器学习的网络模型，其具体结构可以有多种形式，也可以根据具体的任务进行不同的选择，其包括但不限于为至少一个全卷积网络，该全卷积网络的结构可为v-net、u-net、resunet，vbnet等。

在一实施例中，计算机设备可获取已训练的神经网络模型，按照训练过程中欠采样样本数据的训练顺序，利用获取的已训练的神经网络模型，依次对对应扫描序列和欠采样倍率的欠采样扫描序列数据进行目标图像映射，以生成目标图像。例如，在训练过程中，欠采样样本数据的训练顺序为欠采样样本数据t21,......t2m，则在图像生成过程中，欠采样扫描序列数据的生成顺序为p21,......p2m。其中，t21和p21所对应的扫描序列和欠采样倍率均相同，比如t21和p21都是采用t1w1序列进行2倍欠采样扫描得到的数据，以此类推。

在一实施例中，已训练的神经网络模型的输入量可以为欠采样扫描序列数据。在另一实施例中，可以将欠采样扫描序列数据均转化为对应的图像，将转化后的图像作为已训练的神经网络模型的输入量，以在图像域中重新生成图像。如图2所示，步骤s103，基于所述全采样扫描序列数据和已训练的神经网络模型，对每个欠采样扫描序列数据进行图像生成可以包括：

s201，将所述全采样扫描序列数据映射至图像域，得到全采样图像。

s203，将每个所述欠采样扫描序列数据映射至图像域，得到多个欠采样图像。

s205，基于所述全采样图像和已训练的神经网络模型，对所述多个欠采样图像进行图像生成。

具体地，对全采样扫描序列数据和每个欠采样扫描序列数据，采用相同的至少一个操作映射至图像域，得到对应的全采样图像或欠采样图像。该操作可以包括但不限于为傅里叶逆变换、相位编码、频率编码等至少一种。之后，将全采样图像作为辅助图像并为其增加一个模型输入通道，并将该全采样图像和欠采样图像一起作为模型输入量，输入至已训练的神经网络模型，利用已训练的神经网络模型所学习到的全采样图像与欠采样图像之间不同扫描序列的相互信息，对各欠采样图像进行图像处理，输出对应的生成图像。所输出的生成图像中包含比欠采样图像更多的图像特征信息，其可以为接近于采用相同的扫描序列进行全采样扫描所得到的图像。

s105：根据图像生成结果，获得检测对象的医学图像。

其中，图像生成结果包括不同欠采样扫描序列数据所映射的生成图像。通过将图像生成结果中各生成图像进行合并，得到检测对象的医学图像。

在一实施例中，步骤s105，所述根据图像生成结果，获得检测对象的医学图像可以包括：

s1051，获取全采样扫描序列数据对应的全采样图像；

s1053，根据图像生成结果对应的多个生成图像和所述全采样图像，得到检测对象的医学图像。

其中，图像生成结果包括不同欠采样扫描序列数据所映射的生成图像。在本申请实施例中，输入至神经网络模型的图像类型可以是线圈多通道数据合并之前的图像域数据，也可以是多通道合并之后的数据。若输入图像类型为线圈多通道数据合并之前的数据，则得到生成图像和全采样图像后还需要进行多通道数据合并操作，最终得到检测对象的医学图像。

需要说明的是，检测对象的医学图像不限于上述的多通道数据合并操作的方式，其还可根据实际应用需求进行相应的调整，例如采用图像拼接，图像融合等方式，对此本申请不做具体限定。

相比于全采样扫描序列数据，欠采样扫描序列数据虽然扫描时间短，但其所涵盖检测对象的图像特征信息少，因此基于欠采样扫描序列数据所生成的图像的伪影多，成像质量较差，不利于器官或组织成像在临床或诊断上的应用。

而本申请实施例，通过获取检测对象的扫描序列数据；扫描序列数据包括不同扫描序列的全采样扫描序列数据和至少一个欠采样倍率的多个欠采样扫描序列数据；基于全采样扫描序列数据和已训练的神经网络模型，对每个欠采样扫描序列数据进行图像生成，以获得检测对象的医学图像。利用多个扫描序列数据和神经网络模型，对欠采样扫描序列数据进行处理，减少了图像扫描过程中的总扫描时间，无需多余的校正过程，从而提高了成像效率，同时还利用全采样扫描序列数据来辅助欠采样扫描序列数据生成医学图像，能够学习到全采样扫描序列数据与欠采样扫描序列数据之间的相互信息，弥补欠采样扫描的信息丢失，也减少了成像伪影，提高了医学成像质量。

在一实施例中，已训练的神经网络模型可以包括由多个神经网络构成的级联网络模型。仅作为示例，已训练的神经网络模型可以为由多个全卷积网络(fullyconvolutionalnetworks，fcn)构成的级联网络模型。例如，多个fcn网络可以包括但不限于v-net、u-net、resunet，vbnet中一种或多种。作为示例，已训练的神经网络模型中每级fcn网络可包括至少一个卷积层。

需要说明的是，已训练的神经网络模型中的多个神经网络的网络结构可相同，也可不完全相同，或全部不同，本申请实施例对此不作具体限定。

在一可选实施例中，级联网络模型中的神经网络的数量与多个欠采样扫描序列数据对应的扫描序列的序列数量相同。

在另一可选实施例中，级联网络模型中的神经网络的数量可以与多个欠采样扫描序列数据对应的数据扫描参数的数量相同。其中，数据扫描参数包括扫描序列类型和/或欠采样倍率。具体的，可以根据扫描序列类型和/或欠采样倍率的大小，对多个欠采样扫描序列数据进行聚类处理，得到数据扫描参数对应的聚类组；根据聚类处理结果，分配对应的神经网络对多个欠采样扫描序列数据进行图像生成。由于检测到多个欠采样扫描序列数据中存在对应的扫描序列类型和欠采样倍率均相同，则将所检测的欠采样扫描序列数据合并为一类，采用相同级的神经网络进行统一处理，如此可减少级联网络模型中神经网络的数量，提高图像生成效率。

需要说明的是，为了保证模型应用阶段和模型训练阶段的统一，在模型训练阶段也进行与模型应用阶段上述相同的处理。

在一实施例中，若已训练的神经网络模型包括由多个神经网络构成的级联网络模型，此时，步骤s205，基于所述全采样图像和已训练的神经网络模型，对所述多个欠采样图像进行图像生成具体可以包括：

s205’，基于所述全采样图像和所述级联网络模型中各级神经网络，分别对每个欠采样图像进行图像生成。

其中，级联网络模型中初级神经网络的输入包括全采样图像和第一顺序的欠采样图像，级联网络模型中第i级神经网络的输入包括所述全采样图像、前面各级神经网络所输出的生成图像和第i顺序的欠采样图像，其中i为大于1的整数。

每个欠采样图像的生成顺序，与训练过程中采用相应的第一扫描参数的欠采样样本图像的训练顺序相一致。这里的第一扫描参数包括扫描序列类型和欠采样倍率。在此基础上，在图像生成之前，按照训练过程中欠采样样本图像的训练顺序以及对应的扫描序列类型和欠采样倍率，对每个欠采样图像进行排序，得到对应的生成顺序，之后基于该生成顺序将对应的欠采样图像输入对应顺序级别的神经网络中，以输出对应的生成图像。

在一可选实施例中，欠采样样本图像的训练顺序可为随机分配的顺序，或者按照预设规则(例如每个扫描序列对应的时序顺序、欠采样倍率的大小)进行排序的顺序。相应的，欠采样图像的生成顺序可为匹配欠采样样本图像的训练顺序的顺序。

示例的，设级联网络模型中可以包括n个级联的神经网络(s1,s2,......sn)。n个欠采样图像按生成顺序排列为：k1、k2......kn，其中n为正整数。

在应用过程中，初级神经网络s1的输入可包括全采样图像和第一顺序的欠采样图像k1，初级神经网络s1的输出为第一顺序的欠采样图像k1对应的生成图像t1。第二级神经网络s2的输入可包括全采样图像、第二顺序的欠采样图像k2和初级神经网络s1所生成的生成图像t1，第二级神经网络s2的输出为第二顺序的欠采样图像对应的生成图像t2。......第t级神经网络st的输入包括所述全采样图像、前面各级神经网络(第1级～第t-1级神经网络，t为大于2的整数)所输出的生成图像(t1～tt-1)和第t顺序的欠采样图像kt。依次类推，直至完成最后一个欠采样图像kn的处理。

需要说明的是，各级神经网络所输出的生成图像tt与对应输入的欠采样图像的尺寸相一致。

在一种变形实施例中，级联网络模型中的输入不限于包括前面各级神经网络所输出的生成图像，其可仅包括前面至少一级神经网络所输出的生成图像。

上述实施例，利用级联网络学习各扫描序列之间的相互信息，可以恢复欠采样图像丢失的细节信息，达到欠采样图像到全采样图像的高质量映射，加速完成医学图像成像，且提高图像生成质量。

在一实施例中，如图3所示，若欠采样倍率的数量为多个，步骤s205’，基于所述全采样图像和所述级联网络模型中各级神经网络，分别对每个欠采样图像进行图像生成可以包括：

s301，根据欠采样倍率的大小，确定每个欠采样扫描序列数据对应的欠采样图像的生成顺序。

s303，利用所述全采样图像和级联网络模型中各神经网络，按照所确定的生成顺序对每个欠采样图像进行图像生成。

计算机设备可以按照欠采样倍率大小，按照预定的规则对每个欠采样图像进行排序，得到每个欠采样图像的生成顺序，之后，利用全采样图像和级联网络模型中各神经网络，按照所确定的生成顺序对每个欠采样图像进行图像生成。也即，排序靠前的欠采样图像优先生成图像。

在本实施例中，计算机设备可以按照欠采样倍率从小到大的顺序，对各欠采样图像进行排序，得到生成顺序。之后，利用全采样图像和级联网络模型中匹配顺序的神经网络，按照所确定的生成顺序对每个欠采样图像进行图像生成。也即，按逐渐增加的欠采样倍率对每个欠采样图像进行顺序排序，得到每个欠采样图像的生成顺序，并利用匹配顺序的各级神经网络依次对对应欠采样图像进行生成。

在实际应用中，将不同的序列按照欠采样倍数率由低到高排序，依次输入，最终在更少的时间内输出了与全采样图像相近的生成图像。

由于低欠采样倍率对应的欠采样图像所携带的图像特征信息更多，先对欠采样较低的图像进行图像生成，再对逐渐增加的欠采样图像依次进行图像生成。如此，不仅便于网络模型快速收敛，还能够更好地学习对应序列信息及序列之间的相互信息，加速恢复欠采样图像所丢失的细节，提高成像质量。且随着模型学习到更多的相关信息，即使欠采样图像丢失的信息越来越多，也能够快速生成高质量的图像。从而，在逐渐增加的高倍欠采样率的情况下，也保证了图像生成质量，可进一步减少图像采集耗时，实现医学图像加速高质量的生成。

下面介绍上述用于医学图像生成的神经网络模型的训练方法。

在一实施例中，一种医学图像生成的模型训练方法包括：

a)获取多个扫描序列对应的训练集；

其中，所述训练集中包括检测样本对象的全采样样本图像和欠采样样本图像集合，所述欠采样样本图像集合包括至少一个欠采样倍率的多个欠采样样本图像和所述欠采样样本图像对应的参考图像。所述全采样样本图像对应的扫描序列和所述欠采样样本图像对应的扫描序列不同。

在一实施例中，通过对不同检测样本对象按照一定数量扫描序列和一定采样倍率的组合扫描，得到各个检测样本对象的扫描序列样本数据，以基于这些扫描序列样本数据构建多个扫描序列对应的训练集。经图像映射后的扫描序列样本数据可以包括全采样样本图像和至少一个欠采样倍率的欠采样样本图像集合，该欠采样样本图像集合包括至少一个欠采样倍率的多个欠采样样本图像和欠采样样本图像对应的参考图像。这里的参考图像为欠采样样本图像的训练目标图像，其可为欠采样样本图像对应的全采样样本图像，也可为符合训练要求的生成图像等。

b)构建初始神经网络模型；

该初始神经网络模型可为基于机器学习的网络模型，其具体结构可以有多种形式，也可以根据具体的任务进行不同的选择，其包括但不限于为至少一个全卷积网络，该全卷积网络的结构可为v-net、u-net、resunet，vbnet等。

c)基于所述训练集对所述初始神经网络模型进行训练，得到所述已训练的神经网络模型；

其中，模型训练的辅助输入包括所述训练集中的全采样样本图像，模型训练的输入包括欠采样样本图像，欠采样样本图像对应的参考图像作为模型训练的训练目标。

在一实施例中，对于每个检测样本对象，将欠采样样本图像作为模型输入，将至少一个与欠采样样本图像同源的全采样样本图像作为模型训练的辅助输入，以欠采样样本图像对应的参考图像作为训练目标，训练初始神经网络模型，直至到达训练结束条件，得到已训练的神经网络模型。该训练结束条件包括达到预设损失条件或达到预设训练次数等。

下面以上述用于医学图像生成的神经网络模型为多个神经网络的初始级联网络模型为例，详细阐述医学图像生成的模型训练方法。如图4和5所示，一种医学图像生成的模型训练方法包括：

s401，获取多个扫描序列对应的训练集，所述训练集包括检测样本对象的全采样样本图像和欠采样样本图像集合，所述欠采样样本图像集合包括至少一个欠采样倍率的多个欠采样样本图像和所述欠采样样本图像对应的参考图像，所述全采样样本图像对应的扫描序列和所述欠采样样本图像对应的扫描序列不同。

在获取训练集之前，还可包括数据采集步骤。

在一实施例中，通过一定采样策略得到多个扫描序列的采样数据。所采集数据包含实部以及虚部的图像数据，这样可以保证数据信息的完整性，若条件限制也可以是通过合并之后的数据。所采集数据可包括全采样样本图像(记为fi)，和多个扫描序列的欠采样样本图像(记为x2i)以及所对应的全采样样本图像(记为y2i，参考图像)，将这些数据作为训练样本对象添加到训练集中。

在另一实施例中，获取通过一定采样策略得到的多个扫描序列的全采样样本图像；对除第一个扫描序列的其余扫描序列的全采样样本图像进行欠采样处理，得到欠采样样本图像，将欠采样样本图像(记为y2i)及对应的全采样样本图像(记为y2i，参考图像)作为训练样本对添加到训练集中。

对于每个检测样本对象，其采集数据可以表示为{di|(q11,f1),...(q1n,fn),(q21,x21-y21),...(q2m,x2m-y21)}，其中di表示第i个检测样本对象，q11和q1n分别表示第1个全采样扫描序列和第n个全采样扫描序列，f1和fn为对应的全采样样本图像；q21和q2m分别表示第1个欠采样扫描序列和第m个欠采样扫描序列，x21和x2m为对应的欠采样样本图像，y21和y2m为对应的参考图像，其中，n和m均为大于等于1的正整数。通常情况下，m＞n。仅作为示例，n为1，m为3。当然，在其他示例中，n和m可以取其他数值。

优选地，为了提高训练效果和效率，可以采集大量数据进行充分训练，且尽可能包含所有的特例，例如头部出现运动伪影的数据，以及在欠采样过程中出现的混叠伪影数据。

s403，构建包括多个神经网络的初始级联网络模型。

神经网络是由若干不同的节点组成，不同的神经网络其结构可以不同，也可相同，在经过大量数据的充分训练之后可以得到稳定的神经网络模型。在本实施例中，使用到的神经网络模型主要为基于多个fcn(fullyconvolutionalnetwork，全卷积神经网络)组成的级联网络模型。

在其他实施例中，级联神经网络模块中的神经网络包括但不限于为fcn网络，其还可为其他类型的网络。

在一实施例，所述级联网络模型中神经网络的数量与多个所述欠采样扫描序列数据对应的扫描序列的序列数量相同。

在另一实施例，所述级联网络模型中神经网络的数量与多个所述欠采样扫描序列数据对应的数据扫描参数的数量相同，所述数据扫描参数包括扫描序列类型和/或欠采样倍率。

s405，基于所述训练集对所述初始级联网络模型进行训练，得到用于医学图像生成的神经网络模型。

其中，所述初始级联网络模型中初级神经网络的输入包括所述全采样样本图像和第一顺序的欠采样样本图像；所述初始级联网络模型中第j级神经网络的输入包括所述全采样样本图像、第j顺序的欠采样样本图像和前面各级神经网络所输出的样本生成图像，其中，j为大于1的整数。

级联网络主要是由多个fcn构成，其中fcn指带有全卷积层的机器学习网络，可以生成与输入图像尺寸相同的输出图像。

为了便于理解，继续参见图5所示，给出该实施例的具体模型训练过程示意图。采集数据包括对某个检测样本对象的4个不同的扫描序列对应的图像数据，即其包括：第一扫描序列的全采样样本图像a1、第二扫描序列的欠采样样本图像q1(2倍欠采样倍率)及对应的全采样样本图像a2(未图示)、第三扫描序列的欠采样样本图像q2(3倍欠采样倍率)及对应的全采样样本图像a3(未图示)、第四扫描序列的欠采样样本图像q3(7倍欠采样倍率)及对应的全采样样本图像a4(未图示)。

在这里，级联网络模型中fcn网络的数量为3，即图5中所示的fcn网络1、fcn网络2和fcn网络3。其中，fcn网络1负责以全采样样本图像a2作为训练目标，将全采样样本图像a1作为辅助图像，辅助训练fcn网络1以将欠采样样本图像q1的图像映射为对应的全采样样本图像a2，直至达到训练结束条件。利用训练完成的fcn网络1将欠采样样本图像q1所映射生成的图像，作为样本生成图像s1。

fcn网络2负责以全采样样本图像a3作为训练目标，将全采样样本图像a1与fcn网络1得到生成图像s1作为辅助图像，辅助训练fcn网络2以将欠采样样本图像q2映射为对应的全采样样本图像a3，直至达到训练结束条件。利用训练完成的fcn网络2将欠采样样本图像q2所映射生成的图像，作为样本生成图像s2。

fcn网络3负责以全采样样本图像a4作为训练目标，将全采样样本图像a1、与fcn网络1得到的生成图像s1以及fcn网络2得到的生成图像s2一起作为辅助图像，辅助训练fcn网络3以将欠采样样本图像q3映射为对应的全采样样本图像a4，直至达到训练结束条件。利用训练完成的fcn网络3将欠采样样本图像q3所映射生成的图像，作为样本生成图像s3。

上述各fcn网络可用图像域以及频域的l1损失作为参考条件，若fcn网络的输出与目标图像的综合损失小于一定阈值则表明此模型训练完成，可以停止训练。通过多个fcn网络组成的级联网络，可以获得更高效、质量更好的医学生成图像。

上述实施例，利用不同扫描序列之间会存在相互补充的信息，在训练阶段，让模型自主学习不同扫描序列在不同欠采样倍率的图像域之间的相互映射关系，通过网络训练过程中的不断迭代，最终可以恢复欠采样图像丢失的细节信息，达到欠采样图像到全采样图像的映射，完成磁共振的加速成像；无需多余的校正过程，还减少了各种成像伪影，提高了医学成像质量。

下述为本申请装置实施例，可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节和有效效果，请参照本申请方法实施例。

请参考图6，其示出了本申请实施例提供的一种医学图像生成装置的结构框图。该装置具有实现上述方法示例中服务器侧的功能，所述功能可以由硬件实现，也可以由硬件执行相应的软件实现。所述装置600可以包括：

获取模块610，用于获取检测对象的扫描序列数据；所述扫描序列数据包括全采样扫描序列数据和至少一个欠采样倍率的多个欠采样扫描序列数据；所述全采样扫描序列数据对应的扫描序列和所述欠采样扫描序列数据对应的扫描序列不同；

图像生成模块620，用于基于欠采样倍率大小、所述全采样扫描序列数据和已训练的神经网络模型，对每个欠采样扫描序列数据进行图像生成；

图像获得模块630，用于根据图像生成结果，获得检测对象的医学图像。

在一些实施例，所述已训练的神经网络模型包括由多个神经网络构成的级联网络模型；

所述级联网络模型中神经网络的数量与多个所述欠采样扫描序列数据对应的扫描序列的序列数量相同，或者

所述级联网络模型中神经网络的数量与多个所述欠采样扫描序列数据对应的数据扫描参数的数量相同，所述数据扫描参数包括扫描序列类型和/或欠采样倍率。

在一些实施例，所述图像生成模块620包括：

第一映射子模块，用于将所述全采样扫描序列数据映射至图像域，得到全采样图像；

第二映射子模块，用于将每个所述欠采样扫描序列数据映射至图像域，得到多个欠采样图像；

图像生成子模块，用于基于所述全采样图像和已训练的神经网络模型，对所述多个欠采样图像进行图像生成。

在一些实施例，若所述已训练的神经网络模型包括由多个神经网络构成的级联网络模型，所述图像生成子模块包括：

图像生成单元，用于基于所述全采样图像和所述级联网络模型中各级神经网络，分别对每个欠采样图像进行图像生成；

其中，所述级联网络模型中初级神经网络的输入包括所述全采样图像和第一顺序的欠采样图像，所述级联网络模型中第i级神经网络的输入包括所述全采样图像、前面各级神经网络所输出的生成图像和第i顺序的欠采样图像，其中i为大于1的整数。

在一些实施例，若欠采样倍率的数量为多个，所述图像生成单元包括：

排序子单元，用于根据欠采样倍率的大小，确定每个欠采样扫描序列数据对应的欠采样图像的生成顺序；

图像生成子单元，用于利用所述全采样图像和级联网络模型中神经网络，按照所确定的生成顺序对每个欠采样图像进行图像生成。

在一些实施例，所述图像获得模块630包括：

第一图像获得单元，用于获取全采样扫描序列数据对应的全采样图像；

图像合并单元，用于合并图像生成结果对应的多个生成图像和所述全采样图像，得到检测对象的医学图像。

在一些实施例，所述已训练的神经网络模型基于以下训练方法获得：

获取多个扫描序列对应的训练集，所述训练集中包括检测样本对象的全采样样本图像和欠采样样本图像集合，所述欠采样样本图像集合包括至少一个欠采样倍率的多个欠采样样本图像和所述欠采样样本图像对应的参考图像；所述全采样扫描序列数据对应的扫描序列和所述欠采样扫描序列数据对应的扫描序列不同；

构建初始神经网络模型；

基于所述训练集对所述初始神经网络模型进行训练，得到所述已训练的神经网络模型；

其中，模型训练的辅助输入包括所述训练集中的全采样样本图像，模型训练的输入包括欠采样样本图像，欠采样样本图像对应的参考图像作为模型训练的训练目标。

请参考图7，其示出了本申请实施例提供的一种医学图像生成的模型训练装置的结构框图。该装置具有实现上述方法示例中计算机设备侧的功能，所述功能可以由硬件实现，也可以由硬件执行相应的软件实现。所述装置700可以包括：

训练集获取模块710，用于获取多个扫描序列对应的训练集，所述训练集包括检测样本对象的全采样样本图像和欠采样样本图像集合，所述欠采样样本图像集合包括至少一个欠采样倍率的多个欠采样样本图像和所述欠采样样本图像对应的参考图像；所述全采样样本图像对应的扫描序列和所述欠采样样本图像对应的扫描序列不同；

模型构建模块720，用于构建包括多个神经网络的初始级联网络模型，所述神经网络的数量与欠采样样本图像的数量相同；

训练模块730，用于基于所述训练集对所述初始级联网络模型进行训练，得到用于医学图像生成的神经网络模型；

其中，所述初始级联网络模型中初级神经网络的输入包括所述全采样样本图像和第一顺序的欠采样样本图像；所述初始级联网络模型中第j级神经网络的输入包括所述全采样样本图像、第j顺序的欠采样样本图像和前面各级神经网络所输出的样本生成图像，其中，j为大于1的整数。

本申请实施例还提供了一种存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行上述任一所述的医学图像生成装置，和/或医学图像生成模型的训练装置。

上述存储介质可以位于计算机网络的多个网络设备中的至少一个网络设备。可选地，上述存储介质可以包括但不限于：u盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

本申请实施例提供了一种计算机设备，该设备可以包括处理器和存储器，该存储器中存储有至少一条指令、至少一段程序、代码集或指令集，该至少一条指令、该至少一段程序、该代码集或指令集由该处理器加载并执行以实现如上述方法实施例所提供的医学图像生成方法，和/或医学图像生成模型的训练方法。

进一步地，图8示出了一种用于实现本申请实施例所提供的方法的计算机设备的硬件结构示意图，该计算机设备可以为服务器、计算机终端、移动终端或其它设备，计算机设备还可以参与构成或包含本申请实施例所提供的装置。如图8所示，计算机设备80可以包括一个或多个(图中采用802a、802b，……，802n来示出)处理器802(处理器802可以包括但不限于微处理器mcu或可编程逻辑器件fpga等的处理装置)、用于存储数据的存储器804、以及用于通信功能的传输装置806。除此以外，还可以包括：显示器、输入/输出接口(i/o接口)、通用串行总线(usb)端口(可以作为i/o接口的端口中的一个端口被包括)、网络接口、电源和/或相机。本领域普通技术人员可以理解，图8所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，计算机设备80还可包括比图8中所示更多或者更少的组件，或者具有与图8所示不同的配置。

应当注意到的是上述一个或多个处理器802和/或其他数据处理电路在本文中通常可以被称为“数据处理电路”。该数据处理电路可以全部或部分的体现为软件、硬件、固件或其他任意组合。此外，数据处理电路可为单个独立的处理模块，或全部或部分的结合到计算机设备80中的其他元件中的任意一个内。如本申请实施例中所涉及到的，该数据处理电路作为一种处理器控制(例如与接口连接的可变电阻终端路径的选择)。

存储器804可用于存储应用软件的软件程序以及模块，如本申请实施例中所述的方法对应的程序指令/数据存储装置，处理器802通过运行存储在存储器804内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的一种神经网络处理方法。存储器804可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器804可进一步包括相对于处理器802远程设置的存储器，这些远程存储器可以通过网络连接至计算机终端80。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

传输装置806用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机设备80的通信供应商提供的无线网络。在一个实例中，传输装置806包括一个网络适配器(networkinterfacecontroller，nic)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置806可以为射频(radiofrequency，rf)模块，其用于通过无线方式与互联网进行通讯。

显示器可以例如触摸屏式的液晶显示器(lcd)，该液晶显示器可使得用户能够与计算机设备80的用户界面进行交互。

需要说明的是：上述本申请实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本申请特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本申请中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置和服务器实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本申请的较佳实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。