图像处理方法、装置、多模态成像系统、存储介质及设备与流程

本申请涉及图像处理技术领域，特别是涉及一种图像处理方法、装置、多模态成像系统、存储介质及设备。

背景技术：

随着现代医学技术的日益发展，医学影像技术也日渐成熟。在现有多种成像技术的基础上，不同成像技术的结合使用在临床诊断时可以更加全面地获取患者信息，例如，较为常用的pet/mri技术是将pet(正电子发射计算机断层显像)的分子成像功能与mri(核磁共振成像)软组织对比功能结合起来的一种技术，pet/mri技术具有辐射剂量小，软组织成像分辨率高等优点，然而，该技术也存在扫描速度较慢的问题，从而导致该技术需要花费较长的扫描时间。

传统技术为了缩短pet/mri的扫描时间，在数据采集的过程中采用降采样的方式完成pet/mri的数据采样工作。然而，通过降采样数据得到的降采样图像质量较差，诊断人员在根据低质量的降采样图像进行诊断分析时，无法清楚、准确地获取诊断过程中所需要的目标信息，从而降低诊断分析的准确性。

技术实现要素：

基于此，有必要针对上述问题，提供一种可以提高重建图像质量的图像处理方法、装置、多模态成像系统、存储介质及设备。

一种图像处理方法，包括：

获取多模态初始图像，所述多模态初始图像至少包括第一模态的第一初始图像及第二模态的第二初始图像；

通过神经网络对所述第一初始图像及所述第二初始图像进行特征提取，得到所述第一初始图像及所述第二初始图像包含的图像特征；

根据所述第一初始图像及所述第二初始图像包含的图像特征，通过所述神经网络对所述第一初始图像和所述第二初始图像中的至少一种模态的初始图像进行图像重建处理，得到对应的重建图像。

在其中一些实施例中，所述第一初始图像为正电子发射断层图像；

所述第二初始图像为磁共振图像或计算机断层图像，所述第二初始图像为根据降采样数据得到的图像。

在其中一些实施例中，所述获取多模态初始图像的步骤之后，所述通过神经网络对所述第一初始图像及所述第二初始图像进行特征提取的步骤之前，还包括：

对所述第一初始图像及所述第二初始图像进行图像配准处理。

在其中一个实施例中，所述神经网络为最小二乘生成式对抗网络；

所述通过神经网络对所述第一初始图像及所述第二初始图像进行特征提取，得到所述第一初始图像及所述第二初始图像包含的图像特征的步骤，包括：

通过所述最小二乘生成式对抗网络，对所述第一初始图像及所述第二初始图像进行下采样处理，得到不同分辨率的下采样图像；

对所述不同分辨率的下采样图像进行图像特征提取，得到所述第一初始图像及所述第二初始图像的不同分辨率的下采样图像包含的图像特征。

在其中一些实施例中，所述根据所述第一初始图像及所述第二初始图像包含的图像特征，通过所述神经网络对所述第一初始图像和所述第二初始图像中的至少一种模态的初始图像进行图像重建处理，得到对应的重建图像的步骤，包括：

通过所述最小二乘生成式对抗网络，选择至少一种模态的最小分辨率的下采样图像作为当前处理图像；

对所述当前处理图像进行上采样处理，得到对应的初步上采样图像；

根据所述初步上采样图像，以及对应分辨率的下采样图像包含的图像特征，得到对应的上采样图像；

将得到的上采样图像更新为当前处理图像，并返回所述对所述当前处理图像进行上采样处理的步骤，直至得到所述初始图像对应分辨率的上采样图像，并将所述初始图像对应分辨率的上采样图像作为所述初始图像对应的重建图像。

在其中一些实施例中，所述神经网络的训练过程包括：

以根据第一计数率的扫描数据得到的第一模态图像和根据降采样数据得到的第二模态图像为输入，以根据第二计数率的扫描数据得到的第一模态图像和/或根据对应的全采样数据得到的第二模态图像为输出，对所述神经网络进行训练，所述第一计数率小于所述第二计数率。

一种图像处理装置，包括：

图像获取模块，用于获取多模态初始图像，所述多模态初始图像至少包括第一模态的第一初始图像及第二模态的第二初始图像；

特征提取模块，用于通过神经网络对所述第一初始图像及所述第二初始图像进行特征提取，得到所述第一初始图像及所述第二初始图像包含的图像特征；

图像处理模块，用于根据所述第一初始图像及所述第二初始图像包含的图像特征，通过所述神经网络对所述第一初始图像和所述第二初始图像中的至少一种模态的初始图像进行图像重建处理，得到对应的重建图像。

一种多模态成像系统，包括：扫描装置、图像重建装置及图像处理装置；

所述扫描装置用于获取至少两种模态的扫描数据，并发送至所述图像重建装置；

所述图像重建装置用于根据所述扫描数据得到多模态初始图像，并发送至所述图像处理装置；

所述图像处理装置用于获取多模态初始图像，所述多模态初始图像至少包括第一模态的第一初始图像及第二模态的第二初始图像；通过神经网络对所述第一初始图像及所述第二初始图像进行特征提取，得到所述第一初始图像及所述第二初始图像包含的图像特征；根据所述第一初始图像及所述第二初始图像包含的图像特征，通过所述神经网络对所述第一初始图像和所述第二初始图像中的至少一种模态的初始图像进行图像重建处理，得到对应的重建图像。

一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

获取多模态初始图像，所述多模态初始图像至少包括第一模态的第一初始图像及第二模态的第二初始图像；

通过神经网络对所述第一初始图像及所述第二初始图像进行特征提取，得到所述第一初始图像及所述第二初始图像包含的图像特征；

根据所述第一初始图像及所述第二初始图像包含的图像特征，通过所述神经网络对所述第一初始图像和所述第二初始图像中的至少一种模态的初始图像进行图像重建处理，得到对应的重建图像。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

获取多模态初始图像，所述多模态初始图像至少包括第一模态的第一初始图像及第二模态的第二初始图像；

通过神经网络对所述第一初始图像及所述第二初始图像进行特征提取，得到所述第一初始图像及所述第二初始图像包含的图像特征；

根据所述第一初始图像及所述第二初始图像包含的图像特征，通过所述神经网络对所述第一初始图像和所述第二初始图像中的至少一种模态的初始图像进行图像重建处理，得到对应的重建图像。

上述图像处理方法、装置、多模态成像系统、存储介质及设备，获取多模态初始图像，多模态初始图像至少包括第一模态的第一初始图像及第二模态的第二初始图像；通过神经网络对第一初始图像及第二初始图像进行特征提取，得到第一初始图像及第二初始图像包含的图像特征；根据第一初始图像及第二初始图像包含的图像特征，通过神经网络对至少一种模态的初始图像进行图像重建处理，得到对应的重建图像。通过多模态初始图像分别进行特征提取，获取所有模态初始图像包含的图像特征，并结合所有模态的包含的图像特征分别对单模态的初始图像进行图像重建处理，可以使得单模态的重建图像包含更多的图像特征，从而可以提高重建图像的质量，诊断人员在根据重建图像进行诊断分析时，可以根据更多的图像特征得到更准确的目标信息，进而提高诊断分析的准确性。

附图说明

图1为一些实施例中图像处理方法的流程示意图；

图2为另一些实施例中图像处理方法的流程示意图；

图3为一些实施例中单个初始图像的重建处理示意图；

图4为一些实施例中双模态初始图像的重建处理示意图；

图5为一些实施例中图像处理装置的结构示意图；

图6为一些实施例中多模态成像系统的结构示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅用以解释本申请，并不用于限定本申请。

本申请提供的图像处理方法，可以应用于医学领域的多模态成像系统，也可以应用于其他领域的多模态成像系统。为了便于解释说明，在本申请以下实施例中，采用医学领域的多模态成像系统作为示例进行说明。具体地，医学领域的多模态成像系统可以是包括两种模态的成像系统(双模态成像系统)，例如正电子发射断层成像-计算机断层成像系统(pet/ct系统)、正电子发射断层成像-磁共振成像系统(pet/mri系统)等，也可以是两种以上模态的成像系统。

在一些实施例中，如图1所示，提供了一种图像处理方法，以该方法应用于双模态成像系统为例进行解释说明，该方法包括以下步骤：

步骤s100，获取多模态初始图像。

在进行图像处理时，图像处理装置首先需要获取待处理图像，待处理图像可以是多模态初始图像。对于双模态成像系统来说，其对应的多模态初始图像可以包括第一模态的第一初始图像及第二模态的第二初始图像。可以理解，图像处理装置获取多模态初始图像的过程，可以是先通过扫描装置获取扫描数据，再根据扫描数据重建得到多模态初始图像；也可以是从扫描装置或者存储器中获取扫描数据，再根据扫描数据重建得到多模态初始图像；还可以是从存储器中直接获取已经重建好的多模态初始图像。

步骤s300，通过神经网络对第一初始图像及第二初始图像进行特征提取，得到第一初始图像及第二初始图像包含的图像特征。

图像处理装置在得到第一初始图像及第二初始图像之后，将第一初始图像及第二初始图像同时输入神经网络，并分别对其进行特征提取。不同模态的成像系统其成像特点各不相同，例如：磁共振成像(简称：mri)具有很高的软组织对比度分辨率，擅长脑、神经、血管等器官组织的成像，可以提供解剖学信息；正电子发射断层成像(简称：pet)则有很好的生物学成像能力，反映病人的代谢与功能情况，能够很好地对肿瘤、癫痫、老年痴呆等疾病进行诊断。因此，通过对不同模态的初始图像进行特征提取，并将提取的各个模态初始图像的图像特征与初始图像进行融合处理，可以有效提高原初始图像的图像质量。

步骤s400，根据第一初始图像及第二初始图像包含的图像特征，通过神经网络对第一初始图像和第二初始图像中的至少一种模态的初始图像进行图像重建处理，得到对应的重建图像。

图像处理装置可以提取得到第一初始图像及第二初始图像包含的图像特征，根据提取的图像特征，通过神经网络对第一初始图像和/或第二初始图像进行图像重建处理，得到对应的重建图像。由于得到的重建图像包含第一初始图像及第二初始图像的图像特征，使得重建图像的图像质量高于对应的初始图像。

本申请提供的图像处理方法，通过对多模态初始图像进行联合特征提取，获取所有模态初始图像包含的图像特征，并结合所有模态包含的图像特征分别对单模态的初始图像进行图像重建处理，可以使得单模态的重建图像包含更多的图像特征，从而可以提高重建图像的质量，诊断人员在根据重建图像进行诊断分析时，可以根据更多的图像特征得到更准确的目标信息，进而提高诊断分析的准确性。

在一些实施例中，多模态成像系统为pet/mri系统，上述图像处理方法中，第一初始图像可以为正电子发射断层图像(pet图像)，第一初始图像可以为根据低计数图像数据得到的图像，低计数图像数据的数据数量低于预设标准数据数量；第二初始图像为磁共振图像(mr图像)，第二初始图像为根据降采样数据得到的图像。

在成像系统中，为了达到获取图像的目的，需要进行数据采样。对于pet/mri系统来说，为了获取不同模态的图像，需要进行不同模态的数据采样，然而，不同模态的数据采样速度各不相同，从而导致其数据采样时间也各不相同。具体地，mri的数据采样时间要长于pet的数据采样时间。因此，为了提高数据采样速度，采用低计数采样的方式获取pet图像数据，采用降采样的方式获取mr图像数据。其中，降采样表示降低特定信号的采样率的过程，即通过采取减少采样数据的数量的方式以达到提高数据采样速度的目的。

在得到低计数的pet图像数据之后，可以采用osem算法(orderedsubsetsexpectationmaximization，有序子集最大期望值算法)进行图像重建，以得到pet的初始图像；在得到mr的降采样数据之后，可以采用ifft算法进行图像重建，以得到mr的初始图像。其中，在得到pet初始图像的过程中，所使用的osem算法是一种快速迭代重建算法，它是在最大似然期望法(maximumlikelihoodexpectationmaximization，mlem)的基础上发展起来的。mlem方法旨在寻找与测量的投影数据具有最大似然性(maximumlikelihood，ml)的估计解，其迭代过程是由最大期望值算法(em)来实现的。osem方法在每一次迭代过程中将投影数据分成n个子集，每一个子集对重建图像各象素点值校正以后，重建图像便被更新一次，所有的子集运算一遍，称为一次迭代过程，它所需要的运算时间与滤波反投影法(filteredback-projection，fbp)重建的时间基本相等。在ml-em方法一次迭代过程中，重建图像被更新一次，而在osem方法中重建图像被更新n次，所以osem方法具有加快收敛的作用。

在一些实施例中，根据低计数图像数据得到pet图像，根据降采样数据得到mr图像，从而可以提高数据采样速度，减少数据采样的时间。

在一些实施例中，如图2所示，获取多模态初始图像的步骤之后，通过神经网络对第一初始图像及第二初始图像进行特征提取的步骤之前，该图像处理方法还包括：步骤s200，对第一初始图像及第二初始图像进行图像配准处理。

医学领域的图像配准是指对于一幅医学图像寻求一种(或一系列)空间变换，使它与另一幅医学图像上的对应点达到空间上的一致。这种一致是指同一特征点在两张匹配图像上有相同的空间位置。配准的结果应使两幅图像上所有的特征点，或至少是所有具有诊断意义的点都达到空间位置的匹配。图像配准按成像的模式分类可以分为单模配准和多模配准，其中，单模配准是指待配准的两幅图像是用同一种成像设备获取的，多模配准是指待配准的两幅图像来源于不同的成像设备。本申请所采用的为多模配准模式。

具体地，图像配准处理包括特征提取、特征匹配、估计变换模型、图像重采样及变换等操作。变换模型是所有配准技术中需要考虑的一个重要因素，各种配准技术都要建立自己的变换模型，变换模型的选取与图像的变形特性有关。常用的变换模型有刚性变换、仿射变换、投影变换、非线性变换。

本申请通过对多模态初始图像进行配准处理，使得各种模态的初始图像所包含的特征点在空间位置互相匹配，从而保证图像重建模型在进行图像重建处理的过程中，所提取的所有模态的图像特征能和各模态的图像都能实现位置对应。

在一些实施例中，神经网络为最小二乘生成式对抗网络(leastsquaresgenerativeadversarialnetworks，lsgans)。

生成式对抗网络(generativeadversarialnetworks，gan)是一种深度学习模型，是近年来复杂分布上无监督学习最具前景的方法之一。gan的框架包含两个部分：判断器和生成器，其中，判断器用于判断一张图片是来自真实数据还是生成器，要尽可能地给出准确判断；生成器用于生成图片，并且生成的图片要尽可能地混淆判断器。gan通常以交叉熵作为损失函数，然而，以交叉熵作为损失函数会使得生成器不会再优化那些被判断器识别为真实图片的生成图片，即使这些生成图片距离判断器的决策边界仍然很远，也就是距真实数据比较远，导致生成器的生成图片质量并不高。

相比于gan，lsgans把交叉熵损失函数更改为最小二乘损失函数，为了使最小二乘损失比较小，在混淆判断器的前提下，生成器还需要把距离决策边界比较远的生成图片“拉向”决策边界，因而可以使得生成的图像更接近真实数据，即保证生成的图像质量更高。

本申请通过使用最小二乘生成式对抗网络，可以使得生成的图像更加接近真实图像，提高图像质量。

在一些实施例中，通过神经网络对第一初始图像及第二初始图像进行联合特征提取，得到第一初始图像及第二初始图像包含的图像特征的步骤，包括：通过最小二乘生成式对抗网络，对第一初始图像及第二初始图像分别进行下采样处理，得到不同分辨率的下采样图像；对不同分辨率的下采样图像分别进行图像特征提取，得到第一初始图像及第二初始图像的不同分辨率的下采样图像包含的图像特征。

在一些实施例中，最小二乘生成式对抗网络为u型网络(u-net)，u-net结构包括收缩路径(contractingpath)和扩张路径(expandingpath)，二者为对称关系，其中收缩路径用于获取上下文信息，扩张路径用以精确定位。其中，收缩路径表示对初始图像进行下采样处理，得到各模态不同分辨率的下采样图形，并通过对不同分辨率的下采样图形进行卷积处理，提取得到对应的图像特征。因此，以各模态的初始图像作为u-net的输入，通过收缩路径可以得到各模态的初始图像对应的图像特征。

在一些实施例中，根据第一初始图像及第二初始图像包含的图像特征，通过神经网络对第一初始图像和第二初始图像中的至少一种模态的初始图像进行图像重建处理，得到对应的重建图像的步骤，包括：

通过最小二乘生成式对抗网络，选择至少一种模态的最小分辨率的下采样图像作为当前处理图像；对当前处理图像进行上采样处理，得到对应的初步上采样图像；根据初步上采样图像，以及对应分辨率的下采样图像包含的图像特征，得到对应的上采样图像；将得到的上采样图像更新为当前处理图像，并返回对当前处理图像进行上采样处理的步骤，直至得到初始图像对应分辨率的上采样图像，并将初始图像对应分辨率的上采样图像作为初始图像对应的重建图像。

在一些实施例中，在对各模态的初始图像进行下采样处理并得到各模态不同分辨率的图像特征后，可以通过u-net的扩张路径分别对各种模态的最小分辨率的下采样图像进行上采样处理，并结合对应分辨率的所有模态的下采样图形包含的图像特征，得到各种模态的第一次上采样图像，第一次上采样图像的分辨率大于进行上采样处理的下采样图像的分辨率。

在得到各种模态的第一次上采样图像后，对各种模态的第一次上采样图像继续进行上采样处理，并结合对应分辨率的所有模态的下采样图形包含的图像特征，得到第二次上采样图像。重复上述步骤，直至上采样处理的次数与下采样处理的次数相同，对最后一次上采样处理得到的上采样图像进行卷积处理，得到的图像即为重建图像。

本申请根据所有模态的图像包含的图像特征分别对各种模态的下采样图像进行上采样处理，从而使得单模态的重建图像包含更多的图像特征，从而可以提高重建图像的质量。

在一些实施例中，以医学领域中的pet/mri系统为例，对本申请的图像处理方法进行具体解释说明。

(1)获取pet初始图像和mr初始图像。在一些实施例中，可以采集低计数的pet数据，对采集到的低计数pet数据采用osem算法进行重建，得到pet初始图像；可以采集降采样的k空间数据，对降采样的k空间数据采用ifft进行重建，得到mr初始图像。。

其中，mr的k空间数据实际上是图像空间中数据的二维傅立叶变换结果。k空间是一个用于表征分解出的频率成分的频域空间，在二维的k空间中，每个点都代表一个正弦波成分。该成分的方向是从原点指向该点的方向；频率则随着远离原点而逐渐增加。可以认为，k空间中的数据点和图像空间中的数据点并不是一一对应的，一个k空间中的数据点对应了图像空间中所有数据点的一部分信息。因此，通过对mr的k空间降采样数据进行反傅里叶变换处理，即可得到对应的mr初始图像。

可以理解，根据pet和mr的降采样数据得到对应的初始图像的方法并不局限于以上方法，也可以是采取其他方法得到降采样数据对应的初始图像。

(2)对pet初始图像和mr初始图像进行图像配准处理。具体地，通过对pet初始图像和mr初始图像进行特征提取、特征匹配、估计变换模型、图像重采样及变换等操作，以使得pet初始图像和mr初始图像所包含的特征点在空间位置互相匹配。

(3)通过神经网络对pet初始图像和mr初始图像进行特征提取，得到pet初始图像和mr初始图像包含的图像特征，根据得到的图像特征，通过神经网络对至少一种模态的初始图像进行图像重建处理，得到对应的重建图像。

具体地，如图3所示，为单个图像的重建处理示意图，该处理过程包括以下步骤：

获取输入的初始图像a，对初始图像a进行卷积处理，得到初始图像a包含的图像特征。可以看出，输入的初始图像a分辨率为572*572，对初始图像a进行两次卷积处理，卷积核的大小可以为3*3，得到分辨率为568*568的第一特征图像a1，第一特征图像a1表示输入的初始图像a的图像特征。

对第一特征图像a1进行第一次下采样处理，得到第一下采样图像b。下采样处理可以采用maxpooling(最大值池化)或者averagepooling(平均值池化)，图中为采用2*2的池化方法进行下采样处理，可以看出，第一特征图像a1的分辨率为568*568，而第一下采样图像b的分辨率为284*284，即第一下采样图像b的分辨率为第一特征图像a1分辨率的二分之一。同样对第一下采样图像b进行两次卷积处理，得到分辨率为280*280的第二特征图像b1，第二特征图像b1表示第一下采样图像b的图像特征。

同理，对第二特征图像b1进行第二次下采样处理，得到第二下采样图像c，第二下采样图像c的分辨率为140*140，对第二下采样图像c进行两次卷积处理，得到分辨率为136*136的第三特征图像c1，第三特征图像c1表示第二下采样图像c的图像特征。

同理，对第三特征图像c1进行第三次下采样处理，得到第三下采样图像d，第三下采样图像d的分辨率为68*68，对第三下采样图像d进行两次卷积处理，得到分辨率为64*64的第四特征图像d1，第四特征图像d1表示第三下采样图像d的图像特征。

同理，对第四特征图像d1进行第四次下采样处理，得到第四下采样图像e，第四下采样图像e的分辨率为32*32，对第四下采样图像e进行两次卷积处理，得到分辨率为28*28的第五特征图像e1，第五特征图像e1表示第四下采样图像e的图像特征。

在对输入的初始图像a进行四次下采样处理以及图像特征提取之后，结合得到的特征图像a1、b1、c1、d1、e1，开始进行上采样处理。

结合第四特征图像d1，对分辨率最小的第四下采样图像e对应的第五特征图像e1进行上采样处理。上采样处理可以是反卷积(up-convolution)处理。第五特征图像e1的分辨率为28*28，将其进行上采样处理得到分辨率为56*56的第一初步上采样图像，结合第一初步上采样图像以及第四特征图像d1得到第一上采样图像f。具体地，可以看出，第一上采样图像f包含左半部分及右半部分，其中，右半部分为第一初步上采样图像，左半部分为由第四特征图像d1经过复制以及裁剪得到的图像d11，由于第四特征图像d1的分辨率(64*64)大于第一初步上采样图像的分辨率(56*56)，因此需要将第四特征图像d1的复制图像裁剪至与第一初步上采样图像的分辨率相同，然后将得到的图像d11与第一初步上采样图像结合，得到第一上采样图像f。对第一上采样图像f进行两次卷积处理，得到分辨率为52*52的图像f1。

同理，对第三特征图像c1进行复制及裁剪处理得到图像c11，对图像f1进行第二次上采样处理，并结合图像c11得到分辨率为104*104的第二上采样图像g，并对第二上采样图像g进行两次卷积处理，得到分辨率为100*100的图像g1。

同理，对第二特征图像b1进行复制及裁剪处理得到图像b11，对图像g1进行第三次上采样处理，并结合图像b11得到分辨率为200*200的第三上采样图像h，并对第三上采样图像h进行两次卷积处理，得到分辨率为196*196的图像h1。

同理，对第一特征图像a1进行复制及裁剪处理得到图像a11，对图像h1进行第四次上采样处理，并结合图像a11得到分辨率为392*392的第四上采样图像i，并对第四上采样图像i进行两次卷积处理，得到分辨率为388*388的图像i1，再对图像i1进行卷积核的大小为1*1的卷积处理，得到图像i2，图像i2即为输入的初始图像a对应的重建图像，至此，单个初始图像的图像重建处理完成。

如图4所示，为双模态初始图像(pet初始图像和mr初始图像)的重建处理示意图，其中，左侧表示pet初始图像的重建处理过程，右侧表示mr初始图像的重建处理过程。根据图4可以看出，在对双模态初始图像进行重建处理的过程中，其下采样处理过程与对单模态初始图像的下采样处理过程基本相同，而在对双模态的下采样图像分别进行上采样处理时，不仅仅结合了该单种模态的图像特征，也结合了其他模态的图像特征。

具体地，在对pet的图像e1进行上采样处理时，既结合图像d11的图像特征，也结合了d11’的图像特征，即同时结合pet和mr的图像特征对pet的图像进行上采样处理，从而使得得到的图像f不仅仅包含了d11的图像特征，同时也包含了d11’的图像特征。同理，图像g同时包含c11和c11’的图像特征，图像h同时包含b11和b11’的图像特征，图像i同时包含a1和a11’的图像特征，使得最终得到的pet重建图像i2不仅包含pet图像的图像特征，也包含了mr图像的图像特征，从而提高了pet重建图像的质量。同理，对于mr重建图像来说，mr重建图像不仅包含mr图像的图像特征，也包含了pet图像的图像特征，从而提高了mr重建图像的质量。

以上为双模态成像系统的图像重建方法的解释说明，可以理解，在对两种以上模态的成像系统进行图像重建时，其处理过程与上述双模态成像系统图像重建方法的处理过程类似。因此，本申请提出的多模态成像系统图像重建方法，可以使得单模态的重建图像包含其他模态图像的图像特征，从而可以提高多模态重建图像的质量。

另外需要说明的是，重建处理过程中所涉及的图像参数并不局限于图3及图4中所示的参数，图像参数可以根据实际情况变化。

在一个实施例中，神经网络的训练过程包括：以根据降采样数据得到的图像为输入，以根据对应的全采样数据得到的图像为输出，对神经网络进行训练；以根据低计数图像数据得到的图像为输入，以根据对应的高计数图像数据得到的图像为输出，对神经网络进行训练。

对于pet/mri系统，由于需要通过神经网络对pet图像及mr图像进行重建处理，因此首先需要使用pet图像及mr图像对神经网络进行训练。具体地，以低计数pet图像和降采样的mr图像为输入，以对应的高计数pet图像或全采样的mr图像为输出对该神经网络进行训练，以使得该神经网络具备pet图像或mr图像的重建处理功能。

进一步地，在对神经网络进行训练后，需要对神经网络的训练效果进行验证。以mr图像为例，通过训练后的神经网络对降采样mr图像进行图像重建，得到对应的重建图像，并通过损失函数对重建图像及该降采样mr图像对应的全采样mr图像进行相似性分析。损失函数是一种衡量损失和错误程度的函数，在本实施例中，可以认为是用来衡量根据降采样图像得到的重建图像与该降采样图像对应的全采样图像的“损失”。

具体地，在对重建图像及全采样mr图像进行相似性分析时，可以通过损失函数计算重建图像与全采样mr图像的结构相似性(structuralsimilarityindex，ssim)，结构相似性是一种衡量两幅图像相似度的指标。定义图像x表示重建图像，图像y表示全采样mr图像，则两张图像的结构相似性可以通过以下公式计算求出：

c1＝(k1l)²

c2＝(k2l)²

其中，μx为x的平均值，μy为y的平均值，σx²是x的方差，σy²是y的方差，σxy是x和y的协方差，c1和c2是用于维持稳定的常数，l是像素值的动态范围，k1为0.01，k2为0.03。结构相似性的范围为-1到1，当两张图像一模一样时，ssim的值等于1。

可以理解，进行相似性分析的手段并不唯一，以上仅是其中一种进行相似性分析的方法的举例说明。

在得到重建图像与全采样mr图像的相似性分析结果之后，若分析结果不满足预设要求，则根据相似性分析结果对神经网络的处理参数进行优化调整，例如，对下采样的池化方式进行调整，或者对卷积核进行调整等。调整完毕后，使用调整后的神经网络再次对降采样图像进行图像重建，得到第二次重建图像，通过损失函数对第二次重建图像及全采样图像进行相似性分析，并根据相似性分析结果对神经网络进行优化处理。当重建图像和全采样mr图像的相似性分析结果满足预设相似性条件时，可以认为重建图像和全采样mr图像在一定程度上是相似的，表示该神经网络训练完毕，可以根据训练好的神经网络进行图像重建。

在一些实施例中，在神经网络的训练过程中，使用的损失函数为平均绝对误差函数。常用的损失函数包括l1函数和l2函数等，其中l1函数为平均绝对误差(mae)函数，平均绝对误差函数是一种用于回归模型的损失函数，mae是目标值和预测值之差的绝对值之和，其计算公式为：

l2函数为均方误差(mse)函数，均方误差函数是常用的回归损失函数，是求预测值与真实值之间距离的平方和，其计算公式为：

在图像重建过程中，由于使用l2函数作为损失函数可能会造成图像的模糊和产生斑状伪影，因此本实施例选择l1函数作为损失函数，从而可以避免造成图像的模糊和出现斑状伪影的情况。

应该理解的是，虽然图1-2的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1-2中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

在一些实施例中，如图5所示，提供一种图像处理装置，该装置包括：图像获取模块110、特征提取模块130及图像处理模块140。

图像获取模块110用于获取多模态初始图像，多模态初始图像至少包括第一模态的第一初始图像及第二模态的第二初始图像。

特征提取模块130用于通过神经网络对第一初始图像及第二初始图像进行特征提取，得到第一初始图像及第二初始图像包含的图像特征。

图像处理模块140用于根据第一初始图像及第二初始图像包含的图像特征，通过神经网络对第一初始图像和第二初始图像中的至少一种模态的初始图像进行图像重建处理，得到对应的重建图像。

在一些实施例中，参考图5，该图像处理装置还包括：图像配准模块120，用于对第一初始图像及第二初始图像进行图像配准处理。

在一些实施例中，特征提取模块130还用于执行以下步骤：通过最小二乘生成式对抗网络，对第一初始图像及第二初始图像进行下采样处理，得到不同分辨率的下采样图像；对不同分辨率的下采样图像分别进行图像特征提取，得到第一初始图像及第二初始图像的不同分辨率的下采样图像包含的图像特征。

在一些实施例中，图像处理模块140还用于执行以下步骤：通过最小二乘生成式对抗网络，选择至少一种模态的最小分辨率的下采样图像作为当前处理图像；对当前处理图像进行上采样处理，得到对应的初步上采样图像；根据初步上采样图像，以及对应分辨率的下采样图像包含的图像特征，得到对应的上采样图像；将得到的上采样图像更新为当前处理图像，并返回对当前处理图像进行上采样处理的步骤，直至得到初始图像对应分辨率的上采样图像，并将初始图像对应分辨率的上采样图像作为初始图像对应的重建图像。

关于图像处理装置的具体限定可以参见上文中对于图像处理方法的限定，在此不再赘述。上述图像处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一些实施例中，如图6所示，提供一种多模态成像系统，该系统包括：扫描装置210、图像重建装置220及图像处理装置230。

扫描装置210用于获取至少两种模态的扫描数据，并发送至图像重建装置220。

图像重建装置220用于根据扫描数据得到多模态初始图像，并发送至图像处理装置230。

图像处理装置230用于获取多模态初始图像，多模态初始图像至少包括第一模态的第一初始图像及第二模态的第二初始图像；通过神经网络对第一初始图像及第二初始图像进行特征提取，得到第一初始图像及第二初始图像包含的图像特征；根据第一初始图像及第二初始图像包含的图像特征，通过神经网络对第一初始图像和第二初始图像中的至少一种模态的初始图像进行图像重建处理，得到对应的重建图像。

具体地，扫描装置210至少包括用于获取被检对象的第一扫描数据的第一扫描器，以及用于获取被检对象的第二扫描数据的第二扫描器，第一扫描数据和第二扫描数据为不同模态的扫描数据，具体可以是例如pet扫描数据以及mr扫描数据或ct扫描数据，对应的第一扫描器可以是pet扫描器，第二扫描器可以是mr扫描器或ct扫描器。其中，第一扫描器可以通过扫描获取低计数以及高计数的pet扫描数据，第二扫描器可以通过扫描获取降采样以及全采样的mr扫描数据或ct扫描数据。

图像重建装置220根据扫描装置210发送的不同模态的扫描数据生成对应的不同模态的初始图像。例如，对于包括第一扫描器和第二扫描器的扫描装置210发送的扫描数据，图像重建装置220可以在得到第一扫描数据之后，采用图像重建算法进行图像重建，以得到第一初始图像；在得到第二扫描数据之后，采用图像重建算法进行图像重建，以得到第二初始图像。图像重建装置220具体可以是处理器等。

图像处理装置230在对不同模态的初始图像进行配准后，通过神经网络进行特征提取以及图像重建，从而达到提高图像质量的目的。图像处理装置230具体可以是处理器等。

在一个实施例中，参考图6，该多模态成像系统还包括：训练装置240，用于以根据第一计数率的扫描数据得到的第一模态图像和根据降采样数据得到的第二模态图像为输入，以根据第二计数率的扫描数据得到的第一模态图像和/或根据对应的全采样数据得到的第二模态图像为输出，对神经网络进行训练。

需要说明的是，训练装置240在对神经网络进行训练时，作为输入的图像以及作为输出的图像可以是通过扫描装置210及图像重建装置220得到的图像，也可以是直接获取的已生成的图像。

具体地，当训练装置240以扫描装置210及图像重建装置220得到的图像为训练样本时，训练样本中的输入样本可以包括：由第一扫描器采集的第一计数率的第一扫描数据重建成的第一样本图像、由第二扫描器采集的第一采样率的第三扫描数据重建成的第三样本图像，训练样本中的输出样本包括：由第二扫描器采集的第二采样率的第四扫描数据重建的第四样本图像、由第一扫描器采集的第二计数率的第二扫描数据重建成的第二样本图像，其中，第一采样率小于第二采样率，第一计数率小于第二计数率。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：获取多模态初始图像，多模态初始图像至少包括第一模态的第一初始图像及第二模态的第二初始图像；通过神经网络对第一初始图像及第二初始图像进行特征提取，得到第一初始图像及第二初始图像包含的图像特征；根据第一初始图像及第二初始图像包含的图像特征，通过神经网络对第一初始图像和第二初始图像中的至少一种模态的初始图像进行图像重建处理，得到对应的重建图像。

在一些实施例中，处理器执行计算机程序时还实现以下步骤：对第一初始图像及第二初始图像进行图像配准处理。

在一些实施例中，处理器执行计算机程序时还实现以下步骤：通过最小二乘生成式对抗网络，对第一初始图像及第二初始图像分别进行下采样处理，得到不同分辨率的下采样图像；对不同分辨率的下采样图像进行图像特征提取，得到第一初始图像及第二初始图像的不同分辨率的下采样图像包含的图像特征。

在一些实施例中，处理器执行计算机程序时还实现以下步骤：通过最小二乘生成式对抗网络，选择至少一种模态的最小分辨率的下采样图像作为当前处理图像；对当前处理图像进行上采样处理，得到对应的初步上采样图像；根据初步上采样图像，以及对应分辨率的下采样图像包含的图像特征，得到对应的上采样图像；将得到的上采样图像更新为当前处理图像，并返回对当前处理图像进行上采样处理的步骤，直至得到初始图像对应分辨率的上采样图像，并将初始图像对应分辨率的上采样图像作为初始图像对应的重建图像。

在一些实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：获取多模态初始图像，多模态初始图像至少包括第一模态的第一初始图像及第二模态的第二初始图像；通过神经网络对第一初始图像及第二初始图像进行特征提取，得到第一初始图像及第二初始图像包含的图像特征；根据第一初始图像及第二初始图像包含的图像特征，通过神经网络对第一初始图像和第二初始图像中的至少一种模态的初始图像进行图像重建处理，得到对应的重建图像。

在一些实施例中，计算机程序被处理器执行时还实现以下步骤：对第一初始图像及第二初始图像进行图像配准处理。

在一些实施例中，计算机程序被处理器执行时还实现以下步骤：通过最小二乘生成式对抗网络，对第一初始图像及第二初始图像分别进行下采样处理，得到不同分辨率的下采样图像；对不同分辨率的下采样图像进行图像特征提取，得到第一初始图像及第二初始图像的不同分辨率的下采样图像包含的图像特征。

在一些实施例中，计算机程序被处理器执行时还实现以下步骤：通过最小二乘生成式对抗网络，选择至少一种模态的最小分辨率的下采样图像作为当前处理图像；对当前处理图像进行上采样处理，得到对应的初步上采样图像；根据初步上采样图像，以及对应分辨率的下采样图像包含的图像特征，得到对应的上采样图像；将得到的上采样图像更新为当前处理图像，并返回对当前处理图像进行上采样处理的步骤，直至得到初始图像对应分辨率的上采样图像，并将初始图像对应分辨率的上采样图像作为初始图像对应的重建图像。

本领域普通技术人员可以理解，实现上述实施例中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。