图像重建方法、装置、设备、系统及计算机可读存储介质与流程

本申请涉及图像处理技术领域，特别涉及一种图像重建方法、装置、设备、系统及计算机可读存储介质。

背景技术：

在临床实践中，在利用计算机断层成像(computedtomography，简称ct)、正电子发射断层成像(positronemissiontomography，简称pet)等医疗设备对病人进行扫描检查后，通常需要对扫描数据进行图像重建，以获得可供医生查看的图像。

目前，实现图像重建的方法有很多，例如，直接反投影法、滤波反投影法(filteredbackprojection，简称fbp)或傅立叶直接变换法等解析方法，这些方法的实质是利用所采集的投影数据求解图像矩阵中的像素值以重新构造图像。

在实现本申请过程中，发明人发现现有技术中至少存在如下问题：

(1)fbp等解析方法对投影数据要求较高，并且通过该方法获得的重建图像分辨率较低；

(2)现有的迭代方法对系统要求高，处理过程中的系统响应矩阵较大，收敛速度慢，并且迭代次数有一定的随机性，因而导致数据处理速度较慢。

技术实现要素：

本申请实施例的目的是提供一种图像重建方法、装置、设备、系统及计算机可读存储介质，以解决现有技术中存在的至少一种问题。

为了解决上述技术问题，本申请实施例提供了一种图像重建方法，该图像重建方法包括：

利用所获取的已测样本图像对所构建的目标网络模型进行训练，其中，所述目标网络模型包括具有固定网络参数的第一网络结构以及含有多层卷积层的第二网络结构，

利用所述第一网络结构按照预设算法对所获取的待测数据集进行图像重建处理以得到第一重建图像，所述待测数据集包括在多个不同投影角度下采集到的目标对象的投影数据；

利用训练后的所述第二网络结构对所述第一重建图像进行去噪处理以得到第二重建图像。

可选地，利用所获取的已测样本图像对所构建的目标网络模型进行训练的步骤包括：

对所获取的所述已测样本图像进行拉东变换处理以获得对应的样本数据集，所述样本数据集包括所述已测样本图像在多个不同特定角度下所对应的投影数据，并且所述样本数据集与所述待测数据集相匹配；

利用所获得的所述样本数据集对所构建的所述目标网络模型进行训练。

可选地，利用训练后的所述第二网络结构对所述第一重建图像进行去噪处理以得到第二重建图像的步骤包括：

利用所述第二网络结构中的第一卷积层提取出所述第一重建图像中的浅层特性信息；

利用所述第二网络结构中的残差模块从所述浅层特性信息中提取出深层特性信息；

利用所述第二网络结构中的第二卷积层对所述浅层特性信息和所述深层特性信息进行处理以得到第二样本图像。

可选地，所述预设算法包括直接反投影法或滤波反投影法。

可选地，所述投影数据包括ct图像数据、pet图像数据或pet/ct图像数据。

本申请实施例还提供了一种图像重建装置，其上构建有目标网络模型，该图像重建装置包括：

训练单元，其被配置为利用所获取的已测样本图像对所述目标网络模型进行训练，其中，所述目标网络模型包括具有固定网络参数的第一网络结构以及含有多层卷积层的第二网络结构，

图像重建单元，其被配置为利用所述第一网络结构按照预设算法对所获取的待测数据集进行图像重建处理以得到第一重建图像，所述待测数据集包括在多个不同投影角度下采集到的目标对象的投影数据；以及

去噪单元，其被配置为利用训练后的所述第二网络结构对所述第一重建图像进行去噪处理以得到第二重建图像。

可选地，所述训练单元具体被配置为：

对所获取的所述已测样本图像进行拉东变换处理以获得对应的样本数据集，所述样本数据集包括所述已测样本图像在多个不同投影角度下所对应的投影数据，并且所述样本数据集与所述待测数据集相匹配；

利用所获得的所述样本数据集对所构建的所述目标网络模型进行训练。

可选地，所述第二网络结构包括依次连接的第一卷积层、残差模块和第二卷积层。

本申请实施例还提供了一种计算机设备，该计算机设备包括存储器和处理器，所述存储器存储有计算机程序，在所述计算机程序被所述处理器执行时，所述处理器执行上述图像重建方法。

本申请实施例还提供了一种图像处理系统，该图像处理系统包括上述计算机设备以及探测设备，其中，所述探测设备被配置为通过对目标对象进行扫描而获得投影数据并且将所获得的投影数据提供给所述计算机设备。

可选地，所述探测设备包括ct扫描仪、pet探测器或pet/ct设备。

本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，所述计算机程序被执行时能够实现与上述图像重建方法对应的功能。

由以上本申请实施例提供的技术方案可见，本申请实施例通过利用目标网络模型中的第一网络结构按照预设算法对投影数据集进行图像重建处理，从而获得第一重建图像，然后利用目标网络模型中的第二网络结构对第一重建图像进行去噪处理，从而获得第二重建图像，这可以提高重建图像的质量。而且，通过利用目标网络模型对投影数据集进行图像重建处理，可以提高数据处理速度。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本申请的一个实施例中的图像重建方法的应用环境图；

图2是本申请的一个实施例中所利用的目标网络模型的结构示意图；

图3是目标网络模型中的残差模块中的子模块的结构示意图；

图4是本申请的一个实施例提供的图像重建方法的流程示意图；

图5是所获取的待测数据集的示意图；

图6是本申请的一个实施例提供的一种图像重建装置的结构示意图；

图7是本申请的一个实施例中的计算机设备的结构示意图；

图8是本申请的另一个实施例中的计算机设备的结构示意图；

图9是本申请的一个实施例中的图像处理系统的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是用于解释说明本申请的一部分实施例，而不是全部的实施例，并不希望限制本申请的范围或权利要求书。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其它实施例，都应当属于本申请保护的范围。

需要说明的是，当元件被称为“设置在”另一个元件上，它可以直接设置在另一个元件上或者也可以存在居中的元件。当元件被称为“连接/联接”至另一个元件，它可以是直接连接/联接至另一个元件或者可能同时存在居中元件。本文所使用的术语“连接/联接”可以包括电气和/或机械物理连接/联接。本文所使用的术语“包括/包含”指特征、步骤或元件的存在，但并不排除一个或更多个其它特征、步骤或元件的存在或添加。本文所使用的术语“和/或”包括一个或多个相关所列项目的任意的和所有的组合。

除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述具体实施例的目的，而并不是旨在限制本申请。

另外，在本申请的描述中，术语“第一”、“第二”、“第三”等仅用于描述目的和区别类似的对象，两者之间并不存在先后顺序，也不能理解为指示或暗示相对重要性。此外，在本申请的描述中，除非另有说明，“多个”的含义是两个或两个以上。

图1为一个实施例中的图像重建方法的应用环境图。参照图1，该方法可以应用于计算机设备。该计算机设备包括通过网络连接的终端100和服务器200。该方法可以在终端100或服务器200中执行，例如，终端100可直接从探测设备获取目标对象的原始图像的投影数据，并在终端侧执行上述方法；或者，终端100也可在获取目标对象的原始图像后将原始图像发送至服务器200，使得服务器200获取目标对象的原始图像的投影数据并执行上述方法。终端100具体可以是台式终端(例如，台式电脑)或移动终端(例如，笔记本电脑)。服务器200可以用独立的服务器或者是多个服务器组成的服务器集群来实现。

图2为本申请的一个实施例中所利用的目标网络模型的结构示意图。参照图2，目标网络模型可以是一种深度学习模型，其主体结构可以为残差网络，并且可以通过利用大量的已测样本图像对其进行训练来确定其中的各个网络参数，从而可以利用训练后的目标网络模型对待测图像进行图像重建处理。该目标网络模型可以包括第一网络结构以及第二网络结构。第一网络结构具有按照预设算法对所输入的图像数据进行图像重建处理以得到低分辨率图像的功能，并且其所对应的网络参数可以是按照实际需求或经验数据提前设置的，并且保持固定不变。第二网络结构可以用于对第一网络结构输出的低分辨率图像进行图像重建处理，以去除低分辨率图像中的噪声，从而得到高分辨率图像，并且第二网络结构所对应的各个网络参数的初始值是随机设置的，而最终值可以通过训练来确定。

另外，第二网络结构可以包括依次连接的第一卷积层、残差模块和第二卷积层。其中，第一卷积层主要用于提取第一网络结构所输出的低分辨率图像中的浅层特性信息，该浅层特性信息也可以称为低水平特征，其通常是指图像中的一些小的细节信息，例如，边缘、角、颜色、像素、梯度等。残差模块可以用于从第一卷积层输出的浅层特性信息中提取深层特性信息，该深层特性信息也可以称为高水平特征，其可以用于识别和/或检测图像中的目标区域的形状，具有更丰富的语义信息，该残差模块可以包括多个(例如，4个)重复的子模块，每个子模块均可以包括多个(例如，3个)卷积层、归一化层(bn)以及修正线性单元(relu)，如图3所示。需要说明的是，图3中示出的卷积核大小仅为示例。第二卷积层可以用于对第一卷积层提取出的浅层特性信息和残差模块提取出的深层特性信息进行处理以得到高分辨率图像。

关于第一卷积层、残差模块和第二卷积层的详细描述，可以参照现有技术，在此不再赘叙。

在一个实施例中，本申请提供了一种图像重建方法，如图4所示。该方法具体可以包括如下步骤：

s1：利用所获取的已测样本图像对所构建的目标网络模型进行训练。

已测样本图像可以是指利用探测器采集到的各种探测对象的实际图像。目标网络模型可以包括具有固定参数的第一网络结构和含有多层卷积层的第二网络结构。

在获取多个已测样本图像之后，可以对所获取的每个已测样本图像进行拉东变换处理以获得对应的样本数据集。具体地，可以按照多个不同特定角度分别对已测样本图像进行线积分，从而可以获得已测样本图像在这些特定角度下的投影数据，每个已测样本图像在不同特定角度下对应的投影数据便构成了一个样本数据集。特定角度的具体数值可以根据实际需求或经验数据来设置，在此不限制。

在现有技术中，由于医学图像比较珍贵，所以比较难以获得较多的样本数据集，而在本申请中，可以通过对少量的已测样本图像进行拉东变换处理来获得大量的样本数据集，这提高了获得样本数据集的便利性，也使得后续对目标网络模型的训练能够顺利进行。

在获得已测样本图像的样本数据集之后，可以利用所获得的样本数据集对所构建的目标网络模型进行训练，从而确定出目标网络模型中的第二网络结构所对应的各个网络参数的最终值。该步骤具体可以包括以下子步骤：

s101：利用第一网络结构对样本数据集中的投影数据进行图像重建处理以得到第一样本重建图像。

在获得样本数据集之后，可以利用第一网络结构对样本数据集中的投影数据进行图像重建处理以得到第一样本重建图像。具体地，可以在第一网络结构中按照直接反投影法、滤波反投影法或傅里叶直接变换法等预设算法对样本数据集中的投影数据进行图像重建处理，从而获得对应的第一样本重建图像。

关于利用直接反投影法、滤波反投影法或傅里叶直接变换法等方法对投影数据进行图像重建处理的具体过程可以参照现有技术，在此不再赘叙。

s102：利用第二网络结构对第一样本重建图像进行图像重建处理以得到第二样本重建图像。

在通过第一网络结构输出第一样本重建图像之后，可以通过第二网络结构对第一样本重建图像进行图像重建处理以得到第二样本重建图像。具体地，可以利用第二网络结构中的第一卷积层提取出第一重建图像中的浅层特性信息；接着，可以利用第二网络结构中的残差模块从浅层特性信息中提取出具有更丰富语义信息的深层特性信息；最后，可以利用第二网络结构中的第二卷积层对浅层特性信息和深层特性信息进行处理以得到第二样本重建图像。

关于上述卷积层和残差模块的具体处理过程，可以参照现有技术，在此不再赘叙。

通过该步骤，可以去除第一样本重建图像中的噪声，使得可以提高所得到的第二样本重建图像的分辨率。

s103：构建第二样本重建图像与对应的已测样本图像之间的损失函数，并且通过对所构建的损失函数进行求解来确定出目标网络模型中的第二网络结构所对应的网络参数的最终值。

所构建的损失函数可以为均方误差(mse)损失函数(如下式(1)所示)、绝对误差损失函数(如下式(2)所示)或平滑损失函数(如下式(3)所示)等，其与网络参数有关。

l＝|f(x)-y|²(1)

l＝|f(x)-y|(2)

上式中，l表示损失函数，f(x)表示第二样本重建图像，y表示已测样本图像。虽然上式中没有示出，但损失函数l与目标网络模型中的网络参数有关，而关于二者之间的具体关系，可以参照现有技术，在此也不再赘叙。

可以利用向前传播算法计算损失函数，反向传播根据损失函数计算得到的误差，并利用梯度下降法更新网络参数，反复迭代一定次数，最终将损失函数取得最优解时所对应的相关参数的数值确定为目标网络模型中的第二网络结构所对应的网络参数的最终值。关于具体求解过程，可以参照现有技术，在此不再赘叙。

s2：利用训练后的目标网络模型中的第一网络结构对所获取的待测数据集进行图像重建处理以得到第一重建图像。

该待测数据集可以包括探测器在多个不同投影角度下采集到的目标对象的投影数据，如图5中的f(x,y)所示。其中，x和y表示横、纵坐标；θ表示投影角度，其可以根据实际需求来设置，例如，可以为3度或6度等。该投影数据可以包括ct图像数据、pet图像数据或pet/ct图像数据等，但不限于此。训练中采用的样本数据集与该待测数据集相匹配，包括二者的内容、类型和/或投影角度等相匹配，例如，二者都是通过对病人肺部的ct图像进行投影而得到的数据集。目标对象可以是指需要被探测的生物体，例如，病人或宠物等。

在获取探测设备输出的待测数据集之后，可以通过训练后的目标网络模型中的第一网络结构对所获取的待测数据集进行处理以得到第一重建图像。具体地，可以在第一网络结构中按照预设算法(例如，直接反投影法或滤波反投影法等，但不限于这些方法)对待测数据集中的投影数据进行图像重建处理以得到第一重建图像。

当预设算法为直接反投影法时，主要是通过将待测数据集中的投影数据按照不同投影角度依次反投影来得到第一重建图像。

当预设算法为滤波反投影法时，主要是在每个投影角度对待测数据集中的对投影数据进行傅里叶变换，然后将傅里叶变换后的投影数据乘以权重因子并且进行傅里叶逆变换，最后再对傅里叶逆变换后所得到的投影数据进行直接反投影计算，从而得到第一重建图像。

s3：利用目标网络模型中的第二网络结构对第一重建图像进行去噪处理以得到第二重建图像。

在第一网络结构输出第一重建图像之后，可以利用第二网络结构对第一重建图像进行去噪处理，以获得具有高分辨率的第二重建图像。具体地，可以利用第二网络结构中的第一卷积层提取出第一重建图像中的浅层特性信息；利用第二网络结构中的残差模块从所提取的浅层特性信息中提取出深层特性信息；以及利用第二网络结构中的第二卷积层对浅层特性信息和深层特性信息进行处理以得到第二重建图像。

由于第二网络结构所对应的网络参数是通过将样本重建图像与真实图像进行对比来确定的，所以通过利用训练后的第二网络结构来处理第一重建图像，可以去除第一重建图像中的噪声，从而可以提高所得到的第二重建图像的分辨率。

通过上述描述可以看出，本申请实施例通过利用目标网络模型中的第一网络结构来对投影数据集进行图像重建处理，从而获得低分辨率的第一重建图像，然后利用目标网络模型中的第二网络结构对第一重建图像进行去噪处理，从而获得高分辨率的第二重建图像，这可以提高重建图像的质量。而且，通过利用目标网络模型对投影数据集进行图像重建处理，可以提高数据处理速度。经相关实验数据表明，利用本申请实施例提供的技术方案，每张图像重建时间小于1s。

如图6所示，本申请实施例还提供了一种图像重建装置，该装置可以包括：

训练单元610，其可以被配置为利用所获取的已测样本图像对所构建的目标网络模型进行训练，其中，该目标网络模型包括具有固定网络参数的第一网络结构以及含有多层卷积层的第二网络结构；

图像重建单元620，其可以被配置为利用训练后的第一网络结构按照预设算法对所获取的待测数据集进行图像重建处理以得到第一重建图像，该待测数据集包括在多个不同投影角度下采集到的目标对象的投影数据；

去噪单元630，其可以被配置为利用训练后的第二网络结构对第一重建图像进行去噪处理以得到第二重建图像。

在一个实施例中，训练单元610具体可以被配置为：对所获取的已测样本图像进行拉东变换处理以获得对应的样本数据集，并且利用所获得的样本数据集对所构建的目标网络模型进行训练。

关于上述单元的具体描述，可以参照上面方法实施例中对步骤s1-s3的描述，在此不再赘叙。

上述装置通过利用训练单元、图像重建单元和去噪单元来对待测数据集进行图像重建处理，可以提高重建图像的质量，并且也可以提高数据处理速度。

图7示出了一个实施例中的计算机设备的结构示意图。该计算机设备具体可以是图1中的终端100。如图7所示，该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、输入装置和显示器。其中，存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作系统，还可存储有计算机程序，在该计算机程序被处理器执行时，可使得处理器执行上述实施例中描述的图像重建方法。该内存储器中也可储存有计算机程序，该计算机程序被处理器执行时，执行上述实施例中描述的图像重建方法。

图8示出了另一个实施例中的计算机设备的结构示意图。该计算机设备具体可以是图1中的服务器200。如图8所示，该计算机设备包括通过系统总线连接的处理器、存储器以及网络接口。其中，存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作系统，还可存储有计算机程序，该计算机程序被处理器执行时，可使得处理器执行上述实施例中描述的图像重建方法。该内存储器中也可储存有计算机程序，该计算机程序被处理器执行时，执行上述实施例中描述的图像重建方法。

本领域技术人员可以理解，图7和图8中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件配置。

在一个实施例中，如图9所示，本申请还提供了一种图像处理系统，该图像处理系统可以包括图7或图8中的计算机设备以及与其连接的探测设备，该探测设备可以用于通过对目标对象进行扫描而获得投影数据并且将所获得的投影数据提供给计算机设备。该探测设备可以是能够探测放射性射线的任意设备，例如，可以包括ct扫描仪、pet探测器或pet/ct设备等，但不限于此。

在一个实施例中，本申请还提供了一种计算机可读存储介质，该计算机可读存储介质种存储有计算机程序，该计算机程序被执行时能够实现上述方法实施例中描述对应的功能。该计算机程序还可在如图7或图8所示的计算机设备上运行。该计算机设备的存储器包含组成该装置的各个程序模块，各个程序模块构成的计算机程序被执行时能够实现与上述实施例中描述的图像重建方法中的各个步骤所对应的功能。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储介质、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。

上述实施例阐明的系统、设备、装置、单元等，具体可以由半导体芯片、计算机芯片和/或实体实现，或者由具有某种功能的产品来实现。为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本申请时可以把各单元的功能在同一个或多个芯片中实现。

虽然本申请提供了如上述实施例或流程图所述的方法操作步骤，但基于常规或者无需创造性的劳动在所述方法中可以包括更多或者更少的操作步骤。在逻辑性上不存在必要因果关系的步骤中，这些步骤的执行顺序不限于本申请实施例提供的执行顺序。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其它实施例的不同之处。另外，以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

上述实施例是为便于该技术领域的普通技术人员能够理解和使用本申请而描述的。熟悉本领域技术的人员显然可以容易地对这些实施例做出各种修改，并把在此说明的一般原理应用到其它实施例中而不必经过创造性的劳动。因此，本申请不限于上述实施例，本领域技术人员根据本申请的揭示，不脱离本申请范畴所做出的改进和修改都应该在本申请的保护范围之内。