图像重建方法、装置、设备、系统及计算机可读存储介质与流程

本申请涉及图像处理技术领域，特别涉及一种图像重建方法、装置、设备、系统及计算机可读存储介质。

背景技术：

随着科技的日益发展，高分辨率图像具有十分广泛的应用价值。例如，在医学图像处理领域，高分辨率图像有助于医生更精确地判断病变区域，从而更高效地治疗患者；在安检领域，高分辨率图像能够帮助安检人员更清晰的看出行李中是否含有疑似违规物品，从而保障旅客安全；在消费电子领域，高分辨率图像能够增强主观视觉体验，从而提高用户体验。因此，如何获得高分辨率图像显得十分重要。

目前，主要从硬件和软件算法这两方面来提高图像分辨率。然而，从硬件上提高图像分辨率需要较高的成本及技术支持。在软件算法方面，大多数通过使用插值方法重建图像来提高图像分辨率。目前，比较典型的插值方法主要包括最邻近插值法、双线性插值法和双三次插值法这三种方法。最邻近插值法主要是假设待插值位置对应的像素值为离这点最近的已知像素值。此方法比较简单，但其很容易产生锯齿边缘，图像模糊的伪影。双线性插值法主要利用待插值位置周围4个邻近点的像素值来选定待插值位置的像素值，该方法不会引入过多的模糊伪影，但是在边缘细节处理上丢失了细节信息值，从而使得所得到的图像分辨率不是很高。双三次插值法利用待插值位置周围4*4＝16个邻近点的像素值来选定待插值位置的像素值，该方法有效改善了最近邻插值法出现的锯齿现象，并且对于边缘细节进行了有效保留，然而计算量比较大，数据处理速度比较慢。

在利用上述插值方法重建图像时，由于只是简单的进行插值操作，而并没有考虑其结果特征，所以所得到的重建图像在视觉上会给人平滑模糊的感觉，所得到的图像分辨率也不是很高。

技术实现要素：

本申请实施例的目的是提供一种图像重建方法、装置、设备、系统及计算机可读存储介质，以解决现有技术中存在的至少一种问题。

为了解决上述技术问题，本申请实施例提供了一种基于目标重建模型的图像重建方法，所述目标重建模型包括第一卷积层、残差网络模块、稠密连接网络模块和第二卷积层，所述图像重建方法包括：

调用所述第一卷积层提取所获取的待重建图像中的浅层特征；；

调用所述残差网络模块从所述浅层特征中获得中间层特征；

调用所述稠密连接网络模块从所述中间层特征中获得深层特征；

调用所述第二卷积层对所述深层特征进行图像重建以获得所述待重建图像的重建图像。

可选地，在从所获取的所述待重建图像中提取所述浅层特征之前，所述图像重建方法还包括：

获取作为训练数据的多个不同的样本图像组，每个所述样本图像组均包括一高分辨率图像以及通过对所述高分辨率图像进行处理而得到的低分辨率图像；

利用所获取的所述样本图像组对所构建的深度学习模型进行训练，并且将训练效果达到最优时的所述深度学习模型确定为所述目标重建模型。

可选地，所述低分辨率图像是通过利用图像缩放算法对所述高分辨率图像进行处理而得到的，所述图像缩放算法包括双三次插值法或双线性插值法。

可选地，在从所获取的待重建图像中提取所述浅层特征之前，所述图像重建方法还包括：

从外部装置获取预先训练的所述目标重建模型。

可选地，所述残差神经网络模块包括多个残差单元，相应地，调用所述残差神经网络模块从所述浅层特征中获得中间层特征的步骤包括：

利用多个所述残差单元从接收到的所述浅层特征中获得第二特征向量，并且将所获得的所述第二特征向量和所述浅层特征相加以得到中间层特征。

可选地，所述稠密连接网络模块包括多个稠密块，相应地，调用所述稠密连接网络模块从所述中间层特征中获得深层特征的步骤包括：

利用多个所述稠密块从接收到的所述中间层特征中获得第三特征向量，并且将所获得的所述第二特征向量和所述中间层特征相加以得到深层特征。

可选地，在调用所述第二卷积层对所述深层特征进行图像重建处理之前，所述图像重建方法还包括：

调用所述目标重建模型中的子像素卷积层对所述稠密连接网络模块输出的所述深层特征进行上采样处理，并且将上采样处理后的深层特征发送给所述第二卷积层。

可选地，所述待重建图像包括生物体内的目标部位或器官的ct图像、mri图像、pet图像或pet/ct图像。

本申请实施例还提供了一种图像重建装置，所述图像重建装置上设置有经过训练的目标重建模型，所述目标重建模型包括第一卷积层、残差网络模块、稠密连接网络模块和第二卷积层，所述图像重建装置包括：

提取单元，其被配置为调用所述第一卷积层提取所获取的待重建图像中的浅层特征；

第一获得单元，其被配置为调用所述残差网络模块从所述浅层特征中获得中间层特征；

第二获得单元，其被配置为调用所述稠密连接网络模块从所述中间层特征中获得深层特征；

图像重建单元，其被配置为调用所述第二卷积层对所述深层特征进行图像重建以获得所述待重建图像的重建图像。

本申请实施例提供了一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，在所述计算机程序被所述处理器执行时，所述处理器执行上述图像重建方法。

本申请实施例提供了一种图像处理系统，所述图像处理系统包括上述计算机设备以及探测设备，其中，所述探测设备被配置为通过对目标对象进行辐射探测而获得待重建图像并且将所获得的所述待重建图像提供给所述计算机设备。

可选地，所述探测设备包括ct扫描仪、mri扫描仪、pet探测器或pet/ct设备。

本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被执行时能够实现上述图像重建方法。

由以上本申请实施例提供的技术方案可见，本申请实施例通过依次调用目标重建模型中的卷积模块、残差网络模块和稠密连接网络模块对待重建图像进行处理，从而获得具有超分辨率的重建图像，这可以提高重建图像的质量。而且，通过利用目标重建模型对待重建图像进行图像重建处理，可以提高数据处理速度。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本申请的一个实施例中的图像重建方法的应用环境图；

图2是本申请的一个实施例中所利用的目标重建模型的结构示意图；

图3是目标重建模型中的残差网络模块的结构示意图；

图4是目标重建模型中的稠密连接网络模块的结构示意图；

图5是本申请的一个实施例提供的图像重建方法的流程示意图；

图6是本申请的另一个实施例提供的图像重建方法的流程示意图；

图7是本申请的一个实施例提供的一种图像重建装置的结构示意图；

图8是本申请的一个实施例中的计算机设备的结构示意图；

图9是本申请的另一个实施例中的计算机设备的结构示意图；

图10是本申请的一个实施例中的图像处理系统的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是用于解释说明本申请的一部分实施例，而不是全部的实施例，并不希望限制本申请的范围或权利要求书。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其它实施例，都应当属于本申请保护的范围。

需要说明的是，当元件被称为“设置在”另一个元件上，它可以直接设置在另一个元件上或者也可以存在居中的元件。当元件被称为“连接/联接”至另一个元件，它可以是直接连接/联接至另一个元件或者可能同时存在居中元件。本文所使用的术语“连接/联接”可以包括电气和/或机械物理连接/联接。本文所使用的术语“包括/包含”指特征、步骤或元件的存在，但并不排除一个或更多个其它特征、步骤或元件的存在或添加。本文所使用的术语“和/或”包括一个或多个相关所列项目的任意的和所有的组合。

除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述具体实施例的目的，而并不是旨在限制本申请。

另外，在本申请的描述中，术语“第一”、“第二”、“第三”等仅用于描述目的和区别类似的对象，两者之间并不存在先后顺序，也不能理解为指示或暗示相对重要性。此外，在本申请的描述中，除非另有说明，“多个”的含义是两个或两个以上。

图1为一个实施例中的图像重建方法的应用环境图。参照图1，该方法可以应用于计算机设备。该计算机设备包括通过网络连接的终端100和服务器200。该方法可以在终端100或服务器200中执行，例如，终端100可直接从探测设备获取目标对象的原始图像，并在终端侧执行上述方法；或者，终端100也可在获取目标对象的原始图像后将原始图像发送至服务器200，使得服务器200获取目标对象的原始图像并执行上述方法。终端100具体可以是台式终端(例如，台式电脑)或移动终端(例如，笔记本电脑)。服务器200可以用独立的服务器或者是多个服务器组成的服务器集群来实现。

图2为本申请的一个实施例中所利用的目标重建模型的结构示意图。参照图2，目标重建模型可以是一种深度卷积神经网络模型，其中的各个网络参数可以通过利用大量的训练数据进行训练来确定。该目标重建模型可以包括第一卷积层、残差网络模块、稠密连接网络模块和第二卷积层。其中，第一卷积层可以用于按照预设卷积核从所接收的低分辨率图像中提取多组第一特征向量以作为浅层特征并且将所提取的浅层特征直接发送给残差网络模块，所提取的浅层特征通常包含一些小的细节信息，例如，所输入图像的边缘、角、颜色、像素、梯度等；残差网络模块可以用于从卷积模块发送的浅层特征中获得中间层特征，并且将所获得的中间层特征发送给稠密连接模块，所获得的中间层特征包含有部分浅层特征以及部分具有一定语义信息的特征，该特征初步显现了所输入图像的部分形状等；稠密连接网络模块可以用于从残差网络模块发送的中间层特征中获得深层特征，这些深层特征可以用于识别和/或检测图像中的目标区域的形状、纹理等，具有更丰富的语义信息。

残差网络模块可以是增强型深度残差网络(edsr)或扩宽型深度残差网络(wdsr)等神经网络结构，但不限于此。该残差网络模块可以包括多个(例如，4个)残差单元，并且每个残差单元均可以包括多个(例如，3个)卷积层及修正线性单元(relu)，如图3所示。

稠密连接网络模块可以为稠密连接型卷积神经网络，其可以包括多个(例如，n个，n为大于1的正整数)稠密块，如图4所示，每个稠密块均可以包括一层或多层卷积层、relu、连接层和过渡层，并且在每个稠密块中任何两个网络层之间都有直接的连接。也就是说，在稠密块中，每一网络层的输入都是其前面所有网络层输出的并集，而该网络层输出的特征向量也会被直接传输给其后面所有的网络层，从而实现对特征向量的复用，这里的网络层是指卷积层、relu、连接层、以及过渡层等。

第二卷积层可以用于对稠密连接网络输出的深层特征进行图像重建处理。

另外，该目标重建模型还可以包括设置在稠密连接网络模块和第二卷积层之间的子像素卷积层，其可以用于对稠密连接网络模块输出的深层特征进行上采样处理以放大深层特征的尺寸，从而可以提高后续图像重建效果。

在一个实施例中，本申请提供了一种图像重建方法，如图5所示。该方法具体可以包括如下步骤：

s1：获得目标重建模型。

目标重建模型可以是指一种深度卷积神经网络模型，其可以包括第一卷积层、残差网络模块、稠密连接网络模块和第二卷积层。关于该目标重建模型的详细描述，可以参照上面图2-4中的详细描述。

该步骤具体可以包括从外部装置(例如，专门用于训练图像重建模型的装置)获取预先训练的目标重建模型，或者通过利用训练数据对本地构建的深度学习模型进行训练来获得目标重建模型。

上述第二种获得目标重建模型的方式具体可以包括：

(1)获取多个不同的样本图像组以作为训练数据。

不同的样本图像组可以是指每个样本图像组中所含图像的分辨率不同，也可以是指所含图像的内容不同，例如，第一样本图像可以是人体胸部ct图像，而第二样本图像可以是人体头部ct图像。

可以从已经经过处理的样本图像库中获取大量(例如，1000个以上)不同的样本图像组，每个样本图像组均可以包括一高分辨率图像以及通过对该高分辨率图像进行处理而得到的低分辨率图像。例如，可以利用双三次插值法或双线性插值法等图像缩放算法对高分辨率图像进行下采样处理来得到低分辨率图像。

这里的高分辨率图像可以是指经过各种滤波处理的图像，其分辨率一般可以达到1000x2000左右或更高；低分辨率图像一般是指含有噪声和/或伪影的图像，其分辨率可以是高分辨图像的分辨率的1/3、1/4、1/8或更低。

(2)利用所获取的样本图像组对所构建的深度学习模型进行训练，并且将训练效果达到最优时的深度学习模型确定为目标重建模型。

在获取作为训练数据的样本图像组之后，可以利用样本图像组中的样本图像对所构建的深度学习模型进行训练，并且将训练效果达到最优时的网络参数确定为深度学习模型的最终参数，并且将确定网络参数的深度学习模型确定为目标重建模型。这里的训练效果达到最优可以是指所输出的重建图像与原高分辨率图像相似度最高。

关于具体训练过程，可以参照现有技术中的相关描述，在此不再赘叙。

在接收到待重建图像之后，可以利用训练后的目标重建模型对该待重建图像进行图像重建处理，以获得超分辨率图像。

s2：调用所获得的目标重建模型中的第一卷积层从所获取的待重建图像中提取浅层特征。

待重建图像可以是指需要进行图像重建的低分辨率图像，其可以包括生物体(例如，人或宠物)内的目标部位或器官的ct图像、mri图像、pet图像或pet/ct图像，例如，人体胸部ct图像，也可以是指安检物品的ct图像等，但不限于此。

可以调用目标重建模型中的第一卷积层从待重建图像中提取多组第一特征向量以作为浅层特征，并且将所提取的浅层特征传输给残差网络模块。例如，第一卷积层可以按照其内部预设的大小为3x3的卷积核从待重建图像中提取包括128组第一特征向量的浅层特征，并且将该浅层特征在不经过任何处理的情况下直接传输给残差网络模块。

s3：调用目标重建模型中的残差网络模块从浅层特征中获得中间层特征。

在卷积模块输出浅层特征之后，可以调用残差网络模块从卷积模块输出的浅层特征中获得中间层特征。具体地，可以调用残差网络模块中的多个残差单元从第一卷积层输出的浅层特征中获得多组第二特征向量，并且将所得到的多组第二特征向量与浅层特征相加以获得中间层特征，最后将所得到的中间层特征通过第一传递层传递给稠密连接模块。

s4：调用目标重建模型中的稠密连接网络模块从中间层特征中获得深层特征。

在残差网络模块输出中间层特征之后，可以调用稠密连接网络模块从中间层特征中获得深层特征。具体地，可以调用稠密连接网络模块中的多个稠密块从中间层特征中获得多组第三特征向量，并且将所得到的多组第三特征向量与中间层特征相加以获得深层特征，并且将所得到的深层特征通过第二传递层传递给第二卷积层。

关于稠密块如何获得第三特征向量的具体过程可以参照现有技术中的描述，在此不再赘叙。

通过调用稠密连接网络模块对中间层特征进行处理，可以实现对特征向量的复用，保留了图像中所有的特征信息，从而可以提高后续重建图像的可信度。

s5：调用目标重建模型中的第二卷积层对深层特征进行图像重建以获得待重建图像的重建图像。

在稠密连接网络模块输出深层特征后，可以调用第二卷积层对深层特征进行图像重建以获得待重建图像的重建图像，所获得的重建图像可以视为超分辨率图像。关于卷积层如何对深层特征进行图像重建的具体过程，可以参照现有技术中的相关描述，在此不再赘叙。

在本申请的另一实施例中，如图6所示，在获得深层特征之后，该图像重建方法还可以包括：

s45：调用目标重建模型中的子像素卷积层对稠密连接网络模块输出的深层特征进行上采样处理，并且将上采样处理后的深层特征发送给第二卷积层。

在稠密连接网络模块输出深层特征之后，可以调用子像素卷积层对该深层特征进行上采样处理以放大深层特征的尺寸，然后将放大尺寸的深层特征发送给第二卷积层。

通过调用子像素卷积层来放大深层特征的尺寸，可以提高后续重建图像的分辨率。

通过上述描述可以看出，本申请实施例通过依次利用目标重建模型中的第一卷积层、网络残差模块、稠密连接模块以及第二卷积层对待重建图像进行图像重建处理，从而获得超分辨率的重建图像，这提高了重建图像的分辨率，并且可以提高用户体验。而且，通过利用目标重建模型对待重建图像进行图像重建处理，可以提高数据处理速度。另外，由于待重建图像可以是患者的ct图像或pet图像等，因此，通过利用本申请实施例提供的技术方案来获得超分辨率的重建图像，这可以有效地辅助医生对患者进行诊断。

如图7所示，本申请的一个实施例还提供了一种图像重建装置，其上设置有经过训练的目标重建模型，该目标重建模型包括第一卷积层、残差网络模块、稠密连接网络模块和第二卷积层，该图像重建装置该装置可以包括：

提取单元710，其可以被配置为调用第一卷积层提取所获取的待重建图像中的浅层特征；

第一获得单元720，其可以被配置为调用残差网络模块从浅层特征中获得中间层特征；

第二获得单元730，其可以被配置为调用稠密连接网络模块从中间层特征中获得深层特征；以及

图像重建单元740，其可以被配置为调用第二卷积层对深层特征进行图像重建以获得待重建图像的重建图像。

在另一个实施例中，该图像重建装置还可以包括上采样处理单元(图中未示出)，其可以被配置为调用目标重建模型中的子像素卷积层对稠密连接网络模块输出的深层特征进行上采样处理。

关于上述单元的具体描述，可以参照上面方法实施例中对步骤s1-s5的描述，在此不再赘叙。

上述装置通过利用调用单元来对待重建图像进行图像重建处理，可以提高重建图像的分辨率，并且也可以提高数据处理速度。

图8示出了一个实施例中的计算机设备的结构示意图。该计算机设备具体可以是图1中的终端100。如图8所示，该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、输入装置和显示器。其中，存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作系统，还可存储有计算机程序，在该计算机程序被处理器执行时，可使得处理器执行上述实施例中描述的图像重建方法。该内存储器中也可储存有计算机程序，该计算机程序被处理器执行时，执行上述实施例中描述的图像重建方法。

图9示出了另一个实施例中的计算机设备的结构示意图。该计算机设备具体可以是图1中的服务器200。如图9所示，该计算机设备包括通过系统总线连接的处理器、存储器以及网络接口。其中，存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作系统，还可存储有计算机程序，该计算机程序被处理器执行时，可使得处理器执行上述实施例中描述的图像重建方法。该内存储器中也可储存有计算机程序，该计算机程序被处理器执行时，执行上述实施例中描述的图像重建方法。

本领域技术人员可以理解，图8和图9中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件配置。

在一个实施例中，如图10所示，本申请还提供了一种图像处理系统，该图像处理系统可以包括图8或图9中的计算机设备以及与其连接的探测设备，该探测设备可以用于通过对目标对象(例如，人、宠物或安检物品等)进行辐射探测而获得待重建图像并且将所获得的重建图像提供给计算机设备。该探测设备可以是能够探测放射性射线的任意设备，例如，可以包括ct扫描仪、mri扫描仪、pet探测器或pet/ct设备等，但不限于此。

在一个实施例中，本申请还提供了一种计算机可读存储介质，该计算机可读存储介质种存储有计算机程序，该计算机程序被执行时能够实现上述方法实施例中描述对应的功能。该计算机程序还可在如图8或图9所示的计算机设备上运行。该计算机设备的存储器包含组成该装置的各个程序模块，各个程序模块构成的计算机程序被执行时能够实现与上述实施例中描述的图像重建方法中的各个步骤所对应的功能。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储介质、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。

上述实施例阐明的系统、设备、装置、单元等，具体可以由半导体芯片、计算机芯片和/或实体实现，或者由具有某种功能的产品来实现。为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本申请时可以把各单元的功能在同一个或多个芯片中实现。

虽然本申请提供了如上述实施例或流程图所述的方法操作步骤，但基于常规或者无需创造性的劳动在所述方法中可以包括更多或者更少的操作步骤。在逻辑性上不存在必要因果关系的步骤中，这些步骤的执行顺序不限于本申请实施例提供的执行顺序。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其它实施例的不同之处。另外，以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

上述实施例是为便于该技术领域的普通技术人员能够理解和使用本申请而描述的。熟悉本领域技术的人员显然可以容易地对这些实施例做出各种修改，并把在此说明的一般原理应用到其它实施例中而不必经过创造性的劳动。因此，本申请不限于上述实施例，本领域技术人员根据本申请的揭示，不脱离本申请范畴所做出的改进和修改都应该在本申请的保护范围之内。