一种基于双重网络的图像超分辨率重建方法及系统与流程

本申请涉及图像处理技术领域，特别是涉及一种基于双重网络的图像超分辨率重建方法及系统。

背景技术：

在图像处理技术领域，进行图像超分辨率重建，是提高图像和视频分辨率的一种重要图像处理技术。根据不同的处理对象，图像超分辨率重建技术中的分辨率通常包括三类：多幅图像超分辨率、视频序列超分辨率和单幅图像超分辨率。其中，单幅图像超分辨率的重建方法是针对单幅图像进行分辨率的处理。如何对单幅图像进行超分辨率重建，从而将低分辨率图像转换为分辨率更高、信息更丰富的高分辨率图像，是个重要的技术问题。

目前，单幅图像超分辨率的重建方法主要是基于卷积神经网络的深度学习方法，又称srcnn(super-resolutionconvolutionalneuralnetwork，超分辨率卷积神经网络算法)方法。具体地，首先对低分辨率(lr)图像进行一次预处理，通过双三次插值的方法将低分辨率(lr)图像放大至与目标图像相同分辨率尺寸，最后将此过程图像作为模型的输入，通过网络模型实现特征提取(patchextractionandrepresentation)、非线性映射(non-linearmapping)等操作，从而获得指定放大倍数的高分辨率(hr)目标图像。srcnn模型网络结构示意图可以参见图1。

目前的srcnn图像超分辨率重建方法中，对低分辨率图像的预处理过程中需要对低分辨率图像进行双三次插值，得到放大后的图像i'，然后以i'作为初始值，增加了整个重建过程的运算量，从而导致降低运算效率。而且由于srcnn方法采用了简单的卷积层，存在感受视野小的问题，在提高图像超分辨率的细节上，所能提供的特征局限较大，会导致超分重建后的精度不够高的问题。

技术实现要素：

本申请提供了一种基于双重网络的图像超分辨率重建方法及系统，以解决现有技术中图像超分辨率重建的运算效率较低、图像超分辨率重建后结果精度不够高的问题。

为了解决上述技术问题，本申请实施例公开了如下技术方案：

一种基于双重网络的图像超分辨率重建方法，所述方法包括：

对原始图像数据i进行上层网络训练，获取图像特征的整体信息r1，所述上层网络为卷积神经网络，且上层网络包括：第一卷积层和第二卷积层；

对原始图像数据i进行下层网络训练，获取图像特征的高频信息r2，所述下层网络为卷积神经网络，且下层网络包括：带组归一化卷积层和残差网络，所述下层网络中最后一层的输出通道数与上层网络的输出通道数相同；

对所述整体信息r1和高频信息r2进行加权平均，将所述高频信息r2添加至整体信息r1中，计算得出第一超分辨率重建图像，所述第一超分辨率重建图像为改进后的整体特征图像；

对所述第一超分辨率重建图像进行亚像素卷积操作，将其转换为第二超分辨率重建图像，所述第二超分辨率重建图像为最终的超分辨率重建图像。

可选地，所述第一卷积层采用64个卷积核，每个卷积核的大小为5*5，所述第二卷积层采用32个卷积核，每个卷积核的大小为3*3。

可选地，所述带组归一化卷积层中包括：128个卷积核和归一化层gn，所述归一化层gn的通道数为128，组数为4，所采用的激活函数为tanh(x)函数，

所述残差网络包括：第一残差网络层和第二残差网络层，任一残差网络层中包括第一残差块和第二残差块，所述第一残差网络层的输入通道数为128，输出通道数为64，残差块数量为2，所述第二残差网络层的输入通道数为64，输出通道数为32，残差块数量为2，且所述残差网络中使用的激活函数为relu(x)函数，relu(x)＝max(0，x)。

可选地，亚像素卷积操作中的亚像素卷积层采用n个卷积核，且每个卷积核大小为3*3，其中，n的计算公式为：n＝原始图像数据通道数*放大倍数2。

可选地，对所述整体信息r1和高频信息r2进行加权平均，将所述高频信息r2添加至整体信息r1中，计算得出第一超分辨率重建图像的方法，具体为：

利用公式r'＝0.8×r1+0.2×r2，对所述整体信息r1和高频信息r2进行加权平均，其中，r'为超分辨率重建图像。

可选地，所述对原始图像数据i进行下层网络训练，获取图像特征的高频信息r2，包括：

对原始图像数据i进行卷积操作，获取残差网络的输入数据x；

根据所述输入数据x，进行残差网络处理，获取图像特征的高频信息r2。

可选地，所述根据所述输入数据x，进行残差网络处理，获取图像特征的高频信息r2，包括：

在第一残差块中，输入数据x分别通过第一残差块中的第一卷积层和第二卷积层，利用激活函数relu获取降维后的第一特征图像；

对输入数据x进行1*1的卷积降维，获取第二特征图像；

对所述第一特征图像和第二特征图像进行单位加操作；

利用relu函数对单位加操作结果进行激活，获取第二残差块的输入数据；

对第二残差块的输入数据分别通过第一卷积层和第二卷积层，利用激活函数relu获取降维后的第三特征图像，直到利用relu函数对单位加操作结果进行激活，获取图像特征的高频信息r2。

一种基于双重网络的图像超分辨率重建系统，所述系统包括：

图像整体信息获取模块，用于对原始图像数据i进行上层网络训练，获取图像特征的整体信息r1，所述上层网络为卷积神经网络，且上层网络包括：第一卷积层和第二卷积层；

图像高频信息获取模块，用于对原始图像数据i进行下层网络训练，获取图像特征的高频信息r2，所述下层网络为卷积神经网络，且下层网络包括：带组归一化卷积层和残差网络，所述下层网络中最后一层的输出通道数与上层网络的输出通道数相同；

加权平均计算模块，用于对所述整体信息r1和高频信息r2进行加权平均，将所述高频信息r2添加至整体信息r1中，计算得出第一超分辨率重建图像，所述第一超分辨率重建图像为改进后的整体特征图像；

转换模块，用于对所述第一超分辨率重建图像进行亚像素卷积操作，将其转换为第二超分辨率重建图像，所述第二超分辨率重建图像为最终的超分辨率重建图像。

可选地，所述带组归一化卷积层中包括：128个卷积核和归一化层gn，所述归一化层gn的通道数为128，组数为4，所采用的激活函数为tanh(x)函数，

所述残差网络包括：第一残差网络层和第二残差网络层，任一残差网络层中包括第一残差块和第二残差块，所述第一残差网络层的输入通道数为128，输出通道数为64，残差块数量为2，所述第二残差网络层的输入通道数为64，输出通道数为32，残差块数量为2，且所述残差网络中使用的激活函数为relu(x)函数，relu(x)＝max(0，x)。

可选地，所述图像高频信息获取模块包括：

卷积操作单元，用于对原始图像数据i进行卷积操作，获取残差网络的输入数据x；

残差处理单元，用于根据所述输入数据x，进行残差网络处理，获取图像特征的高频信息r2。

本申请的实施例提供的技术方案可以包括以下有益效果：

本申请提供一种基于双重网络的图像超分辨率重建方法，该方法分别对原始图像数据进行上层网络训练，获取图像特征的整体信息，对原始图像数据进行下层网络训练，获取图像特征的高频信息，然后对整体信息和高频信息进行加权平均，将高频信息添加至整体信息中，计算得出第一超分辨率重建图像，最后利用亚像素卷积层将第一超分辨率重建图像转换为第二超分辨率重建图像。本实施例中通过在原有的espcn算法中增加下层网络，对原始低分辨率图像数据实现双重网络训练，在原有整体信息的基础上增加高频信息，也就是细节信息，再对整体信息和高频信息进行加权平均，就能够将更多的高频信息添加至整体信息中，有利于提高图像超分辨率的精度。本实施例中并不需要对原始图像进行多次插值，能够避免对原始图像进行尺寸增大，因此不会增加重建过程中的运算量，有利于提高运算效率。本实施例的带组归一化卷积层中卷积核数量由64个增加至128个，从而得多更多的细节信息，有利于进一步提高图像超分辨率精度。通过添加归一化层gn，使得下一层输入数据的均值能够与方差固定在一定范围内，有利于尽快找到最优解，从而提高运算效率。

本申请还提供一种基于双重网络的图像超分辨率重建系统，该系统主要包括：图像整体信息获取模块、图像高频信息获取模块、加权平均计算模块和转换模块。通过设置图像高频信息获取模块，对原始图像数据进行下层网络训练，能够获取图像特征的高频信息，也就是获取到细节信息，再利用加权平均模块对整体信息和高频信息进行加权，将高频信息添加至整体信息中，从而获取到比原始图像数据精度更高的第一超分辨率重建图像，最后通过转换模块，利用亚像素卷积层将第一超分辨率重建图像转换为第二超分辨率重建图像，该系统并不需要对原始图像进行多次插值，能够避免对原始图像进行尺寸增大，因此不会增加重建过程中的运算量，有利于提高运算效率。该系统通过设置高频信息获取模块，能够有效提高图像的精度。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为背景技术中的srcnn模型网络结构示意图；

图2为本申请实施例所提供的一种基于双重网络的图像超分辨率重建方法的流程示意图；

图3为现有的espcn模型网络结构示意图；

图4为本申请实施例中的espcn模型网络结构示意图；

图5为一个残差网络层的结构示意图；

图6为本申请实施例所提供的一种基于双重网络的图像超分辨率重建系统的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

为了更好地理解本申请，下面结合附图来详细解释本申请的实施方式。

实施例一

参见图2，图2为本申请实施例所提供的一种基于双重网络的图像超分辨率重建方法的流程示意图。由图2可知，本实施例中基于双重网络的图像超分辨率重建方法，主要包括如下过程：

s1：对原始图像数据i进行上层网络训练，获取图像特征的整体信息r1。

本实施例中上层网络为卷积神经网络，且上层网络包括：第一卷积层和第二卷积层。两个卷积层的卷积核数量都是2的多次方关系。本实施例中，根据实际情况，第一卷积层可以采用64个卷积核，每个卷积核的大小为5*5，第二卷积层可以采用32个卷积核，每个卷积核的大小为3*3。激活函数采用tanh()函数，其函数形式为：

本实施例中上层网络采用现有的espcn模型网络，espcn模型网络结构示意图可以参见图3所示。

s2：对原始图像数据i进行下层网络训练，获取图像特征的高频信息r2。

本实施例中下层网络也为卷积神经网络，且下层网络包括：带组归一化卷积层和残差网络，下层网络中最后一层的输出通道数与上层网络的输出通道数相同。高频信息即为细节信息。本实施例中改进后的espcn模型网络结构示意图可以参见图4所示，由图4可知，本实施例中的espcn模型网络结构增加了下层网络，对原始图像数据进行下层网络训练，能够获取到图像特征的高频信息。

本实施例中的下层网络结构主要由带组归一化卷积层和残差网络组成，在原卷积层后加上归一化层gn层，并对原始图像数据进行下层网络训练，能够让后续的残差网络获取到更多的特征信息，有利于提高超分辨率重建数据的精度。

在卷积神经网络中，归一化层具有防止梯度爆炸和梯度消失的作用，在实际应用中，可根据批处理样本数量n的大小，选择合适的归一化类型。本实施例中选用归一化层gn层。

其中，带组归一化卷积层中包括：128个卷积核和归一化层gn，归一化层gn的通道数为128，组数为4，所采用的激活函数为tanh(x)函数，残差网络包括：第一残差网络层和第二残差网络层，第一残差网络层的输入通道数为128，输出通道数为64，残差块数量为2，第二残差网络层的输入通道数为64，输出通道数为32，残差块数量为2，且残差网络中使用的激活函数为relu(x)函数，relu(x)＝max(0，x)。一个残差网络层由两个残差块组成：第一残差块和第二残差块。

本实施例中首个卷积层的卷积核数量由64个卷积核增加至128个卷积核，从而能够获取到更多的细节信息，有利于提高图像精度。将信息添加gn层，使得下一层输入数据的均值与方差能够固定在一定范围内，从而能够更快地找到最优解，有利于提高运算效率。

具体地，步骤s2包括如下过程：

s21：对原始图像数据i进行卷积操作，获取残差网络的输入数据x。

步骤s21的卷积操作中，原始图像数据i通过带gn的卷积层之后，通过than激活，得到残差网络的输入数据x。

s22：根据输入数据x，进行残差网络处理，获取图像特征的高频信息r2。

具体地，步骤s22包括：

s221：在第一残差块中，输入数据x分别通过第一残差块中的第一卷积层和第二卷积层，利用激活函数relu获取降维后的第一特征图像。

s222：对输入数据x进行1*1的卷积降维，获取第二特征图像。

s223：对第一特征图像和第二特征图像进行单位加操作。

s224：利用relu函数对单位加操作结果进行激活，获取第二残差块的输入数据x'。

s225：对第二残差块的输入数据x'分别通过第一卷积层和第二卷积层，利用激活函数relu获取降维后的第三特征图像，直到利用relu函数对单位加操作结果进行激活，获取图像特征的高频信息r2。

根据步骤s225可知，获取到第二残差块的输入数据x'之后，对其分别通过第一卷积层和第二卷积层，利用激活函数relu获取降维后的第三特征图像，对第二残差块的输入数据进行1*1的卷积降维，获取第四特征图像，然后对第三特征图像和第四特征图像进行单位加操作，最后利用relu函数对单位加操作结果进行激活，获取图像特征的高频信息r2。

本实施例中一个残差网络层的结构示意图可以参见图5所示。由图5可知，在第一残差块中，输入数据(x)分别通过卷积层conv2-1和conv2-2，使用的激活函数为relu，得到降维后的特征图像f1；由于该残差块中的输入通道和输出通道维数不同，对x进行了1×1的卷积降维，该操作后的结果记为f1'；随后对f1和f1'进行单位加操作；对上一步结果进行激活，得到第二残差块的输入数据。第二残差块中，具体操作与第一残差块步骤相同。

需要注意的是，本实施例中步骤s1和s2并没有先后顺序的规定，可以根据实际应用场景先执行步骤s1再执行步骤s2，也可以先执行步骤s2，再执行步骤s1，或者两个步骤同时执行。

继续参见图2可知，获取到图像特征的整体信息和高频信息之后，执行步骤s3：对整体信息r1和高频信息r2进行加权平均，将高频信息r2添加至整体信息r1中，计算得出第一超分辨率重建图像。

本实施例中第一超分辨率重建图像为改进后的整体特征图像。通过采用加权平均的方法，能够将更多的细节信息添加在上层的整体信息中，从而获取到比原始图像精度更高的第一超分辨率重建图像，大大提高图像精度。

具体地，步骤s3的实现方法如下：

利用公式r'＝0.8×r1+0.2×r2，对整体信息r1和高频信息r2进行加权平均，其中，r'为第一超分辨率重建图像。本实施例中整体信息的权值取0.8，高频信息的权值取0.2，该权值的确定，是发明人通过大量实验获得。通过该权值，能够进一步提高超分辨率图像重建结果的精度。

继续参见图2可知，获取到第一超分辨率重建图像之后，执行步骤s4：对第一超分辨率重建图像进行亚像素卷积操作，将其转换为第二超分辨率重建图像。

本实施例中第二超分辨率重建图像为最终的超分辨率重建图像。亚像素卷积操作中的亚像素卷积层采用n个卷积核，且每个卷积核大小为3*3，其中，n的计算公式为：n＝原始图像数据通道数*放大倍数2。激活函数采用tanh()函数，pixshuffle层用于实现特征图转目标图。

实施例二

在图2-图5所示实施例的基础之上参见图6，图6为本申请实施例所提供的一种基于双重网络的图像超分辨率重建系统的结构示意图。由图6可知，本实施例中基于双重网络的图像超分辨率重建系统，主要包括：图像整体信息获取模块、图像高频信息获取模块、加权平均计算模块和转换模块。

其中，图像整体信息获取模块，用于对原始图像数据i进行上层网络训练，获取图像特征的整体信息r1，上层网络为卷积神经网络，且上层网络包括：第一卷积层和第二卷积层。图像高频信息获取模块，用于对原始图像数据i进行下层网络训练，获取图像特征的高频信息r2，下层网络为卷积神经网络，且下层网络包括：带组归一化卷积层和残差网络，下层网络中最后一层的输出通道数与上层网络的输出通道数相同。加权平均计算模块，用于对整体信息r1和高频信息r2进行加权平均，将高频信息r2添加至整体信息r1中，计算得出第一超分辨率重建图像，第一超分辨率重建图像为改进后的整体特征图像。转换模块，用于对第一超分辨率重建图像进行亚像素卷积操作，将其转换为第二超分辨率重建图像，第二超分辨率重建图像为最终的超分辨率重建图像。

其中，带组归一化卷积层中包括：128个卷积核和归一化层gn，归一化层gn的通道数为128，组数为4，所采用的激活函数为tanh(x)函数，残差网络包括：第一残差网络层和第二残差网络层，任一残差网络层中包括第一残差块和第二残差块，第一残差网络层的输入通道数为128，输出通道数为64，残差块数量为2，第二残差网络层的输入通道数为64，输出通道数为32，残差块数量为2，且残差网络中使用的激活函数为relu(x)函数，relu(x)＝max(0，x)。

进一步地，图像高频信息获取模块包括：卷积操作单元和残差处理单元。其中，卷积操作单元，用于对原始图像数据i进行卷积操作，获取残差网络的输入数据x；残差处理单元，用于根据输入数据x，进行残差网络处理，获取图像特征的高频信息r2。

残差处理单元又包括：第一特征图像获取子单元、第二特征图像获取子单元、单位加操作子单元、激活子单元、第三特征图像获取子单元和第四特征图像获取子单元。其中，第一特征图像获取子单元，用于在第一残差块中，对输入数据x分别通过第一残差块中的第一卷积层和第二卷积层，利用激活函数relu获取降维后的第一特征图像。第二特征图像获取子单元，用于对输入数据x进行1*1的卷积降维，获取第二特征图像。单位加操作子单元，用于对第一特征图像和第二特征图像进行单位加操作。激活子单元，用于利用relu函数对单位加操作结果进行激活，获取第二残差网络层的输入数据x'。第三特征图像获取子单元，用于对第二残差网络层的输入数据分别通过第一卷积层和第二卷积层，利用激活函数relu获取降维后的第三特征图像。第四特征图像获取子单元，用于对第二残差网络层的输入数据x'进行1*1的卷积降维，获取第四特征图像。单位加操作单元，还用于对第三特征图像和第四特征图像进行单位加操作。激活子单元，还用与利用relu函数对第三特征图像和第四特征图像的单位加操作结果进行激活，获取图像特征的高频信息r2。

该实施例中未详细描述的部分，可以参见图2-图5所示的实施例，两个实施例之间可以互相参照，在此不再赘述。

以上所述仅是本申请的具体实施方式，使本领域技术人员能够理解或实现本申请。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。