一种图像超分辨率重建方法及装置与流程

本发明实施例涉及图像重建领域，尤其涉及一种图像超分辨率重建方法及装置。

背景技术：

在电子图像应用领域，人们经常期望得到高分辨率图像。高分辨率意味着图像中的像素密度高，能够提供更多的细节，而这些细节在许多实际应用中不可或缺。例如，高分辨率医疗图像对于医生做出正确的诊断是非常有帮助的；使用高分辨率卫星图像就很容易从相似物中区别相似的对象；如果能够提供高分辨的图像，计算机视觉中的模式识别的性能就会大大提高。因此，寻找一种增强当前分辨率水平的方法是非常必须的。

图像超分辨率是指由一幅低分辨率图像或图像序列恢复出高分辨率图像。图像超分辨率技术分为超分辨率复原和超分辨率重建。目前，图像超分辨率研究可分为3个主要范畴：基于插值的重建方法、基于学习的方法以及频率域方法。基于插值的方法是针对图像上每个像素点的值是用其周围几个点进行计算逼近得到的，得到的图像过于平滑，丢失了许多高频细节。参数频率域方法是图像超分辨率重建中一类重要方法，其中最主要的是消混叠重建方法。消混叠重建方法是通过解混叠而改善图像的空间分辨率实现超分辨率复原，它的缺点是频域数据缺少相关性。

目前，也有一些基于卷积神经网络的超分辨率重建算法，采用大量的高分辨率图像构造学习库产生学习模型，在对低分辨率图像进行恢复的过程中引入由学习模型获得的先验知识，以得到图像的高频细节。然而基于学习的方法仅使用图像表层特征。而且，卷积神经网络的卷积核尺寸较大，影响了卷积神经网络的运行速度。

技术实现要素：

针对传统图像超分辨率重建方法的上述缺陷。本发明实施例提供一种图像超分辨率重建方法。

第一方面，本发明实施例提供一种图像超分辨率重建方法，包括：

将第一分辨率图像输入图像重建模型，输出第二分辨率图像；所述图像重建模型是基于第一分辨率样本图像及其对应的第二分辨率样本图像进行训练后得到的；其中，第一分辨率小于第二分辨率，图像重建模型包括若干层残差结构和一层超像素结构，残差结构包括若干卷积层和若干级联非线性激活函数层。

第二方面，本发明实施例提供一种图像超分辨率重建装置，包括：

图像重建模块，用于将第一分辨率图像输入图像重建模型，输出第二分辨率图像；所述图像重建模型是基于第一分辨率样本图像及其对应的第二分辨率样本图像进行训练后得到的；其中，第一分辨率小于第二分辨率，图像重建模型包括若干层残差结构和一层超像素结构，残差结构包括若干卷积层和若干级联非线性激活函数层。

第三方面，本发明实施例提供了一种电子设备，包括：

至少一个处理器、至少一个存储器、通信接口和总线；其中，

所述处理器、存储器、通信接口通过所述总线完成相互间的通信；

所述存储器存储有可被所述处理器执行的程序指令，处理器调用所述程序指令能够执行第一方面的各种可能的实现方式中任一种可能的实现方式所提供的图像超分辨率重建方法。

第四方面，本发明实施例提供了一种非暂态计算机可读存储介质，非暂态计算机可读存储介质存储计算机指令，计算机指令使计算机执行第一方面的各种可能的实现方式中任一种可能的实现方式所提供的图像超分辨率重建方法。

本发明实施例提供的图像超分辨率重建方法，将第一分辨率图像输入图像重建模型，输出第二分辨率图像。图像重建模型包括若干层残差结构和一层超像素结构，残差结构由若干卷积层和若干级联非线性激活函数层构成。本发明实施例提供的图像超分辨率重建方法，图像重建模型的残差结构使用级联的非线性激活函数crelu代替部分卷积层，减少了图像重建模型的参数，提高了图像超分辨率重建的速度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为根据本发明实施例提供的图像超分辨率重建方法的流程示意图；

图2为根据本发明实施例提供的图像重建模型的结构示意图；

图3为根据本发明实施例提供的图像超分辨率重建装置的结构框图；

图4为根据本发明实施例提供的电子设备的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。并且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

图1为根据本发明实施例提供的图像超分辨率重建方法的流程示意图。图2为根据本发明实施例提供的图像重建模型的结构示意图。参照图1和图2，本发明实施例提供一种图像超分辨率重建方法，包括：

将第一分辨率图像输入图像重建模型，输出第二分辨率图像；所述图像重建模型是基于第一分辨率样本图像及其对应的第二分辨率样本图像进行训练后得到的；其中，第一分辨率小于第二分辨率，所述图像重建模型包括若干层残差结构和一层超像素结构，所述残差结构包括若干卷积层和若干级联非线性激活函数层。

其中，图像分辨率(imageresolution)指图像中存储的信息量。这种分辨率有多种衡量方法，典型的是以每英寸的像素数来衡量。当然也有以每厘米的像素数来衡量的。图像分辨率决定了图像输出的质量。图像超分辨率是指由一幅低分辨率图像或图像序列恢复出高分辨率图像。

本实施例利用基于第一分辨率样本图像及其对应的第二分辨率样本图像进行训练后得到的图像重建模型，将第一分辨率图像输入图像重建模型，输出第二分辨率图像。从而使第一分辨率图像超分辨率重建。图像重建模型的获取步骤具体包括：

通过优化目标函数计算第一分辨率样本图像重建后的图像与第二分辨率样本图像各点的像素差绝对值的平均值；

优化目标函数为：

式中，isr表示第一分辨率样本图像经过神经网络重建得到的图像的像素，ihr表示第二分辨率样本图像的像素，c代表图像的通道数，l1表示优化目标函数，n表示图像的数目，k表示通道数从1到c，j表示宽度的像素点，h表示图像的高度，w表示图像的宽度，l1的值越小，说明重建的图像与原始图像相似度更高；

根据优化目标函数的值，调整神经网络的参数，并利用调整参数后的神经网络对第一分辨率样本图像及其对应的第二分辨率样本图像进行训练，得到图像重建模型。

参照图2，图像重建模型包括若干层残差结构和一层超像素结构，残差结构包括若干卷积层和若干级联非线性激活函数(crelu)层。需要说明的是，残差结构层与普通的堆叠卷积相比，能够更好的学习图像的边缘信息与纹理信息，这有益于图像超分辨率重建。下一层残差结构的输入对象包括上一层残差结构的输出对象，以及上一层残差结构的输入对象。使用超像素层对图像进行上采样。超像素层可以减少的计算量，提高图像重建模型的运行速度。超像素层之前的残差结构层并没有对第一分辨率图像的尺寸进行改变，所以在图像经过超像素层之前，残差结构输出图像的尺寸大小和第一分辨率图像的尺寸是一致的。超像素结构层扩大残差结构输出图像的尺寸，例如，对一个h×w的图片放大r倍，其中h代表图片的高度，w代表图片的宽度，这个图片进过超像素层之后，会变为(rh)×(rw)。

需要说明的是，卷积神经网络中的卷积层的参数分布可以近似看成是对称分布的。例如，某一个由四个卷积层构成的卷积神经网络，将其替换为本实施例提供的残差结构，可以看做将该卷积神经网络的卷积层保留一半的参数，另一半的参数使用级联非线性激活函数来进行替代，本实施例中，残差结构中使用级联非线性激活函数(crelu)代替部分卷积层，减少了图像重建模型的参数，级联非线性激活函数的计算更加简单，提高了图像超分辨率重建的速度。

本发明实施例提供的图像超分辨率重建方法，将第一分辨率图像输入图像重建模型，输出第二分辨率图像。图像重建模型包括若干层残差结构和一层超像素结构，残差结构由若干卷积层和若干级联非线性激活函数层构成。本发明实施例提供的图像超分辨率重建方法，图像重建模型的残差结构使用级联的非线性激活函数crelu代替部分卷积层，减少了图像重建模型的参数，提高了图像超分辨率重建的速度。

在上述实施例的基础上，所述第一分辨率样本图像及其对应的第二分辨率样本图像的获取步骤包括：

使用matlab中的resize函数对选取的第二图像进行下采样，获得第一图像；其中，下采样原理：对于一幅图像i尺寸为m*n，对其进行s倍下采样，即得到(m/s)*(n/s)尺寸的分辨率图像，其中s是m和n的公约数。

截取第一图像的中心区域，获得第一分辨率样本图像；截取第二图像的中心区域，获得第二分辨率样本图像。

需要说明的是，由于图像边缘的点的像素值会丢失信息，本实施例中，选择截取第一图像的中心区域作为第一分辨率样本图像，截取所述第二图像的中心区域，获得第二分辨率样本图像。其中，第一分辨率小于第二分辨率。

在上述各实施例的基础上，参照图2，图像重建模型依次包括四层残差结构和一层超像素结构，其中，超像素结构用于扩大残差结构输出图像的尺寸。

残差结构层与普通的堆叠卷积相比，能够更好的学习图像的边缘信息与纹理信息，这有益于图像超分辨率重建。下一层残差结构的输入对象包括上一层残差结构的输出对象，以及上一层残差结构的输入对象。使用超像素层对图像进行上采样。超像素层可以减少的计算量，提高图像重建模型的运行速度。超像素层之前的残差结构层并没有对第一分辨率图像的尺寸进行改变，所以在图像经过超像素层之前，残差结构输出图像的尺寸大小和第一分辨率图像的尺寸是一致的。超像素结构层扩大残差结构输出图像的尺寸。本实施例中，将第一分辨率图像输入如图2所示的图像重建模型，经过四层残差结构和一层超像素结构，输出扩大4倍的第二分辨率图像。第一分辨率小于第二分辨率。

在上述各实施例的基础上，残差结构依次包括第一卷积层、第一级联非线性激活函数层、第二卷积层和第二级联非线性激活函数层。

需要说明的是，卷积神经网络中的卷积层的参数分布可以近似看成是对称分布的。例如，某一个由四个卷积层构成的卷积神经网络，将其替换为本实施例提供的残差结构，可以看做将该卷积神经网络的卷积层保留一半的参数，另一半的参数使用级联非线性激活函数来进行替代，本实施例中，残差结构依次由包括第一卷积层、第一级联非线性激活函数层、第二卷积层和第二级联非线性激活函数层构成，采用级联非线性激活函数来替代卷积层，减少了图像重建模型的参数。级联非线性激活函数的计算更加简单，提高了图像超分辨率重建的速度。

在上述各实施例的基础上，参照图2，超像素结构依次包括第三卷积层、超像素层和第四卷积层。

具体地，使用超像素层对残差结构输出的图像进行上采样。超像素层可以减少的计算量，提高图像重建模型的运行速度。超像素层之前的残差结构层并没有对第一分辨率图像的尺寸进行改变，所以在图像经过超像素层之前，残差结构输出图像的尺寸大小和第一分辨率图像的尺寸是一致的。超像素结构层扩大残差结构输出图像的尺寸，例如，对一个h×w的图片放大r倍，其中h代表图片的高度，w代表图片的宽度，这个图片进过超像素层之后，会变为(rh)×(rw)。

图3为根据本发明实施例提供的图像超分辨率重建装置的结构框图；参照图1、图2和图3，本发明实施例还提供一种图像超分辨率重建装置，包括：

图像重建模块301，用于将第一分辨率图像输入图像重建模型，输出第二分辨率图像；所述图像重建模型是基于第一分辨率样本图像及其对应的第二分辨率样本图像进行训练后得到的；其中，所述图像重建模型包括若干层残差结构和一层超像素结构，所述残差结构包括若干卷积层和若干级联非线性激活函数层。

图像重建模块301利用基于第一分辨率样本图像及其对应的第二分辨率样本图像进行训练后得到的图像重建模型，将第一分辨率图像输入图像重建模型，输出第二分辨率图像。从而使第一分辨率图像超分辨率重建。图像重建模型的获取步骤具体包括：

通过优化目标函数计算第一分辨率样本图像重建后的图像与第二分辨率样本图像各点的像素差绝对值的平均值；

优化目标函数为：

式中，isr表示第一分辨率样本图像经过神经网络重建得到的图像的像素，ihr表示第二分辨率样本图像的像素，c代表图像的通道数，l1表示优化目标函数，n表示图像的数目，k表示通道数从1到c，j表示宽度的像素点，h表示图像的高度，w表示图像的宽度，l1的值越小，说明重建的图像与原始图像相似度更高；

根据优化目标函数的值，调整神经网络的参数，并利用调整参数后的神经网络对第一分辨率样本图像及其对应的第二分辨率样本图像进行训练，得到图像重建模型。

参照图2，图像重建模型包括若干层残差结构和一层超像素结构，残差结构包括若干卷积层和若干级联非线性激活函数层。需要说明的是，残差结构层与普通的堆叠卷积相比，能够更好的学习图像的边缘信息与纹理信息，这有益于图像超分辨率重建。下一层残差结构的输入对象包括上一层残差结构的输出对象，以及上一层残差结构的输入对象。使用超像素层对图像进行上采样。超像素层可以减少的计算量，提高图像重建模型的运行速度。超像素层之前的残差结构层并没有对第一分辨率图像的尺寸进行改变，所以在图像经过超像素层之前，残差结构输出图像的尺寸大小和第一分辨率图像的尺寸是一致的。超像素结构层扩大残差结构输出图像的尺寸，例如，对一个h×w的图片放大r倍，其中h代表图片的高度，w代表图片的宽度，这个图片进过超像素层之后，会变为(rh)×(rw)。

需要说明的是，卷积神经网络中的卷积层的参数分布可以近似看成是对称分布的。例如，某一个由四个卷积层构成的卷积神经网络，将其替换为本实施例提供的残差结构，可以看做将该卷积神经网络的卷积层保留一半的参数，另一半的参数使用级联非线性激活函数来进行替代，本实施例中，残差结构中使用级联非线性激活函数(crelu)代替部分卷积层，减少了图像重建模型的参数，级联非线性激活函数的计算更加简单，提高了图像超分辨率重建的速度。

本发明实施例提供的图像超分辨率重建装置，将第一分辨率图像输入图像重建模型，输出第二分辨率图像。图像重建模型包括若干层残差结构和一层超像素结构，残差结构由若干卷积层和若干级联非线性激活函数层构成。本发明实施例提供的图像超分辨率重建方法，图像重建模型的残差结构使用级联的非线性激活函数crelu代替部分卷积层，减少了图像重建模型的参数，提高了图像超分辨率重建的速度。

本发明实施例提供了一种电子设备，如图4所示，该电子设备包括：

至少一个处理器(processor)401、通信接口(communicationsinterface)404、至少一个存储器(memory)402和通信总线403，其中，至少一个处理器801，通信接口404，至少一个存储器402通过通信总线403完成相互间的通信。至少一个处理器401可以调用至少一个存储器402中的逻辑指令，以执行如下方法：将第一分辨率图像输入图像重建模型，输出第二分辨率图像；所述图像重建模型是基于第一分辨率样本图像及其对应的第二分辨率样本图像进行训练后得到的；其中，第一分辨率小于第二分辨率；图像重建模型包括若干层残差结构和一层超像素结构，残差结构包括若干卷积层和若干级联非线性激活函数层。

本发明实施例还提供了一种非暂态计算机可读存储介质，非暂态计算机可读存储介质存储计算机指令，该计算机指令使计算机执行对应实施例所提供的图像超分辨率重建方法，例如包括：将第一分辨率图像输入图像重建模型，输出第二分辨率图像；所述图像重建模型是基于第一分辨率样本图像及其对应的第二分辨率样本图像进行训练后得到的；其中，第一分辨率小于第二分辨率；图像重建模型包括若干层残差结构和一层超像素结构，残差结构包括若干卷积层和若干级联非线性激活函数层。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。