一种超分辨率图像重建方法及装置与流程

本发明涉及图像处理和机器学习技术领域，尤其涉及一种超分辨率图像重建方法及装置。

背景技术

随着人们对图片像素的要求越来越高，人们对于高像素的相机越来越推崇，但是，即使高像素的相机的分辨率也有限，需要将低分辨率的图片转换为高分辨率的图片。

目前，超分辨率图像重建技术主要是基于频率或空域的方法，但是基于频域的方法只适用于图像中不存在局部运动、仅仅有物体整体运动的情况，只有在空域的噪声不变的情况下适用；而基于空域的方法设计复杂、计算步骤多、速度慢。

因此，目前的超分辨率图像重建技术存在仅适用于物体整体运动，而不存在局部运动或设计复杂、计算步骤多和速度慢的问题。

技术实现要素：

为了解决目前超分辨率图像重建技术存在仅适用于物体整体运动，而不存在局部运动或设计复杂、计算步骤多和速度慢的问题，一方面，本发明提供了一种超分辨率图像重建方法，包括：

将进行灰度化处理之后的待检测图像的尺寸设为第一尺寸，获取第一尺寸待检测图像；

将第一尺寸待检测图像输入至第一层深度学习模型，输出第一尺寸的三像素矩阵；

将三像素矩阵输入至第二层深度学习模型，输出第二尺寸的三像素矩阵，第二尺寸大于第一尺寸；

将第二尺寸的三像素矩阵整合，获取超分辨率图像。

优选地，将进行灰度化处理之后的待检测图像的尺寸设为第一尺寸，获取第一尺寸待检测图像，包括：

将待检测图像进行灰度化处理，使待检测图像由rgb三通道变为r通道、g通道和b通道，获取灰度化处理之后的待检测图像；

利用双线性插值法将灰度化处理之后的待检测图像的尺寸扩大或缩小至第一尺寸。

优选地，三像素矩阵包括r通道像素矩阵、g通道像素矩阵和b通道像素矩阵。

优选地，第一层深度学习模型包括并列的第一卷积神经网络、第二卷积神经网络和第三卷积神经网络，第一卷积神经网络、第二卷积神经网络和第三卷积神经网络均分别为3层卷积神经网络；第一卷积神经网络输出第一尺寸的r通道像素矩阵，第二卷积神经网络输出第一尺寸的g通道像素矩阵，第三卷积神经网络输出第一尺寸的b通道像素矩阵。

优选地，3层卷积神经网络包括依次进行的第一层卷积层、第二层卷积层和第三层卷积层；第一层卷积层的卷积核的尺寸为5*5，第二层卷积层的卷积核的尺寸为4*4，第三层卷积层的卷积核的尺寸为3*3，第一层卷积层、第二层卷积层和第三层卷积层的卷积核的数量均为64个。

优选地，第二层深度学习网络包括并列的第四卷积神经网络、第五卷积神经网络和第六卷积神经网络；第四卷积神经网络、第五卷积神经网络和第六卷积神经网络均分别为18层卷积神经网络；第四卷积神经网络输出第二尺寸的r通道像素矩阵，第五卷积神经网络输出第二尺寸的g通道像素矩阵，第六卷积神经网络输出第二尺寸的b通道像素矩阵。

优选地，18层卷积神经网络的每一层卷积层的卷积核的尺寸均为3*3，卷积核的数量均为32个；18层卷积神经网络为含残差结构的卷积神经网络，含残差结构的卷积神经网络的残差连接从18层卷积神经网络的输入直至输出。

另一方面，本发明还提供了一种超分辨率图像重建装置，包括：

获取模块，用于获取待检测图像；

第一处理模块，用于将待检测图像进行灰度化处理之后，设为第一尺寸，将第一尺寸待检测图像输入至第一层深度学习模型，输出第一尺寸的三像素矩阵；

第二处理模块，将三像素矩阵输入至第二层深度学习模型，输出第二尺寸的三像素矩阵，第二尺寸大于第一尺寸；

整合模块，将第二尺寸的三像素矩阵整合，获取超分辨率图像。

又一方面，一种用于超分辨率图像重建的电子设备，包括：

存储器和处理器，处理器和存储器通过总线完成相互间的通信；存储器存储有可被处理器执行的程序指令，处理器调用程序指令能够执行上述的方法方法。

再一方面，本发明提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述的方法。

本发明提供了一种超分辨率图像重建方法及装置，通过第一层深度学习模型将灰度化处理之后且设为第一尺寸的待检测图像，处理为保持第一尺寸的三像素矩阵；再通过第二层深度模型将第一尺寸的三像素矩阵，处理为第二尺寸的三像素矩阵，使得三像素矩阵更清晰，最后将第二尺寸的三像素矩阵整合，获取超分辨率图像。本发明对低分辨率图像转化为高分辨率图像的处理速度快，无需担心物体运动，重建程度高，且设计简易，处理速度快。

附图说明

图1为根据本发明的一个优选实施例的一种超分辨率图像重建方法的流程示意图；

图2为根据本发明的一个优选实施例的一种超分辨率图像重建装置的结构示意图；

图3为根据本发明的一个优选实施例的一种用于超分辨率图像重建的电子设备的结构示意图。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

图1为根据本发明的一个优选实施例的一种超分辨率图像重建方法的流程示意图，如图1所示，本发明实施例提供了一种超分辨率图像重建方法，包括：

步骤s101、将进行灰度化处理之后的待检测图像的尺寸设为第一尺寸，获取第一尺寸待检测图像；

步骤s102、将第一尺寸待检测图像输入至第一层深度学习模型，输出三像素矩阵，三像素矩阵的尺寸保持第一尺寸；

步骤s103、将三像素矩阵输入至第二层深度学习模型，输出第二尺寸的三像素矩阵，第二尺寸大于第一尺寸；

步骤s104、将第二尺寸的三像素矩阵整合，获取超分辨率图像。

具体地，首先需要获取待检测图像，待检测图像通常由照相机或摄像机拍摄的分辨率较低的图像，若需要看清待检测图像的细节，需要对其进行超分辨率图像重建。

进一步地，为了使待检测图像能方便处理，先将待检测图像进行灰度化处理，由三通道变成单通道，且将经灰度化处理的图像的尺寸统一设为第一尺寸待检测图像，获取第一尺寸待检测图像；然后将第一尺寸待检测图像输入至第一层深度学习模型，输出三个不同的像素矩阵，即三像素矩阵，且三像素矩阵的尺寸仍然保持第一尺寸；接下来，再将三像素矩阵输入至第二层深度学习模型，使三像素矩阵的尺寸由第一尺寸变为第二尺寸，大幅提高三像素矩阵的尺寸，最后将第二尺寸的三像素矩阵整合，获取超分辨率图像。

其中，第一尺寸小于1920*1080，第二尺寸不小于1920*1080；例如，第一尺寸为640*480，第二尺寸为1080*1920。

需要说明的是，三像素矩阵包括r通道像素矩阵、g通道像素矩阵和b通道像素矩阵。

基于上述实施例，第一层深度学习模型包括并列的第一卷积神经网络、第二卷积神经网络和第三卷积神经网络，第一卷积神经网络、第二卷积神经网络和第三卷积神经网络均分别为3层卷积神经网络；第一卷积神经网络输出第一尺寸的r通道像素矩阵，第二卷积神经网络输出第一尺寸的g通道像素矩阵，第三卷积神经网络输出第一尺寸的b通道像素矩阵。

进一步地，3层卷积神经网络包括依次进行的第一层卷积层、第二层卷积层和第三层卷积层；第一层卷积层的卷积核的尺寸为5*5，第二层卷积层的卷积核的尺寸为4*4，第三层卷积层的卷积核的尺寸为3*3，第一层卷积层、第二层卷积层和第三层卷积层的卷积核的数量均为64个。

基于上述实施例，第二层深度学习网络包括并列的第四卷积神经网络、第五卷积神经网络和第六卷积神经网络；第四卷积神经网络、第五卷积神经网络和第六卷积神经网络均分别为18层卷积神经网络；第四卷积神经网络输出第二尺寸的r通道像素矩阵，第五卷积神经网络输出第二尺寸的g通道像素矩阵，第六卷积神经网络输出第二尺寸的b通道像素矩阵。

进一步地，第四卷积神经网络的输入为第一尺寸的r通道像素矩阵，第五卷积神经网络的输入为第一尺寸的g通道像素矩阵，第六卷积神经网络的输入为第一尺寸的b通道像素矩阵。

进一步地，18层卷积神经网络的每一层卷积层的卷积核的尺寸均为3*3，卷积核的数量均为32个；18层卷积神经网络为含残差结构的卷积神经网络，含残差结构的卷积神经网络的残差连接从18层卷积神经网络的输入直至输出。

图2为根据本发明的一个优选实施例的一种超分辨率图像重建装置的结构示意图，如图2所示，本发明实施例提供了一种超分辨率图像重建装置，该装置包括获取模块201、第一处理模块202、第二处理模块203和整合模块204，其中：

获取模块201，用于获取待检测图像；

第一处理模块202，用于将待检测图像进行灰度化处理之后，设为第一尺寸，将第一尺寸待检测图像输入至第一层深度学习模型，输出三像素矩阵，三像素矩阵的尺寸保持第一尺寸；

第二处理模块203，将三像素矩阵输入至第二层深度学习模型，输出第二尺寸的三像素矩阵，第二尺寸大于第一尺寸；

整合模块204，将第二尺寸的三像素矩阵整合，获取超分辨率图像。

图3为根据本发明的一个优选实施例的一种用于超分辨率图像重建的电子设备的结构示意图，如图3所示，本发明提供了一种用于超分辨率图像重建的电子设备，该设备包括处理器301、存储器302和总线303；

其中，处理器301和存储器302通过所述总线303完成相互间的通信；

处理器301用于调用存储器302中的程序指令，以执行上述各方法实施例所提供的方法，例如包括：

将进行灰度化处理之后的待检测图像的尺寸设为第一尺寸，获取第一尺寸待检测图像；

将第一尺寸待检测图像输入至第一层深度学习模型，输出第一尺寸的三像素矩阵；

将三像素矩阵输入至第二层深度学习模型，输出第二尺寸的三像素矩阵，第二尺寸大于第一尺寸；

将第二尺寸的三像素矩阵整合，获取超分辨率图像。

本发明实施例公开一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的方法，例如包括：

将进行灰度化处理之后的待检测图像的尺寸设为第一尺寸，获取第一尺寸待检测图像；

将第一尺寸待检测图像输入至第一层深度学习模型，输出三像素矩阵，三像素矩阵的尺寸保持第一尺寸；

将三像素矩阵输入至第二层深度学习模型，输出第二尺寸的三像素矩阵，第二尺寸大于第一尺寸；

将第二尺寸的三像素矩阵整合，获取超分辨率图像。

本发明实施例提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行上述各方法实施例所提供的方法，例如包括：

将进行灰度化处理之后的待检测图像的尺寸设为第一尺寸，获取第一尺寸待检测图像；

将第一尺寸待检测图像输入至第一层深度学习模型，输出三像素矩阵，三像素矩阵的尺寸保持第一尺寸；

将三像素矩阵输入至第二层深度学习模型，输出第二尺寸的三像素矩阵，第二尺寸大于第一尺寸；

将第二尺寸的三像素矩阵整合，获取超分辨率图像。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。

以上所描述的装置及设备等实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

本发明提供了一种超分辨率图像重建方法及装置，通过第一层深度学习模型将灰度化处理之后且设为第一尺寸的待检测图像，处理为保持第一尺寸的三像素矩阵；再通过第二层深度模型将第一尺寸的三像素矩阵，处理为第二尺寸的三像素矩阵，使得三像素矩阵更清晰，最后将第二尺寸的三像素矩阵整合，获取超分辨率图像。本发明对低分辨率图像转化为高分辨率图像的处理速度快，无需担心物体运动，重建程度高，且设计简易，处理速度快。

最后，本发明的方法仅为较佳的实施方案，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。