一种基于深度卷积神经网络的图像超分辨方法与流程

本发明涉及一种图像超分辨方法，尤其是涉及一种基于深度卷积神经网络的图像超分辨方法。

背景技术：

单个图像的超分辨(super resolution)是计算机视觉领域的经典问题。超分辨的定义是，给定一个输入图片，要输出一个分辨率更高(像素点更多)的图像，并添加合适的高频信息，因此，仅仅使用插值的方法放大图片不能被称作超分辨。

目前主流的超分辨技术大多是基于样例的，其中，具有代表性的是一种基于稀疏编码(sparse-coding)的算法。这个算法有多个步骤：首先，从图像中密集地提取出一些相互重叠的图像块，并作相应的预处理；然后用一个低分辨率的字典(dictionary)来编码这些图像块；之后，一个高分辨率的字典会使用这些稀疏系数来重构图像。之前的超分辨算法大多着重于学习和优化这些字典。在Freeman等人的开创性工作Example-based super-resolution(Computer Graphics and Applications 22(2),56–65(2002))中，字典以一个低/高分辨率图像块的键值对的集合的形式呈现，对低分辨率图像中的图像块在字典中搜索其最近邻(nearest neighbor)，然后使用该最近邻对应的高分辨率图像块重构图像。但现有方法仍然存在运算开销较大，难以实现在线处理的问题。

技术实现要素：

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种运算开销较小、适合在线处理的基于深度卷积神经网络的图像超分辨方法。

本发明的目的可以通过以下技术方案来实现：

一种基于深度卷积神经网络的图像超分辨方法，该方法通过建立表达从低分辨率图像到高分辨率图像的映射的神经网络实现图像超分辨，所述从低分辨率图像到高分辨率图像的映射的具体实现过程包括以下步骤：

1)对原始图像进行插值预处理；

2)从插值预处理后的图像中提取图像块，采用卷积运算对每一所述图像块进行处理，将所述图像块表示为一第一高维向量；

3)将每一所述第一高维向量通过卷积运算非线性映射为维度不同的第二高维向量；

4)对所有所述第二高维向量进行整合，获得重构后的图像，实现从低分辨率图像到高分辨率图像的映射。

所述步骤1)中，以双立方插值方式对原始图像进行插值预处理，实现原始图像的放大。

所述步骤2)中，采用同一系列不同的滤波器对所述图像块进行卷积运算，获得的多个特征构成第一高维向量。

所述第一高维向量的维度、特征个数与滤波器的个数相同。

步骤3)中，所述非线性映射具体为：利用n个大小为1×1的滤波器对m维的第一高维向量进行卷积运算，获得n维的第二高维向量。

步骤4)中，所述整合具体为：对所有所述第二高维向量进行平均化处理。

与现有技术相比，本发明具有以下优点：

1)本发明在获得低分辨率图像到高分辨率图像的映射的过程中采用了卷积神经网络技术，有效降低了图像超分辨过程的运算开销。卷积神经网络近年来在计算机视觉领域有极佳的表现，因而十分火热。卷积神经网络与传统的神经网络最大的不同是权值共享——能极大地减少参数的个数，同时由于图像局部性的特点，依然有很好的效果。随着GPU运算的发展以及大型数据集(如ImageNet)的建立，训练卷积神经网络也变得较为便利。

2)本发明在进行图像块提取和非线性映射均进行了卷积运算，计算效率高。

3)本发明进行高维向量整合时采用平均化处理方式，也可以看作是卷积运算，从而实现了三层深度卷积，实现一种三层卷积神经网络，进一步降低了图像超分辨过程的运算开销，使其更适合于在线处理。

附图说明

图1为本发明映射实现过程的流程示意图；

图2为本发明映射实现过程的原理示意图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

如图1-图2所示，本实施例提供一种基于深度卷积神经网络的图像超分辨方法，该方法通过建立表达从低分辨率图像到高分辨率图像的映射的神经网络实现图像超分辨，从低分辨率图像到高分辨率图像的映射的具体实现过程包括以下步骤：

1)插值预处理

以双立方插值(bicubic interpolation)方式对原始图像进行插值预处理，实现原始图像的放大，放大到所需要的倍数。

2)图像块的提取与表示

从插值预处理后的图像中提取图像块，采用卷积运算对每一图像块进行处理，将图像块表示为一第一高维向量，具体地，采用同一系列不同的滤波器对图像块进行卷积运算，获得的多个特征构成第一高维向量。第一高维向量的维度、特征个数与滤波器的个数相同。

3)将每一第一高维向量通过卷积运算非线性映射为维度不同的第二高维向量。非线性映射具体为：利用n个大小为1×1的滤波器对m维的第一高维向量进行卷积运算，获得n维的第二高维向量。映射后的第二高维向量可以看作是高分辨率图像中图像块的表示。

4)对所有第二高维向量进行整合，获得重构后的图像，实现从低分辨率图像到高分辨率图像的映射。本实施例中，整合具体为：对所有第二高维向量进行平均化处理，可以使重构后的图像与高分辨率的图像尽可能接近，此步骤也可以看作卷积运算。

事实上，步骤2)到4)均可以以卷积的形式实现，从而实现一个三层的卷积神经网络，每一层对应一个步骤。训练这个网络时，将输入图像本身作为label，将输入图像降采样再双立方插值后的图像作为训练数据。我们使用的代价函数(Loss function)是均方差(Mean square error)。

关于图像的超分辨并没有统一的评判标准。本实施例使用峰值信噪比(PSNR)对本发明的图像超分辨方法进行评判，PSNR值越高，一般可以认为图像的质量越好。本实施例对一些图像进行的测试，结果显示其PSNR值有明显的提高。