本发明涉及超分辨率图像重建领域，具体涉及一种基于深度学习的超分辨率图像重建方法及系统。
背景技术：
随着数码科技的发展，摄像技术也随之取得长足的发展，人们对图片像素的要求也越来越高。传统的做法是选择高像素的相机拍摄得到高分辨率的照片，然而此举并不能解决将低分辨率的图片转换为高分辨率的图片，因此，图像超分辨率的方法应运而生。
现有技术中的图像超分辨率的方法有：基于插值法的重建方法、基于学习的重建方法以及频率域重建方法。
插值法如最近元法、双线性内插法和三次内插法等，上述方法针对图像上每个像素点的值是用其周围几个点进行计算逼近得到的，缺点为得到的图像过于平滑，丢失了许多高频细节。基于学习的方法：采用大量的高分辨率图像构造学习库产生学习模型，在对低分辨率图像进行恢复的过程中引入由学习模型获得的先验知识，以得到图像的高频细节；缺点为仅使用图像的表层特征。频率域方法：其为图像超分辨率重建中一类重要方法，其中最主要的是消混叠重建方法；消混叠重建方法是通过解混叠而改善图像的空间分辨率实现超分辨率复原；缺点为频域数据缺少相关性。
技术实现要素：
本发明的目的是提供一种基于深度学习的超分辨率图像重建方法及系统，以解决上述缺点。
为了实现上述目的，本发明提供如下技术方案：
本发明提供了一种基于深度学习的超分辨率图像重建方法，包括以下步骤：
获取待重建图片和训练数据；
将所述训练数据输入基于残差结构的多层卷积神经网络进行学习，并得到超分辨率图像重建的最优模型，所述多层卷积神经网络至少为五层结构；
输入所述待重建图片，并通过所述最优模型对其进行超分辨率图像重建，得到超分辨率图片。
上述超分辨率图像重建方法，所述训练数据的获取包括以下步骤：
通过matlab中的resize函数对选取的高分辨率图片进行下采样，得到与其相对应的一组低分辨率图片；
对上述高、低分辨率图片进行裁剪，得到所述训练数据。
上述超分辨率图像重建方法，所述残差结构为在所述多层卷积神经网络中上一级的输出对象和输入对象均输入下一级。
上述超分辨率图像重建方法，得到超分辨率图片后还包括：通过超像素结构对输出的所述超分辨率图片进行尺寸放大。
上述超分辨率图像重建方法，所述多层卷积神经网络为九层结构。
上述超分辨率图像重建方法，所述最优模型的获取包括以下步骤：
通过优化目标函数计算所述训练数据中对应的三个低分辨率图片和一个高分辨率图片的均方误差，如下所示：
其中，isr表示经过网络重建出来的图片，ihr表示原始的高分辨率图片，c代表图片的通道数；
根据所述均方误差调整得到最终的优化目标，
loss＝s1lmse1+s2lmse2+s3lmse3
其中，loss表示最终的优化目标，使用三个mse赋予不同的权重组合；
通过对所述训练数据的训练迭代得到所述最优模型。
上述超分辨率图像重建方法，进行超分辨率图像重建包括以下步骤：
选择所述待重建图片的分辨率等级，并通过所述最优模型按照所述分辨率等级进行图像重建；
将重建得到的多个图片中的最后输出的图片作为所述超分辨率图片。
上述技术方案中，本发明提供的基于深度学习的超分辨率图像重建方法，实现了以下有益效果：1)采用多层卷积进行深度学习，并且基于残差结构，使获得的最优模型具有较强的超分辨率图像重建能力；2)采用深度学习的方法构建出最优模型，避免了使用插值法而得到的图像过于平滑的情况，且通过最优模型恢复的高分辨率图像更清晰，高频细节更充分；3)采用深度学习的方法重建图片以提高分辨率，无需采用频率域方法，从而不会出现频域数据缺少相关性的情况。
本发明还提供了一种基于深度学习的超分辨率图像重建系统，包括：
目标获取单元，用以获取待重建图片和训练数据；
训练单元，用以将所述训练数据输入基于残差结构的多层卷积神经网络进行学习，并得到超分辨率图像重建的最优模型，所述多层卷积神经网络至少为五层结构；
图像重建单元，用以输入所述待重建图片，并通过所述最优模型对其进行超分辨率图像重建，得到超分辨率图片。
上述超分辨率图像重建系统，还包括：用户单元，用以将所述待重建图片和高分辨率图片输入所述目标获取单元，以及选择所述待重建图片的分辨率等级。
上述超分辨率图像重建系统，还包括超像素单元，用以对输出的所述超分辨率图片进行尺寸放大。
本发明提供的基于深度学习的超分辨率图像重建系统，实现了以下有益效果：1)采用多层卷积进行深度学习，并且基于残差结构，使获得的最优模型具有较强的超分辨率图像重建能力；2)采用深度学习的方法构建出最优模型，避免了使用插值法而得到的图像过于平滑的情况，且通过最优模型恢复的高分辨率图像更清晰，高频细节更充分；3)采用深度学习的方法重建图片以提高分辨率，无需采用频率域方法，从而不会出现频域数据缺少相关性的情况。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的分辨率图像重建系统的流程示意图；
图2为本发明一优选实施例提供的分辨率图像重建方法的结构示意图；
图3为本发明一优选实施例提供的分辨率图像重建方法的结构示意图；
图4为本发明一优选实施例提供的分辨率图像重建方法的结构示意图；
图5为本发明一优选实施例提供的分辨率图像重建方法的结构示意图；
图6为本发明一优选实施例提供的分辨率图像重建方法的结构示意图；
图7为本发明一优选实施例提供的分辨率图像重建方法的结构示意图；
图8为本发明实施例提供的分辨率图像重建系统的结构示意图；
图9为本发明一优选实施例提供的分辨率图像重建系统的结构示意图；
图10为本发明一优选实施例提供的分辨率图像重建系统的结构示意图；
图11为本发明实施例提供的分辨率图像重建方法及系统的结构示意图。
具体实施方式
为了使本领域的技术人员更好地理解本发明的技术方案，下面将结合附图对本发明作进一步的详细介绍。
如图1所示，为本发明实施例提供的一种基于深度学习的超分辨率图像重建方法，包括以下步骤：
s101、获取待重建图片和训练数据；
待重建图片是指需要通过多层卷积神经网络重新构建后得到超分辨率的图片；训练数据是指深度学习需要的各种分辨率的图片；每一张图片对应一个图片组，该图片组内包括一高分辨率图片及与其对应的至少一低分辨率图片。
如图2所示，在步骤s101中，所述训练数据的获取包括以下步骤：
s201、通过matlab中的resize函数对选取的高分辨率图片进行下采样，得到与其相对应的一组低分辨率图片；
s202、对上述高、低分辨率图片进行裁剪，得到所述训练数据。
具体的，选取多张高分辨率图片作为标签；这些高分辨率图片的分辨率在1000x2000左右，然后使用matlab中的resize函数，将这些高分辨率图片分别的下采样到相应的1/2，1/3，1/4，1/5……的分辨率。作为本实施例中优选的，下采样到相应的1/2，1/3，1/4分辨率，则一张1000x2000的图片，相对应的低分率图片分别为500x1000，667x1667，250x500。经过下采样就得到一对低分辨率图片和其相对应的高分辨率图片，将其归为相关联的一图片组；再对选取的其他高分辨率图片进行下采样操作，得到多组样本图片组。考虑到图像边缘的点的像素值会丢失信息，我们选择从每张图片中心截取的图片作为网络的输入图片，例如，对低分辨图片在图片中心裁剪256x256，相应的高分辨图片在中心裁剪512x512等；对每张图片进行裁剪操作，得到训练数据。之所以在网络训练时选择大图，由于图像超分辨率重建是利用图像区域上的上下文信息，对于大的图片，卷积神经网络能学到的信息相比较小的图片会更多，训出的模型表达能力也会更强，重建效果更好。
s102、将所述训练数据输入基于残差结构的多层卷积神经网络进行学习，并得到超分辨率图像重建的最优模型，所述多层卷积神经网络至少为五层结构；
如图3、11所示，在步骤s102中，所述残差结构为在所述多层卷积神经网络中上一级的输出对象和输入对象均输入下一级。具体而言，每一级卷积除一级卷积以外均为两层结构，一级卷积为三层结构；因此，至少为五层结构是指至少有两级卷积，通过两级卷积得到的图片分辨率会扩大2倍；依次类推，通过三级卷积(七层结构)得到图片分辨率扩大三倍，四级扩大四倍。从而可以通过增加一级卷积，扩大分辨率的倍数，得到超分辨率图片，相应的，在下采样时，也要将训练数据中的高分辨率图片下采样至该倍数的倒数。使用残差学习是因为针对图片超分辨率重建，输入的图片与输出的图片在内容上是很相似的，通过学习残差会更好地对图片进行重建。
如图5、11所示，在步骤s102中，所述多层卷积神经网络为九层结构。九层结构与上述的四级卷积对应，从而与步骤1中优选的方式对应，可以对输入的待重建图片扩大2、3、4倍。进一步的，每一层由卷积层和激活函数层组成，且除了第一层不能作为结果输出，其他层能够根据选择的倍数，输出相应的超分辨率图片。
如图6、11所示，在步骤s102中，所述最优模型的获取包括以下步骤：
通过优化目标函数计算所述训练数据中对应的三个低分辨率图片和一个高分辨率图片的均方误差；网络学习的优化目标函数是重建的图片与原始高分辨率图片的均方误差，即每个点的像素差的欧式距离平方之后的平均值，如下所示：
其中，isr表示经过网络重建出来的图片，ihr表示原始的高分辨率图片，c代表图片的通道数；一般rgb图像c的值为3，mse的值越小，说明重建的图像与原始图像相似度更高。
根据所述均方误差调整得到最终的优化目标，
loss＝s1lmse1+s2lmse2+s3lmse3
其中，loss表示最终的优化目标，使用三个mse赋予不同的权重组合；
通过对所述训练数据的训练迭代得到所述最优模型。
s103、输入所述待重建图片，并通过所述最优模型对其进行超分辨率图像重建，得到超分辨率图片。
如图4所示，在步骤103后，还包括以下步骤：
s401、通过超像素结构对输出的所述超分辨率图片进行尺寸放大。
具体的，超像素结构可以减少整个网络的计算量，实现快速地重建。超像素层是对图片放大的层，前面的卷积层并没有对图像的尺寸进行改变，所以在经过超像素层之前，图片的大小和一开始的输入图片尺寸是一致的，这样与直接对图片放大后再传入网络，图片尺寸变小，计算复杂度也相应的减小，一张图片重建所需的时间也就更短。对一个hxw的图片放大r倍，其中h代表图片的高度，w代表图片的宽度，这个图片进过超像素层之后，会变为(rh)x(rw)。
如图7所示，在步骤103中，进行超分辨率图像重建包括以下步骤：
s701、选择所述待重建图片的分辨率等级，并通过所述最优模型按照所述分辨率等级进行图像重建；
s702、将重建得到的多个图片中的最后输出的图片作为所述超分辨率图片。
如图11所示，输入一张任意尺寸的图片，输入要放大的分辨率(x2，x3，x4)。该示例图我们输入的放大的分辨率是x3，经过不同层的残差网络可以得到三个超分辨率图片，我们选择最后一层的残差网络输出作为我们最终的超分辨率图片。
上述技术方案中，本发明提供的基于深度学习的超分辨率图像重建方法实现了以下有益效果：
1)采用多层卷积进行深度学习，并且基于残差结构，使获得的最优模型具有较强的超分辨率图像重建能力；
2)采用深度学习的方法构建出最优模型，避免了使用插值法而得到的图像过于平滑的情况，且通过最优模型恢复的高分辨率图像更清晰，高频细节更充分；
3)采用深度学习的方法重建图片以提高分辨率，无需采用频率域方法，从而不会出现频域数据缺少相关性的情况。
如图8-11所示，为本发明实施例还提供的一种基于深度学习的超分辨率图像重建系统，包括：目标获取单元，用以获取待重建图片和训练数据；训练单元，用以将所述训练数据输入基于残差结构的多层卷积神经网络进行学习，并得到超分辨率图像重建的最优模型，所述多层卷积神经网络至少为五层结构；图像重建单元，用以输入所述待重建图片，并通过所述最优模型对其进行超分辨率图像重建，得到超分辨率图片。
具体的，待重建图片是指需要通过多层卷积神经网络重新构建后得到超分辨率的图片；训练数据是指深度学习需要的各种分辨率的图片；每一张图片对应一个图片组，该图片组内包括一高分辨率图片及与其对应的至少一低分辨率图片。选取多张高分辨率图片作为标签；这些高分辨率图片的分辨率在1000x2000左右，然后使用matlab中的resize函数，将这些高分辨率图片分别的下采样到相应的1/2，1/3，1/4，1/5……的分辨率。作为本实施例中优选的，下采样到相应的1/2，1/3，1/4分辨率，则一张1000x2000的图片，相对应的低分率图片分别为500x1000，667x1667，250x500。经过下采样就得到一对低分辨率图片和其相对应的高分辨率图片，将其归为相关联的一图片组；再对选取的其他高分辨率图片进行下采样操作，得到多组样本图片组。考虑到图像边缘的点的像素值会丢失信息，我们选择从每张图片中心截取的图片作为网络的输入图片，例如，对低分辨图片在图片中心裁剪256x256，相应的高分辨图片在中心裁剪512x512等；对每张图片进行裁剪操作，得到训练数据。之所以在网络训练时选择大图，由于图像超分辨率重建是利用图像区域上的上下文信息，对于大的图片，卷积神经网络能学到的信息相比较小的图片会更多，训出的模型表达能力也会更强，重建效果更好。残差结构中每一级卷积除一级卷积以外均为两层结构，一级卷积为三层结构；因此，至少为五层结构是指至少有两级卷积，通过两级卷积得到的图片分辨率会扩大2倍；依次类推，通过三级卷积(七层结构)得到图片分辨率扩大三倍，四级扩大四倍。从而可以通过增加一级卷积，扩大分辨率的倍数，得到超分辨率图片，相应的，在下采样时，也要将训练数据中的高分辨率图片下采样至该倍数的倒数。使用残差学习是因为针对图片超分辨率重建，输入的图片与输出的图片在内容上是很相似的，通过学习残差会更好地对图片进行重建。九层结构与上述的四级卷积对应，从而与步骤1中优选的方式对应，可以对输入的待重建图片扩大2、3、4倍。进一步的，每一层由卷积层和激活函数层组成，且除了第一层不能作为结果输出，其他层能够根据选择的倍数，输出相应的超分辨率图片。得到训练数据后，通过优化目标函数计算所述训练数据中对应的三个低分辨率图片和一个高分辨率图片的均方误差；网络学习的优化目标函数是重建的图片与原始高分辨率图片的均方误差，即每个点的像素差的欧式距离平方之后的平均值；根据所述均方误差调整得到最终的优化目标，通过对所述训练数据的训练迭代得到所述最优模型；最后将待重建图片输入该最优模型进行超分辨率图像重建，得到超分辨率图片。
上述技术方案中，本发明提供的基于深度学习的超分辨率图像重建系统实现了以下有益效果：
1)采用多层卷积进行深度学习，并且基于残差结构，使获得的最优模型具有较强的超分辨率图像重建能力；
2)采用深度学习的方法构建出最优模型，避免了使用插值法而得到的图像过于平滑的情况，且通过最优模型恢复的高分辨率图像更清晰，高频细节更充分；
3)采用深度学习的方法重建图片以提高分辨率，无需采用频率域方法，从而不会出现频域数据缺少相关性的情况。
如图9所示，为本发明实施例还提供的一种基于深度学习的超分辨率图像重建系统，包括：目标获取单元，用以获取待重建图片和训练数据；训练单元，用以将所述训练数据输入基于残差结构的多层卷积神经网络进行学习，并得到超分辨率图像重建的最优模型，所述多层卷积神经网络至少为五层结构；图像重建单元，用以输入所述待重建图片，并通过所述最优模型对其进行超分辨率图像重建，得到超分辨率图片。作为本实施例中优选的，还包括：用户单元，用以将所述待重建图片和高分辨率图片输入所述目标获取单元，以及选择所述待重建图片的分辨率等级。通过用户单元实现用户和系统的交互，可以输入图片，以及选择分辨率等级(x2，x3，x4)。
如图10所示，为本发明实施例还提供的一种基于深度学习的超分辨率图像重建系统，包括：目标获取单元，用以获取待重建图片和训练数据；训练单元，用以将所述训练数据输入基于残差结构的多层卷积神经网络进行学习，并得到超分辨率图像重建的最优模型，所述多层卷积神经网络至少为五层结构；图像重建单元，用以输入所述待重建图片，并通过所述最优模型对其进行超分辨率图像重建，得到超分辨率图片。作为本实施例中优选的，还包括：超像素单元，用以对输出的所述超分辨率图片进行尺寸放大。具体的，超像素结构可以减少整个网络的计算量，实现快速地重建。超像素层是对图片放大的层，前面的卷积层并没有对图像的尺寸进行改变，所以在经过超像素层之前，图片的大小和一开始的输入图片尺寸是一致的，这样与直接对图片放大后再传入网络，图片尺寸变小，计算复杂度也相应的减小，一张图片重建所需的时间也就更短。对一个hxw的图片放大r倍，其中h代表图片的高度，w代表图片的宽度，这个图片进过超像素层之后，会变为(rh)x(rw)。
以上只通过说明的方式描述了本发明的某些示范性实施例，毋庸置疑，对于本领域的普通技术人员，在不偏离本发明的精神和范围的情况下，可以用各种不同的方式对所描述的实施例进行修正。因此，上述附图和描述在本质上是说明性的，不应理解为对本发明权利要求保护范围的限制。