一种基于超像素和卷积神经网络的图像超分辨方法与流程

本发明涉及一种图像超分辨方法，特别涉及一种基于超像素和卷积神经网络的图像超分辨方法，属于图像处理技术领域。

背景技术：

利用现有的计算机计算平台和算法软件开发工具对单幅图像进行超分辨复原，可以对低分辨的图像进行超分辨处理得到高分辨图像。从一幅低分辨率图像中得到一幅高分辨图像是计算机视觉的经典问题之一，在成像过程中，由于很多原因(相机感光条件、不同的光照、相机的抖动等)图像会丢失细节和高频组件。图像的超分辨尝试恢复图像丢失的细节数据并最大限度的减少图像的模糊和混叠。图像超分辨方法用于许多计算机视觉和图像处理应用程序中。随着计算机的精度和计算能力的发展，基于软件算法的超分辨方法得到广泛关注。超分辨主要应用在车牌的检测和识别、人脸检测、自动目标识别、遥感卫星和医疗图像处理、视频转换传输、、图像增强、卫星图像处理、天文图像处理、显微图像处理、图像拼接等监控检测和图像处理领域。

图像的超分辨是基于图像空间的纹理特征信息、颜色特征信息、几何特征信息、统计特征信息对低分辨的空间信息进行复原，从低分辨的图像中恢复出高分辨图像，目前的图像超分辨主要方法有基于插值的、基于机器学习和深度学习的方法，目前主要的深度学习的方法有srcnn、srgan、vdsr、drcn等。

这些方法在计算机视觉和图像处理中的广泛应用，基于插值的方法采用领域采样点进行加权平均来估算待求点的值，该方法简单，速度快，但对于高频纹理细节的处理不理想。基于重构的方法基本都是先构建图像的降质模型，通过估计的方法求解并优化超分辨的重建结果。效果的提升的水平受到限制。最近，应用最多的是深度卷积神经网络解决图像超分辨。可以在高分辨图像和低分辨图像之间建立端到端的卷积神经网络模型，此模型可以对输入的一幅低分辨图像进行超分辨处理输出一幅高分辨图像。例如从2014年的dongetal.等人第一次提出srcnn模型，用卷积神经网络方法实现对图像进行超分辨率处理，通过研究人员对卷积神经网和深度学习的不断研究加深网络的深度和宽度的同时，提高了深度网络处理计算机视觉任务的能力，2016年vdsr通过引入残差网络学习高分辨和低分辨之间的高频部分来提升图像的超分辨效果。2017年的sgan通过引入生成对抗网络来对高分辨图像进行生成，通过生成器和判别器训练出生成图像高频细节的端到端的图像超分辨网络模型。这些卷积神经网络的算法，在一定程度上提高了对低分辨图像进行超分辨处理的效果。但是，随着网络的深度不断加深，深度卷积神经网络的消耗比较大的计算资源，造成一定的网络模型训练困难。目前的方法中，简单的堆叠残差块加深网络很难获得更好的改进。是否通过构建非常深的网络提高图像超分辨，是业界研发人员的一个方向。

深度的卷积神经网络在处理图像的区域特征中，对于不同的信息特征缺乏灵活性。图像超分辨过程是一个本领域研发人员试图恢复尽可能多的高频信息的纹理信息，但是现阶段很难对于真实的纹理噪声恢复，使图像看上去更加逼真于真实的图像。

技术实现要素：

针对单幅图像的超分辨，本发明的主要目的在于一种基于超像素和卷积神经网络的图像超分辨方法，以克服现有技术的不足。

为实现前述发明目的，本发明实施例提供了一种基于超像素和卷积神经网络的图像超分辨方法，其包括：

输入图像；

对图像依次进行超像素块特征提取、超像素特征映射和超像素特征重建，获得重建后的超像素特征；

对图像依次进行浅层特征提取、深层特征提取和特征融合，获得降维后的特征；

将所述重建后的超像素特征与所述降维后的特征进行特征融合，获得融合特征；

采用尺度调整模块对所述融合特征进行提升，获得提升尺度的特征图；以及

通过重建模块对所述提升尺度的特征图进行重建，得到超分辨重建的结果并输出。

在一些实施例中，所述基于超像素和卷积神经网络的图像超分辨方法包括：

利用超像素特征块提取和映射网络对图像依次进行超像素块特征提取、超像素特征映射和超像素特征重建，获得重建后的超像素特征ff2；以及

通过深度残差注意力网络对图像依次进行浅层特征提取、深层特征提取和特征融合，获得降维后的特征ff1。

在一些具体实施例中，所述基于超像素和卷积神经网络的图像超分辨方法具体包括：

定义超像素块提取模块hslic(·),通过超像素提取模块得到图像的超像素块特征fsf＝hslic(ilr)；

通过定义非线性映射关系hmapping(·)，将提取的超像素特征块经过特征映射，得到映射的超像素映射特征fsmf＝hmapping(fsf)；

对超像素块进行重建hsrec(·)，得到重建后的超像素特征ff2＝hsrec(fsmf)。

进一步地，所述基于超像素和卷积神经网络的图像超分辨方法具体包括：

定义网络模型的输入ilr和输出为isr，定义卷积操作为hlf(·)，通过一层卷积进行浅层特征的提取，得到浅层特征f1＝hlf(ilr)；

通过深度残差注意力网络hdran(·)进行图像的深度特征提取，得到图像的深层特征fdf＝hdra(f1)，继而通过特征融合hff(·)降低所获图像的深层特征数据的维度，获得降维后的特征ff1＝hff(fdf)。

进一步地，所述基于超像素和卷积神经网络的图像超分辨方法具体包括：

通过特征融合将重建后的超像素特征ff2与降维后的特征ff1融合，得到融合特征

通过向上的尺度调整模块hup(·)对所述融合特征进行处理，得到提升尺度的特征图fup＝hup(fff)；

通过重建模块hrec(·)对所述提升尺度的特征图进行重建，得到超分辨重建的结果ihr＝hrec(fup)。

与现有技术相比，本发明的优点包括：

本发明的基于超像素和卷积神经网络的图像超分辨方法利用深度残差注意力卷积神经网络和超像素网络建立模型对图像进行超分辨复原，可实现超分辨处理后具有更加逼真的纹理细节和逼真的纹理噪声的图像，实现现有技术难以达到的快速高效的网络模型并提高重建的鲁棒性，使重建的图像更加逼真于现实图像。

附图说明

图1是本发明一典型实施案例中一种基于超像素和卷积神经网络的图像超分辨方法的流程图。

图2a-图2f分别是本发明一典型实施案例中在测试集set5选取一张图像比较了第一个网络分支深度卷积神经网络提高2个尺度因子在不同方法下的视觉效果对比图。

图3a-图3d分别是本发明一典型实施案例中在超像素特征提取中不同特征提取块的超像素块特征提取的视觉效果对比图。

图4a-图4c分别是本发明一典型实施案例中在超像素和深度卷积神经网络结合下，最终的实验视觉效果对比图。

具体实施方式

鉴于现有技术中的不足，本案发明人经长期研究和大量实践，得以提出本发明的技术方案，其主要是：在图像超像素部分，本案发明人通过超像素，将图像划分为具有相似纹理、颜色、亮度等特征的相邻像素构成的有一定视觉意义的不规则像素块，对低分辨图像纹理和噪声区域划分成不规则像素块，实现对相似特征区域性的聚类；同时，通过构建深度卷积神经网络对图像的区域特征通道建立相互的联系自适应的调整特征区域与相似特征区域建立映射关系，通过特征融合，最后输出一幅带有逼真纹理和逼真纹理噪声的图像，实现现有技术难以达到的快速高效的网络模型并提高重建的鲁棒性，使重建的图像更加逼真于现实图像。

本发明实施例的一个方面提供了一种基于超像素和卷积神经网络的图像超分辨方法，其包括：

输入图像；

对图像依次进行超像素块特征提取、超像素特征映射和超像素特征重建，获得重建后的超像素特征；

对图像依次进行浅层特征提取、深层特征提取和特征融合，获得降维后的特征；

将所述重建后的超像素特征与所述降维后的特征进行特征融合，获得融合特征；

采用尺度调整模块对所述融合特征进行提升，获得提升尺度的特征图；以及

通过重建模块对所述提升尺度的特征图进行重建，得到超分辨重建的结果并输出。

在本发明中，由于整个模型分为深度残差注意力卷积神经网络hdran(·)和超像素特征块提取和映射网络hspn(·)，深度卷积神经网络通过残差学习对图像进行超分辨重建需要图像特征的提取和融合，同时，将超像素分割和神经网络结合进行纹理和纹理噪声特征聚类、映射。然后，将两个分支网络提取和聚类的特征进行融合，通过尺度调整模块提升图像尺度，最后通过重建得到超分辨输出图像。

在一些实施例中，所述基于超像素和卷积神经网络的图像超分辨方法包括：

利用超像素特征块提取和映射网络对图像依次进行超像素块特征提取、超像素特征映射和超像素特征重建，获得重建后的超像素特征ff2；以及

通过深度残差注意力网络对图像依次进行浅层特征提取、深层特征提取和特征融合，获得降维后的特征ff1。

在一些具体实施例中，所述基于超像素和卷积神经网络的图像超分辨方法具体包括：

定义超像素块提取模块hslic(·),通过超像素提取模块得到图像的超像素块特征fsf＝hslic(ilr)；

通过定义非线性映射关系hmapping(·)，将提取的超像素特征块经过特征映射，得到映射的超像素映射特征fsmf＝hmapping(fsf)；

对超像素块进行重建hsrec(·)，得到重建后的超像素特征ff2＝hsrec(fsmf)。

进一步地，所述基于超像素和卷积神经网络的图像超分辨方法具体包括：

定义网络模型的输入ilr和输出为isr，定义卷积操作为hlf(·)，通过一层卷积进行浅层特征的提取，得到浅层特征f1＝hlf(ilr)；

通过深度残差注意力网络hdran(·)进行图像的深度特征提取，得到图像的深层特征fdf＝hdra(f1)，继而通过特征融合hff(·)降低所获图像的深层特征数据的维度，获得降维后的特征ff1＝hff(fdf)。

在一些更为具体的实施例中，所述基于超像素和卷积神经网络的图像超分辨方法具体包括：

通过特征融合将重建后的超像素特征ff2与降维后的特征ff1融合，得到融合特征

通过向上的尺度调整模块hup(·)对所述融合特征进行处理，得到提升尺度的特征图fup＝hup(fff)；

通过重建模块hrec(·)对所述提升尺度的特征图进行重建，得到超分辨重建的结果ihr＝hrec(fup)。

进一步地，所述基于超像素和卷积神经网络的图像超分辨方法包括：对深度残差注意力网络选择l1损失函数进行训练和优化。

在一些实施例中，所述基于超像素和卷积神经网络的图像超分辨方法具体包括：

对深度残差注意力网络，给出训练集进行训练，以使l1损失函数最小：

进一步地，所述基于超像素和卷积神经网络的图像超分辨方法包括：对超像素特征块提取和映射网络选择l1损失函数进行训练和优化。

在一些实施例中，所述基于超像素和卷积神经网络的图像超分辨方法具体包括：对超像素特征块提取和映射网络，给出超像素块的训练集以使l1损失函数最小：

进一步地，所述图像为低分辨率图像。

综上所述，本发明的基于超像素和卷积神经网络的图像超分辨方法利用深度残差注意力卷积神经网络和超像素网络建立模型对图像进行超分辨复原，可实现超分辨处理后具有更加逼真的纹理细节和逼真的纹理噪声的图像，实现现有技术难以达到的快速高效的网络模型并提高重建的鲁棒性，使重建的图像更加逼真于现实图像。

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及具体实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

请参阅图1，在一些较为具体的实施方案中，一种基于超像素和卷积神经网络的图像超分辨方法主要包括如下步骤：

(一)深度残差注意力卷积神经网络分支：

1)浅层特征提取：

首先定义网络模型的输入ilr和输出为isr，定义卷积操作为hlf(·)。通过一层卷积进行浅层特征的提取得到浅层特征f1＝hlf(ilr)。

2)深层特征提取：

通过深度残差注意力网络(dran)进行有效的图像的深度特征提取和融合，通过深度残差注意力网络得到图像的深层特征fdf＝hdra(f1)。

3)特征融合：

由于得到的图像的生层特征数据维度高，冗余信息复杂，需要通过特征融合hff(·)降低数据维度，提高训练网络的速度，通过特征融合降维后的特征为ff1＝hff(fdf)。

(二)超像素和卷积神经网络分支：

1)超像素块特征提取：

首先定义超像素块提取模块hslic(·),通过超像素提取模块得到图像的超像素块特征fsf＝hslic(ilr)。

2)超像素块特征映射：

将提取的超像素特征块，通过定义非线性映射关系hmapping(·)，经过特征映射得到映射的超像素映射特征fsmf＝hmapping(fsf)。

3)超像素块特征重建：

通过超像素的特征提取和映射，要得到真实的纹理细节和噪声需要对超像素块进行重建hsrec(·)，得到该分支网络重建后的超像素特征ff2＝hsrec(fsmf)。

(三)尺度调整网络分支：

1)深度卷积神经网络和超像素网络映射的特征融合：

通过特征融合将两个网络分支的特征融合得到融合特征：

2)尺度调整模块：

为了使提高图像的尺度，本案发明人通过向上的尺度调整模块hup(·)得到尺度调整后的特征图：fup＝hup(fff)。

3)图像重建模块：

最后，通过重建模块hrec(·)对提升尺度的特征图进行重建得到超分辨重建的结果：ihr＝hrec(fup)。

(四)定义损失函数

对两个分支网络，本案发明人分开训练，先训练第一个网络分支深度卷积神经网络，为了提高网络模型的效率和鲁棒性，选择l1损失函数训练和优化，对于第一个分支的深度卷积神经网络，给出训练集训练的目的是使l1损失函数最小：

对于第二个网络分支超像素网络，同样的选择l1损失函数训练和优化，给出超像素块的训练集训练的目的是使l1损失函数最小：

进一步地，在一些实施例中，本发明采用一个公开的数据集div2k和四个公开的测试集set5、set4、bsd100、urban100。

图2a-图2f示出了在测试集set5选取一张图像比较了第一个网络分支深度卷积神经网络提高2个尺度因子在不同方法下的超分辨图像视觉效果对比，可以看出性能的改进。

图3a-图3d比较了在超像素特征提取网络下不同特征提取块的超像素块特征提取的效果。

图4a-图4c示出了在超像素和深度卷积神经网络结合下，最终的实验视觉效果对比图，即整个网络模型下的逼近真实纹理和真实噪声的视觉效果对比图。

藉由上述技术方案，本案发明人通过超像素，将图像划分为具有相似纹理、颜色、亮度等特征的相邻像素构成的有一定视觉意义的不规则像素块，对低分辨图像纹理和噪声区域划分成不规则像素块，实现对相似特征区域性的聚类；同时，通过构建深度卷积神经网络对图像的区域特征通道建立相互的联系自适应的调整特征区域与相似特征区域建立映射关系，通过特征融合，最后输出一幅带有逼真纹理和逼真纹理噪声的图像，实现现有技术难以达到的快速高效的网络模型并提高重建的鲁棒性，使重建的图像更加逼真于现实图像。

应当理解，上述实施例仅为说明本发明的技术构思及特点，其目的在于让熟悉此项技术的人士能够了解本发明的内容并据以实施，并不能以此限制本发明的保护范围。凡根据本发明精神实质所作的等效变化或修饰，都应涵盖在本发明的保护范围之内。