一种基于生成式对抗模型的图像清晰度增强算法的制作方法

1.本技术涉及数字图像处理领域，尤其涉及一种基于生成对抗模型的图像清晰度增强算法。


背景技术：

2.随着互联网与多媒体技术的不断发展，数字图像已经成为了信息传递的重要媒介，推动着科技创新与社会进步。在数字图像处理的过程中，会有一些操作对图像的清晰度造成影响。例如，中值滤波操作由于在去除椒盐噪声等方面具有良好的效果，被广泛应用于图像去噪、医学图像增强等领域，但是中值滤波操作是一种图像模糊操作，会造成图像中细节信息的丢失，从而无法提取到模糊图像中的多尺度信息，影响图像的清晰程度与视觉质量。因此，设计一种提升模糊图像清晰度的方法，能够让图像中的细节信息更加丰富。


技术实现要素：

3.本技术的目的是针对以上问题，提供一种基于生成对抗模型的图像清晰度增强算法。
4.本技术提供一种基于生成对抗模型的图像清晰度增强算法，包括：
5.s1、选择图像模糊类型，基于图像模糊类型构建图像清晰度增强数据集；
6.s2、采用残差密集块对所述图像清晰度增强数据集进行特征提取形成特征图，并联合多尺度特征提取结构与尺度变化结构，构建图像清晰度增强的深度卷积神经网络；
7.s3、选择判别模型，使用所述图像清晰度增强数据集对所述深度卷积神经网络与所述判别模型进行对抗训练，得到用于提升图像清晰度的生成模型。
8.根据本技术实施例提供的技术方案，步骤s2中，构建图像清晰度增强的深度卷积神经网络包括：
9.通过所述尺度变化结构将所述特征图的尺寸进行降低，并在不同尺度上使用残差密集块提取多尺度特征形成第一特征图；
10.通过所述尺度变化结构将所述第一特征图的尺寸进行放大，在不同尺度上使用所述残差密集块提取多尺度特征，并使用卷积操作进行融合，形成第二特征图；
11.将所述第二特征图与来自所述s1数据集中的输入图像相加；
12.完成图像清晰度增强的操作。
13.根据本技术实施例提供的技术方案，每个尺度的特征图使用2个所述残差密集块进行特征提取；
14.每个所述残差密集块包括五个卷积层和一个通道注意力机制。
15.根据本技术实施例提供的技术方案，所述尺度变化结构，包括：上采样模块与下采样模块，所述上采样模块使用子像素卷积方式实现；所述下采样模块使用池化操作实现。
16.根据本技术实施例提供的技术方案，所述残差密集块中的各卷积层之间的特征传递采用密集连接方式；
17.所述残差密集块的输入和输出采用残差连接的方式。
18.根据本技术实施例提供的技术方案，在对抗训练过程中，包括：
19.由判别模型对生成模型中的清晰度增强数据集中的图片和清晰的图片进行判别；当训练过程趋于稳定，则停止训练，得到用于提升图像清晰度的生成模型。
20.与现有技术相比，本技术的有益效果：本技术首先选择图像的模糊类型，并且基于该类型构建图像清晰度增强数据集；使用残差密集块的方式对该数据集进行特征提取，并联合多尺度特征提取结构与尺度变化结构构建图像清晰度增强的深度卷积神经网络，选择判别模型，进行对抗训练，最终的带用于提升图像清晰度的生成模型，该生成模型中所输出的图像较其他基于gan的图像清晰度提升方法所输出的图像来说，主观视觉效果更明显，能够获得很高的图像质量评价指标，能够实现端到端的图像清晰度增强，输入模糊图像，可以直接输出模糊图像。
附图说明
21.图1为本技术实施例提供的基于生成对抗模型的图像清晰度增强算法的流程示意图；
22.图2为本技术实施例提供的基于生成对抗模型的图像清晰度增强算法的原始图像与经过中值滤波模糊处理后的图像；
23.图3为本实施例方法对经过中值滤波处理后图像的恢复效果图；
24.图4为本技术实施例的网络结构图；
25.图5为本技术实施例中残差密集块的结构图。
具体实施方式
26.为了使本领域技术人员更好地理解本技术的技术方案，下面结合附图对本技术进行详细描述，本部分的描述仅是示范性和解释性，不应对本技术的保护范围有任何的限制作用。
27.请参考图1-图5，本实施例提供一种基于生成对抗模型的图像清晰度增强算法，包括：
28.s1、选择图像模糊类型，基于图像模糊类型构建图像清晰度增强数据集；
29.具体的，在本实施例中，首先制作一个用于提升图像清晰度的原始数据集，该原始数据集一共包含12000张图像，这12000张图像分别从五个常见的数据集中随机抽取并进行灰度转换得到，这五个图像数据集分别为bossbase1.01数据集、bows2数据集、ucid数据集、voc2012数据集以及coco数据集，每个数据集均提供了2400张图像；本实施例在所述原始数据集内随机抽取出10000张图像作为第一训练集，剩余的2000张图像作为第一测试集，对所述第一训练集与所述第一测试集内部的图像添加类别标签，对所述第一训练集中的10000张图像与所述第一测试集中的2000张图像进行中值滤波操作分别形成第二训练集与第二测试集，对所述第二训练集与所述第二测试集内部的图像添加类别标签，将所述第一训练集与所述第二训练集混合得到用于提升图像清晰度的原始数据集。
30.s2、采用残差密集块对所述图像清晰度增强数据集进行特征提取形成特征图，并联合多尺度特征提取结构与尺度变化结构，构建图像清晰度增强的深度卷积神经网络；
31.具体的，在本实施例中，所述尺度变化结构包括上采样模块与下采样模块，所述上采样模块使用子像素卷积方式实现；所述下采样模块使用池化操作的方式实现；
32.所述第二训练集中的图像先使用残差密集块进行特征提取，形成特征图，将所述特征图输入到编码结构中，所述特征图会经过两次池化操作，所述池化操作用于减小所述特征图的分辨率，两次所述池化操作过程中会将所述特征图的尺度降低至1/2与1/4，并在不同尺度上使用残差密集块对每一尺度的特征进行提取形成第一特征图；
33.在解码结构中，通过两次所述子像素卷积操作将所述第一特征图的尺寸放大至所述第一特征图的两倍与四倍，所述子像素卷积操作用于增加所述第一特征图的分辨率，在不同尺度上使用所述残差密集块对每一尺度的特征进行提取，并使用卷积操作进行融合，形成第二特征图；
34.将所述第二特征图与来自所述s1数据集中的输入图像进行相加，得到图像清晰度增强的深度卷积神经网络。
35.每个所述残差密集块中都包含4个卷积层，四个leakyrelu激活函数以及一个通道注意力机制，每一个所述卷积层中卷积核尺寸为3
×
3，步长为1，四个所述卷积层以密集连接的形式组合在一起，将所述第二训练集中的图像与所述第二特征图进行相加，从而实现残差连接操作。
36.s3、选择判别模型，使用所述图像清晰度增强数据集对所述深度卷积神经网络与所述判别模型进行对抗训练，得到用于提升图像清晰度的生成模型。
37.具体的，在本实施例中，使用预先准备好的第一训练集与第二训练集对提出的图像清晰度增强网络与判别模型进行对抗训练，在训练过程中，优化器选择adam，所述对抗训练的初始学习率为1
×
10-4
，并且每在所述第一训练集与所述第二训练集上训练5次，学习率下降5％；为了使训练过程更加稳定，使用感知损失和l1损失对生成模型进行监督，使用分类任务常用的交叉熵损失对判别模型进行监督，所述判别模型为dct-cnn，在所述对抗训练过程中，所述判别模型需要分辨出图像是所述第一训练集中的图像还是经过生成模型提升了清晰度的所述第二训练集中的图像，而生成模型的参数迭代方向是尽可能将所述第二训练集中的模糊图像变得清晰，使所述判别模型难以分辨，在所述对抗训练结束之后，便得到了用于提升图像清晰度的生成模型。
38.对本实施例得到的用于提升图像清晰度的生成模型，使用所述第一测试集与所述第二测试集进行测试，测试的平台的cpu为i5-9400f，gpu为nvidia rtx3060 12g，操作系统为ubuntu 20.04lts；将所述第二测试集输入步骤s3中形成的所述用于提升图像清晰度的生成模型中进行处理，得到第三测试集，将所述第三测试集中的图像与所述第一测试集中的图像使用峰值信噪比psnr与ssim计算图像相似度，计算出的结果用来评判图像清晰度得到提升的效果，测试的结果如表1所示：
39.表1模型在测试集上的测试结果
[0040][0041]
由表1数据可知，本发明方法能够有效提升图像的清晰度，且其与第一测试集中图像相比较，psnr指标提升了3.94；ssim指标提升了0.1116。
[0042]
本文中应用了具体个例对本技术的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本技术的方法及其核心思想。以上所述仅是本技术的优选实施方式，应当指出，由于文字表达的有限性，而客观上存在无限的具体结构，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以作出若干改进、润饰或变化，也可以将上述技术特征以适当的方式进行组合；这些改进润饰、变化或组合，或未经改进将发明的构思和技术方案直接应用于其他场合的，均应视为本技术的保护范围。