一种基于迁移学习的高质量超透镜图像恢复方法

1.本发明涉及数字图像处理领域，具体涉及一种基于迁移学习的高质量超透镜图像恢复方法。


背景技术：

2.受超透镜结构中纳米元材料、形状和排列的影响，超透镜成像质量受限于相位共振和固有色散，导致超透镜图像信噪比低，边缘及细节信息严重失真，阻碍了进一步的观察与研究。传统的图像质量恢复方法中，均值滤波法虽然可以实现信噪比的提升，但会模糊图像的边缘和特征信息；sobel边缘检测算子虽然对灰度渐变和噪声较多的图像进行边缘增强的效果较好，但由于超透镜图像自身质量差，恢复效果不尽人意。
3.在授权公告号为cn111724318b的发明专利《基于混合高阶偏微分方程模型的图像去噪方法》中公开了一种基于混合高阶偏微分方程模型的图像去噪方法，既能够保护图像边缘信息又能够抑制区域内部的阶梯效应。该方法提出对输入的含噪图像进行二维离散傅里叶变换和有限差分法进行计算，从而找到图像的边缘，进而获得去噪结果图像。公开号为114331891a的专利文献公开了一种基于深度学习的超透镜色差恢复方法，提出了一种基于深度学习的超透镜色差恢复方法，能够实现快速低成本的对超透镜拍摄的图像进行色差恢复。这种方法通过设计色差恢复损失函数，构建标准图像与超透镜色差图像之间的双向映射关系，从而实现超透镜色差的快速恢复，消除图片边缘模糊等问题。但针对初始质量差的超透镜图像，这两种方法在超透镜图像的细节、边缘区域恢复效果不理想，均无法实现高质量的超透镜图像恢复。


技术实现要素：

4.本发明针对传统图像质量恢复方法难以实现高质量的超透镜图像恢复的问题，提出了一种基于迁移学习的高质量超透镜图像恢复方法。该方法提出基于迁移学习的思想，利用预训练网络对自然图像数据集进行预训练，获得训练好的预训练模型；进而获取清晰图像和待恢复超透镜图像，使用预训练模型对待恢复超透镜图像进行预处理，获得超透镜图像数据集；接着利用超透镜图像恢复网络继续对超透镜图像数据集进行训练，获得训练好的超透镜图像恢复模型。基于迁移学习，利用两个串联网络，实现高质量的超透镜图像恢复。
5.一种基于迁移学习的高质量超透镜图像恢复方法，包括：将待恢复超透镜图像ii输入至构建的超透镜图像恢复网络中，得到高质量超透镜图像；构建所述超透镜图像恢复网络过程中：基于迁移学习的思想，利用采集的自然图像数据集对预训练网络进行训练，获得训练好的预训练模型；获取清晰图像和待恢复超透镜图像i，使用预训练模型对待恢复超透镜图像i进行预处理，获得超透镜图像数据集；接着利用超透镜图像数据集对超透镜图像恢复网络进行训练，获得训练好的超透镜图像恢复模型。
6.一种基于迁移学习的高质量超透镜图像恢复方法，包括以下步骤：
7.1)获取高质量自然图像和低质量自然图像，从而得到自然图像数据集；
8.2)利用预训练网络，训练步骤1)中自然图像数据集，得到训练好的预训练模型；
9.3)获取清晰图像和待恢复超透镜图像，并将待恢复超透镜图像输入到步骤2)中训练好的预训练模型，得到超透镜图像，从而获得超透镜图像数据集；
10.4)将步骤3)中的超透镜图像数据集输入到超透镜图像恢复网络中进行训练，获得训练好的超透镜图像恢复模型；
11.5)利用步骤4)，将待恢复超透镜图像输入到训练好的超透镜图像恢复模型中，实现超透镜图像质量恢复。
12.作为优选，所述自然图像数据集由从imagenet数据集中选取的高质量自然图像以及由所述高质量自然图像卷积球差得到的低质量自然图像组成。
13.所述高质量自然图像为像素尺寸大于等于256乘以256的图像；
14.所述低质量自然图像是指由高质量自然图像卷积球差得到的，像素尺寸大于等于256乘以256的图像。
15.所述低质量自然图像为由所述高质量自然图像利用泽尼克多项式，通过matlab与强度为0.3的球差进行卷积得到。
16.所述自然图像数据集由高质量自然图像-低质量自然图像对组成。
17.作为优选，所述预训练模型包含生成器i和判别器i；其中生成器i由三层卷积层组成的编码器、九个残差块组成的转换器和一层反卷积层和一层卷积层组成的解码器串联构成，判别器i由三层卷积层组成。
18.所述清晰图像是指像素尺寸大于等于256乘以256的图像。
19.所述待恢复超透镜图像i为由超透镜拍摄得到的、与所述清晰图像对应的、像素尺寸大于等于256乘以256的图像。
20.所述超透镜图像数据集由清晰图像-超透镜图像对组成。
21.作为优选，所述超透镜图像恢复网络选用cyclegan网络。
22.作为进一步优选，所述cyclegan网络包括超透镜图像转清晰图像的生成对抗神经网络和清晰图像转超透镜图像生成对抗神经网络。其中超透镜图像转清晰图像的生成对抗神经网络包括生成器ii和判别器ii，清晰图像转超透镜图像生成对抗神经网络包括生成器iii和判别器iii。
23.作为更进一步优选，所述生成器ii和生成器iii均由包含两个卷积层，一个池化层的浅层编码器、三个卷积层，一个池化层构成的深层编码器，还有包含三层全连接层的解码器构成；判别器ii和判别器iii均由五层卷积层组成。
24.作为优选，超透镜图像转清晰图像的生成对抗神经网络和清晰图像转超透镜图像生成对抗神经网络结构相同。
25.相对于现有技术，本发明具有以下有益的技术效果：
26.目前传统图像质量恢复方法难以恢复超透镜图像的细节、边缘区域，对信噪比的提升不高。为了实现高质量的超透镜图像恢复，本发明基于迁移学习获得预处理网络，进而将预处理网络与超透镜图像恢复网络串联，不仅能显著提升超透镜图像的信噪比，还能利用迁移学习对自然图像进行训练，将自然图像数据集的细节特征迁移到超透镜图像中，实现边缘细节区域的高质量恢复，从而达到恢复超透镜图像的目的。
27.本发明结构简单，易于实现，适用范围广，通用性强。
附图说明
28.图1是本发明的基于迁移学习的高质量超透镜图像恢复方法的流程图。
29.图2是本发明实例中高质量自然图像p1。
30.图3是本发明实例中低质量自然图像p2。
31.图4是本发明实例中清晰图像p3。
32.图5是本发明实例中待恢复超透镜图像p4。
33.图6是本发明实例中超透镜图像p5。
34.图7是本发明实例中的恢复结果对比p6。
具体实施方式
35.下面结合说明书附图来详细说明本发明，但本发明并不限于此。
36.如图1所示，一种基于迁移学习的高质量超透镜图像恢复方法，包括如下步骤：
37.(1)获取高质量自然图像和低质量自然图像，从而得到自然图像数据集；
38.首先获取自然图像数据集：从imagenet数据集中选取500张像素尺寸为256乘以256，格式为jpg的自然图像作为高质量自然图像，再通过matlab与参数为589.3nm波长、0.3强度球差的泽尼克多项式进行卷积，得到与高质量自然图像一一对应的，500张像素尺寸为256乘以256，格式为jpg的低质量自然图像。图2是本发明实例中其中一张高质量自然图像p1，图3是本发明实例中对应的低质量自然图像p2。
39.(2)利用预训练网络，训练步骤1)中自然图像数据集，得到训练好的预训练模型；
40.接着基于迁移学习的思想，利用预训练网络，训练获得的500对自然图像数据集，得到训练好的预训练模型，其中预训练网络包含生成器g
pre
和判别器d
pre
。其中g
pre
由三层卷积层组成的编码器、九个残差块组成的转换器和一层反卷积层和一层卷积层组成的解码器串联构成，d
pre
由三层卷积层组成。
41.3)获取清晰图像和待恢复超透镜图像，并将待恢复超透镜图像输入到步骤2)中训练好的预训练模型，得到超透镜图像，从而获得超透镜图像数据集；
42.接着将大华dh-tpc-bf2221-b7f8型号的热成像观测型双目中枪摄像机的热成像镜头拍摄得到的720张像素尺寸为256乘以256、格式为jpg的图像作为清晰图像，其镜头的光谱范围为8～14微米，焦距为7毫米，直径为7毫米，光圈值为1。图4是本发明实例中其中一张清晰图像p3。
43.继而将的超透镜拍摄得到720张像素尺寸为256x256、格式为jpg的图像作为待恢复超透镜图像，其光谱范围为8～14微米，焦距为7毫米，直径为7毫米，光圈值为1。图5是本发明实例中与清晰图像p3对应的待恢复超透镜图像p4。
44.进而将待恢复超透镜图像输入训练好的预训练模型，得到超透镜图像，从而获得720对像素尺寸为256乘以256、格式为jpg的、由清晰图像和超透镜图像组成的超透镜图像数据集。图6是本发明实例中超透镜图像p5。
45.4)将步骤3)中的超透镜图像数据集输入到超透镜图像恢复网络中进行训练，获得训练好的超透镜图像恢复模型；
46.接着将超透镜图像数据集输入到超透镜图像恢复网络中进行训练，获得训练好的超透镜图像恢复模型。
47.所述超透镜图像恢复网络本发明选用cyclegan网络，包括超透镜图像转清晰图像的生成对抗神经网络和清晰图像转超透镜图像生成对抗神经网络。其中超透镜图像转清晰图像的生成对抗神经网络包括生成器g
c1
和判别器d
c1
，清晰图像转超透镜图像生成对抗神经网络包括生成器g
c2
和判别器d
c2
。
48.所述g
c1
和g
c2
均由包含两个卷积层，一个池化层的浅层编码器、三个卷积层，一个池化层构成的深层编码器，还有包含三层全连接层的解码器构成；d
c1
和d
c2
均由五层卷积层组成。
49.5)利用步骤4)，将待恢复超透镜图像输入到训练好的超透镜图像恢复模型中，实现超透镜图像质量恢复。
50.最后将待恢复超透镜图像输入到训练好的超透镜图像恢复模型中，实现超透镜图像质量恢复。图7是本发明实例中针对某一个图像的恢复结果对比p6。
51.最后需要说明的是，以上实施方式仅用以说明专利的技术方案而非限制，本领域的普通技术人员来说不脱离本专利原理的前提下，还可以做出若干变型和改进，这也应视为本专利的保护范围。