低分辨中间编码图像的超分辨与数字解码集成处理方法

本发明属于计算光学成像，具体涉及一种低分辨中间编码图像的超分辨与数字解码集成处理方法。

背景技术：

1、波前编码成像技术是一种结合光学编码和数字解码两步成像的计算光学成像技术。波前编码成像系统通过在光学系统的光阑附近增加特殊面形的光学相位板，对场景入射光进行编码调制，使得在宽的环境温度范围内或者较大的焦深范围内成像探测器输出的中间编码图像具有高度一致性，再对中间编码图像进行数字解码得到清晰图像。由于波前编码成像系统的光学点扩散函数(psf)在焦平面上具有大面积的支撑域，有利于保留由于探测器离散采样丢失的高频信息，使得波前编码成像技术有望实现超分辨成像。

2、目前，如何对中间编码图像进行超分辨重构和数字解码去模糊处理得到高分辨的清晰解码图像是个有待解决的问题。虽然，国际上提出图像超分辨和去模糊的学习模型，但现有学习模型用于波前编码超分辨成像方案中存在局限性，具体包括：①现有学习模型的输入针对清晰低分辨图像或者包含由运动引起模糊的低分辨图像，而波前编码成像方案中的输入为经过光学编码的中间编码图像；②现有学习模型的解决思路主要是通过采用复杂的网络架构或者增加网络层数和深度来取得高质量超分辨图像，而波前编码超分辨成像方案需要设计轻量化的神经网络模型。

技术实现思路

1、为了解决现有技术中存在的上述问题，本发明提供了一种低分辨中间编码图像的超分辨与数字解码集成处理方法。本发明要解决的技术问题通过以下技术方案实现：

2、本发明提供了一种低分辨中间编码图像的超分辨与数字解码集成处理方法，包括：

3、s1：建立包括高分辨清晰图像集、高分辨中间编码图像集和低分辨中间编码图像集的图像数据库；

4、s2：构建超分辨子网络并利用所述低分辨中间编码图像集和所述高分辨中间编码图像集对所述超分辨子网络进行预训练，获得预训练后的超分辨子网络；

5、s3：构造超分辨与数字解码集成网络模型，所述超分辨与数字解码集成网络模型包括串联的超分辨子网络和数字解码子网络；

6、s4：利用所述低分辨中间编码图像集和所述高分辨清晰图像集，对所述超分辨与数字解码集成网络模型进行训练，获得训练后的超分辨与数字解码集成网络模型；

7、s5：将原始低分辨中间编码图像输入所述训练后的超分辨子网络和数字解码子网络集成网路模型，获得对应的超分辨解码图像。

8、在本发明的一个实施例中，所述s1包括：

9、s1.1：利用红外相机采集预定数量的清晰图像，作为高分辨清晰图像集；

10、s1.2：根据波前编码光学成像系统的光机结构参数，利用光学仿真软件，加载所述高分辨清晰图像集，生成高分辨中间编码图像集；

11、s1.3：对所述高分辨清晰图像集的每幅图像进行2×2的像素合并操作，形成低分辨中间编码图像集。

12、在本发明的一个实施例中，所述s2包括：

13、s2.1：构建超分辨子网络，所述超分辨子网络包括图像插值模块、残差网络模块和加和模块，其中，所述图像插值模块输入低分辨中间编码图像，用于生成超分辨中间编码图像的主成分信息，所述残差网络模块输入所述超分辨中间编码图像的主成分信息，生成超分辨中间编码图像的残差信息；所述加和模块的输入端分别连接所述图像插值模块和所述残差网络模块，用于对所述主成分信息和所述残差信息进行加和，生成超分辨中间编码图像；

14、s2.2：选取所述低分辨中间编码图像集中的图像作为样本特征，选取所述高分辨中间编码图像集中对应的图像作为标签，构成训练样本；

15、s2.3：将所述低分辨中间编码图像集中的图像输入构建的超分辨子网络得到超分辨中间编码图像，基于所述超分辨中间编码图像和对应的高分辨中间编码图像标签，利用损失函数计算损失值，更新所述超分辨子网络的参数，生成预训练后的超分辨子网络；

16、s2.4：将所述低分辨中间编码图像集中的图像输入预训练后的超分辨子网络，获得对应的超分辨中间编码图像。

17、在本发明的一个实施例中，所述残差网络模块包括依次连接的n+1个卷积块，其中，第k个卷积块由一层卷积层+relu激活函数构成，1≤k≤n；最后一个卷积块由一层卷积层+tanh激活函数构成。

18、在本发明的一个实施例中，所述s2.3包括：

19、将所述训练样本中的低分辨中间编码图像输入到所述超分辨子网络中进行训练，得到超分辨中间编码图像；

20、计算生成的所述超分辨中间编码图像与训练样本中的高分辨中间编码图像的ssim值，以(1-ssim)作为损失函数计算损失值；

21、在损失值不收敛的情况下，基于计算得到的损失值，利用反向传播算法更新所述超分辨子网络的参数，在损失值收敛的情况下，将当前超分辨子网络作为预训练后的最终超分辨子网络。

22、在本发明的一个实施例中，所述数字解码子网络包括维纳滤波图像复原模块、浅层卷积神经网络模块和融合模块，其中，

23、所述维纳滤波图像复原模块输入所述超分辨中间编码图像，并利用维纳滤波图像复原方法生成数字解码图像的主成分信息；所述浅层卷积神经网络模块输入所述超分辨中间编码图像，用于生成数字解码图像的残差信息；所述融合模块用于对所述数字解码图像的主成分信息和所述数字解码图像的残差信息进行通道拼接，并将拼接后生成图像进行逐像素多通道自适应加权融合，生成超分辨解码图像。

24、在本发明的一个实施例中，所述浅层卷积神经网络模块包括相互连接的四个卷积块，其中，第一个卷积块、第二个卷积块、第三个卷积块均由1层卷积层+relu激活函数组成，第四个卷积块由一层卷积层+tanh激活函数组成。

25、在本发明的一个实施例中，所述s4包括：

26、保持预训练的超分辨子网络的网络参数固定，以低分辨中间编码图像集为样本，以高分辨清晰图像集为标签，将所述低分辨中间编码图像集输入构建的超分辨与数字解码集成网络中生成超分辨解码图像，计算生成的超分辨解码图像与对应的高分辨清晰图像标签的ssim指标值，以(1-ssim)作为损失函数计算损失值；

27、在所述损失值不收敛的情况下，基于计算得到的损失值，利用反向传播算法更新所述数字解码子网络的参数，在损失值收敛的情况下，将当前超分辨与数字解码集成网络模型作为经训练的最终超分辨与数字解码集成网络模型。

28、与现有技术相比，本发明的有益效果有：

29、本发明通过建立高分辨清晰图像、高分辨中间编码图像、低分辨中间编码图像三类图像集的图像数据库，训练优化超分辨子网络，训练优化中间编码图像的超分辨与数字解码集成网络模型，测试中间编码图像的最优的超分辨与数字解码集成网络模型，使得本发明提供的低分辨中间编码图像的超分辨与数字解码集成处理方法具有能够将模糊的低分辨中间编码图像有效处理为清晰的超分辨解码图像、可解释性好、轻量化的优点。

30、以下将结合附图及实施例对本发明做进一步详细说明。