一种红外图像超分算法及其移植至前端设备的方法与流程

本发明涉及红外图像处理领域，特别涉及一种红外图像超分算法及将红外图像超分算法移植至前端设备的方法。

背景技术：

1、红外成像技术有着目标探测能力强、抗干扰能力强等优点，在恶劣天气状况下也能够很好地探测到目标，因此被广泛应用于各个行业。但是由于成像原理等技术上的限制，红外探测器获取的原始图像包含的纹理信息较少，并且大部分红外设备成像的分辨率较低，图像中物体的边缘信息不明显，视觉效果较差，不利于后续如图像分析等工作的开展，因此，对于红外图像进行增强超分处理具有重要意义。目前传统算法依然是增强红外图像信息的主流方法，包括对红外图像进行锐化、提高红外图像的对比度等方法，但这类方法的鲁棒性较差，使用有较大的局限性，而且增强的效果不够明显。

2、另外，目前大部分红外设备都是基于前端产品进行集成封装，当前需要考虑算法应用的载体，无法仅限于服务器端，前端设备采集图像到后端的通信费用是非常昂贵的。

3、因此，如何将红外图像超分算法应用至前端设备，也是急需解决的技术问题。

4、本背景技术所公开的上述信息仅仅用于增加对本申请背景技术的理解，因此，其可能包括不构成本领域普通技术人员已知的现有技术。

技术实现思路

1、本发明提出了一种红外图像超分算法，解决了现有算法图像增强效果不够明显的技术问题。

2、本发明提出了一种红外图像超分算法移植至前端设备的方法，解决了红外图像超分算法无法应用至前端设备的技术问题。

3、为实现上述发明目的，本发明采用下述技术方案予以实现：

4、一种红外图像超分算法，所述算法包括以下步骤：

5、s1：输入图像；

6、s2：通过图像生成器对所述输入图像进行处理得到生成图像；

7、s3：输出所述生成图像；

8、所述图像生成器为通过图像判别器和损失函数优化的图像生成器；所述图像判别器用于评估所述图像生成器生成的图像与真实高分辨率图像之间的相似度；所述图像生成器的损失函数包括图像梯度差分损失函数，所述图像梯度差分损失函数为所述生成图像与所述真实高分辨率图像在横向和纵向的梯度差异之和。

9、如上所述的红外图像超分算法，所述图像梯度差分损失函数；

10、其中，表示真实高分辨率图像第i行第j列的像素点的值；表示真实高分辨率图像第i-1行第j列的像素点的值；表示真实高分辨率图像第i行第j-1列的像素点的值；表示生成图像在第i行第j列像素点的值；表示生成图像第i-1行第j列像素点的值；表示生成图像在第i行第j-1列像素点的值；α表示一个大于等于1的整数。

11、如上所述的红外图像超分算法，所述图像生成器的损失函数包括距离损失函数，所述距离损失函数；

12、其中，y表示所述真实高分辨率图像的像素矩阵，表示所述图像生成器生成的图像的像素矩阵。

13、如上所述的红外图像超分算法，所述图像生成器的损失函数包括感知损失函数，所述感知损失函数；

14、其中，表示所述图像生成器的vgg网络中第i层输出的真实高分辨率图像的像素矩阵，表示所述图像生成器的vgg网络中第i层输出的真实高分辨率图像的像素矩阵，表示所述图像生成器的vgg网络中第i层输出的生成的图像的像素矩阵；是其权重参数。

15、如上所述的红外图像超分算法，所述图像判别器的损失函数包括对抗损失函数，所述对抗损失函数；

16、其中，−ed(y)[d(y)]表示所述真实高分辨率图像的平均判别结果；表示所述图像生成器生成的生成图像的平均判别结果；表示梯度惩罚项，其中 y- 表示所述真实高分辨率图像和所述生成图像之间的插值样本，表示所述图像判别器在插值样本处的梯度与1的差值的平方。

17、如上所述的红外图像超分算法，对所述输入图像进行单层卷积操作，所述单层卷积操作的输入维度为b×3×h×w，输出维度为b×12××。

18、一种将上述的红外图像超分算法移植至前端设备的方法，将所述图像生成器导出为pt格式的模型，将所述pt格式的模型转换为所述前端设备适配的wk格式的模型；在模型转换的过程中进行矩阵点乘的mul算子的转换。

19、如上所述的红外图像超分算法移植至前端设备的方法，将所述pt格式的模型转换为所述前端设备适配的wk格式的模型的方法为：

20、将所述pt格式的模型转换为onnx格式的模型，将所述onnx格式的模型转换为caffe格式的模型，将所述caffe格式的模型转换为所述前端设备适配的wk格式的模型；

21、其中，在所述onnx格式的模型转换为所述caffe格式的模型过程中进行矩阵点乘的mul算子的转换。

22、如上所述的红外图像超分算法移植至前端设备的方法，在所述onnx格式的模型转caffe格式的模型过程中进行矩阵点乘的mul算子的转换方法为：

23、将所述mul算子转换为所述caffe格式的模型的scale算子，所述mul算子的常量值写入对应的所述caffe格式的模型的网络层的权重中。

24、如上所述的红外图像超分算法移植至前端设备的方法，在算子转换过程中进行算子融合优化，将mul+add结构转换为一个eltwise算子，系数分别为1和所述mul算子的常量值。

25、与现有技术相比，本发明的优点和积极效果是：

26、本发明红外图像超分算法的图像生成器为通过图像判别器和损失函数优化的图像生成器，图像生成器的损失函数包括图像梯度差分损失，图像梯度差分损失函数为图像生成器生成图像与真实高分辨率图像在横向和纵向的梯度差异之和。图像梯度差分损失能够捕捉到图像中的边缘、纹理等细节信息，从而大大加强了红外图像的细节信息，提高了清晰度，提高了红外图像的增强效果。

27、本发明将红外图像超分算法移植到前端设备上，可直接在前端设备上对图像进行处理，大大降低了前端设备采集图像并传输到后端设备的通信费用。

28、结合附图阅读本发明的具体实施方式后，本发明的其他特点和优点将变得更加清楚。

技术特征：

1.一种红外图像超分算法，其特征在于，所述算法包括以下步骤：

2.根据权利要求1所述的红外图像超分算法，其特征在于，所述图像梯度差分损失函数；

3.根据权利要求1所述的红外图像超分算法，其特征在于，所述图像生成器的损失函数包括距离损失函数，所述距离损失函数；

4.根据权利要求1所述的红外图像超分算法，其特征在于，所述图像生成器的损失函数包括感知损失函数，所述感知损失函数；

5.据权利要求1所述的红外图像超分算法，其特征在于，所述图像判别器的损失函数包括对抗损失函数，所述对抗损失函数；

6.根据权利要求1-5任意一项所述的红外图像超分算法，其特征在于，对所述输入图像进行单层卷积操作，所述单层卷积操作的输入维度为b×3×h×w，输出维度为b×12××。

7.一种将权利要求1-6任意一项所述的红外图像超分算法移植至前端设备的方法，其特征在于，将所述图像生成器导出为pt格式的模型，将所述pt格式的模型转换为所述前端设备适配的wk格式的模型；在模型转换的过程中进行矩阵点乘的mul算子的转换。

8.根据权利要求7所述的红外图像超分算法移植至前端设备的方法，其特征在于，将所述pt格式的模型转换为所述前端设备适配的wk格式的模型的方法为：

9.根据权利要求8所述的红外图像超分算法移植至前端设备的方法，其特征在于，在所述onnx格式的模型转caffe格式的模型过程中进行矩阵点乘的mul算子的转换方法为：

10.根据权利要求9所述的红外图像超分算法移植至前端设备的方法，其特征在于，

技术总结
本发明涉及红外图像处理领域，公开了一种红外图像超分算法及其移植至前端设备的方法，红外图像超分算法通过图像生成器生成高分辨率图像，图像生成器的损失函数包括图像梯度差分损失，图像梯度差分损失函数为图像生成器生成图像与真实高分辨率图像在横向和纵向的梯度差异之和。图像梯度差分损失能够捕捉到图像中的边缘、纹理等细节信息，从而大大加强了红外图像的细节信息，提高了清晰度，提高了红外图像的增强效果。

技术研发人员：赵砚青,徐鹏翱,马剑波,赵峰,张广鑫
受保护的技术使用者：山东智洋上水信息技术有限公司
技术研发日：
技术公布日：2024/1/14