一种基于深度神经网络的红外图像生成方法及装置与流程

本发明涉及图像处理，特别涉及一种基于深度神经网络的红外图像生成方法及装置。

背景技术：

1、随着人工智能技术的发展，目标多源检测识别智能模型训练、小样本目标检测识别均需要大量的实测或高质量仿真数据，尤其对于红外目标数据的需求亟为迫切。

2、当前红外图像数据生成主要包括生成对抗式可见光、红外图像融合生成和仿真建模计算两种方式。对于生成对抗式可见光、红外图像融合生成红外场景图像而言，该方法主要存在需要满足有配对的可见光和红外数据，生成红外图像目标及其环境的红外辐射特性与红外机理缺失，且耦合不一定准确等问题。对于仿真建模计算，需要先进行目标、场景建模，再将目标融入场景中，然后输入天候、探测距离等参数进行计算，经渲染后仿真生成红外场景图像。然而，该方法针对不同的环境需要构建大量不同的背景模型，而且对于复杂环境场景的建模难度极大，渲染一幅场景图像还会耗费较多计算资源和较长时间等；同时对于用于融合目标与背景的泊松图像融合方法、多尺度图像和谐化等，常用于可见光图像，因手工特征提取局限性较大且红外数据与可见光数据差异较大，这些融合方法应用于红外数据融合还会导致视觉特征不和谐、不融洽，产生不真实感。

技术实现思路

1、本发明提供了一种基于深度神经网络的红外图像生成方法及装置，能够快速生成大量不同场景下的高质量红外场景图像，满足模型训练需求以及生成复杂环境场景数据的需求。

2、第一方面，本发明提供了一种基于深度神经网络的红外图像生成方法，包括：

3、获取目标场景的实测背景图像；

4、对红外目标进行建模，得到目标前景图像；

5、将所述实测背景图像和所述目标前景图像输入预先训练好的深度神经网络，得到所述红外目标在所述目标场景的红外场景图像。

6、可选地，所述对红外目标进行建模，得到目标前景图像，包括：

7、获取所述红外目标的结构和红外特征进行建模，得到目标仿真模型；

8、确定在所述实测背景图像中获取所述红外目标的拍摄参数、姿态信息和位置信息；

9、根据所述拍摄参数、所述姿态信息、所述位置信息和所述目标仿真模型，确定所述红外目标在所述实测背景图像中的目标前景图像。

10、可选地，所述根据所述拍摄参数、所述姿态信息、所述位置信息和所述目标仿真模型，确定所述红外目标在所述实测背景图像中的目标前景图像，包括：

11、根据所述拍摄参数、所述姿态信息、所述位置信息和所述目标仿真模型，确定所述红外目标的目标图像；

12、根据所述目标场景的辐射特性和所述红外目标的辐射特性，对所述目标图像的边缘区域进行渲染，得到所述目标前景图像。

13、可选地，所述预先训练好的深度神经网络包括：对称的双流编码网络和解码网络，所述双流编码网络和所述解码网络之间还设有全尺度跳跃连接结构。

14、可选地，所述解码网络包括注意力机制层和区域自适应归一化层。

15、可选地，所述预先训练好的深度神经网络通过至少一组样本集训练得到，所述样本集包括作为输入的实测背景图像和目标前景图像以及作为输出的融合该实测背景图像和该目标前景图像的红外场景图像。

16、第二方面，本发明提供了一种基于深度神经网络的红外图像生成装置，包括：

17、获取模块，用于获取目标场景的实测背景图像；

18、仿真模块，用于对红外目标进行建模，得到目标前景图像；

19、融合模块，用于将所述实测背景图像和所述目标前景图像输入预先训练好的深度神经网络，得到所述红外目标在所述目标场景的红外场景图像。

20、可选地，所述仿真模块还用于：

21、获取所述红外目标的结构和红外特征进行建模，得到目标仿真模型；

22、确定在所述实测背景图像中获取所述红外目标的拍摄参数、姿态信息和位置信息；

23、根据所述拍摄参数、所述姿态信息、所述位置信息和所述目标仿真模型，确定所述红外目标在所述实测背景图像中的目标前景图像。

24、第三方面，本发明实施例还提供了一种计算设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序时，实现本说明书任一第一方面所述的方法。

25、第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行本说明书任一第一方面所述的方法。

26、本发明实施例提供了一种基于深度神经网络的红外图像生成方法及装置，该方法通过直接获取目标场景的实测背景图像，并利用建模获取红外目标的目标前景图像，然后将实测背景图像和目标前景图像输入预先训练好的深度神经网络中进行融合计算，得到红外目标在目标场景中的红外场景图像，从而能够快速生成大量不同场景下的高质量红外图像，满足模型训练需求以及生成复杂环境场景数据的需求，可应用于军队单位、工业部门、高校与科研院所、互联网企业等。

技术特征：

1.一种基于深度神经网络的红外图像生成方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述对红外目标进行建模，得到目标前景图像，包括：

3.根据权利要求2所述的方法，其特征在于，所述根据所述拍摄参数、所述姿态信息、所述位置信息和所述目标仿真模型，确定所述红外目标在所述实测背景图像中的目标前景图像，包括：

4.根据权利要求1所述的方法，其特征在于，所述预先训练好的深度神经网络包括：对称的双流编码网络和解码网络，所述双流编码网络和所述解码网络之间还设有全尺度跳跃连接结构。

5.根据权利要求4所述的方法，其特征在于，所述解码网络包括注意力机制层和区域自适应归一化层。

6.根据权利要求1至5中任一所述的方法，其特征在于，所述预先训练好的深度神经网络通过至少一组样本集训练得到，所述样本集包括作为输入的实测背景图像和目标前景图像以及作为输出的融合该实测背景图像和该目标前景图像的红外场景图像。

7.一种基于深度神经网络的红外图像生成装置，其特征在于，包括：

8.根据权利要求7所述的装置，其特征在于，所述仿真模块还用于：

9.一种计算设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序时，实现如权利要求1-6中任一项所述的方法。

10.一种计算设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序时，实现如权利要求1-6中任一项所述的方法。

技术总结
本发明提供了一种基于深度神经网络的红外图像生成方法及装置，该方法包括：获取目标场景的实测背景图像；对红外目标进行建模，得到目标前景图像；将所述实测背景图像和所述目标前景图像输入预先训练好的深度神经网络，得到所述红外目标在所述目标场景的红外场景图像。本方案能够快速生成大量不同场景下的高质量红外场景图像，满足模型训练需求以及生成复杂环境场景数据的需求。

技术研发人员：陈峰,翟佳,张子恺,王梓权
受保护的技术使用者：北京环境特性研究所
技术研发日：
技术公布日：2024/1/22