基于UE5的遥感舰船目标图像生成方法及其应用

本发明主要涉及虚幻引擎仿真、计算机视觉、数字图像处理等，结合多ue5仿真、图像融合、对比学习、目标检测等技术，提出了一种基于ue5与图像融合的遥感舰船目标图像生成方法及其应用。

背景技术：

1、当涉及海上安全、船舶航行以及海洋资源开发等领域时，船舶目标检测、跟踪以及去雾技术等问题一直是研究人员面临的主要挑战。然而，海上实地测试是耗时、昂贵且危险的，同时收集的数据量也受到很大的限制。因此，为了克服这些问题，仿真技术被广泛应用于海上目标识别和跟踪等领域。当前，许多海上目标仿真系统的实现方法是将真实的舰船模型和遥感图像进行拼接和混合来生成海上舰船目标图像。然而，这种方法存在一些问题。例如，由于遥感图像和舰船模型的质量差异，舰船图像的真实感和合成质量都无法满足需求。基于此，本发明提供了一种基于图像融合的海上遥感仿真环境下舰船目标图像生成方法。该方法使用ue5仿真环境进行海上遥感仿真，采用图像融合技术，将真实的舰船模型与遥感图像相融合，同时添加云雾、光照和噪声等因素来制作数据集，从而更好地模拟真实海上环境中的船舶目标图像。与传统的遥感图像与舰船模型拼接方法相比，本发明的方法可以生成更真实、更准确的舰船目标图像，为海上目标检测、跟踪和去雾等技术的发展提供更好的数据基础。综上所述，本发明可以被应用于船舶目标跟踪、遥感图像处理、海上安全预警和监测等方面，可以作为算法开发和评估的标准数据集，具有广泛的应用前景。

技术实现思路

1、为解决传统海上舰船目标图像生成方法存在的问题，为海洋工程、安全和防御等领域提供更准确、更可靠的数据基础，同时促进船舶目标检测、跟踪和去雾等技术的发展。本发明提供了一种基于图像融合的海上遥感仿真环境下舰船目标图像生成方法及其应用。具体地，本发明采用ue5虚幻引擎进行海上遥感仿真，并使用特征融合技术将真实的舰船模型与遥感图像相融合。同时，为了更好地模拟真实海上环境中的船舶目标图像，本发明添加了云雾、光照和噪声等因素来制作数据集。最后，本发明基于扩散模型对数据进行多域增广，并用该数据集评估目标检测模型。

2、本发明所采用的技术方案是，基于ue5与图像融合的多源遥感舰船目标图像生成方法及其应用，具体按照以下步骤实施：

3、步骤1：基于ue5遥感仿真场景搭建。首先制作仿真场景所需的材质和网状结构模型，然后使用nanite和lumen技术来优化场景，使用ue5中的蓝图功能生成遥感控制器，并用时态超分辨率技术来提高显示分辨率。最终使用gameplay框架与仿真场景进行交互，并将场景作为后续图像融合的背景数据集。

4、步骤2：舰船融合。首先提取图像中感兴趣区域。然后计算目标图像和背景图像之间的图像比率。最后设计图像融合算法，将目标图像和背景图像以及图像比率进行计算，达到融合效果。

5、步骤3：增加图像干扰。基于数字图像处理方法，对原始图像添加云雾以及光照干扰，同时通过设定不同干扰等级，扩充数据集。

6、步骤4：多域数据增广。基于对比学习设计提出域迁移模型，其中主要包含两个子网络，利用对比损失来保持域间语义一致性的图像生成网络与利用patch损失来辨别原图与生成图的真假判别网络。

7、步骤5：目标检测算法评估。基于yolo结构设计舰船目标检测模型，用于评估数据集的各种噪声因素对算法性能的影响程度。

8、本发明的特点还在于：

9、步骤1具体实施过程如下：针对遥感图像的属性与特点制作仿真场景的材质和网状结构模型，例如树木、山川等元素。将材质与网状结构模型导入ue5中后使用世界分区功能来动态加载场景，使用nanite技术来提高模型的质量和性能，使用lumen技术来实现动态全局光照和反射，使用chaos技术来实现物理和碰撞效果，使用时态超分辨率技术来提高显示分辨率。最终使用gameplay框架来添加游戏逻辑和交互，测试和调试场景功能和性能。

10、步骤2具体实施过程如下：首先利用均值漂移算法平滑颜色细节，腐蚀面积较小的颜色区域，并将图像转为灰度图，利用阈值的方法提取感兴趣区域的掩膜，并将掩膜与原图像进行与运算提取出感兴趣区域图像。其次为图像附加a通道将图像转为rgba格式，并进行归一化处理。然后，根据两幅图像的a通道进行相对应的计算得到图像比率ratio，利用ratio以及输入图像的rgb通道进行计算得到输出图像，即为目标图像和背景图像融合后的图像。

11、步骤3具体实施过程如下：对于云雾干扰，首先需要准备云数据集。然后通过参考大气光散射模型，对图像进行加雾处理。最后在此基础上将云图像和加雾图像进行图像融合。

12、步骤4具体实施过程如下：基于对比学习构建编解码结构的图像生成子网络。其中，编码部分由由一系列下采样卷积块与残差块组成，提取输入图像的特征，并采集不同尺度的特征图，在特征图上进行采样，将采样的特征作为对比学习的样本，将样本经过mlp网络后计算对比损失。解码部分由上采样反卷积块组成，将编码部分压缩的特征恢复成原分辨率的图像。判别网络的构建基于patchgan结构，用于判断输入的图像是真实图像还是由生成网络生成的图像。

13、步骤5具体实施过程如下：基于yolo的目标检测模型主要包含4个部分：输入层、backbone层、neck层以及预测层。输入层用于对数据进行数据增强，增强模型的鲁棒性。backbone层对图像进行下采样操作，提取图像的特征。neck层将不同尺度的特征图进行融合，底层特征分辨率高，包含更多细节信息，高层特征具备更强的语义信息。预测层对融合后的特征进行分类与定位，预测目标舰船的位置信息。

技术特征：

1.一种基于ue5的遥感舰船目标图像生成方法及其应用，其特征在于：

2.如权利要求1所述的一种基于ue5的遥感舰船目标图像生成方法及其应用，其特征在于：针对遥感图像的属性与特点制作仿真场景的材质和网状结构模型；将材质与网状结构模型导入ue5中后使用世界分区功能来动态加载场景，使用nanite技术来提高模型的质量和性能，使用lumen技术来实现动态全局光照和反射，使用chaos技术来实现物理和碰撞效果，使用时态超分辨率技术来提高显示分辨率；最终使用gameplay框架来添加游戏逻辑和交互，测试和调试场景功能和性能。

3.如权利要求1所述的一种基于ue5的遥感舰船目标图像生成方法及其应用，其特征在于：首先利用均值漂移算法平滑颜色细节，腐蚀面积较小的颜色区域，并将图像转为灰度图，利用阈值的方法提取感兴趣区域的掩膜，并将掩膜与原图像进行与运算提取出感兴趣区域图像；其次为图像附加a通道将图像转为rgba格式，并进行归一化处理；然后，根据两幅图像的a通道进行相对应的计算得到图像比率ratio，利用ratio以及输入图像的rgb通道进行计算得到输出图像，即为目标图像和背景图像融合后的图像。

4.如权利要求1所述的一种基于ue5的遥感舰船目标图像生成方法及其应用，其特征在于：对于云雾干扰，首先需要准备云数据集；然后通过参考大气光散射模型，对图像进行加雾处理；最后在此基础上将云图像和加雾图像进行图像融合。

5.如权利要求1所述的一种基于ue5的遥感舰船目标图像生成方法及其应用，其特征在于：基于对比学习构建编解码结构的图像生成子网络；其中，编码部分由由一系列下采样卷积块与残差块组成，提取输入图像的特征，并采集不同尺度的特征图，在特征图上进行采样，将采样的特征作为对比学习的样本，将样本经过mlp网络后计算对比损失；解码部分由上采样反卷积块组成，将编码部分压缩的特征恢复成原分辨率的图像；判别网络的构建基于patchgan结构，用于判断输入的图像是真实图像还是由生成网络生成的图像。

6.如权利要求1所述的一种基于ue5的遥感舰船目标图像生成方法及其应用，其特征在于：基于yolo的目标检测模型主要包含4个部分：输入层、backbone层、neck层以及预测层；输入层用于对数据进行数据增强，增强模型的鲁棒性；backbone层对图像进行下采样操作，提取图像的特征；neck层将不同尺度的特征图进行融合，底层特征分辨率高，包含更多细节信息，高层特征具备更强的语义信息；预测层对融合后的特征进行分类与定位，预测目标舰船的位置信息。

技术总结
本发明公开了一种基于UE5的遥感舰船目标图像生成方法及其应用。首先基于UE5遥感仿真场景搭建，生成遥感海面仿真图。然后设计图像图像融合算法将舰船模型与遥感海面仿真图融合，得到遥感舰船图像。其次利用大气散射模型与光照矩阵给遥感舰船图像增加干扰，扩充数据集。接着基于对比学习设计图像转换算法将数据集增广到多余。最后构建目标检测算法评估数据集的各种噪声因素对算法性能的影响程度。

技术研发人员：刘明,蔡博雍,牛威营,张红星,付宇,易伟超,孔令琴,赵跃进,董立泉
受保护的技术使用者：北京理工大学
技术研发日：
技术公布日：2024/1/15