一种带标签航天器逼真数据集生成的方法

本发明涉及一种带标签航天器逼真数据集生成的方法，属于智能航天器数据集生成领域。

背景技术：

1、目前在很多工业领域的视觉相关任务中，深度学习算法已经能达到传统算法的效果，并且拥有更强的泛化能力，能够应对更加复杂的问题，因此被大量而广泛地使用。

2、在航天领域，航天器目标的识别检测和位姿估计等高精确度需求的工程应用任务中，深度学习算法也应用广泛。但深度学习模型为监督学习的特性决定其训练需要更多的训练数据和计算资源，而现有数据集与资源无法满足。航天领域的深度学习模型需要大规模、多样化的图片数据来实现迭代优化、降低误差。然而长期以来训练面临着数据集数量有限、多样性不足等问题。即使是已经搜集到的图片数据与实际应用场景中的图片数据也存在较大的差异，无法满足训练的基本需要，导致预测模型在预测时产生较大的偏差，预测表现远低于预期，难以应对实际预测场景。而现阶段研究表明基于深度学习技术的虚拟图片风格迁移的数据集生成会是一个有效解决上述问题的方法。

3、本发明涉及的带标签航天器逼真数据集生成的方法，利用对抗性生成网络进行风格迁移，具有标签来源可靠，图片真实性高，预测误差小等优点。

技术实现思路

1、本发明的目的是针对现有技术的不足，提供一种基于生成对抗网络的带标签航天器逼真数据集生成的方法。

2、本发明的目的是通过以下技术方案来实现的：

3、一种带标签航天器逼真数据集生成的方法，包括如下步骤：

4、1)基于航天器公开3d模型库，采集航天器3d模型；

5、2)将航天器3d模型导入3d引擎软件，进行航天器本体及其在轨环境的模拟；

6、3)对2)处理后的航天器3d模型自动生成航天器仿真数据集和标签；

7、4)利用生成对抗网络对航天器仿真数据集进行风格迁移，从而基于少量的在轨真实数据集生成带标签的航天器逼真数据集。

8、上述技术方案中，进一步地，步骤1)航天器3d模型采集，为从航天器公开3d模型库中按照目标3d引擎软件格式要求收集航天器3d模型。

9、进一步地，步骤2)基于3d引擎软件的航天器本体及其在轨环境的模拟，具体为：将收集到的航天器3d模型导入3d引擎软件并进行贴图、渲染以及在轨光照和宇宙背景模拟等操作，使航天器模型及在轨环境与实际在轨状态尽可能一致。

10、进一步地，步骤3)仿真数据集和标签的自动生成，具体为：针对经3d引擎软件处理后的航天器3d模型生成不同环境变量的海量图片，作为仿真数据集，所述不同环境变量包括但不限于不同姿态、距离、光照角度、宇宙背景、卫星表面纹理，同时依据相机坐标系与航天器坐标系、以及相机坐标系与图像坐标系的关系完成目标类型、目标部件类型位置和六自由度信息即包括姿态、位移的自动标记。

11、更进一步地，自动标记后为对应的图像自动生成标签，标签包括图片名称、相对于相机的位移信息相对于相机的位移旋转信息γ,α,β、图片特征点坐标。

12、进一步地，步骤4)基于生成对抗网络的航天器逼真数据集生成，具体为：基于少量在轨真实数据集利用生成对抗网络完成带标签的的航天器仿真数据集的风格迁移，以仿真图片为原始域，以真实图片为目标域，采用生成对抗网络完成非配对式的风格迁移，最终生成带标签的航天器逼真数据集。

13、本发明与现有技术相比具有的有益效果：

14、1)本发明采用的利用3d引擎软件生成仿真数据集方法，克服了航天领域空间目标数据集采集困难和保密封闭的问题，可以海量生成，为后续基于生成对抗的风格迁移提供了数量保证；

15、2)本发明采用的以已知模型为输入的方法，克服了航天领域空间目标数据集的人工标记的繁琐与低效问题，可以实现为航天器目标类型、目标部件类型位置和六自由度信息(姿态、位移)自动标记，同时保证了标签的准确度；

16、3)本发明基于仿真与风格迁移、虚实结合的思想，在尽可能与在轨状态一致的仿真基础上再叠加生成对抗的风格逼近，克服了仅用仿真图片作为训练数据集的方法在真实数据集测试中的预测效果差的问题，减小了训练数据集与真实数据集的差距。

技术特征：

1.一种带标签航天器逼真数据集生成的方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的带标签航天器逼真数据集生成的方法，其特征在于，步骤1)航天器3d模型采集具体为：从航天器公开3d模型库中按照目标3d引擎软件格式要求收集航天器3d模型。

3.根据权利要求1所述的带标签航天器逼真数据集生成的方法，其特征在于，步骤2)基于3d引擎软件的航天器本体及其在轨环境的模拟，具体为：将收集到的航天器3d模型导入3d引擎软件并进行贴图、渲染以及在轨光照和宇宙背景模拟操作，使航天器模型及在轨环境与实际在轨状态尽可能一致。

4.根据权利要求1所述的带标签航天器逼真数据集生成的方法，其特征在于，步骤3)仿真数据集和标签的自动生成，具体为：针对经3d引擎软件处理后的航天器3d模型生成不同环境变量的海量图片，作为仿真数据集，所述不同环境变量包括不同姿态、距离、光照角度、宇宙背景、卫星表面纹理，同时依据相机坐标系与航天器坐标系、以及相机坐标系与图像坐标系的关系完成航天器目标类型、目标部件类型位置和六自由度信息即包括姿态、位移信息的自动标记。

5.根据权利要求4所述的带标签航天器逼真数据集生成的方法，其特征在于，自动标记后为对应的图像自动生成标签，标签包括图片名称、相对于相机的位移信息相对于相机的位移旋转信息γ,α,β、图片特征点坐标。

6.根据权利要求1所述的带标签航天器逼真数据集生成的方法，其特征在于，步骤4)基于生成对抗网络生成航天器逼真数据集，具体为：基于在轨真实数据集利用生成对抗网络完成带标签的航天器仿真数据集的风格迁移，以仿真图片为原始域，以真实图片为目标域，采用生成对抗网络完成非配对式的风格迁移，最终生成带标签的航天器逼真数据集。

技术总结
本发明公开了一种带标签航天器逼真数据集生成的方法，主要包括：航天器3D模型采集，基于3D引擎软件的航天器本体及其在轨环境的模拟，基于自动生成软件的航天器仿真数据集和标签的自动生成，基于生成对抗网络的航天器逼真数据集生成。本发明基于仿真生成与风格迁移，虚实结合思想，解决了基于深度学习的航天器目标识别检测和位姿估计等工程应用任务中面临的真实数据集稀缺、多样性不足、数据标签缺乏，仿真图片质量较差等问题，兼具数据海量，数据质优，自带标签等优点。本方法对各种已知模型的航天器逼真数据集的生成具有通用性，可为下游基于深度学习的航天器目标识别检测和位姿估计技术研究在带标签数据集上提供强有力的支撑，具有重要的工程应用价值。

技术研发人员：虞快,张顾洪,于卓群,高俊超
受保护的技术使用者：浙江大学
技术研发日：
技术公布日：2024/2/1