一种基于仿真增强的空间智能感知数据生成方法与流程

本发明属于人工智能和航天器智能感知技术交叉领域，涉及一种基于仿真增强的空间智能感知数据生成方法。

背景技术：

1、空间目标自主感知是未来在轨服务的重要基础技术，针对现有在轨服务方案，由于太空环境复杂、目标结构先验信息不足、运动模式多变且参数维度高，传统在轨探测手段不能有效提取未知目标高维度特征，无法适应空间复杂态势与多样化任务；而基于数据驱动的人工智能模型通常需要在大规模数据集上进行长期有效训练，才能确保得到的智能模型具备强大的判别和泛化能力。但是航天器探测数据获取代价高，在轨数据有效注释实现困难，航天领域面临的“数据饥饿”问题尤为严重，极难基于数据驱动进行端到端的目标任务实现，数据问题是当前限制航天智能感知研究的瓶颈问题。因此，为推动空间智能感知技术的发展，基于仿真增强技术构建高保真的大规模航天器数据生成框架十分必要。

2、现有的航天器数据生成方法针对目标检测、位姿估计及结构语义任务开发，相关任务的感知性能在生成数据集的基础上有了大幅提升。然而，对于数据生成任务，现有大量的三维建模渲染软件可以提供引擎支持，但其相互之间缺乏统一模式，不同软件的使用和开发不尽相同，且虚拟软件渲染的数据保真度及动态性较弱，这给数据集的完备性和可靠性带来了极大的挑战。为进一步完善生成数据的分布合理性，现有的航天器系列数据集引入了地面平台的数据模拟，但其仅针对单一模型开发，泛化性不足。总体来说，目前仍缺乏面向大规模空间智能感知数据的可靠生成框架。

技术实现思路

1、因此，本发明一方面通过构建高保真的空间虚拟环境来生成并注释大规模航天器模拟数据；另一方面，为进一步丰富并完善生成的航天器数据集，引入地面航天器运动模拟试验平台的探测数据，设计高精度的运动捕获定位系统进行注释数据综合生成。将虚拟仿真数据和现实模拟数据相互结合，确保了最终得到的大规模数据集的数据多样性、数据丰富性、数据平衡性，也大大降低了真实数据的标注成本及时间开销。

2、针对上述问题，本发明提出了一种基于仿真增强的空间智能感知数据生成方法，将数据集生成任务划分为基于空间虚拟环境的航天器在轨运行数据模拟与基于地面试验平台的半物理仿真生成两个模块。第一个模块(虚拟模拟生成)是一个基于空间虚拟环境的航天器在轨运行数据模拟及快速注释模型，考虑在轨航天器的实际运行情况，引入背景、轨道特性、干扰、型号目标等多种元素，进行在轨航天器动态探测数据的高保真渲染，同时，考虑诸多任务需求，生成渲染数据的同时提供语义掩码、三维边界框、相对位姿等多种注释；第二个模块(半物理仿真生成)是一个基于地面半物理试验平台的真实数据探测及信息注释模型，利用现有平台模拟服务航天器和目标航天器的相对运动，并基于服务航天器搭载的多源传感设备获取探测数据，同时设计高精度的运动捕获定位系统获取目标的运行信息，以目标位置约束给探测数据同步标注多种任务注释数据。两个模块分别生成虚拟仿真和实物模拟数据，利用虚拟数据模拟不同的场景和情况，确保数据分布的多样性，同时，借助半实物仿真数据平衡虚拟数据与真实探测的差异性，进一步，结合高精度定位系统对数据进行快速标注，最终形成了一套虚实互补的航天器大规模数据集，为空间智能感知任务提供大规模、高保真的数据集，同时确保智能模型应用在实际场景的可迁移性。

3、本发明提出的一种基于仿真增强的空间智能感知数据生成方法，具体包括：

4、步骤1、利用空间虚拟环境对航天器三维模型进行多角度、多距离、多背景且模拟真实宇宙环境的虚拟航天器数据生成，能够大批量生成高保真图片数据和对应的适用于三维目标检测、位姿测量和语义分割的标注数据。利用虚拟相机与航天器模型共同参与场景布局，以高动态范围的宇宙背景图片模拟空间背景，构建起接近航天器实际在轨场景中位姿几何关系的虚拟场景，并利用场景中的虚拟相机生成高保真的探测图像，作为进行数据标注的基础。

5、步骤2、当针对目标检测和位姿测量任务进行数据标注时，在图片生成的同时计算目标尺寸、中心点及其与相机之间的相对位姿，并将其转化成为特定格式的编码进行数据注释；另一方面，针对目标航天器语义判别任务开展掩码标注工作，在虚拟场景中渲染图片的同时解算目标的深度信息，以深度信息为约束给不同的航天目标设定不同的掩码标注。

6、步骤3、基于地面半物理平台仿真的航天器数据生成及快速注释，结合现有试验平台，模拟服务航天器和目标航天器的相对运动，利用搭载于服务航天器的可见光相机、激光雷达、深度相机等多源传感设备获取目标航天器的图像、点云、深度图像等探测数据；进一步，设计高精度的运动捕获定位系统，在目标航天器和多源传感探测设备上固接运动刚体，实时监测目标航天器、服务航天器、传感器等机体在空间中的运动情况，进一步，以三维位置约束生成对应时刻的语义掩码、相对位姿、运动状态等诸多数据注释，为大规模航天器数据集提供真实试验平台模拟的丰富信息。

7、进一步，步骤1具体为，考虑真实空间环境因素的航天器在轨运行数据模拟方法，通过对目标航天器模型进行多角度、多距离、多背景参数设计，并引入实际轨道运动学约束，设定航天器在轨正常运行与异动状态模式，大批量生成高保真探测模拟数据。将虚拟相机与目标航天器共同引入空间场景布局，以高动态范围的宇宙图片模拟空间背景，给目标航天器和虚拟相机(服务航天器装载)引入空间轨道运动学约束，构建航天器在轨运行模拟仿真场景，并利用场景中的虚拟摄像头模拟数据采集，生成不同轨道、不同视角、不同背景下的航天器动态探测模拟图像；

8、进一步，步骤2具体为，针对步骤1采集得到的图片生成面向三维目标检测、运动状态估计和语义分割任务的标签注释。一方面，在每张图片中计算目标与相机之间的相对位姿，同时标注目标类别及目标尺寸信息，为目标检测、目标跟踪、目标状态估计等任务提供标签注释；另一方面，在目标航天器渲染时同步解算目标的深度信息，以深度信息为约束给不同的目标航天器设定不同的掩码值，为航天器语义判别任务提供掩码标签。

9、进一步，步骤3具体为，结合现有试验平台，模拟服务航天器和目标航天器的相对运动，利用搭载于服务航天器的多源传感设备获取目标航天器的图像、点云、深度图像等探测数据；进一步，构建高精度的运动捕获定位系统，给目标航天器和多源传感探测设备固接运动刚体，实时捕捉其在空间中的运动情况，以三维位置约束为不同时刻的探测数据进行语义掩码、相对位姿、运动状态等诸多标签注释，为大规模航天器数据集提供真实试验平台的丰富信息。

10、本发明的优点在于：

11、(1)构建高保真的空间虚拟环境，以航天器在轨动力学和运动学作为基础运动模式，考虑地球、月球、火星、星系等多种背景元素，同时引入空间实际探测过程中可能存在的模糊、噪声等多种扰动信息，生成高保真的空间在轨探测虚拟渲染数据。

12、(2)针对从空间虚拟环境中获取的目标探测数据，设计数据自动注释方式为特定任务生成对应标签；一方面，对于目标语义分析任务，以深度信息为约束给不同的目标航天器设定不同的掩码注释；另一方面，对于目标检测、目标跟踪、目标状态估计等任务，设定三维边界框同步运动回归算法，生成目标三维边界框注释，涵盖目标姿态、位置、速度等信息。

13、(3)为弥补虚拟数据与真实数据之间存在的差异性，基于航天器地面模拟试验平台，构建高精度的运动捕获定位系统，设计航天器半实物仿真探测数据模拟及掩码/位姿同步生成框架，最终得到包含语义掩码、相对位姿、运动状态等多种注释的探测数据。