地基光学图像的仿真方法及装置

本发明涉及图像仿真领域，特别是涉及一种地基光学图像的仿真方法及装置。

背景技术：

1、近年来，由于人类空间活动的持续活跃，近地轨道堆积了越来越多的非活动卫星以及空间碎片，加之各国间的空间优势争夺愈演愈烈，导致空间环境日渐恶化。为了防止日益恶化的空间环境威胁各国空间资产的安全，部分国家对这些太空碎片特别是失控卫星等进行了编录并实时警戒，如美国空间监视网络(us space surveillance network,ssn)，俄罗斯空间监视网络(space surveillance system,sss)等。监视网络主要包括地基系统和天基系统，地基系主要由光学雷达和光学探测器组成，天基系统主要由太空望远镜及天基监视卫星组成。随着以地基光学望远镜，天基光学载荷为代表的光学探测设备的发展，空间目标的姿态估计得到了学术界与工业界的越来越多的关注。

2、姿态估计作为计算机视觉一个重要课题发展到现在，已经诞生了许多真实或模拟的6d姿态数据。主要有linemod，occlusion linemod，ycb-video等，这些数据集分别在纹理、材质、光线遮挡等问题存在不小挑战。然而这些数据大多是普适条件下的数据，对于特定领域如空间目标的成像有着不小的差异，后者面临着更加极端光线条件和较差的成像素质。由于地基观测时目标会受到大气光学效应、观测过程和观测环境的影响，相关图像渲染软件无法获取相应的仿真渲染，并且关注的空间目标实际图像数据缺乏且姿态随机，难以获得较为完备的空间目标数据。因此，如何获取与观测数据分布相似的图像，是本领域技术人员亟需解决的问题。

技术实现思路

1、针对上述问题，本发明公开了一种地基光学图像的仿真方法及装置，所述方法通过三维模型构建模块、原始数据渲染模块及图像降质模块，对地基光学图像进行高质量的仿真。

2、本发明采取的技术方案是：

3、一种地基光学图像的仿真方法，其步骤包括：

4、构建地基光学图像的三维模型；

5、渲染所述三维模型，得到原始渲染图像；

6、通过弗里德相干长度描述的大气湍流现象，对所述原始渲染图像进行大气湍流干扰；

7、使用仿真的ccd噪声，对大气湍流干扰后图像进行干扰，得到所述地基光学图像的仿真结果。

8、进一步地，所述构建地基光学图像的三维模型，包括：

9、选取地基光学图像的关键点；

10、基于所述关键点与地基光学图像的位姿数据，并通过三角测量方法，构建所述地基光学图像的线框模型；

11、对所述线框模型进行修正，得到所述三维模型。

12、进一步地，所述渲染所述三维模型的模式，包括：推理模式、单帧采样模式或多帧采样模式。

13、进一步地，所述单帧采样模式，包括：

14、根据设置的渲染参数，选取相机，并定义相机坐标系与世界坐标系，其中所述相机坐标系的原点与所述世界坐标系的原点之间的距离为distance；

15、设置光源放置位置；

16、将所述三维模型置于所述世界坐标系的中心位置；

17、对所述三维模型进行采样，其中采样时将z轴的初始采样点z0设置为(2n/n-1)，n为采样点数量，变量n←n//2；

18、基于初始采样点z0、变量与距离distance，获取各采样点的坐标位置；

19、将各坐标位置指向世界坐标系原点的向量，转化为相机的外参矩阵；

20、根据所述外参矩阵，得到原始渲染图像。

21、进一步地，所述光源放置位置包括：将光源置于世界坐标系原点指向相机的射线上或将光源置于与相机同侧的随机位置

22、进一步地，所述多帧采样模式，包括：

23、根据设置的渲染参数，选取相机，并定义相机坐标系与世界坐标系，其中所述相机坐标系的原点与所述世界坐标系的原点之间的距离为distance；

24、设置光源放置位置；

25、将所述三维模型置于世界坐标系中心位置；并基于距离distance构建球壳；

26、在球壳表面上初始化以角度θ与角度φ为转角的任意一点作为初始旋转点，其中角度θ与角度φ分别是随机角度；

27、选取所述球壳表面上任意一点初始化旋转轴，并将所述旋转轴归一化；

28、以初始旋转点开始，以采样粒度为间隔，对球壳表面进行采样，以得到采样向量；

29、根据所述采样向量与旋转轴，计算旋转向量，并将所述旋转向量使用goldman公式转换为相机旋转矩阵；

30、根据所述相机旋转矩阵，得到原始渲染图像。

31、进一步地，所述原始渲染图像的标注过程，包括：

32、对所述外参矩阵或相机旋转矩阵取逆，得所述三维模型在相机坐标系下的位姿矩阵，并基于所述位姿矩阵，得到三维姿态信息；

33、选取关键点，并基于每一关键点的像素点深度及所有像素点的最大深度、平均深度，计算相对深度信息；

34、根据所述三维姿态信息与相对深度信息，对所述原始渲染图像进行标注。

35、进一步地，所述通过弗里德相干长度描述的大气湍流现象，对所述原始渲染图像进行大气湍流干扰，包括：

36、对所述大气湍流现象的湍流谱积分，得到整体波前方差；

37、基于所述整体波前方差，生成随机的波前相位；

38、根据所述波前相位，获取成像系统的点扩散函数；

39、基于所述点扩散函数与原始渲染图像，生成大气湍流干扰后图像。

40、进一步地，所述使用仿真的ccd噪声，对大气湍流干扰后图像进行干扰，得到所述地基光学图像的仿真结果，包括：

41、针对所述大气湍流干扰后图像，添加服从高斯分布的电子噪声；

42、和，

43、针对所述大气湍流干扰后图像，添加服从泊松分布的散粒噪声。

44、一种存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述任一所述方法。

45、一种电子设备，其特征在于，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一所述方法。

46、本发明的有益效果是：

47、(1)本发明实现了模拟地基观测时目标会受到大气光学效应、观测过程和观测环境的影响，根据物理过程仿真，生成与真实数据较为相似的数据集，该数据可以用于姿态估计相关的深度学习训练。

48、(2)本发明支持不同观测视角和距离下的单帧图像数据和视频数据仿真，且姿态覆盖全面，并生成对应的三维姿态信息和相对深度信息等视觉标注信息。

49、(3)本发明可配置仿真数据的生成模式，包括单帧模式、多帧模式和推理模式。单帧模式是指随机生成指定粒度的单帧图像；多帧模式是指随机生成姿态连续变化的视频数据；推理模式是指对已知姿态的目标场景进行渲染。

技术特征：

1.一种地基光学图像的仿真方法，其步骤包括：

2.如权利要求1所述的方法，其特征在于，所述构建地基光学图像的三维模型，包括：

3.如权利要求1所述的方法，其特征在于，所述渲染所述三维模型的模式，包括：推理模式、单帧采样模式或多帧采样模式。

4.如权利要求3所述的方法，其特征在于，所述单帧采样模式，包括：

5.如权利要求3所述的方法，其特征在于，所述多帧采样模式，包括：

6.如权利要求4或5所述的方法，其特征在于，所述原始渲染图像的标注过程，包括：

7.如权利要求1所述的方法，其特征在于，所述通过弗里德相干长度描述的大气湍流现象，对所述原始渲染图像进行大气湍流干扰，包括：

8.如权利要求1所述的方法，其特征在于，所述使用仿真的ccd噪声，对大气湍流干扰后图像进行干扰，得到所述地基光学图像的仿真结果，包括：

9.一种存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行权利要求1-8中任一所述方法。

10.一种电子设备，其特征在于，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行如权利要求1-8中任一所述方法。

技术总结
本发明公开了一种地基光学图像的仿真方法及装置，所述方法包括：构建地基光学图像的三维模型；渲染所述三维模型，得到原始渲染图像；通过弗里德相干长度描述的大气湍流现象，对所述原始渲染图像进行大气湍流干扰；使用仿真的CCD噪声，对大气湍流干扰后图像进行干扰，得到所述地基光学图像的仿真结果。本发明实现了模拟地基观测时目标会受到大气光学效应、观测过程和观测环境的影响，生成了高质量的仿真图像。

技术研发人员：郝淑玲,宋景睿,许克峰
受保护的技术使用者：中国科学院软件研究所
技术研发日：
技术公布日：2024/1/15